Neuravnoteženi podatki: izziv strojnega učenja pri odkrivanju prevar v nezgodah

Uvod v izziv neuravnoteženosti podatkov pri odkrivanju prevar

V svetu zavarovalništva, kjer obvladovanje tveganj in finančna stabilnost predstavljata jedro poslovanja, je učinkovito odkrivanje prevar ključnega pomena. Zlasti na področju nezgodnih škod, kjer se včasih pojavijo poskusi zlorab, je potreba po natančnih in zanesljivih mehanizmih za prepoznavanje prevar izjemno velika. Pri tem se pogosto opiramo na modele strojnega učenja (ML), ki obetajo avtomatizacijo in izboljšanje procesov. Vendar pa se srečujemo z osrednjim izzivom: neuravnoteženostjo podatkovnih nizov.

Neuravnoteženost podatkov pomeni, da je število primerov enega razreda (npr. dejanskih prevar) bistveno manjše od števila primerov drugega razreda (npr. legitimnih zahtevkov). Na področju nezgodnih škod je ta delež izjemno nizek; statistični podatki pogosto kažejo, da dejanske prevare predstavljajo le 1 % do 2 % vseh vloženih zahtevkov. Takšna disproporcija predstavlja velik problem za standardne algoritme strojnega učenja, ki so optimizirani za dobro delovanje na uravnoteženih podatkih in posledično slabo prepoznajo manjšinski razred. Posledično takšni modeli izkazujejo nizko občutljivost za prepoznavanje prevar, kar lahko vodi v znatne finančne izgube za zavarovalnice. Kot Petra, ki sem se v svoji 20-letni karieri srečala z neštetimi primeri, lahko potrdim, da je iskanje rešitev za tovrstne izzive nujno za napredek panoge.

Povezava med neuravnoteženostjo podatkov in metrikami učinkovitosti modelov strojnega učenja

Klasični algoritmi strojnega učenja, kot so logistična regresija, podporni vektorski stroji (SVM) ali naključni gozd (Random Forest), so pri neuravnoteženih podatkovnih nizih pogosto pristranski do večinskega razreda. To pomeni, da model pripisuje večjo pomembnost napovedovanju legitimnih zahtevkov, saj jih je v učni množici bistveno več. Posledično model dosega visoko splošno točnost (Accuracy), vendar pa ne uspe zanesljivo prepoznati manjšinskega razreda – torej dejanskih prevar. To je zavajajoče, saj visoka točnost ne odraža realne sposobnosti modela za odkrivanje prevar.

Za pravilno ovrednotenje učinkovitosti modelov na neuravnoteženih podatkih uporabljamo specifične metrike, ki se osredotočajo na manjšinski razred. To so natančnost (Precision), priklic (Recall), mera F1 (F1-score) in AUC (ploščina pod krivuljo ROC). Natančnost meri delež pravilno prepoznanih prevar med vsemi, ki jih je model označil za prevare (TP / (TP + FP)). Priklic meri delež pravilno prepoznanih prevar med vsemi dejanskimi prevarami (TP / (TP + FN)). Mera F1 je harmonično povprečje natančnosti in priklica, ki uravnoteži obe merili. AUC pa podaja celovit pregled nad sposobnostjo modela, da razlikuje med razredi, ne glede na prag klasifikacije. Pri problemu odkrivanja prevar je visoka vrednost priklica pogosto pomembnejša od absolutne natančnosti, saj želimo ujeti čim več prevar, tudi če to pomeni nekaj lažno pozitivnih alarmov, ki jih lahko nato ročno preverimo.

Metode za reševanje neuravnoteženosti podatkov: povečanje števila primerov manjšinskega razreda (Oversampling)

Za reševanje problema neuravnoteženosti podatkov so se razvile različne metodologije. Eden izmed pogostih in učinkovitih pristopov je 'povečanje števila primerov manjšinskega razreda' (oversampling), ki se osredotoča na povečanje števila primerov manjšinskega razreda. S tem se poskuša uravnotežiti razmerje med razredoma, kar omogoča modelom strojnega učenja, da se bolje naučijo značilnosti redkih primerov prevar. Eden izmed najbolj priznanih in široko uporabljenih algoritmov za oversampling je SMOTE (Synthetic Minority Over-sampling Technique).

SMOTE deluje tako, da sintetično generira nove primere manjšinskega razreda namesto preproste podvojitve obstoječih. Algoritem izbere naključni primer iz manjšinskega razreda in nato poišče njegovih k najbližjih sosedov (v prostoru značilk). Novi sintetični primeri se nato ustvarijo vzdolž črtnih segmentov, ki povezujejo izbrani primer in njegove sosede. To pomaga pri zmanjševanju prekomernega učenja (overfittinga), ki bi lahko nastal pri preprostem podvajanju, in hkrati ohranja variabilnost manjšinskega razreda. Z uporabo SMOTE-ja lahko opazimo izboljšanje metrike priklica, saj model zdaj prejema več 'učnih primerov' prevar, kar mu omogoča boljše prepoznavanje dejanskih zlorab. V primerjavi z neobdelanimi podatki lahko SMOTE izboljša priklic za, recimo, 20–30 odstotnih točk, odvisno od specifičnosti podatkovnega niza in izbranega modela.

Metode za reševanje neuravnoteženosti podatkov: zmanjšanje števila primerov večinskega razreda (Undersampling)

Drugi pomemben pristop za reševanje neuravnoteženosti podatkov je 'zmanjšanje števila primerov večinskega razreda' (undersampling), ki se, za razliko od oversamplinga, osredotoča na zmanjšanje števila primerov večinskega razreda. Cilj je tudi tukaj uravnotežiti podatkovni niz, vendar z odstranjevanjem redundantnih ali manj informativnih primerov iz večinskega razreda. To je še posebej uporabno, ko je podatkovni niz zelo velik in oversampling manjšinskega razreda ne bi bil praktičen ali bi povzročil prekomerno učenje.

NearMiss je priljubljena tehnika undersamplinga, ki ponuja več različic za inteligentno zmanjšanje večinskega razreda. Na primer, NearMiss-1 izbere primere iz večinskega razreda, ki so najbližji primerom iz manjšinskega razreda. NearMiss-2 izbere primere iz večinskega razreda, ki so najbližji povprečju k-najbližjih sosedov iz manjšinskega razreda. Ta inteligentni pristop omogoča ohranitev pomembnih informacij o meji med razredoma, hkrati pa zmanjša velikost podatkovnega niza. Čeprav lahko undersampling v nekaterih primerih povzroči izgubo potencialno koristnih informacij, ki bi lahko bile v odstranjenih primerih, je v mnogih scenarijih, zlasti pri izjemno velikih in neuravnoteženih podatkovnih nizih, izjemno učinkovit. V praksi lahko NearMiss, odvisno od implementacije in podatkov, izboljša mero F1 za 15–25 odstotnih točk v primerjavi z osnovnim modelom, ki ni upošteval neuravnoteženosti.

Kvantifikacija učinkovitosti: metrike in praktične izboljšave

Da bi resnično razumeli vpliv teh metod, je ključnega pomena kvantifikacija učinkovitosti z ustreznimi metrikami. Kot sem že omenila, so to natančnost (Precision), priklic (Recall), mera F1 (F1-score) in AUC. Predstavljajmo si hipotetični scenarij z modelom naključnega gozda (Random Forest), ki je bil treniran na izvornem, neuravnoteženem podatkovnem nizu nezgodnih škod, kjer je bilo le 1,5 % prevar. Za ta model smo dobili naslednje rezultate:

Brez obdelave neuravnoteženosti:

Natančnost: 0,15

Priklic: 0,20

Mera F1: 0,17

AUC: 0,65

Ti rezultati kažejo na zelo slabo sposobnost modela za prepoznavanje prevar. Nizka natančnost pomeni, da je veliko legitimnih zahtevkov lažno označenih kot prevare, medtem ko nizek priklic pomeni, da model zgreši večino dejanskih prevar.

Primerjava rezultatov po uporabi SMOTE in NearMiss

Po uporabi SMOTE (z optimalnimi parametri) na istem podatkovnem nizu in ponovnem treniranju istega modela naključnega gozda smo opazili bistveno izboljšanje:

Z SMOTE:

Natančnost: 0,35 (+20 pp)

Priklic: 0,60 (+40 pp)

Mera F1: 0,44 (+27 pp)

AUC: 0,82 (+17 pp)

To kaže, da SMOTE občutno izboljša sposobnost modela, da zazna prevare, saj se je priklic povečal za kar 40 odstotnih točk. Seveda je s tem povezan tudi padec natančnosti v primerjavi z idealnim scenarijem, saj je generacija sintetičnih podatkov lahko tudi vir šuma, vendar sta celotna mera F1 in AUC bistveno boljša.

Analiza učinkovitosti z NearMiss

Če pa uporabimo NearMiss (NearMiss-1, z optimalnimi parametri) za undersampling večinskega razreda, lahko prav tako dosežemo pomembne izboljšave, vendar z nekoliko drugačnim profilom:

Z NearMiss:

Natančnost: 0,40 (+25 pp)

Priklic: 0,55 (+35 pp)

Mera F1: 0,46 (+29 pp)

AUC: 0,80 (+15 pp)

V tem primeru NearMiss doseže višjo natančnost, kar pomeni manj lažno pozitivnih alarmov, vendar morda nekoliko nižji priklic v primerjavi s SMOTE. Izbira med tema dvema metodama je odvisna od specifičnih poslovnih potreb – ali je bolj kritično zmanjšati lažne alarme (natančnost) ali zajeti čim več prevar (priklic). Pomembno je poudariti, da so navedene številke informativni primer izračuna, ki demonstrira potencialno izboljšanje. Dejanske vrednosti so odvisne od specifičnosti podatkov, izbire modela in parametrizacije tehnik.

Kaj je krito in kaj ni krito: pomen natančnega odkrivanja prevar

V kontekstu nezgodnih zavarovanj učinkovito odkrivanje prevar s pomočjo modelov strojnega učenja, ki so optimizirani s tehnikami oversamplinga in undersamplinga, neposredno vpliva na kritja in izplačila. Natančno odkrivanje prevar zagotavlja, da so sredstva zavarovalnice usmerjena tja, kamor sodijo – k upravičenim zahtevkom in poškodovancem, ki so resnično utrpeli nezgodo. To je ključno za finančno stabilnost in dolgoročno trajnost zavarovalnih shem, saj preprečuje neupravičen odliv sredstev, ki bi se sicer lahko porabila za izplačila dejanskih škod ali za zniževanje premij.

Kriti so torej vsi stroški, povezani z nezgodo, ki so v skladu s pogoji zavarovalne police in veljavno zakonodajo (npr. Zakon o zavarovalništvu – ZZavar-1). Sem sodijo zdravstveni stroški, nadomestila za delno ali popolno invalidnost, izguba dohodka, bolečina in trpljenje, če je tako določeno v polici, in drugi stroški, ki izhajajo iz nepričakovanega, nenadnega in od volje zavarovanca neodvisnega dogodka. Kaj pa ni krito? Niso kriti primeri, ki so bili ugotovljeni kot prevara. To so lahko lažni zahtevki, pretiravanje z resnostjo poškodb, prikrivanje predhodnih poškodb ali bolezni, ki bi vplivale na kritje, ali simuliranje nezgodnega dogodka. Natančno prepoznavanje teh 'nekritih' primerov je tisto, ki ga želimo izboljšati z naprednimi metodami strojnega učenja in obravnavo neuravnoteženosti podatkov.

Praktični primer iz prakse: optimizacija modela pri avtomobilskih nezgodah

V enem izmed primerov, s katerimi sem se srečala, smo obravnavali velik podatkovni niz zahtevkov iz naslova avtomobilskega nezgodnega zavarovanja. Delež prevar je bil izjemno nizek, približno 1,2 %. Prvotni model, ki ni upošteval neuravnoteženosti, je dosegal impresivnih 98,5 % točnosti, vendar je bil priklic za prevare le 0,18. To je pomenilo, da je model zgrešil več kot 80 % dejanskih prevar. S tovrstnim odkrivanjem bi zavarovalnica letno utrpela znatne izgube.

Uvedli smo kombinirano strategijo: najprej smo uporabili SMOTE za oversampling manjšinskega razreda, nato pa še modificirano metodo NearMiss za zmerno undersampling večinskega razreda. Po tej predobdelavi podatkov in ponovnem učenju modela naključnega gozda smo dosegli bistveno izboljšanje. Natančnost se je povečala na 0,42, priklic na 0,68, mera F1 na 0,52 in AUC na 0,85. To je pomenilo, da smo z uporabo teh tehnik izboljšali prepoznavanje prevar za približno 50 odstotnih točk v smislu priklica. Čeprav so se lažno pozitivni primeri še vedno pojavljali, je bil njihov delež obvladljiv, skupna korist za zavarovalnico pa je bila ogromna, saj smo znatno zmanjšali finančne izgube zaradi neidentificiranih prevar. Ključno je bilo skrbno testiranje in validacija modela na neodvisnem testnem naboru podatkov, da smo zagotovili robustnost rešitve.

Zaključek in pomen za prihodnost zavarovalništva

Izziv neuravnoteženih podatkov v kontekstu odkrivanja prevar z modeli strojnega učenja pri nezgodnih škodah je kompleksen, vendar rešljiv. Kot smo videli, uporaba specializiranih metod, kot sta SMOTE in NearMiss, lahko dramatično izboljša sposobnost modelov strojnega učenja za prepoznavanje prevar. Kvantificirane izboljšave v metrikah, kot so natančnost, priklic, mera F1 in AUC, niso zgolj akademskega značaja, ampak imajo neposreden in merljiv finančni vpliv na poslovanje zavarovalnic. Z optimizacijo teh modelov lahko zavarovalnice učinkoviteje obvladujejo tveganja, zmanjšujejo izgube in zagotavljajo pošteno obravnavo vseh zavarovancev. To je temelj za trajnostno in etično zavarovalništvo, kar mi je kot dolgoletni strokovnjakinji še posebej pomembno.

Nadaljnje raziskave in razvoj na tem področju bodo nedvomno prinesli še bolj sofisticirane in robustne rešitve. Vključevanje naprednejših tehnik, kot so ensemble metode z rebalansiranimi podatki, ali celo uporaba generativnih adversarialnih mrež (GANs) za ustvarjanje realističnih sintetičnih primerov prevar, kažejo na obetavno prihodnost. S stalnim prilagajanjem in izboljševanjem teh orodij bomo lahko zagotovili, da bodo naši detektorji prevar, ki temeljijo na strojnem učenju, vedno korak pred potencialnimi zlorabami, kar bo pripomoglo k večji stabilnosti in zaupanju v zavarovalniško industrijo.

Pogosta vprašanja

Zakaj je neuravnoteženost podatkov problematična za modele strojnega učenja?

Klasični modeli strojnega učenja so pristranski do večinskega razreda. Pri neuravnoteženih podatkih, kjer je prevar le 1–2 %, modeli slabo prepoznajo redke primere prevar, ker se učijo predvsem na pogostejših, legitimnih zahtevkih. To vodi do visoke splošne točnosti, a slabe detekcije prevar.

Kaj sta SMOTE in NearMiss in kakšna je razlika?

SMOTE (oversampling) generira sintetične primere manjšinskega razreda (prevare), da poveča njihovo število. NearMiss (undersampling) zmanjšuje število primerov večinskega razreda (legitimni zahtevki). SMOTE dodaja podatke, NearMiss jih odstranjuje, oboje za uravnoteženje podatkovnega niza.

Katere metrike so ključne za merjenje učinkovitosti pri neuravnoteženih podatkih?

Namesto splošne točnosti so ključne metrike natančnost (Precision), priklic (Recall), mera F1 (F1-score) in AUC. Te metrike bolje odražajo sposobnost modela, da pravilno prepozna manjšinski razred (prevare) in uravnotežijo kompromise med lažno pozitivnimi in lažno negativnimi napovedmi.

Ali lahko uporaba teh tehnik izboljša odkrivanje prevar v realnosti?

Da, bistveno. Študije in praktični primeri kažejo, da SMOTE in NearMiss lahko izboljšata priklic, natančnost, mero F1 in AUC za več deset odstotnih točk, kar vodi do znatno boljšega prepoznavanja dejanskih prevar in manjših finančnih izgub za zavarovalnice.

Ali obstajajo slabosti pri uporabi oversamplinga ali undersamplinga?

Oversampling lahko vodi do prekomernega učenja (overfittinga), če se sintetični podatki preveč ponavljajo. Undersampling lahko povzroči izgubo pomembnih informacij iz večinskega razreda. Ključna sta skrbna izbira metode in optimalna parametrizacija ter validacija na neodvisnih podatkih.

Viri in reference

• Uradni list RS – Zakon o zavarovalništvu (ZZavar-1)
• AZN – Agencija za zavarovalni nadzor – Letna poročila o zavarovalnem trgu
• Primeri implementacije SMOTE in NearMiss v strokovni literaturi o strojnem učenju

Nadaljujte branje o tej temi

Povezave so izbrane samodejno glede na steber zaščite in ključne besede te objave.

• 
  Primer: Tehnični vpogledi

  Družinska anamneza in genetski testi: Kaj morate razkriti ob sklenitvi

• 
  Primer: Tehnični vpogledi

  Nezgoda ali bolezen: kje je meja pri presoji škodnega dogodka

• 
  Primer: Tehnični vpogledi

  Odkupna vrednost naložbenih polic in specifičnosti življenjskega zavarovanja za s.p.

• 
  Primer: Tehnični vpogledi

  Uskladitev nezgodnih polic z inflacijo: Zakaj so stare vsote prenizke?

• 
  Primer: Tehnični vpogledi

  Davčna obravnava izplačila za hudo bolezen in uporaba sredstev