Simulacija pravila i retrospektivno testiranje
Simulacija pravila predstavlja pokretanje novonapisanog scenarija na istorijskim podacima kako bi se unaprijed izmjerilo šta će on generisati kada se pusti u rad. Truvali vrši ovo testiranje prije nego što pravilo postane aktivno i izvještava vas o očekivanom obimu upozorenja zajedno sa stopom lažnih uzbuna.
Produkcioni sistem nije poligon za testiranje
Samo jedno pogrešno podešeno pravilo može danima okupirati tim za usklađenost. Hiljade lažnih uzbuna puni ekrane za pregled, a dok se tim bavi njihovim rješavanjem, zakonski rokovi za analizu i dalje teku, dok se stvarne rizične transakcije gube u toj buci.
To predstavlja veći operativni rizik od samog pisanja pravila. Zbog toga se većina institucija ustručava od pisanja novih scenarija i ne ažurira svoju odbranu.
Šta radi simulacija?
Umjesto da pravilo pustite u rad odmah nakon što ga napišete, vi ga pokrećete na istorijskim podacima. Sistem vam daje konkretan izvještaj:
- Koliko bi upozorenja pravilo generisalo u odabranom periodu? - Koliki bi bio prosječan dnevni obim upozorenja? - Koliko bi se od tih upozorenja, na osnovu sličnih slučajeva koji su ranije zatvoreni, ispostavilo kao lažna uzbuna? - Koji segmenti klijenata i koje vrste transakcija bi bili najviše pogođeni?
"Ako danas aktivirate ovo pravilo, ono će generisati prosječno 1.000 upozorenja dnevno, od kojih će 85% biti lažne uzbune" najvrijednija je informacija koju možete dobiti prije nego što pravilo pustite u rad.
Pronalaženje praga pomoću simulacije
Simulacija nije jednokratni korak odobrenja. Isto pravilo možete pokrenuti sa različitim graničnim vrijednostima (pragovima) i uporediti rezultate. Vidjećete koliko upozorenja gubite kada povećate prag, a koliko se red čekanja povećava kada ga smanjite.
Na taj način se prag ne zasniva na nagađanju, već na mjerenju.
Zaštita rokova za analizu
U pristupu zasnovanom na riziku, dužni ste da u određenim rokovima analizirate sumnjive transakcije koje ste otkrili. Ovi rokovi su direktno povezani sa kapacitetom vašeg tima. Puštanje u rad pravila za koje ne znate koliki će obim generisati zapravo znači preuzimanje rizika u pogledu ispunjavanja tih rokova.
Simulacija unaprijed pokazuje da li se novi scenario uklapa u kapacitet tima.
Istorija pravila i poređenje
Prate se i stvarni rezultati koje generišu aktivna pravila. Pravila sa visokom stopom lažnih uzbuna se označavaju i predlažu se prilagođavanja pragova. Na taj način, set pravila vremenom postaje precizniji umjesto da zastarijeva.
Šta ovo donosi organizaciji
- Razvoj novih scenarija bez pretvaranja produkcionog rada u poligon za testiranje.
- Podešavanje pragova zasnovano na mjerenju.
- Održavanje predvidljivosti rokova za analizu.
- Brz odgovor na novu prijetnju uz potpunu sigurnost u ishod.
Česta pitanja
- Koliko je istorijskih podataka potrebno za simulaciju?
- Tokom prelaska na sistem, vaši istorijski podaci se prenose u sistem, tako da se smisleno testiranje može izvršiti već od prvog dana. Vi birate period testiranja; duži periodi se mogu preferirati kako bi se uočili sezonski uticaji.
- Kako se izračunava stopa lažnih uzbuna?
- Upozorenja koja bi pravilo generisalo u prošlosti porede se sa ishodima sličnih slučajeva iz tog perioda. Rezultat je procjena, ali pruža mnogo pouzdaniju osnovu u poređenju sa puštanjem pravila u rad bez ikakvog prethodnog mjerenja.
- Možemo li isprobati isto pravilo sa različitim pragovima?
- Da. Pokretanje pravila sa više različitih pragova i poređenje rezultata je primarni način korišćenja simulacije; na taj način se prag određuje mjerenjem, a ne nagađanjem.
- Da li se prati i učinak aktivnih pravila?
- Da. Pravila sa visokom stopom lažnih uzbuna se označavaju i nude se predlozi za optimizaciju pragova, tako da set pravila vremenom ne gubi na efikasnosti.