Kural simülasyonu ve geriye dönük test
Kural simülasyonu, yeni yazılmış bir senaryonun geçmiş veriler üzerinde çalıştırılarak canlıya alındığında ne üreteceğinin önceden ölçülmesidir. TruvaLI bu testi kural yayına girmeden yapar ve size beklenen uyarı hacmini yanlış alarm oranıyla birlikte raporlar.
Canlı sistem deneme tahtası değildir
Hatalı ayarlanmış tek bir kural, uyum ekibini günlerce meşgul edebilir. Binlerce yanlış alarm inceleme ekranını doldurur, ekip bunları temizlemekle uğraşırken yasal inceleme süreleri işlemeye devam eder ve gerçek riskli işlemler gürültünün içinde kaybolur.
Bu, kural yazmanın kendisinden daha büyük bir operasyonel risktir. Çoğu kurum bu yüzden yeni senaryo yazmaktan çekinir ve savunmasını güncellemez.
Simülasyon ne yapar?
Kuralı yazdıktan sonra canlıya almak yerine geçmiş verileriniz üzerinde çalıştırırsınız. Sistem size somut bir rapor verir:
- Kural seçilen dönemde kaç uyarı üretecekti? - Günlük ortalama uyarı hacmi ne olur? - Bu uyarıların ne kadarı, geçmişte benzer şekilde kapatılmış vakalara bakıldığında yanlış alarm olarak dönerdi? - Hangi müşteri segmentleri ve hangi işlem tipleri en çok etkilenir?
"Bu kuralı bugün aktif edersen günde ortalama 1.000 uyarı üretecek ve bunların %85'i yanlış alarm olacak" cümlesi, kuralı canlıya almadan önce görebileceğiniz en değerli bilgidir.
Eşiği simülasyonla bulmak
Simülasyon tek seferlik bir onay adımı değildir. Aynı kuralı farklı eşiklerle çalıştırıp sonuçları karşılaştırabilirsiniz. Eşiği yükselttiğinizde kaç uyarı kaybettiğinizi, düşürdüğünüzde kuyruğun ne kadar büyüdüğünü görürsünüz.
Böylece eşik, tahmine değil ölçüme dayanır.
İnceleme sürelerini korur
Risk temelli yaklaşımda tespit ettiğiniz şüpheli işlemleri belirli süreler içinde incelemek zorundasınız. Bu süreler, ekibinizin kapasitesiyle doğrudan ilişkilidir. Üreteceği hacmi bilmediğiniz bir kuralı canlıya almak, aslında bu sürelere uyma taahhüdünüzü riske atmaktır.
Simülasyon, yeni bir senaryonun ekibin kapasitesine sığıp sığmadığını önceden gösterir.
Kural geçmişi ve karşılaştırma
Yayındaki kuralların ürettiği gerçek sonuçlar da izlenir. Yanlış alarm oranı yüksek seyreden kurallar işaretlenir ve eşik önerileri sunulur. Böylece kural seti zamanla körelmek yerine keskinleşir.
Kuruma ne sağlar
- Canlı operasyonu deneme tahtası yapmadan yeni senaryo geliştirme.
- Eşik ayarının ölçüme dayanması.
- İnceleme sürelerinin öngörülebilir kalması.
- Yeni bir tehdide, sonucundan emin olarak hızlı yanıt verme.
Sık sorulan sorular
- Simülasyon için ne kadar geçmiş veri gerekir?
- Canlıya geçiş sırasında geçmiş verileriniz sisteme aktarılır, dolayısıyla ilk günden anlamlı bir test yapılabilir. Test dönemini siz seçersiniz; mevsimsel etkileri görmek için daha uzun dönemler tercih edilebilir.
- Yanlış alarm oranı nasıl hesaplanıyor?
- Kuralın geçmişte üreteceği uyarılar, o dönemde benzer vakaların nasıl sonuçlandığıyla karşılaştırılır. Sonuç bir tahmindir, ancak kuralı hiç ölçmeden canlıya almaya kıyasla çok daha güvenilir bir zemin sağlar.
- Aynı kuralı farklı eşiklerle deneyebilir miyiz?
- Evet. Kuralı birden fazla eşikle çalıştırıp sonuçları karşılaştırmak simülasyonun asıl kullanım biçimidir; eşik böylece tahminle değil ölçümle belirlenir.
- Yayındaki kuralların performansı da izleniyor mu?
- Evet. Yanlış alarm oranı yüksek seyreden kurallar işaretlenir ve eşik iyileştirme önerileri sunulur, böylece kural seti zamanla körelmez.