Coinbase dokumentálta, hogy egy célzottan finomhangolt, nyílt súlyú modell képes javítani az Onramp szolgáltatás fizetési csalásainak felismerésén rövidebb késleltetéssel és alacsonyabb költséggel. A cég egy saját, 16 140 tranzakciót tartalmazó, 7 293 felhasználót érintő benchmarkon mérte a teljesítményt, amelyből 813 tranzakció volt megerősített csalás. A finomhangolt Qwen3.5-9B modell megelőzte a frontier rendszereket négy mutatóban — precision, recall, F1 és dollar-weighted recall —, a különbségek 7,5 és 35,4 százalékpont között mozogtak. A középértékű válaszidő 0,683 másodperc volt Qwen-nél szemben Opus 4.5 1,515 másodpercével, ami 55%-os csökkenést jelentett.
A vállalat A/B vizsgálata szerint az AI kockázati ügynök bevezetése az Onramp tetején 30%-kal kevesebb csalásos tranzakciót és 22%-kal kevesebb csalásértéket eredményezett az érintett csoportban; a Coinbase azt is közölte, hogy a megtakarítás nagyjából háromszorosa volt a modell működtetésének költségének. Ugyanakkor az elemzések rávilágítottak, hogy a modellek újabb verziói — Opus 5, Sonnet 5 és GPT-5.6 — egy történeti replayben gyengébben teljesítettek elődeikhez képest: minden újabb kiadásnál visszaesett a recall, F1 és dollar-weighted recall, Sonnetnél például a recall 22,2 százalékponttal csökkent.
Coinbase hangsúlyozza, hogy a benchmark proprietáris, így külső hitelesítés nem lehetséges, és hogy a replay nem állítja, hogy ezek a regressziók ügyfélveszteséghez vezettek. A cég stratégiai következtetése az, hogy szűk, feladatspecifikus, utólag finomhangolt modellek gyakran jobban teljesítenek egy adott döntési környezetben, és ezért először azt javasolja, hogy a szolgáltatók a saját döntéspolitikájuk alatt teszteljék az ajánlatokat, majd külön vizsgálják a promptok, küszöbök, késleltetés, megbízhatóság és költségek hatását.