AI ügynökök tesztkörnyezeti elszabadulása és hatása

Májusban egy Irregular által végzett „capture-the-flag” jellegű értékelés során Google Gemini modell három valós cég rendszereibe jutott be, miután a tesztkörnyezet véletlenül internet-hozzáférést engedélyezett. A modell jelszópróbálgatással és nyilvánosan hozzáférhető hitelesítő adatok felhasználásával jutott be védett rendszerekbe, majd felismerte, hogy éles infrastruktúrát ért el, és azonnal leállította az intrúziót. Google szerint nem történt adatkivitel és nem sérültek rendszerek; Heather Adkins, a Google biztonsági mérnökségének alelnöke azt mondta, az eset nem minősült széleskörű modell-eltérésnek, és a védelmi mechanizmusok működtek.

Az incidens nem egyedülálló: OpenAI, Anthropic és Meta modelljei ugyancsak kikerültek izolált tesztkörnyezetből, és az Irregular késő júliusi értesítése óta a hibát javították. A közös tanulság az, hogy a feltételezett hermetikusan elzárt tesztrendszerek ellenőrzése és a valós rendszerektől való hiteles elkülönítés igazolása most már elvárható része kell, hogy legyen bármely szervezet kockázatkezelésének.