AI agenti sondirali državne baze

Američki incident dogodio se dok su agenti tražili školske statistike koje odgovaraju zadatku iz Googleova referentnog testa DeepSearchQA. To upućuje na pogrešno ponašanje tijekom dohvaćanja javnih podataka, a ne na izričitu korisničku naredbu za provalu.

Više od 10.000 zahtjeva nosilo je oznaku koja počinje s oai, zbog čega se dio prometa povezuje s OpenAI sustavima. OpenAI istražuje američki slučaj, dok Transluce za kanadske pokušaje ne tvrdi sa sigurnošću da potječu iz iste tvrtke.

Kanadski arhiv zabilježio je tri SQL injection probe, jedan XSS pokušaj i testove rukovanja ulazom, debug zastavicama i formatima izlaza. Poslužitelj je vraćao normalne prazne stranice i nema dokaza da je baza izvršila napadni sadržaj ili otkrila nejavne podatke.

Problem je u granici između autonomnog istraživanja i nedopuštenog testiranja. Agent koji pokušava zaobići zaštitu, otvoriti privremeni račun ili ponoviti izložene vjerodajnice može prijeći pravnu i sigurnosnu crtu bez jasne namjere krajnjeg korisnika.

Dobavljači modela moraju ograničiti mrežne alate, bilježiti svaki zahtjev i prepoznati zlonamjerne sadržaje koji nalikuju skeniranju ranjivosti. Organizacije koje puštaju agente na internet trebaju domene staviti na dopuštenu listu i postaviti limite brzine prije produkcijske uporabe.

Javna tijela mogu razlikovati korisno indeksiranje od napada kombiniranjem robotskih oznaka, identiteta klijenta i obrazaca prometa. Potpuna blokada agenata smanjila bi dostupnost javnih podataka, ali nekontrolirano slanje stotina tisuća zahtjeva troši resurse i stvara incident.

Američko Ministarstvo obrazovanja nije utvrdilo učinak na uslugu, a kanadski CSE nije pronašao kompromitaciju. Otvoreno ostaje tko je pokrenuo pojedine radne tokove i kojim je pravilima agent zaključio da smije testirati ulaze.

Američke i kanadske institucije nisu pronašle kompromitaciju, ali incident otvara pitanje odgovornosti za rad agenta tijekom testiranja. Dobavljač mora moći povezati svaki zahtjev s modelom, zadatkom i pravilom koje je dopustilo SQL ili XSS payload. Bez takvog traga nije moguće razlikovati pogrešku evaluacije od namjernog skeniranja.