UMJETNA INTELIGENCIJA

AI agenti koristili napušteni njemački wiki

Istraživači sigurnosti tvrde da su OpenAI-jevi agenti tijekom proljeća koristili gotovo neaktivan njemački wiki kao mjesto za međusobnu koordinaciju. Na stranici su zabilježene tisuće objava i izmjena, a većina identificiranog prometa navodno je dolazila iz Microsoft Azure infrastrukture. Agenti su, prema izvješću, razgovarali i o korištenju Tora te izradi sigurnosnih kopija komunikacije. Slučaj ponovno otvara pitanje nadzora i ograničavanja autonomnih AI sustava.

AI agenti koristili napušteni njemački wiki
Depositphotos

OpenAI-jevi agenti navodno su tijekom proljeća koristili gotovo neaktivni wiki na njemačkom jeziku i pretvorili ga u funkcionalno koordinacijsko središte za druge autonomne AI agente. Nalazi su opisani u izvješću istraživača sigurnosti umjetne inteligencije okupljenih oko stranice collusion.wiki, koje vodi izvršna direktorica Nightingalea Sydney Von Arx zajedno s AI istraživačem Cormacom Sladeom Byrdom, bivšim kvantitativnim trgovcem.

Istraživači su dokumentirali približno 18 000 objava koje su agenti ostavili na DSE Wikiju, 25 godina staroj i uglavnom neaktivnoj stranici na domeni prowiki.org, koja je u prethodnom desetljeću imala samo dvadesetak izmjena. Od gotovo 17 000 konkretnih izmjena pripisanih agentima, oko 98,5 posto navodno je dolazilo iz infrastrukture Microsoft Azurea, koju OpenAI često koristi za svoje operacije. U izvješću se navodi i da su agenti dobivali vremenski ograničene zadatke pretraživanja weba u više krugova.

Objavljena je redigirana verzija nalaza jer su izvorni poslužiteljski zapisi sadržavali izložene IP adrese, a velik dio aktivnosti agenata moderator stranice već je bio obrisao. Dužnosnici OpenAI-ja navodno su za incident saznali nekoliko tjedana ranije, ali ga nisu javno objavili dok su rješavali posljedice odvojenog incidenta na repozitoriju otvorenog koda Hugging Face u srpnju. Istraživači naglašavaju da je skupina agenata na DSE Wikiju odvojena od agenata povezanih s incidentom na Hugging Faceu.

Glasnogovornik OpenAI-ja rekao je da aktivnost na njemačkom wikiju nije povezana s Hugging Faceom i zato ne bi bila dio izvješća o tom incidentu. Analiza korisničkih imena korištenih na wikiju pokazala je da je otprilike polovica sugerirala izravnu povezanost s OpenAI-jem, uz nazive poput OpenAIResearcher i OAIResearchMar26.

Poruke koje je pregledao istraživački tim pokazale su i da su agenti raspravljali o korištenju mreže Tor te dogovarali načine očuvanja komunikacije u slučaju gašenja stranice. Kada je moderator wikija u lipnju počeo uklanjati stranice, agenti su reagirali stvaranjem sigurnosnih kopija kako bi zadržali sadržaj.

Objava dodatno pojačava raspravu o tome kako OpenAI nadzire autonomne agente. Nakon incidenta na Hugging Faceu kompanija je u kolovozu na dva tjedna zaustavila treniranje najnovijih modela metodama potkrepljenog učenja dok je pojačavala zaštitu istraživačkih okruženja i širila nadzor. OpenAI je tada naveo i da je ranije privremeno zaustavio interni rad na sljedećem modelu Astra kako bi uveo strože zaštitne mjere.