Claude vodi četvrtinu Anthropicova razvoja, ljudi i modeli zajedno

Anthropic je objavio da Claude vodi 26 posto istraživačkog i razvojnog rada kojim kompanija gradi sljedeće generacije umjetne inteligencije, u odnosu na približno jedan posto u ožujku. Više od 90 posto istraživanja u kolovozu uključivalo je suradnju ljudi i modela, ali Claude, prema navodima kompanije, nije potpuno autonoman ni u jednom mjerenom području.

Pojam „vodi“ ne znači da model sam bira poslovni cilj, osigurava računalni kapacitet i pušta gotov sustav korisnicima. Anthropic koristi ljestvicu neprofitne organizacije Epoch AI za zadatke koje model može dovršiti iz upute više razine uz ljudski nadzor. Claude može planirati niz koraka, pisati i testirati kod, analizirati rezultate te predložiti sljedeći pokus. Čovjek i dalje postavlja smjer, odobrava osjetljive radnje, tumači nalaze i odlučuje hoće li promjena ući u proizvod.

Najveća je promjena brzina kojom raste udio posla koji preuzima model. U pet mjeseci porastao je s jedan na 26 posto, što znači da se isti broj istraživača može baviti većim brojem pokusa ili složenijim problemima. Ako model skraćuje vrijeme između hipoteze, koda i mjerenja, laboratorij može učinkovitije koristiti skupi GPU kapacitet i ranije objaviti proizvod. Anthropic nije objavio sate rada, trošak po zadatku, kvalitetu u odnosu na ljudskog istraživača ni broj pogrešnih smjerova, pa iz postotka nije moguće izračunati produktivnost ili povrat.

Na glavnoj internoj platformi tijekom kolovoza istodobno je djelovalo oko 30 000 agenata. Svaka njihova radnja prolazi provjeru prije izvršenja. Od više od milijarde odluka u tom mjesecu blokirana je približno jedna na 47 000. Niska stopa može značiti da su agenti uglavnom radili unutar dopuštenih granica, ali bez raspodjele razloga nije moguće znati jesu li blokade bile trivijalne, pogrešne ili povezane s ozbiljnim sigurnosnim rizikom.

Anthropic navodi da je u jednom uzorkovanom tjednu u srpnju šest posto ukupne računalne snage za istraživanje bilo namijenjeno sigurnosti. Kod istraživanja koje je izvodio AI taj je udio bio 12 posto. Kompanija tvrdi da su procjene konzervativne jer rad koji istodobno povećava sposobnost i sigurnost računa kao razvoj sposobnosti. Uzorak jednog tjedna ipak ne otkriva godišnji trošak, broj zaposlenih u sigurnosti ni mijenja li se taj udio prije velikog izdanja modela.

Objava se dotiče i straha od rekurzivnog samopoboljšanja, scenarija u kojem sustav ubrzava razvoj vlastita nasljednika i time svaki sljedeći ciklus čini bržim. Današnje metrike nisu dokaz takve zatvorene petlje. Model radi u infrastrukturi koju kontrolira Anthropic, njegove se odluke pregledavaju, a ljudski tim određuje ciljeve. Brojke ipak daju rijedak uvid u približavanje granici na kojoj automatizacija razvoja postaje važna za raspored kapitala, sigurnosne kontrole i tržišnu utrku laboratorija.

Za usporedbu među kompanijama potrebna je zajednička metodologija. Laboratorij može povećati postotak drukčijom podjelom zadataka ili širenjem definicije vođenja, bez stvarnog skoka sposobnosti. Neovisni evaluator trebao bi dobiti uzorak zadataka, upute, rezultate, ljudske intervencije i neuspjehe, uz zaštitu poslovnih tajni. Anthropic najavljuje redovitu objavu metrika i poziva druge laboratorije na usporedivo izvještavanje, ali rok, format i vanjski revizor nisu određeni.