Izdavači moraju tražiti naknadu od vlasnika AI chatbotova

Kompanije koje razvijaju generativnu umjetnu inteligenciju uvijek naglašavaju da u odgovore svojih chat botova uključuju poveznice na web stranice.

No, Matthew Prince, izvršni direktor (CEO) Cloudflarea, otkrio je da promet s tražilica neprestano opada. Izdavači se suočavaju s egzistencijalnom prijetnjom, rekao je, jer korisnici ne klikaju na te poveznice u chatbotovima, već se sve više oslanjaju na sažetke generirane umjetnom inteligencijom, ne ulazeći dublje u sadržaj.

Prince je za Axios izjavio da je prije deset godina Google slao jednog posjetitelja izdavaču na svake dvije indeksirane stranice. Prije šest mjeseci taj je omjer bio jedan posjetitelj na svakih šest stranica, a sada je jedan na svakih 18. OpenAI je prije šest mjeseci slao jednog posjetitelja izdavaču na svakih 250 indeksiranih stranica, dok je Anthropic slao jednog posjetitelja na svakih 6000 stranica.

OpenAI danas šalje jednog posjetitelja izdavaču na svakih 1500 stranica, dok Anthropic šalje jednog posjetitelja na svakih 60.000 stranica. Ali, zašto je pad prometa problem i kako se Cloudflare bori protiv njega?

Ljudi su posljednjih mjeseci počeli više vjerovati AI chatbotovima. Problem za izdavače je što ne zarađuju od oglasa ako ljudi ne klikaju na poveznice koje vode na njihove web stranice, zbog čega ih Prince potiče da poduzmu korake kako bi osigurali pravednu naknadu.

Prince je rekao da Cloudflare trenutno radi na alatu za blokiranje botova koji "stružu" sadržaj za velike jezične modele, čak i ako web stranica već ima uputu "no crawl". Podsjetimo, nekoliko je medija 2024. izvijestilo da kompanije za umjetnu inteligenciju ignoriraju datoteke Robots Exclusion Protocol, odnosno robots.txt, i unatoč tome preuzimaju njihov sadržaj za obuku.

Cloudflare je još prošle godine tražio načine za blokiranje "strugača". No, tek je u ožujku službeno predstavio AI Labyrinth, alat koji koristi sadržaj generiran umjetnom inteligencijom kako bi usporio, zbunio i rasipao resurse AI crawlera i drugih botova koji ne poštuju "no crawl" direktive. Funkcionira tako da neovlaštenom crawleru povezuje niz stranica generiranih umjetnom inteligencijom koje su dovoljno uvjerljive, ali zapravo ne sadrže sadržaj stranice koju alat štiti. Na taj način crawler gubi vrijeme i resurse.

"Svaki dan idem u rat s kineskom vladom, ruskom vladom, Irancima, Sjevernokorejcima, vjerojatno Amerikancima, Izraelcima, svima onima koji pokušavaju provaliti na web stranice naših klijenata. I vi mi govorite da ne mogu zaustaviti nekog štrebera s C-korporacijom u Palo Altu", rekao je Prince.