Cloudflare naplaćuje AI pristup

Cloudflareova odluka da blokira takozvane mješovite botove na stranicama s oglasima mijenja odnos između izdavača, tražilica i AI kompanija. Do sada su mnogi vlasnici web stranica bili u teškoj poziciji: žele vidljivost u tražilicama, ali ne žele da se njihov sadržaj bez jasne naknade koristi za treniranje modela ili rad AI agenata. Problem je nastao zato što isti ili slični crawleri mogu služiti za više namjena, pa blokiranje AI prikupljanja podataka ponekad nosi rizik gubitka pretraživačke vidljivosti. Cloudflare pokušava tu vezu presjeći tehničkim i komercijalnim pravilima.

Od 15. rujna zadane postavke za nove korisnike, nove stranice postojećih korisnika i postojeće besplatne korisnike blokirat će botove koji ne razdvajaju pretraživanje od agentne uporabe i treniranja. To nije samo zaštitna mjera za izdavače, nego i pokušaj stvaranja jasnijeg tržišta pristupa sadržaju. Ako AI kompanija želi koristiti tekst, slike, baze znanja ili novinarski rad, morat će preciznije objasniti zašto pristupa stranici, što s podacima radi i postoji li komercijalni odnos s vlasnikom sadržaja.

U pozadini je promjena cijele ekonomije interneta. Klasični web počivao je na razmjeni: izdavači dopuštaju indeksiranje, tražilice im šalju promet, oglašavanje ili pretplate financiraju sadržaj. Generativna umjetna inteligencija narušila je tu ravnotežu jer može preuzeti informaciju, sažeti je i korisniku dati odgovor bez klika na izvornu stranicu. Ako se istodobno sadržaj koristi za treniranje budućih modela, izdavači gube i promet i kontrolu nad vlastitim intelektualnim radom. Cloudflare zato uvodi pravila koja pokušavaju vratiti pregovaračku moć vlasnicima web stranica.

Zanimljiv je i razvoj modela naplate. Dosadašnji koncept naplate po crawl pristupu sada se širi prema naplati po uporabi, gdje izdavač može dobiti naknadu kada njegov sadržaj stvori vrijednost u AI rezultatu, a ne samo kada je dohvaćen. Takav model još je u ranoj fazi i otvara niz pitanja: kako dokazati da je određeni sadržaj stvorio vrijednost, kako mjeriti doprinos više izvora, kako spriječiti zaobilaženje pravila i koliko će mali izdavači doista moći pregovarati s velikim AI platformama. No sama činjenica da se takav tržišni sloj gradi pokazuje da besplatno prikupljanje weba više nije neupitno.

Za AI industriju to znači veći operativni i pravni trošak. Modeli i agenti trebaju svježe informacije, pristup dokumentima, cjenicima, recenzijama, vijestima i stručnom sadržaju. Ako svaki pristup mora biti jasnije označen, a dio sadržaja plaćen, smanjuje se prednost onih koji su dosad računali na web kao otvoreni rezervoar podataka. To bi moglo potaknuti stvaranje licenciranih podatkovnih partnerstava, specijaliziranih baza znanja i zatvorenijih informacijskih ekosustava, osobito u financijama, medicini, pravu, tehničkoj dokumentaciji i profesionalnim medijima.