https://www.ictbusiness.info

Link: https://www.ictbusiness.info / vijesti / openai-nudi-klasifikator-moguceg-zlostavljackog-sadrzaja

OpenAI nudi klasifikator mogućeg zlostavljačkog sadržaja

OpenAI je objavio klasifikator slika koji procjenjuje vjerojatnost da sadržaj prikazuje seksualno zlostavljanje djece, uključujući nove i umjetno generirane slike koje klasično uspoređivanje hash vrijednosti ne može prepoznati. Provjerene organizacije mogu zatražiti pristup putem API-ja bez naknade, uz obveznu prijavu, provjeru i uvođenje u program.

Model vraća zasebne signale za mogući zlostavljački sadržaj i za mogućnost da je takav sadržaj generiran AI-jem. Rezultat služi određivanju prioriteta za obučene ljudske pregledavatelje. OpenAI izričito navodi da sama ocjena ne potvrđuje pravni status slike i ne određuje postoji li obveza prijave.

U evaluaciji na slikama koje su učitali korisnici novi klasifikator označio je 48 posto manje sadržaja uz približno jednak broj pronađenih zlostavljačkih slika u odnosu na postojeći alat. Među visoko pouzdanim oznakama u testu tvrtke organizacije fal 72 posto potvrdili kao dotad nepoznat CSAM. SafetyKit je u zasebnoj skupini crteža i animacija prijavio detekciju 90 posto slučajeva.

Te brojke dolaze od OpenAI-ja i partnera te ne znače jedinstvenu stopu uspješnosti u svim okruženjima. Učinak ovisi o pragu, vrsti sadržaja i kvaliteti ljudskog pregleda. Model card navodi testiranje na zadržanim označenim slikama, neovisnom skupu s otvorenog weba i uzorku prometa, ali poziva i na zajedničko neovisno usporedno testiranje.

Uz API, ChatGPT dobiva upozorenja koja prekidaju pokušaje pronalaženja zlostavljačkog sadržaja, uklanjaju označeni razgovor i privremeno zaustavljaju pristup na 24 sata. Ponavljanje može dovesti do duljih ograničenja, zatvaranja računa ili prijave nadležnim tijelima. Korisniku se istodobno nude informacije o pomoći za prekid štetnog ponašanja. Klasifikator je razvijen uz pomoć američkog National Center for Missing and Exploited Children.