Platforme društvenih mreža ugrozile su sigurnost u utrci algoritama

Zviždači su izjavili da su divovi društvenih mreža dopuštali širenje štetnog sadržaja na svojim platformama. Interna istraživanja pokazala su da objave koje potiču ogorčenje stvaraju veći angažman korisnika.

Više od desetak insajdera reklo je da su kompanije radile kompromise između sigurnosti korisnika i angažmana oko sadržaja dok je kratki video preoblikovao krajolik društvenih mreža. Bivši Metin inženjer ustvrdio je da je uprava timovima naložila da dopuste više granično štetnog materijala, uključujući mizoginiju i teorije zavjere, u feedovima korisnika Instagrama i Facebooka dok je kompanija pokušavala parirati brzom rastu TikToka. Inženjer je rekao da je osoblju rečeno da je taj potez povezan s financijskim pritiskom, dodajući da je odluka donesena zato što je cijena dionice pala.

Matt Motyl, viši sveučilišni istraživač specijaliziran za Metino poslovanje, otkrio je da je Instagram Reels, pokrenut 2020. kako bi konkurirao TikToku, uveden bez odgovarajućih zaštitnih mehanizama. Istraživanje je navodno pokazalo da komentari na Reelsu imaju višu razinu štetnog ponašanja, uključujući zlostavljanje, uznemiravanje i govor mržnje, u usporedbi s glavnim Instagramovim feedom. Motyl je dodao da je kompanija bila svjesna rizika povezanih sa svojim sustavima preporuka, navodeći da su algoritmi platforme stvarali put koji maksimizira profit nauštrb dobrobiti publike.

Odvojeno od toga, član TikTokova tima za sigurnost i povjerenje rekao je da su prioriteti moderiranja ponekad davali prednost političkim pritužbama ispred slučajeva koji su uključivali štetan sadržaj povezan s djecom. Zaposlenik je ustvrdio da su se slučajevi obrađivali kako bi se „održao snažan odnos” s političkim figurama i izbjegla moguća regulatorna akcija, umjesto da se prednost da sigurnosti korisnika.

Zviždač je također upozorio da je opseg slučajeva moderiranja postao teško upravljiv, dodajući da se činilo kako raste količina materijala povezanog s trgovinom ljudima, nasiljem, terorizmom i seksualnim zlostavljanjem. Bivši TikTokov inženjer strojnog učenja Ruofan Ding opisao je sustav preporuka kompanije kao „crnu kutiju”, ističući da su inženjeri imali ograničen uvid u to kako algoritmi dubokog učenja promoviraju sadržaj.

Obje kompanije objavile su priopćenja u kojima odbacuju te tvrdnje. Meta je poručila da je pogrešna svaka sugestija da je namjerno pojačavala štetan sadržaj radi financijske koristi. TikTok je optužbe nazvao izmišljenim tvrdnjama, navodeći da ulaže u tehnologiju osmišljenu za sprječavanje štetnog sadržaja.

Rasprava o sigurnosti preporučiteljskih algoritama danas je u središtu europske regulacije jer se Akt o digitalnim uslugama u cijeloj Europskoj uniji u potpunosti primjenjuje od 17. veljače 2024. Komisija je 19. veljače 2024. otvorila formalni postupak protiv TikToka zbog sumnji povezanih sa zaštitom maloljetnika, transparentnošću oglašavanja, pristupom podacima za istraživače te upravljanjem rizicima povezanima s ovisničkim dizajnom i štetnim sadržajem. U svibnju 2024. otvoren je i postupak protiv Mete zbog mogućih povreda DSA-a na Facebooku i Instagramu, uključujući zaštitu maloljetnika i procjenu sistemskih rizika. U listopadu 2024. Komisija je od TikToka, YouTubea i Snapchata zatražila dodatne informacije o dizajnu i funkcioniranju njihovih preporučiteljskih sustava, što pokazuje da je upravo logika rangiranja sadržaja postala jedna od ključnih regulatornih tema. 

Krajem 2025. EK je preliminarno ocijenila da TikTok i Meta nisu istraživačima osigurali odgovarajući pristup javnim podacima, iako je takav pristup važan za razumijevanje sistemskih rizika na platformama. DSA istodobno obvezuje platforme da barem jednom godišnje javno objavljuju izvješća o moderiranju sadržaja, čime se nadzor nad internim sigurnosnim praksama postupno izvlači iz zatvorenih kompanijskih procesa. TikTok je u svom šestom europskom izvješću o moderiranju sadržaja objavio da u EU-u mjesečno doseže 178 milijuna korisnika, što pokazuje koliki je razmjer mogućeg učinka svake promjene u pravilima preporuka ili moderiranja. 

Meta na svojem Transparency Centeru objavljuje regulatorna izvješća za Facebook i Instagram, ali regulatori i istraživači i dalje traže kvalitetniji i usporediviji uvid u stvarni rad tih sustava. Znanstveni rad objavljen u PNAS-u pokazao je da su objave usmjerene protiv političkih protivnika na društvenim mrežama dijeljene približno dvostruko češće od objava usmjerenih prema vlastitoj skupini, što podupire tvrdnju da ogorčenje i sukob donose veći angažman. 

Američki Surgeon General upozorio je da se sigurnost društvenih mreža za djecu i adolescente još ne može smatrati dovoljno dokazanom te je pozvao na jače zaštitne mehanizme, veću transparentnost i više neovisnih istraživanja. Zbog toga se rasprava sve manje vodi samo o pojedinačnim moderatorskim propustima, a sve više o poslovnoj logici platformi koje su tehnološki optimizirane za zadržavanje pažnje, emocionalnu polarizaciju i kontinuirani rast angažmana.