Přesně před deseti lety jsme publikovali varovný článek o tom, jak neopatrně se důvěřiví Češi na Facebooku chovají. Založili jsme tehdy dva falešné účty neexistujících lidí a během několika hodin na ně nasbírali desítky přátel.
V roce 2019 jsme se tento experiment pokusili zopakovat, ale narazili jsme. Falešný účet založit šel, zařídili jsme si k tomu nový mail a nové telefonní číslo. Ale ve chvíli, kdy jsme o přátelství požádali prvního náhodného člověka, spadla klec. Automatická detekce podezřelého chování nás zmerčila a označila účet za nedůvěryhodný. Okamžitě byl pozastaven a my měli prokázat, že jsme ti, za které se vydáváme, což jsme logicky nemohli.
Takto Facebook zablokoval náš pokus vytvořit si falešný účet
„Přesně tak to má fungovat,“ přikyvuje Tim Matthews, kterému anabázi s falešným účtem popisuji. Coby manažer londýnského týmu tzv. uživatelské integrity ví, o čem mluví. Odhalování falešných účtů je jeho každodenní práce. „Nemůže to samozřejmě být tak, že bych přišel do kanceláře, listoval jednotlivými profily a hledal ty klamavé. Při obrovském množství uživatelů, které Facebook má, je potřeba chytře zapojit strojové učení, statistiku a další triky.“
Rapidní detekce vychází z ručně definovaných pravidel, na kterých se natrénuje neuronová síť, která je pak schopna proaktivního blokování falešných účtů ještě před tím, než se dostanou do kontaktu s uživateli Facebooku
Jaké přesně triky, to jmenovat nechce – pak by všichni ti spammeři, podvodníci, manipulátoři a další „falešní uživatelé“ věděli, jak je obejít. V principu jde však o odhalení na základě neobvyklého chování, nezvyklé aktivity nebo podezřelého provázání s dalšími účty.
Podvodníkům protáhnou krční páteř
Jeden trik však novinářům prozradí: povinná rozcvička. Pokud nějaký účet svou neobvyklou aktivitou upoutá pozornost automatu a je podezřelý z toho, že jde o falešný či spamový účet, dostane několik úkolů. Jedním z nich je natočit se na webovou kameru, jak plní pokyny na obrazovce.
„Teď obrať hlavu doleva, doprava, nahoru, zase doprava, nahoru...“ Něco takového jde věrohodně napodobit jen těžko. „Útočník na to sice může najmout někoho, kdo za něj touto rozcvičkou projde, ale bude ho to stát čas a peníze a my jej nakonec nejspíš stejně zakážeme,“ vysvětluje Simon Cross, další z manažerů pro integritu.
Cross ukázal celou škálu postupů, které Facebook vyvinul pro boj s „neautentickým, nežádoucím a nebezpečným obsahem“. Jedno mají společné. „Vždycky jde o kompromis. Uvědomte si, že naše postupy musejí být dostatečně univerzální, aby mohly fungovat po celém světě a na myriádě různých obsahů, v různých kontextech,“ dodává Cross. Navíc je potřeba pravidla definovat tak, aby se jimi mohl řídit automat. Právě ten dělá většinu rozhodnutí. Při objemu, jaký Facebook a jeho další sítě (Instagram a WhatsApp) mají, se to prý ani jinak dělat nedá.
„Falešných účtů jsme za poslední rok odhalili a smazali skoro šest miliard,“ připomíná mi Cross. To je opravdu vysoké číslo. Není ale vysoké právě proto, že se podvodníkům stále vyplácí falešné účty tvořit? „Právě, to je ten problém. Sice jsme odhalili šest miliard falešných účtů, ale podíl falešných účtů na Facebooku aktivních zůstává podle našich odhadů pořád více méně stejný. Je teď ale pro útočníky mnohem dražší vytvořit falešný účet a jsme rychlejší v jeho odhalování.“
Napadá mne, zda by nebylo vhodné zkusit pro tyto falešné účty vytvořit alternativní Facebook. Tedy místo hlášky o zablokování účtu je potichu přesměrovat do alternativní dimenze, ve které by spamovali simulované uživatele a další spammery... „Vy se smějete, ale my o tom celkem vážně uvažovali,“ říká datová vědkyně Bochra Gharbaoui. „Jenže by to bylo technicky dost náročné, museli bychom věrohodně simulovat velké množství aktivit, a výsledek by byl nejistý. Navíc si představte, kdybychom do tohoto falešného Facebooku omylem poslali někoho skutečného. To by byl pro takového člověka příšerný zážitek, to opravdu nemůžeme riskovat.“
Proaktivní detekce teroristů, nahoty i spamu
Jednou z oblastí, kde se Facebook může pochlubit velkým krokem kupředu, je boj proti teroristické propagandě. Zatímco před pár lety byl při odhalování teroristických „memů“ a agitačních letáků odkázán na to, až takový příspěvek někdo nahlásí, nyní se Facebooku daří mazat naprostou většinu takových příspěvků ještě dříve, než je někdo živý uvidí.
Facebooku se daří většinu (přes 98 %) teroristické propagandy smazat dříve, než ji uvidí byť jen jediný uživatel.
„Jakmile máme indikaci, že je něco spojeného s propagací terorismu, živý člověk to takto označí a práce se chopí počítače,“ vysvětluje Namrata Bostromová z londýnského týmu, který má za úkol detekci tohoto nebezpečného typu zpráv. Její kolega pak ukazuje, jak programátoři postupně ladili detekci klíčových prvků obrazu tak, aby ani úpravy nezabránily jeho automatickému rozpoznání. I v mamutí databázi facebookových obrázků tak odhalení trvá jen několik sekund a funguje napříč celou databází. „Jakmile jednou obrázek identifikujeme jako teroristickou propagandu, smaže se směrem do budoucnosti i do minulosti,“ říká Nicola Bortignon.
Setkání londýnského týmu vývojářů a odborníků na bezpečnost s novináři proběhlo v jedné ze zasedacích místností. Nápis „Media Manipulation“ na pravé obrazovce odkazuje k automatizovanému pozměňování (manipulaci) obrázků (médií). Další ukázka toho, jak důležitý je kontext...
Podobně automatizovaně Facebook bojuje i v dalších oblastech dodržování komunitních standardů (které jsou od loňského roku veřejné). Třeba při detekci nahoty je však velmi důležitý kontext. Umění obsahující nahotu publikovat lze, ale poznat automatem umělecké dílo není jen tak. Dochází zde proto k relativně častým – a hojně medializovaným – přehmatům.
Nejlépe si automatická detekce vede u automatických účtů a spamu. Nejhůře naopak detekuje šikanu, kde velmi záleží na kontextu
Nejtěžší je pro Facebook detekce šikany. Tam jde totiž opravdu nejen o kontext, ale i o subjektivní vnímání daného člověka. „Velmi nám záleží na tom, aby se lidé na platformě cítili bezpečně,“ uvedla Namrata Bostromová. Mluví proto s psychology o tom, jak oběti šikany popisují své zážitky a v čem by mohla spočívat ochrana. „Důležité je nejen vyhledávání nebo blokování šikanujícího obsahu, ale také posílení sebevědomí obětí šikany.“ Facebook v této oblasti stále spoléhá na to, že lidé šikanu sami nahlásí.
Oběti šikany se však bojí něco takového hlásit, mají třeba pocit, že to celou věc ještě zhorší. Například zablokovat někoho na Facebooku by pro oběť mohlo mít subjektivně horší důsledky. Proto Facebook testuje novou možnost částečného zablokování. Oběť může šikanující osobu „odstavit“ (restrict) a komentáře takového člověka pak nebudou veřejné, pokud k tomu samotný uživatel nedá povolení. Odstavený uživatel o tom ovšem neví.
Facebook experimentuje na Instagramu s novou funkcí. Pokud vypadá komentář „nenávistně“, zeptá se pisatele, zda jej chce skutečně odeslat, a dá mu tak možnost si to rozmyslet.
Kromě toho dostávají lidé nové možnosti filtrování komentářů. Mohou zadat slova nebo smajlíky, která se v komentářích pod jejich příspěvky zkrátka nesmí vyskytovat.
Vždy je možné se odvolat
Na závěr programu došlo na důležitý pilíř integrity. „Na začátku jsme říkali, že při takovémto množství budeme vždy dělat nějaké chyby. A proto je tu proces odvolání, aby ty chyby bylo možné napravit,“ uvedla datová analytička Sandi Conroyová. „Konkrétně jsme třeba od července do září dostali 1,4 milionu odvolání a na jejich základě jsme obnovili 172 tisíc příspěvků.“
Odvolací procesy jsou pro Facebook důležité hlavně ze tří důvodů: chce se poučit ze svých chyb při vyhodnocení obsahu, někdy neurčí správně mezní případy a jindy zase špatně vyhodnotí kontext
Do budoucna Facebook uvažuje o tom, že by na vyřizování odvolacích požadavků najal nějaký typ externího auditora. Nyní se odvolání vyřizuje pomocí náhodně sestavené poroty. Z patnácti tisíců lidí, kteří mají na starost kontrolu nahlášeného obsahu, se vyberou tři, kteří odvolání uživatele posoudí. Pokud je většina pro vyhovění požadavku, dojde ke zvrácení původního rozhodnutí.
„Často si lidé myslí, že když nějaký příspěvek nahlásí hodně lidí, tak se jím budeme více zabývat. Tak to ale není. I když na nějaký příspěvek přijde tisíc hlášení, zabýváme se jím jen jednou,“ upřesnil Simon Cross. Různé „nahlašovací kampaně“ tak podle něj nemají význam a jsou spíše lidovým mýtem.
Při následném rozhovoru s manažery pro integritu (cestu na setkání platila firma Facebook, pozn. red.) jsem si opět uvědomil komplikovanou strukturu této kalifornské společnosti s vpravdě globální působností. „Na toto nemůžu odpovídat, protože to je specifický typ podvodu, kterým se zabývá speciální tým...“ slyšel jsem minimálně pětkrát. Zřejmě to při dvou miliardách aktivních uživatelů jinak nejde. Facebook, zdá se, začal v posledních letech brát vážně to, co ještě před deseti lety vůbec řešit nemusel.
„Ale než se budeme plácat po zádech, je dobré říci, že jako zlepšujeme své nástroje my, tak je zlepšují i podvodníci,“ připomněl mezi řečí programátor Nicola Bortignon. Takže zatímco Facebook trénuje svou „umělou inteligenci“ na historických a simulovaných datech, vznikají další podvody a útoky, na které současný Facebook nemusí být připraven.
