Facebook do sekundy smaže teroristy, spam i nahotu. Můžete se odvolat

Exkluzivně   11:00
Londýn (od zvláštního zpravodaje Technet.cz) - Strojové učení, bezpečnostní analýza i povinná rozcvička krku. To jsou některé nástroje, které největší sociální síť světa používá k odhalování falešných účtů, kyberšikany, spamu a dalšího nežádoucího chování. Protože facebooková pravidla platí globálně, je často těžké hledat kompromis.
Na Facebook se neustále snaží proniknout falešné účty, teroristé i podvodníci....

Na Facebook se neustále snaží proniknout falešné účty, teroristé i podvodníci. Vývojáři využívají k jejich blokování automatické nástroje a další triky. | foto: montáž: Pavel Kasík, Technet.czProfimedia.cz

Přesně před deseti lety jsme publikovali varovný článek o tom, jak neopatrně se důvěřiví Češi na Facebooku chovají. Založili jsme tehdy dva falešné účty neexistujících lidí a během několika hodin na ně nasbírali desítky přátel.

V roce 2019 jsme se tento experiment pokusili zopakovat, ale narazili jsme. Falešný účet založit šel, zařídili jsme si k tomu nový mail a nové telefonní číslo. Ale ve chvíli, kdy jsme o přátelství požádali prvního náhodného člověka, spadla klec. Automatická detekce podezřelého chování nás zmerčila a označila účet za nedůvěryhodný. Okamžitě byl pozastaven a my měli prokázat, že jsme ti, za které se vydáváme, což jsme logicky nemohli.

Takto Facebook zablokoval náš pokus vytvořit si falešný účet

„Přesně tak to má fungovat,“ přikyvuje Tim Matthews, kterému anabázi s falešným účtem popisuji. Coby manažer londýnského týmu tzv. uživatelské integrity ví, o čem mluví. Odhalování falešných účtů je jeho každodenní práce. „Nemůže to samozřejmě být tak, že bych přišel do kanceláře, listoval jednotlivými profily a hledal ty klamavé. Při obrovském množství uživatelů, které Facebook má, je potřeba chytře zapojit strojové učení, statistiku a další triky.“

Rapidní detekce vychází z ručně definovaných pravidel, na kterých se natrénuje neuronová síť, která je pak schopna proaktivního blokování falešných účtů ještě před tím, než se dostanou do kontaktu s uživateli Facebooku

Jaké přesně triky, to jmenovat nechce – pak by všichni ti spammeři, podvodníci, manipulátoři a další „falešní uživatelé“ věděli, jak je obejít. V principu jde však o odhalení na základě neobvyklého chování, nezvyklé aktivity nebo podezřelého provázání s dalšími účty.

Podvodníkům protáhnou krční páteř

Jeden trik však novinářům prozradí: povinná rozcvička. Pokud nějaký účet svou neobvyklou aktivitou upoutá pozornost automatu a je podezřelý z toho, že jde o falešný či spamový účet, dostane několik úkolů. Jedním z nich je natočit se na webovou kameru, jak plní pokyny na obrazovce.

„Teď obrať hlavu doleva, doprava, nahoru, zase doprava, nahoru...“ Něco takového jde věrohodně napodobit jen těžko. „Útočník na to sice může najmout někoho, kdo za něj touto rozcvičkou projde, ale bude ho to stát čas a peníze a my jej nakonec nejspíš stejně zakážeme,“ vysvětluje Simon Cross, další z manažerů pro integritu.

Cross ukázal celou škálu postupů, které Facebook vyvinul pro boj s „neautentickým, nežádoucím a nebezpečným obsahem“. Jedno mají společné. „Vždycky jde o kompromis. Uvědomte si, že naše postupy musejí být dostatečně univerzální, aby mohly fungovat po celém světě a na myriádě různých obsahů, v různých kontextech,“ dodává Cross. Navíc je potřeba pravidla definovat tak, aby se jimi mohl řídit automat. Právě ten dělá většinu rozhodnutí. Při objemu, jaký Facebook a jeho další sítě (Instagram a WhatsApp) mají, se to prý ani jinak dělat nedá.

„Falešných účtů jsme za poslední rok odhalili a smazali skoro šest miliard,“ připomíná mi Cross. To je opravdu vysoké číslo. Není ale vysoké právě proto, že se podvodníkům stále vyplácí falešné účty tvořit? „Právě, to je ten problém. Sice jsme odhalili šest miliard falešných účtů, ale podíl falešných účtů na Facebooku aktivních zůstává podle našich odhadů pořád více méně stejný. Je teď ale pro útočníky mnohem dražší vytvořit falešný účet a jsme rychlejší v jeho odhalování.“

Napadá mne, zda by nebylo vhodné zkusit pro tyto falešné účty vytvořit alternativní Facebook. Tedy místo hlášky o zablokování účtu je potichu přesměrovat do alternativní dimenze, ve které by spamovali simulované uživatele a další spammery... „Vy se smějete, ale my o tom celkem vážně uvažovali,“ říká datová vědkyně Bochra Gharbaoui. „Jenže by to bylo technicky dost náročné, museli bychom věrohodně simulovat velké množství aktivit, a výsledek by byl nejistý. Navíc si představte, kdybychom do tohoto falešného Facebooku omylem poslali někoho skutečného. To by byl pro takového člověka příšerný zážitek, to opravdu nemůžeme riskovat.“

Proaktivní detekce teroristů, nahoty i spamu

Jednou z oblastí, kde se Facebook může pochlubit velkým krokem kupředu, je boj proti teroristické propagandě. Zatímco před pár lety byl při odhalování teroristických „memů“ a agitačních letáků odkázán na to, až takový příspěvek někdo nahlásí, nyní se Facebooku daří mazat naprostou většinu takových příspěvků ještě dříve, než je někdo živý uvidí.

Facebooku se daří většinu (přes 98 %) teroristické propagandy smazat dříve, než ji uvidí byť jen jediný uživatel.

„Jakmile máme indikaci, že je něco spojeného s propagací terorismu, živý člověk to takto označí a práce se chopí počítače,“ vysvětluje Namrata Bostromová z londýnského týmu, který má za úkol detekci tohoto nebezpečného typu zpráv. Její kolega pak ukazuje, jak programátoři postupně ladili detekci klíčových prvků obrazu tak, aby ani úpravy nezabránily jeho automatickému rozpoznání. I v mamutí databázi facebookových obrázků tak odhalení trvá jen několik sekund a funguje napříč celou databází. „Jakmile jednou obrázek identifikujeme jako teroristickou propagandu, smaže se směrem do budoucnosti i do minulosti,“ říká Nicola Bortignon.

Setkání londýnského týmu vývojářů a odborníků na bezpečnost s novináři proběhlo v jedné ze zasedacích místností. Nápis „Media Manipulation“ na pravé obrazovce odkazuje k automatizovanému pozměňování (manipulaci) obrázků (médií). Další ukázka toho, jak důležitý je kontext...

Podobně automatizovaně Facebook bojuje i v dalších oblastech dodržování komunitních standardů (které jsou od loňského roku veřejné). Třeba při detekci nahoty je však velmi důležitý kontext. Umění obsahující nahotu publikovat lze, ale poznat automatem umělecké dílo není jen tak. Dochází zde proto k relativně častým – a hojně medializovaným – přehmatům.

Nejlépe si automatická detekce vede u automatických účtů a spamu. Nejhůře naopak detekuje šikanu, kde velmi záleží na kontextu

Nejtěžší je pro Facebook detekce šikany. Tam jde totiž opravdu nejen o kontext, ale i o subjektivní vnímání daného člověka. „Velmi nám záleží na tom, aby se lidé na platformě cítili bezpečně,“ uvedla Namrata Bostromová. Mluví proto s psychology o tom, jak oběti šikany popisují své zážitky a v čem by mohla spočívat ochrana. „Důležité je nejen vyhledávání nebo blokování šikanujícího obsahu, ale také posílení sebevědomí obětí šikany.“ Facebook v této oblasti stále spoléhá na to, že lidé šikanu sami nahlásí.

Oběti šikany se však bojí něco takového hlásit, mají třeba pocit, že to celou věc ještě zhorší. Například zablokovat někoho na Facebooku by pro oběť mohlo mít subjektivně horší důsledky. Proto Facebook testuje novou možnost částečného zablokování. Oběť může šikanující osobu „odstavit“ (restrict) a komentáře takového člověka pak nebudou veřejné, pokud k tomu samotný uživatel nedá povolení. Odstavený uživatel o tom ovšem neví.

Facebook experimentuje na Instagramu s novou funkcí. Pokud vypadá komentář „nenávistně“, zeptá se pisatele, zda jej chce skutečně odeslat, a dá mu tak možnost si to rozmyslet.

Kromě toho dostávají lidé nové možnosti filtrování komentářů. Mohou zadat slova nebo smajlíky, která se v komentářích pod jejich příspěvky zkrátka nesmí vyskytovat.

Vždy je možné se odvolat

Na závěr programu došlo na důležitý pilíř integrity. „Na začátku jsme říkali, že při takovémto množství budeme vždy dělat nějaké chyby. A proto je tu proces odvolání, aby ty chyby bylo možné napravit,“ uvedla datová analytička Sandi Conroyová. „Konkrétně jsme třeba od července do září dostali 1,4 milionu odvolání a na jejich základě jsme obnovili 172 tisíc příspěvků.“

Odvolací procesy jsou pro Facebook důležité hlavně ze tří důvodů: chce se poučit ze svých chyb při vyhodnocení obsahu, někdy neurčí správně mezní případy a jindy zase špatně vyhodnotí kontext

Do budoucna Facebook uvažuje o tom, že by na vyřizování odvolacích požadavků najal nějaký typ externího auditora. Nyní se odvolání vyřizuje pomocí náhodně sestavené poroty. Z patnácti tisíců lidí, kteří mají na starost kontrolu nahlášeného obsahu, se vyberou tři, kteří odvolání uživatele posoudí. Pokud je většina pro vyhovění požadavku, dojde ke zvrácení původního rozhodnutí.

„Často si lidé myslí, že když nějaký příspěvek nahlásí hodně lidí, tak se jím budeme více zabývat. Tak to ale není. I když na nějaký příspěvek přijde tisíc hlášení, zabýváme se jím jen jednou,“ upřesnil Simon Cross. Různé „nahlašovací kampaně“ tak podle něj nemají význam a jsou spíše lidovým mýtem.

Při následném rozhovoru s manažery pro integritu (cestu na setkání platila firma Facebook, pozn. red.) jsem si opět uvědomil komplikovanou strukturu této kalifornské společnosti s vpravdě globální působností. „Na toto nemůžu odpovídat, protože to je specifický typ podvodu, kterým se zabývá speciální tým...“ slyšel jsem minimálně pětkrát. Zřejmě to při dvou miliardách aktivních uživatelů jinak nejde. Facebook, zdá se, začal v posledních letech brát vážně to, co ještě před deseti lety vůbec řešit nemusel.

„Ale než se budeme plácat po zádech, je dobré říci, že jako zlepšujeme své nástroje my, tak je zlepšují i podvodníci,“ připomněl mezi řečí programátor Nicola Bortignon. Takže zatímco Facebook trénuje svou „umělou inteligenci“ na historických a simulovaných datech, vznikají další podvody a útoky, na které současný Facebook nemusí být připraven.

Autor:
  • Nejčtenější

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

v diskusi je 125 příspěvků

26. března 2024

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo...

Z jaderné triády zbyly Britům už jen ponorky. A ty musejí posílit

v diskusi je 76 příspěvků

27. března 2024

Jadernou triádu tvoří strategické bombardéry s jadernými zbraněmi, mezikontinentální balistické...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 30 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

Rusko zastavilo odlet na ISS s první Běloruskou, letět měla i Američanka

v diskusi je 50 příspěvků

21. března 2024  10:23,  aktualizováno  14:26

Ve čtvrtek 21. března se necelých deset minut před půl třetí odpoledne měla vydat na Mezinárodní...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Načapali jsme otesánka, který se velkého sousta nezalekne. Boeing 747-400F

v diskusi je 8 příspěvků

21. března 2024

Poté, co na Letiště Václava Havla Praha přestaly v barvách Qatar Airways létat nákladní Boeingy...

Dočasná raketa se po téměř 70 letech loučí. Nyní startuje naposledy

v diskusi jsou 3 příspěvky

28. března 2024  15:36

Přímý přenos Tento čtvrtek stojí na startovací rampě mysu Canaveral poslední potomek raket Thor, nosič Delta IV...

Američané odepsali modul, který je vrátil po půl století na Měsíc

v diskusi je 20 příspěvků

28. března 2024,  aktualizováno  11:41

Od začátku letošního roku je na Měsíci a kolem něj poměrně rušno. Vedle řady sond, které zamířily...

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 30 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

Úspěšný let prototypu XB-1 vrací do hry cestování nadzvukovou rychlostí

v diskusi je 34 příspěvků

27. března 2024  17:17

Po více než dvaceti letech, od ukončení provozu letounu Concorde, se možná opět dočkáme nadzvukové...

Akční letáky
Akční letáky

Prohlédněte si akční letáky všech obchodů hezky na jednom místě!

Rána pro britskou monarchii. Princezna Kate má rakovinu, chodí na chemoterapii

Britská princezna z Walesu Kate (42) se léčí s rakovinou. Oznámila to sama ve videu na sociálních sítích poté, co se...

Smoljak nechtěl Sobotu v Jáchymovi. Zničil jsi nám film, řekl mu

Příběh naivního vesnického mladíka Františka, který získá v Praze díky kondiciogramu nejen pracovní místo, ale i...

Rejžo, jdu do naha! Balzerová vzpomínala na nahou scénu v Zlatých úhořích

Eliška Balzerová (74) v 7 pádech Honzy Dědka přiznala, že dodnes neví, ve který den se narodila. Kromě toho, že...

Pliveme vám do piva. Centrum Málagy zaplavily nenávistné vzkazy turistům

Mezi turisticky oblíbené destinace se dlouhá léta řadí i španělská Málaga. Přístavní město na jihu země láká na...

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo divadelních...