Mladí i staří, muži i ženy, osoby z celého světa. Na první pohled celkem pestrá, ale nijak neobvyklá mozaika. Ale něco mají společného. Tito lidé nikdy neexistovali. Vznikli ve „fantazii“ počítače.
Počítačem vygenerované tváře působí na první i druhý pohled naprosto fotorealisticky
Tváře na fotografiích nejsou skutečné. Vlastně to nejsou ani fotografie v pravém slova smyslu. Blíže mají k fotorealistickým malbám nebo policejním kompozitním fotografiím (identikitům).
Počítačem vygenerované tváře působí na první i druhý pohled naprosto fotorealisticky
Tyto „fotografie“ vytvořila neuronová síť sestavená vědci ze společnosti Nvidia (jejich nejnovější práce je dostupná na arXiv.org, PDF). Speciální síť umí díky chytré kombinaci strojového učení napodobit něco, čemu můžeme zjednodušeně říkat „fantazie“.
Ukázky tváří vygenerovaných neuronovou sítí |
Protože s počítačovou „fantazií“ nebo počítačovými „instinkty“ se budeme v následujících letech setkávat častěji, vyplatí se podívat se jim pod kapotu.
Na začátku jsou reálná data
Kdykoli slyšíte o neuronových sítích nebo „umělé inteligenci“, měli byste se ptát, z jakých dat tyto sítě vycházejí, na jakých datech se učily. To je důležité, protože tato data v sobě mohou zahrnovat nějaké – úmyslné, či neúmyslné – zkreslení, které se tak přenese i na rozhodovací schopnosti výsledné neuronové sítě (psali jsme o tom v článku o neuronové síti v soudnictví).
Fotografie vygenerované ze statisíců snímků celebrit (archiv CELEBA)
Příkladem může být třeba předchozí síť Nvidia z roku 2017 (PDF), která si svou „fantazii“ trénovala na fotografiích celebrit. Výsledné generované fotografie ukazují evidentní sklon k symetrickým, mladistvým, upraveným a vůbec „klasicky atraktivním“ obličejům. Dokonalá úprava vizáže většiny celebrit také mimochodem znamená, že neuronová síť, která by se na tomto vzorku učila rozpoznávat věk, by pak „normálním smrtelníkům“ při odhadování věku pět až patnáct let přidala. Vždyť se na ně podívejte. Nereálné celebrity jsou těm reálným velmi podobné.
Jak neuronová síť Nvidia vymýšlí nové, neexistující tváře celebrit (2017):
Síť Nvidia z roku 2018 má na svědomí prakticky stejný tým: Tero Karras, Samuli Laine a Timo Aila. Také princip je podobný, ovšem s několika významnými vylepšeními. Novější studie čerpala data nikoli z datasetu celebrit, ale z fotek „obyčejných lidí“ publikovaných na síti Flickr.
Z těchto a dalších 70 tisíc takovýchto fotek z Flickeru se učila síť Nvidia
Dataset FFHQ obsahuje 70 tisíc obličejů ve vysoké kvalitě a koncem ledna by měl být ke stažení (kontaktovali jsme autory studie a odkaz doplníme, jakmile bude k dispozici).
Fantazie s možností detialního nastavení stylu
Hlavními změnami prošla generativní kompetitivní neuronová síť (tzv. GAN – generative adversial network), která v tomto případě slouží ke generování „fotografií“ obličejů.
GAN sítě mají obvykle dva prvky, dvě neuronové sítě, které spolu soutěží (proto kompetitivní či adversiální sítě):
- tvůrce – tvůrčí síť má za úkol generovat takové fotografie, které budou k nerozeznání od skutečných fotografií
- soudce – třídící síť má za úkol poznat, které fotografie jsou pravé a které ne
GAN sítěGenerativní kompetitivní neuronové sítě vymyslel teprve v roce 2014 doktorand Ian Goodfellow, a obrazně lze říci, že tak dal počítačům fantazii. Dvě neuronové sítě (tvůrce a soudce) spolu vzájemně soupeří a tím se obě postupně zlepšují. GAN sítě se využívají zejména při generování obrazových dat. Jeden takový obraz byl nedávno vydražen za téměř deset milionů korun. |
Celý proces je relativně zdlouhavý a komplikovaný, ale základní princip je jednoduchý. Tvůrčí síť začne generovat obrázky obličejů s velmi malým rozlišením, třeba 16 pixelů. Třídicí síť se snaží tyto (zpočátku náhodně) generované obrázky odlišit od skutečných zmenšených fotek. Tvůrčí neuronová síť dostane informace o tom, které její výtvory sítem prošly a které ne, a díky tomu se postupně učí, jak lépe vytvářet uvěřitelné obrázky. Také třídicí síť dostává nové informace a tím zvyšuje své šance na rozpoznání falešných fotek od fotek skutečných. Postupně roste rozlišení a tvůrčí síť dokáže vytvářet obrázky 32 × 32 pixelů, potom 64 × 64 pixelů a nakonec se postupně propracuje až k vysokému rozlišení 1024 × 1024 pixelů.
Nová síť kromě tohoto postupného „růstu rozlišení“ přidává různé druhy šumu umožňuje ladit jednotlivé „styly“. Celkově síť trénuje přes 26 milionů parametrů. „Nová architektura umožňuje automatické učení bez dozoru, které odhalí obecné atributy (póza nebo identita) i velmi jemné odchylky (třeba pihy nebo vlasy) a umožňuje intuitivní a specifickou kontrolu nad výsledkem syntézy,“ píší autoři studie. Schéma jejich sítě intuitivně nevypadá, ale výsledky mluví samy za sebe.
Srovnání „tradiční generativní sítě“ a „generativní sítě na bázi stylů“
K čemu jsou tyto „styly“? Síť díky tomu například umí automaticky rozpoznat různé atributy fotky a na vyžádání tak vytvořit fotografii obličeje, který má některé aspekty z jedné fotky a jiné aspekty z fotky jiné.
Kombinace stylů tří fotek do jedné fotky. Z horní fotky pochází „hrubý styl“ (v praxi je to například postava, pohlaví, věk), ze prostřední „střední styl“ (třeba barva pleti nebo výraz tváře) a ze spodní fotky neuronová síť vzala „styl detailů“ (barva vlasů, barevnost snímku apod.)
Styly přitom nejsou definované programátorem. Nikdo neřekl počítači: „tohle je hlava, tohle jsou vlasy, tohle jsou pihy, takhle se od sebe liší rasy a takhle se liší úsměv od nevraživého výrazu.“ Tyto styly jsou „automaticky naučené“. Nemají jméno, autoři studie je pouze pro orientaci rozdělili na obecné, střední a jemné. Zjednodušeně platí, že obecné styly odpovídají charakteristikám, které byste z fotky rozpoznali už při nízkém rozlišení.
Síť tedy umí nejenom generovat náhodné tváře, ale také vytvářet tváře na objednávku. Z pohledu neuronové sítě jsou totiž všechny tyto styly definované číselným parametrem, a umí tedy kombinovat tyto parametry z různých fotek. Takto například vypadají kombinace fotek tváří.
V horním řádku je zdrojový obličej, v levém sloupci pak „celkový styl“, do kterého je obličej z horního řádku přegenerován. Výsledné „křížené“ obličeje lze dále upravovat laděním jednotlivých parametrů.
Právě možnost kontrolovat výsledek odlišuje tuto GAN síť od ostatních, kde byl výsledek do značné míry předurčený náhodou (a samozřejmě trénovacími daty). Podrobná kontrola nad výsledkem může výrazně zlepšit uplatnění takového algoritmu v praxi. Dokážeme si představit zapojení v počítačových hrách (Nvidia je ostatně známá právě mezi hráči), umění, výzkumu nebo při rychlé tvorbě policejních identikitů. Stačilo by říci „vypadal jako tento, ale vlasy měl jako tady ten a taky měl pihy...“ a síť by na přání vygenerovala velké množství obličejů s možností dalších úprav stylů.
Fotografie vygenerovaná ze tří fotografií (vlevo). Z každé zdrojové fotografie si vzala některé „styly“.
Zajímavým důsledkem číselného vyjádření jednotlivých stylů je také možnost najít „opačný obličej“, tedy takový, který má všechny (nebo některé) styly právě opačné než daná fotografie.
Průměrný obličej, vygenerovaný natrénovanou sítí NVIDIA
Ukázka hledání „opačného obličeje“. Levý čtverec ukazuje 25 generovaných fotografií, uprostřed jsou průměrné fotografie (tedy 25krát stejná fotografie) a vpravo jsou odpovídající „opaky“ (fotka vlevo dole je opakem fotky vlevo dole atd.)
Z obrázku to není úplně patrné, lépe je to vidět na následujícím videu.
Nová neuronová síť Nvidia umí vytvořit falešné fotky lidí a ladit jejich styly:
Výsledné fotografie jsou překvapivě realistické. Občas sice zahlédneme nesmyslný záhyb vlasů nebo podivný objekt v pozadí počítačem vygenerovaného portrétu, ale celkově jsou generované snímky uvěřitelné i při podrobném zkoumání. To může opět přiblížit moment, kdy nebudeme schopni rozeznat pravé video od falešného.
Nejen obličeje, ale i kočky, ložnice nebo auta
Síť je poměrně univerzální, nemusí tedy generovat jen fotografie obličejů. Vědci jí předhodili například tisíce fotografií ložnic, koček nebo aut.
Generované fotky koček
Generované fotky aut
Generované fotky ložnic
Výsledné obrázky jsou často na první pohled k nerozeznání od fotografií a to i přesto, že nezobrazují reálné objekty, ale jen něco, co můžeme bez velké nadsázky nazvat počítačovou fantazií.
Zejména u aut jsou výsledky prakticky k nerozeznání od skutečnosti, přestože na snímcích jsou neexistující auta, která ve skutečnosti nikdo nevyrábí.
Bujná fantazie počítače:
Opět lze přitom ladit styly, hrubé i jemné, a změnit tak cíleně jen některé aspekty vygenerovaného snímku.
Generované fotografie lišící se „jemným“ stylem, který v tomto případě ovlivňuje barvu
Autoři studie slibují, že algoritmus i dataset budou zveřejněny během ledna 2019. Odborníci se shodují, že jde o zajímavý pokrok v oblasti neuronových sítí. Zároveň jde o přípomínku toho, jak rychle se počítače dokážou naučit vytvářet uvěřitelná data.
Zatímco ještě před pár lety nebylo až tak těžké rozeznat „počítačem smyšlenou“ fotografii od té skutečné, v budoucnu to bude čím dál složitější. Již nyní počítač vychrlí na vyžádání libovolné množství snímků. A z každé se na vás bude dívat člověk, který nikdy nežil a existuje jen coby soubor číselných parametrů.
Před několika lety by to znělo jako sci-fi. Dnes je to užitečná průprava na svět, ve kterém budeme žít. Lidské tváře už nepatří jenom lidem.
