náhledy
Pokud byste rádi vytvořili umělecké dílo, ale nemáte malířský talent ani trpělivost, možná vám pomůže strojové učení.
Autor: Nvidia GauGAN, montáž: Pavel Kasík, Technet.cz, Profimedia.cz
Vývojáři společnosti Nvidia ukázali nový nástroj GauGAN, který umí vygenerovat realisticky vypadající obrazy na základě sémantického náčrtku.
Uživatel namaluje sémantickou předlohu obrázku (vlevo) a počítač na základě neuronové sítě (vytrénované na tisícovkách obrázků) se pokusí vygenerovat obraz včetně detailů.
Zde vidíme jednoduchou segmentovou mapu (sémantickou předlohu) vlevo a výsledný vygenerovaný obraz vpravo.
Když přidáme další kámen, přibude skála i na vygenerovaném obrazu. Neuronová síť se postará i o odrazy ve vodě. "Ne proto, že jsme to do toho programu nějak nastavili, ale proto, že se to sama naučila," zdůrazňuje Bryan Catanzaro, viceprezident pro výzkum ve společnosti NVIDIA.
Obraz vpravo se generuje celkem rychle a mění se tak dynamicky v reakci na to, co vlevo nakreslíte.
Kreslení probíhá pomocí jednoduchého štětce a kyblíku pro vybarvení.
I drobné změny mají okamžitý vliv na generovaný obraz.
Zde vývojář přidal do sémantické předlohy pláž, a ta se okamžitě spojila s mořem a vytvořila přirozeně vypadající linku.
Pokud se vám vygenerovaný obraz nelíbí, můžete zvolit jinou variantu. Lze také vybrat z bezpočtu různých stylů, které vycházejí z reálných fotografií.
Náhrada písku za kamení okamžitě změní celý vygenerovaný obraz.
Jednotlivé části fotky se totiž negenerují nezávisle, ale vzájemně se ovlivňují.
Při kreslení předlohy okamžitě vidíme, jak vypadá generovaný obraz vpravo.
Dokreslíme kopec...
Přidáme mraky...
Kreslíme strom. Takto to vypadá dost hrozně...
Ale stačí korunu vybarvit a strom najednou vypadá realisticky.
Když trávu na předloze nahradíme sněhem, změní se nejen louka, ale přebarví se i hora na pozadí a ze stromu "opadá" listí. Neuronová síť má totiž naučeno, že na obrázku, kde je sníh, obvykle na stromech není listí.
Lze vybrat několik stylů.
Stejná předloha tak může vyprodukovat velké množství různých obrazů. Uživatel dokonce může vybrat styl, podle kterého by měla být jeho scéna renderována.
Přidáme kulatý rybník. Opět, při kreslení vznikají nesmyslné tvary...
Ale po vybarvení sémantické předlohy vodou už rybníček vypadá lépe. Všimněte si, že strom se v rybníčku odráží.
Ve své práci, kterou tým Nvidia zveřejnil na Arxiv.org (Park et al, 2019), vývojáři ukazují, jak si jejich algoritmus (SPADE) vede v porovnání s konkurenčními a předchozími algoritmy.
Ve své práci, kterou tým Nvidia zveřejnil na Arxiv.org (Park et al, 2019), vývojáři ukazují, jak si jejich algoritmus (SPADE) vede v porovnání s konkurenčními a předchozími algoritmy.
SPADE umí generovat obrázky na základě stylistické a sémantické předlohy.
Další ukázky předlohy a vygenerovaného obrazu
"Nebylo by skvělé, kdybychom se všichni mohli stát umělci?" ptá se Bryan Catanzaro, viceprezident pro výzkum ve společnosti NVIDIA. "Mohli bychom vzít své nápady a udělat z nich úchvatné obrazy."
Podle společnosti Nvidia by generátor GauGAN mohl posloužit architektům při tvorbě realistických scén, ale také filmařům nebo komukoli, kdo chce tvořit obrazy.
"Umíme syntetizovat obrazy s mnohem vyšší mírou věrnosti a propracovanosti," říká Catanzaro. "Myslím, že to bude skvělý nástroj pro každého, kdo rád sní."
Autor: Nvidia GauGAN, montáž: Pavel Kasík, Technet.cz