Nový obrazový snímač vás rozpozná od psa a pozná, že nemáte roušku

  9:00
Nový čip IMX500 je první, který kombinuje obrazový snímač se signálovým procesorem, obrazovým procesorem a rychlou pamětí. Přímo v něm tak může běžet zpracování snímaného obrazu pomocí modelů umělé inteligence, a to nevídanou rychlostí – vyhodnotit dokáže 30 snímků za sekundu a díky tomu pozná, co zrovna vidí.
První obrazový snímač s AI zpracováním obrazu. Nalevo samotný čip IMX500, nalevo jeho „package“ podoba IMX501

První obrazový snímač s AI zpracováním obrazu. Nalevo samotný čip IMX500, nalevo jeho „package“ podoba IMX501 | foto: Sony, koláž Technet.czProfimedia.cz

Společnost Sony dnes představuje první čip, který do obrazového snímače integruje procesory pro zpracování obrazu pomocí umělé inteligence. Na jeho výstupu tak není jen obrazový signál, ale i metadata odpovídající použitému modelu – například informace, že v záběru je pes na louce, snímaný člověk je mladá žena, lidé v záběru nemají roušky a ochranné brýle, že je v daném prostoru překročen maximální počet návštěvníků nebo že se v továrně do vyhrazeného koridoru dostala překážka. 

Takovéto věci zatím buď zpracovávala další výkonná elektronika v zařízení, ve kterém byl obrazový snímač namontován, nebo cloudový systém, na který byla data z kamery posílána.

Výstup z čipu obsahuje metadata – například popisující obsah obrázku.

Výhodou integrace přímo v čipu je především rychlost – díky společné integraci snímače, procesorů a paměti probíhá analýza obrazu velmi rychle. Podle výrobce zvládne systém vytvořit inference pro 30 snímků za sekundu a v MobileNet V1 dosáhl výsledku 3,1 ms. To vše s údajně s velmi příznivou spotřebou energie. Její přesnější hodnotu, stejně jako bližší informace o výkonu procesorů, nám zástupci firmy neprozradili. Víme ale, že čip má rozlišení 12,3 Mpix, takže na výstupu nabídne 4K obraz, pro AI zpracovní jde ale nižší, FullHD, rozlišení. 

Mimo rekordní rychlosti zpracování může být tato integrace i důležitým bezpečnostním prvkem. Systém může být totiž nastaven tak, že čip žádná obrazová data ven neposílá – pouze metadatový výstup z AI modelu. K záběrům a fotografiím by se tak jen obtížně mohla dostat neautorizovaná třetí strana, protože tato data vůbec neopustí čip a po zpracování obrazovým procesorem jsou z vnitřní paměti zahozena.

Struktura čipu IMX500

Čipy budou v nabídce ve dvou variantách – samotný čip a takzvaný „package“ – tedy včetně podpůrných obvodů a standardizované sběrnice. Vzorky první varianty již míří k integračním partnerům, za cenu 10 000 JPY bez daně (2 364 Kč), druhá varianta by měla přijít o měsíc později za cenu dvojnásobnou. 

Příklady použití

Společnost Sony bude čip nabízet jednak s vlastními AI modely, na jejichž „katalogu“ se již pracuje, jednak svým zákazníkům pomůže s integrací jejich vlastních modelů podle jejich vlastní potřeby a požadavků.

Příklady použití

Na otázku, zda se tyto čipy v dohledné době dostanou i do spotřební elektroniky, nám zástupci společnosti během komorní webexové tiskové konference neodpověděli. V kameře pro PlayStation nebo třeba v chytrých telefonech by mohly přinést řadu dnes jen obtížně realizovatelných aplikací.

Začátek nové éry?

Sony je předním výrobcem obrazových čipů, jen na poli chytrých telefonů má dle dostupných údajů lehce přes polovinu trhu. Podle zástupců společnosti nyní nastává zlom, kdy obrazové snímače nebudou především zdrojem obrazu pro jeho opětovné zhlédnutí, ale zejména zdrojem dat. Například autonomní systémy a různé roboty tak budou moci kombinovat ohromné datové zázemí cloudových „backendů“ s vizuálními daty získanými v reálném čase.

  • Nejčtenější

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

v diskusi je 125 příspěvků

26. března 2024

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo...

Z jaderné triády zbyly Britům už jen ponorky. A ty musejí posílit

v diskusi je 76 příspěvků

27. března 2024

Jadernou triádu tvoří strategické bombardéry s jadernými zbraněmi, mezikontinentální balistické...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Rusko zastavilo odlet na ISS s první Běloruskou, letět měla i Američanka

v diskusi je 50 příspěvků

21. března 2024  10:23,  aktualizováno  14:26

Ve čtvrtek 21. března se necelých deset minut před půl třetí odpoledne měla vydat na Mezinárodní...

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 15 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Načapali jsme otesánka, který se velkého sousta nezalekne. Boeing 747-400F

v diskusi je 8 příspěvků

21. března 2024

Poté, co na Letiště Václava Havla Praha přestaly v barvách Qatar Airways létat nákladní Boeingy...

Američané odepsali modul, který je vrátil po půl století na Měsíc

v diskusi je 15 příspěvků

28. března 2024,  aktualizováno  11:41

Od začátku letošního roku je na Měsíci a kolem něj poměrně rušno. Vedle řady sond, které zamířily...

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 15 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

Úspěšný let prototypu XB-1 vrací do hry cestování nadzvukovou rychlostí

v diskusi je 31 příspěvků

27. března 2024  17:17

Po více než dvaceti letech, od ukončení provozu letounu Concorde, se možná opět dočkáme nadzvukové...

Jarní bouře ničila před 100 lety Prahu. Napáchala obří škody

v diskusi je 10 příspěvků

27. března 2024

Prahou prošla před 100 lety, 27. března 1924, neobvykle silná jarní bouřka. V části hlavního města...

Akční letáky
Akční letáky

Všechny akční letáky na jednom místě!

Rána pro britskou monarchii. Princezna Kate má rakovinu, chodí na chemoterapii

Britská princezna z Walesu Kate (42) se léčí s rakovinou. Oznámila to sama ve videu na sociálních sítích poté, co se...

Smoljak nechtěl Sobotu v Jáchymovi. Zničil jsi nám film, řekl mu

Příběh naivního vesnického mladíka Františka, který získá v Praze díky kondiciogramu nejen pracovní místo, ale i...

Rejžo, jdu do naha! Balzerová vzpomínala na nahou scénu v Zlatých úhořích

Eliška Balzerová (74) v 7 pádech Honzy Dědka přiznala, že dodnes neví, ve který den se narodila. Kromě toho, že...

Pliveme vám do piva. Centrum Málagy zaplavily nenávistné vzkazy turistům

Mezi turisticky oblíbené destinace se dlouhá léta řadí i španělská Málaga. Přístavní město na jihu země láká na...

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo divadelních...