Klávesové zkratky na tomto webu - základní­
Přeskočit hlavičku portálu


Diskuse k článku

Programátoři pokořili poker. Mohli vydělat miliony, vybrali si Science

Karetní hra Poker Texas Hold’em je pro počítače neobyčejně náročná. Ještě nedávno měli nejlepší hráči nad počítačovými programy navrch. Letos to přestalo platit. I díky českým programátorům, kteří v článku pro Science popsali svou inovativní umělou inteligenci DeepStack.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času

H43y60n71e68k 58M92r39t83v48ý 2240627509851

casina použití hráči sice zakazují, ale je otázkou času, kdy tyto boty samy nasadí. pár umělých hráčů jim hezky zvedne zisky nad rámec vybírání rakes ;-)

0/0
6.3.2017 10:41

M13i59c28h28a19e69l 96P15r80i47n10c 7375955780355

Jak definují autoři Nash equilibrium (NE) v pokeru obecně a jak definují NE specificky v HUNL Hold'em?

Mám chápat aproximaci NE tak, že používají neurální sítě k naučení výsledků zpětné indukce? Sice nejsou schopni vypočítat přesně NE ke každému stavu, ale spokojí se s nejlepší přesností, kterou omezí další vrstvou neurální sítě? Klidně mne opravte, rád s dozvím víc.

0/0
5.3.2017 11:26
Foto

M69i37r28o74s59l50a50v 39O77l56š90á72k 4330101438916

Nevím, kolik toho víte o samotném NE, tak aspoň napíšu základy, které znám já. NE pracuje s diskrétními strategiemi -- "když se hrálo takto a teď je hra v tomto stavu, zahraju za všech okolností tento tah" -- a jejich pravděpodobnostními kombinacemi. Například ve hrách s úplnou informací jako jsou šachy je neprohrávající rovnou nějaká diskrétní strategie, jen ji neznáme. Zato v "kámen, nůžky, papír" máme tři možné diskrétní strategie -- dát kámen, dát nůžky a dát papír -- ale optimální (neprohrávající) strategie je vybrat si náhodně jednu z těchto tří.

Tvrzení o NE říká, že je možné v každé hře několika hráčů rozdat hráčům strategie (pravděpodobnostně navážené), aby žádnému jednotlivému hráči nepomohlo svoji strategii změnit, což se dá ekvivalentně formulovat tak, že se žádnému hráči nevyplatí změnit svou strategii na diskrétní. Obecně to pro hry dvou hráčů znamená, že pro oba hráče existuje optimální strategie, protože když hráčům dáme strategie podle NE, tak je strategie hráče 1 optimální, ať hráč 2 svou strategii jakkoli změní (tedy ať hraje jakkoli).

Pro větší počet hráčů je to problém, protože nepomůže, aby jeden hráč hrál podle NE, musí podle NE hrát všichni až na jednoho hráče. A lidsky řečeno je problém v tom, že se obecně může několik hráčů spiknout proti jednomu. Nevím, ale nakolik tohle může nastat v Pokeru.

Počítat s diskrétními strategiemi přes celou hru by bylo neúnosné, ale neúplná informace je v Pokeru vždy chvliková -- po dobu jednoho "kola" (neznám odborný název), takže stačí hrát v každém kole optimální strategii zvlášť. Takové zjednodušení vyžaduje, aby byly předpočítané optimální šance na výhru na základě množství žetonů, ale odhadnout to nějakou statistikou by nemusel být problém.

V každém kole pak je třeba vyzkoušet všechny diskrétní strategie, kterých je stále příliš. Tady se nějak nasadí předem naučená neuronka odhadující, podobně jako třeba u Go, které možnosti se vyplatí zkoumat, a jak asi vyjdou ty ostatní. Podrobněji do toho nevidím.

0/0
5.3.2017 15:04

M59i96c53h69a53e59l 56P69r19i15n41c 7455545900305

O NE toho vím dost, mě zajímala odpověď autorů. Škoda, že jste se nedržel tématu, který jsem navrhl. Podle stromových diagramů prostě počítají se zpětnou indukcí. Obecné definice NE jsou od reality hodně daleko. Vždy jste limitovaný předpoklady o svém chování i chování druhého. Strategie záleží jen na konkrétním výpočtu očekávaných hodnost a pravděpodobností.

Co jsem zjistil tak GTO je jen lokální extrém ve strategiích, který se zatím nepodařilo překonat, ale není to žádný recept na výhru. Jen funguje do doby, než přijde někdo s lepší.

Matematicky není možné dokázat existenci GTO a vždy tedy bude potvrzena jen dost dokonalou simulací.

0/0
11.3.2017 13:22
Foto

M58i65r42o14s22l53a34v 31O21l53š18á77k 4880411238156

OK, tak pardon, asi toho víte víc než já.

Mrzí mě, jestli se kvůli existenci mojí odpovědi rozhodli neodpovědět autoři, taky mě trochu zajímalo, co k tomu řeknou.

0/0
11.3.2017 13:27

M41i56c47h65a45e46l 80P80r10i83n68c 7275885410445

GTO existuje jen díky omezenému počtu hracích žetonů.

0/0
11.3.2017 13:29
Foto

M97i41r11o10s52l73a43v 11O86l46š53á29k 4470411158476

Je pravda, že co jsem se loni bavil s nějakým IBM náborářem, tak říkal, že Poker brzo padne.

Já stále čekám na matematiku -- až počítač porazí lidi v IMO, tak to na mne obzvlášť zapůsobí. Dokonce jsem se do toho výzkumu taky trochu zapojil a zkusil postavit nějakou neuronku. Ale to až tak hned nebude, zatím jsou počítače fakt marní.

0/0
4.3.2017 15:13

M91a29r73t27i39n 22S43c81h91m30i94d 8334409520492

Jestli jste se bavil s IBM naborarem zde v Praze, tak je velmi mozne ze mel informace z prvni ruky. Oba prvni autori studie pracuji v Prazskem IBM Watson labu a na rok odjeli do Kanady pracovat na DeepStacku :)

+1/0
4.3.2017 16:25
Foto

M62i92r63o76s42l90a10v 22O15l88š81á14k 4640571108366

Jojo. Vypadalo, že se orientuje. Bylo to na podzim na dni firem na MFF, ale už si nepamatuju, kdo to byl.

0/0
4.3.2017 17:40

M61a61r52t62i79n 96S21c70h79m11i87d 8664709810232

Co se tyce IMO, tak tam lide opravdu mohou byt klidni. Muj osobni typ je ze se niceho podobneho nedoziji :)

0/0
4.3.2017 16:30
Foto

M16i62r16o10s79l84a47v 51O70l58š38á72k 4150341338606

Tak to mi teda berete iluze :-), já bych doufal, že to časem půjde. Vždyť je IMO taky jen taková hra, kde je třeba šikovně prořezávat strom možností, které prozkoumáváme a občas být kreativní. A my lidi máme z nějakého důvodu fakt dobrou heuristiku...

Souhlasím, že je to pro AI fakt výzva a současné automatické dokazovače toho moc nevyřeší. Jsou ale tendence do nich implementovat strojové učení (i neuronky), což se dřív moc nedělalo. Ne že by s neuronkami hned měli na IMO, ale jestli půjde vývoj dopředu... (mimochodem, i tady mám informace vcelku z první ruky)

0/0
4.3.2017 18:08

M76a15r21t19i48n 82S96c74h75m63i16d 8914539500212

Ja nejvetci problem ani tak nevidim v samotnem automatickem formalnim dokazovaci (i kdyz to samo o sobe je nesmirne tezke), ale v prekladu "zadani ulohy" -> "formule co chceme dokazat.". Pro tento preklad je potreba aby pocitac velmi dobre chapal zadani ulohy - at uz text nebo text + obrazky.

+1/0
4.3.2017 21:16
Foto

M66i36r19o82s83l33a84v 15O86l27š74á80k 4860151598866

Tak tenhle překlad bych asi oželel a povolil automatu dostat zadání předchroustané. Slyšel jsem, že už je prý navržený formální jazyk na popis takových úloh.

Ale na druhou stranu, automatický překlad z neformální matiky do formální je pro lidi lákavý sám o sobě a taky se o to pozvolna snaží (ačkoli než se pokusí pracovat i s obrázky, tak to bude ještě vyžadovat dlouhý vývoj). Problém je, že mají málo dat, kterým by neuronky krmili -- tedy ona existuje spousta formální i neformální matematiky, ale tato data jsou jen velmi málo propojená.

+1/0
4.3.2017 21:29

J78a76r11o69s96l24a90v 88V14a27c81e73k 1452312682416

Není pravda, že šachy jsou vyřešené. Dokonce se tam také velmi výrazně pracuje s pravděpodobností.

Naopak považuji za ukázku nedokonalosti technologií, jaký obrovský výpočetní výkon musel být použit, aby porazil člověka. A to tomu programu pomohli ještě tím, že do něho nabouchali tuny partií. Tedy zdroj rozhodování pro člověka.

0/0
4.3.2017 9:04

K35a55r49e46l 37P66o26d97h91o80r35s13k61y 3655323932885

Člověk má neuronů řádově více, také se to musí naučit a stejně mu to nejde tak dobře jako té technologii. Myslím, že to spíš svědčí pro tu technologii ;-)

0/0
4.3.2017 14:26
Foto

M58i55r15o74s73l20a96v 38O94l90š94á29k 4670331228806

Tipoval bych, že výpočetní výkon Deep Blue, který porazil mistra v šachu, by se dneska vešel do mobilu.

+3/0
4.3.2017 15:26
Foto

P52a21v54e79l 14K46a41s48í43k52, 98T31e20c62h10n64e25t51.51c42z

Také si to myslím, zvláště telefon s dobrou grafickou kartou.

0/0
4.3.2017 19:34

H20y84n29e80k 75M36r40t37v31ý 2160957609671

obrovský? podle toho co je to "obrovský", když dnes i slabší notebook s houdinim, rybkou, nebo stockfish opanuje libovolný lidský šachový turnaj

0/0
6.3.2017 10:45

J79a49r83o79s81l43a78v 51V68a42c34e75k 1532392722796

Když slyším neuronová síť, tak ztrácím pozornost. Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

+2/−10
4.3.2017 4:31

V42l29a12s17t70i39m20i11l 68K59a33š70p15a18r 9151306912359

Pokud je k dispozici ten algoritmus. Je stále mnoho problémů, kde algoritmus znám není... ;-)

+4/0
4.3.2017 8:03

J59a93r29o25s40l71a68v 97V41a43c60e47k 1502602852976

:-) tak to je moudro. Algoritmus musí být znám i pro neuronovou síť. Ona sama nic nezařídí. Je to jenom způsob uložení dat v paměti a mraky pravidel. Co asi na tom počítači běží? Algoritmus!

Jestli si někdo myslí, že umělá inteligence něco vymýšlí, tak je uplně mimo.

+2/−5
4.3.2017 8:29

M58a35r63t41i65n 72S78c54h68m80i74d 8284289960372

> Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

Tak to je velmi odvazne tvrzeni. Neuronove site zpusobili v posledni dobe revoluci v rozpoznani reci, obrazu a strojovem prekladu. Pokud vite jak dosahnout stejne dobrych vysledku "efektivneji bez neuronove site", zalozte si startup a napr. Google tento startup ihned koupi za stovky milionu dolaru.

Vtip je v tom ze neuronove site nikdo "neprogramuje", oni se "uci" z mnoha prikladu ktere jim ukazete.

+7/0
4.3.2017 9:46

M26i69l33a46n 47V30o47l98e85k 5759973706219

Tak to asi máme různé představy neuronových sítí. Já jsem s nimi nic velkého neudělal, ale zkušenosti mám stejné jako JV.

0/0
5.3.2017 15:46
Foto

M69i34r98o84s29l53a31v 17O71l65š71á27k 4380561468856

Je samozřejmě možné, že současný hype okolo neuronových sítí je přehnaný, a já můžu být trochu zaujatý, jelikož je to jediná technika strojového učení, kterou trochu znám. A jak jsem se je učil, tak jsem se taky naučil, nakolik jsou neuronky ošemetné, a nemusí být až tak snadné vyřešit problém tím, že tam frknu hlubokou neuronku.

Za jednoznačné úspěchy neuronek v poslední době považuji zejména výsledky týmu Deep Mind -- WaveNet pro generování zvuku, univerzální AI pro hraní počítačových her, které dostává jen vstupy z monitoru a ze začátku vůbec neví, jak hra funguje -- pacman, arcanoid, atp., a samozřejmě loňská porážka člověka v Go.

Navíc co jsem tak slyšel, tak se úspěšně nasazují pro rozpoznávání obrázků či strojovém překladu, jak psal předřečník.

A musím uznat, že moje uznání neuronek pramení zejména z obdivu k úspěchům profíků než z vlastní zkušenosti.

0/0
6.3.2017 16:28

M12i86l33a22n 25V62o20l34e89k 5629603206159

Z těch obecných zpráv právě vůbec nevyplývá, jak byly neuronové sítě použity. Můžete si udělat neuronovou síť na vstupní matici 8 x 5 na rozpoznání znaků, bude docela jednoduchá a rychle se požadované znaky naučí, ale toho snadno dosáhnete i jinak. Ovšem nevěřím, že někdo udělal neuronovou síť se vstupy pro 12 megapixelů velký obrázek a neuronová síť to sama převede na psaný text. Co by konkrétně mělo lézt z výstupních neuronů? Podle mne se neuronové sítě používají jen jako samoučící část v rámci vymyšleného algoritmu.

0/0
7.3.2017 7:54
Foto

M25i41r78o95s79l82a57v 21O49l29š42á77k 4820931618606

Tak zrovna třeba to hraní počítačových her je dost jenom neuronová síť, která na vstupu dostane obrázek monitoru (ale 12 megapixelů to není, jsou to hry z Atari), a na výstupu má několik málo možností (výstupních "neuronů"), jak hrát.

Ale i na to, co popisujete si umím představit neuronovou síť -- napřed hromada konvolucí, v nich sem tam nějaké maxpooly, pak se to nažene do stavu RNN buňky, která výsledek dekóduje na posloupnost slov. Moc nevím, co bych tam implementoval za vymyšlený algoritmus.

0/0
7.3.2017 10:43

D80a75v13i19d 52D49i88r95g82a 7875561198

Ano, a ten algoritmus v kostce zní "Zkus to a jestli to dopadlo dobře, zkoušej to takhle častěji, jinak to takhle zkoušej méně často". Výhoda je, že je to algoritmus velmi jednoduchý a uplatnitelný i v situacích, kdy řešení problému nedokážeme rozpadnout na jasné kroky. Třeba rozpoznávání obrazu.

+2/0
5.3.2017 8:55

M45i74l93a62n 68V56o60l60e55k 5849593606659

Jenže data pro neuronovou síť musíte nějak smysluplně připravit.

0/0
5.3.2017 15:44

K12a54r75e82l 92P82o83d36h39o38r11s78k44y 3115163882385

Neuronová síť je hlavně něco jako ohromná soustava rovnic, o algoritmus tam až tak nejde. Pokud umíte tuto soustavu sestavit ručně (a navíc efektivněji), tak jsem opravdu zvědav na váš výsledek.

0/0
4.3.2017 14:29

J16a83k10u68b 63K39r82e67j82č29í 3351143988294

Az pocitacove programy prekonaji v hrani pokeru lidi a je to jen otazka casu, bude to konec online hrani pokeru.

0/−1
3.3.2017 23:15

J29a27n 58P91r82o85c51h16a14z63k36a 1607475649347

Pro sedmdesátiletého dědka jako jsem já, který svůj první laptop s programem T 602 začal používat někdy v polovině 90.let, jsou všechny podobné články něco jako science fiction.

+10/0
3.3.2017 23:13

T66o76m26a58s 49K95o30t53a81l 8127844214533

Na druhou stranu jste i jako "sedmdesátiletý dědek" udržel krok a čtete zprávy na technetu. To může znít jako sci-fi mnoha Vašim vrstevníkům! R^

+11/0
4.3.2017 7:49

J19a24n 11P16r14o33c11h59a25z83k56a 1967545299417

Děkuji za uznání, pane Kotale.

0/0
8.3.2017 3:13
Foto

M92i63r10o13s31l29a28v 94O67l37š82á69k 4780301388476

V pořádku, současný vývoj umělé inteligence zní jako sci-fi i mladým studentům jako jsem já :-) https://www.youtube.com/watch?v=dcZvhP-IqY4

+1/0
4.3.2017 15:40

M11i83c65h94a60e54l 21P59r40i60n11c 7655275100745

Chtělo by to trochu doplnit a opravit. Programátoři nepokořili poker, ale jen jednu jeho variantu, která se jmenuje heads-up.

Sami píší, že více hráčů neobehrají. Zajímavé to přesto je.

+1/0
3.3.2017 22:20
Foto

P92a98v75e34l 49K18a31s21í49k86, 94T81e21c45h95n28e88t46.62c28z

Texas Hold'em No Limit je jedna z nejtěžších variant (z pohledu AI), do titulku je to podle mého snesitelná zkratka.

0/0
3.3.2017 23:24

P59a53v44e75l 97Š13t55ě91p71á87n67e92k 6120194827948

No až na to, že No Limit se nutně nehraje v heads-upu, ale spíš na stolech o až 6-10 hráčích, kde by si tato AI moc neškrtla, protože na to není ani navržena. Čili připomínka je validní. Poker ani No Limit Holdem nebyl pokořen. Pouze heads-up v No Limit Holdemu, což je naopak nejjednodušší varianta (1:1). Jakmile se počet hráčů zvyšuje, je to vždy těžší.

+5/0
3.3.2017 23:38

M84a31r61t22i60n 74S44c82h21m66i25d 8774299240142

Mate samozrejme pravdu - na druhou stranu chapu ze titulek ktery ma v nazvu "dvojhracovy bezlimitni texas hold'em poker se stackem 20,000 chipu a blindy 50/100" by byl nejpresnejsi, ale zabral by pulku monitoru a tedy nejaky kompromis redaktori museli zvolit :)

+5/0
3.3.2017 23:42

D47u38s62a21n 74K48r32i88v72s20k27y 7654565257163

No rikat, ze heads up je nejlehci, taky neni spravne. Pro program asi ano, ale ne pro cloveka. Kdyz si prumerny hrac sedne k treba deviti dalsim dobrymhracum a bude hrat hodne tight, nedopadne tak spatne jako proti dobremu hraci v heads upu.

0/0
3.3.2017 23:57

M24i27l42a85n 44K92o61c41i65s 1464914682418

To jo, ale jen na chvili... Prumerny hrac dlouhodobie nema sanci hrat proti dobrym hracum...

+2/0
4.3.2017 1:47

R24o90b87i75n 93Ž68i52ž88k64a 2808294836196

Tomu bych v dlouhém období nevěřil. Protože dobrý hráč ví stejně dobře, jak hrát u plného stolu jako u headsup, a příliš defenzivní hráč na to taky dojede. Možná to bude trvat dýl než ve dvou, ale ten rozdíl se pozná i tam.

0/0
4.3.2017 22:09

M81i39c32h86a64e26l 27P63r51i19n62c 7115805270125

Článek v Science píše o heads-upu, tak proč to nepíše technet? Jinak heads-up může být třeba v Pot Limit Omaha (PLO) nebo v desítkách dalších typů hry poker. https://en.wikipedia.org/wiki/List_of_poker_variants

Prosím, nezobecňujte, to dělají bulvární média.

0/0
5.3.2017 11:40

I44v11e79t19a 11S39o29c41h94o36r76o79v30a 6460704385774

Pokud nepokoří administrativu všeho druhu , tak posunuli poznání nepatrně .

0/0
3.3.2017 22:14

P15a25v19e51l 58Š35t24ě14p14á25n95e36k 6450664407678

Zajímalo by mě jak si DeepStack poradí s agresivní hrou. Přece jen, když se drží nějaké extrémně dlouhodobé strategie, která mu zaručuje ziskovost, tak bude muset nutně zahazovat na ALL IN s blbýma kartama, nebo tam má taky nějaký gemblerský mód? Hráč většinou neuhraje milión hand ... Stačí stovka her a v tý DeepStacka s trochou štěstí voškube jak husu ;-D;-DR^

0/0
3.3.2017 21:19

D70u70s62a45n 27K13r10i79v98s12k55y 7684895497833

Jen se prizpusobi agresivni hre. Kdyz bude nekdo posilat All iny do malych potu, tak neni potreba ani zadny program, aby clovek byl dost plusovy. Tomu neni tezke se prizpusobit. Stovka her neni zadny vzorek, tam muze byt v plusu i nekdo kdo prakticky ani nezna pravidla i proti top hracum.

+1/0
3.3.2017 21:34

P30a71v91e71l 13Š22t85ě35p59á30n82e86k 6340254267988

V konečným důsledku spíš jde o to, že AI nemá emoce a tak se nedostane do tiltu a má 100% disciplínu a bude si pořád hrát to svoje "při zdi" , což je největší problém pro lidský hráče, větší než, že neumí propočítávat miliony operací za sekundu ... Ovšem aby někdo vyhrál velký turnaj, tak potřebuje nejen hrát matematicky dobře a stabilně, ale taky kopec štěstí, protože bude v situacích kdy bude muset točit a nebo kdy se bude bát bad beatu na riveru atd.

+4/0
3.3.2017 21:56

D98u41s23a89n 78K98r67i24v69s97k15y 7504775357223

O tom, ze je potreba ve velkem turnaji kopec stesti k vyhre, se nema cenu bavit, to zname asi vsichni, kdo jsme nekdy poker hrali:-). Ten program je staveny primarne na heads-upy, ale i pri turnaji predpokladam, ze by se mel prizpusobit optimalne agresivnimu hraci a spravne to vyhodnotit. Pokud by hral pouze "pri zdi" tak to neni idealni hra.

+1/0
3.3.2017 22:05

M58a45r34t56i52n24a 94D47v94o67ř58á76k19o66v81á 3274923740864

Pokud tou vyšší agresivitou snížíte celkový počet handů, máte podle mě vyšší šanci na výhru, náhoda a štěstí bude mít vyšší vliv. Čím větší počet her, tím pravděpodobněji ale vyhraje ten s optimálním výpočtem pravděpodobnosti (počítač). Také vás počítač pravděpodobně porazí vícekrát, než vy jeho. Pokud program sleduje chování soupeřů a přizpůsobuje se, bude nejlepší strategií pravidelně měnit výši agresivity.

0/0
3.3.2017 22:04

D38u69s89a18n 70K40r92i92v13s88k51y 7874295187523

Jasny, cim vice her, tim je obecne pravdepodobnost na strane toho lepsiho. Proto jsem drive, kdy jsem hral celkem dost, vymenil zive hry za online, kde clovek po vypaduti si muze pusit dalsi turnaj a muze jich hrat pripadne vice najednou.

Tady v tom pripade zas pokud bude delat clovek diky agresivite extremne spatne rozhodnuti, pocitac toho dokaze predpokladam dobre vyuzit. Jj s tou zmenou agresivity a obecne meneni hry je prave u lidi problem. Ze vetsina si myslim i nevedomky dela v urcitych situacich podobne kroky a pocitac, pokud bude mit uz dostatek dat, najde i male detaily a bude toho vyuzivat. Ale to mluvim o nejakem idealnim programu a nejsem ani presvedcen, ze tenhle to vse umi.

0/0
3.3.2017 22:14

P56a74v75e79l 90Š51t55ě26p28á51n82e41k 6190474597408

Zásadní um v pokeru je umět hrát ty špatný karty, kdy hráč hraje víc protihráče a dostává je pod tlak i když sám má prdlajz, buď využívá pozice nebo velikosti stacku atd. ... takže mě by zajímalo jak AI hraje tyhle svoje špatný karty ... a jestli umí dělat to samý ... pokud je to jen našprcená neuronka, tak si myslím, že prostě není inteligentní jako člověk ani náhodou ... nebude klást pasti, nebude měnit dynamiku hry atd. jen si bude blbě počítat pravděpodobnosti - vyplatí se mi call nebo ne? odpověď jakou dá i primitivní poker odds calculator se kterým hrajou online hráči ... jenže člověk umí identické situace zahrát více způsoby, takže zákonitě bude soupeř včetně AI nucen hádat a vařit z vody ...

+3/−1
3.3.2017 22:28







Najdete na iDNES.cz