Klávesové zkratky na tomto webu - základní­
Přeskočit hlavičku portálu


Diskuse k článku

Programátoři pokořili poker. Mohli vydělat miliony, vybrali si Science

Karetní hra Poker Texas Hold’em je pro počítače neobyčejně náročná. Ještě nedávno měli nejlepší hráči nad počítačovými programy navrch. Letos to přestalo platit. I díky českým programátorům, kteří v článku pro Science popsali svou inovativní umělou inteligenci DeepStack.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času

H25y83n65e18k 56M85r32t58v38ý 2200287129241

casina použití hráči sice zakazují, ale je otázkou času, kdy tyto boty samy nasadí. pár umělých hráčů jim hezky zvedne zisky nad rámec vybírání rakes ;-)

0/0
6.3.2017 10:41

M74i11c19h71a78e76l 77P27r97i53n47c 7725535310895

Jak definují autoři Nash equilibrium (NE) v pokeru obecně a jak definují NE specificky v HUNL Hold'em?

Mám chápat aproximaci NE tak, že používají neurální sítě k naučení výsledků zpětné indukce? Sice nejsou schopni vypočítat přesně NE ke každému stavu, ale spokojí se s nejlepší přesností, kterou omezí další vrstvou neurální sítě? Klidně mne opravte, rád s dozvím víc.

0/0
5.3.2017 11:26
Foto

M52i57r49o68s25l53a64v 96O75l68š35á47k 4590731378346

Nevím, kolik toho víte o samotném NE, tak aspoň napíšu základy, které znám já. NE pracuje s diskrétními strategiemi -- "když se hrálo takto a teď je hra v tomto stavu, zahraju za všech okolností tento tah" -- a jejich pravděpodobnostními kombinacemi. Například ve hrách s úplnou informací jako jsou šachy je neprohrávající rovnou nějaká diskrétní strategie, jen ji neznáme. Zato v "kámen, nůžky, papír" máme tři možné diskrétní strategie -- dát kámen, dát nůžky a dát papír -- ale optimální (neprohrávající) strategie je vybrat si náhodně jednu z těchto tří.

Tvrzení o NE říká, že je možné v každé hře několika hráčů rozdat hráčům strategie (pravděpodobnostně navážené), aby žádnému jednotlivému hráči nepomohlo svoji strategii změnit, což se dá ekvivalentně formulovat tak, že se žádnému hráči nevyplatí změnit svou strategii na diskrétní. Obecně to pro hry dvou hráčů znamená, že pro oba hráče existuje optimální strategie, protože když hráčům dáme strategie podle NE, tak je strategie hráče 1 optimální, ať hráč 2 svou strategii jakkoli změní (tedy ať hraje jakkoli).

Pro větší počet hráčů je to problém, protože nepomůže, aby jeden hráč hrál podle NE, musí podle NE hrát všichni až na jednoho hráče. A lidsky řečeno je problém v tom, že se obecně může několik hráčů spiknout proti jednomu. Nevím, ale nakolik tohle může nastat v Pokeru.

Počítat s diskrétními strategiemi přes celou hru by bylo neúnosné, ale neúplná informace je v Pokeru vždy chvliková -- po dobu jednoho "kola" (neznám odborný název), takže stačí hrát v každém kole optimální strategii zvlášť. Takové zjednodušení vyžaduje, aby byly předpočítané optimální šance na výhru na základě množství žetonů, ale odhadnout to nějakou statistikou by nemusel být problém.

V každém kole pak je třeba vyzkoušet všechny diskrétní strategie, kterých je stále příliš. Tady se nějak nasadí předem naučená neuronka odhadující, podobně jako třeba u Go, které možnosti se vyplatí zkoumat, a jak asi vyjdou ty ostatní. Podrobněji do toho nevidím.

0/0
5.3.2017 15:04

M55i94c27h31a24e81l 51P37r48i36n70c 7275395280455

O NE toho vím dost, mě zajímala odpověď autorů. Škoda, že jste se nedržel tématu, který jsem navrhl. Podle stromových diagramů prostě počítají se zpětnou indukcí. Obecné definice NE jsou od reality hodně daleko. Vždy jste limitovaný předpoklady o svém chování i chování druhého. Strategie záleží jen na konkrétním výpočtu očekávaných hodnost a pravděpodobností.

Co jsem zjistil tak GTO je jen lokální extrém ve strategiích, který se zatím nepodařilo překonat, ale není to žádný recept na výhru. Jen funguje do doby, než přijde někdo s lepší.

Matematicky není možné dokázat existenci GTO a vždy tedy bude potvrzena jen dost dokonalou simulací.

0/0
11.3.2017 13:22
Foto

M12i64r41o15s79l69a58v 86O70l20š13á42k 4130531398276

OK, tak pardon, asi toho víte víc než já.

Mrzí mě, jestli se kvůli existenci mojí odpovědi rozhodli neodpovědět autoři, taky mě trochu zajímalo, co k tomu řeknou.

0/0
11.3.2017 13:27

M52i69c28h90a76e35l 98P75r70i15n22c 7305875820465

GTO existuje jen díky omezenému počtu hracích žetonů.

0/0
11.3.2017 13:29
Foto

M66i57r33o32s81l28a68v 56O64l95š18á56k 4210201498486

Je pravda, že co jsem se loni bavil s nějakým IBM náborářem, tak říkal, že Poker brzo padne.

Já stále čekám na matematiku -- až počítač porazí lidi v IMO, tak to na mne obzvlášť zapůsobí. Dokonce jsem se do toho výzkumu taky trochu zapojil a zkusil postavit nějakou neuronku. Ale to až tak hned nebude, zatím jsou počítače fakt marní.

0/0
4.3.2017 15:13

M82a19r18t27i56n 21S36c67h75m64i65d 8444749560372

Jestli jste se bavil s IBM naborarem zde v Praze, tak je velmi mozne ze mel informace z prvni ruky. Oba prvni autori studie pracuji v Prazskem IBM Watson labu a na rok odjeli do Kanady pracovat na DeepStacku :)

+1/0
4.3.2017 16:25
Foto

M97i86r72o46s84l78a31v 56O98l83š23á63k 4930681788876

Jojo. Vypadalo, že se orientuje. Bylo to na podzim na dni firem na MFF, ale už si nepamatuju, kdo to byl.

0/0
4.3.2017 17:40

M65a30r65t38i21n 79S64c89h55m31i65d 8554279610332

Co se tyce IMO, tak tam lide opravdu mohou byt klidni. Muj osobni typ je ze se niceho podobneho nedoziji :)

0/0
4.3.2017 16:30
Foto

M81i17r67o20s68l47a73v 64O68l61š61á18k 4430431568416

Tak to mi teda berete iluze :-), já bych doufal, že to časem půjde. Vždyť je IMO taky jen taková hra, kde je třeba šikovně prořezávat strom možností, které prozkoumáváme a občas být kreativní. A my lidi máme z nějakého důvodu fakt dobrou heuristiku...

Souhlasím, že je to pro AI fakt výzva a současné automatické dokazovače toho moc nevyřeší. Jsou ale tendence do nich implementovat strojové učení (i neuronky), což se dřív moc nedělalo. Ne že by s neuronkami hned měli na IMO, ale jestli půjde vývoj dopředu... (mimochodem, i tady mám informace vcelku z první ruky)

0/0
4.3.2017 18:08

M98a96r75t98i23n 18S28c25h28m31i82d 8894629230752

Ja nejvetci problem ani tak nevidim v samotnem automatickem formalnim dokazovaci (i kdyz to samo o sobe je nesmirne tezke), ale v prekladu "zadani ulohy" -> "formule co chceme dokazat.". Pro tento preklad je potreba aby pocitac velmi dobre chapal zadani ulohy - at uz text nebo text + obrazky.

+1/0
4.3.2017 21:16
Foto

M38i46r59o41s56l35a57v 19O50l91š65á96k 4750581708316

Tak tenhle překlad bych asi oželel a povolil automatu dostat zadání předchroustané. Slyšel jsem, že už je prý navržený formální jazyk na popis takových úloh.

Ale na druhou stranu, automatický překlad z neformální matiky do formální je pro lidi lákavý sám o sobě a taky se o to pozvolna snaží (ačkoli než se pokusí pracovat i s obrázky, tak to bude ještě vyžadovat dlouhý vývoj). Problém je, že mají málo dat, kterým by neuronky krmili -- tedy ona existuje spousta formální i neformální matematiky, ale tato data jsou jen velmi málo propojená.

+1/0
4.3.2017 21:29

J56a98r88o65s57l50a62v 20V72a87c52e91k 1472642822116

Není pravda, že šachy jsou vyřešené. Dokonce se tam také velmi výrazně pracuje s pravděpodobností.

Naopak považuji za ukázku nedokonalosti technologií, jaký obrovský výpočetní výkon musel být použit, aby porazil člověka. A to tomu programu pomohli ještě tím, že do něho nabouchali tuny partií. Tedy zdroj rozhodování pro člověka.

0/0
4.3.2017 9:04

K55a85r33e71l 82P11o98d15h50o87r35s17k56y 3215513662565

Člověk má neuronů řádově více, také se to musí naučit a stejně mu to nejde tak dobře jako té technologii. Myslím, že to spíš svědčí pro tu technologii ;-)

0/0
4.3.2017 14:26
Foto

M10i35r90o73s56l27a87v 83O49l67š67á82k 4650711848186

Tipoval bych, že výpočetní výkon Deep Blue, který porazil mistra v šachu, by se dneska vešel do mobilu.

+3/0
4.3.2017 15:26
Foto

P64a50v89e35l 98K47a54s98í82k25, 68T24e54c62h61n46e84t44.46c38z

Také si to myslím, zvláště telefon s dobrou grafickou kartou.

0/0
4.3.2017 19:34

H90y36n97e67k 44M86r43t43v40ý 2320837269491

obrovský? podle toho co je to "obrovský", když dnes i slabší notebook s houdinim, rybkou, nebo stockfish opanuje libovolný lidský šachový turnaj

0/0
6.3.2017 10:45

J97a91r69o61s40l57a61v 80V91a89c41e57k 1722382852156

Když slyším neuronová síť, tak ztrácím pozornost. Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

+2/−10
4.3.2017 4:31

V31l96a31s34t55i27m37i51l 31K90a21š13p20a67r 9601406522749

Pokud je k dispozici ten algoritmus. Je stále mnoho problémů, kde algoritmus znám není... ;-)

+4/0
4.3.2017 8:03

J55a70r90o84s54l85a83v 57V98a45c66e20k 1712572562376

:-) tak to je moudro. Algoritmus musí být znám i pro neuronovou síť. Ona sama nic nezařídí. Je to jenom způsob uložení dat v paměti a mraky pravidel. Co asi na tom počítači běží? Algoritmus!

Jestli si někdo myslí, že umělá inteligence něco vymýšlí, tak je uplně mimo.

+2/−5
4.3.2017 8:29

M19a34r62t90i92n 80S63c27h39m48i45d 8574699330392

> Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

Tak to je velmi odvazne tvrzeni. Neuronove site zpusobili v posledni dobe revoluci v rozpoznani reci, obrazu a strojovem prekladu. Pokud vite jak dosahnout stejne dobrych vysledku "efektivneji bez neuronove site", zalozte si startup a napr. Google tento startup ihned koupi za stovky milionu dolaru.

Vtip je v tom ze neuronove site nikdo "neprogramuje", oni se "uci" z mnoha prikladu ktere jim ukazete.

+7/0
4.3.2017 9:46

M10i14l97a82n 25V24o46l52e44k 5499973276909

Tak to asi máme různé představy neuronových sítí. Já jsem s nimi nic velkého neudělal, ale zkušenosti mám stejné jako JV.

0/0
5.3.2017 15:46
Foto

M84i21r28o63s55l82a57v 35O77l61š80á74k 4160721548156

Je samozřejmě možné, že současný hype okolo neuronových sítí je přehnaný, a já můžu být trochu zaujatý, jelikož je to jediná technika strojového učení, kterou trochu znám. A jak jsem se je učil, tak jsem se taky naučil, nakolik jsou neuronky ošemetné, a nemusí být až tak snadné vyřešit problém tím, že tam frknu hlubokou neuronku.

Za jednoznačné úspěchy neuronek v poslední době považuji zejména výsledky týmu Deep Mind -- WaveNet pro generování zvuku, univerzální AI pro hraní počítačových her, které dostává jen vstupy z monitoru a ze začátku vůbec neví, jak hra funguje -- pacman, arcanoid, atp., a samozřejmě loňská porážka člověka v Go.

Navíc co jsem tak slyšel, tak se úspěšně nasazují pro rozpoznávání obrázků či strojovém překladu, jak psal předřečník.

A musím uznat, že moje uznání neuronek pramení zejména z obdivu k úspěchům profíků než z vlastní zkušenosti.

0/0
6.3.2017 16:28

M49i35l87a74n 16V66o15l73e74k 5419233726819

Z těch obecných zpráv právě vůbec nevyplývá, jak byly neuronové sítě použity. Můžete si udělat neuronovou síť na vstupní matici 8 x 5 na rozpoznání znaků, bude docela jednoduchá a rychle se požadované znaky naučí, ale toho snadno dosáhnete i jinak. Ovšem nevěřím, že někdo udělal neuronovou síť se vstupy pro 12 megapixelů velký obrázek a neuronová síť to sama převede na psaný text. Co by konkrétně mělo lézt z výstupních neuronů? Podle mne se neuronové sítě používají jen jako samoučící část v rámci vymyšleného algoritmu.

0/0
7.3.2017 7:54
Foto

M27i50r94o63s71l42a28v 30O81l12š86á74k 4130311528266

Tak zrovna třeba to hraní počítačových her je dost jenom neuronová síť, která na vstupu dostane obrázek monitoru (ale 12 megapixelů to není, jsou to hry z Atari), a na výstupu má několik málo možností (výstupních "neuronů"), jak hrát.

Ale i na to, co popisujete si umím představit neuronovou síť -- napřed hromada konvolucí, v nich sem tam nějaké maxpooly, pak se to nažene do stavu RNN buňky, která výsledek dekóduje na posloupnost slov. Moc nevím, co bych tam implementoval za vymyšlený algoritmus.

0/0
7.3.2017 10:43

D17a18v50i90d 46D93i24r19g51a 7845271168

Ano, a ten algoritmus v kostce zní "Zkus to a jestli to dopadlo dobře, zkoušej to takhle častěji, jinak to takhle zkoušej méně často". Výhoda je, že je to algoritmus velmi jednoduchý a uplatnitelný i v situacích, kdy řešení problému nedokážeme rozpadnout na jasné kroky. Třeba rozpoznávání obrazu.

+2/0
5.3.2017 8:55

M54i87l24a68n 84V53o59l20e84k 5219443406369

Jenže data pro neuronovou síť musíte nějak smysluplně připravit.

0/0
5.3.2017 15:44

K84a67r33e11l 98P12o44d61h56o66r32s71k80y 3455333362855

Neuronová síť je hlavně něco jako ohromná soustava rovnic, o algoritmus tam až tak nejde. Pokud umíte tuto soustavu sestavit ručně (a navíc efektivněji), tak jsem opravdu zvědav na váš výsledek.

0/0
4.3.2017 14:29

J21a85k24u22b 74K92r86e27j89č58í 3711423418954

Az pocitacove programy prekonaji v hrani pokeru lidi a je to jen otazka casu, bude to konec online hrani pokeru.

0/−1
3.3.2017 23:15

J73a20n 64P60r36o89c18h51a82z82k53a 1977315919967

Pro sedmdesátiletého dědka jako jsem já, který svůj první laptop s programem T 602 začal používat někdy v polovině 90.let, jsou všechny podobné články něco jako science fiction.

+10/0
3.3.2017 23:13

T13o18m36a83s 98K98o57t25a23l 8207734464833

Na druhou stranu jste i jako "sedmdesátiletý dědek" udržel krok a čtete zprávy na technetu. To může znít jako sci-fi mnoha Vašim vrstevníkům! R^

+11/0
4.3.2017 7:49

J19a52n 72P29r24o69c57h60a26z83k95a 1457765689137

Děkuji za uznání, pane Kotale.

0/0
8.3.2017 3:13
Foto

M41i67r75o71s94l29a85v 50O44l57š41á96k 4260931508496

V pořádku, současný vývoj umělé inteligence zní jako sci-fi i mladým studentům jako jsem já :-) https://www.youtube.com/watch?v=dcZvhP-IqY4

+1/0
4.3.2017 15:40

M62i53c34h42a39e19l 33P82r60i43n45c 7865335400475

Chtělo by to trochu doplnit a opravit. Programátoři nepokořili poker, ale jen jednu jeho variantu, která se jmenuje heads-up.

Sami píší, že více hráčů neobehrají. Zajímavé to přesto je.

+1/0
3.3.2017 22:20
Foto

P31a40v53e83l 54K43a11s51í63k32, 12T38e70c82h72n40e66t75.43c42z

Texas Hold'em No Limit je jedna z nejtěžších variant (z pohledu AI), do titulku je to podle mého snesitelná zkratka.

0/0
3.3.2017 23:24

P91a52v36e73l 31Š44t91ě20p60á82n98e26k 6140204207658

No až na to, že No Limit se nutně nehraje v heads-upu, ale spíš na stolech o až 6-10 hráčích, kde by si tato AI moc neškrtla, protože na to není ani navržena. Čili připomínka je validní. Poker ani No Limit Holdem nebyl pokořen. Pouze heads-up v No Limit Holdemu, což je naopak nejjednodušší varianta (1:1). Jakmile se počet hráčů zvyšuje, je to vždy těžší.

+5/0
3.3.2017 23:38

M72a20r94t16i61n 12S69c19h37m80i61d 8104879130782

Mate samozrejme pravdu - na druhou stranu chapu ze titulek ktery ma v nazvu "dvojhracovy bezlimitni texas hold'em poker se stackem 20,000 chipu a blindy 50/100" by byl nejpresnejsi, ale zabral by pulku monitoru a tedy nejaky kompromis redaktori museli zvolit :)

+5/0
3.3.2017 23:42

D20u88s96a54n 78K14r78i62v20s50k90y 7894795337843

No rikat, ze heads up je nejlehci, taky neni spravne. Pro program asi ano, ale ne pro cloveka. Kdyz si prumerny hrac sedne k treba deviti dalsim dobrymhracum a bude hrat hodne tight, nedopadne tak spatne jako proti dobremu hraci v heads upu.

0/0
3.3.2017 23:57

M33i60l71a16n 67K55o79c37i80s 1894814262468

To jo, ale jen na chvili... Prumerny hrac dlouhodobie nema sanci hrat proti dobrym hracum...

+2/0
4.3.2017 1:47

R81o91b32i57n 14Ž87i36ž17k64a 2408604926576

Tomu bych v dlouhém období nevěřil. Protože dobrý hráč ví stejně dobře, jak hrát u plného stolu jako u headsup, a příliš defenzivní hráč na to taky dojede. Možná to bude trvat dýl než ve dvou, ale ten rozdíl se pozná i tam.

0/0
4.3.2017 22:09

M83i64c69h21a89e84l 51P57r11i37n80c 7445325400615

Článek v Science píše o heads-upu, tak proč to nepíše technet? Jinak heads-up může být třeba v Pot Limit Omaha (PLO) nebo v desítkách dalších typů hry poker. https://en.wikipedia.org/wiki/List_of_poker_variants

Prosím, nezobecňujte, to dělají bulvární média.

0/0
5.3.2017 11:40

I25v63e95t86a 42S22o38c58h68o42r75o44v57a 6260944415554

Pokud nepokoří administrativu všeho druhu , tak posunuli poznání nepatrně .

0/0
3.3.2017 22:14

P73a97v95e72l 20Š78t91ě40p93á91n79e63k 6500224807578

Zajímalo by mě jak si DeepStack poradí s agresivní hrou. Přece jen, když se drží nějaké extrémně dlouhodobé strategie, která mu zaručuje ziskovost, tak bude muset nutně zahazovat na ALL IN s blbýma kartama, nebo tam má taky nějaký gemblerský mód? Hráč většinou neuhraje milión hand ... Stačí stovka her a v tý DeepStacka s trochou štěstí voškube jak husu ;-D;-DR^

0/0
3.3.2017 21:19

D74u90s11a44n 72K59r44i54v15s11k78y 7234505927403

Jen se prizpusobi agresivni hre. Kdyz bude nekdo posilat All iny do malych potu, tak neni potreba ani zadny program, aby clovek byl dost plusovy. Tomu neni tezke se prizpusobit. Stovka her neni zadny vzorek, tam muze byt v plusu i nekdo kdo prakticky ani nezna pravidla i proti top hracum.

+1/0
3.3.2017 21:34

P15a95v35e70l 34Š43t87ě14p84á14n56e47k 6290574947278

V konečným důsledku spíš jde o to, že AI nemá emoce a tak se nedostane do tiltu a má 100% disciplínu a bude si pořád hrát to svoje "při zdi" , což je největší problém pro lidský hráče, větší než, že neumí propočítávat miliony operací za sekundu ... Ovšem aby někdo vyhrál velký turnaj, tak potřebuje nejen hrát matematicky dobře a stabilně, ale taky kopec štěstí, protože bude v situacích kdy bude muset točit a nebo kdy se bude bát bad beatu na riveru atd.

+4/0
3.3.2017 21:56

D29u93s86a82n 34K93r96i81v23s63k50y 7674185107773

O tom, ze je potreba ve velkem turnaji kopec stesti k vyhre, se nema cenu bavit, to zname asi vsichni, kdo jsme nekdy poker hrali:-). Ten program je staveny primarne na heads-upy, ale i pri turnaji predpokladam, ze by se mel prizpusobit optimalne agresivnimu hraci a spravne to vyhodnotit. Pokud by hral pouze "pri zdi" tak to neni idealni hra.

+1/0
3.3.2017 22:05

M11a61r73t67i25n51a 56D23v85o86ř25á39k26o22v24á 3964193830584

Pokud tou vyšší agresivitou snížíte celkový počet handů, máte podle mě vyšší šanci na výhru, náhoda a štěstí bude mít vyšší vliv. Čím větší počet her, tím pravděpodobněji ale vyhraje ten s optimálním výpočtem pravděpodobnosti (počítač). Také vás počítač pravděpodobně porazí vícekrát, než vy jeho. Pokud program sleduje chování soupeřů a přizpůsobuje se, bude nejlepší strategií pravidelně měnit výši agresivity.

0/0
3.3.2017 22:04

D29u63s20a15n 21K98r53i56v70s92k30y 7944835357653

Jasny, cim vice her, tim je obecne pravdepodobnost na strane toho lepsiho. Proto jsem drive, kdy jsem hral celkem dost, vymenil zive hry za online, kde clovek po vypaduti si muze pusit dalsi turnaj a muze jich hrat pripadne vice najednou.

Tady v tom pripade zas pokud bude delat clovek diky agresivite extremne spatne rozhodnuti, pocitac toho dokaze predpokladam dobre vyuzit. Jj s tou zmenou agresivity a obecne meneni hry je prave u lidi problem. Ze vetsina si myslim i nevedomky dela v urcitych situacich podobne kroky a pocitac, pokud bude mit uz dostatek dat, najde i male detaily a bude toho vyuzivat. Ale to mluvim o nejakem idealnim programu a nejsem ani presvedcen, ze tenhle to vse umi.

0/0
3.3.2017 22:14

P46a67v82e37l 12Š77t47ě72p95á47n77e66k 6640114487538

Zásadní um v pokeru je umět hrát ty špatný karty, kdy hráč hraje víc protihráče a dostává je pod tlak i když sám má prdlajz, buď využívá pozice nebo velikosti stacku atd. ... takže mě by zajímalo jak AI hraje tyhle svoje špatný karty ... a jestli umí dělat to samý ... pokud je to jen našprcená neuronka, tak si myslím, že prostě není inteligentní jako člověk ani náhodou ... nebude klást pasti, nebude měnit dynamiku hry atd. jen si bude blbě počítat pravděpodobnosti - vyplatí se mi call nebo ne? odpověď jakou dá i primitivní poker odds calculator se kterým hrajou online hráči ... jenže člověk umí identické situace zahrát více způsoby, takže zákonitě bude soupeř včetně AI nucen hádat a vařit z vody ...

+3/−1
3.3.2017 22:28







Najdete na iDNES.cz