Klávesové zkratky na tomto webu - základní­
Přeskočit hlavičku portálu


Diskuse k článku

Programátoři pokořili poker. Mohli vydělat miliony, vybrali si Science

Karetní hra Poker Texas Hold’em je pro počítače neobyčejně náročná. Ještě nedávno měli nejlepší hráči nad počítačovými programy navrch. Letos to přestalo platit. I díky českým programátorům, kteří v článku pro Science popsali svou inovativní umělou inteligenci DeepStack.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času

H60y45n51e84k 39M46r33t40v37ý 2350697949531

casina použití hráči sice zakazují, ale je otázkou času, kdy tyto boty samy nasadí. pár umělých hráčů jim hezky zvedne zisky nad rámec vybírání rakes ;-)

0/0
6.3.2017 10:41

M23i28c36h73a12e73l 87P78r92i54n83c 7785685420975

Jak definují autoři Nash equilibrium (NE) v pokeru obecně a jak definují NE specificky v HUNL Hold'em?

Mám chápat aproximaci NE tak, že používají neurální sítě k naučení výsledků zpětné indukce? Sice nejsou schopni vypočítat přesně NE ke každému stavu, ale spokojí se s nejlepší přesností, kterou omezí další vrstvou neurální sítě? Klidně mne opravte, rád s dozvím víc.

0/0
5.3.2017 11:26
Foto

M54i41r97o26s89l13a86v 97O66l94š62á34k 4720301298386

Nevím, kolik toho víte o samotném NE, tak aspoň napíšu základy, které znám já. NE pracuje s diskrétními strategiemi -- "když se hrálo takto a teď je hra v tomto stavu, zahraju za všech okolností tento tah" -- a jejich pravděpodobnostními kombinacemi. Například ve hrách s úplnou informací jako jsou šachy je neprohrávající rovnou nějaká diskrétní strategie, jen ji neznáme. Zato v "kámen, nůžky, papír" máme tři možné diskrétní strategie -- dát kámen, dát nůžky a dát papír -- ale optimální (neprohrávající) strategie je vybrat si náhodně jednu z těchto tří.

Tvrzení o NE říká, že je možné v každé hře několika hráčů rozdat hráčům strategie (pravděpodobnostně navážené), aby žádnému jednotlivému hráči nepomohlo svoji strategii změnit, což se dá ekvivalentně formulovat tak, že se žádnému hráči nevyplatí změnit svou strategii na diskrétní. Obecně to pro hry dvou hráčů znamená, že pro oba hráče existuje optimální strategie, protože když hráčům dáme strategie podle NE, tak je strategie hráče 1 optimální, ať hráč 2 svou strategii jakkoli změní (tedy ať hraje jakkoli).

Pro větší počet hráčů je to problém, protože nepomůže, aby jeden hráč hrál podle NE, musí podle NE hrát všichni až na jednoho hráče. A lidsky řečeno je problém v tom, že se obecně může několik hráčů spiknout proti jednomu. Nevím, ale nakolik tohle může nastat v Pokeru.

Počítat s diskrétními strategiemi přes celou hru by bylo neúnosné, ale neúplná informace je v Pokeru vždy chvliková -- po dobu jednoho "kola" (neznám odborný název), takže stačí hrát v každém kole optimální strategii zvlášť. Takové zjednodušení vyžaduje, aby byly předpočítané optimální šance na výhru na základě množství žetonů, ale odhadnout to nějakou statistikou by nemusel být problém.

V každém kole pak je třeba vyzkoušet všechny diskrétní strategie, kterých je stále příliš. Tady se nějak nasadí předem naučená neuronka odhadující, podobně jako třeba u Go, které možnosti se vyplatí zkoumat, a jak asi vyjdou ty ostatní. Podrobněji do toho nevidím.

0/0
5.3.2017 15:04

M40i59c89h98a59e90l 86P62r66i18n89c 7665905670165

O NE toho vím dost, mě zajímala odpověď autorů. Škoda, že jste se nedržel tématu, který jsem navrhl. Podle stromových diagramů prostě počítají se zpětnou indukcí. Obecné definice NE jsou od reality hodně daleko. Vždy jste limitovaný předpoklady o svém chování i chování druhého. Strategie záleží jen na konkrétním výpočtu očekávaných hodnost a pravděpodobností.

Co jsem zjistil tak GTO je jen lokální extrém ve strategiích, který se zatím nepodařilo překonat, ale není to žádný recept na výhru. Jen funguje do doby, než přijde někdo s lepší.

Matematicky není možné dokázat existenci GTO a vždy tedy bude potvrzena jen dost dokonalou simulací.

0/0
11.3.2017 13:22
Foto

M70i13r35o85s94l37a52v 15O49l36š30á68k 4770481498256

OK, tak pardon, asi toho víte víc než já.

Mrzí mě, jestli se kvůli existenci mojí odpovědi rozhodli neodpovědět autoři, taky mě trochu zajímalo, co k tomu řeknou.

0/0
11.3.2017 13:27

M57i73c26h53a28e78l 43P48r63i54n45c 7595815230305

GTO existuje jen díky omezenému počtu hracích žetonů.

0/0
11.3.2017 13:29
Foto

M16i98r88o91s30l47a44v 33O10l86š54á49k 4720381318186

Je pravda, že co jsem se loni bavil s nějakým IBM náborářem, tak říkal, že Poker brzo padne.

Já stále čekám na matematiku -- až počítač porazí lidi v IMO, tak to na mne obzvlášť zapůsobí. Dokonce jsem se do toho výzkumu taky trochu zapojil a zkusil postavit nějakou neuronku. Ale to až tak hned nebude, zatím jsou počítače fakt marní.

0/0
4.3.2017 15:13

M23a27r92t41i91n 74S23c87h90m69i85d 8324509910922

Jestli jste se bavil s IBM naborarem zde v Praze, tak je velmi mozne ze mel informace z prvni ruky. Oba prvni autori studie pracuji v Prazskem IBM Watson labu a na rok odjeli do Kanady pracovat na DeepStacku :)

+1/0
4.3.2017 16:25
Foto

M33i36r15o23s69l88a56v 28O76l23š50á25k 4660731388706

Jojo. Vypadalo, že se orientuje. Bylo to na podzim na dni firem na MFF, ale už si nepamatuju, kdo to byl.

0/0
4.3.2017 17:40

M19a41r46t32i41n 88S80c37h41m84i10d 8104609600222

Co se tyce IMO, tak tam lide opravdu mohou byt klidni. Muj osobni typ je ze se niceho podobneho nedoziji :)

0/0
4.3.2017 16:30
Foto

M82i18r92o30s23l66a25v 60O28l65š98á25k 4280511588556

Tak to mi teda berete iluze :-), já bych doufal, že to časem půjde. Vždyť je IMO taky jen taková hra, kde je třeba šikovně prořezávat strom možností, které prozkoumáváme a občas být kreativní. A my lidi máme z nějakého důvodu fakt dobrou heuristiku...

Souhlasím, že je to pro AI fakt výzva a současné automatické dokazovače toho moc nevyřeší. Jsou ale tendence do nich implementovat strojové učení (i neuronky), což se dřív moc nedělalo. Ne že by s neuronkami hned měli na IMO, ale jestli půjde vývoj dopředu... (mimochodem, i tady mám informace vcelku z první ruky)

0/0
4.3.2017 18:08

M24a62r97t76i89n 14S69c60h44m54i77d 8804839870562

Ja nejvetci problem ani tak nevidim v samotnem automatickem formalnim dokazovaci (i kdyz to samo o sobe je nesmirne tezke), ale v prekladu "zadani ulohy" -> "formule co chceme dokazat.". Pro tento preklad je potreba aby pocitac velmi dobre chapal zadani ulohy - at uz text nebo text + obrazky.

+1/0
4.3.2017 21:16
Foto

M66i26r11o67s17l72a52v 24O13l93š79á27k 4650421738626

Tak tenhle překlad bych asi oželel a povolil automatu dostat zadání předchroustané. Slyšel jsem, že už je prý navržený formální jazyk na popis takových úloh.

Ale na druhou stranu, automatický překlad z neformální matiky do formální je pro lidi lákavý sám o sobě a taky se o to pozvolna snaží (ačkoli než se pokusí pracovat i s obrázky, tak to bude ještě vyžadovat dlouhý vývoj). Problém je, že mají málo dat, kterým by neuronky krmili -- tedy ona existuje spousta formální i neformální matematiky, ale tato data jsou jen velmi málo propojená.

+1/0
4.3.2017 21:29

J84a82r39o85s47l61a83v 31V78a48c42e85k 1682872432756

Není pravda, že šachy jsou vyřešené. Dokonce se tam také velmi výrazně pracuje s pravděpodobností.

Naopak považuji za ukázku nedokonalosti technologií, jaký obrovský výpočetní výkon musel být použit, aby porazil člověka. A to tomu programu pomohli ještě tím, že do něho nabouchali tuny partií. Tedy zdroj rozhodování pro člověka.

0/0
4.3.2017 9:04

K40a19r41e97l 27P83o51d82h70o47r93s82k19y 3855133272705

Člověk má neuronů řádově více, také se to musí naučit a stejně mu to nejde tak dobře jako té technologii. Myslím, že to spíš svědčí pro tu technologii ;-)

0/0
4.3.2017 14:26
Foto

M90i91r97o54s12l18a14v 41O78l88š68á40k 4660551258596

Tipoval bych, že výpočetní výkon Deep Blue, který porazil mistra v šachu, by se dneska vešel do mobilu.

+3/0
4.3.2017 15:26
Foto

P13a86v55e11l 74K45a11s41í55k24, 98T66e11c22h91n44e24t24.76c94z

Také si to myslím, zvláště telefon s dobrou grafickou kartou.

0/0
4.3.2017 19:34

H45y31n37e10k 36M65r47t94v82ý 2520147919781

obrovský? podle toho co je to "obrovský", když dnes i slabší notebook s houdinim, rybkou, nebo stockfish opanuje libovolný lidský šachový turnaj

0/0
6.3.2017 10:45

J32a15r98o57s26l95a55v 90V66a97c86e19k 1462402652956

Když slyším neuronová síť, tak ztrácím pozornost. Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

+2/−10
4.3.2017 4:31

V33l25a51s77t29i24m81i58l 55K73a18š96p15a58r 9131196172879

Pokud je k dispozici ten algoritmus. Je stále mnoho problémů, kde algoritmus znám není... ;-)

+4/0
4.3.2017 8:03

J77a16r91o86s96l28a31v 14V77a32c50e90k 1882352812976

:-) tak to je moudro. Algoritmus musí být znám i pro neuronovou síť. Ona sama nic nezařídí. Je to jenom způsob uložení dat v paměti a mraky pravidel. Co asi na tom počítači běží? Algoritmus!

Jestli si někdo myslí, že umělá inteligence něco vymýšlí, tak je uplně mimo.

+2/−5
4.3.2017 8:29

M58a36r62t23i59n 18S32c49h11m52i86d 8584849180942

> Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

Tak to je velmi odvazne tvrzeni. Neuronove site zpusobili v posledni dobe revoluci v rozpoznani reci, obrazu a strojovem prekladu. Pokud vite jak dosahnout stejne dobrych vysledku "efektivneji bez neuronove site", zalozte si startup a napr. Google tento startup ihned koupi za stovky milionu dolaru.

Vtip je v tom ze neuronove site nikdo "neprogramuje", oni se "uci" z mnoha prikladu ktere jim ukazete.

+7/0
4.3.2017 9:46

M76i11l58a61n 58V13o46l28e32k 5569253456589

Tak to asi máme různé představy neuronových sítí. Já jsem s nimi nic velkého neudělal, ale zkušenosti mám stejné jako JV.

0/0
5.3.2017 15:46
Foto

M18i63r83o82s25l16a98v 76O56l92š37á69k 4830521848536

Je samozřejmě možné, že současný hype okolo neuronových sítí je přehnaný, a já můžu být trochu zaujatý, jelikož je to jediná technika strojového učení, kterou trochu znám. A jak jsem se je učil, tak jsem se taky naučil, nakolik jsou neuronky ošemetné, a nemusí být až tak snadné vyřešit problém tím, že tam frknu hlubokou neuronku.

Za jednoznačné úspěchy neuronek v poslední době považuji zejména výsledky týmu Deep Mind -- WaveNet pro generování zvuku, univerzální AI pro hraní počítačových her, které dostává jen vstupy z monitoru a ze začátku vůbec neví, jak hra funguje -- pacman, arcanoid, atp., a samozřejmě loňská porážka člověka v Go.

Navíc co jsem tak slyšel, tak se úspěšně nasazují pro rozpoznávání obrázků či strojovém překladu, jak psal předřečník.

A musím uznat, že moje uznání neuronek pramení zejména z obdivu k úspěchům profíků než z vlastní zkušenosti.

0/0
6.3.2017 16:28

M41i72l28a69n 37V72o88l40e72k 5329943216189

Z těch obecných zpráv právě vůbec nevyplývá, jak byly neuronové sítě použity. Můžete si udělat neuronovou síť na vstupní matici 8 x 5 na rozpoznání znaků, bude docela jednoduchá a rychle se požadované znaky naučí, ale toho snadno dosáhnete i jinak. Ovšem nevěřím, že někdo udělal neuronovou síť se vstupy pro 12 megapixelů velký obrázek a neuronová síť to sama převede na psaný text. Co by konkrétně mělo lézt z výstupních neuronů? Podle mne se neuronové sítě používají jen jako samoučící část v rámci vymyšleného algoritmu.

0/0
7.3.2017 7:54
Foto

M40i66r44o72s72l41a47v 68O13l42š78á18k 4270301188316

Tak zrovna třeba to hraní počítačových her je dost jenom neuronová síť, která na vstupu dostane obrázek monitoru (ale 12 megapixelů to není, jsou to hry z Atari), a na výstupu má několik málo možností (výstupních "neuronů"), jak hrát.

Ale i na to, co popisujete si umím představit neuronovou síť -- napřed hromada konvolucí, v nich sem tam nějaké maxpooly, pak se to nažene do stavu RNN buňky, která výsledek dekóduje na posloupnost slov. Moc nevím, co bych tam implementoval za vymyšlený algoritmus.

0/0
7.3.2017 10:43

D91a74v60i61d 73D89i83r95g74a 7315441748

Ano, a ten algoritmus v kostce zní "Zkus to a jestli to dopadlo dobře, zkoušej to takhle častěji, jinak to takhle zkoušej méně často". Výhoda je, že je to algoritmus velmi jednoduchý a uplatnitelný i v situacích, kdy řešení problému nedokážeme rozpadnout na jasné kroky. Třeba rozpoznávání obrazu.

+2/0
5.3.2017 8:55

M53i19l91a21n 87V67o25l36e92k 5959203206479

Jenže data pro neuronovou síť musíte nějak smysluplně připravit.

0/0
5.3.2017 15:44

K84a37r39e49l 61P19o51d80h18o80r56s43k59y 3445503822475

Neuronová síť je hlavně něco jako ohromná soustava rovnic, o algoritmus tam až tak nejde. Pokud umíte tuto soustavu sestavit ručně (a navíc efektivněji), tak jsem opravdu zvědav na váš výsledek.

0/0
4.3.2017 14:29

J97a51k95u72b 24K93r50e66j29č58í 3151813378944

Az pocitacove programy prekonaji v hrani pokeru lidi a je to jen otazka casu, bude to konec online hrani pokeru.

0/−1
3.3.2017 23:15

J64a50n 24P87r61o53c56h22a21z92k92a 1447385449777

Pro sedmdesátiletého dědka jako jsem já, který svůj první laptop s programem T 602 začal používat někdy v polovině 90.let, jsou všechny podobné články něco jako science fiction.

+10/0
3.3.2017 23:13

T33o74m53a54s 97K67o23t73a69l 8437884824423

Na druhou stranu jste i jako "sedmdesátiletý dědek" udržel krok a čtete zprávy na technetu. To může znít jako sci-fi mnoha Vašim vrstevníkům! R^

+11/0
4.3.2017 7:49

J60a46n 97P80r84o91c92h45a55z87k38a 1907855409137

Děkuji za uznání, pane Kotale.

0/0
8.3.2017 3:13
Foto

M78i79r64o15s88l91a35v 39O38l81š96á95k 4360491278286

V pořádku, současný vývoj umělé inteligence zní jako sci-fi i mladým studentům jako jsem já :-) https://www.youtube.com/watch?v=dcZvhP-IqY4

+1/0
4.3.2017 15:40

M73i79c60h55a93e62l 53P52r83i90n76c 7865255630215

Chtělo by to trochu doplnit a opravit. Programátoři nepokořili poker, ale jen jednu jeho variantu, která se jmenuje heads-up.

Sami píší, že více hráčů neobehrají. Zajímavé to přesto je.

+1/0
3.3.2017 22:20
Foto

P37a20v94e89l 78K82a92s49í34k16, 69T97e86c94h65n95e38t69.72c27z

Texas Hold'em No Limit je jedna z nejtěžších variant (z pohledu AI), do titulku je to podle mého snesitelná zkratka.

0/0
3.3.2017 23:24

P16a78v56e83l 26Š20t62ě14p10á57n52e22k 6280854687268

No až na to, že No Limit se nutně nehraje v heads-upu, ale spíš na stolech o až 6-10 hráčích, kde by si tato AI moc neškrtla, protože na to není ani navržena. Čili připomínka je validní. Poker ani No Limit Holdem nebyl pokořen. Pouze heads-up v No Limit Holdemu, což je naopak nejjednodušší varianta (1:1). Jakmile se počet hráčů zvyšuje, je to vždy těžší.

+5/0
3.3.2017 23:38

M54a37r48t81i79n 39S35c49h34m64i66d 8564289940482

Mate samozrejme pravdu - na druhou stranu chapu ze titulek ktery ma v nazvu "dvojhracovy bezlimitni texas hold'em poker se stackem 20,000 chipu a blindy 50/100" by byl nejpresnejsi, ale zabral by pulku monitoru a tedy nejaky kompromis redaktori museli zvolit :)

+5/0
3.3.2017 23:42

D26u51s45a15n 57K62r20i72v67s29k88y 7494765627563

No rikat, ze heads up je nejlehci, taky neni spravne. Pro program asi ano, ale ne pro cloveka. Kdyz si prumerny hrac sedne k treba deviti dalsim dobrymhracum a bude hrat hodne tight, nedopadne tak spatne jako proti dobremu hraci v heads upu.

0/0
3.3.2017 23:57

M79i11l36a49n 50K10o30c89i47s 1754534172598

To jo, ale jen na chvili... Prumerny hrac dlouhodobie nema sanci hrat proti dobrym hracum...

+2/0
4.3.2017 1:47

R61o53b16i85n 14Ž18i35ž70k81a 2798204626436

Tomu bych v dlouhém období nevěřil. Protože dobrý hráč ví stejně dobře, jak hrát u plného stolu jako u headsup, a příliš defenzivní hráč na to taky dojede. Možná to bude trvat dýl než ve dvou, ale ten rozdíl se pozná i tam.

0/0
4.3.2017 22:09

M63i80c61h89a88e57l 85P76r83i65n30c 7785535480955

Článek v Science píše o heads-upu, tak proč to nepíše technet? Jinak heads-up může být třeba v Pot Limit Omaha (PLO) nebo v desítkách dalších typů hry poker. https://en.wikipedia.org/wiki/List_of_poker_variants

Prosím, nezobecňujte, to dělají bulvární média.

0/0
5.3.2017 11:40

I61v97e38t14a 55S60o21c24h23o13r44o68v36a 6850974305254

Pokud nepokoří administrativu všeho druhu , tak posunuli poznání nepatrně .

0/0
3.3.2017 22:14

P85a17v46e49l 37Š56t86ě94p31á82n76e86k 6840174597698

Zajímalo by mě jak si DeepStack poradí s agresivní hrou. Přece jen, když se drží nějaké extrémně dlouhodobé strategie, která mu zaručuje ziskovost, tak bude muset nutně zahazovat na ALL IN s blbýma kartama, nebo tam má taky nějaký gemblerský mód? Hráč většinou neuhraje milión hand ... Stačí stovka her a v tý DeepStacka s trochou štěstí voškube jak husu ;-D;-DR^

0/0
3.3.2017 21:19

D39u18s82a50n 16K17r82i52v65s48k86y 7534885587893

Jen se prizpusobi agresivni hre. Kdyz bude nekdo posilat All iny do malych potu, tak neni potreba ani zadny program, aby clovek byl dost plusovy. Tomu neni tezke se prizpusobit. Stovka her neni zadny vzorek, tam muze byt v plusu i nekdo kdo prakticky ani nezna pravidla i proti top hracum.

+1/0
3.3.2017 21:34

P85a44v14e91l 46Š12t56ě33p51á51n19e33k 6760434367378

V konečným důsledku spíš jde o to, že AI nemá emoce a tak se nedostane do tiltu a má 100% disciplínu a bude si pořád hrát to svoje "při zdi" , což je největší problém pro lidský hráče, větší než, že neumí propočítávat miliony operací za sekundu ... Ovšem aby někdo vyhrál velký turnaj, tak potřebuje nejen hrát matematicky dobře a stabilně, ale taky kopec štěstí, protože bude v situacích kdy bude muset točit a nebo kdy se bude bát bad beatu na riveru atd.

+4/0
3.3.2017 21:56

D95u84s98a96n 77K24r78i19v77s33k92y 7824885697423

O tom, ze je potreba ve velkem turnaji kopec stesti k vyhre, se nema cenu bavit, to zname asi vsichni, kdo jsme nekdy poker hrali:-). Ten program je staveny primarne na heads-upy, ale i pri turnaji predpokladam, ze by se mel prizpusobit optimalne agresivnimu hraci a spravne to vyhodnotit. Pokud by hral pouze "pri zdi" tak to neni idealni hra.

+1/0
3.3.2017 22:05

M15a71r92t89i52n79a 24D22v67o81ř84á41k98o96v82á 3154183390204

Pokud tou vyšší agresivitou snížíte celkový počet handů, máte podle mě vyšší šanci na výhru, náhoda a štěstí bude mít vyšší vliv. Čím větší počet her, tím pravděpodobněji ale vyhraje ten s optimálním výpočtem pravděpodobnosti (počítač). Také vás počítač pravděpodobně porazí vícekrát, než vy jeho. Pokud program sleduje chování soupeřů a přizpůsobuje se, bude nejlepší strategií pravidelně měnit výši agresivity.

0/0
3.3.2017 22:04

D89u68s89a61n 22K71r64i94v23s23k18y 7734435807193

Jasny, cim vice her, tim je obecne pravdepodobnost na strane toho lepsiho. Proto jsem drive, kdy jsem hral celkem dost, vymenil zive hry za online, kde clovek po vypaduti si muze pusit dalsi turnaj a muze jich hrat pripadne vice najednou.

Tady v tom pripade zas pokud bude delat clovek diky agresivite extremne spatne rozhodnuti, pocitac toho dokaze predpokladam dobre vyuzit. Jj s tou zmenou agresivity a obecne meneni hry je prave u lidi problem. Ze vetsina si myslim i nevedomky dela v urcitych situacich podobne kroky a pocitac, pokud bude mit uz dostatek dat, najde i male detaily a bude toho vyuzivat. Ale to mluvim o nejakem idealnim programu a nejsem ani presvedcen, ze tenhle to vse umi.

0/0
3.3.2017 22:14

P13a61v83e52l 83Š57t81ě71p40á24n91e81k 6790214937278

Zásadní um v pokeru je umět hrát ty špatný karty, kdy hráč hraje víc protihráče a dostává je pod tlak i když sám má prdlajz, buď využívá pozice nebo velikosti stacku atd. ... takže mě by zajímalo jak AI hraje tyhle svoje špatný karty ... a jestli umí dělat to samý ... pokud je to jen našprcená neuronka, tak si myslím, že prostě není inteligentní jako člověk ani náhodou ... nebude klást pasti, nebude měnit dynamiku hry atd. jen si bude blbě počítat pravděpodobnosti - vyplatí se mi call nebo ne? odpověď jakou dá i primitivní poker odds calculator se kterým hrajou online hráči ... jenže člověk umí identické situace zahrát více způsoby, takže zákonitě bude soupeř včetně AI nucen hádat a vařit z vody ...

+3/−1
3.3.2017 22:28



Najdete na iDNES.cz