Storia di Come l’Intelligenza Artificiale Ha Conquistato il Poker

Il sogno di ogni giocatore di Poker è quello di arrivare ad uno stile di gioco perfetto: una situazione in cui ogni variabile è tenuta sotto controllo, compresa la possibilità di intuire le mosse e le mani degli avversari.
La ricerca di una prestazione egregia al popolare gioco di carte, dura probabilmente da quando esistono i giochi di carte.
Ma è negli anni Quaranta che è iniziato un particolare filone di studi alla base della moderna cibernetica e simulazione dei modelli di gioco
Ciò, grazie ad un matematico, John von Neumann e ad un economista, Oskar Morgenstern.

La teoria dei giochi ed il Poker

L’opera di Von Neumann e Morgenstein "Theory of Games and Economic Behavior" del 1944 si occupava sostanzialmente di gettare le basi per comprendere e definire il "comportamento razionale" degli attori di partecipanti a un'economia sociale.
Secondo le intuizioni di Von Neumann e Morgenstern, se si fosse giunti alla possibilità di quantificare il modo in cui venivano prese buone decisioni a livello strategico ed economico, sarebbe stato possibile modellare il processo decisionale economico, alla base del comportamento stesso.

Ma per simulare questo processo, si poneva un problema. Quale modello di gioco utilizzare?
Von Neumann considerava la maggior parte dei giochi tradizionali, inadatti al compito.
In particolare, giochi da tavolo come dama o scacchi - in cui entrambi gli sfidanti hanno il quadro completo del gioco con la possibilità di condividere le stesse informazioni - non erano un modello di realtà.

Nella vita reale, infatti, non c’è la stessa equità e spesso le persone mettono in atto, tattiche, strategie, cercando di anticipare le mosse dell’altro, anche arrivando a bluffare.
Per questo, John Von Neumann era arrivato a pensare che la vita reale fosse più simile al gioco del Poker.

Da allora la "Theory of Games" (teoria dei giochi) è un punto di riferimento per tutti i tipi di interazioni basate sulla competizione che potessero essere modellate in modo matematico.
Ma il Poker tradizionale è rimasto un problema più complesso, poiché il fatto di non avere a disposizione tutte le informazioni - in particolare le mani degli altri giocatori - ostacolano un buon processo decisionale.

Dagli studi degli anni Sessanta ai programmi “solver”

Il gioco del Poker esiste ovviamente da prima che venisse creata la versione Texas Hold ‘em.
Ma già nel XX secolo, grazie agli studi sulla teoria dei giochi, nacquero i primi modelli cibernetici per elaborare una strategia ottimale di questa versione del Poker virtuale.
Infatti, il Poker ha ricevuto attenzione dagli specialisti di AI (Intelligenza Artificiale), specialmente nella sua popolare variante Texas Hold ‘em: ma arrivare a buoni risultati, non è stato un compito facile.

Come si gioca a Texas Hold ‘em?

Nel Texas Hold ‘em si gioca con mazzi da 52 carte.
In ciascuna mano ogni giocatore riceve due carte che può vedere (hole cards), ma non sa quelle che hanno gli avversari.
Successivamente, si aggiungono al tavolo cinque carte per tutti i giocatori: prima se ne vedono tre (flop), poi una alla volta ed in seguito altre due (turn e river).
In queste fasi i partecipanti hanno la facoltà di puntare, vedere, rilanciare o abbandonare.
Obiettivo è sfruttare le carte in mano e quelle comuni per realizzare la miglior combinazione possibile.

Nel gioco Texas Hold’em alla fine si arriva a sperare che: o gli altri abbandonino prima la partita, poiché poco convinti dalle carte a loro disposizione.
Oppure che le proprie carte da poker unite a quelle comuni portino alla vittoria, conquistando il piatto, ovvero la somma di tutte le puntate fatte nella partita.

Il Texas Hold ‘em e l’Intelligenza Artificiale

Sostanzialmente nelle simulazioni con AI, un computer con Intelligenza Artificiale è chiamato a giocare contro un essere umano ad un gioco dalle regole definite.
Ma già Neil Burch - informatico di DeepMind specialista in AI – era arrivato ad amare conclusioni, dopo ave studiato per almeno venti anni il Poker come ricercatore all’Università dell’Alberta.
In sostanza, in una sfida fra un buon giocatore di Poker ed un computer, quest’ultimo non era in grado di batterlo. Perché?

Sebbene come diversi altri table games il Poker abbia regole chiare e condivise, in modo diverso rispetto a dama o scacchi dove le mosse di entrambi sono visibili sulla scacchiera, a Poker il computer è chiamato a decodificare il comportamento degli avversari, senza mai avere certezza delle carte che hanno in mano.

In più, il Texas Hold ‘em ha diversa complessità rispetto ai giochi sopramenzionati: si può giocare contemporaneamente fino a 10 giocatori e tutti gli attori del gioco (comprese le AI) non sono a conoscenza delle carte in possesso di ogni avversario.
In altre parole, sul tavolo non si hanno a disposizione tutte le informazioni necessarie e quindi l’AI non può attivare una strategia che sia davvero vincente.

Se si considera che i teorici utilizzano un diagramma ad albero per generare un algoritmo di gioco, diventa abbastanza facile comprendere che più complesso sarà il processo decisionale, più grande sarà questo diagramma ad albero.
In effetti, anche considerando la versione più semplice di Texas Hold 'em, giocata solo a due giocatori e con scommesse fissate predeterminate, un albero di gioco completo contiene 316.000.000.000.000.000 di ramificazioni.
Nonostante queste premesse poco confortanti, di recente l’Intelligenza Artificiale l’ha spuntata anche con il Poker, anche se nel gioco del Poker resta uno spazio notevole per l’approccio umano.

Dalla “Minimizzazione Controfattuale dei Rimpianti” a PioSOLVER

Inizialmente, la ricerca è partita da versioni semplificate del gioco, in modo da consentire alle Intelligenze Artificiali di comprenderne il meccanismo.
Semplificando, i computer dovevano identificare strategie ottimali di gioco, confrontandosi con loro stessi miliardi di volte e tenendo traccia delle decisioni, delle scelte che nel diagramma ad albero di gioco erano meno vantaggiose.

Insomma, le AI prendendo nota e ricordandosi di queste decisioni, evitavano di rifarle, minimizzandole nelle mosse successive.
Il livello è stato innalzato grazie all’algoritmo definito sulla Minimizzazione Controfattuale dei Rimpianti (Counterfactual Regret Minimization).

E questo sistema ha avuto successo come illustrato su Science nel 2015 da un articolo accademico.
Tuttavia, il meccanismo soddisfaceva solo il discorso delle partite a Texas Hold ‘em uno-contro-uno e con puntate predeterminate.
Ma sempre nel 2015 è giunta la vera svolta: finalmente è diventato disponibile uno strumento pratico della dimostrazione matematica di John von Neumann per chiunque avesse un pc abbastanza potente.

Infatti, un informatico ex giocatore di poker online polacco di nome Piotrek Lopusiewicz, sviluppò un software che avrebbe per sempre cambiato il mondo del Poker: la prima versione dell’applicazione PioSOLVER.
Per 249 dollari, i giocatori avevano a disposizione un programma in grado di sfidare un giocatore di Poker in carne e ossa.
Infatti, lo strumento basato sull’Intelligenza Artificiale PioSOLVER ha radicalmente ridefinito il gioco del Poker, specialmente a livelli alti.

Come funziona PioSOLVER?

Come si legge sul sito ufficiale, PioSOLVER “approssima le soluzioni per le più complicate versioni del gioco”.
Si devono inserire i dettagli della mano e poi occorre impostare il programma da eseguire, in modo da avere nel giro di pochi secondi un’ottimale strategia.

Dal New York Times si evince che da quando è stato rilasciato, PioSOLVER viene regolarmente utilizzato da tanti giocatori professionisti, assieme ad altri tool.
Infatti esistono altri programmi detti “solver” accessibili ai professionisti e regolarmente usati prima o dopo una partita, anche per prepararsi o analizzare una sessione di gioco.

Per esempio il pokerista Jason Koon è un high roller dal 2006 e nel corso degli anni ha accumulato un cospicuo patrimonio giocando.
ui stesso ammette che prima dell’introduzione di questi programmi era sì un buon giocatore, ma grazie ai software di tipo “solver” è migliorato davvero di tanto e rapidamente.
Koon infatti sfrutta PioSOLVER sia per allenarsi che per studiare in ogni fase del gioco la scelta migliore da fare al tavolo, in base alla disponibilità limitata di informazioni a disposizione.

Tuttavia, i giocatori di Poker devono sempre tenere a mente che i software non hanno una componente legata all’emotività e quindi non si esaltano dopo una serie di buone mani, né s’intristiscono se la sequenza di gioco non è premiante.
Lo scotto però, è che a volte sono troppo analitici.

Forse la ricerca dello stile di Poker perfetto - ovvero di strategie ottimali basate sui solver – sta cambiando il modo di giocare a Hold ‘em mettendo più al centro lo studio e ponendo in secondo piano il talento reale.
In altre parole, per alcuni versi l’utilizzo dei solver lascia minor spazio alla creatività e maggior spazio allo studio di tecniche da mettere poi in pratica.
Per il creatore di PioSOLVER - Lopusiewicz – questi programmi sono semplicemente uno strumento in più, nel contesto di un gioco in cui un grande ruolo è svolto dalla probabilità.

Conclusioni su Poker e Intelligenza Artificiale

Grazie ai progressi fatti dalla cibernetica nell’ambito dell’Intelligenza Artificiale (AI) i professionisti del Poker hanno strumenti più potenti per definire le loro strategie.
Tuttavia, l’utilizzo di strumenti recenti ed evoluti come PioSOLVER, non sono sufficienti a garantire che un pokerista, seppur bravo, riesca a vincere.
Lo stesso Jason Koon sottolinea che nonostante questi contributi tecnologici, il Poker resta un gioco incredibilmente complesso e giocarlo bene è cosa estremamente difficile.

Inoltre, esistono fattori legati all’emotività del giocatore come stanchezza, mani positive o negative, difficoltà di reggere la pressione psicologica, che possono influenzare il successo o l’insuccesso a dei pokeristi più abili.
In più, i giocatori professionisti di Poker sono in grado di interpretare la strategia dell'Intelligenza Artificiale, creando euristiche ad hoc e rispondendo in modo adeguato anche al programma più sofisticato.

Bisogna poi dire che se alcuni pokeristi sono generalmente entusiasti di software “solver”, altri lo sono meno.
In effetti questi programmi solver, sembrano molto più utili in una fascia di gioco elevato laddove la competizione con posta più alta è particolarmente dura, rispetto a quello che succede per le sessioni di Poker con posta più bassa.

Infine, per alcuni giocatori creativi come Doug Polk ritiratosi dal poker nel 2017 dopo ingenti vittorie, l’introduzione dei programmi solver avrebbe apportato un cambiamento di tipo “esistenziale” nell’identità del giocatore di Poker.
Per il pokerista californiano, infatti, i solver avrebbero predisposto l’anima del gioco ad essere meno creativa e più legata allo studio ed alla memorizzazione di strategie.

Se vuoi provare il gioco del Poker Online, puoi visitare la sezione relativa del nostro sito.