Online Casinos

Künstliche Intelligenz tritt gegen Poker-Profis an

Autor: Körner, Melissa

Eine Künstliche Intelligenz (KI) – also ein Computer-Programm, das selbst lernt, wird am 11. Januar 2017 gegen Poker-Profis antreten. „Libratus“, so der Name des Programms, soll die perfekte Balance zwischen Risiko und Gewinn finden und die Poker-Spieler so schlagen. Aber Poker ist ein Spiel mit unvollständigen Informationen – eine große Hürde für Kis.

Im Jahr 1997 schreib der IBM Supercomputer „Deep Blue“ Geschichte: Er war der erste Computer, der einen amtierenden Schachweltmeister in seinem Spiel schlagen konnte. Im Jahr 2016 trat das KI-System „AlphaGo“ gegen den „Go“-Spieler LeeSe-dol an – und gewann. Ebenfalls im vergangenen Jahr trat das KI-Programm „Claudico“ erstmals gegen eine Reihe von Poker-Profis an – und unterlag. Nun soll „Libratus“ den Kampf gegen die Poker-Profis aufnehmen und die Frage beantworten, ob beim Poker eine Maschine den Menschen dominieren kann. Entwickelt wurde das Programm an der Carnegie Mellon Universität.

Das Brettspiel Go

Go – Ein altes Brettspiel

Go ist ein strategisches Brettspiel für zwei Spieler, das ursprünglich aus China stammt, aber auch in Japan und Korea weit verbreitet ist; seit Beginn des 20. Jh. auch außerhalb Ostasiens verbreitet.

Gespielt wird mit schwarzen und weißen Steinen, sie werden auf einem mit Quadraten gefüllten Spielbrett auf die Schnittpunkte der Linien gesetzt.

Ziel ist es, bisher unbesetzte Gebiete auf dem Spielfeld zu erobern. Wer das größere Gebiet sein Eigen nennt, hat am Ende gewonnen.

 

AI vs Mensch - Schwieriges Terrain für KI

Poker ist ein Spiel mit unvollständigen Informationen, was es für Künstliche-Intelligenz-Systeme besonders schwer macht, erklärt der Jounralist Ben Popper von theverge.com.

So Professor Tuomas Sandholm, der das Libratus-System zusammen mit seinem Doktoranden Noam Brown entwickelt hat:

„In einem Spiel mit vollständiger Information können Sie einen Teilbaum des Spiel-Baums lösen“,

Eine Künstliche Intelligenz, die beim Schach oder Go gewinnen will, versucht einfach eine Reihe von verschiedenen Zügen aus, um herauszufinden, welcher davon erfolgreich sein wird. Bei Spielen mit unvollständigen Informationen geht das nicht. Der Gegner, egal ob Computer oder Mensch, weiß nicht, welche Karten der andere Spieler hat.

Das bedeutet, dass man nicht genau weiß, in welchem Teilbaum des Spiels man sich befindet. Dazu kommt, dass man ebenfalls nicht weiß, welche Karte als nächstes aus dem Deck ausgegeben wird.

Wie arbeitet Libratus?

Die KI der Carnegi Mellon Universtität konzentriert sich auf Informationssätze, also einer Gruppierung von möglichen Zuständen, die bekannte und unbekannte Variablen berücksichtigen sollen, schreibt Popper. Im Gegensatz zu Schach-Spielen, in denen Kis strategisch mehrere Züge im Voraus berechnen, versucht Libratus, das perfekte Gleichgewicht zwischen Risiko und Belohnung zu finden, einen Zustand des Spiels, definiert nach dem Nash Gleichgewicht.

Pokerspieler

Das Nash Gleichgewicht

Das Nash Gleichgewicht, auch Nash Equilibrium genannt, ist ein zentraler Ausdruck der mathematischen Spieltheorie.

Es ist „ein Strategienpaar (bzw. bei mehr als zwei Spielern ein Strategien-Tupel), bei dem es sich für keinen Spieler auszahlt, einseitig (alleine) von seiner Strategie abzuweichen.“

„Wir gehen davon aus, dass ein Spieler, der keine Nash Gleichgewicht Strategie spielt, schlechter spielt – und wir so mehr Geld gewinnen“, erklärt Sandholm. Seine Strategie nach dem Nash Gleichgewicht auszurichten, ist in solchen Spielen sicher. Es ist rational und nicht ausnutzbar.“

 

Computer gegen Profi-Spieler

Der Poker-Profi Jason Les wird gegen Libratus antreten, er hat bereits Erfahrung im Spiel gegen Künstliche Intelligenzen, denn er hat bereits gegen eine andere KI der Universität gespielt.

„Es gibt nur ein Wort, mit dem ich beschreiben kann, wie sich ein solches Spiel anfühlt: Ermüdend! Die ersten paar Tage, spielten wir bis gegen Mitternacht, dann gingen wir ins Hotel, diskutierten für ein paar Stunden und gingen dann ins Bett. Wir wachten am nächsten Morgen um 9 Uhr auf und das Ganez ging von vorne los.“

Den nächsten Anlauf gegen eine Künstliche Intelligenz beim Poker zu spielen, wird Jason Les am 11. Januar im Rivers Casino in Pittsburgh untersuchen. Gemeinsam mit drei weiteren Poker-Profis wird er es gegen Libratus im Heads-up No-Limit Texas Hold'em aufnehmen, die über 120.000 Hände andauern soll.

Der Wettkampf trägt den Titel „Brains vs. Artificial Intelligence: Upping the Ante“ und es geht dabei nicht nur darum, einen Computer zu besiegen. Es wartet auch ein Preispool in Höhe von 200.000 Dollar. Les' Mitspieler sind Dong Kim, Daniel McAulay und Jimm Chou.

Poker Player vs AI

 

Wichtige Forschung

Das Spiel eines Menschen gegen einen Computer ist unglaublich faszinierend, aber nicht nur das, es dient auch der Wissenschaft. Die Informationen, die während des Wettkampfes gesammelt werden, dienen dazu, Anwendungen in der „echten Welt“ zu verstehen.

Sie werden dazu beitragen, Entscheidungsprozesse besser zu verstehen – und natürlich nicht nur beim Glücksspiel, sondern in den verschiedensten Branchen, darunter Entscheidungsprozesse in der Wirtschaft, beim Militär, in der Medizin oder im Bereich der Cyber-Sicherheit.

Wie funktioniert Libratus?

Im Grunde genommen ist die Libratus KI nur eine riesige Sammlung von Strategien, die definieren, wie man in einer bestimmten Situation spielt. Zwei Beispiele für solche Strategien (nicht unbedingt im Zusammenhang mit dem tatsächlichen Spiel von Libratus):

  • Wenn der Spielstand vor dem Flop ist und die KI als erste agiert und 7♦ 4♥ hält, dann erhöht sie auf 3 Big Blinds 50% der Zeit, erhöht auf 5 Big Blinds 30% der Zeit und passt 20% der Zeit.
  • Wenn der Spielstand am Turn ist und die KI ein Raise vor sich hat, nachdem sie bereits ein Raise auf dem Flop erhalten hat und einen Ass-High Flush-Draw auf einem niedrigen Board hat, dann wird sie 40% der Zeit mitgehen und in 60% der Zeit all-in gehen.

Es wird schnell klar, dass es fast unzählige verschiedene Situationen gibt, in denen die KI sein kann und für jede Situation hat die KI eine Strategie.

Es ist anzumerken, dass die meisten Situationen in gemischten Strategien wie den beiden oben genannten kommen - manchmal dies tun, manchmal das tun. Im Prinzip würfelt die KI, um zu entscheiden, was zu tun ist, aber die Wahrscheinlichkeiten und Aktionen sind vorberechnet und gut ausbalanciert.

Strategie mit einem $10m Supercomputer

Um die Strategien für all diese Situationen zu generieren, verwendete das Team von Libratus einen Supercomputer namens Bridges. Er ist etwa 30.000 mal schneller als ein durchschnittlicher moderner Desktop-Computer, läuft auf 274 Terabyte RAM und kostet 9,65 Millionen Dollar. Der Computer spielte viele Tage gegen sich selbst, sammelte Milliarden, wahrscheinlich Billionen von Händen und versuchte alle möglichen Strategien durchzuspielen.

Wann immer eine Strategie funktionierte, stieg die Wahrscheinlichkeit, diese Strategie zu spielen; wann immer eine Strategie nicht funktionierte, nahm die Wahrscheinlichkeit ab. Im Grunde genommen war die Generierung der Strategien ein kolossaler Trial-and-Error-Lauf. Die Entwickler erklärten: "Die Basis für den Bot ist das Verstärkungslernen mit einer speziellen Variante der Counterfactual Regret Minimization."

In einer ausführlichen AMA auf Reddit haben die Jungs von Libratus den Lernprozess von Libratus so erklärt: "Die Basis für den Bot ist das Verstärkungslernen mit einer speziellen Variante der Counterfactual Regret Minimization. Vor diesem Wettbewerb hatte er nur gegen sich selbst gepokert. Sie hat ihre Strategie nicht aus der Geschichte der menschlichen Hand gelernt."

Libratus war gut auf die Herausforderung vorbereitet, aber das Lernen hörte damit nicht auf. Jeden Tag nach den Spielen gegen seine menschlichen Pendants passte er seine Strategien an, um die Schwächen, die er in den menschlichen Strategien fand, auszunutzen und seine Hebelwirkung zu erhöhen.

 

#1
Melissa
Chef-Redakteur