Reinforcement-Learning-Prozess: Wie du Reinforcement Learning für deinen Online Shop gewinnbringend einsetzt (Teil 1)

Ein Beispiel aus der Verhaltenspsychologie

Der Name Reinforcement Learning wurde der Verhaltenspsychologie entlehnt. Reinforcement Learning, ein Teilbereich des Machine Learnings (KI), funktioniert nämlich ähnlich wie instrumentelle Konditionierung, bei der z. B. ein Hund lernt einen Ball zu apportieren.

In diesem Fall ist unser Hund “Benno” der Agent. Die Umgebung (Umwelt) ist hierbei die Welt in der er sich befindet. Besonders wichtig sind dabei der Trainer und der Ball. Benno nimmt die Umwelt durch seine Sinne war. Er riecht, hört und sieht, was um ihn herum geschieht. Sein Gehirn erstellt eine interne Repräsentation dieser Umgebung. Er kann mit verschiedenen Aktionen auf diese Repräsentation reagieren. Wenn er den Ball wegfliegen sieht, kann er sich bspw. entscheiden, ob er diesem hinterherschaut, ihm hinterherläuft, bellt, den Boden beschnuppert oder das Beinchen hebt. Läuft er dem Ball hinterher und bringt ihn zurück zum Trainer, so kann dieser ihm im Anschluss eine Belohnung geben.

Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!

Das Verhalten wird dann verstärkt, wenn Bennos Gehirn die Assoziation zwischen dem Zurückbringen und der Belohnung herstellt. Benno wird beim nächsten Mal motivierter sein, wieder diese Aktion auszuführen. Allerdings lohnt es sich für Benno nicht einem Eichhörnchen hinterher zu laufen. Hierfür erhält er keine Belohnung. Wenn er mehrere Male die Erfahrung macht, dass er nur für das Zurückbringen des Balles und nicht des Eichhörnchens belohnt wird, kann sein Gehirn die Verknüpfung zwischen der internen Repräsentation „Ball geworfen“, dem Hinterherlaufen und wieder zurückbringen und der Belohnung herstellen. Das heißt, er hat gelernt, die für ihn beste Reaktion in der gegebenen Situation zu wählen.

Reinforcement Learning im E-Commerce

Reinforcement Learning funktioniert sehr ähnlich und wird u. a. für die Personalisierung von Online Shops eingesetzt. Leider ist der Agent hier nicht so flauschig und er bellt auch nicht. Aber wie Benno muss er seine Umwelt wahrnehmen und sich aufgrund dieser Wahrnehmung für eine Aktion entscheiden können, die wiederum Einfluss auf die Umwelt hat.

Reinforcement Learning für Online Shops

Die Umwelt für die wir uns interessieren sind Online Shops und Kunden die damit interagieren. Das Verhalten eines Kunden im Online Shop kann serverseitig erfasst werden. So wie Benno den Ball riecht, sieht wie er wegfliegt und hört wie er auf dem Boden aufprallt, verzeichnet es der Server wenn der Kunde u. a. eine neue Seite aufruft (inklusive genaue Uhrzeit), was er gesucht hat und ob er auf eine Produktempfehlung geklickt hat. Je länger der Kunde im Online Shop surft, desto länger wird auch das Log, also die Aufzeichnung seines Verhaltens. Der Agent benötigt hingegen jedes Mal, wenn er agieren soll, einen Vektor mit immer gleicher Länge als Input, wie auch andere Machine-Learning-Methoden. Dieser Vektor ist die interne Repräsentation der Umwelt.

Interne Repräsentation in Form eines Vektors

Reinforcement Learning im Einsatz für die Recommendation Engine

So wie Benno die Möglichkeit hat verschiedene Aktionen wie Laufen oder Schnuppern durchzuführen, kann auch der Agent verschiedene Aktionen ausführen. Diese Aktionen haben dann eine Auswirkung auf die Umwelt. Unser Agent hat Einfluss auf die E-Commerce Recommendations auf einer neu aufgerufenen Seite eines Online Shops. Er kann z. B. entscheiden dass nur Produkte einer bestimmten Marke angezeigt werden sollen oder nur Produkte die maximal 20€ kosten. Er kann sich auch dazu entscheiden beides gleichzeitig zu machen, so wie sich Benno entscheiden könnte zu apportieren und dabei zu Bellen.

Die Entscheidungen des Agents haben Einfluss auf die Empfehlungen von Produkten und die personalisierten Elemente, die der Kunde sieht und können damit auch sein Verhalten beeinflussen:

• Im positiven Fall wird dem Kunden so etwas potenziell für ihn interessantes angezeigt und er kauft mehr oder mit höherer Wahrscheinlichkeit. Sollte der Kunde tatsächlich kaufen, bekommt der Agent ein digitales Leckerli, d. h. ihm wird mitgeteilt, für welchen Betrag der Kunde gekauft hat. Diese Belohnung verstärkt das Verhalten des Agents. Das heißt, wenn er später wieder einen ähnlichen Inputvektor erhält, wird er sich mit erhöhter Wahrscheinlichkeit wieder so verhalten.
• Andernfalls zögert der Kunde mit dem Kauf oder verlässt den Shop und der Agent geht leer aus. Das gezeigte Verhalten wird nicht verstärkt. Wenn der Agent später wieder einen ähnlichen Inputvektor erhält, wird er nur mit geringerer Wahrscheinlichkeit die gleiche Aktion durchführen.

Dieses Prozedere wird für viele Kunden wiederholt. Jeder einzelne Online Shopper wird somit zum Trainer des Agenten. Dieser lernt über die Zeit welche Produktempfehlungen bei welchem Verhalten eines Kunden am besten sind.

Personalisierung der Empfehlungen

Das Besondere am Agent ist, dass er auf die verschiedenen Situationen reagieren kann, in denen sich die Kunden befinden. Kunden mit ähnlichem Verhalten erzeugen ähnliche Vektoren. Zum Beispiel gibt es Kunden, die gezielt nach etwas suchen und wissen, was sie wollen. Diese Kunden schauen sich tendenziell weniger Kategorieübersichtsseiten an, verbringen dafür aber im Schnitt mehr Zeit auf jeder besuchten Seite. Bei Kunden, die stöbern und sich inspirieren lassen wollen, ist es eher umgekehrt.

Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!

Der Agent lernt sowohl solche Gruppen zu unterscheiden als auch, welche Aktion für welche Gruppe die passendste ist. Dadurch kann der Umsatz gegenüber starren Strategien, die bei jedem Kunden aufgrund voreingestellten Regeln die gleichen Aktionen ausführen, gesteigert werden.

Unser Fazit zum Einsatz von Reinforcement Learning im E-Commerce

Mit dem richtigen Training können nicht nur Hunde das Apportieren erlernen, sondern auch relevante Produktempfehlungen in Online Shops generiert werden. Dabei wird der Agent beim Reinforcement Learning mit den verschiedenen Verhaltensweisen der Shop-Nutzer trainiert und kann somit immer besser zugeschnittene Empfehlungen für den jeweiligen Kunden ausspielen.

Im zweiten Teil dieser Blogreihe beschreiben wir, wie wir Real Time Analytics benutzen, um aus dem Kundenverhalten die Inputvektoren zu erstellen. Hierbei wird ersichtlich worauf man beim Tracking achten muss, damit der Agent gute Vorhersagen machen kann.
Im dritten Teil gehen wir näher auf die selbstlernenden Algorithmen ein, mit denen unser Agent bestimmt, welche Aktionen bei welchem Inputvektor die besten sind.