Blog

Wertvolle Impulse für deinen Online Shop

Reinforcement-Learning-Prozess: Wie du Reinforcement Learning für deinen Online-Shop gewinnbringend einsetzt (Teil 1)

1. Februar 2018

Eric Mende

Technologie

Reinforcement Learning ist ein Verfahren der Künstlichen Intelligenz, bei der ein sogenannter Agent lernt, möglichst gut mit seiner Umgebung zu interagieren. In den letzten Jahren sind viele Anwendungen entstanden, die das Verfahren populär gemacht haben. Es wurden Programme entwickelt, die Menschen bei Spielen wie Schach oder Go oder auch bei einfachen Atari-Spielen schlagen können. Sie helfen Robotern erfolgreich Fußball zu spielen oder waghalsige akrobatische Helikopterflüge hinzulegen. In dieser dreiteiligen Blogreihe zeigen wir dir wie Reinforcement Learning angewendet werden kann, um Online-Shop-Empfehlungen zu personalisieren.

Ein Hund mit einem Ball im Maul rennt über ein Feld. Er hat gelernt dem Herrchen den Ball zurück zu bringen. Ähnlich funktioniert auch die Technologie Reinforcement Learning.

Ein Beispiel aus der Verhaltenspsychologie

Der Name Reinforcement Learning wurde der Verhaltenspsychologie entlehnt. Reinforcement Learning, ein Teilbereich des Machine Learnings (KI), funktioniert nämlich ähnlich wie instrumentelle Konditionierung, bei der z. B. ein Hund lernt einen Ball zu apportieren.

In diesem Fall ist unser Hund „Benno“ der Agent. Die Umgebung (Umwelt) ist hierbei die Welt in der er sich befindet. Besonders wichtig sind dabei der Trainer und der Ball. Benno nimmt die Umwelt durch seine Sinne war. Er riecht, hört und sieht, was um ihn herum geschieht. Sein Gehirn erstellt eine interne Repräsentation dieser Umgebung. Er kann mit verschiedenen Aktionen auf diese Repräsentation reagieren. Wenn er den Ball wegfliegen sieht, kann er sich bspw. entscheiden, ob er diesem hinterherschaut, ihm hinterherläuft, bellt, den Boden beschnuppert oder das Beinchen hebt. Läuft er dem Ball hinterher und bringt ihn zurück zum Trainer, so kann dieser ihm im Anschluss eine Belohnung geben.

Das Verhalten wird dann verstärkt, wenn Bennos Gehirn die Assoziation zwischen dem Zurückbringen und der Belohnung herstellt. Benno wird beim nächsten Mal motivierter sein, wieder diese Aktion auszuführen. Allerdings lohnt es sich für Benno nicht einem Eichhörnchen hinterher zu laufen. Hierfür erhält er keine Belohnung. Wenn er mehrere Male die Erfahrung macht, dass er nur für das Zurückbringen des Balles und nicht des Eichhörnchens belohnt wird, kann sein Gehirn die Verknüpfung zwischen der internen Repräsentation „Ball geworfen“, dem Hinterherlaufen und wieder zurückbringen und der Belohnung herstellen. Das heißt, er hat gelernt, die für ihn beste Reaktion in der gegebenen Situation zu wählen.

Reinforcement Learning im E-Commerce

Reinforcement Learning funktioniert sehr ähnlich und wird u. a. für die Personalisierung von Online-Shops eingesetzt. Leider ist der Agent hier nicht so flauschig und er bellt auch nicht. Aber wie Benno muss er seine Umwelt wahrnehmen und sich aufgrund dieser Wahrnehmung für eine Aktion entscheiden können, die wiederum Einfluss auf die Umwelt hat.

 

Die Grafik stellt durch einen Kreislauf den Ablauf von Reinforcement Learning dar.
Reinforcement Learning für Online-Shops

 

Die Umwelt für die wir uns interessieren sind Online-Shops und Kunden die damit interagieren. Das Verhalten eines Kunden im Online-Shop kann serverseitig erfasst werden. So wie Benno den Ball riecht, sieht wie er wegfliegt und hört wie er auf dem Boden aufprallt, verzeichnet es der Server wenn der Kunde u. a. eine neue Seite aufruft (inklusive genaue Uhrzeit), was er gesucht hat und ob er auf eine Produktempfehlung geklickt hat. Je länger der Kunde im Online-Shop surft, desto länger wird auch das Log, also die Aufzeichnung seines Verhaltens. Der Agent benötigt hingegen jedes Mal, wenn er agieren soll, einen Vektor mit immer gleicher Länge als Input, wie auch andere Machine-Learning-Methoden. Dieser Vektor ist die interne Repräsentation der Umwelt.

 

Das Schaubild zeigt einen Vektor, entstanden aus dem Nutzerverhalten im Online-Shop, der Teil vom Reinforcement Learning ist.
Interne Repräsentation in Form eines Vektors

Reinforcement Learning im Einsatz für die Recommendation Engine

So wie Benno die Möglichkeit hat verschiedene Aktionen wie Laufen oder Schnuppern durchzuführen, kann auch der Agent verschiedene Aktionen ausführen. Diese Aktionen haben dann eine Auswirkung auf die Umwelt. Unser Agent hat Einfluss auf die E-Commerce Recommendations auf einer neu aufgerufenen Seite eines Online-Shops. Er kann z. B. entscheiden dass nur Produkte einer bestimmten Marke angezeigt werden sollen oder nur Produkte die maximal 20€ kosten. Er kann sich auch dazu entscheiden beides gleichzeitig zu machen, so wie sich Benno entscheiden könnte zu apportieren und dabei zu Bellen.

Die Entscheidungen des Agents haben Einfluss auf die Empfehlungen von Produkten und die personalisierten Elemente, die der Kunde sieht und können damit auch sein Verhalten beeinflussen:

  • Im positiven Fall wird dem Kunden so etwas potenziell für ihn interessantes angezeigt und er kauft mehr oder mit höherer Wahrscheinlichkeit. Sollte der Kunde tatsächlich kaufen, bekommt der Agent ein digitales Leckerli, d. h. ihm wird mitgeteilt, für welchen Betrag der Kunde gekauft hat. Diese Belohnung verstärkt das Verhalten des Agents. Das heißt, wenn er später wieder einen ähnlichen Inputvektor erhält, wird er sich mit erhöhter Wahrscheinlichkeit wieder so verhalten.
  • Andernfalls zögert der Kunde mit dem Kauf oder verlässt den Shop und der Agent geht leer aus. Das gezeigte Verhalten wird nicht verstärkt. Wenn der Agent später wieder einen ähnlichen Inputvektor erhält, wird er nur mit geringerer Wahrscheinlichkeit die gleiche Aktion durchführen.

Dieses Prozedere wird für viele Kunden wiederholt. Jeder einzelne Online-Shopper wird somit zum Trainer des Agenten. Dieser lernt über die Zeit welche Produktempfehlungen bei welchem Verhalten eines Kunden am besten sind.

 

Personalisierung der Empfehlungen

Das Besondere am Agent ist, dass er auf die verschiedenen Situationen reagieren kann, in denen sich die Kunden befinden. Kunden mit ähnlichem Verhalten erzeugen ähnliche Vektoren. Zum Beispiel gibt es Kunden, die gezielt nach etwas suchen und wissen, was sie wollen. Diese Kunden schauen sich tendenziell weniger Kategorieübersichtsseiten an, verbringen dafür aber im Schnitt mehr Zeit auf jeder besuchten Seite. Bei Kunden, die stöbern und sich inspirieren lassen wollen, ist es eher umgekehrt.

Der Agent lernt sowohl solche Gruppen zu unterscheiden als auch, welche Aktion für welche Gruppe die passendste ist. Dadurch kann der Umsatz gegenüber starren Strategien, die bei jedem Kunden aufgrund voreingestellten Regeln die gleichen Aktionen ausführen, gesteigert werden.

Unser Fazit zum Einsatz von Reinforcement Learning im E-Commerce

Mit dem richtigen Training können nicht nur Hunde das Apportieren erlernen, sondern auch relevante Produktempfehlungen in Online-Shops generiert werden. Dabei wird der Agent beim Reinforcement Learning mit den verschiedenen Verhaltensweisen der Shop-Nutzer trainiert und kann somit immer besser zugeschnittene Empfehlungen für den jeweiligen Kunden ausspielen.

 

Erfahre, wie internetstores seinen Umsatz durch Empfehlungen steigert:

Jetzt Case Study lesen!

Case Study: Umsatzsteigerung bei internetstores

 

 

Mehr Infos zu unserer E-Commerce Technologie >>

Hast du Fragen oder Anregungen zu diesem Artikel? Verwende gerne die Kommentarfunktion!

 

Im zweiten Teil dieser Blogreihe beschreiben wir, wie wir Real Time Analytics benutzen, um aus dem Kundenverhalten die Inputvektoren zu erstellen. Hierbei wird ersichtlich worauf man beim Tracking achten muss, damit der Agent gute Vorhersagen machen kann.

Im dritten Teil gehen wir näher auf die selbstlernenden Algorithmen ein, mit denen unser Agent bestimmt, welche Aktionen bei welchem Inputvektor die besten sind.

 

War dieser Beitrag hilfreich?

Eric Mende

Data Scientist

Eric ist als Data Scientist bei epoq tätig und für den Bereich Machine Learning zuständig. Er optimiert täglich unsere Algorithmen, damit sie für unsere Kunden die besten Ergebnisse erzielen.

Kommentare (0)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

16. Juli 2018

Reinforcement-Learning-Prozess: Wie du mit Real Time Analytics die Kaufwahrscheinlichkeit erhöhst (Teil 2)

5. März 2018

Mit künstlicher Intelligenz im E-Commerce zum Predictive Retailer – Realität oder Vision?

24. Januar 2017

Der versteckte Verkäufer: Warum die Positionierung der Product Suggestions entscheidend ist Entdecke Umsatzpotentiale in deinem Checkout-Prozess

Beginne zu tippen und drücke Enter zum suchen