ENGLISCH Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
Personalisierter Shoppingbereich New
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Customer Targeting Neu Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

Blogartikel

Effektive Strategien für die Warenkorb-Optimierung

Blogartikel jetzt lesen!
  ENGLISCH Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
New Personalisierter Shoppingbereich
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Neu Customer Targeting Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

Blogartikel

Effektive Strategien für die Warenkorb-Optimierung

Blogartikel jetzt lesen!
Zur Übersicht Startseite / Blog / Reinforcement-Learning-Prozess: Wie du Reinforcement Learning für deinen Online Shop gewinnbringend einsetzt (Teil 1)

Reinforcement-Learning-Prozess: Wie du Reinforcement Learning für deinen Online Shop gewinnbringend einsetzt (Teil 1)

01. Feb 2018 | Aktualisiert am 01. February 2018 | | Eric Mende | Künstliche Intelligenz

Reinforcement Learning ist ein Verfahren der Künstlichen Intelligenz, bei der ein sogenannter Agent lernt, möglichst gut mit seiner Umgebung zu interagieren. In den letzten Jahren sind viele Anwendungen entstanden, die das Verfahren populär gemacht haben. Es wurden Programme entwickelt, die Menschen bei Spielen wie Schach oder Go oder auch bei einfachen Atari-Spielen schlagen können. Sie helfen Robotern erfolgreich Fußball zu spielen oder waghalsige akrobatische Helikopterflüge hinzulegen. In dieser dreiteiligen Blogreihe zeigen wir dir wie Reinforcement Learning angewendet werden kann, um Online-Shop-Empfehlungen zu personalisieren.

 

Diese Inhalte erwarten dich in diesem Blogartikel:

Ein Beispiel aus der Verhaltenspsychologie
Reinforcement Learning im E-Commerce
Reinforcement Learning im Einsatz für die Recommendation Engine
Personalisierung der Empfehlungen
Unser Fazit zum Einsatz von Reinforcement Learning im E-Commerce

 

Ein Beispiel aus der Verhaltenspsychologie

Der Name Reinforcement Learning wurde der Verhaltenspsychologie entlehnt. Reinforcement Learning, ein Teilbereich des Machine Learnings (KI), funktioniert nämlich ähnlich wie instrumentelle Konditionierung, bei der z. B. ein Hund lernt einen Ball zu apportieren.

In diesem Fall ist unser Hund „Benno“ der Agent. Die Umgebung (Umwelt) ist hierbei die Welt in der er sich befindet. Besonders wichtig sind dabei der Trainer und der Ball. Benno nimmt die Umwelt durch seine Sinne war. Er riecht, hört und sieht, was um ihn herum geschieht. Sein Gehirn erstellt eine interne Repräsentation dieser Umgebung. Er kann mit verschiedenen Aktionen auf diese Repräsentation reagieren. Wenn er den Ball wegfliegen sieht, kann er sich bspw. entscheiden, ob er diesem hinterherschaut, ihm hinterherläuft, bellt, den Boden beschnuppert oder das Beinchen hebt. Läuft er dem Ball hinterher und bringt ihn zurück zum Trainer, so kann dieser ihm im Anschluss eine Belohnung geben.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


Das Verhalten wird dann verstärkt, wenn Bennos Gehirn die Assoziation zwischen dem Zurückbringen und der Belohnung herstellt. Benno wird beim nächsten Mal motivierter sein, wieder diese Aktion auszuführen. Allerdings lohnt es sich für Benno nicht einem Eichhörnchen hinterher zu laufen. Hierfür erhält er keine Belohnung. Wenn er mehrere Male die Erfahrung macht, dass er nur für das Zurückbringen des Balles und nicht des Eichhörnchens belohnt wird, kann sein Gehirn die Verknüpfung zwischen der internen Repräsentation „Ball geworfen“, dem Hinterherlaufen und wieder zurückbringen und der Belohnung herstellen. Das heißt, er hat gelernt, die für ihn beste Reaktion in der gegebenen Situation zu wählen.

 

Reinforcement Learning im E-Commerce

Reinforcement Learning funktioniert sehr ähnlich und wird u. a. für die Personalisierung von Online Shops eingesetzt. Leider ist der Agent hier nicht so flauschig und er bellt auch nicht. Aber wie Benno muss er seine Umwelt wahrnehmen und sich aufgrund dieser Wahrnehmung für eine Aktion entscheiden können, die wiederum Einfluss auf die Umwelt hat.

Die Grafik stellt durch einen Kreislauf den Ablauf von Reinforcement Learning dar.
Reinforcement Learning für Online Shops

Die Umwelt für die wir uns interessieren sind Online Shops und Kunden die damit interagieren. Das Verhalten eines Kunden im Online Shop kann serverseitig erfasst werden. So wie Benno den Ball riecht, sieht wie er wegfliegt und hört wie er auf dem Boden aufprallt, verzeichnet es der Server wenn der Kunde u. a. eine neue Seite aufruft (inklusive genaue Uhrzeit), was er gesucht hat und ob er auf eine Produktempfehlung geklickt hat. Je länger der Kunde im Online Shop surft, desto länger wird auch das Log, also die Aufzeichnung seines Verhaltens. Der Agent benötigt hingegen jedes Mal, wenn er agieren soll, einen Vektor mit immer gleicher Länge als Input, wie auch andere Machine-Learning-Methoden. Dieser Vektor ist die interne Repräsentation der Umwelt.

Das Schaubild zeigt einen Vektor, entstanden aus dem Nutzerverhalten im Online-Shop, der Teil vom Reinforcement Learning ist.
Interne Repräsentation in Form eines Vektors

Reinforcement Learning im Einsatz für die Recommendation Engine

So wie Benno die Möglichkeit hat verschiedene Aktionen wie Laufen oder Schnuppern durchzuführen, kann auch der Agent verschiedene Aktionen ausführen. Diese Aktionen haben dann eine Auswirkung auf die Umwelt. Unser Agent hat Einfluss auf die E-Commerce Recommendations auf einer neu aufgerufenen Seite eines Online Shops. Er kann z. B. entscheiden dass nur Produkte einer bestimmten Marke angezeigt werden sollen oder nur Produkte die maximal 20€ kosten. Er kann sich auch dazu entscheiden beides gleichzeitig zu machen, so wie sich Benno entscheiden könnte zu apportieren und dabei zu Bellen.

Die Entscheidungen des Agents haben Einfluss auf die Empfehlungen von Produkten und die personalisierten Elemente, die der Kunde sieht und können damit auch sein Verhalten beeinflussen:

  • Im positiven Fall wird dem Kunden so etwas potenziell für ihn interessantes angezeigt und er kauft mehr oder mit höherer Wahrscheinlichkeit. Sollte der Kunde tatsächlich kaufen, bekommt der Agent ein digitales Leckerli, d. h. ihm wird mitgeteilt, für welchen Betrag der Kunde gekauft hat. Diese Belohnung verstärkt das Verhalten des Agents. Das heißt, wenn er später wieder einen ähnlichen Inputvektor erhält, wird er sich mit erhöhter Wahrscheinlichkeit wieder so verhalten.
  • Andernfalls zögert der Kunde mit dem Kauf oder verlässt den Shop und der Agent geht leer aus. Das gezeigte Verhalten wird nicht verstärkt. Wenn der Agent später wieder einen ähnlichen Inputvektor erhält, wird er nur mit geringerer Wahrscheinlichkeit die gleiche Aktion durchführen.

Dieses Prozedere wird für viele Kunden wiederholt. Jeder einzelne Online Shopper wird somit zum Trainer des Agenten. Dieser lernt über die Zeit welche Produktempfehlungen bei welchem Verhalten eines Kunden am besten sind.

 

Personalisierung der Empfehlungen

Das Besondere am Agent ist, dass er auf die verschiedenen Situationen reagieren kann, in denen sich die Kunden befinden. Kunden mit ähnlichem Verhalten erzeugen ähnliche Vektoren. Zum Beispiel gibt es Kunden, die gezielt nach etwas suchen und wissen, was sie wollen. Diese Kunden schauen sich tendenziell weniger Kategorieübersichtsseiten an, verbringen dafür aber im Schnitt mehr Zeit auf jeder besuchten Seite. Bei Kunden, die stöbern und sich inspirieren lassen wollen, ist es eher umgekehrt.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


Der Agent lernt sowohl solche Gruppen zu unterscheiden als auch, welche Aktion für welche Gruppe die passendste ist. Dadurch kann der Umsatz gegenüber starren Strategien, die bei jedem Kunden aufgrund voreingestellten Regeln die gleichen Aktionen ausführen, gesteigert werden.

 

Unser Fazit zum Einsatz von Reinforcement Learning im E-Commerce

Mit dem richtigen Training können nicht nur Hunde das Apportieren erlernen, sondern auch relevante Produktempfehlungen in Online Shops generiert werden. Dabei wird der Agent beim Reinforcement Learning mit den verschiedenen Verhaltensweisen der Shop-Nutzer trainiert und kann somit immer besser zugeschnittene Empfehlungen für den jeweiligen Kunden ausspielen.

 

Im zweiten Teil dieser Blogreihe beschreiben wir, wie wir Real Time Analytics benutzen, um aus dem Kundenverhalten die Inputvektoren zu erstellen. Hierbei wird ersichtlich worauf man beim Tracking achten muss, damit der Agent gute Vorhersagen machen kann.
Im dritten Teil gehen wir näher auf die selbstlernenden Algorithmen ein, mit denen unser Agent bestimmt, welche Aktionen bei welchem Inputvektor die besten sind.

 

 

Erfahre, wie Internetstores seinen Umsatz durch Empfehlungen steigert:

Jetzt Case Study lesen!

Mehr Infos zu unserer E-Commerce Technologie >>

Hast du Fragen oder Anregungen zu diesem Artikel? Verwende gerne die Kommentarfunktion!

War dieser Beitrag hilfreich?

Beitrag teilen

Eric Mende

Data Scientist

Eric ist als Data Scientist bei epoq tätig und für den Bereich Machine Learning zuständig. Er optimiert täglich unsere Algorithmen, damit sie für unsere Kunden die besten Ergebnisse erzielen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Blogartikel könnten dich auch interessieren
Blogpost

Guided Selling UX: So funktioniert kontextbezogene Beratung

Je passender du den Dialog zwischen Touchpoint und Shopkunde darstellst, desto besser ist die Guided Selling UX. Im Online Shop hat sich die personalisierte digitale Bedarfsermittlung über verschiedene Fragestellungen hinsichtlich der Gudied Selling UX bewährt. Diese erfolgt Schritt für Schritt, bis das passende Produkt gefunden ist. Oft angewandt für erklärungsbedürftige Produkte eines tiefen Produktsortiments, wie z. B. für Laptops. Aber wie lässt sich die Guided Selling UX für selbsterklärende Produkte wie z. B. für einen Rock gestalten, die eher nach den persönlichen Präferenzen bewertet und ausgewählt werden, als nach der passenden Funktionalität? Auf diese Frage wollen wir in diesem Blogbeitrag eingehen.

Michael Bernhard: 12. Apr 2021

Mehr Erfahren
Blogpost

Leitfaden für die Analyse und Optimierung deiner intelligenten Suche im Control Desk

Du möchtest noch tiefer in die Analyse deiner Suche einsteigen, um die Kundenintensionen anhand der Suchanfragen richtig zu deuten und Optimierungspotenzial zu erkennen? Der Analyse-Bereich der Suche im Control Desk bietet dir facettenreiche Möglichkeiten, um Suchanfragen genau unter die Lupe zu nehmen, Trends zu erkennen und durch Optimierungen auf Suchbegriff- und Produktebene die Performance deiner Suche zu steigern. Wir zeigen dir, wie es geht und geben dir einen umfangreichen Einblick in den neuen Analyse-Bereich im Control Desk.

Nadine Langendörfer: 16. Mrz 2021

Mehr Erfahren