ENGLISCH Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
New Personalisierter Shoppingbereich
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Neu Customer Targeting Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

Nächstes Webinar | 29.04.21 | 10:00 Uhr

Retourenvermeidung durch personalisierte Beratung im E-Commerce

Jetzt anmelden!
Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
New Personalisierter Shoppingbereich
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Neu Customer Targeting Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

Nächstes Webinar | 29.04.21 | 10:00 Uhr

Retourenvermeidung durch personalisierte Beratung im E-Commerce

Jetzt anmelden!
Zur Übersicht Startseite / Blog / Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

16. Jul 2018 | Aktualisiert am 16. July 2018 | | Eric Mende | Künstliche Intelligenz

Produktempfehlungen verfolgen das Ziel, passende Produkte auszuspielen, die den Kunden inspirieren und schlussendlich zu einem höheren Warenkorbwert führen. Um das zu erreichen werden selbstlernende Algorithmen und Regressionsbäume benötigt, die für jede individuelle Situation eine passenden Regel berechnen. Die Regelketten sollen dabei für die jeweiligen Situationen stets optimiert werden und somit mehr Umsatz bewirken. Wie das funktioniert, zeigen wir dir im dritten Teil unserer Blogreihe Reinforcement-Learning-Prozess.

 

Diese Inhalte erwarten dich in diesem Blogartikel:

Wie sieht eine Regel für Empfehlungen aus?

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume
Was ist ein Regressionsbaum?
Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?
Beispiel: Vorhersage der Markenanzahl am Beispiel Anna
Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten
Die Entwicklung des Grundgerüsts eines Regressionsbaums

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

 

Wie sieht eine Regel für Empfehlungen aus?

Zunächst möchten wir klären, wie der Agent vorgeht, um Regeln über selbstlernende Algorithmen für Empfehlungen genau zu definieren. Mit ihnen hat er Einfluss auf die E-Commerce Recommendations auf jeder neu aufgerufenen Seite eines Online-Shops.

Hierfür schauen wir uns an, wie eine Regel aus einem Regelsystem aussehen kann: „Zeige nur Produkte der x Marken, die sich der Kunde am häufigsten angeschaut hat“. Das x kann dabei die Werte 1, 2 oder 3 sowie annehmen. In diesem Fall bedeutet ∞, dass die Empfehlungen nicht auf bestimmte Marken eingeschränkt werden.

Nachdem eine Regel aufgestellt wurde, hat der Agent mit Hilfe von selbstlernenden Algorithmen die Aufgabe herauszufinden, wann welcher Wert von x am besten geeignet ist. Diese Entscheidung trifft der Agent anhand der individuell getrackten Userdaten. Das bedeutet, dass er sich bei markenaffinen Kunden anders entscheiden kann, als bei Kunden, bei denen keine Markenpräferenz erkennbar ist.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


 

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume

Im Folgenden zeigen wir dir, nach welchem Modell selbstlernende Algorithmen Regeln aufstellen und wie unser Agent sie für relevante Empfehlungen nutzt.

 

Was ist ein Regressionsbaum?

Zunächst geht es darum, für unsere Beispiel-Regel zu der Anzahl der Marken den Wert x zu bestimmen. Das Ziel ist dabei, den höchstmöglichen Umsatz zu erreichen. Somit machen wir uns auf die Suche nach dem idealen Wert für x für jede einzelne Situation.

Zur Erreichung unseres Ziels erstellt der Agent einmal am Tag ein Machine-Learning-Modell. Mit ihm kann er vorhersagen, welche Werte in welchen Situationen am besten passen. Dafür wird eine Vorgehensweise benötigt, die anhand der Kundenhistorie den erwarteten Umsatz präzise vorhersagt. Für diese Vorhersagen gehören Regressionsbäume  zu einem passenden Machine-Learning-Modell. Die Vorteile davon:

  • Die Ergebnisse sind genau und auch gut für einen Data Scientisten interpretierbar.
  • Die Rechenzeit ist im Vergleich zu anderen Machine-Learning-Algorithmen geringer.
  • Dadurch wird auch die Ausspielung in Echtzeit gewährleistet.

Das klingt soweit schonmal gut. Doch wie kann man sich jetzt einen Regressionsbaum vorstellen? Die Struktur ist ähnlich aufgebaut wie ein Kategoriebaum eines Online-Shops, mit dem die Produkte unterteilt werden. Hier kann man die Produktkategorien mehrfach unterteilen. So gehören Shirts und Blusen beide in die Kategorie Oberbekleidung. Shirts können jedoch nochmal detaillierter unterteilet werden, z. B. in Polo und Langarm.

Der Kategoriebaum ähnelt dem eines Entscheidungsbaums, welche selbstlernende Algorithmen nutzen.
Beispielhafte Struktur eines Kategoriebaums für einen Online-Shop

 

Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?

Um herauszufinden, wie viele Marken angezeigt werden sollen, muss sich unser Agent am Regressionsbaum entlang hangeln. Dieser ist hier nicht nach Kleidungs-Kategorien unterteilt, sondern nach den aufgezeichneten Trackingdaten. Die einzelnen Daten bestehen aus einem Vektor mit Informationen über die Sessions eines Users. Das kann z. B. die Information zur Anzahl der verschiedenen Produktdetailseiten sein, die der Kunde gesehen hat. Auch die Information darüber, wie lange er bereits auf der Website ist, ob er sich eher hochwertige oder preiswerte Produkte anschaut, können mit einspielen. Dazu kommen noch Daten aus der Vergangenheit. Sie enthalten Informationen darüber, wie der Agent sich schonmal entschieden hat und für welchen Betrag der Kunde am Ende der Session eingekauft hat.

 

Beispiel: Vorhersage der Markenanzahl am Beispiel Anna

Gehen wir nun das Beispiel mit der Anzahl der Marken anhand dem unten abgebildeten Regressionsbaumes durch. Dafür betrachten wir Kundin Anna. Gerade hat sie eine Jacke aufgerufen, die 89,99€ kostet. Der Agent muss sich bei ihr entscheiden, wie viele Marken er empfiehlt, um den höchstmöglichen Umsatz zu generieren. Anna hat bereits sieben verschiedene Produktdetailseiten für zwei verschiedene Marken aufgerufen.

Aufgrund dieser Angaben müssen wir zunächst den rechten Zweig und anschließend den linken Zweig wählen. Bei der nächsten Entscheidung geht es um die Anzahl der angezeigten Marken. Dies ist ja gerade das, was der Agent noch nicht weiß, sondern untersuchen möchte. Er geht deshalb beiden Pfaden nach, um zu prüfen, was herauskommt. Auf der nächsten Ebene muss er sich wieder anhand der Anzahl der angezeigten Marken entscheiden. Diesmal sogar noch feingranularer. Auch hier verfolgt er wieder alle möglichen Abzweigungen.

Am Ende des Regressionsbaumes erhält er folgende Abschätzungen: Wenn er sich für genau eine Marke entscheidet, dann kann er für Kundin Anna mit einem durchschnittlichen Umsatz von 50,86€ rechnen. Wenn er sich hingegen für zwei verschiedene Marken entscheidet, kann er etwas mehr Umsatz, nämlich 53,48€, erwarten. Dies ist auch mehr als die 46,25€ bzw. 41,78€ für drei bzw. beliebig viele Marken. Der erwartete Umsatz ist also für zwei verschiedene Marken am höchsten. Dies ist dann auch die Entscheidung, die der Agent trifft. Anschließend können die tatsächlichen Empfehlungen für Anna berechnet und zu ihrem Browser gesendet werden.

Darstellung eines vereinfachten Regressionsbaums

 

Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten

Das Beispiel mit Anna ist eine starke Vereinfachung. Die Bäume, die für Produktempfehlungen tatsächlich verwendet werden, sind sehr viel feingranularer. D.h. sie haben viel mehr Verzweigungen, gehen mehr in die Tiefe und betrachten mehr Features aus der jeweiligen Session. Dennoch benötigen die Server für das Durchsuchen des Baumes nur ein paar Millisekunden.

Als nächstes stellt sich hier die Frage, wie gut ein Regressionsbaum aufgebaut ist. Es gibt Milliarden über Milliarden Möglichkeiten die einzelnen Entscheidungen für den Baum zusammenzustellen. Nicht jede dieser Möglichkeiten ist gleich gut. Damit die Vorhersagen des Baumes zutreffend sind, muss der Baum gut aufgebaut sein. Wie gut ein Baum aufgebaut ist, können wir anhand historischer Kundendaten testen. Je besser der Baum ist, desto geringer sind die Abweichungen zwischen den tatsächlichen Umsätzen und denen, die vom Baum vorhergesagt wurden.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


 

Die Entwicklung des Grundgerüsts eines Regressionsbaums

Um möglichst gute Bäume zu erstellen, verwenden wir selbstlernende Algorithmen. D.h. wir erstellen die Entscheidungen für die Bäume anhand der gesammelten Sessiondaten und nicht aufgrund von menschlichen Meinungen. Dabei fangen wir zunächst mit einem leeren Baum an. Diesem fügen wir dann nach und nach eine Entscheidung hinzu. Eine Entscheidung besteht aus zwei Informationen. Zum einen muss man ein Feature (Anzahl gesehener Produktdetailseiten, Anzahl gesehener Marken, Zeit auf Website…) wählen, zum anderen eine Zahl c an der getrennt wird: alle Sessions mit einem Wert kleiner oder gleich c gehen nach links, alle anderen nach rechts.

Anschließend wird für jedes Feature berechnet, welcher c-Wert am besten dafür sorgt, dass die entstehenden Vorhersagen den tatsächlichen Umsätzen am nächsten sind. Dann kann man prüfen, für welches Paar von Feature und c-Wert dies am besten funktioniert und legt sich daraufhin auf ein Feature fest. Hat man nun auf diese Weise eine Entscheidung dem Baum hinzugefügt, kann man mit der nächsten Entscheidung weitermachen. Diese Prozedur setzt man soweit fort, bis der Baum ausreichend weit aufgebaut ist.

 

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

Für die Aufstellung von Regeln werden selbstlernende Algorithmen und das Modell der Regressionsbäume benötigt. Entscheidungsbäume bieten im Vergleich zu starren Strategien eine ideale Möglichkeit, auf die individuellen und sekündlich ändernden Situationen der Online-Shopper, einzugehen. Denn mit den Entscheidungsbäumen wird die vom Agenten zu treffende Entscheidung, abhängig vom derzeitigen Zustand des Online-Shoppers, getroffen. Zudem können die Entscheidungsbäume durch selbstlernende Algorithmen stets optimiert werden. So können Strategien verfolgt werden, die den maximalen Umsatzwert der jeweiligen Online-Shopper unterstützen zu erreichen.

 

Zum ersten Teil unserer Blogreihe „Reinforcement-Learning-Prozess“: Wie du Reinforcement Learning für deinen Online-Shop gewinnbringend einsetzt (Teil 1)
Und hier gehts zum zweiten Teil: Wie du mit Real Time Analytics die Kaufwahrscheinlichkeit erhöhst (Teil 2)

 

 

Erfahre jetzt, wie fahrrad.de seinen Umsatz um 7,6% pro Session steigerte:

Mehr Infos zu unserer E-Commerce Technologie >>

Hast du Fragen oder Anregungen zu diesem Artikel? Verwende gerne die Kommentarfunktion!

War dieser Beitrag hilfreich?

Beitrag teilen

Eric Mende

Data Scientist

Eric ist als Data Scientist bei epoq tätig und für den Bereich Machine Learning zuständig. Er optimiert täglich unsere Algorithmen, damit sie für unsere Kunden die besten Ergebnisse erzielen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Blogartikel könnten dich auch interessieren
Blogpost

Guided Selling UX: So funktioniert kontextbezogene Beratung

Je passender du den Dialog zwischen Touchpoint und Shopkunde darstellst, desto besser ist die Guided Selling UX. Im Online Shop hat sich die personalisierte digitale Bedarfsermittlung über verschiedene Fragestellungen hinsichtlich der Gudied Selling UX bewährt. Diese erfolgt Schritt für Schritt, bis das passende Produkt gefunden ist. Oft angewandt für erklärungsbedürftige Produkte eines tiefen Produktsortiments, wie z. B. für Laptops. Aber wie lässt sich die Guided Selling UX für selbsterklärende Produkte wie z. B. für einen Rock gestalten, die eher nach den persönlichen Präferenzen bewertet und ausgewählt werden, als nach der passenden Funktionalität? Auf diese Frage wollen wir in diesem Blogbeitrag eingehen.

Michael Bernhard: 12. Apr 2021

Mehr Erfahren
Blogpost

Leitfaden für die Analyse und Optimierung deiner intelligenten Suche im Control Desk

Du möchtest noch tiefer in die Analyse deiner Suche einsteigen, um die Kundenintensionen anhand der Suchanfragen richtig zu deuten und Optimierungspotenzial zu erkennen? Der Analyse-Bereich der Suche im Control Desk bietet dir facettenreiche Möglichkeiten, um Suchanfragen genau unter die Lupe zu nehmen, Trends zu erkennen und durch Optimierungen auf Suchbegriff- und Produktebene die Performance deiner Suche zu steigern. Wir zeigen dir, wie es geht und geben dir einen umfangreichen Einblick in den neuen Analyse-Bereich im Control Desk.

Nadine Langendörfer: 16. Mrz 2021

Mehr Erfahren