ENGLISCH Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
Personalisierter Shoppingbereich New
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Customer Targeting Neu Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

E-Book

Erfahre, warum das Thema Personalisierung im E-Commerce wichtig ist und was hinter dem Begriff Personalisierung eigentlich steckt.

E-Book anfordern
  ENGLISCH Personalisierung Software Services (SaaS) Intelligente Suche
Senke die Absprungrate | epoq Search
Guided Selling
Verringere die Retourenquote | epoq Advise/Browse
Recommendation Engine
Erhöhe den Warenkorbwert | epoq Inspire
New Personalisierter Shoppingbereich
Steigere die Wiederkaufrate | epoq Stream
Personalisierte E-Mail
Steigere den Traffic | epoq Connect
Kampagnen & Anwendung Neu Customer Targeting Umsetzung & Expertise KI-Technologie Data Science Integration & Optimierung Customer Service Customer Success Monitoring & Steuerung Control Desk Weitere Themen Partner FAQ Datenschutz
Referenzen Company Software Geeks Team
100% geballte Personalisierungs-Kompetenz – auch ohne Anzug & Krawatte
Jobs
Trägst du auch gerne Turnschuhe und interessierst dich für dieses Internet?
Company News Events
Ob Fachvorträge, Messen oder sonstige E-Commerce-Events – wir sind mal hier, mal dort. Lerne uns kennen!
Presse
Wir entwickeln uns stetig weiter. Neue Kunden, Partner, Produkte und vieles mehr. Informiere dich jetzt!
Blog Insights Erfolgskonzepte Case Studies
Erfahre, wie unsere Kunden personalisieren und ihre KPIs steigern.
Webinare
Wir teilen mit dir unsere Best Practices in Sachen Personalisierung.
Use Cases
Starte mit diesen Use Cases und steigere deine Conversion Rate.
Wissenstransfer Video Clips
Erlebe unsere Services und Use Cases in einem unserer Video Clips.
Web Demos
Wir zeigen dir die verschiedenen Personalisierungsmöglichkeiten live.
Infomaterial Ratgeber
Checkliste, Infografiken, E-Books…
KI-Technologie
Infos rundum unsere Technologie (Produktdaten, KI-Verfahren…).

E-Book

Erfahre, warum das Thema Personalisierung im E-Commerce wichtig ist und was hinter dem Begriff Personalisierung eigentlich steckt.

E-Book anfordern
Zur Übersicht Startseite / Blog / Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

Reinforcement-Learning-Prozess: Wie du durch selbstlernende Algorithmen deinen Umsatz steigerst (Teil 3)

16. Jul 2018 | Eric Mende | Künstliche Intelligenz

Produktempfehlungen verfolgen das Ziel, passende Produkte auszuspielen, die den Kunden inspirieren und schlussendlich zu einem höheren Warenkorbwert führen. Um das zu erreichen werden selbstlernende Algorithmen und Regressionsbäume benötigt, die für jede individuelle Situation eine passenden Regel berechnen. Die Regelketten sollen dabei für die jeweiligen Situationen stets optimiert werden und somit mehr Umsatz bewirken. Wie das funktioniert, zeigen wir dir im dritten Teil unserer Blogreihe Reinforcement-Learning-Prozess.

 

Diese Inhalte erwarten dich in diesem Blogartikel:

Wie sieht eine Regel für Empfehlungen aus?

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume
Was ist ein Regressionsbaum?
Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?
Beispiel: Vorhersage der Markenanzahl am Beispiel Anna
Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten
Die Entwicklung des Grundgerüsts eines Regressionsbaums

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

 

Wie sieht eine Regel für Empfehlungen aus?

Zunächst möchten wir klären, wie der Agent vorgeht, um Regeln über selbstlernende Algorithmen für Empfehlungen genau zu definieren. Mit ihnen hat er Einfluss auf die E-Commerce Recommendations auf jeder neu aufgerufenen Seite eines Online-Shops.

Hierfür schauen wir uns an, wie eine Regel aus einem Regelsystem aussehen kann: „Zeige nur Produkte der x Marken, die sich der Kunde am häufigsten angeschaut hat“. Das x kann dabei die Werte 1, 2 oder 3 sowie annehmen. In diesem Fall bedeutet ∞, dass die Empfehlungen nicht auf bestimmte Marken eingeschränkt werden.

Nachdem eine Regel aufgestellt wurde, hat der Agent mit Hilfe von selbstlernenden Algorithmen die Aufgabe herauszufinden, wann welcher Wert von x am besten geeignet ist. Diese Entscheidung trifft der Agent anhand der individuell getrackten Userdaten. Das bedeutet, dass er sich bei markenaffinen Kunden anders entscheiden kann, als bei Kunden, bei denen keine Markenpräferenz erkennbar ist.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


 

Regel-Generierung mit selbstlernenden Algorithmen über Regressionsbäume

Im Folgenden zeigen wir dir, nach welchem Modell selbstlernende Algorithmen Regeln aufstellen und wie unser Agent sie für relevante Empfehlungen nutzt.

 

Was ist ein Regressionsbaum?

Zunächst geht es darum, für unsere Beispiel-Regel zu der Anzahl der Marken den Wert x zu bestimmen. Das Ziel ist dabei, den höchstmöglichen Umsatz zu erreichen. Somit machen wir uns auf die Suche nach dem idealen Wert für x für jede einzelne Situation.

Zur Erreichung unseres Ziels erstellt der Agent einmal am Tag ein Machine-Learning-Modell. Mit ihm kann er vorhersagen, welche Werte in welchen Situationen am besten passen. Dafür wird eine Vorgehensweise benötigt, die anhand der Kundenhistorie den erwarteten Umsatz präzise vorhersagt. Für diese Vorhersagen gehören Regressionsbäume  zu einem passenden Machine-Learning-Modell. Die Vorteile davon:

  • Die Ergebnisse sind genau und auch gut für einen Data Scientisten interpretierbar.
  • Die Rechenzeit ist im Vergleich zu anderen Machine-Learning-Algorithmen geringer.
  • Dadurch wird auch die Ausspielung in Echtzeit gewährleistet.

Das klingt soweit schonmal gut. Doch wie kann man sich jetzt einen Regressionsbaum vorstellen? Die Struktur ist ähnlich aufgebaut wie ein Kategoriebaum eines Online-Shops, mit dem die Produkte unterteilt werden. Hier kann man die Produktkategorien mehrfach unterteilen. So gehören Shirts und Blusen beide in die Kategorie Oberbekleidung. Shirts können jedoch nochmal detaillierter unterteilet werden, z. B. in Polo und Langarm.

Der Kategoriebaum ähnelt dem eines Entscheidungsbaums, welche selbstlernende Algorithmen nutzen.
Beispielhafte Struktur eines Kategoriebaums für einen Online-Shop

 

Welche Daten nutzt ein Regressionsbaum zur Aufstellung von Empfehlungen?

Um herauszufinden, wie viele Marken angezeigt werden sollen, muss sich unser Agent am Regressionsbaum entlang hangeln. Dieser ist hier nicht nach Kleidungs-Kategorien unterteilt, sondern nach den aufgezeichneten Trackingdaten. Die einzelnen Daten bestehen aus einem Vektor mit Informationen über die Sessions eines Users. Das kann z. B. die Information zur Anzahl der verschiedenen Produktdetailseiten sein, die der Kunde gesehen hat. Auch die Information darüber, wie lange er bereits auf der Website ist, ob er sich eher hochwertige oder preiswerte Produkte anschaut, können mit einspielen. Dazu kommen noch Daten aus der Vergangenheit. Sie enthalten Informationen darüber, wie der Agent sich schonmal entschieden hat und für welchen Betrag der Kunde am Ende der Session eingekauft hat.

 

Beispiel: Vorhersage der Markenanzahl am Beispiel Anna

Gehen wir nun das Beispiel mit der Anzahl der Marken anhand dem unten abgebildeten Regressionsbaumes durch. Dafür betrachten wir Kundin Anna. Gerade hat sie eine Jacke aufgerufen, die 89,99€ kostet. Der Agent muss sich bei ihr entscheiden, wie viele Marken er empfiehlt, um den höchstmöglichen Umsatz zu generieren. Anna hat bereits sieben verschiedene Produktdetailseiten für zwei verschiedene Marken aufgerufen.

Aufgrund dieser Angaben müssen wir zunächst den rechten Zweig und anschließend den linken Zweig wählen. Bei der nächsten Entscheidung geht es um die Anzahl der angezeigten Marken. Dies ist ja gerade das, was der Agent noch nicht weiß, sondern untersuchen möchte. Er geht deshalb beiden Pfaden nach, um zu prüfen, was herauskommt. Auf der nächsten Ebene muss er sich wieder anhand der Anzahl der angezeigten Marken entscheiden. Diesmal sogar noch feingranularer. Auch hier verfolgt er wieder alle möglichen Abzweigungen.

Am Ende des Regressionsbaumes erhält er folgende Abschätzungen: Wenn er sich für genau eine Marke entscheidet, dann kann er für Kundin Anna mit einem durchschnittlichen Umsatz von 50,86€ rechnen. Wenn er sich hingegen für zwei verschiedene Marken entscheidet, kann er etwas mehr Umsatz, nämlich 53,48€, erwarten. Dies ist auch mehr als die 46,25€ bzw. 41,78€ für drei bzw. beliebig viele Marken. Der erwartete Umsatz ist also für zwei verschiedene Marken am höchsten. Dies ist dann auch die Entscheidung, die der Agent trifft. Anschließend können die tatsächlichen Empfehlungen für Anna berechnet und zu ihrem Browser gesendet werden.

Darstellung eines vereinfachten Regressionsbaums

 

Der Aufbau eines Regressionsbaum birgt Milliarden an Möglichkeiten

Das Beispiel mit Anna ist eine starke Vereinfachung. Die Bäume, die für Produktempfehlungen tatsächlich verwendet werden, sind sehr viel feingranularer. D.h. sie haben viel mehr Verzweigungen, gehen mehr in die Tiefe und betrachten mehr Features aus der jeweiligen Session. Dennoch benötigen die Server für das Durchsuchen des Baumes nur ein paar Millisekunden.

Als nächstes stellt sich hier die Frage, wie gut ein Regressionsbaum aufgebaut ist. Es gibt Milliarden über Milliarden Möglichkeiten die einzelnen Entscheidungen für den Baum zusammenzustellen. Nicht jede dieser Möglichkeiten ist gleich gut. Damit die Vorhersagen des Baumes zutreffend sind, muss der Baum gut aufgebaut sein. Wie gut ein Baum aufgebaut ist, können wir anhand historischer Kundendaten testen. Je besser der Baum ist, desto geringer sind die Abweichungen zwischen den tatsächlichen Umsätzen und denen, die vom Baum vorhergesagt wurden.


Bleibe up to date in Sachen Personalisierung: Melde dich zum epoq Newsletter an. Jetzt anmelden!


 

Die Entwicklung des Grundgerüsts eines Regressionsbaums

Um möglichst gute Bäume zu erstellen, verwenden wir selbstlernende Algorithmen. D.h. wir erstellen die Entscheidungen für die Bäume anhand der gesammelten Sessiondaten und nicht aufgrund von menschlichen Meinungen. Dabei fangen wir zunächst mit einem leeren Baum an. Diesem fügen wir dann nach und nach eine Entscheidung hinzu. Eine Entscheidung besteht aus zwei Informationen. Zum einen muss man ein Feature (Anzahl gesehener Produktdetailseiten, Anzahl gesehener Marken, Zeit auf Website…) wählen, zum anderen eine Zahl c an der getrennt wird: alle Sessions mit einem Wert kleiner oder gleich c gehen nach links, alle anderen nach rechts.

Anschließend wird für jedes Feature berechnet, welcher c-Wert am besten dafür sorgt, dass die entstehenden Vorhersagen den tatsächlichen Umsätzen am nächsten sind. Dann kann man prüfen, für welches Paar von Feature und c-Wert dies am besten funktioniert und legt sich daraufhin auf ein Feature fest. Hat man nun auf diese Weise eine Entscheidung dem Baum hinzugefügt, kann man mit der nächsten Entscheidung weitermachen. Diese Prozedur setzt man soweit fort, bis der Baum ausreichend weit aufgebaut ist.

 

Fazit: Mit selbstlernenden Algorithmen und Regressionsbäumen zur Umsatzsteigerung

Für die Aufstellung von Regeln werden selbstlernende Algorithmen und das Modell der Regressionsbäume benötigt. Entscheidungsbäume bieten im Vergleich zu starren Strategien eine ideale Möglichkeit, auf die individuellen und sekündlich ändernden Situationen der Online-Shopper, einzugehen. Denn mit den Entscheidungsbäumen wird die vom Agenten zu treffende Entscheidung, abhängig vom derzeitigen Zustand des Online-Shoppers, getroffen. Zudem können die Entscheidungsbäume durch selbstlernende Algorithmen stets optimiert werden. So können Strategien verfolgt werden, die den maximalen Umsatzwert der jeweiligen Online-Shopper unterstützen zu erreichen.

 

Zum ersten Teil unserer Blogreihe „Reinforcement-Learning-Prozess“: Wie du Reinforcement Learning für deinen Online-Shop gewinnbringend einsetzt (Teil 1)
Und hier gehts zum zweiten Teil: Wie du mit Real Time Analytics die Kaufwahrscheinlichkeit erhöhst (Teil 2)

 

 

Erfahre jetzt, wie fahrrad.de seinen Umsatz um 7,6% pro Session steigerte:

Mehr Infos zu unserer E-Commerce Technologie >>

Hast du Fragen oder Anregungen zu diesem Artikel? Verwende gerne die Kommentarfunktion!

War dieser Beitrag hilfreich?

Beitrag teilen

Eric Mende

Data Scientist

Eric ist als Data Scientist bei epoq tätig und für den Bereich Machine Learning zuständig. Er optimiert täglich unsere Algorithmen, damit sie für unsere Kunden die besten Ergebnisse erzielen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Blogartikel könnten dich auch interessieren
Blogpost

epoq Personalisation Experience Day 2021 ganz nach dem Motto "Boost, Lead & Close the Loop" (#epoqPXD21)

Ein Jahr nach der erfolgreichen Durchführung unseres ersten epoq Personalisation Experience Day, hieß es auch dieses Jahr wieder "save the date". Am 16. September 2021 war es endlich soweit und der epoq Personalisation Experience Day 2021 (#epoqPXD21) ging in die zweite Runde. Diesmal nicht nur mit Best Practices und exklusivem Insider-Wissen von Shopbetreibern und E-Commerce-Experten rund um das Thema Personalisierung, sondern auch ganz nach dem Motto „Boost, Lead & Close the Loop“. Nachfolgend ein kurzer Rückblick.

Nadine Roth: 28. Sep 2021

Mehr Erfahren
Blogpost

Conversion-Optimierung im E-Commerce - Mögliche Hebel, richtige Strategie und Dos & Don'ts

Egal ob Mediaportal, Digitalberater, Softwareanbieter oder Shopbetreiber – Jeder, der vor allem online Geschäft generiert, muss bemüht sein, mehr Nutzer auf die eigenen Seiten zu bekommen und diese in Interessenten und Kunden zu konvertieren. Der Weg vom ersten Touchpoint über das eigene Angebot bis zum erhofften Abschluss ist jedoch häufig lang, verschlungen und mit vielen Hürden, Abzweigungen und Ablenkungen am Rande versehen. Die Aufgabe der Conversion-Optimierung als Disziplin des Online Marketings ist es, diese Problemstellen zu kennen, zu beseitigen oder zumindest möglichst vielen potenziellen Kunden darüber hinwegzuhelfen.

Daniel Becker: 06. Sep 2021

Mehr Erfahren