Retour à la vue d'ensemble
  • Intelligence artificielle

Processus d'apprentissage par renforcement : comment augmenter votre chiffre d'affaires grâce à des algorithmes d'auto-apprentissage (partie 3)

  • Publié le 16 juillet 2018
  • Eric Mende
  • Temps de lecture : 8 min.

Les recommandations de produits ont pour objectif de proposer des produits adaptés qui inspirent les clients et, au final, augmentent la valeur du panier. Pour y parvenir, il faut recourir à des algorithmes d'auto-apprentissage et à des arbres de régression qui calculent une règle adaptée à chaque situation individuelle. Les chaînes de règles doivent être optimisées en permanence pour chaque situation afin de générer davantage de chiffre d'affaires. Nous vous expliquons comment cela fonctionne dans la troisième partie de notre série d'articles consacrés au processus d'apprentissage par renforcement.

À quoi ressemble une règle pour les recommandations ?

Tout d'abord, nous souhaitons clarifier la manière dont l'agent procède pour définir précisément les règles relatives aux algorithmes d'auto-apprentissage pour les recommandations. Ceux-ci lui permettent d'influencer les recommandations e-commerce sur chaque nouvelle page consultée d'une boutique en ligne.

Pour cela, nous examinons à quoi peut ressembler une règle issue d'un système de règles : « N'afficher que les produits des marques x que le client a le plus souvent consultés ». Le x peut prendre les valeurs 1, 2 ou 3 ainsi que . Dans ce cas, ∞ signifie que les recommandations ne sont pas limitées à certaines marques.

Une fois qu'une règle a été établie, l'agent a pour tâche, à l'aide d'algorithmes d'auto-apprentissage, de déterminer quand quelle valeur de x est la plus appropriée. L'agent prend cette décision sur la base des données utilisateur suivies individuellement. Cela signifie qu'il peut prendre une décision différente pour les clients sensibles à la marque et pour les clients qui ne montrent aucune préférence pour une marque particulière.


Restez informé des dernières nouveautés en matière de personnalisation : inscrivez-vous à la newsletter epoq. Inscrivez-vous dès maintenant !


Génération de règles à l'aide d'algorithmes d'auto-apprentissage via des arbres de régression

Nous vous montrons ci-dessous selon quel modèle les algorithmes d'auto-apprentissage établissent des règles et comment notre agent les utilise pour formuler des recommandations pertinentes.

Qu'est-ce qu'un arbre de régression ?

Il s'agit tout d'abord de déterminer la valeur x pour notre règle type concernant le nombre de marques. L'objectif est ici d'atteindre le chiffre d'affaires le plus élevé possible. Nous recherchons donc la valeur idéale pour x dans chaque situation particulière.

Pour atteindre notre objectif , l'agent crée une fois par jour un modèle d'apprentissage automatique. Celui-ci lui permet de prédire quelles valeurs conviennent le mieux dans quelles situations. Pour cela, il faut une approche qui prédise avec précision le chiffre d'affaires attendu sur la base de l'historique du client. Pour ces prédictions, les arbres de régression font partie d'un modèle d'apprentissage automatique adapté. Les avantages :

  • Les résultats sont précis et faciles à interpréter pour un data scientist.
  • Le temps de calcul est réduit par rapport à d'autres algorithmes d'apprentissage automatique.
  • Cela garantit également ladiffusion en temps réel.

Cela semble déjà bien. Mais comment imaginer un arbre de régression ? La structure est similaire à celle d'un arbre de catégories d'une boutique en ligne, qui permet de classer les produits. Ici, les catégories de produits peuvent être subdivisées plusieurs fois. Ainsi, les chemises et les chemisiers appartiennent tous deux à la catégorie des vêtements d'extérieur. Les chemises peuvent toutefois être subdivisées de manière plus détaillée, par exemple en polos et chemises à manches longues.

Exemple de structure d'arborescence de catégories pour une boutique en ligne

Quelles données un arbre de régression utilise-t-il pour établir des recommandations ?

Pour déterminer le nombre de marques à afficher, notre agent doit parcourir l'arbre de régression. Celui-ci n'est pas divisé en catégories de vêtements, mais en données de suivi enregistrées. Les données individuelles consistent en un vecteur contenant des informations sur les sessions d'un utilisateur. Il peut s'agir, par exemple, d'informations sur le nombre de pages de détails de produits différentes que le client a consultées. Les informations sur la durée de sa visite sur le site web, sur le fait qu'il consulte plutôt des produits haut de gamme ou bon marché, peuvent également être prises en compte. À cela s'ajoutent les données historiques. Elles contiennent des informations sur les décisions déjà prises par l'agent et sur le montant des achats effectués par le client à la fin de la session.

Exemple : prévision du nombre de marques à partir de l'exemple d'Anna

Passons maintenant à l'exemple du nombre de marques à l'aide de l'arbre de régression illustré ci-dessous. Pour cela, prenons le cas de la cliente Anna. Elle vient de consulter une veste qui coûte 89,99 €. L'agent doit décider du nombre de marques à lui recommander afin de générer le chiffre d'affaires le plus élevé possible. Anna a déjà consulté sept pages de détails de produits pour deux marques différentes.

Sur la base de ces informations, nous devons d'abord choisir la branche de droite, puis celle de gauche. La décision suivante concerne le nombre de marques affichées. C'est précisément ce que l'agent ne sait pas encore, mais souhaite examiner. Il suit donc les deux chemins pour voir ce qu'il en ressort. Au niveau suivant, il doit à nouveau prendre une décision en fonction du nombre de marques affichées. Cette fois-ci, de manière encore plus précise. Là encore, il suit toutes les branches possibles.

À la fin de l'arbre de régression, il obtient les estimations suivantes : s'il opte pour une seule marque, il peut s'attendre à un chiffre d'affaires moyen de 50,86 € pour la cliente Anna. S'il opte en revanche pour deux marques différentes, il peut s'attendre à un chiffre d'affaires légèrement supérieur, à savoir 53,48 €. Ce montant est également supérieur aux 46,25 € et 41,78 € obtenus pour trois marques ou un nombre illimité de marques. Le chiffre d'affaires attendu est donc plus élevé pour deux marques différentes. C'est donc la décision que prend l'agent. Les recommandations réelles pour Anna peuvent ensuite être calculées et envoyées à son navigateur.

L'illustration représente un graphique d'un arbre de régression enrichi de données provenant d'une boutique en ligne, qui permettent aux algorithmes d'auto-apprentissage de se perfectionner.
Représentation d'un arbre de régression simplifié

La construction d'un arbre de régression recèle des milliards de possibilités.

L'exemple avec Anna est une simplification excessive. Les arbres qui sont réellement utilisés pour les recommandations de produits sont beaucoup plus fins. Cela signifie qu'ils ont beaucoup plus de ramifications, vont plus en profondeur et prennent en compte davantage de caractéristiques de la session correspondante. Néanmoins, les serveurs n'ont besoin que de quelques millisecondes pour parcourir l'arbre.

La question suivante qui se pose ici est celle de la qualité de la structure de l'arbre de régression. Il existe des milliards et des milliards de possibilités pour assembler les différentes décisions pour l'arbre. Toutes ces possibilités ne se valent pas. Pour que les prévisions de l'arbre soient exactes, celui-ci doit être bien structuré. Nous pouvons tester la qualité de la structure d'un arbre à l'aide des données historiques des clients. Plus l'arbre est performant, plus les écarts entre les chiffres d'affaires réels et ceux prévus par l'arbre sont faibles.


Restez informé des dernières nouveautés en matière de personnalisation : inscrivez-vous à la newsletter epoq. Inscrivez-vous dès maintenant !


Développement de la structure de base d'un arbre de régression

Afin de créer les meilleurs arbres possibles, nous utilisons des algorithmes d'auto-apprentissage. Cela signifie que nous prenons les décisions pour les arbres sur la base des données de session collectées et non sur la base d'opinions humaines. Nous commençons par un arbre vide. Nous y ajoutons ensuite progressivement une décision. Une décision se compose de deux informations. D'une part, il faut choisir une caractéristique (nombre de pages de détails de produits consultées, nombre de marques consultées, temps passé sur le site web, etc.) et, d'autre part, un nombre c qui sert de seuil: toutes les sessions dont la valeur est inférieure ou égale à c vont à gauche, toutes les autres à droite.

Ensuite, pour chaque caractéristique, on calcule la valeur c qui garantit le mieux que les prévisions obtenues soient les plus proches possible des ventes réelles. On peut alors vérifier pour quelle paire de caractéristiques et de valeurs c cela fonctionne le mieux et se décider pour une caractéristique. Une fois qu'une décision a été ajoutée à l'arbre de cette manière, on peut passer à la décision suivante. Cette procédure se poursuit jusqu'à ce que l'arbre soit suffisamment développé.

Conclusion : augmentation du chiffre d'affaires grâce à des algorithmes d'auto-apprentissage et des arbres de régression

La mise en place de règles nécessite des algorithmes d'auto-apprentissage et le modèle des arbres de régression. Comparés aux stratégies rigides, les arbres de décision offrent une possibilité idéale de réagir aux situations individuelles et changeantes des acheteurs en ligne. En effet, grâce aux arbres de décision, la décision que doit prendre l'agent est prise en fonction de l'état actuel de l'acheteur en ligne. De plus, les arbres de décision peuvent être optimisés en permanence grâce à des algorithmes d'auto-apprentissage. Cela permet de suivre des stratégies qui favorisent l'atteinte d'un chiffre d'affaires maximal pour chaque acheteur en ligne.

Première partie de notre série d'articles « Processus d'apprentissage par renforcement » : Comment utiliser l'apprentissage par renforcement de manière rentable pour votre boutique en ligne (partie 1)
Et voici la deuxième partie : Comment augmenter la probabilité d'achat grâce à l'analyse en temps réel (partie 2)

 

5,04 % d'augmentation du chiffre d'affaires par session : Outletcity Metzingen a remis en question sa stratégie de personnalisation.

Demandez dès maintenant l'étude de cas !

Eric, data scientist chez epoq
Eric Mende
Data scientist
Au moment de la publication, Eric travaillait chez Epoq en tant que data scientist et était responsable du domaine du machine learning. Il optimisait quotidiennement nos algorithmes afin qu'ils obtiennent les meilleurs résultats pour nos clients.