Comment résoudre le problème du contrôle qualité de l’IA générative ?

Malgré tout l’enthousiasme suscité par l’IA générative, un obstacle entrave son adoption : la technologie a tendance à inventer des choses, à en laisser d’autres de côté et à créer tellement de possibilités qu’il est difficile de savoir lesquelles seront efficaces. C’est pourquoi la grande majorité des entreprises ont désormais recours à des évaluations humaines et à des outils ou services de test indépendants pour corriger les lacunes de l’IA générative. Toutefois, ces deux méthodes de contrôle qualité sont coûteuses et ne peuvent traiter qu’une fraction de l’ensemble de la production de l’IA générative.

Amazon a mis au point une meilleure approche pour faire fonctionner son énorme catalogue de produits : un système basé sur l’IA générative, baptisé Catalog AI, qui détecte et bloque les données non fiables, émet des idées pour concevoir de nouvelles pages produits, teste leur efficacité et s’améliore automatiquement en utilisant le retour d’information des contrôles qualité et des expériences. Il peut créer et tester des dizaines de millions d’hypothèses par an, contre seulement des milliers pour la plupart des systèmes basés sur l’humain.

Bien que de nombreuses entreprises aient du mal à rentabiliser leurs investissements dans l’IA, le projet Catalog AI d’Amazon produit déjà une valeur mesurable. Au moment où nous écrivons ces lignes, 8% de ses suggestions ont eu un impact positif sur le chiffre d’affaires. L’un d’entre nous (Stefan) connaît d’autres entreprises dont les expériences en ligne ont enregistré des taux de réussite plus élevés (de 10 à 20 %). Mais ces entreprises s’appuyaient sur des personnes pour générer des hypothèses et leurs systèmes pour les tester étaient loin d’être aussi automatisés – ce qui signifie qu’elles ont généré et testé beaucoup moins d’hypothèses qu’Amazon. De plus, la capacité du système Amazon à s’améliorer automatiquement garantit une augmentation de son taux de rendement au fil du temps. Bien que l’entreprise considère ce système, lancé en 2023, comme un chantier en cours, nous pensons qu’il est suffisamment avancé pour que les responsables d’autres sociétés puissent tirer profit de la manière dont Amazon contrôle la qualité du contenu généré à grande échelle par l’IA.

Les insuffisances de l’approche traditionnelle

Le catalogue en ligne d’Amazon contient des centaines de millions de produits qui sont vendus à des clients du monde entier. Des millions de fiches produits sont ajoutées et modifiées chaque jour. Les données – images, titres, descriptions et recommandations – doivent être complètes, précises et attrayantes pour que les acheteurs puissent trouver en un temps bref les produits qu’ils recherchent. De plus, les clients réguliers s’attendent à voir une présentation familière, avec des images, des titres de produits, des descriptions et des boutons d’achat faciles à repérer et qui fonctionnent rapidement. Les enjeux sont importants : lorsque les informations sur les produits sont incomplètes, non pertinentes ou tout simplement erronées, les clients ne finalisent pas leurs transactions ou retournent les produits ne répondant pas à leurs attentes. Dans un cas comme dans l’autre, Amazon perd de l’argent et la confiance de ses clients.