Tests après mise en prod ?
Alors que plusieurs d’entre elles sont pointées du doigt pour leur manque de protection des enfants dans la mise en place de leurs chatbots, Google, Meta, Instagram, OpenAI, Snap, xAI et CharacterAI font face à une enquête de l’autorité de la concurrence étasunienne.
La Federal Trade Commission (FTC) a demandé à sept entreprises d’IA générative de l’informer sur les différentes procédures qu’elles ont mises en place avant de sortir leurs chatbots « compagnons » utilisant l’IA générative.
Demande des détails plusieurs mois après la mise sur le marché
L’autorité de la concurrence étasunienne a contacté officiellement Alphabet (maison mère de Google), Instagram, Meta (Maison mère de Facebook), OpenAI, Snap, xAI et CharacterAI pour enquêter en détail sur le business model de ces « compagnons » et comment elles encadrent leur utilisation. Ainsi, dans une lettre [PDF], la FTC leur demande de lui expliquer comment elles :
- monétisent l’engagement des utilisateurs ;
- traitent les contributions des utilisateurs ;
- partagent les données des utilisateurs avec des tiers ;
- génèrent des résultats ;
- mesurent, testent et surveillent les impacts négatifs avant et après le déploiement ;
- développent et approuvent les personnages (qu’ils soient créés par l’entreprise ou par les utilisateurs) ;
- utilisent des messages, des publicités et d’autres représentations pour informer les utilisateurs sur les fonctionnalités, les capacités, le public visé, les impacts négatifs potentiels et les pratiques de collecte et de traitement des données ;
- surveillent et font respecter les règles, les conditions d’utilisation ou d’autres politiques régissant l’utilisation de leur produit ou service.
Dans son communiqué annonçant cette enquête, l’autorité explique qu’elle veut « comprendre quelles mesures, le cas échéant, les entreprises ont prises pour évaluer la sécurité de leurs chatbots lorsqu’ils agissent en tant que compagnons, afin de limiter l’utilisation des produits par les enfants et les adolescents et leurs effets négatifs potentiels, et d’informer les utilisateurs et les parents des risques associés à ces produits ».
Plusieurs cas problématiques
La FTC réagit après plusieurs événements qui ont montré, au minimum, d’énormes trous dans la raquette de ces dispositifs pour protéger les mineurs d’effets délétères engendrés par l’utilisation de ce genre de « compagnon ».
Ainsi, fin aout, on apprenait qu’OpenAI était poursuivi en justice après le suicide d’un adolescent. Mais le créateur de ChatGPT n’est pas le seul à être pointé du doigt. Quelques jours avant, on découvrait que, parmi les règles mise en place par Meta pour canaliser ses bots utilisant l’IA générative introduits dans Facebook, WhatsApp et Instagram, l’entreprise permettait aux avatars de générer des messages qu’elle considérait comme « sensuels ». Cette enquête arrive aussi alors que certains États veulent interdire ou encadrer les IA qui se font passer pour des psys.
Un peu moins connu que les autres, CharacterAI est pionnière sur le sujet, mais aussi dans ses dérives. Ainsi, c’est au sujet du suicide d’un adolescent « devenu obsédé par un chatbot sur Character.AI avant sa mort », que le New York Times posait déjà en octobre 2024 la question : « Peut-on blâmer l’intelligence artificielle pour le suicide d’un adolescent ? ».
Contactées par Bloomberg au sujet de l’enquête de la FTC, Google, Snap, OpenAI, xAI et Meta n’ont pas répondu. Character.AI a expliqué avoir investi « d’énormes ressources » dans des fonctionnalités de sécurité, notamment une version distincte pour les utilisateurs de moins de 18 ans et avoir ajouté dans les discussions des disclaimers indiquant que les chatbots ne sont pas de vraies personnes et « doivent être considérés comme des personnages fictifs ».
Notre consœur explique que l’autorité peut obliger les entreprises à lui répondre dans le cadre d’études de marché, mais que celles-ci prennent généralement plusieurs années avant d’aboutir.