Google suspend l'outil photo de son chatbot Gemini AI après des réactions négatives concernant des photos historiquement inexactes

Google a annoncé jeudi qu'il interromprait temporairement son outil de création d'images de chatbot Gemini après qu'il ait été largement critiqué pour avoir créé des images « diverses » qui n'étaient pas historiquement ou factuellement exactes – comme les Vikings noirs, les papes et les Amérindiens parmi les pères fondateurs.

Les utilisateurs des médias sociaux ont qualifié Gemini de « ridiculement réveillé » et « inutilisable » après que des demandes de création d'images représentatives de sujets aient abouti à d'étranges images retouchées.

« Nous travaillons déjà pour résoudre les problèmes récents liés à la fonctionnalité de création de photos de Gemini », a déclaré Google dans un communiqué publié sur X. « Pendant ce temps, nous suspendrons la création d'images pour les gens et publierons bientôt une version améliorée. »

Les exemples incluent une image d'IA d'un homme noir qui semble représenter George Washington, avec une perruque blanche et un uniforme de l'armée continentale, et une femme d'Asie du Sud-Est portant un costume papal, même si les 266 papes de l'histoire ont été des hommes blancs.

Dans un autre exemple choquant Détecté par le bordGemini a même produit des représentations « diverses » de soldats allemands de l’ère nazie, dont une femme asiatique et un homme noir en uniforme en 1943.

Étant donné que Google n'a pas publié les paramètres qui régissent le comportement du chatbot Gemini, il est difficile d'obtenir une explication claire de la raison pour laquelle le programme invente diverses versions de personnages et d'événements historiques.

William A. a dit : « Au nom de la lutte contre les préjugés, de véritables préjugés sont intégrés dans les systèmes », a déclaré Jacobson, professeur de droit à l'Université Cornell et fondateur de l'Equal Protection Project, un groupe de surveillance, au Washington Post.

« Il s’agit d’une préoccupation non seulement pour les résultats de recherche, mais aussi pour les applications du monde réel où tester un algorithme « sans biais » crée en réalité des biais dans le système en ciblant les résultats finaux qui atteignent les quotas.

Le problème pourrait être dû au « processus de formation » de Google sur le « grand modèle de langage » qui alimente l'outil d'images de Gemini, selon Fabio Motoki, professeur à l'Université d'East Anglia au Royaume-Uni et co-auteur d'un article l'année dernière qui a trouvé une solution. Biais de gauche notable dans ChatGPT.

« N'oubliez pas que l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) consiste à dire au modèle ce qui est meilleur et ce qui est pire, façonnant ainsi sa fonction de » récompense « – techniquement, la fonction de perte », a déclaré Motoki au Post.

« Donc, selon qui Google recrute ou les instructions que Google leur donne, cela pourrait conduire à ce problème. »

Il s’agit d’un gros faux pas pour le géant de la recherche, qui vient de renommer son chatbot phare de Bard plus tôt ce mois-ci et d’introduire de nouvelles fonctionnalités très vantées, notamment la création d’images.

L'erreur est également survenue quelques jours après qu'OpenAI, qui alimente le populaire ChatGPT, ait introduit un nouvel outil d'IA appelé Sora qui crée des vidéos basées sur les invites textuelles des utilisateurs.

Google avait précédemment admis que le comportement erroné du chatbot devait être corrigé.

« Nous améliorons immédiatement ces types d'images », a déclaré au Post Jack Krawczyk, directeur principal de la gestion des produits de Google pour les expériences Gemini.

« La génération d'images IA de Gemini est destinée à un large éventail de personnes. C'est généralement une bonne chose car des personnes du monde entier l'utilisent. Mais ici, elle rate la cible. »

Le Post a contacté Google pour de plus amples commentaires.

Lorsque le Washington Post lui a demandé de fournir ses directives en matière de confiance et de sécurité, Gemini a reconnu qu'elles n'avaient pas été « divulguées publiquement en raison de complexités techniques et de considérations de propriété intellectuelle ».

Le chatbot a également reconnu dans ses réponses aux affirmations qu'il était au courant des « critiques selon lesquelles Gemini aurait pu donner la priorité à la diversité forcée dans la génération d'images, ce qui aurait pour résultat des représentations historiquement inexactes ».

« Les algorithmes derrière les modèles de génération d'images sont complexes et encore en développement », a déclaré Gemini. «Ils peuvent avoir des difficultés à comprendre les nuances du contexte historique et de la représentation culturelle, ce qui conduit à des résultats inexacts.»