« 60 Minutes » a fait une fausse déclaration choquante à propos d’un chatbot Google AI

Depuis qu’OpenAI a lancé ChatGPT dans le monde, nous l’avons vu prendre des gens que vous ne croiriez pas. Certaines personnes ont affirmé que les chatbots avaient un agenda éveillé. Le sénateur américain Chris Murphy a tweeté que ChatGPT « apprenait » lui-même la chimie avancée. Même des journalistes techniques chevronnés ont écrit des articles sur son fonctionnement Le chatbot en est tombé amoureux. Il semble que le monde réagisse à l’IA de la même manière que les hommes des cavernes ont probablement réagi lorsqu’ils ont vu le feu pour la première fois : avec une confusion totale et un babillage incohérent.

L’un des exemples les plus récents vient de 60 minutes, qui a jeté sa voix sur le ring avec un nouvel épisode axé sur les innovations en matière d’intelligence artificielle diffusé dimanche sur CBS. L’épisode comportait des entretiens avec des personnes comme Sundar Pichai, PDG de Google, et incluait un contenu douteux Réclamations concernant l’un des grands modèles linguistiques de l’entreprise (LLM).

Le segment concerne le comportement émergent, qui décrit un effet secondaire inattendu d’un système d’IA qui n’était pas nécessairement prévu par les développeurs du modèle. Nous avons déjà vu émerger des comportements émergents dans d’autres projets récents d’IA. Par exemple, des chercheurs ont récemment utilisé ChatGPT pour créer des personnages numériques avec des objectifs et des antécédents dans une étude publiée en ligne la semaine dernière. Ils notent que le système exécute divers comportements émergents tels que le partage de nouvelles informations d’un personnage à un autre et même la formation de relations les uns avec les autres, ce que les auteurs n’avaient pas initialement prévu pour le système.

Le comportement émergent est certainement un sujet intéressant à aborder dans un programme d’actualités. où est le 60 minutes La vidéo prend un tour, cependant, lorsque nous apprenons que le chatbot de Google était en fait capable de s’apprendre une langue qu’il ne connaissait pas auparavant après avoir été interrogé dans cette langue. « Par exemple, un programme Google AI s’est adapté de lui-même après avoir reçu l’ordre de le faire dans la langue du Bangladesh, qu’il n’a pas été formé à connaître », a déclaré le journaliste de CBS News, Scott Pelley, dans la vidéo.

Il s’avère qu’elle était un BS complet. Non seulement le robot n’a pas pu apprendre une langue étrangère qu’il « n’a jamais appris à connaître », mais il n’a jamais appris par lui-même une nouvelle compétence. L’ensemble du clip a incité des chercheurs et des experts en intelligence artificielle à critiquer le cadrage trompeur de l’émission d’information sur Twitter.

« J’espère certainement que certains journalistes passeront en revue l’intégralité du segment @ 60Minute sur Google Bard en tant qu’étude de cas sur la façon de * ne pas * couvrir l’IA », a déclaré Melanie Mitchell, chercheuse en IA et professeure au Santa Fe Institute, il a écrit dans un tweet.

« Arrêtez de penser magique à la technologie ! Il n’est pas possible pour #AI de répondre en bengali, à moins que les données de formation n’aient été contaminées par le bengali ou formées dans une langue qui chevauche le bengali, comme l’assamais, l’oriya ou l’hindi », a déclaré Mme. Alex O. chercheur au Massachusetts Institute of Technology, Ajouté dans un autre post.

Il est à noter 60 minutes Le clip ne disait pas exactement quelle IA ils utilisaient. Cependant, un porte-parole de CBS a déclaré au Daily Beast que le segment n’était pas une discussion sur le barde mais un programme d’intelligence artificielle distinct appelé PaLM – dont la technologie de base a ensuite été intégrée au barde.

La raison pour laquelle cette partie a été si frustrante pour ces experts est qu’elle ignore et joue avec la réalité de ce que l’IA générative peut réellement faire. Il ne peut pas « enseigner » lui-même une langue s’il n’y a pas accès en premier lieu. Ce serait comme essayer de vous apprendre le mandarin, mais vous ne l’avez entendu qu’après que quelqu’un vous ait demandé une fois le mandarin.

Après tout, le langage est incroyablement complexe – avec des nuances et des règles qui nécessitent un degré incroyable de contexte pour comprendre et communiquer. Il n’y a aucun moyen, même pour le LLM le plus avancé, de gérer et d’apprendre tout cela avec quelques invites.

PaLM est déjà formé avec le bengali, la langue dominante du Bangladesh. Margaret Mitchell (aucun lien de parenté), chercheuse au Startup Lab d’AT HuggingFace et anciennement chez Google, l’a expliqué dans Sujet du tweet Faire un argument pour pourquoi 60 minutes c’était une erreur.

Mitchell a noté que lors d’une démonstration en 2022, Google a montré que PaLM peut communiquer et répondre aux invites en bengali. le Papier derrière PaLM Il a révélé dans une fiche technique que le modèle était en fait formé sur la langue avec environ 194 millions de symboles dans l’alphabet bengali.

Il n’a donc rien appris par magie via une seule invite. Il connaissait déjà la langue.

On ne sait pas pourquoi Pichai, le PDG de Google, s’est assis pour l’entretien et a permis à ces allégations de se poursuivre sans opposition. (Google n’a pas répondu aux demandes de commentaires.) Depuis la diffusion de l’épisode, il est resté silencieux malgré les experts soulignant les affirmations trompeuses et fausses faites dans le clip. Sur TwitterMargaret Mitchell Proposition La raison derrière cela pourrait être une combinaison de dirigeants de Google ne sachant pas comment leurs produits fonctionnent et aussi que cela permet la diffusion de messages médiocres afin de répondre au battage médiatique actuel autour de l’IA générative.

« Je soupçonne [Google executives] Je ne comprends littéralement pas comment ça marche, Mitchell gazouiller. « Ce que j’ai écrit ci-dessus est très probablement nouveau pour eux. Et ils sont motivés pour ne pas comprendre (PARLEZ VOS YEUX À CETTE FICHE TECHNIQUE !!). »

La seconde moitié de la vidéo peut également être considérée comme problématique alors que Pichai et Billy discutent d’une nouvelle créée par Bard qui « semblait très humaine », laissant les deux hommes quelque peu secoués.

La vérité est que ces produits ne sont pas magiques. Ils sont incapables d’être « humains » parce qu’ils ne le sont pas. Ce sont des prédicteurs de texte comme ceux de votre téléphone, formés pour trouver les mots et les phrases les plus probables après une série de mots dans des phrases. Dire qu’ils existent pourrait leur donner un niveau de pouvoir qui pourrait être incroyablement dangereux.

Après tout, les utilisateurs peuvent utiliser ces systèmes d’IA génératifs pour faire des choses comme diffuser de la désinformation. Nous avons déjà vu cela manipuler l’image des gens et même leur voix.

Même un chatbot seul peut causer des dommages s’il finit par produire des résultats biaisés – quelque chose que nous avons déjà vu avec ChatGPT et Bard. Connaissant la propension de ces chatbots à halluciner et à fabriquer des résultats, ils peuvent être en mesure de diffuser des informations erronées aux utilisateurs sans méfiance.

La recherche le confirme également. Une étude récente Publié dans Rapports scientifiques Il a constaté que les réponses humaines aux questions éthiques pouvaient facilement être influencées par les arguments avancés par ChatGPT – et même que les utilisateurs sous-estimaient grandement à quel point ils étaient affectés par les bots.

Allégations trompeuses sur 60 minutes Ce n’est vraiment qu’un symptôme du besoin accru de littératie numérique à un moment où nous en avons le plus besoin. De nombreux experts en IA disent que maintenant, plus que jamais, c’est le moment où les gens doivent être conscients de ce que l’IA peut et ne peut pas faire. Ces faits de base sur la robotique doivent également être communiqués efficacement au grand public.

Cela signifie que les personnes disposant des plus grandes plateformes et des voix les plus fortes (telles que les médias, les politiciens et les PDG de Big Tech) portent la plus grande responsabilité pour assurer un avenir d’IA plus sûr et plus éduqué. Si nous ne le faisons pas, nous pourrions finir comme les hommes des cavernes mentionnés ci-dessus, jouant avec la magie du feu – et nous brûler dans le processus.