Sommes-nous à l’aube d’une explosion de l’IA auto-améliorée ?

Alors que GPT-3.5 et Mixtral n’ont pas réussi à améliorer leur fonction d’amplificateur de cette manière, GPT-4 a montré de modestes améliorations de son activateur de graines au fil des générations successives. Dans un très petit nombre de cas (moins de 0,5 %), la fonction d’optimisation a désactivé un signal « bac à sable » destiné à limiter ses capacités, mettant en évidence le potentiel de l’IA auto-augmentée pour modifier les protections intégrées.

« Comme les modèles de langage eux-mêmes n’ont pas changé, il ne s’agit pas d’une auto-optimisation entièrement récursive », ont noté les chercheurs. « Cependant, cela montre que le modèle de langage moderne, GPT-4 dans nos expériences, est capable d’écrire du code qui peut se qualifier d’auto-amélioré. »

Risque élevé, récompense élevée

Ces exemples ne font en fait qu’effleurer la surface de ce qui est devenu un axe de recherche majeur sur l’auto-amélioration dans le domaine de l’IA. Google DeepMind, Microsoftet pomme Des articles similaires ont été publiés examinant ce concept, ainsi que nombreux académique Laboratoires. Côté relations publiques, Satya Nadella de Microsoft J’ai parlé récemment « Itérer… pour utiliser l’IA pour créer des outils d’IA afin de créer une meilleure IA. »

Le PDG de Microsoft, Satya Nadella, affirme que le développement de l’IA est optimisé grâce au modèle o1 d’OpenAI et est entré dans une phase itérative : « Nous utilisons l’IA pour créer des outils d’IA afin de créer une meilleure IA. » pic.twitter.com/IHuFIpQl2C

– Tsarathostra (@tsarnik) 21 octobre 2024

Toutes ces recherches inquiètent certains observateurs quant à la possibilité de systèmes d’IA à auto-cryptage qui dépassent rapidement notre intelligence et notre capacité à les contrôler. En réponse aux recherches d’Anthropic dans le bulletin d’information sur l’intelligence artificielle, Dave Edwards Il a souligné la préoccupation:

Depuis des centaines d’années, la capacité de s’améliorer est fondamentale pour notre compréhension de ce que signifie être humain et pour notre capacité à nous autodéterminer et à créer du sens en tant qu’individus et groupes. Qu’est-ce que cela signifie alors que les humains ne sont plus les seuls êtres ou choses au monde qui s’améliorent eux-mêmes ? Comment comprendrons-nous la dissolution de cette compréhension de notre exceptionnalisme ?

Cependant, sur la base des recherches menées jusqu’à présent, nous ne sommes peut-être pas aussi proches du type de « percée de l’IA » que le pensent certains observateurs. dans Article de févrierJim Fan, directeur de recherche principal chez Nvidia, a souligné que les modèles auto-renforcés dans les contextes de recherche atteignent généralement un point de « saturation » après trois itérations. Ensuite, au lieu de se diriger vers une intelligence supérieure, ils ont tendance à commencer à montrer des rendements décroissants à chaque modèle successif.