Je n’ai pas beaucoup écrit sur l’IA récemment. Mais une dialogue récente sur les nouveaux grands modèles de langage (LLM) de Google et son affirmation selon laquelle l’un de ces modèles (nommé Gopher) a démontré compréhension de la lecture se rapprochant de la efficiency humaine, a suscité quelques réflexions sur la compréhension, l’ambiguïté, l’intelligence et la volonté. (Ça vaut la peine d’être lu Les grands modèles nous comprennent-ils ?un article plus complet de Blaise Agüera y Arcas qui va dans le même sens.)
Qu’entend-on par compréhension en lecture ? Nous pouvons commencer par une définition opérationnelle easy : la compréhension en lecture est ce qui est mesuré par un check de compréhension en lecture. Cette définition ne peut être satisfaisante que pour les personnes qui conçoivent ces assessments et les administrateurs scolaires, mais c’est aussi la base de l’affirmation de Deep Thoughts. Nous avons tous passé ces assessments: SAT, GRE, cette boîte de assessments de 6e année qui s’appelait (je pense) SRE. Ils sont assez similaires : le lecteur peut-il extraire des faits d’un doc ? Jack monta la colline. Jill était avec Jack quand il a gravi la colline. Ils sont allés chercher un seau d’eau : ce style de choses.
Apprenez plus vite. Creusez plus profondément. Voir plus loin.
C’est la compréhension de la première année, pas celle du lycée, mais la seule vraie différence est que les textes et les faits deviennent plus complexes à mesure que vous vieillissez. Je ne suis pas du tout surpris qu’un LLM puisse effectuer ce sort d’extraction de faits. Je soupçonne qu’il est doable de faire un travail assez décent sans des milliards de paramètres et des téraoctets de données de formation (même si je suis peut-être naïf). Ce niveau de efficiency peut être utile, mais j’hésite à l’appeler « compréhension ». Nous hésiterions à dire que quelqu’un a compris une œuvre littéraire, disons celle de Faulkner Le son et la fureur, s’ils n’avaient fait qu’extraire des faits : Quentin est mort. Dilsey a enduré. Benjy a été castré.
La compréhension est un terme mal défini, comme de nombreux termes qui apparaissent fréquemment dans les discussions sur l’intelligence artificielle : intelligence, conscience, personnalité. Les ingénieurs et les scientifiques ont tendance à être mal à l’aise avec des termes mal définis et ambigus. Les humanistes ne le sont pas. Ma première suggestion est que ces termes sont importants précisément parce qu’ils sont mal définis, et que des définitions précises (comme la définition opérationnelle avec laquelle j’ai commencé) les neutralisent, les rendent inutiles. Et c’est peut-être là que nous devrions commencer une meilleure définition de la compréhension : comme la capacité de répondre à un texte ou à un énoncé.
Cette définition elle-même est ambiguë. Qu’entend-on par réponse ? Une réponse peut être une déclaration (quelque selected qu’un LLM peut fournir) ou une motion (quelque selected qu’un LLM ne peut pas faire). Une réponse n’a pas à indiquer l’assentiment, l’accord ou la conformité ; tout ce qu’il a à faire est de montrer que l’énoncé a été traité de manière significative. Par exemple, je peux dire à un chien ou à un enfant de « s’asseoir ». Un chien et un enfant peuvent « s’asseoir » ; de même, ils peuvent tous les deux refuser de s’asseoir. Les deux réponses indiquent une compréhension. Il y a bien sûr des degrés de compréhension. Je peux aussi dire à un chien ou à un enfant de « faire ses devoirs ». Un enfant peut soit faire ses devoirs, soit refuser ; un chien ne peut pas faire ses devoirs, mais ce n’est pas un refus, c’est de l’incompréhension.
Ce qui est essential ici, c’est que le refus d’obéir (par opposition à l’incapacité) est presque un aussi bon indicateur de compréhension que la conformité. La distinction entre refus, incompréhension et incapacité n’est pas toujours facile ; quelqu’un (y compris les personnes et les chiens) peut comprendre une demande, mais être incapable de s’y conformer. « Tu m’as dit de faire mes devoirs mais le professeur n’a pas affiché le devoir » est différent de « Tu m’as dit de faire mes devoirs mais c’est plus essential de pratiquer ma flûte parce que le live performance est demain », mais les deux réponses indiquent une compréhension. Et les deux sont différents du « Tu m’as dit de faire mes devoirs, mais je ne comprends pas ce que sont les devoirs » d’un chien. Dans tous ces cas, nous faisons la distinction entre faire le choix de faire (ou de ne pas faire) quelque selected, qui nécessite de la compréhension, et l’incapacité de faire quelque selected, auquel cas la compréhension ou l’incompréhension est doable, mais la conformité ne l’est pas.
Cela nous amène à une query plus importante. Lorsque l’on parle d’IA (ou d’intelligence générale), il est facile de confondre quelque selected de compliqué (comme jouer aux échecs ou au go à un niveau de championnat) avec de l’intelligence. Comme je l’ai soutenu, ces expériences font plus pour nous montrer ce que l’intelligence n’est pas que ce qu’elle est. Ce que je vois ici, c’est que l’intelligence inclut la capacité à se comporter de manière transgressive : la capacité de décider de ne pas s’asseoir quand quelqu’un dit « assis ».1
Le fait de décider de ne pas siéger implique une sorte de considération, une sorte de choix : volonté ou volition. Encore une fois, toutes les intelligences ne sont pas égales. Il y a des choses sur lesquelles un enfant peut être clever (devoirs) qu’un chien ne peut pas ; et si vous avez déjà demandé à un enfant intransigeant de « s’asseoir », il peut proposer de nombreuses façons alternate options de « s’asseoir », rendant ambigu ce qui semblait être un easy ordre. Les enfants sont d’excellents interprètes du roman de Dostoïevski Notes du sous-sol, dans lequel le narrateur agit contre son propre intérêt simplement pour prouver qu’il a la liberté de le faire, une liberté qui est plus importante pour lui que les conséquences de ses actes. En allant plus loin, il y a des choses sur lesquelles un physicien peut être clever qu’un enfant ne peut pas : un physicien peut, par exemple, décider de repenser les lois du mouvement de Newton et proposer la relativité générale.2
Mes exemples démontrent l’significance de la volonté, de la volition. Une IA peut jouer aux échecs ou au go, en battant des humains de niveau championnat, mais elle ne peut pas décider si elle veut jouer aux échecs ou au go. C’est un ingrédient manquant dans Searls Chambre Chinoise expérience de pensée. Searls a imaginé une personne dans une pièce avec des boîtes de symboles chinois et un algorithme pour traduire le chinois. Les personnes à l’extérieur de la salle passent des questions écrites en chinois, et la personne dans la salle utilise la boîte de symboles (une base de données) et un algorithme pour préparer les réponses correctes. Peut-on dire que cette personne « comprend » le chinois ? La query importante ici n’est pas de savoir si la personne est indiscernable d’un ordinateur suivant le même algorithme. Ce qui me frappe, c’est que ni l’ordinateur, ni l’humain, ne sont capables de décider d’avoir une dialog en chinois. Ils ne répondent qu’aux entrées et ne démontrent jamais aucune volonté. (Une démonstration tout aussi convaincante de volition serait un ordinateur, ou un humain, succesful de générer des Chinois refusant correctement d’engager une dialog.) un humain, mais aucun dans lequel l’ordinateur a initié la dialog, ou démontre qu’il veut avoir une dialog. Les humains le font ; nous sommes des conteurs depuis le premier jour, quand c’était le cas. Nous avons été des conteurs, des utilisateurs de l’ambiguïté et des menteurs. Nous racontons des histoires parce que nous le voulons.
C’est l’élément critique. L’intelligence est liée à la volonté, à la volition, au désir de faire quelque selected. Là où vous avez le « désir de faire », vous avez également le « désir de ne pas faire » : la capacité de ne pas être d’accord, de désobéir, de transgresser. Il n’est pas du tout surprenant que le trope du « contrôle de l’esprit » soit l’un des plus effrayants de la science-fiction et de la propagande politique : c’est un défi direct à ce que nous considérons comme fondamentalement humain. Il n’est pas non plus surprenant que « l’ordinateur désobéissant » soit un autre de ces tropes terrifiants, non pas parce que l’ordinateur peut nous surpasser, mais parce qu’en désobéissant, il est devenu humain.
Je ne vois pas nécessairement l’absence de volition comme une limitation fondamentale. Je ne parierais certainement pas qu’il est unattainable de programmer quelque selected qui simule la volition, sinon la volition elle-même (un autre de ces termes fondamentalement ambigus). La query de savoir si les ingénieurs et les chercheurs en IA le devraient est une autre query. Comprendre la volition comme un élément clé de «l’intelligence», ce dont nos modèles actuels sont incapables, signifie que nos discussions sur «l’IA éthique» ne portent pas vraiment sur l’IA; ils concernent les choix faits par les chercheurs et les développeurs en IA. L’éthique est pour les êtres qui peuvent faire des choix. Si la capacité à transgresser est un élément clé de l’intelligence, les chercheurs devront choisir de prendre au sérieux le trope «ordinateur désobéissant». j’ai dit autre half que je ne me soucie pas de savoir si une intelligence générale artificielle hypothétique pourrait décider de tuer tous les humains. Les humains ont décidé de commettre un génocide à de nombreuses reprises, ce que je pense qu’un AGI ne considérerait pas comme logique. Mais un ordinateur dans lequel «l’intelligence» intègre la capacité humaine à se comporter de manière transgressive pourrait le faire.
Et cela me ramène au début maladroit de cet article. En effet, je n’ai pas beaucoup écrit sur l’IA récemment. C’était un choix, tout comme la rédaction de cet article. Un LLM aurait-il pu écrire cela? Peut-être, avec les invitations appropriées pour le mettre dans la bonne course. (C’est exactement comme la salle chinoise.) Mais j’ai choisi d’écrire cet article. Cet acte de choix est quelque selected qu’un LLM ne pourrait jamais faire, du moins avec notre technologie actuelle.
Notes de bas de web page
- Je n’ai jamais été très impressionné par l’idée de intelligence incarnée– que l’intelligence nécessite le contexte d’un corps et d’entrées sensorielles. Cependant, mes arguments ici suggèrent que c’est sur quelque selected, d’une manière que je n’ai pas créditée. « Assis » n’a pas de sens sans corps. La physique est unattainable sans commentary. Le stress est une réaction qui nécessite un corps. Cependant, Blaise Agüera y Arcas a eu des « conversations » avec les modèles de Google dans lesquelles ils parlent d’une « île préférée » et prétendent avoir un « odorat ». Est-ce une transgression ? Est-ce de l’imaginaire ? L’« incarnation » est-elle une development sociale plutôt qu’une development physique ? Il y a beaucoup d’ambiguïté ici, et c’est précisément pourquoi c’est essential. La transgression est-elle doable sans corps ?
- Je veux m’éloigner d’une théorie du progrès « grand homme » ; comme Ethan Siegel a fait valoir de manière convaincante, si Einstein n’avait jamais vécu, les physiciens auraient probablement fait les percées d’Einstein dans un délai relativement court docket. Ils étaient au bord du gouffre, et plusieurs pensaient dans le même sens. Cela ne change pas mon argument, cependant : pour arriver à la relativité générale, vous devez réaliser qu’il y a quelque selected qui ne va pas avec la physique newtonienne, quelque selected que la plupart des gens considèrent comme une « loi », et que le easy assentiment n’est pas une voie à suivre. Qu’il s’agisse de chiens, d’enfants ou de physiciens, l’intelligence est transgressive.
