J-Space
Anthropic vient de publier un article où il décrit une découverte que les ingénieurs de l'entreprise viennent de faire en étudiant le fonctionnement de Claude, leur intelligence artificielle bien connue.
Notez qu'il est pour le moins étonnant qu'une entreprise essaie de comprendre comment marche son propre produit ! Mais c'est pourtant bien le cas. Les modèles de langage type LLM comme Claude ou ChatGPT sont créés avec un système d'apprentissage au cours duquel on leur fait ingurgiter d'énormes quantités de documents (des livres, le contenu de sites web, etc.). Puis on les laisse se structurer spontanément, en toute autonomie.
En conséquence, on ne sait pas vraiment comment l'information s'organise à l'intérieur, et surtout comment ils génèrent les réponses aux questions qu'on leur pose.
Pour le comprendre, les ingénieurs ont donc décidé de scanner le cerveau de l'IA au moment même où elle réfléchit. Concrètement, ils ont inventé un outil, le "J-Lens", qui permet de voir en temps réel les informations qui circulent dans l'esprit, pardon, dans la mémoire de Claude. Celles-ci se présentent sous forme de "mots" (plus exactement des vecteurs mathématiques) uniquement, puisqu'il n'a ni yeux ni oreilles pour lui apporter des sensations par exemple.
Et ils ont découvert qu'il existe une zone, baptisé "J-Space", où l'IA concentre une toute petite partie des données qu'elle traite, celles qui sont les plus complexes. Si l'on efface son contenu, Claude est encore capable de répondre à des questions simples, mais il devient impossible de lui demander de suivre un raisonnement structuré.
Or il existe une théorie, l'Espace de travail global (Global Workspace Theory), à l'origine émise par des neurologues au sujet du cerveau humain, et selon laquelle il s'organiserait en deux parties. L'une, la plus grosse, effectue des tâches simples de manière automatique, et l'autre, beaucoup plus petite, se concentre sur les concepts complexes. Et cela décrit parfaitement l'IA d'Anthropic.
Cela semble en apparence apporter de l'eau au moulin de ceux qui pensent que la conscience humaine nait du cerveau, sans avoir besoin de recourir à des notions métaphysiques comme l'âme par exemple. Or à ce stade tout au moins, c'est faux : Claude n'a encore aucune conscience. C'est un "simple" logiciel qui effectue des calculs de probabilités.
Néanmoins cet article prouve que face à un problème commun, à savoir comment traiter des raisonnements complexes, les entités biologiques comme le cerveau humain, et leurs équivalents informatiques comme les IA, adoptent naturellement des solutions similaires. C'est une forme de convergence évolutive, lorsque la nature, dans deux cas différents, choisit la même solution.
Par exemple le poisson et le dauphin se ressemblent énormément alors que le dauphin était à l'origine un animal quadripède vivant sur la terre ferme. Mais après des millions d'années passées dans l'eau, le dauphin a progressivement adopté des caractéristiques qui sont utiles dans ce milieu : formes allongées, peau lisse, disparition des membres remplacés par des nageoires, etc. La sélection naturelle, de façon pragmatique, a gardé ce qui fonctionne le mieux.
Qu'est-ce que cela nous dit de l'IA ? Que nous suivons peut-être avec elle la même voie que celle que la nature a prise avant nous pour concevoir notre cerveau. La machine n'est pas encore intelligente, mais on peut dire qu'elle en prend le chemin.