Dans « We Must Pace the Frontier », Dario Amodei, PDG d’Anthropic, défend une idée qui peut surprendre de la part du dirigeant de l’une des principales entreprises d’intelligence artificielle au monde : il faudrait ralentir.
Plus précisément, il propose de ralentir la progression des capacités des modèles d’IA les plus avancés. La nuance est importante.
Comme il l’écrit dans son texte original :
“Pacing does not mean halting model training or technical progress.”
Traduction : « Ralentir le rythme ne signifie pas mettre fin à l’entraînement des modèles ni au progrès technique. »
Il ne propose donc pas de renoncer au développement de l’intelligence artificielle. Sa position invite plutôt à distinguer deux choses que l’on confond de plus en plus : faire progresser l’IA et accroître les capacités des modèles généralistes les plus avancés.
Ce n’est pas la même chose.
Nous avons réduit le progrès à une seule dimension
Depuis plusieurs années, une grande partie de l’industrie de l’IA poursuit un objectif simple : créer des modèles généralistes toujours plus performants.
Davantage de puissance de calcul. Des entraînements à plus grande échelle. De meilleures capacités de raisonnement et de programmation. Plus d’autonomie. La possibilité de prendre en compte davantage d’informations à la fois. Des agents capables d’accomplir des tâches plus complexes.
Les résultats sont extraordinaires. Mais cette course nous a aussi habitués à mesurer le progrès selon un seul critère : l’étendue des capacités d’un modèle. Celui-ci est considéré comme plus avancé s’il peut accomplir davantage de tâches, de façon plus autonome, dans un plus grand nombre de domaines.
Améliorer les modèles de pointe finit ainsi par devenir synonyme de faire progresser toute l’IA.
La proposition d’Amodei remet implicitement cette équivalence en question. Selon lui, les capacités des systèmes pourraient bientôt progresser plus vite que nos moyens de les comprendre, de les évaluer et d’en garder la maîtrise. Ralentir leur développement donnerait du temps pour approfondir la recherche sur la sécurité, mieux comprendre leur fonctionnement interne et renforcer les méthodes d’évaluation ainsi que les pratiques de conception et de déploiement.
À partir de là, je voudrais explorer une autre conséquence possible. Cette réflexion prolonge son argument; elle ne fait pas partie de sa proposition.
Si la progression des modèles de pointe ralentit, le développement de l’IA n’a pas à ralentir pour autant. Il peut emprunter d’autres voies.
L’innovation peut prendre d’autres directions
Entre chercher à créer le modèle le plus puissant au monde et cesser de travailler sur l’IA, les possibilités sont immenses.
Nous pouvons concevoir des modèles plus petits, spécialisés dans une tâche ou un domaine. Nous pouvons aussi développer des systèmes qui fonctionnent directement sur nos appareils, sans dépendre d’un service distant.
Nous pouvons réduire les ressources nécessaires à l’inférence, c’est-à-dire à l’utilisation d’un modèle une fois son entraînement terminé. Nous pouvons améliorer la façon dont les systèmes conservent et retrouvent l’information, leurs interfaces, leurs outils et la coordination entre leurs différents agents.
Nous pouvons entraîner des modèles pour la médecine, l’ingénierie, la logistique, l’éducation, le droit, la production industrielle ou la recherche scientifique, sans attendre de chacun qu’il excelle dans tous les domaines.
Et nous pouvons consacrer beaucoup plus d’efforts à apprendre à utiliser les modèles extraordinaires dont nous disposons déjà.
Ce dernier point mérite qu’on s’y arrête. Les possibilités offertes par l’IA se multiplient plus vite que la plupart des organisations et des personnes ne parviennent à les intégrer à leurs pratiques. Il existe déjà un écart considérable entre ce que les systèmes actuels permettent en théorie et ce que nous savons réellement en faire.
Le développement des modèles les plus avancés pourrait donc ralentir pendant que leurs applications, elles, se multiplient de plus en plus vite.
La spécialisation est aussi une voie de développement de l’intelligence
La biologie offre une analogie intéressante.
Le cerveau humain ne fonctionne pas comme un ensemble de processeurs identiques, tous polyvalents, placés sous les ordres d’une intelligence centrale. Il repose largement sur la spécialisation : différentes structures contribuent à la vision, au langage, au mouvement, à la mémoire ou encore à notre capacité de nous orienter dans l’espace.
L’intelligence émerge en partie des interactions entre ces systèmes spécialisés. Cela ne nous dit pas comment l’intelligence artificielle doit évoluer, mais suggère une possibilité.
L’avenir de l’IA ne sera peut-être pas dominé par une succession de modèles toujours plus volumineux, chacun censé tout faire à lui seul. De puissants modèles généralistes pourraient plutôt nous aider à créer une multitude de modèles plus petits et spécialisés, adaptés chacun à une tâche ou à un milieu précis.
Les modèles de pointe joueraient alors un rôle d’infrastructure : ils serviraient à concevoir, à entraîner, à coordonner et à améliorer d’autres systèmes, qui répondraient à des besoins concrets.
L’IA la plus puissante pourrait ainsi nous aider à produire, en grand nombre, des modèles aux capacités plus limitées.
Ralentir la course peut réorienter l’innovation
Pour encadrer le développement des modèles de pointe, Amodei évoque notamment la possibilité de fixer des seuils de capacité. Lorsqu’un système franchirait l’un de ces seuils, sa progression serait conditionnelle à des garanties de sécurité adaptées. Celles-ci pourraient reposer sur des évaluations, des analyses de son fonctionnement interne et des audits de ses conditions d’entraînement, afin de vérifier que son comportement reste conforme aux objectifs et aux règles qui lui sont assignés. C’est ce qu’on appelle, dans ce contexte, l’alignement.
Il envisage également de limiter certains moyens employés pour développer ces modèles, comme la puissance de calcul consacrée à leur entraînement ou le recours à l’IA pour accélérer la recherche en IA elle-même.
On pourrait en conclure que ces mesures freineraient le progrès technologique. Mais ce serait supposer qu’il n’existe qu’une seule manière de progresser.
Or, les contraintes peuvent réorienter l’innovation. Si accroître les capacités des modèles devient plus coûteux, prend davantage de temps ou fait l’objet d’un encadrement plus strict, les efforts de recherche et d’ingénierie pourraient se porter vers d’autres objectifs : réduire les ressources nécessaires, mieux répondre à des besoins précis, rendre les systèmes plus fiables, plus faciles à utiliser et à intégrer dans les pratiques.
Le résultat ne serait pas nécessairement moins d’IA. Ce pourrait être une plus grande diversité de modèles et d’usages.
Qu’appelons-nous « progrès » ?
En technologie, nous avons tendance à prendre la voie dominante pour la seule voie possible.
Pendant longtemps, le progrès informatique semblait se mesurer avant tout à la vitesse des processeurs. Puis l’efficacité énergétique, le traitement de plusieurs opérations en parallèle, l’informatique mobile et les puces spécialisées ont pris une importance tout aussi grande.
Dans les télécommunications, l’augmentation de la capacité des réseaux centralisés a longtemps occupé une place prépondérante. Internet a profondément transformé la manière d’organiser les communications. Le logiciel, lui aussi, a connu plusieurs allers-retours entre des architectures centralisées et des architectures réparties sur plusieurs machines.
L’IA approche peut-être d’une bifurcation semblable.
Une voie poursuit la course actuelle : à chaque génération, des systèmes généralistes doivent repousser les limites de leurs capacités aussi loin et aussi vite que possible.
Une autre voie consiste à continuer d’améliorer les modèles de pointe, mais à un rythme plus mesuré, tout en développant autour d’eux un ensemble plus diversifié de modèles, d’outils et d’applications.
Cette seconde voie ne serait pas synonyme de stagnation. Elle pourrait même nous offrir un paysage technologique plus riche.
Amodei conclut son essai en affirmant que l’IA peut encore apporter des bénéfices extraordinaires, même si nous prenons davantage de temps pour développer les modèles les plus avancés.
Pour ma part, j’y vois une possibilité supplémentaire : ce ralentissement pourrait aussi nous amener à explorer d’autres façons d’innover.
Ralentir la progression des modèles de pointe ne signifie pas nécessairement ralentir l’IA.
Ce serait peut-être l’occasion de nous rappeler que le progrès a plus d’une direction.