Ce qui se cache derrière le fonctionnement de ChatGPT

« C’est incroyable, ChatGPT est une intelligence artificielle consciente »

« C’est nul, il répète des trucs faux lu sur Internet, et il ne sait même faire

12 + 33 »

Oui, je sais, tout le monde a déjà beaucoup parlé de ChatGPT. Et la plupart des réactions

qu’on trouve dans la presse ou sur les réseaux sociaux ont tendance à tomber dans un extrême

ou un autre, en se basant juste sur quelques exemples bien choisis. Mais si on allait un

peu plus loin ?

Dans une vidéo précédente, j’avais déjà traité la question de ces algorithmes qui

savent manipuler des mots, des phrases, des textes; ce domaine qu’on appelle le traitement

du langage naturel. Et à l’époque j’avais notamment parlé du fameux modèle GPT d’OpenAI.

Mais c’était en novembre 2021, et donc avant la déferlante ChatGPT.

Car oui, GPT et ChatGPT c’est pas tout à fait pareil. Et aujourd’hui, je voudrais

justement faire la lumière sur le fonctionnement et la différence qu’il existe entre ChatGPT,

qui est en quelque sorte le produit commercial d’OpenAI, et GPT qui est le modèle d’intelligence

artificielle qui lui sert de base.

Et je suis persuadé qu’en comprenant un peu mieux tout cela, ça permettra d’avoir

un regard plus affiné sur les questions que pose ChatGPT, les possibilités qu’il offre,

les dangers qu’il représente, et sur ce qu’il faut en attendre, ou au contraire

ne pas en attendre. Alors c’est parti.

Mais avant ça je voudrais vous parler d’un super VPN que j’utilise…non je déconne.

Par contre je profite de cette interruption pour vous inviter à rejoindre le serveur

Discord que j’ai créé, le lien est en description. Et c’est le meilleur moyen

de venir prolonger la discussion, papoter, poser des questions à moi ou à d’autres

etc. Venez c’est sympa. Fin de la parenthèse. Revenons à ChatGPT.

Comme vous le savez sans doute, ChatGPT c’est un chatbot, un « agent conversationnel »

en bon français, c’est-à-dire un programme qui se propose de dialoguer avec vous, notamment

dans le but de vous renseigner ou vous aider. Les chatbots ça existe depuis longtemps,

et la plupart fonctionnent selon un principe de détection de mot-clés.

[MIA On en trouve par exemple sur certains sites Internet pour faire de l’assistance,

et ça marche plus ou moins bien on va dire. Il faut vraiment tomber sur les bons mots-clés

pour que l’échange soit utile.]

Mais depuis quelques années, il devient possible de développer des chatbots qui ne sont plus

programmés à la main, à partir de mots-clés définis à l’avance, mais en utilisant

des modèles issus de cette branche de l’intelligence artificielle qu’on appelle le « machine

learning. »

J’en ai souvent parlé, l’approche la plus fréquente en machine learning c’est

ce qu’on appelle l’apprentissage supervisé. Rappelons vite-fait l’exemple classique

de la reconnaissance d’image. Imaginons qu’on veuille fabriquer un algorithme qui

sache reconnaitre ce qu’il y a sur une image.

[SUPERVISE On choisit un modèle avec plein de paramètres, à qui on peut présenter

une image en entrée, et qui va produire un mot en sortie. Initialement le modèle va

raconter n’importe quoi, mais on va progressivement l’entrainer en lui présentant plein d’exemples

de ce qu’on souhaite qu’il fasse.

On prend une grosse base de données d’images qui sont déjà classifiées, on présente

successivement ces exemples à notre modèle, et on ajuste ses paramètres pour qu’il

produise le maximum de bonnes réponses. C’est ce qu’on appelle la phase d’entrainement,

qui peut durer assez longtemps, et qui demande souvent beaucoup de données.

Une fois que c’est fait, le modèle est donc entrainé, et il peut être utilisé.

Si l’entrainement a été un succès, quand on lui présentera ensuite des images qu’il

n’a jamais vues, notre modèle devrait leur associer la bonne classification.]

Ce principe d’apprentissage supervisé a déjà des tas d’applications concrètes,

comme la reconnaissance d’image, la détection de fraude ou de spam, etc. Alors intuitivement,

si on veut faire un chatbot, on se dit qu’on pourrait avoir la même approche.

Un chatbot est censé nous fournir certaines réponses pertinentes quand on lui pose des

questions. Donc on pourrait entrainer un modèle à partir d’une base de données de questions/réponses

existantes, en espérant qu’ainsi il apprenne à répondre intelligemment à n’importe

quel type de requête.

Le problème, c’est que cette approche n’est pas très efficace. On peut citer plusieurs

raisons. Déjà pour que ça marche, il faudrait une énorme quantité de données, c’est

à dire un grand nombre d’échanges questions/réponses. Il faudrait que ça couvre un maximum de sujets,

et avec des réponses de qualité, rédigées par des humains. Et on n’a pas vraiment

ce genre de données en quantité aujourd’hui.

Ensuite quand on imagine un échange avec un chatbot, il n’y a jamais une bonne réponse

unique qu’on est en droit d’attendre. Pour la même question, il peut y avoir des

tas de réponses pertinentes plus ou moins équivalentes, mais formulées de façon potentiellement

très différentes.

Donc ça n’est pas simple pour la phase d’entrainement de faire comprendre au modèle

à quel moment une réponse qu’il propose est bonne, et à quel moment c’est à côté

de la plaque.

Et enfin, dernier obstacle, si vous avez utilisé ChatGPT vous avez remarqué que vous pouvez

avoir toute une conversation avec. Il y a une notion de continuité dans l’échange.

Il utilise les questions et réponses précédentes du dialogue pour poursuivre.

Or si vous entrainez un modèle simplement sur des couples de questions/réponses, chaque

question sera traitée indépendamment de ce qui pourrait la précéder dans l’échange,

et ça n’est pas vraiment ce qu’on veut. On veut une continuité dans la conversation.

Donc pour faire un chatbot efficace en utilisant du machine learning, avoir une approche directe

d’apprentissage supervisé, ça ne semble pas vraiment indiqué. Et c’est pour cela

qu’on va devoir procéder en plusieurs étapes, en utilisant comme base ce qu’on appelle

parfois un modèle de fondation.

Un modèle de fondation, c’est un modèle d’intelligence artificielle qui est entrainé

sur une certaine tâche assez générique, mais dans le but d’être ensuite adapté

à d’autres tâches plus spécifiques. Il existe plusieurs modèle de ce type dans le