Comment les I.A. font-elles pour comprendre notre langue ?

Que ce soit les chatbox, les logiciels de traduction automatique

ou encore les enceintes connectées,

de plus en plus d'applications semblent être capables de comprendre notre langue.

Jusqu'à une période récente, quand on voulait s'adresser à un ordinateur,

le seul moyen était d'utiliser un "langage de programmation",

un truc artificiel, très formalisé, avec des règles précises.

Mais de plus en plus il semblerait que grâce aux méthodes d'intelligence artificielle,

les machines soient capables de comprendre ce qu'on appelle le "langage naturel".

C'est-à-dire les langues que les humains utilisent au quotidien,

comme le français ou l'anglais.

Est-ce qu'on peut dire que les IA comprennent vraiment ce qu'on leur raconte,

qu'elles sont capables de penser avec les mêmes mots que nous ?

Eh bien, pour s'en faire une idée on va se pencher sur les méthodes utilisées

par ces algorithmes pour manipuler le langage naturel.

[Jingle]

Dans cette vidéo on va essentiellement parler des techniques d'IA

qu'on regroupe sous le terme de "machine learning",

l'apprentissage automatique,

et plus spécifiquement des fameuses techniques de "deep learning",

l'apprentissage profond.

Pour ceux que ça intéresse, j'avais déjà fait un épisode sur le sujet,

mais je vais quand même rappeler les principes de base.

L'idée est de considérer un algorithme qui est en gros une fonction,

c'est-à-dire comme une machine mathématique à qui on donne une entrée X

et qui va produire une certaine sortie Y.

Et on va apprendre à cet algorithme à faire quelque chose qui nous intéresse.

Prenons un cas concret classique : imaginons qu'on veuille

qu'un algorithme soit capable de reconnaitre ce qu'il y a sur des images.

En entrée X on veut pouvoir lui donner des images

et en sortie Y on attend pour chaque image, un mot qui la décrit.

Par exemple ici, on veut que l'algorithme nous réponde : "Chat".

Pour en arriver là, ça se passe en deux temps,

au départ l'algorithme n'est pas entrainé, il répond donc n'importe quoi,

donc dans la première phase, la phase d'apprentissage,

on va lui montrer des exemples de ce qu'on voudrait qu'il fasse,

par exemple en lui filant une base de données

de milliers d'images auxquelles on a déjà associé les bons mots.

Et, en voyant ces exemples, l'algorithme va se modifier progressivement

pour s'adapter à ce qu'on lui demande de faire.

Dit comme ça, ça a l'air magique, un algorithme qui se modifie,

mais mathématiquement ça se formalise bien.

La fonction mathématique qui relie Y et X dans l'algorithme

dispose d'une très grande quantité de paramètres,

on les appelle des poids et on note ça généralement "W".

Et voyez ces paramètres comme des boutons que l'algorithme peut tourner

pour faire varier la façon dont Y est construit à partir de X.

Durant la phase d'apprentissage, ces poids sont ajustés

de manière à coller aux exemples de la base de données,

ça peut prendre un certain temps en fonction de la taille de la base,

du nombre de poids et de la complexité du problème.

Et une fois cette phase terminée, l'algorithme est prêt,

il est entraîné et on peut s'en servir, c'est la phase d'utilisation.

On lui présente de nouvelles images, qu'il n'a jamais vues et,

si tout fonctionne bien, il sera capable de reconnaître ce qu'il y a dessus.

Voilà pour les grands principe du machine learning.

Là, je vous ai présenté le truc d'une façon assez abstraite,

je ne vous ai pas vraiment expliqué ce qu'on va utiliser

comme fonction pour réaliser tout ce travail.

Ces derniers temps on utilise majoritairement les réseaux de neurones

et notamment les réseaux dits "profonds"

qui ont l'avantage d'être à la fois très puissants et très flexibles,

mais la structure, l'architecture précise de ces réseaux

doit souvent être adaptée au problème qu'on considère.

Dans le cas de la reconnaissance d'image on utilise

ce qu'on appelle des réseaux de convolution

qui ont une capacité à reconnaître des choses intéressantes

dans une image en l'analysant successivement

à différentes échelles, d'une façon hiérarchique.

Par exemple sur cette image, un réseau de convolution va détecter d'abord

les variations de luminosité d'un pixel à l'autre,

qui représentent une frontière ou un trait

puis ces informations seront assemblées pour reconnaître

des bouts de segments ou des morceaux de courbes,

puis au niveau au dessus en combinant les segments et les courbes,

il peut reconnaître des formes géométriques.

Et c'est en combinant à nouveau ces caractéristiques globales

que le réseau peut finalement apprendre à reconnaître des images complètes.

Alors évidemment je vous le décris de façon assez sommaire,

mais on peut imaginer que cette façon hiérarchique d'analyser

aux différentes échelles ressemble à la façon dont notre vision à nous fonctionne.

Il y a quand même un point important que j'ai passé sous silence :

ces algorithmes de réseaux de neurones, je vous l'ai dit, n'ont rien de magique,

ce sont des fonctions mathématiques,

on les construit à partir d'opérations simples comme l'addition,

la multiplication la fonction exponentielle, etc.

Ça signifie que la seule chose que ces réseaux peuvent manipuler

eh bien ce sont des nombres.

Alors là je vous ai dit que pour faire de la reconnaissance d'image

on prenait des images en entrée et on avait des mots en sortie, alors, comment on fait ?

Pour les images c'est assez simple, on prend les pixels,

on regarde leur luminosité ou bien leurs couleurs

en rouge/vert/bleu et ça nous donne des nombres.

Pour une image de 400 par 400 pixels en couleur,

ça fait pas loin de 500 000 nombres en entrée,

c'est beaucoup, mais au moins ce sont des nombres que le réseau peut manipuler.

Et pour la sortie ?

Eh bien notre réseau ne parle ni anglais ni français,

il ne sait pas écrire des mots comme "chat" ou "voiture".

Donc il faut lui cadrer les choses,