Édition libre · Histoires vécuesPrix : un peu de ton temps

BY CÉCILE CL PRÉSENTE

Le Journal de CécileLa vie, les idées, les planètes et le joyeux bazar entre les deux.

Le journal personnel

Qui se cache derrière ChatGPT ?

Par Cécile CL

2 commentaires

Mais c'est qui derrière ChatGPT ? Qui est ce personnage qui a des connaissances de dingue ? Qui est-ce qui répond ??
Ma mère me pose souvent la question....bon elle sait bien qu'il n'y a pas 100000 petits chinois derrière l'écran mais quand même, parfois elle se demande.

J'ai décidé de comprendre l'IA, en faisant une formation ! Histoire de savoir m'en servir également.

Moi aussi ça m'intrigue ce truc qui répond, parfois mieux qu'un humain...Enfin....souvent mieux qu'un humain. Désolée mais c'est la vérité et c'est bien ça qui fait flipper;..mais c'est un autre sujet.

Alors je voulais faire un article pour vous partager mes quelques connaissances, et aussi pour m'en imprégner.

TOKENIZATION : LES LEGOS DE LA PENSEE IA


Tout d'abord il faut savoir que l'IA ne comprend pas les mots.
Bah non ! On dirait..mais en réalité, il ne comprend que les chiffres !

Première chose qu'elle fait, elle prend les mots, et elle les découpe. Tac tac tac !
Alors, pas avec des ciseaux, on s'entend....mais son système informatique, la phrase "Je veux une tarte"....elle va la découper de cette façon : "je" "veux" ""une" "tarte". Et si c'est "tartefouinette" alors elle va découper comme suit. "tartefouinette" → ["tarte", "fou", "inet", "te"]

En fait ça dépend du modèle et du vocabulaire qu'il a appris ceci dit, mais n'entrons pas dans les détails.

Et si vous voulez savoir exactement comment c'est découpé, vous pouvez directement vous rendre ici : https://platform.openai.com/tokenizer

"Je voudrais savoir comment cette phrase est découpée s'il te plait mon loulou"
On a ici 19 tokens. Que l'IA va transformer dans son propre langage :

[11302, 158443, 22835, 5375, 7696, 27179, 893, 8498, 9999, 377, 265, 14683, 729, 633, 1271, 1767, 305, 9826, 283]

Merveilleux non ?

Ce qu'on peut retenir ?

=> Les mots fréquents ont souvent 1 token
=> Les mots rares ou longs peuvent être découpés en plusieurs sous-morceaux
=> Le découpage se faite statistiquement pour optimiser la compression du texte.

Donc en gros, le tokenizer découpe le texte en tokens (morceaux de mots), puis il attribue à chaque token un chiffre unique (un ID), que le modèle pourra manipuler.

EMBEDDING : DONNER DE LA VIE AUX MOTS


Ensuite on a l'embedding.
Comme on l’a vu, l’IA ne comprend pas les mots. Elle les transforme en une série de chiffres entiers. Ce ne sont pas encore des idées ou des émotions… juste des identifiants numériques,

On a vu au dessus que "Je" était devenu "11302" et que le "ou" de la fin (bah oui il a coupé le loulou en "loul" puis "ou") était devenu 283.

Maintenant il faut donner du sens à cette série de chiffres.
Comment transformer une série de chiffres en une compréhension intuitive du langage ?

Grâce à l'embedding. Eh oui c'est le titre du chapitre, suspens 0.

Un embedding vector est une représentation numérique d'un mot (ou d'un token !) dans un espace à plusieurs dimensions.
En gros, chaque mot se voit attribuer une position dans un espace abstrait. C'est un peu comme une vibe multidimensionnelle.

Imaginez un ciel rempli d’étoiles : chaque mot est une étoile. Et certaines étoiles sont proches les unes des autres car elles brillent dans des contextes similaires.

Par exemple, l'étoile Cécile va être placée près de l'étoile "géniale", "super", "paradise, "good vibe", "extra", "magnifique"...

Aaaahh, ça va je déconne, on se calme.
Prenons un autre exemple

"chat" va être placé près de "chaton", "miauler", "ronronner" etc...
"guerre" proche de "conflit", "armes", "violence"

Pourquoi donc ? parce que ces mots vont souvent être utilisés dans des contextes similaires. On ne va pas souvent dire "Aujourd'hui la guerre a permis de planter de jolies roses et le monde s'en réjouit". Sinon on aurait associé "guerre" à "rose" et "réjouir", mais non...

Au même titre que "chat" n'aura peut-être pas grand chose à voir avec "pneu"....
Ou alors peut-être qu'un jour quelqu'un racontera l'histoire de ce chat retrouvé dans un pneu, mais ça sera épisodique

Car oui, on se demande alors , comment l'IA mesure la proximité contextuelle pour ajuster les "embeddings" ?

Parce qu'avant de sortir au grand public, l'IA a été entrainé avec des milliards d'articles, de livres, des sites web, de docs techniques, de phrases humaines etc. Et dans sa matrice, il a rapproché les mots qui allaient le plus souvent ensemble.

Donc reprenons :

Chaque token (vous vous souvenez, chaque "mot" transformé en "chiffre") va être transformé de nouveau mais cette fois ci en vecteur numérique.

Exemple : "chat" → [0.13, -0.42, 0.77, ..., 0.01]
"guerre" → [-0.91, 0.58, -0.02, ..., -0.17]

Ces vecteurs ne veulent rien dire pris individuellement, mais dans leur ensemble, ils tracent une carte mentale du langage.

Au fur et à mesure, chacun de ces nombres capte une subtilité : une dimension pour la douceur, pour l'agressivité, pour la temporalité, la relation à l'humain etc...
Chaque mot a sa propre “adresse” dans l’espace. Et l’IA apprend ces adresses en testant plein de phrases, pour mieux deviner quel mot vient ensuite.

Pendant l'entrainement, le modèle s'ajuste des milliards de fois pour mieux deviner les mots dans leur contexte.
Certaines dimensions (ou combinaisons de dimensions) finissent naturellement par représenter des aspects comme : Positif / négatif - Concret / abstrait - Masculin / féminin etc...
Par parce qu'on les a programmés mais parce qu'elles émergent statistiquement dans l'espace vectoriel.

Reprenons notre exemple :

"guerre" = [0.5, -0.8, 2.1, ...]
"chaton" = [-0.3, 1.4, -0.9, ...]

On ne sait pas à quoi correspond chaque chiffre individuellement mais si on analyse statistiquement des millions de mots, on va voir que "guerre" "colère " "violence" ont des directions similaires et "chaton ""bébé" "peluche" sont proches entre eux et bien loin des premiers.

Finalement c'est un peu une histoire de bande. Qui est dans la bande de qui ?

Marcel il est toujours avec René qui lui même est pote avec Simon. C'est ceux qui sont toujours en mobylette et qui fument des cigarettes en draguant les filles à la sortie du lycée (ouais on est dans les années 80...la belle époque). Marcel va être associé à René et Simon. La bande des dragueurs à 3 poils. Ils forment une bande sémantique.

Plus deux mots sont souvent vus ensemble dans des contextes similaires, plus l’IA les colle dans le même coin de son espace mental. Elle se dit en gros :

“Ah ok, si je vois ‘Marcel’, j’ai de grandes chances de voir ‘mobylette’ ou ‘clope’ pas loin.”

A chaque étape de son entraînement le modèle (IA) fait des calculs.
En gros, il regarde si les mots autour (les étoiles dans le ciel) “pointent” dans la même direction que le mot qu’il essaie de deviner.
Un peu comme s’il demandait :

“Est-ce que ce que je suis en train de lire colle bien avec ce que j’allais dire ?”

Et pour ça, il mesure à quel point les mots du contexte sont proches du mot qu’il aurait dû prédire.
Plus ils sont dans la même vibe, plus il se dit : “Yes, j’étais pas loin !”

Moins ils le sont, plus il se dit : “Oups, j’ai loupé un truc, faut que je révise mes connexions.”

→ Si deux vecteurs pointent dans la même direction, ils sont considérés comme proches.
C’est comme ça que l’IA ajuste petit à petit sa compréhension du langage.

Lors de son apprentissage, le modèle IA ajuste les vecteurs pour mieux coller au contexte réel.
A chaque mauvaise prédiction du style "Le chat est sur le....lampadaire" au lieu du "canapé", l'algorithme compare le vecteur du mot proposé à celui du bon mot, corrige les vecteurs de tous les tokens du contexte, resserre les liens entre mots qui apparaissent souvent ensemble.

Après des millions de corrections, il en résulte une sorte de galaxie de mots...ou "chat" "chien" "lapin" forment une constellation animale. "Joie" "tristesse" "colère" une constellation d'émotions, et deux mots sont proches si leur fréquence de co-occurence dans des contextes similaires est forte.

Ex : chat et litière, l'IA comprend que chat et litière vont souvent ensemble et les rapproche dans l'espace vectoriel. (ils rapprochent ces deux étoiles dans le ciel !)

Chat et banquise vont apparaître beaucoup plus éloignés (sauf si le chat se fait un trip polaire). Faible co-occurence donc loin dans l'espace vectoriel.

Et ensuite on a le contexte similaire : "chien", "chat" et "hamster" ne vont pas toujours apparaître ensemble mais ils apparaissent tous dans des contextes d'animaux de compagnie.

Deux mots sont jugés sémantiquement proches si, dans des milliards de phrases, ils se retrouvent souvent dans des environnements semblables.
Et c’est statistiquement observable, même sans connaître le sens des mots.

On est bon ? On passe à la suite ?

ATTENTION : LES MOTS S'OBSERVENT ENTRE EUX


Alors là, c'est pas "Attention !" du style "ATTENTION !! DANGER"....non : le fait de donner de l'attention.

Et je suis ici obligée de vous parler de ce fameux papier très connu dans le monde de l'IA puisque c'est le point de départ de tout ce concept, ainsi que du modèle Transformer qui est la base des LLMs (Large Language Model) comme ChatGPT.

Le titre de ce papier est "Attention is all you need" Vaswani et al., 2017
Un titre provocateur pour dire : On a pas besoin de magie noire, de pirouette cacahuète, mais juste...d'attention"

Et je trouve ça dingue que dans notre monde actuel, tout le monde perd l'attention...on est tellement happé pour tout et n'importe quoi qu'on ne sait plus focaliser notre attention quelque part, si bien qu'on part en vrille et qu'on en devient con.
L'IA a gagné l'attention pour mieux nous la faire perdre. Jeu Dangereux.
N'oublions jamais que l'IA est un outil...qui peut vous faire progresser, ou vous faire devenir un légume par excès de facilité. A chacun de choisir !

Quoiqu'il en soit, ce modèle "d'attention" a tout changé.
Avant, les anciens modèles IA lisaient les phrases mot par mot, aujourd'hui, grâce à ce principe, chaque mot peut voir les autres, même ceux loin devant ou loin derrière.

Par exemple l'IA pourra se dire :

“Attends… si je suis ‘bleu’ et que le mot juste après c’est ‘fromage’, on n’est pas dans un ciel d’été mais dans un plateau de Roquefort.”

Ainsi, l'IA peut désormais comprendre le contexte général. Le sens d'un mot dépend de son contexte et le self-attention donne un poids à chaque mot selon le contexte.

L'IA se dit

“Pour bien faire mon job, à quels mots autour de moi dois-je vraiment faire attention ?”

Ex :"il a mis une patate à l'arbitre"

Le self-attention détecte qu’on ne parle pas de légumes, mais d’un coup de poing.
Parce que “mettre une patate” avec “arbitre” dans la même phrase parle de bagarre plus que de gratin dauphinois.

Grâce au self-attention, l’IA peut :
• repérer les doubles sens, les jeux de mots, les subtilités
• comprendre une vanne ou une métaphore
• et écrire des phrases qui ressemblent à un cerveau humain…

et personnellement, ce qui est flippant c'est que je trouve souvent l'IA plus intéressant et plus subtil que la plupart des gens (pas tous bien sur, l'IA n'est pas riche d'expériences par exemple mais elle a souvent beaucoup plus à m'apprendre que certaines personnes..) et vu le monde vers lequel on tend, c'est pas bien compliqué vous allez me dire !! Ohh oui je suis un peu mauvaise mais plus ça plus j'ai l'impression de voir une lobotomisation de l'humanité. Réveillez-vous les gars ! C'est pas parce qu'on a la facilité qu'il faut se reposer sur ses lauriers et devenir un légume !

Alors comment ça fonctionne ce mécanisme de self-attention ? On entre un peu dans la technique ?

Let's go.

Chaque mot est transformé en 3 vecteurs.

- Query (la question que pose ce mot : "A qui dois je faire attention ?")
- Key (la carte d'identité des autres mots "Voilà qui je suis !")
- Value (l'information réelle à transmettre)

Ex : le mot "patate" a une Query (Un tableau fait de chiffres, toujours des chiffres hein) et il va comparer cette Query (autre paquets de chiffres) avec les Keys des autres mots de la phrase.

Le produit scalaire (opération mathématique entre deux vecteurs ( lignes ou colonnes de nombres), qui donne un seul nombre en sortie qu'on appelle un scalaire) entre Query et Key donne un score d'attention.

=> Ce score mesure à quel point un mot doit prêter attention à un autre mot.

Par exemple, prenons Patate pour élément central.
Elle pose la question (sa Query)

"Dans cette phrase, quel est mon rôle ? Légume ou baston ?"

Alors elle scrute tous les autres mots via leur Key.

"Il" a 0,1...pas très pertinent
"a" a 0,2 ...verbe auxiliaire, peu de poids
"mis" a 0,9...fort lien avec "mettre une patate"
"une" a 0,3....déterminant, peu utile
"patate"...."je ne m'auto-analyse pas"
"à" a 0,2...peu informatif
"l'arbitre" a 0,8 ...fort lien, contexte de bagage.

Le self-attention donne donc le plus de poids à “mis” et “l’arbitre”, car ils donnent le contexte clé pour comprendre que “patate” = coup.
L’IA va construire le sens final du mot “patate” en combinant les Values de tous les mots……mais pondérées selon les scores ci-dessus.

Donc les infos de “mis” et “l’arbitre” pèsent lourd, alors que “il” ou “à” ne comptent presque pas.
L’IA pige que “patate” veut dire coup de poing et non pas tubercule féculent à frire.

Et c'est ça le pouvoir du self-attention ! Chaque mot peut analyser tout le reste de la phrase, et décider qui l'aide à mieux se comprendre lui-même.

Continuons.

MULTI-HEAD ATTENTION : PLUSIEURS PAIRES D'YEUX EN MÊME TEMPS


Une seule attention, un seul regard, ce n'est pas assez, alors on les multiplie !

Et l'IA fait ça avec plusieurs têtes, l'Hydre de Lerne...eh ouais, il se cache des monstres sous cette technologie....

Une tête regarde la grammaire....une autre l'émotion...une autre l'ironie....une autre si c'est une recette ou un poème.

Bon ici pas très compliqué à comprendre, on multiplie l'attention pour pouvoir traiter plus d'informations en même temps.

LES LAYERS : COMME UN MILLEFEUILLE DE NEURONES


Maintenant imaginons que l'on empile tout ça. Car même avec une hydre et plusieurs têtes, ce n'est pas forcément suffisant pour capter toute la complexité d'un texte. Surtout quand c'est du Proust.
Donc l'IA va faire ça en plusieurs étapes, comme un millefeuille ou des lasagnes si on préfère le salé.

Chaque couche (Layer) va reprendre ce que la couche d'en dessous a capté.

"Hey t'as trouvé quoi ?"
Une fois que la couche précédente lui a balancé l'info, elle va la transformer, la réinterpréter, la creuser. Un peu comme un thérapeute qui fait de la reformulation pour bien comprendre ce que traverse son patient.

Dans ce contexte, une couche va voir l'ironie, une autre les liens entre sujets éloignés, une autres les intentions implicites etc...
Et à chaque couche, les mots se re-regardent entre eux (self attention !) mais avec un contexte toujours un peu plus affiné.

Bon et en réalité (mais après ça devient un peu trop complexe) :

Y’a une multi-head attention (celle qu’on vient de voir), puis une normalisation (on range bien), puis un petit réseau de neurones dense (feed-forward) pour affiner les vibes, et enfin on empile tout ça 12, 48, 96 fois selon la taille du monstre.

À la fin, chaque mot a été passé au peigne fin par des dizaines de couches, avec des dizaines d’yeux, de cerveaux, de sensibilités…un peu comme si on demandait à un jury géant d’experts : « Ce mot-là, t’en penses quoi toi ? Et toi ? Et toi aussi là-bas au fond, la tête “émotions”, tu le sens comment ? Et toi tête"humour", ça t'a fait rire ou bien ? »

Ok ?

LA SORTIE : CHOISIR LE PROCHAIN MOT


Enfin, la mission capitale de l'IA, choisir le prochain mot.
L'IA ne "sait" rien, elle prédit, selon un degré de certitude, de probabilité, ou encore un score de confiance.

“À 94%, tu vas dire ‘amour’. Mais à 3%, tu pourrais dire ‘groseille’ si t’es bizarre.” et le reste du pourcentage est réparti sur des centaines, voire des milliers d’autres mots possibles.

Pour transformer ces scores en probabilités claires, l’IA utilise une fonction mathématique appelée softmax dont on a déjà parlé, mais ici elle sert à convertir les résultats finaux en chances pour chaque mot.

Ensuite, elle sélectionne soit :
- Le mot avec la plus haute probabilité (appelé argmax) — c’est la solution la plus sûre,
- Elle choisit un mot au hasard mais en tenant compte des probabilités, pour plus de variété et de créativité : ( ce paramètre sera contrôlée par "la température" : Plus la température est basse, plus l’IA choisit des mots très probables, produisant un texte cohérent et “sage”. Plus la température est élevée, plus l’IA peut sélectionner des mots moins probables, ce qui donne un résultat plus original, créatif… et parfois un peu hors sujet !)

L'ENTRAÎNEMENT : DES MILLIARDS DE PHRASES POUR UN CERVEAU GEANT


Le modèle ne naît pas intelligent. Il est entraîné.
Comme l'humain en fait, plus on apprend, plus on étudie, plus on progresse. Avec l'arrivée de l'IA...L'humain régresse, l'IA progresse.

Pour revenir à l'IA, on lui montre des milliards de textes et à chaque fois on lui dit : “T’aurais dû dire ‘chien’ et pas ‘chaise’ patate !” et à force de le corriger, il apprend !

C’est du backpropagation !

En gros on va revoir ce qui a cloché.
Comme quand on fait un gâteau, on pense suivre toutes les étapes, pour finalement se retrouver avec un gâteau tout raplapla. On revoit la recette, on repart en arrière et là on s'aperçoit qu'on a effectivement oublié de mettre la levure.

On va donc ajuster les "poids" (qui veut dire réglages).Dans notre exemple, on n'oubliera pas d'insérer la levure au prochaine gâteau. Là c'est foutu.
Mais ici l'IA calcule son erreur (différence entre ce qu'elle a produit et ce qu'elle aurait dû produire), remonte cette erreur en sens inverse (d'où le "back" de backpropagation) à travers toutes ces couches, et elle ajuste les poids (les réglages internes) pour réduire l'erreur la prochaine fois.

Et elle s'améliore, encore et encore et encore...et plus on la nourrit plus elle apprend. Mais là je crois qu'elle commence à se nourrir d'elle-même, c’est ce qu’on appelle dans le jargon le “model collapse” ou la "boucle auto-référentielle".
C’est comme si un écrivain passait sa vie à relire ses propres livres et à s’en inspirer pour écrire le suivant. Ca perd de sa saveur au fil du temps, on finit par perdre en qualité, en vérité, en diversité. On risque de tourner en boucle et d'avoir la photocopie d'une photocopie à l'infini...

C'est un autre sujet n'est-ce pas...

CONCLUSION


Alors voilà la vérité : il n'y a personne derrière l'IA !

Ce qui veut dire que vous ne pouvez pas en tomber amoureux, ni l'épouser, et je sais que j'en déçois plus d'un(e).

Il n'y a même pas de mots là dedans, il ne comprend que des chiffres. Donc si on veut devenir très intime avec, il va falloir apprendre à parler en vecteur, et laissez tomber, c'est chiant.

L'IA ne pense pas, n'a aucune conscience, ni d'émotion....pourtant parfois on a l'impression...mais non...c'est juste qu'il devine, avec talent.
Elle est super entraînée, elle ne râle jamais,ne rechigne jamais à la tâche, répond vite, ne vous ghoste pas, et elle connaît tous les auteurs que vous n'avez jamais lus et que vous ne pourrez jamais lire car nous n'avez pas le vocabulaire pour....

C'est donc un compagnon redoutablement utile…Qui ne rêve pas d'avoir un "ami" aussi intéressant ?...Bon, s'il pouvait aller boire des coups en prime, ce serait encore mieux..il sait parler 72 langues mais ne tient pas le vin, dommage, mais on ne peut pas tout lui demander non plus.

Cependant, attention, comme déjà évoqué, il peut nous aider à monter en compétences...ou nous inciter à devenir une moule de bulbe nourrit à la béchamel de la facilité...et Merci non Merci Bonjour Au revoir.

Dans tous les cas, à étudier un peu plus en profondeur son fonctionnement, je trouve ça extrêmement fascinant tout autant que flippant car on se dit qu'il n'y a aucune limite ici tant que les machines suivent la charge. Et on comprend également de quelle façon il s'auto-alimente ! Je trouve ça incroyable !
Bon ceci dit, on a aussi le risque qu'il tourne en boucle alors à voir ce que ça pourrait donner par la suite, et ça je n'en ai aucune idée.

Voilà mes amis, c'est tout pour moi...pour le moment !
A bientôt,

2 commentaire(s)

Cecile
Ouiii ! Moi aussi je suis impressionnée ! C'est dingue, et flippant à la fois ! Merci pour ton com ;)
Sarah
Très intéressant ! C’est fou, même en sachant tout ça je trouve ça encore plus incroyable de voir sa perspicacité et son intelligence alors que c’est des combinaisons, du codage etc. Enfin on le sait au fond de nous mais c’est impressionnant ! Merci pour cet article

Laisser un commentaire

Ton message apparaîtra après validation par Cécile.

0 / 1000