Comment Fonctionne BERT comment il comprend le langage ?

Play

Si une recette de pancake vous dit de « mélanger la pâte avec la banane ».
Vous ne penseriez probablement pas à utiliser la banane comme une cuillère à mélanger.
Mais ce qui est évident pour les humains des choses comme le contexte, le ton, et l’intention
sont en fait très difficiles à comprendre pour les ordinateurs.

Que signifie BERT ?

BERT est l’acronyme de Bidirectionnel, Encoder, Representation from, Transformers

Compréhension du language par BERT

Au fond, une recherche Google consiste à comprendre le langage.
Afin de renvoyer les bonnes informations, Google n’a pas seulement besoin de connaître la définition des mots…

Il doit savoir ce qu’ils signifient tous lorsqu’ils sont assemblés dans un ordre spécifique.
Et cela inclut les petits mots comme « pour » et « à ».

Et quand vous pensez au nombre de significations différentes un seul mot peut avoir…

Vous commencez à voir comment l’écriture d’un programme informatique qui prend en compte toutes ces nuances est assez difficile.

Vous voyez ? Exemple concret.
« Joli » ici ne signifie pas « beau », mais « très ».
De plus en plus, les gens parlent à Google de la manière dont ils pensent et parlent.
Et, de plus en plus, Google s’améliore à comprendre ce qu’ils veulent dire.

L’un des plus grands bonds en avant dans l’histoire de la recherche est apparu avec l’introduction de « Représentations d’encodeurs bidirectionnels à partir de transformateurs » (transformers) ou, comme nous aimons l’appeler, BERT.

Comment fonctionne le deep learning de BERT ?

BERT est une architecture de modèle d’apprentissage automatique (deep learning) qui aide Google à traiter le langage et à comprendre le contexte dans lequel il apparaît.

La recherche avait l’habitude de traiter une requête en extrayant les mots qui lui semblaient les plus importants.

Par exemple, si vous disiez, « pouvez-vous obtenir des médicaments pour une pharmacie ».
vous auriez obtenu des résultats généraux sur les pharmacies et les ordonnances, car le moteur aurait
ignoré le mot « pour ».

Mais avec BERT, les PETITS mots sont sont pris en compte et cela change les choses.
La recherche comprend maintenant que vous voulez savoir si vous pouvez prendre un médicament… prescrit à quelqu’un d’autre.

Comment BERT forme le modèle de langue pour saisir le contexte ?

Mais comment former un modèle de langue pour saisir le contexte ?
Il y a une grande différence entre connaître les mots et la compréhension du sens.

Le modèle apprend le contexte en appliquant les mêmes principes de remplissage des blancs qu’il faut pour compléter un Mad Libs.

Nous prenons donc une phrase. Nous cachons environ 20% des mots d’entrée. Et puis nous faisons deviner à l’ordinateur les mots qui manquent.

Au fil du temps, le modèle commence à comprendre que différents mots ont des significations différentes en fonction de ce qui les entoure.
Et l’ordre dans lequel ils apparaissent dans ce texte, compte vraiment.

Donc quand vous recherchez quelque chose de complexe comme, « Appât de pêche à la mouche à utiliser pour les truites en septembre au Montana ».

Search sait que tous les petits mots sont importants et parce qu’elle les prend désormais tous en compte, Google peut vous indiquer l’appât parfait pour cette période de l’année.

BERT n’est pas infaillible, mais depuis sa mise en place en 2019, il a amélioré beaucoup de recherches.
Nous devrions toujours être en mesure d’apprendre sur tout ce qui nous intéresse.

Et c’est pourquoi la recherche travaillera toujours pour comprendre exactement ce que vous demandez vraiment.

Donc on va dire que BERT c’est même pas 10% que ce que devrait faire deepmind et MuM