BERT (modèle de langage)

En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues.

BERT

Informations
Développé par Google Research (d)
Première version
Dépôt github.com/google-research/bert
Taille des données 110 M paramètre et 340 M paramètre
Type Grand modèle de langage
Modèle transformateur
Modèle de langage entraîné par masquage (d)
Licence Licence Apache version 2.0
Site web arxiv.org/abs/1810.04805

Usage dans des applications

Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[1] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.

La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[2] et FlauBERT[3]. CamemBERT a été pré-entraîné sur un corpus de 138 Go de texte et FlauBERT sur un corpus de 71 Go de texte.

Bibliographie

Voir aussi

Articles connexes

Liens externes

Notes et références
  1. (en) Jacob Devlin et Ming-Wei Chang, « Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing », sur Google AI Blog (en), (consulté le ).
  2. (en) Louis Martin et al., « CamemBERT: a Tasty French Language Model », .
  3. (en) Hang Le et al., « FlauBERT: Unsupervised Language Model Pre-Training for French », .
  • icône décorative Portail de l’informatique
  • icône décorative Portail de Google
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons – Attribution – Partage à l’identique. Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.