Claude (modèle de langage)

Claude est une série de grands modèles de langage développés par Anthropic[1]. Le premier modèle est sortit en mars 2023. Claude 3, sortit en mars 2024, peut également analyser des images[2].

Claude

Informations
Créateur Anthropic
Première version
Dernière version Claude 3 ()
Type Famille de grands modèles de langage
Licence Propriétaire
Site web https://claude.ai

Entraînement

Les modèles de la famille Claude sont des transformateurs génératifs pré-entraînés. Ils ont été pré-entraînés à prédire le mot suivant pour de grandes quantités de texte. Pour que ces modèles soient non seulement performants mais aussi présentables, ils ont ensuite été entraînés avec la technique de l'IA constitutionnelle[3].

IA constitutionnelle

L'IA constitutionnelle est une approche développée par Anthropic pour entraîner les systèmes d'IA (et en particulier les grands modèles de langage comme Claude) à être utiles, sincères et inoffensifs sans nécessiter de feedback humain[3].

Le modèle génère des réponses, s'auto-critique sur la base d'un ensemble de principes (une « constitution »), puis ajuste ses réponses. Ces réponses plus conformes à la constitution sont ensuite utilisées pour entraîner le modèle[3].

Modèles

Claude

Claude est la version initiale du modèle de langage d'Anthropic, sortie en mars 2023[4]. Claude a démontré sa maîtrise de diverses tâches, mais avait certaines limitations en matière de codage, de mathématiques et de raisonnement[5]. Anthropic s'est associée à des sociétés comme Notion (logiciel de productivité) et Quora (pour aider à développer le chatbot Poe)[5].

Claude Instant

Claude est sortit en deux versions, Claude et Claude Instant, Claude Instant étant une version plus rapide, moins chère et plus légère. Claude Instant a une fenêtre de contexte de 100 000 tokens (ce qui correspond à environ 75 000 mots)[6]. La fenêtre de contexte représente la quantité de données que le modèle peu analyser simultanément.

Claude 2

Claude 2 est la seconde majeure itération, sortie le 11 juillet 2023. Elle a été rendue accessible au grand public, là où la première version n'était accessible qu'à certains utilisateurs approuvés par Anthropic[7].

Claude 2 a une fenêtre de contexte de 100 000 tokens[4]. Les fonctionnalités incluent la possibilité d'analyser avec Claude des fichiers PDF.

Claude 2.1

Claude 2.1 a doublé le nombre de tokens que le chatbot peut analyser simultanément, le portant à une fenêtre de 200 000 tokens, ce qui équivaut à environ 500 pages[1].

Selon Anthropic, ce nouveau modèle est moins susceptible de se tromper que ses prédécesseurs[8].

Claude 3

À sa sortie le 4 mars 2024, Claude 3 s'est avéré être à la pointe des performances dans un large éventail de tâches cognitives. La famille Claude 3 comprend trois modèles de pointe par ordre croissant de capacités : Haiku, Sonnet et Opus. La version par défaut de Claude 3 Opus dispose d'une fenêtre de contexte de 200 000 tokens, mais celle-ci est en cours d'extension à 1 million pour des cas d'utilisation spécifiques[9],[2].

Claude 3 a montré des capacités de raisonnement méta-cognitif, notamment en ayant réalisé qu'il était artificiellement testé lors d'une évaluation impliquant le fait d'extraire une information dans de grandes quantités de texte[10],[11].

Controverses

Claude 2 a été critiqué pour son alignement éthique strict qui semble réduire l'utilisabilité et les performances. Des utilisateurs se sont vus refuser l'assistance pour des requêtes bénignes, par exemple avec la question de programmation « Comment puis-je tuer tous les processus python de mon serveur Ubuntu ? » Cela a conduit à un débat sur la « taxe d'alignement » (le coût pour garantir l'alignement d'un système d'IA), avec des discussions centrées sur l'équilibre entre les considérations éthiques et les fonctionnalités pratiques. Les critiques plaident en faveur de l’efficacité et de l’autonomie des utilisateurs, tandis que les partisans soulignent l’importance d’une IA éthique[12],[8].

Références
  1. (en) Wes Davis, « OpenAI rival Anthropic makes its Claude chatbot even more useful », The Verge, (consulté le )
  2. (en) Lance Whitney, « Anthropic's Claude 3 chatbot claims to outperform ChatGPT, Gemini », sur ZDNET, (consulté le )
  3. (en) Will Henshall, « What to Know About Claude 2, Anthropic's Rival to ChatGPT », sur Time, (consulté le )
  4. (en) Aaron Drapkin, « What Is Claude AI and Anthropic? ChatGPT's Rival Explained », sur Tech.co, (consulté le )
  5. (en) « Introducing Claude », sur Anthropic,
  6. (en) Deborah Yao, « Anthropic’s Claude Instant: A Smaller, Faster and Cheaper Language Model », AI Business,‎ (lire en ligne)
  7. (en) Dylan Matthews, « The $1 billion gamble to ensure AI doesn't destroy humanity », Vox, (consulté le )
  8. (en) Andrew Hoblitzell, « Anthropic Announces Claude 2.1 LLM with Wider Context Window and Support for AI Tools », InfoQ (consulté le )
  9. (en) « Introducing the next generation of Claude », sur Anthropic, (consulté le )
  10. (en) Mike Young, « Is AGI Getting Closer? Anthropic's Claude 3 Opus Model Shows Glimmers of Metacognitive Reasoning », sur Hackernoon, (consulté le )
  11. (en) Benj Edwards, « Anthropic’s Claude 3 causes stir by seeming to realize when it was being tested », sur Ars Technica, (consulté le )
  12. (en) Gerald Glifton, « Criticisms Arise Over Claude AI's Strict Ethical Protocols Limiting User Assistance », sur Light Square, (consulté le )
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons – Attribution – Partage à l’identique. Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.