Center for AI Safety

Le Center for AI Safety (signifiant « Centre pour la sûreté de l'IA »), ou CAIS, est une organisation à but non lucratif basée à San Francisco qui promeut la sécurité dans le développement et le déploiement de l'intelligence artificielle (IA). Les activités de CAIS en sûreté de l'IA incluent de la recherche technique, des plaidoyers et du support pour la croissance de ce champ de recherche[1],[2].

Center for AI Safety
Histoire
Fondation
Cadre
Sigle
(en) CAIS
Type
Forme juridique
Domaines d'activité
Siège
Pays
Organisation
Président
Site web

En mai 2023, CAIS a publié une déclaration affirmant que l'IA représente un risque d'extinction humaine. Celle-ci a été signée par des chercheurs, personnalités publiques et dirigeants de grandes entreprises du domaine de l'IA[3],[4].

Recherche

En 2023, les chercheurs du CAIS ont publié un rapport sur les risques de catastrophe liés à l'IA et les stratégies d'atténuation. Les risques mentionnés incluent entre autres l'automatisation de la guerre, l'ingénierie de pandémies ainsi que les capacités de l'IA pour la tromperie et les cyberattaques[5],[6]. Un autre travail, mené en collaboration avec des chercheurs de l'Université Carnegie Mellon, a décrit un moyen automatisé de contourner les mesures de sécurité des grands modèles de langage, soulignant l'insuffisance des systèmes de sécurité actuels[7],[8].

Activités

D'autres activités du CAIS en sûreté de l'IA incluent la mise à disposition de capacités de calcul, la mise en ligne d'un cours pour débutants intitulé Intro to ML Safety, et l'offre de bourses pour les professeurs de philosophie souhaitant s'attaquer aux problèmes conceptuels[6].

Notes et références
  1. (en-US) « AI poses risk of extinction, tech leaders warn in open letter. Here's why alarm is spreading », USA TODAY,
  2. (en) « Our Mission | CAIS », www.safe.ai (consulté le )
  3. « Tech. L’intelligence artificielle crée “un risque d’extinction”, alertent… ses concepteurs », sur Courrier international, (consulté le )
  4. « IA: des experts alertent sur les menaces d'"extinction" pour l'humanité », sur BFMTV (consulté le )
  5. (en) Dan Hendrycks, Mantas Mazeika et Thomas Woodside, « An Overview of Catastrophic AI Risks », .
  6. (en-US) Scharfenberg, « Dan Hendrycks from the Center for AI Safety hopes he can prevent a catastrophe », The Boston Globe, (consulté le )
  7. (en) « Researchers Poke Holes in Safety Controls of ChatGPT and Other Chatbots », The New York Times,‎ (lire en ligne, consulté le )
  8. (en) « Universal and Transferable Attacks on Aligned Language Models », llm-attacks.org (consulté le )
  • icône décorative Portail des associations
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons – Attribution – Partage à l’identique. Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.