La position morale d’Anthropic sur l’utilisation militaire américaine de l’intelligence artificielle remodèle la concurrence entre les principales sociétés d’IA, mais révèle également une prise de conscience croissante selon laquelle les chatbots ne sont peut-être tout simplement pas assez capables pour des actes de guerre.
Le chatbot Claude d’Anthropic a, pour la première fois, dépassé son rival ChatGPT en termes de téléchargements d’applications téléphoniques aux États-Unis cette semaine, signe de l’intérêt croissant des consommateurs qui se rangent du côté d’Anthropic dans son affrontement avec le Pentagone, selon la société d’études de marché Sensor Tower.
L’administration Trump a ordonné vendredi aux agences gouvernementales de cesser d’utiliser Claude et l’a désigné comme un risque pour la chaîne d’approvisionnement après que le PDG d’Anthropic, Dario Amodei, ait refusé de contourner les garanties éthiques de son entreprise empêchant l’application de la technologie aux armes autonomes et à la surveillance de masse nationale. Anthropic a déclaré qu’elle contesterait le Pentagone devant les tribunaux une fois qu’elle aurait reçu une mise en demeure des sanctions.
Et tandis que de nombreux experts militaires et des droits de l’homme ont félicité Amodei pour avoir défendu les principes éthiques, certains sont également frustrés par des années de marketing de l’industrie de l’IA qui ont persuadé le gouvernement d’appliquer la technologie à des tâches à enjeux élevés.
« Il a causé ce gâchis », a déclaré Missy Cummings, une ancienne pilote de chasse de la Marine qui dirige désormais le centre de robotique et d’automatisation de l’Université George Mason. « Ils étaient la première entreprise à promouvoir un battage médiatique ridicule sur les capacités de ces technologies. Et maintenant, tout d’un coup, ils veulent être réels. Ils veulent dire aux gens : ‘Oh, attendez une minute. Nous ne devrions vraiment pas utiliser ces technologies dans les armes.' »
Anthropic n’a pas immédiatement répondu à une demande de commentaire. Le ministère de la Défense a refusé de dire s’il utilisait toujours Claude, y compris dans la guerre en Iran, invoquant la sécurité opérationnelle.
Cummings a publié un article lors d’une grande conférence sur l’IA en décembre, affirmant que les agences gouvernementales devraient interdire l’utilisation de l’IA générative « pour contrôler, diriger, guider ou gouverner toute arme ». Non pas parce que l’IA est si intelligente qu’elle pourrait devenir malveillante, mais parce que les grands modèles de langage derrière les chatbots comme Claude font trop d’erreurs – appelées hallucinations ou confabulations – et sont « intrinsèquement peu fiables et inappropriés dans des environnements qui pourraient entraîner la perte de vies humaines ».
« Vous allez tuer des non-combattants », a déclaré Cummings mardi dans une interview accordée à l’Associated Press. « Vous allez tuer vos propres troupes. Je ne sais pas si l’armée comprend vraiment les limites. »
Amodei a cherché à souligner ces limites en défendant la position éthique d’Anthropic la semaine dernière, arguant que « les systèmes d’IA de pointe ne sont tout simplement pas assez fiables pour alimenter des armes entièrement autonomes. Nous ne fournirons pas sciemment un produit qui mettrait en danger les combattants et les civils américains ».
Anthropic, jusqu’à récemment, était le seul de ses pairs à être autorisé à être utilisé dans des systèmes militaires classifiés, où il s’est associé à la société d’analyse de données Palantir et à d’autres sous-traitants de la défense. Le président Donald Trump a déclaré vendredi, à peu près au moment où il approuvait les frappes militaires de samedi contre l’Iran, que le Pentagone aurait six mois pour éliminer progressivement les applications militaires d’Anthropic.
Cummings, un ancien conseiller de Palantir, a déclaré qu’il était possible que Claude ait déjà été utilisé dans la planification d’attaques militaires.
« J’espère simplement qu’il y a des humains dans le circuit », a-t-elle déclaré. « Un humain doit surveiller de très près ces technologies. Vous pouvez les utiliser pour faire ces choses, mais vous devez vérifier, vérifier, vérifier. »
Selon elle, cela contraste avec les messages des sociétés d’IA qui suggèrent que leur technologie évolue au point où elle est « presque sensible ».
« S’il y a de la culpabilité ici, je dirais que la moitié est celle d’Anthropic pour avoir alimenté le battage médiatique et l’autre moitié est la faute du Département de la Guerre pour avoir licencié toutes les personnes qui autrement les auraient déconseillés d’utiliser la technologie de manière stupide », a déclaré Cummings.
Un commentateur des médias sociaux a décrit cette semaine les problèmes du gouvernement d’Anthropic comme une « taxe à la mode » – un message qui a été republié par le principal conseiller en IA du président Donald Trump, David Sacks, un critique fréquent de l’entreprise.
Et bien que cela ait causé des problèmes juridiques qui pourraient mettre en péril les partenariats commerciaux d’Anthropic avec d’autres sous-traitants militaires, il a également renforcé sa réputation de développeur d’IA soucieux de la sécurité.
« Il est applaudissant qu’une entreprise ait tenu tête au gouvernement afin de maintenir ce qu’elle considérait comme son éthique et ses choix commerciaux, même face à ces réponses politiques potentiellement paralysantes », a déclaré Jennifer Huddleston, chercheuse principale à l’Institut Cato, à tendance libertaire.
Les consommateurs se sont déjà exprimés, ce qui a entraîné une augmentation des téléchargements de Claude qui en a fait l’application iPhone la plus populaire à partir de samedi et pour tous les systèmes téléphoniques aux États-Unis lundi, selon Sensor Tower. Cela s’est fait au détriment de ChatGPT d’OpenAI, qui a vu sa réputation de consommateur endommagée lorsqu’il a annoncé vendredi un accord avec le Pentagone pour remplacer efficacement Anthropic par ChatGPT dans les environnements classifiés.
Dans l’Apple Store, le nombre d’avis 1 étoile – la pire note – de ChatGPT a augmenté de 775 % samedi et a continué de croître en début de semaine, obligeant OpenAI à contrôler les dégâts.
« Nous n’aurions pas dû nous précipiter pour publier cela vendredi », a déclaré lundi le PDG d’OpenAI, Sam Altman, dans un message sur les réseaux sociaux. « Les problèmes sont extrêmement complexes et nécessitent une communication claire. Nous essayions véritablement de désamorcer les choses et d’éviter un résultat bien pire, mais je pense que cela semblait simplement opportuniste et bâclé. »
Altman prévoyait de rassembler les employés pour une réunion « à tous » mardi pour discuter des prochaines étapes.
« Il y a beaucoup de choses pour lesquelles la technologie n’est tout simplement pas prête, et dans de nombreux domaines, nous ne comprenons pas encore les compromis requis en matière de sécurité », a déclaré Altman. « Nous allons y parvenir, lentement, avec le (Pentagone), avec des garanties techniques et d’autres méthodes. »
Source:
www.defensenews.com
