Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/07173.jsonl.gz/211

Les modalités de lancement du futur produit Q* ont-elles déclenché le feuilleton OpenAI?
Une lettre envoyée par des chercheurs d’OpenAI au conseil d'administration et une dispute entre le CEO Sam Altman et Helen Toner (ex-membre du conseil) en raison d’un article de cette dernière, suggérent qu'un profond désaccord au sein de la firme sur la manière la plus responsable de lancer son prochain produit aurait contribué au feuilleton rocambolesque du weekend dernier.
Peu à peu, on en apprend un peu plus sur les coulisses du feuilleton OpenAI qui a vu Sam Altman être limogé par le conseil d’administration avant que ce ne soit finalement une grande partie du conseil qui soit remercié et que le CEO retrouve son poste.
Selon une information de Reuters, plusieurs chercheurs de l’entreprise derrière ChatGPT ont préalablement adressé une lettre au conseil d’administration dans laquelle ils exprimaient leur inquiétude que les dernières avancées de la firme ne soient commercialisées sans une juste compréhension des conséquences. La technologie en question serait développée dans le cadre d’un projet baptisé Q* («Q star»).
La possibilité qu’un désaccord dans les équipes d’OpenAI quant aux modalités de lancement du prochain produit ait précipité le conflit est probable, à la lumière de la querelle entre Sam Altman et Helen Toner, désormais ex-membre du conseil d’administration de la firme et par ailleurs Directrice de la stratégie du Georgetown University’s Center for Security and Emerging Technology. Selon le New York Times, le conflit entre les deux responsables aurait éclaté suite à un article co-signé par la chercheuse dans lequel elle compare les pratiques d’OpenAI et de son concurrent Anthropic.
Directrice de la stratégie du Georgetown University’s Center for Security and Emerging Technology, et désormais ex-menmbre du conseil d'administration d'OpenAI, Helen Toner aurait eu un conflit avec Sam Altman, en raison d'un article qu'elle a co-signé, et qui analyse la manière dont OpenAI a essayé de lancer ses produits d manière responsable.
«Race To The Bottom»
Que disait donc le papier d’Helen Toner pour faire à ce point tiquer Sam Altman? Publié en octobre, l’article en question («Decoding Intentions – Artificial Intelligence and Costly Signals») s’intéresse aux signaux coûteux envoyés par des organismes engagés dans la compétition autour de l’IA. Ainsi, lorsqu’une entreprise retarde le lancement d’un outil pour des raisons de sécurité ou communique sa politique en matière d’éthique, ces signaux sont perçus par ses concurrents et peuvent contribuer à poser des règles du jeu évitant une course à qui en a le moins à faire. En même temps, ces actes et ces mots peuvent être coûteux en termes économiques (par exemple si les concurrents lancent plus vite leur produit), réputationnels (par exemple si des actions ultérieures contredisent les engagements pris) ou d’innovation (par exemple si les engagements pris réduisent la liberté d’innover).
L’article analyse la problématique avec des études de cas dont l’une concerne le domaine privé… et directement OpenAI. Les auteurs rappellent que les ténors de l’industrie ont indiqué à de maintes reprises leurs préoccupations quant aux impact indésirables des innovations en matière d’IA et les mesures qu’ils prennent pour les atténuer. Ainsi, en mars 2023, OpenAI publiait la «GPT-4 System Card» pour accompagner le lancement de son nouveau LLM. Le document d’une soixantaine de pages décrit à la fois les dangers et limites du modèle, et le processus de sécurisation s’appuyant sur des experts externes mis en place par OpenAI pour atténuer les risques avant son déploiement.
Pour Helen Toner et ses co-auteurs, cette carte-système est l’exemple même d’un signal coûteux: «En publiant une évaluation aussi complète et franche des lacunes de son modèle, OpenAI s'est dans une certaine mesure lié les mains, créant ainsi l'attente que l'entreprise produise et publie à l'avenir des évaluations de risques similaires pour les nouvelles versions majeures. OpenAI a également payé un prix en termes de manque à gagner pour la période au cours de laquelle l'entreprise aurait pu lancer GPT-4 et ne l’a pas fait».
Mais les chercheurs constatent que le document n’a pas été un succès en tant que signal au marché qu’OpenAI prend la sécurité au sérieux. Et ceci à cause de ChatGPT lancé quelques mois plus tôt cette fois sans signal d’accompagnement. «L'un des principaux effets de la publication de ChatGPT a été de susciter un sentiment d'urgence au sein des grandes entreprises technologiques. Pour éviter de se laisser distancer par OpenAI au milieu de la vague d'enthousiasme des clients pour les chatbots, ses concurrents ont cherché à accélérer ou à contourner les processus internes d'évaluation de la sécurité et de l'éthique, Google créant notamment une voie accélérée pour permettre aux produits d'être commercialisés plus rapidement. Ce résultat ressemble de manière frappante à la dynamique de course vers le bas qu'OpenAI et d'autres ont déclaré vouloir éviter».
Si OpenAI a été bien plus précautionneux avec GPT-4 qu’avec ChatGPT, c’est parce que ce dernier reposait sur le modèle GPT-3,5 qui était déjà employé par des clients de l’entreprise, avancent les chercheurs. Autrement dit, les responsables d’OpenAI ne se seraient pas rendus compte que, davantage que les capacités du modèle, c’est sa mise à disposition du public avec ChatGPT qui créerait la déferlante que l’on sait, et un précédent désinhibant ses concurrents.
Les auteurs de l’article constatent qu’Anthropic a opté pour un autre type de signal: l’attente. Selon un document stratégique publié sur son site, la firme a décidé délibérément de retarder le lancement de son chatbot Claude pour éviter d’attiser l’engouement pour la technologie, et ne l’a finalement lancé que quelques semaines après qu’un outil similaire (ChatGPT) était sur le marché. Ici aussi cependant, le signal n’a pas eu l’effet escompté, le document explicatif publié par Anthropic étant noyé dans la déferlante ChatGPT, analysent les chercheurs. «Prises ensemble, ces deux études de cas fournissent donc une preuve supplémentaire que la signalisation autour de l'IA peut être encore plus complexe que celle des époques précédentes», concluent-ils.
Désaccord sur les modalités de lancement
Tout cela donne à penser qu’un profond désaccord régnait dans les équipes d’OpenAI et entre le conseil et Sam Altman, sur la manière la plus responsable de lancer la prochaine technologie de la firme. Sam Altman a-t-il peu goûté qu’on vienne lui dire comment procéder (et donc que l’on critique en creux sa vision de la responsabilité)? S’est-il d’autant plus offusqué qu’on loue et propose d’adopter l’approche plus responsable du concurrent Anthropic, et ce alors que cette société a été créée par d’anciens collaborateurs d’OpenAI ayant quitté la firme en raison du virage commercial emprunté par la société en 2019? L’hypothèse est pour le moins vraisemblable.