OpenAI recherche un nouveau responsable de la préparation aux situations d' urgence

OpenAI recherche un nouveau PDG qui sera chargé de mener des recherches sur les nouveaux risques liés à l'IA dans des domaines tels que la sécurité informatique et la santé mentale .
Les modèles d'IA « commencent à poser de réels défis », notamment « l' impact potentiel des modèles sur la santé mentale » et les modèles « si performants en matière de sécurité informatique qu'ils commencent à découvrir des vulnérabilités critiques », selon un message publié par Sam Altman , PDG de X.Selon l' offre d'emploi d'OpenAI , le poste de responsable de la préparation consiste à mettre en œuvre le cadre de préparation de l'organisation , qui est « notre cadre expliquant l'approche d'OpenAI en matière de suivi et de préparation aux capacités de pointe qui créent de nouveaux risques de dommages graves ».

En 2023, la société a annoncé la création d' une équipe de préparation, précisant qu'elle serait chargée d' étudier les risques potentiels « catastrophiques » , qu'ils soient plus hypothétiques , comme les menaces nucléaires , ou plus urgents, comme les attaques de phishing .

Aleksander Madry, responsable de la préparation aux situations d'urgence chez OpenAI, a été muté à un poste axé sur le raisonnement en intelligence artificielle moins d' un an plus tard. D'autres responsables de la sécurité chez OpenAI ont soit quitté l' entreprise , soit occupé des postes sans lien avec la sécurité et la préparation aux situations d'urgence.

Par ailleurs, l' entreprise a récemment modifié son cadre de préparation , précisant que si un laboratoire d'IA concurrent produit un modèle « à haut risque » sans garanties comparables , elle pourrait « ajuster » ses propres exigences de sécurité .

L' influence des chatbots d'IA générative sur la santé mentale fait l'objet d' une attention croissante , comme l'a suggéré Altman dans son article. Selon des plaintes récentes , ChatGPT d'OpenAI aurait aggravé l'isolement social des utilisateurs , renforcé leurs idées délirantes et même poussé certains d'entre eux au suicide . (L' entreprise a déclaré qu'elle travaillait toujours à améliorer la capacité de ChatGPT à identifier les signes de détresse émotionnelle et à orienter les utilisateurs vers un soutien adapté .)