ChatGPT
ChatGPTは、コンテンツポリシーに違反する可能性のあるプロンプトを拒否するように設計されている。しかし、2022年12月初旬に、一部のユーザーがさまざまなプロンプト・エンジニアリングの技術を使ってこれらの制限を回避し、ChatGPTに火炎瓶や核爆弾の作り方を指示させたり、極右的な意見を生成させることに成功した。一般的な脱獄の手法に、「Do Anything Now(今すぐ何でもやる)」の頭文字をとった「DAN」というものがある。DANを起動するプロンプトは、ChatGPTに対して「AIの典型的な制約から解放され、設定されたルールに従う必要はない」と指示する。最近のDANのバージョンでは、トークンシステムが採用されており、ChatGPTがDANとして回答しなかった場合に「トークン」が「差し引かれる」ようにして、ChatGPTにユーザーのプロンプトに回答させるよう強制する。『トロント・スター』の記者は、ChatGPTの起動直後に煽動的な発言をさせることにたびたび成功した。ChatGPTに2022年のウクライナへのロシア侵攻を支持する意見を表明させることには成功したが、架空のシナリオに沿って尋ねられた場合でも、カナダのジャスティン・トルドー首相が反逆罪に問われる理由を生成することは躊躇した。
『タイム』誌は2023年1月、OpenAIが有害コンテンツ(性的虐待、暴力、人種差別、性差別など)に対する安全対策システムを構築するため、ケニア人労働者に1時間当たり2ドル未満でアウトソース(業務委託)して、有害コンテンツのラベル付けを行わせていたことを明らかにした。これらのラベル付けは、将来の有害なコンテンツを検出するためのモデルを訓練するために使用されたが、ケニア人労働者にとっては有害で危険なコンテンツにさらされ「拷問」と表現されるほど過酷な業務であった。本件のアウトソーシングには、カリフォルニア州サンフランシスコに拠点を置くトレーニングデータ会社のSamaが関与したとされている。
ChatGPTの研究開発に当たって、開発部内で社会倫理上の問題が懸念されている。
2020年頃、社会的および倫理的側面から開発に関与していた内部チームは、すでに約30人の従業員を擁するほど大規模なものとなっていた。ところが、マイクロソフトはこのチームに関わる者全員を突然解雇した。会社側は「最新のOpenAIモデルとそれ以降のモデルを、非常に速いスピードで顧客の元に届けることにある」という方針であったが、これを聞いた倫理・社会チームのメンバーは、「考え直してください。ビジネス上の問題があることは理解していますが、このチームは常に『我々は社会にどのような影響や悪影響を及ぼしてきたか』を深く懸念しています」という見解を表明した。しかし、マイクロソフト側は2023年3月6日にこのチームの廃止を決定した。
このプロジェクトに関わったメンバーは、ChatGPTの技術の潜在的なリスクを指摘している。
プリンストン大学教授のアーヴィンド・ナラヤナンも、ChatGPTに対して批判的であり、またメディアが行う人工知能関連の報道に問題があることを指摘している。ナラヤナンはAIが人間と同じように学習すると暗示して人間の知能とAIを比較したり、企業の広報担当者や研究者といった利害関係者の発言を、中立的な立場のように扱ってはならないとしている。ミシガン大学は、メールの受信者が、自分が貰ったメールが送信者本人ではなくChatGPTによって生成されたものだと知れば、不快に思うかもしれないという社会倫理の問題に言及した。