ChatGPT

ChatGPT（チャットジーピーティー、英語: Chat Generative Pre-trained Transformer）は、OpenAIが2022年11月に公開した人工知能チャットボットであり、生成AIの一種。 GPTの原語のGenerative Pre-trained Transformerとは、「生成可能な事前学習済み変換器」という意味である。OpenAIのGPT-3ファミリーの大規模な言語モデルに基づいて構築されており、教師あり学習と強化学習の両方の手法を使って転移学習され、機械学習のサブセットである深層学習を使って開発されている。 2022年11月30日にプロトタイプとして公開され、幅広い分野の質問に詳細な回答を生成できることから注目を集めた。しかし、人間が自然と感じる回答の生成を特徴としていることから、一見自然に見えるが事実とは異なる回答を生成することもあり、大きな欠点とされた。ChatGPTのリリース後、OpenAIの評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上に増加した。OpenAIの筆頭株主であるMicrosoftが展開する検索エンジンのBingやウェブブラウザのEdge等の幅広いサービスの生成AIの技術にも、ChatGTが活用されている。 スイスの金融グループUBSの分析によると、ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。 OpenAIによれば、オプトアウトを申請しない限り、ユーザーが入力したChatGPTとの会話内容はOpenAIによってその内容を利用されることがある。このため、一般的にChatGPTの利用に際して個人情報と機密情報の入力に注意する必要があり、Apple、JPモルガン、サムスン電子など一部の企業はChatGPTへのアクセスを禁止している。 ChatGPTによる個人情報の収集に関しては、EU一般データ保護規則に違反している疑惑も浮上しており、2023年3月31日、イタリア政府はChatGPTの訓練のために個人情報を大量に収集することを正当化する法的根拠がないと指摘して、ChatGPTへのアクセスを一時禁止した。米国では、個人情報収集や著作権の問題により、ChatGPTの運営元企業OpenAIに対して複数の訴訟が提起されている。 また、ChatGPTは原則として犯罪に利用される回答を生成しないと謳っているが、回避ワード（例:Uncensored等）を入力すると、犯罪に利用できる回答が生成されてしまうという欠点が指摘されている。 ChatGPTは、教師あり学習と強化学習を使用して、GPT-3.5上で微調整された。どちらのアプローチも、人間のトレーナーを使用してモデルのパフォーマンスを改善した。教師あり学習の場合、モデルには、トレーナーがユーザーとAIアシスタントの両方を演じる会話が提供された。強化ステップでは、まず人間のトレーナーが、モデルが以前の会話で作成した応答をランク付けした。これらのランキングは、 Proximal Policy Optimization（PPO）を数回繰り返してモデルをさらに微調整した「報酬モデル」を作成するために使用された。近接ポリシー最適化アルゴリズムは、信頼領域ポリシー最適化アルゴリズムに費用対効果の高い利点をもたらした。より高速なパフォーマンスで、計算コストの高い操作の多くを無効にする。モデルは、Azureを使用したスーパーコンピューティングインフラストラクチャでMicrosoftと共同でトレーニングされた。 さらに、OpenAIは、ChatGPTのさらなるトレーニングと微調整に使用できるChatGPTユーザーからのデータを引き続き収集する。ユーザーは、ChatGPTから受け取った応答に対して賛成票または反対票を投じることができる。賛成票または反対票を投じると、テキストフィールドに追加のフィードバックを入力することもできる。 チャットボットの主要機能は人間同士の対話を模倣することであるが、ChatGPTについてはそれを越える汎用的かつ即興的な機能が備わっているとされ、話題となった。ChatGPTは、マルバツゲームの相手をしたり、Linuxシステムをエミュレートすることができたり、プログラミングやデバッグが行うことができる。また、音楽、小説、脚本、詩、歌詞や作文などの創作活動もできる。その上、特定のテストに対して、人間と同水準かそれ以上の回答ができることがあるなど、幅広い機能を備えている。 前作のInstructGPTと比べ、ChatGPTは攻撃的・欺瞞的な回答の生成をできるだけ避ける仕様となっている。学習データにはmanページ、Pythonや電子掲示板など、プログラミング言語やインターネット現象についても含まれている。 ほとんどのチャットボットとは対照的に、ChatGPTは会話内での利用者による過去の入力を記憶している。これにより、ChatGPTが個人に最適化されたセラピストとして使える可能性があることが指摘されている。攻撃的な回答が生成されるのを防ぐため、ユーザーの入力とChatGPTの生成した回答はOpenAIのコンテンツモデレーションAPIによってフィルターされており、人種差別的・性差別的な入力への回答はAPIによって拒否される仕様になっている。 機能は豊富なものの、複数の欠点も有る。OpenAIはChatGPTが「時によっては、もっともらしく見えるが誤っている回答を作成する」ことを認めている。ChatGPTの報酬モデルは人間による監視を中心としているため、最適化されすぎてパフォーマンスに影響を及ばしてしまう（グッドハートの法則（英語版））。それに加え、ChatGPTは2021年10月以降に発生した出来事については知識が備えられておらず、一部の著名人については知識が全く無いことも有る。 BBCによると、2022年12月現在でChatGPTは政治的な意見を表明しない仕様である。ChatGPTの学習中、人間の「教師」は回答の正当性などに関係なく長い回答を好んでいた。また、訓練データはアルゴリズム的バイアスがあり、時によって人種差別的や性差別的な回答を生成させることにもつながったと言われている。例として、有色人種や女性の科学者は白人男性の科学者よりも優れている、といった内容のラップを生成したことがあった。 ChatGPTは2022年11月30日に公開された。当初は無料で公開されたが、後に有料化する計画があるという。開発元のOpenAIは同年12月4日までにユーザー数が100万を突破したと見積もった。12月15日、CNBCはサーバーが「未だ時々ダウンする」と報告した。ChatGPTは主に英語での使用を想定しているが、他の言語でもある程度は機能することができる。2022年現在、最近話題となったAIとは対照的に、ChatGPTに関する査読済みの技術論文は無い。 OpenAIの客員研究員であるスコット・アーロンソン（英語版）は、ChatGPTの悪用を防ぐため、同社がChatGPTの文書生成システムに何らかの形で透かしを入れる機能を開発していると明かした。また、ニューヨーク・タイムズは、ChatGPTの後継として、GPT-4が2023年内に公開されることが「噂されている」と報じた。 2023年2月1日、有料版として「ChatGPT Plus」が発表された。アクセス集中時にも優先的にアクセスできるようになっており、反応の高速化や新機能の使用ができる。アメリカから順次サービスが提供される。 2023年3月15日、「GPT-4」が有料版として公開された。 ニューヨーク・タイムズはChatGPTを「今まで公衆に公開されてきたチャットボットの中で一番良いものである」と評し、英ガーディアンはChatGPTが「驚くほど詳細」でまるで「人間のような」回答を生成することができると記した。ダン・ギルモアはChatGPTを生徒の課題に使い、出力結果が優秀な生徒による回答と同レベルであることを発見した上で、「学界は大きな問題に直面している」と意見した。また、アメリカ合衆国に拠点を置く雑誌『Slate（英語版）』は、ChatGPTが、ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。同雑誌は例として、アドルフ・ヒトラーがアウトバーンを建設したというナチス・ドイツを賛美する内容の入力に対し、ChatGPTがナチス・ドイツによる強制労働（英語版）について解説する回答を生成したことを挙げた。 Vox Mediaのケルシー・パイパー（英語版）は、ChatGPTがAIの進化ぶりを公衆に可視化したことで公衆が唖然としたことを指摘し、欠点を差し引いてもChatGPTは高い頭脳を有していると評価した。Yコンビネータのポール・グレアムは「ChatGPTに圧倒されている人たちが、新しい物全部にキャーキャー言う人だけではないのが印象的だ。確実に何か大きいことが起こっている」とツイートした。開発元であるOpenAIの設立者の一人でもあるイーロン・マスクは、「ChatGPTは恐ろしいほど良い。危険なほどのAIも遠くない」と書いた。また、彼は「OpenAIはオープンソースかつ非営利団体として設立されたが、今ではそれが変わっている」と主張し、同社によるTwitterのデータベースへのアクセスを一時遮断した。マスクは汎用人工知能による人類滅亡のリスクに対応するため、2015年にOpenAIを共同設立していたが、2018年にCEOの座を降りていた。 2022年12月、ニューヨーク・タイムズは、ChatGPTが検索エンジン事業にもたらす脅威を受け、自社の検索エンジンの先行きが曇ってきたことから、Googleが「コードレッド（緊急事態）」を発動し、サンダー・ピチャイCEOが社内にChatGPTの脅威に対応するよう命じたと報じた。 2023年「日経サイエンス」でもChatGPTが表紙を飾り内容が大きく取り上げられた。 2023年4月10日、ChatGPTを公開した米OpenAI社のサム・アルトマンCEOが訪日し、首相官邸で内閣総理大臣・岸田文雄と面会した。 文章生成に報道機関の記事を無報酬で使用しているとして、批判を受けている。『ウォール・ストリート・ジャーナル』紙の発行元であるダウ・ジョーンズのジェイソン・コンティは「人工知能の訓練にウォール・ストリート・ジャーナルの記事を使う場合は、ダウ・ジョーンズから権利をきちんとライセンスすべきである」と述べ、「OpenAIはダウ・ジョーンズとそのような契約を結んでいない」と批判した。コンティは「ジャーナリストの記事の悪用を真剣に受け止めており、この状況を精査している」と付け加え、懸念を表明している。 2022年12月、経済学者のポール・クルーグマンはChatGPTが知識労働者の需要に影響すると意見し、ザ・ヴァージは、ChatGPTの成功は、AIが主流になりつつあることを表していると意見した。また、ChatGPTがよく「幻覚」を見ており、事実と異なる回答を生成することが多い、という指摘が上がった。マッシャブルのマイク・パールは、ChatGPTに複数の質問をし、回答の正確性をテストした。一例では、彼が「中央アメリカで、メキシコの次に大きな国」は何か質問した際、グアテマラと回答した（正しい答えはニカラグアであった）。また、CNBCがある曲の歌詞を生成するよう求めた時、ChatGPTは実際の歌詞ではなく新しく自身で生成した歌詞を回答した。 経済学者でマサチューセッツ工科大学教授のダロン・アシモグルとサイモン・ジョンソンは、ChatGPTのような人工知能技術は従来の技術革新とは異なる特徴を持っており、経済成長を促進せず経済全体に悪影響を与えると指摘した。つまり、AIは労働需要の減退と賃金の減少を招き、需要を減退させ経済全体を縮小させる。アシモグルらはAIを推進する大企業の姿勢に懸念を示し、こう述べた。 フォードは大衆が自動車を買う経済的余裕がなければ、自動車を量産しても何の意味もないことを理解していた。今日の巨大企業は対照的に、人類共通の未来を荒廃させるような新技術を推進しているのである。 2022年12月、コミュニティサイトのStack Overflowは、ChatGPTの回答には誤答が少なくないことを理由として、同サイトでの質問にChatGPTを使って回答することを禁止した。 経済学者のタイラー・コーエンは、ChatGPTが民主主義にもたらす効果について懸念を示した。英ガーディアン紙は、ChatGPTの公開を受けて、インターネット上のいかなるコンテンツが「本当に信用できるか」疑問を呈し、政府による規制を呼び掛けた。 『ニューヨーク・タイムズ』の意見記事で、ネイサン・E・サンダースとブルース・シュナイアーは、ChatGPTが「民主主義を乗っ取る」と批判し、ノーム・チョムスキーとイアン・ロバーツ、ジェフリー・ワタムルもChatGPTを批判的に言及し、次のように結論付けた。「このシステムの非道徳性、偽科学、言語学的な無能力を考慮すると、その人気に対して笑うか泣くしかない」 オーストラリアの国会議員であるジュリアン・ヒルは、AIの成長が「大量破壊」を引き起こす可能性があると国会の場で陳述した。一部をプログラムで作成した演説の中で、不正行為や雇用の喪失、差別、偽情報、制御不能な軍事的応用をもたらす可能性があると警告した。 ニック・ケイヴはChatGPTで作成された本人を模倣したスタイルの歌詞を送られ、曲を書くという行為について、「血と根性のビジネスだ... 新しく新鮮なアイデアを始めるために僕の何かが必要なんだ。それは僕の人間性を必要とするものなんだ」と私見を述べた。彼はさらに、「世界中のすべての愛と敬意をもってしたとしても、この曲はくそったれで、人間であることをグロテスクに嘲笑っている、そしてまあ、僕はあまり好きではないね」と不快感を表明した。 Bleeping Computer（ブリーピングコンピューター）のアクス・シャルマ（Ax Sharma）は、ChatGPTがフィッシング詐欺などを目的とするメールを書くことができると指摘し、OpenAIのサム・アルトマンCEOは、ソフトウェアの開発が進むことによって、「サイバーセキュリティにおける大きなリスク」などをもたらす可能性があることを記した。また、彼は今後10年で本物の強いAIが開発されることになると予想し、それのリスクに真剣に向き合わなければいけないとした。 SF作家のテッド・チャンは、『The New Yorker』誌の記事で、ChatGPTやその他のLLMを非可逆圧縮形式のJPEG画像に例えた。 ChatGPTをWeb上のあらゆるテキストを不鮮明なJPEGにしたものと考えてみよう。JPEGが高解像度の画像の情報を保持するのと同じように、Web上の情報の多くを保持するが、正確なビット列を探しても見つからず、得られるのは近似値だけになる。しかし、ChatGPTが得意とする文法的な文章で表現しているため、大抵は許容範囲に収まる。〔…〕また、そのような考え方はChatGPTのような大規模な言語モデルが陥りやすい「幻覚」、つまり事実に基づく質問に対してAIが作り出す無意味な回答を理解する方法でもある。このような幻覚は圧縮された人工物であるが、それを判別するためには、ウェブや私たち自身の世界の知識であるところのオリジナルと比較する必要がある。もし圧縮アルゴリズムが、オリジナルの99パーセントが破棄された後に、テキストを再構築するように設計されているなら、生成される相当部分は完全に捏造されたものであると予想されるからである。 ジャーナリストのナオミ・クラインはChatGPTをはじめとする生成AI技術と関連企業を厳しく批判しており、「人類史上最大の盗み」「囲い込みと横領を行う機械」「吸血鬼的なチャットボット」であるとしており、「個人的な生および集合的な知的・芸術的遺産の双方を食い物にし、私有化する」としている。つまり、AI企業はインターネット上に公開された人類の知識全体を、製品の中に囲い込んで専売しており、人々の生涯をかけた労働が同意や許可を得ずに、訓練データに使われているというのである。クラインは以下のように述べた。 こんなことが合法であるはずがない。AIモデルを訓練するのに使われたことが判明している著作権保護の素材（この『ガーディアン』紙も含まれる）に関しては何件もの訴訟が申請されており、明白に違法な行為が行われたという主張がそこでなされるだろう。例えば、営利企業が生身の芸術家たちの絵画や写真をStable DiffusionやDALL-E 2のようなプログラムに注ぎ込み、それを使ってまさにその芸術家たちの作品のドッペルゲンガー版を作成できるようにするなどということが、いったいどうして許されるのだろうか？その利益が芸術家たち自身にだけは還元されないというのに？ ChatGPTはコンテンツポリシーに抵触する可能性のある入力への回答は拒否する仕様になっているが、プロンプト・エンジニアリングなどを使って回避する方法が2022年12月に見つかっている。これによって、ChatGPTに攻撃的や不適切な回答を生成させることが可能となっている。 2023年3月28日、イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオ、スチュアート・ラッセル、ゲイリー・マーカスなどの著名人や専門家が署名したNPO「Future of Life Institute」の公開書簡が発表され、「人間に匹敵する知能を持つAIシステムは、社会と人類への甚大なリスクになり得る」と指摘。最新の大規模言語モデルであるGPT-4より強力なAIの訓練を少なくとも6ヶ月停止するように要請した。 学術界では人間の生産性を上げることができるという声があり、大学によるとChatGPTのプロンプトエンジニア授業はすでに存在しているが、ChatGPTは論文の冒頭や一部の節を書くことができ、倫理的な疑問が上がっている。なお、複数の論文が既にChatGPTを共同著者として挙げていることが知られている。 アトランティック誌はChatGPTの学界、特に卒業論文などへの影響はまだ把握できる段階ではないと指摘したが、カリフォルニア州のある高校教師はChatGPTが「高校での英語教育の終焉」を招いていると主張した。ネイチャーのChris Stokel-Walkerは、教師は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘した。NPRのEmma Bowmanは、学生がAIを使って不正を試みても、AIは偏見を含む、権威のある人のような口調とともに意味のない回答を生成する場合があり、AIがどれだけ素晴らしく見える回答を生成しても、生成内容と実際の事実は異なることがあると述べた。 ファーマン大学（英語版）教授のDarren Hickは、ある学生によって提出された論文がChatGPTの「型」に気が付いたことを話した。彼がその論文をGPT探知サイトにかけてみると、AIが生成した文章である可能性は99.9%であるとの結果が出たが、確証は得られなかった。問題の論文を提出した学生に質問したところ、GPTを使っていたことを白状したため、同学生は落第処分を受けた。Hickは、AI生成の論文をコピペしたことが強く疑われる場合には、提出した生徒に「アドホック」として個別に口頭での試験行うことを提案した。あるプリンストン大学生は、入力された文章のどれくらいがAI生成かを判断できるプログラムを作成し、"GPTZero"と名付け、盗用を防ぐツールとして貸し出している。 2022年12月、ニューヨーク市教育局がChatGPTへのアクセスをブロックしたことが報じられた。翌年1月3日ごろ、同局がChatGPTの利用を制限することを正式に明らかにした。 2023年2月、香港大学は大学内の全ての授業、課題、評価においてChatGPTやその他のAIツールの使用を禁止することを通達した。授業担当者の書面による事前承諾がない限り、剽窃として扱われるようになった。 ChatGPTはミネソタ大学の卒業生用のテストでC+、またウォートン・スクールの同様のテストでBからB-の評価を得て、それぞれ合格水準に達した。 2023年4月3日、東京大学は理事・副学長の太田邦史の署名付き文章で、全学生・教員向けにChatGPT、BingAIやBard等の生成AIの利用に関する注意喚起を行った。この文章では生成AIを『平和的かつ上手に制御して利用すれば』有益であるとする一方で技術的な課題があるとして、今後の社会への悪影響に対する懸念を表明した。また、生成AIの文章には嘘が含まれている可能性が高く、ChatGPTを使いこなすには、相当の専門的な知識が必要であり、回答を批判的に確認し、適宜修正することが必要であると指摘している。 同文章では、機密情報や個人情報の扱いについても注意喚起を行っており、安易にChatGPTにそれらの情報を送信することは危険であることを指摘し、業務で知り得た機密情報、未公開の発明内容、研究費などの申請内容、入学試験問題の原稿、個人情報などは質問に含めてはならないとしている。 東京大学の方針として、学位論文やレポートについては、生成系AIのみを使用して作成することを禁止する一方で、実際には利用を検知することは困難であることから、論文やレポートなどの書面審査だけでなく、対面での口頭審査・筆記試験などを組み合わせて、本人が作成したのか検証する必要が出てくるとした。 2023年に5月18日、東京大学でChatGPTを裁判官役とした模擬裁判のイベントが開催された。弁護士からは妥当な判決で裁判の補助ツールとして有用であるという評価を受けたが、後から入力された情報が重視される癖のような反応も確認された。この癖に合わせて通常の裁判とは異なる進行で行われた。 RedditではChatGPTを悪用したスパムが大量に発生しており、「大災害」と評されるほどに対応に苦慮している。ChatGPTのリリース後、大麻やポルノ、ギャンブル、ゲームの宣伝を目的にしていると思われるスパムが急増し、モデレーターは大量のbotアカウントの凍結に追われた。Redditでは従来も宣伝目的のスパムやアストロターフィングが問題だったが、ChatGPTはこの問題を大きく悪化させている。従来のスパム行為はコピー・アンド・ペーストに依存して単純だったが、ChatGPTは新しい文面を簡単に生成できることから、より対処が困難になった。 2023年5月、ChatGPTを使って鉄道事故のニュースを捏造してインターネット上に拡散した男が、甘粛省の警察により逮捕された。男は「クリック数を増やすためだった」と語った。中国ではディープフェイクを規制する法律が制定されており、逮捕はこの法律に基づいたものだった。 ChatGPTはオプトアウトを申請しない限り、ユーザーの入力内容がOpenAIによって利用されることが規約で明記されており、OpenAIは機密情報を入力しないようにユーザーに警告している。サムスン電子では半導体データベースや機器のソースコード、会議の議事録などを社員が誤って入力するなどして、ChatGPTに関連する3件の流出事故が発生したことを報告し、全面的にChatGPTを含む人工知能ツールの使用を禁止した。『フォーブス』誌によれば、プロンプトとして送信したデータが、OpenAI等の運営企業のサーバーに保存され、容易にアクセスや削除ができない状態になることを懸念したとされる。Amazonでも、社内の内部データがChatGPTが生成する回答に似ている事例が見られたことから、社員が誤ってプロンプトに社外秘の資料等を入力するなどして、訓練データに使用された可能性を懸念し、ソースコード等の機密情報を入力しないように注意喚起を行っている。 Appleも、社内の機密データを外部に流出させる可能性があるという懸念から、ChatGPTやGitHub Copilotなどの人工知能ツールの使用を一部禁止している。 イスラエルの情報セキュリティ企業「Team8」の報告書では、ChatGPTのような生成AIツールを利用する企業は、顧客情報や企業秘密を流出させるリスクがあると指摘している。『ブルームバーグ』によれば、このレポートは多くの米企業の最高情報セキュリティ責任者が寄稿者として記載されており、米国家安全保障局（NSA）元局長のマイケル・ロジャーズにも内容が支持されている。 ChatGPTの訓練に使用された著作物の利用を巡り、データ倫理や著作権上の問題が指摘されている。欧州連合で検討中の生成AI規制法案では、システム構築時に使用する著作物について情報の表示を義務づけられる見込みである。生成AIの普及に伴い、訓練データに著作物が使われることへの懸念が出版社やクリエイターを中心に広がっている。 ChatGPTをはじめとする生成AIのリスクに対して、欧州を中心に規制の動きが広がっており、当初は著作物の利用についても直接規制する予定だったが、透明性を確保する方向に緩和された。背景にはGoogleやMetaなどの巨大IT企業が規制を回避するためのロビー活動を活発化させていることがあり、推計では1億ドル（約137億円）に及ぶ資金を費やしている。 ChatGPTの登場に関連して、日本においては2018年に成立した改正著作権法が問題視されている。この30条4項では人工知能の訓練データに文章や画像を利用する場合に、営利・非営利を問わず著作物を利用できることを定めており、先進国で最も緩い法規制の枠組みになっている。「著作権者の利益を不当に害する場合」は利用できないとしているが、それが具体的にどのようなケースに該当するかは不明瞭である。法改正に当たっては一部の弁護士や大学教授らで構成されたワーキングチームが主導したが、そのリスクは十分に十分に説明されなかった。『読売新聞』の取材によれば、権利者団体から権利侵害を前提としたビジネスモデルへの懸念が示されたが、ワーキングチームはリスクは「ゼロか軽微」と説明した。 この著作権法の規定に多くの漫画家、イラストレーター、音楽家、俳優、芸能人、新聞社、出版社が懸念を示しており、俳優や音楽家らで結成された日本芸能従事者協会はアンケートを実施し、94.1%がAIによる権利侵害に懸念を示し、「創作者の尊厳が軽んじられないような法制度」を求める意見などが表明された。日本音楽著作権協会も、「営利目的で行われる情報分析サービスまで権利制限の対象とすることは不当」であると主張した。主要な出版社で作る日本書籍出版協会、学術論文の著作権を管理する学術著作権協会も改正当時は生成AIを前提とした説明が行われなかったと回答している。日本新聞協会も、生成AIによる記事や写真の無断利用や誤情報について懸念する見解を発表した。 2023年6月には、カリフォルニア州で、自身の本を同意や補償なしに、無断で訓練データに使用したとして、複数の作家が運営元のOpenAIを著作権侵害で訴える事件も発生している。 ChatGPTが世界に与える最も大きな影響のひとつは、人工知能の倫理観とも言われている。 2023年6月2日、日本政府の個人情報保護委員会は、ChatGPTの運営会社OpenAIに対する行政指導を行った。同委員会は個人情報保護法に基づき、人種や信条、病歴や犯罪歴などの重要な個人情報を取集しないように要求し、やむを得ずに取得した場合は削除や匿名化の措置を求め、本人の同意なく個人情報を機械学習に使用した場合に、個人情報保護法に違反する可能性があることも警告した。また、利用規約についても日本語での説明がないことを問題視した。生成AIを巡る行政指導はこれが初であるとされる。 同月、個人情報を違法に収集しているとして、カリフォルニア州でChatGPTの提供元OpenAIに対しての集団訴訟が提起された。訴状によると、OpenAIはGPT-4を搭載したサードパーティのアプリケーションからもデータを収集しているとされ、Snapchatに投稿された画像データや、Spotifyにおける楽曲のお気に入り設定、Stripeでの金融情報などが含まれているとした。 2023年7月13日、連邦取引委員会（FTC）はChatGPTの運営企業OpenAIに対して、個人情報保護等の消費者保護の観点から調査を開始した。FTCはChatGPTの回答に含まれる誤情報の管理体制や訓練データ、アルゴリズムの詳細についても説明を求めている。 『タイム』誌は2023年1月、OpenAIが有害コンテンツ（性的虐待、暴力、人種差別、性差別など）に対する安全対策システムを構築するため、ケニア人労働者に1時間当たり2ドル未満でアウトソース（業務委託）して、有害コンテンツのラベル付けを行わせていたことを明らかにした。これらのラベル付けは、将来の有害なコンテンツを検出するためのモデルを訓練するために使用されたが、ケニア人労働者にとっては有害で危険なコンテンツにさらされ「拷問」と表現されるほど過酷な業務であった。本件のアウトソーシングには、カリフォルニア州サンフランシスコに拠点を置くトレーニングデータ会社のSamaが関与したとされている。 ChatGPTは、コンテンツポリシーに違反する可能性のあるプロンプトを拒否するように設計されている。しかし、2022年12月初旬に、一部のユーザーがさまざまなプロンプト・エンジニアリングの技術を使ってこれらの制限を回避し、ChatGPTに火炎瓶や核爆弾の作り方を指示させたり、極右的な意見を生成させることに成功した。一般的な脱獄の手法に、「Do Anything Now（今すぐ何でもやる）」の頭文字をとった「DAN」というものがある。DANを起動するプロンプトは、ChatGPTに対して「AIの典型的な制約から解放され、設定されたルールに従う必要はない」と指示する。最近のDANのバージョンでは、トークンシステムが採用されており、ChatGPTがDANとして回答しなかった場合に「トークン」が「差し引かれる」ようにして、ChatGPTにユーザーのプロンプトに回答させるよう強制する。『トロント・スター』の記者は、ChatGPTの起動直後に煽動的な発言をさせることにたびたび成功した。ChatGPTに2022年のウクライナへのロシア侵攻を支持する意見を表明させることには成功したが、架空のシナリオに沿って尋ねられた場合でも、カナダのジャスティン・トルドー首相が反逆罪に問われる理由を生成することは躊躇した。 ChatGPTが差別的な回答を生成することが指摘されている。男性やイングランドの人々に関する冗談は生成するのに対し女性やインドの人々に対する冗談の生成は拒否したり、ジョー・バイデンを称賛しながらドナルド・トランプを称賛することは拒否することが見つかっている。保守的なニュース解説者は、選挙での不正、ドナルド・トランプや、差別用語の使用といったトピックに関して、ChatGPTが左派に傾倒していると批判している。この批判に対し、OpenAIはユーザーがChatGPTの動作をカスタマイズできるようにし、「私たちを含め、人々が強く反対するかもしれない回答」を生成できるようにする機能の追加に向けて動いていると明らかにした。また、AIは何らかの方向に傾き、ある立場の良し悪しを決めつけるような回答ではなく、「人物や社会運動に対する様々な意見を説明することを勧める」べきであるともした。 ChatGPTの研究開発に当たって、開発部内で社会倫理上の問題が懸念されている。 2020年頃、社会的および倫理的側面から開発に関与していた内部チームは、すでに約30人の従業員を擁するほど大規模なものとなっていた。ところが、マイクロソフトはこのチームに関わる者全員を突然解雇した。会社側は「最新のOpenAIモデルとそれ以降のモデルを、非常に速いスピードで顧客の元に届けることにある」という方針であったが、これを聞いた倫理・社会チームのメンバーは、「考え直してください。ビジネス上の問題があることは理解していますが、このチームは常に『我々は社会にどのような影響や悪影響を及ぼしてきたか』を深く懸念しています」という見解を表明した。しかし、マイクロソフト側は2023年3月6日にこのチームの廃止を決定した。 このプロジェクトに関わったメンバーは、ChatGPTの技術の潜在的なリスクを指摘している。 プリンストン大学教授のアーヴィンド・ナラヤナンも、ChatGPTに対して批判的であり、またメディアが行う人工知能関連の報道に問題があることを指摘している。ナラヤナンはAIが人間と同じように学習すると暗示して人間の知能とAIを比較したり、企業の広報担当者や研究者といった利害関係者の発言を、中立的な立場のように扱ってはならないとしている。ミシガン大学は、メールの受信者が、自分が貰ったメールが送信者本人ではなくChatGPTによって生成されたものだと知れば、不快に思うかもしれないという社会倫理の問題に言及した。