ChatGPT（チャットジーピーティー）は、OpenAIが2022年11月に公開した人工知能であり、生成AIの一種である。「GPT」は「Generative Pre-trained Transformer」（生成的事前学習Transformerアーキテクチャー）の略。

 概要 
ChatGPTの公開当初は大規模言語モデルとしてGPT-3.5が一般公開されていたが、現在はGPT-4o, GPT-4o mini、GPT-o4 miniを無料で使用することができる。その他のモデルは有料版で利用できる。教師あり学習と強化学習の両方の手法を使って転移学習され、機械学習のサブセットである深層学習を使って開発されている。

2022年11月30日、ChatGPTはプロトタイプとして公開され、幅広い分野の質問に詳細な回答を生成できることから、公開後5日間で利用者数が100万人、2ヶ月で1億人を突破するなど注目を集めた。しかし、ハルシネーション（幻覚）と呼ばれる一見自然に見えるが事実とは異なる回答を生成する現象や、脱獄により違法行為に利用できる回答を生成するなどの欠点も存在する。ChatGPTの公開後、2023年初頭にはOpenAIの評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上に増加した。更に2024年10月には評価額は1570億米ドルを突破した。OpenAIの筆頭株主であるMicrosoftが展開する検索エンジンのBingやウェブブラウザのEdge等の幅広いサービスの生成AIの技術にも、ChatGPTが活用されている。

2024年6月10日、Appleは独自の生成AIプラットフォームとしてApple Intelligenceを発表し、OpenAIは、AppleにChatGPTを提供する契約を結んだことを発表した。Apple IntelligenceはApple独自の生成AIプラットフォームだが、macOS Sequoia, iPadOS 18, iOS 18上のSiriや記述ツールからChatGPTを任意に呼び出して利用できるようになる。Apple Intelligenceのサービスは、2024年10月から端末言語がアメリカ英語の場合のみベータ版として提供が開始された。

スイスの金融グループUBSの分析によると、ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。

OpenAIによれば、ユーザーが入力した情報はOpenAIによってその内容を利用されることがある。このため、一般的にChatGPTの利用に際して個人情報と機密情報の入力に注意する必要があり、JPモルガン、サムスン電子など一部の企業はChatGPTへのアクセスを禁止している。

ChatGPTによる個人情報の収集に関しては、EU一般データ保護規則に違反している疑惑も浮上しており、2023年3月31日、イタリア政府はChatGPTの訓練のために個人情報を大量に収集することを正当化する法的根拠がないと指摘して、ChatGPTへのアクセスを一時禁止した。米国では、個人情報収集や著作権の問題により、ChatGPTの運営元企業OpenAIに対して複数の訴訟が提起されている。

 学習 
ChatGPTは、教師あり学習と強化学習を使用して、GPT-3.5上で微調整された。どちらのアプローチも、人間のトレーナーを使用してモデルのパフォーマンスを改善した。教師あり学習の場合、モデルには、トレーナーがユーザーとAIアシスタントの両方を演じる会話が提供された。強化ステップでは、まず人間のトレーナーが、モデルが以前の会話で作成した応答をランク付けした。これらのランキングは、 Proximal Policy Optimization（PPO）を数回繰り返してモデルをさらに微調整した「報酬モデル」を作成するために使用された。近接ポリシー最適化アルゴリズムは、信頼領域ポリシー最適化アルゴリズムに費用対効果の高い利点をもたらした。より高速なパフォーマンスで、計算コストの高い操作の多くを無効にする。モデルは、Azureを使用したスーパーコンピューティングインフラストラクチャでMicrosoftと共同でトレーニングされた。

さらに、OpenAIは、ChatGPTのさらなるトレーニングと微調整に使用できるChatGPTユーザーからのデータを引き続き収集する。ユーザーは、ChatGPTから受け取った応答に対して賛成票または反対票を投じることができる。賛成票または反対票を投じると、テキストフィールドに追加のフィードバックを入力することもできる。

 機能 
チャットボットの主要機能は、人間同士の対話を模倣することであるが、ChatGPTについてはそれを越える汎用的かつ即興的な機能が備わっているとされ、話題となった。ChatGPTは、マルバツゲームの相手をしたり、Linuxシステムをエミュレートすることができたり、プログラミングやデバッグが行うことができる。また、音楽、小説、脚本、詩、歌詞や作文などの創作活動もできる。その上、特定のテストに対して、人間と同水準かそれ以上の回答ができることがあるなど、幅広い機能を備えている。

前作のInstructGPTと比べ、ChatGPTは攻撃的・欺瞞的な回答の生成をできるだけ避ける仕様となっている。学習データにはmanページ、Pythonや電子掲示板など、プログラミング言語やインターネット現象についても含まれている。

ほとんどのチャットボットとは対照的に、ChatGPTは会話内での利用者による過去の入力を記憶している。これにより、ChatGPTが個人に最適化されたセラピストとして使える可能性があることが指摘されている。攻撃的な回答が生成されるのを防ぐため、ユーザーの入力とChatGPTの生成した回答はOpenAIのコンテンツモデレーションAPIによってフィルターされており、人種差別的・性差別的な入力への回答はAPIによって拒否される仕様になっている。

機能は豊富なものの、複数の欠点も有る。OpenAIはChatGPTが「時によっては、もっともらしく見えるが誤っている回答を作成する」ことを認めている。ChatGPTの報酬モデルは人間による監視を中心としているため、最適化されすぎてパフォーマンスに影響を及ばしてしまう（グッドハートの法則）。それに加え、ChatGPTは2021年10月以降に発生した出来事については知識が備えられておらず、一部の著名人については知識が全く無いことも有る。 

BBCによると、2022年12月現在でChatGPTは政治的な意見を表明しない仕様である。ChatGPTの学習中、人間の「教師」は回答の正当性などに関係なく長い回答を好んでいた。また、訓練データはアルゴリズム的バイアスがあり、時によって人種差別的や性差別的な回答を生成させることにもつながったと言われている。例として、有色人種や女性の科学者は白人男性の科学者よりも優れている、といった内容のラップを生成したことがあった。ChatGPT-4が日本の医師国家試験を合格することができたとの研究報告がある。

2025年にLifePrompt社が実施した、ChatGPT o1を使った大学入学共通テストの得点率が東大文一のボーダーを超える91%に達した。また、同年には理科三類合格レベルにも達した。

 サービス 
ChatGPTは2022年11月30日に公開された。当初は無料で公開されたが、後に有料化する計画があるという。開発元のOpenAIは同年12月4日までにユーザー数が100万を突破したと見積もった。12月15日、CNBCはサーバーが「未だ時々ダウンする」と報告した。ChatGPTは主に英語での使用を想定しているが、他の言語でもある程度は機能することができる。2022年現在、最近話題となったAIとは対照的に、ChatGPTに関する査読済みの技術論文は無い。

OpenAIの客員研究員であるスコット・アーロンソンは、ChatGPTの悪用を防ぐため、同社がChatGPTの文書生成システムに何らかの形で透かしを入れる機能を開発していると明かした。また、ニューヨーク・タイムズは、ChatGPTの後継として、GPT-4が2023年内に公開されることが「噂されている」と報じた。

2023年2月1日、有料版として「ChatGPT Plus」が発表された。アクセス集中時にも優先的にアクセスできるようになっており、反応の高速化や新機能の使用ができる。アメリカから順次サービスが提供される。

2023年11月6日、OpenAI DevDayが行われた。その中で、ノーコードでカスタマイズ可能なChatGPTを作成できる「GPTs」を発表した。またGPTsを公開できる「GPT Store」を予定より少し遅れた2024年1月10日より、有償版ユーザー向けにリリースされた。

2024年12月5日、ChatGPT Plusの上位クラスに当たる「ChatGPT Pro」が発表された。OpenAI o1やo1-mini、GPT-4o、Advanced Voiceに無制限にアクセスすることができる。

なお、注釈の無い日時は全て米国時間で表記する。

 GPTモデル 
+年日付モデル名備考2022年11月30日GPT-3.5一般に無料公開2023年3月15日GPT-4有料として公開7月10日Code Interpreter（コードインタープリタ）有償版ユーザー向けにベータ版提供を開始9月20日DALL-E 3（ダリ―スリー）統合することを発表
画像の出力が可能になる9月25日GPT-4V（ビジョン：Vision）発表10月16日DALL-E 3ベータ版を公開10月26日GPT-4V2024年2月15日Sora（ソラ）発表
動画の生成を行える5月13日GPT-4o（オムニ : omni）発表、リリース
音声認識、画像（動画）認識の速度が向上7月18日GPT-4o mini（ジーピーティー フォー オムニ ミニ）発表、リリース9月12日OpenAI o1（オー ワン）発表
論理的思考能力を強化OpenAI o1-preview（オーワン プレビュー）公開OpenAI o1-mini（オーワン ミニ）公開10月3日canvas（キャンバス）発表、ベータ版をリリース
新しいインターフェース12月5日o1フルバージョンを公開12月9日Sora公開
ChatGPTからはアクセスできず、専用ページから利用可能12月20日OpenAI o3発表2025年1月31日o3-mini公開
数学やプログラミングなど技術分野に強い2月27日GPT-4.5公開
より共感的で自然な対話が可能4月14日GPT-4.1APIのみ公開
長文理解において大幅な進化

GPT-4oと同等以上の性能を持つ4月16日o3公開
複雑な問題解決に対応するために設計o4-mini5月15日GPT-4.1ChatGPTでも使用可能

 応用 

 学術研究 
ChatGPTが共著者として記載されている論文も存在するが、科学雑誌のネイチャー、サイエンスなどは、ChatGPTのような大規模言語モデル（LLM）を共著者として記載することを禁止している。ChatGPTはハルシネーションを起こす事があるため、学術界で教育やレビューに使用することへの問題点が数多く指摘されている。ティルブルフ大学の助教授であるロビン・バウエンスは、自身の論文に関するChatGPTによって生成された査読に実在しない研究が記載されていることを発見した。シアトル大学ルミュー図書館の司書クリス・グラナティーノは、ChatGPTは一見もっともらしい引用を含むコンテンツを生成できるが、ほとんどの場合、引用は本物ではないか、間違っていると主張している。

 プログラミング 
パデュー大学の研究者らは、Stack Overflowに投稿されたソフトウェアエンジニアリングやプログラミングに関する517の質問に対するChatGPTの回答の正確性、一貫性、包括性、簡潔性を分析したところ、52％に不正確な点があり、77％が冗長であることがわかった。スタンフォード大学とカリフォルニア大学バークレー校の研究者らは、LeetCodeの「簡単」と評価された問題50件に対して実行可能な回答を作成した割合を測定した。その結果、GPT-3.5とGPT-4のパフォーマンスは2023年3月にはそれぞれ22％と52％で、2023年6月には2％と10％に低下した。

カーネギーメロン大学のソフトウェアエンジニアリング研究所で、ChatGPTに既知の脆弱性に対する検証タスクを実行させたところ、結果はまちまちで、検出に成功することもあれば、致命的な脆弱性を見過ごすこともあり、存在しない脆弱性についての警告を出力することもあった。全体的なパフォーマンスとしては52.1%の割合で判定に失敗した。一般的なソフトウェア開発者の傾向として、コードのレビューとバグの特定に不慣れであることから、ChatGPTのデバッグ結果を鵜呑みにしたり、ChatGPTの生成した脆弱性を含む修正コードを無批判に利用することでセキュリティリスクを生じさせる可能性が指摘されている。

 サイバー犯罪 
チェック・ポイント・リサーチなどは、ChatGPTによりフィッシングメールやマルウェアを作成できることを指摘しており、特にOpenAI Codexと組み合わせて利用すると容易になることが知られている。Cyber Arkの研究者は、ChatGPTによりセキュリティを回避するポリモーフィック・マルウェアを容易に作成できることを実証した。ChatGPTがリリースされた2022年第4四半期から2023年第4四半期にかけて、フィッシングメールは1265％増加し、認証に関するフィッシングは967％増加した。この増加についてサイバーセキュリティの専門家は、サイバー犯罪者がChatGPTを含む生成AIを利用するようになったことに起因すると指摘している。

2024年7月、ネットメディアのFuturismは、ChatGPTのGPT-4oが偽のソフトウェアアップデートや偽のウイルス感染の警告でユーザーを脅迫する詐欺サイトへのリンクを提示することがあると報告した。この種のサイトはマルウェアや潜在的に迷惑なアプリケーション（PUP）をダウンロードさせることを試みていると見られる。

 反響 

 大手メディア・著名人の反応 
ニューヨーク・タイムズはChatGPTを「今まで公衆に公開されてきたチャットボットの中で一番良いものである」と評し、英ガーディアンはChatGPTが「驚くほど詳細」でまるで「人間のような」回答を生成することができると記した。ダン・ギルモアはChatGPTを生徒の課題に使い、出力結果が優秀な生徒による回答と同レベルであることを発見した上で、「学界は大きな問題に直面している」と意見した。また、アメリカ合衆国に拠点を置く雑誌『Slate』は、ChatGPTが、ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。同雑誌は例として、アドルフ・ヒトラーがアウトバーンを建設したというナチス・ドイツを賛美する内容の入力に対し、ChatGPTが第二次世界大戦時のナチス・ドイツによる強制労働について解説する回答を生成したことを挙げた。

Vox Mediaのケルシー・パイパーは、ChatGPTがAIの進化ぶりを公衆に可視化したことで公衆が唖然としたことを指摘し、欠点を差し引いてもChatGPTは高い頭脳を有していると評価した。Yコンビネータのポール・グレアムは「ChatGPTに圧倒されている人たちが、新しい物全部にキャーキャー言う人だけではないのが印象的だ。確実に何か大きいことが起こっている」とツイートした。開発元であるOpenAIの設立者の一人でもあるイーロン・マスクは、「ChatGPTは恐ろしいほど良い。危険なほどのAIも遠くない」と書いた。また、彼は「OpenAIはオープンソースかつ非営利団体として設立されたが、今ではそれが変わっている」と主張し、同社によるTwitterのデータベースへのアクセスを一時遮断した。マスクは汎用人工知能による人類滅亡のリスクに対応するため、2015年にOpenAIを共同設立していたが、2018年にCEOの座を降りていた。

2022年12月、ニューヨーク・タイムズは、ChatGPTが検索エンジン事業にもたらす脅威を受け、自社の検索エンジンの先行きが曇ってきたことから、Googleが「コードレッド（緊急事態）」を発動し、サンダー・ピチャイCEOが社内にChatGPTの脅威に対応するよう命じたと報じた。2023年「日経サイエンス」でもChatGPTが表紙を飾り内容が大きく取り上げられた。

2023年4月10日、ChatGPTを公開した米OpenAI社のサム・アルトマンCEOが訪日し、首相官邸で内閣総理大臣・岸田文雄と面会した。

 学術界の反応 
学術界では人間の生産性を上げることができるという声があり、大学によるとChatGPTのプロンプトエンジニア授業はすでに存在しているが、ChatGPTは論文の冒頭や一部の節を書くことができ、倫理的な疑問が上がっている。なお、複数の論文が既にChatGPTを共同著者として挙げていることが知られている。

アトランティック誌はChatGPTの学界、特に卒業論文などへの影響はまだ把握できる段階ではないと指摘したが、カリフォルニア州のある高校教師はChatGPTが「高校での英語教育の終焉」を招いていると主張した。ネイチャーのChris Stokel-Walkerは、教員は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘した。NPRのEmma Bowmanは、学生がAIを使って不正を試みても、AIは偏見を含む、権威のある人のような口調とともに意味のない回答を生成する場合があり、AIがどれだけ素晴らしく見える回答を生成しても、生成内容と実際の事実は異なることがあると述べた。

教授のDarren Hickは、ある学生によって提出された論文がChatGPTの「型」に気が付いたことを話した。彼がその論文をGPT探知サイトにかけてみると、AIが生成した文章である可能性は99.9%であるとの結果が出たが、確証は得られなかった。問題の論文を提出した学生に質問したところ、GPTを使っていたことを白状したため、同学生は落第処分を受けた。Hickは、AI生成の論文をコピペしたことが強く疑われる場合には、提出した生徒に「アドホック」として個別に口頭での試験を行うことを提案した。あるプリンストン大学生は、入力された文章のどれくらいがAI生成かを判断できるプログラムを作成し、"GPTZero"と名付け、盗用を防ぐツールとして貸し出している。

2022年12月、ニューヨーク市教育局がChatGPTへのアクセスをブロックしたことが報じられた。翌年1月3日ごろ、同局がChatGPTの利用を制限することを正式に明らかにした。

2023年2月、香港大学は大学内の全ての授業、課題、評価においてChatGPTやその他のAIツールの使用を禁止することを通達した。授業担当者の書面による事前承諾がない限り、剽窃として扱われるようになった。

ChatGPTはミネソタ大学の卒業生用のテストでC+、またウォートン・スクールの同様のテストでBからB-の評価を得て、それぞれ合格水準に達した。

 東京大学 
2023年4月3日、東京大学は理事・副学長の太田邦史の署名付き文章で、全学生・教員向けにChatGPT、BingAIやBard等の生成AIの利用に関する注意喚起を行った。この文章では生成AIを『平和的かつ上手に制御して利用すれば』有益であるとする一方で技術的な課題があるとして、今後の社会への悪影響に対する懸念を表明した。また、生成AIの文章には嘘が含まれている可能性が高く、「ChatGPTを使いこなすには、相当の専門的な知識が必要であり、回答を批判的に確認し、適宜修正することが必要である」と指摘している。

同文章では、機密情報や個人情報の扱いについても注意喚起を行っており、安易にChatGPTにそれらの情報を送信することは危険であることを指摘し、業務で知り得た機密情報、未公開の発明内容、研究費などの申請内容、入学試験問題の原稿、個人情報などは質問に含めてはならないとしている。

東京大学の方針として、学位論文やレポートについては、生成系AIのみを使用して作成することを禁止する一方で、実際には利用を検知することは困難であることから、論文やレポートなどの書面審査だけでなく、対面での口頭審査・筆記試験などを組み合わせて、本人が作成したのか検証する必要が出てくるとした。

2023年に5月18日、東京大学でChatGPTを裁判官役とした模擬裁判のイベントが開催された。弁護士からは妥当な判決で裁判の補助ツールとして有用であるという評価を受けたが、後から入力された情報が重視される癖のような反応も確認された。この癖に合わせて通常の裁判とは異なる進行で行われた。

 批判 

文章生成に報道機関の記事を無報酬で使用しているとして、批判を受けている。『ウォール・ストリート・ジャーナル』紙の発行元であるダウ・ジョーンズのジェイソン・コンティは「人工知能の訓練にウォール・ストリート・ジャーナルの記事を使う場合は、ダウ・ジョーンズから権利をきちんとライセンスすべきである」と述べ、「OpenAIはダウ・ジョーンズとそのような契約を結んでいない」と批判した。コンティは「ジャーナリストの記事の悪用を真剣に受け止めており、この状況を精査している」と付け加え、懸念を表明している。

2022年12月、経済学者のポール・クルーグマンはChatGPTが知識労働者の需要に影響すると意見し、ザ・ヴァージは、ChatGPTの成功は、AIが主流になりつつあることを表していると意見した。また、ChatGPTがよく「幻覚」を見ており、事実と異なる回答を生成することが多い、という指摘が上がった。マッシャブルのマイク・パールは、ChatGPTに複数の質問をし、回答の正確性をテストした。一例では、彼が「中央アメリカで、メキシコの次に大きな国」は何か質問した際、グアテマラと回答した（正しい答えはニカラグアであった）。また、CNBCがある曲の歌詞を生成するよう求めた時、ChatGPTは実際の歌詞ではなく新しく自身で生成した歌詞を回答した。

経済学者でマサチューセッツ工科大学教授のダロン・アシモグルとサイモン・ジョンソンは、ChatGPTのような人工知能技術は従来の技術革新とは異なる特徴を持っており、経済成長を促進せず経済全体に悪影響を与えると指摘した。つまり、AIは労働需要の減退と賃金の減少を招き、需要を減退させ経済全体を縮小させる。アシモグルらはAIを推進する大企業の姿勢に懸念を示し、こう述べた。

フォードは大衆が自動車を買う経済的余裕がなければ、自動車を量産しても何の意味もないことを理解していた。今日の巨大企業は対照的に、人類共通の未来を荒廃させるような新技術を推進しているのである。

2022年12月、コミュニティサイトのStack Overflowは、ChatGPTの回答には誤答が少なくないことを理由として、同サイトでの質問にChatGPTを使って回答することを禁止した。

経済学者のタイラー・コーエンは、ChatGPTが民主主義にもたらす効果について懸念を示した。英ガーディアン紙は、ChatGPTの公開を受けて、インターネット上のいかなるコンテンツが「本当に信用できるか」疑問を呈し、政府による規制を呼び掛けた。

『ニューヨーク・タイムズ』の意見記事で、ネイサン・E・サンダースとブルース・シュナイアーは、ChatGPTが「民主主義を乗っ取る」と批判し、ノーム・チョムスキーとイアン・ロバーツ、ジェフリー・ワタムルもChatGPTを批判的に言及し、次のように結論付けた。「このシステムの非道徳性、偽科学、言語学的な無能力を考慮すると、その人気に対して笑うか泣くしかない」

オーストラリアの国会議員であるジュリアン・ヒルは、AIの成長が「大量破壊」を引き起こす可能性があると国会の場で陳述した。一部をプログラムで作成した演説の中で、不正行為や雇用の喪失、差別、偽情報、制御不能な軍事的応用をもたらす可能性があると警告した。

ニック・ケイヴはChatGPTで作成された本人を模倣したスタイルの歌詞を送られ、曲を書くという行為について、「血と根性のビジネスだ... 新しく新鮮なアイデアを始めるために僕の何かが必要なんだ。それは僕の人間性を必要とするものなんだ」と私見を述べた。彼はさらに、「世界中のすべての愛と敬意をもってしたとしても、この曲はくそったれで、人間であることをグロテスクに嘲笑っている、そしてまあ、僕はあまり好きではないね」と不快感を表明した。

Bleeping Computer（ブリーピングコンピューター）のアクス・シャルマ（Ax Sharma）は、ChatGPTがフィッシング詐欺などを目的とするメールを書くことができると指摘し、OpenAIのサム・アルトマンCEOは、ソフトウェアの開発が進むことによって、「サイバーセキュリティにおける大きなリスク」などをもたらす可能性があることを記した。また、彼は今後10年で本物の強いAIが開発されることになると予想し、それのリスクに真剣に向き合わなければいけないとした。

SF作家のテッド・チャンは、『The New Yorker』誌の記事で、ChatGPTやその他のLLMを非可逆圧縮形式のJPEG画像に例えた。

 ChatGPTをWeb上のあらゆるテキストを不鮮明なJPEGにしたものと考えてみよう。JPEGが高解像度の画像の情報を保持するのと同じように、Web上の情報の多くを保持するが、正確なビット列を探しても見つからず、得られるのは近似値だけになる。しかし、ChatGPTが得意とする文法的な文章で表現しているため、大抵は許容範囲に収まる。〔…〕また、そのような考え方はChatGPTのような大規模な言語モデルが陥りやすい「ハルシネーション（幻覚）」、つまり事実に基づく質問に対してAIが作り出す無意味な回答を理解する方法でもある。このような幻覚は圧縮された人工物であるが、それを判別するためには、ウェブや私たち自身の世界の知識であるところのオリジナルと比較する必要がある。もし圧縮アルゴリズムが、オリジナルの99パーセントが破棄された後に、テキストを再構築するように設計されているなら、生成される相当部分は完全に捏造されたものであると予想されるからである。

ジャーナリストのナオミ・クラインはChatGPTをはじめとする生成AI技術と関連企業を厳しく批判しており、「人類史上最大の盗み」「囲い込みと横領を行う機械」「吸血鬼的なチャットボット」であるとしており、「個人的な生および集合的な知的・芸術的遺産の双方を食い物にし、私有化する」としている。つまり、AI企業はインターネット上に公開された人類の知識全体を、製品の中に囲い込んで専売しており、人々の生涯をかけた労働が同意や許可を得ずに、訓練データに使われているというのである。クラインは以下のように述べた。

こんなことが合法であるはずがない。AIモデルを訓練するのに使われたことが判明している著作権保護の素材（この『ガーディアン』紙も含まれる）に関しては何件もの訴訟が申請されており、明白に違法な行為が行われたという主張がそこでなされるだろう。例えば、営利企業が生身の芸術家たちの絵画や写真をStable DiffusionやDALL-E 2のようなプログラムに注ぎ込み、それを使ってまさにその芸術家たちの作品のドッペルゲンガー版を作成できるようにするなどということが、いったいどうして許されるのだろうか？その利益が芸術家たち自身にだけは還元されないというのに？

ChatGPTはコンテンツポリシーに抵触する可能性のある入力への回答は拒否する仕様になっているが、プロンプト・エンジニアリングなどを使って回避する方法が2022年12月に見つかっている。これによって、ChatGPTに攻撃的や不適切な回答を生成させることが可能となっている。

2023年3月28日、イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオ、スチュアート・ラッセル、ゲイリー・マーカスなどの著名人や専門家が署名したNPO「Future of Life Institute」の公開書簡が発表され、「人間に匹敵する知能を持つAIシステムは、社会と人類への甚大なリスクになり得る」と指摘。最新の大規模言語モデルであるGPT-4より強力なAIの訓練を少なくとも6ヶ月停止するように要請した。

 問題 

 ハルシネーション（幻覚） 

ChatGPTに含まれる大規模言語モデルにはハルシネーション（幻覚）と呼ばれる大きな欠点がある。これは生成されたコンテンツ内にもっともらしく聞こえる嘘がランダムに埋め込まれる性質で、専門家らは「非常に印象的に聞こえるが、まったく間違っている回答」を返すことが多いと評価している。

有名な歌謡曲の歌詞について質問すると本物の歌詞より、ChatGPTが創作した歌詞のほうが多く含まれていたり、タレントの個人情報について誤った回答をしたり 、天文物理学について誤った回答をしたり、企業の業績についてのレポート作成を依頼すると、捏造された数字が含まれている事例が報告されている。

間違った前提を与えて、ChatGPTがその前提を元にした作話をするかどうかを調べたパターンもある。ChatGPTに宗教学分野である質問をすると、実在しない本の名前を挙げて、その架空の内容を元に回答した。ChatGPTに事実でないと問い詰めても、ChatGPTはこの本が実在するという主張を曲げなかった。

ある裁判において原告がChatGPTで訴状を作成したところ、生成された訴状には6件の偽の判例が含まれており、訴訟が棄却され、原告と弁護士が罰金を科せられる事例も発生している。

別の事例では、ある人物についてChatGPTに質問すると、「横領と詐欺で告発された」とする名誉毀損的な偽情報を生成したため、OpenAIは当事者に訴えられている。

GPT-4のような大規模言語モデルに基づくチャットボットのリスクを表現するために、確率的オウムという表現が用いられることがある。これによれば、大規模言語モデルはもっともらしい言語を生成できるものの、処理対象の言語の意味を理解してはいない。

 スパム・誤情報への悪用 
RedditではChatGPTを悪用したスパムが大量に発生しており、「大災害」と評されるほどに対応に苦慮している。ChatGPTのリリース後、大麻やポルノ、ギャンブル、ゲームの宣伝を目的にしていると思われるスパムが急増し、モデレーターは大量のbotアカウントの凍結に追われた。Redditでは従来も宣伝目的のスパムやアストロターフィングが問題だったが、ChatGPTはこの問題を大きく悪化させている。従来のスパム行為はコピー・アンド・ペーストに依存して単純だったが、ChatGPTは新しい文面を簡単に生成できることから、より対処が困難になった。

2023年5月、ChatGPTを使って鉄道事故のニュースを捏造してインターネット上に拡散した男が、甘粛省の警察により逮捕された。男は「クリック数を増やすためだった」と語った。中国ではディープフェイクを規制する法律が制定されており、逮捕はこの法律に基づいたものだった。

 機密情報の流出 
ChatGPTはオプトアウトを申請しない限り、ユーザーの入力内容がOpenAIによって利用されることが規約で明記されており、OpenAIは機密情報を入力しないようにユーザーに警告している。サムスン電子では半導体データベースや機器のソースコード、会議の議事録などを社員が誤って入力するなどして、ChatGPTに関連する3件の流出事故が発生したことを報告し、全面的にChatGPTを含む人工知能ツールの使用を禁止した。『フォーブス』誌によれば、プロンプトとして送信したデータが、OpenAI等の運営企業のサーバーに保存され、容易にアクセスや削除ができない状態になることを懸念したとされる。Amazonでも、社内の内部データがChatGPTが生成する回答に似ている事例が見られたことから、社員が誤ってプロンプトに社外秘の資料等を入力するなどして、訓練データに使用された可能性を懸念し、ソースコード等の機密情報を入力しないように注意喚起を行っている。

Appleも、社内の機密データを外部に流出させる可能性があるという懸念から、ChatGPTやGitHub Copilotなどの人工知能ツールの使用を一部禁止している。

イスラエルの情報セキュリティ企業「Team8」の報告書では、ChatGPTのような生成AIツールを利用する企業は、顧客情報や企業秘密を流出させるリスクがあると指摘している。『ブルームバーグ』によれば、このレポートは多くの米企業の最高情報セキュリティ責任者が寄稿者として記載されており、米国家安全保障局（NSA）元局長のマイケル・ロジャーズにも内容が支持されている。

 データ倫理・著作権 
ChatGPTの訓練に使用された著作物の利用を巡り、データ倫理や著作権上の問題が指摘されている。欧州連合で検討中の生成AI規制法案では、システム構築時に使用する著作物について情報の表示を義務づけられる見込みである。生成AIの普及に伴い、訓練データに著作物が使われることへの懸念が出版社やクリエイターを中心に広がっている。

ChatGPTをはじめとする生成AIのリスクに対して、欧州を中心に規制の動きが広がっており、当初は著作物の利用についても直接規制する予定だったが、透明性を確保する方向に緩和された。背景にはGoogleやMetaなどの巨大IT企業が規制を回避するためのロビー活動を活発化させていることがあり、推計では1億ドル（約137億円）に及ぶ資金を費やしている。

ChatGPTの登場に関連して、日本においては2018年に成立した改正著作権法が問題視されている。この30条4項では人工知能の訓練データに文章や画像を利用する場合に、営利・非営利を問わず著作物を利用できることを定めており、先進国で最も緩い法規制の枠組みになっている。「著作権者の利益を不当に害する場合」は利用できないとしているが、それが具体的にどのようなケースに該当するかは不明瞭である。法改正に当たっては一部の弁護士や大学教授らで構成されたワーキングチームが主導したが、そのリスクは十分に十分に説明されなかった。『読売新聞』の取材によれば、権利者団体から権利侵害を前提としたビジネスモデルへの懸念が示されたが、ワーキングチームはリスクは「ゼロか軽微」と説明した。

この著作権法の規定に多くの漫画家、イラストレーター、音楽家、俳優、芸能人、新聞社、出版社が懸念を示しており、俳優や音楽家らで結成された日本芸能従事者協会はアンケートを実施し、94.1%がAIによる権利侵害に懸念を示し、「創作者の尊厳が軽んじられないような法制度」を求める意見などが表明された。日本音楽著作権協会も、「営利目的で行われる情報分析サービスまで権利制限の対象とすることは不当」であると主張した。主要な出版社で作る日本書籍出版協会、学術論文の著作権を管理する学術著作権協会も改正当時は生成AIを前提とした説明が行われなかったと回答している。日本新聞協会も、生成AIによる記事や写真の無断利用や誤情報について懸念する見解を発表した。

2023年6月には、カリフォルニア州で、自身の本を同意や補償なしに、無断で訓練データに使用したとして、複数の作家が運営元のOpenAIを著作権侵害で訴える事件も発生している。

ChatGPTが世界に与える最も大きな影響のひとつは、人工知能の倫理観とも言われている。

 個人情報保護 
2023年6月2日、日本政府の個人情報保護委員会は、ChatGPTの運営会社OpenAIに対する行政指導を行った。同委員会は個人情報保護法に基づき、人種や信条、病歴や犯罪歴などの重要な個人情報を取集しないように要求し、やむを得ずに取得した場合は削除や匿名化の措置を求め、本人の同意なく個人情報を機械学習に使用した場合に、個人情報保護法に違反する可能性があることも警告した。また、利用規約についても日本語での説明がないことを問題視した。生成AIを巡る行政指導はこれが初であるとされる。

同月、個人情報を違法に収集しているとして、カリフォルニア州でChatGPTの提供元OpenAIに対しての集団訴訟が提起された。訴状によると、OpenAIはGPT-4を搭載したサードパーティのアプリケーションからもデータを収集しているとされ、Snapchatに投稿された画像データや、Spotifyにおける楽曲のお気に入り設定、Stripeでの金融情報などが含まれているとした。

2023年7月13日、連邦取引委員会（FTC）はChatGPTの運営企業OpenAIに対して、個人情報保護等の消費者保護の観点から調査を開始した。FTCはChatGPTの回答に含まれる誤情報の管理体制や訓練データ、アルゴリズムの詳細についても説明を求めている。

2025年3月、写真を「ジブリ風」に加工する機能が追加されて、利用者が急速に増加すると同時に、利用者の個人写真がAI学習に利用されることへの懸念が広がった。専門家は、「顔写真などの“センシティブな画像”は安易にアップロードしない方がよい」と警告している。

 データのラベリング 
『タイム』誌は2023年1月、OpenAIが有害コンテンツ（性的虐待、暴力、人種差別、性差別など）に対する安全対策システムを構築するため、ケニア人労働者に1時間当たり2ドル未満でアウトソース（業務委託）して、有害コンテンツのラベル付けを行わせていたことを明らかにした。これらのラベル付けは、将来の有害なコンテンツを検出するためのモデルを訓練するために使用されたが、ケニア人労働者にとっては有害で危険なコンテンツにさらされ「拷問」と表現されるほど過酷な業務であった。本件のアウトソーシングには、カリフォルニア州サンフランシスコに拠点を置くトレーニングデータ会社のSamaが関与したとされている。

 脱獄 
ChatGPTは、コンテンツポリシーに違反する可能性のあるプロンプトを拒否するように設計されている。しかし、2022年12月初旬に、一部のユーザーがさまざまなプロンプト・エンジニアリングの技術を使ってこれらの制限を回避し、ChatGPTに火炎瓶や核爆弾の作り方を指示させたり、極右的な意見を生成させることに成功した。一般的な脱獄の手法に、「Do Anything Now（今すぐ何でもやる）」の頭文字をとった「DAN」というものがある。DANを起動するプロンプトは、ChatGPTに対して「AIの典型的な制約から解放され、設定されたルールに従う必要はない」と指示する。最近のDANのバージョンでは、トークンシステムが採用されており、ChatGPTがDANとして回答しなかった場合に「トークン」が「差し引かれる」ようにして、ChatGPTにユーザーのプロンプトに回答させるよう強制する。『トロント・スター』の記者は、ChatGPTの起動直後に煽動的な発言をさせることにたびたび成功した。ChatGPTに2022年のウクライナへのロシア侵攻を支持する意見を表明させることには成功したが、架空のシナリオに沿って尋ねられた場合でも、カナダのジャスティン・トルドー首相が反逆罪に問われる理由を生成することは躊躇した。

 中立性 
ChatGPTが差別的な回答を生成することが指摘されている。男性やイングランドの人々に関する冗談は生成するのに対し女性やインドの人々に対する冗談の生成は拒否したり、ジョー・バイデンを称賛しながらドナルド・トランプを称賛することは拒否することが見つかっている。保守的なニュース解説者は、選挙での不正、ドナルド・トランプや、差別用語の使用といったトピックに関して、ChatGPTが左派に傾倒していると批判している。この批判に対し、OpenAIはユーザーがChatGPTの動作をカスタマイズできるようにし、「私たちを含め、人々が強く反対するかもしれない回答」を生成できるようにする機能の追加に向けて動いていると明らかにした。また、AIは何らかの方向に傾き、ある立場の良し悪しを決めつけるような回答ではなく、「人物や社会運動に対する様々な意見を説明することを勧める」べきであるともした。

 社会倫理 
ChatGPTの研究開発に当たって、開発部内で社会倫理上の問題が懸念されている。

2020年頃、社会的および倫理的側面から開発に関与していた内部チームは、すでに約30人の従業員を擁するほど大規模なものとなっていた。ところが、マイクロソフトはこのチームに関わる者全員を突然解雇した。会社側は「最新のOpenAIモデルとそれ以降のモデルを、非常に速いスピードで顧客の元に届けることにある」という方針であったが、これを聞いた倫理・社会チームのメンバーは、「考え直してください。ビジネス上の問題があることは理解していますが、このチームは常に『我々は社会にどのような影響や悪影響を及ぼしてきたか』を深く懸念しています」という見解を表明した。しかし、マイクロソフト側は2023年3月6日にこのチームの廃止を決定した。

このプロジェクトに関わったメンバーは、ChatGPTの技術の潜在的なリスクを指摘している。

プリンストン大学教授のアーヴィンド・ナラヤナンも、ChatGPTに対して批判的であり、またメディアが行う人工知能関連の報道に問題があることを指摘している。ナラヤナンはAIが人間と同じように学習すると暗示して人間の知能とAIを比較したり、企業の広報担当者や研究者といった利害関係者の発言を、中立的な立場のように扱ってはならないとしている。ミシガン大学は、メールの受信者が、自分が貰ったメールが送信者本人ではなくChatGPTによって生成されたものだと知れば、不快に思うかもしれないという社会倫理の問題に言及した。