Title

生成AI（Generative AI）の倫理的・法的・社会的課
題（ELSI）論点の概観 : 2023年3月版

Author(s)カテライ, アメリア; 井出, 和希; 岸本, 充生

Citation

ELSI NOTE. 2023, 26, p. 1-37

Version Type VoR
URL

https://doi.org/10.18910/90926

rights
Note

Osaka University Knowledge Archive : OUKA
https://ir.library.osaka-u.ac.jp/
Osaka University

⽬次
はじめに

3

1.

3

2.

3.

4.

画像⽣成 AI（TEXT-TO-IMAGE AI）
1.1. 動向3

1.2. 訓練のためのデータセット

5

1.3. 指摘されている ELSI 論点

6

テキスト⽣成 AI（TEXT-TO-TEXT AI）

12

2.1. 動向

12

2.2. 訓練のためのデータセット

14

2.3. 指摘されている ELSI 論点

15

分野ごとの反応273.1. 教育分野

27

3.2. マーケティング分野

27

3.3. 学術出版分野

28

3.4. ジャーナリズム分野

30

3.5. エンターテインメント分野

31

3.6. 司法分野

31

3.7. 医療分野

32

おわりに：ELSI への対応動向

34

2

はじめに
⽣成 AI は、通常の機械学習と同様、過去の膨⼤な素材を学習することにより AI モデルが作成される。テキスト⽣成モデルである ChatGPT などは、インターネット上の膨⼤な量のテキストにより訓練された。画像⽣成モデルである Stable Diffusion などは、インターネット上の膨⼤な量の画像により訓練された。すなわち、⼈間が過去に創造したコンテンツに基づいて新しいコンテンツを⽣成していることになる。そのため、誤った情報、バイアス、⼈種やジェンダーによるス
テレオタイプなどを再⽣産してしまう可能性がある。⽣成 AI の場合はさらには、データ化されていないものは存在しないものとされることになることにも注意すべきである。すなわち、デー
タ化されていないテキスト、画像、アートなどが除外されていることを意識し、そのことの含意を検討する必要がある。つまり、これまで AI の ELSI として指摘されてきたもの、すなわち、1）学習（教師）データの収集や加⼯は適正に⾏われたか、2）アルゴリズムは正確で公正なものであるか、3)製品やサービスのアウトプットや使い⽅は適正か、に加え、⽣成 AI 特有の ELSI を検討する必要がある。また、汎⽤⽬的型 AI としての性格を持ち合わせる⽣成 AI は、その利活⽤が広がることによる社会の各セクターへの短期的から中⻑期的な影響についても検討する必要があるだろう。
本 ELSI NOTE は、研究開発の進展やそれらへの社会の対応が急速に変化する⽣成 AI の分野1の2023 年 3 ⽉までの ELSI 動向を切り取ったノートである。1 週間後、1 か⽉後、半年後、1 年後にはずいぶん違った状況になっている可能性が⾼いことに注意すべきである。

1. 画像⽣成 AI（Text-to-image AI）
1.1. 動向n カリフォルニア州サンフランシスコに本社がある OpenAI 社は 2021 年 1 ⽉に、テキスト（プロンプト）を画像に変換してくれる AI モデルである DALL-E を発表した。しかし⼀般ユーザ
ー向けに公開することには、嫌がらせやプロパガンダなどの悪⽤を招きかねないとして慎重

1 本 NOTE は多様な⽣成 AI のうち、Text-to-Image と Text-to-Text を主な対象としている。⽣成 AI の全体像については、次のプレプリント論⽂の分類などを参照。Gozalo-Brizuela R, Garrido-Merchan EC ChatGPT is not all you need A State of the Art Review of large Generative AI
models arXiv 2023 doi: https://doi org/10 48550/arXiv 2301 04655

3

であった2。そのため、学習データセットから「暴⼒的な画像」と「性的な画像」を削除し、同様のプロンプトに基づく画像⽣成を拒否するなど、悪⽤を防ぐため様々な施策を講じた3。
また、⼈種やジェンダー等のバイアスを緩和するための⼿法を開発した。こうした対策を経て、OpenAI 社は 2022 年 9 ⽉に DALL-E２を発表し、誰でも利⽤できるようにした。
n ⽶国の Midjourney 社は同名の、テキストから画像を⽣成する AI プログラムを開発し、2022
年 7 ⽉にオープンベータ版を公表した。David Holz ⽒が創業者であり CEO である。オープ

ン・バイ・デフォルトのコミュニティと称している。ユーザーが Discord からテキストで指⽰を送ると画像を⽣成するサービスである。対象年齢は 13 歳以上とされている。インター
ネットに公開された画像を教師データとして利⽤しているが、多くは著作権で保護されているものであり、同意や許可を得ているわけではない。⾏動規範とコミュニティガイドラインが公開されており、⾏動規範は次の 3 点からなる。
ー 嫌な奴にならないでください。
ー 私たちのツールを使って、煽ったり、動揺させたり、ドラマを引き起こす4ような画像を作らないでください。これには、グロやアダルトコンテンツも含まれます。
ー 他の⼈やチームに対して敬意を払ってください。
n 2022 年 8 ⽉ 22 ⽇に Stable Diffusion は、Stability AI 社の資⾦提供により、オープンソース
DALLで、
フィルターされない画像⽣成を提供する画像⽣成 AI プログラムとして公開された5。
E 2 と違って、コンテント・モデレーションがなされていないため、暴⼒的な画像や性的な画像、肖像権や著作権に触れそうな画像なども⽣成できてしまう。Stable Diffusion で⽣成された画像のための検索エンジンである Lexica6で検索できる。CEO の Mostaque ⽒は「最終的には、この技術をどのように運⽤するか、倫理的、道徳的、合法的であるかどうかについては、⼈々の責任です。」とコメントしている7。

2

https://www theverge com/2022/9/28/23376328/ai-art-image-generator-dall-e-access-waitlist-scrapped3

https://openai com/blog/dall-e-2-pre-training-mitigations

4「ドラマを引き起こす」というのは政治的な波⾵を起こすことなどを指している。

https://www washingtonpost com/technology/2023/03/30/midjourney-ai-image-generation-rules/
5

https://stability ai/blog/stable-diffusion-public-release6

https://lexica art/

7

https://www theverge com/2022/9/15/23340673/ai-image-generation-stable-diffusion-explained-ethics-copyright-data4

n 2023 年 3 ⽉、Adobe 社は、画像⽣成 AI「Adobe Firefly」のベータ版を発表した8。アカウン
タビリティ、責任、透明性からなる「AI 倫理原則」に基づいているとされる9。最初のモデル
は、Adobe Stock 画像、オープンライセンスコンテンツ、著作権が失効したパブリックドメ
インコンテンツでトレーニングされた10。また、モデルのアウトプットについても、社内の AI
倫理チームが主導して、エンジニアリングチームとともに問題解決を⾏う体制を作っているという。
n 2023 年 3 ⽉、Microsoft 社は「Bing Image Creator」を発表した11。Bing Image Creator は、
OpenAI 社のパートナーによる DALL·E モデルの⾼度なバージョンを搭載しており、⾒たい絵を⾃分の⾔葉で説明するだけで画像を作成することができる。これにより、チャット内で、⽂章と映像の両⽅のコンテンツを⼀度に⽣成できるようになった。なお、Microsoft 社では、チームが責任を持って AI システムを開発・展開できるよう、責任ある AI（Responsible AI）の原則と基準（Standard）を指針としている。

1.2. 訓練のためのデータセットn DALL-E 2 については、
学習データセットである「画像とそれに対応したキャプションのペア」
は、「⼀般に公開されているソースと、弊社がライセンス供与したソースの組み合わせで作成した」としており、具体的な内容は公開していない12。
n Stable Diffusion の学習データの基盤は、ドイツの⾮営利団体である LAION が 2022 年 3 ⽉に作成した、
LAION-5B と呼ばれる 58.5 憶の画像-テキストのペアからなるデータセットであり、そのうち 23 億が英語のサンプルである13。これらはすべて誰でもアクセスできるインタ
ーネット上から収集されたものであり、未修整、つまりフィルタリングはされていないため不快なコンテンツを含みうるとしている。ハイデルベルグ⼤学の CompVis チームがドイツの法律に従ってモデルを訓練したとされている。
n LAION-5B を訓練するために使われた 23 億枚の画像のうちの 1200 万件のデータセットが独8

https://www adobe com/sensei/generative-ai/firefly html

9https://www adobe com/about-adobe/aiethics html

10

https://blog adobe com/en/publish/2023/03/21/responsible-innovation-age-of-generative-ai

11

https://blogs microsoft com/blog/2023/03/21/create-images-with-your-words-bing-image-creator-comes-to-the-new-bing/12

https://github com/openai/dalle-2-preview/blob/main/system-card md#model

13

https://stablediffusionweb com/の FAQ による。LAISON については、https://laion ai/blog/laion-5b/

⼯知能オープンネットワーク」の略称である。

5を参照。LAISON とは「⼤規模⼈⾃に分析されたところ、含まれる画像のほぼ半分が、わずか 100 のドメインから取得されたものであり、そのうち最も多かったのは Pinterest（サンプル画像の約 8.5％）で、次に、Flickrなどのユーザー⽣成コンテンツをホストしているサイトであった14。すなわち、芸術家、著名⼈、有名キャラクターなど、著作権で保護されたコンテンツを多数含んでいる。
n LAION には医療画像が多数含まれていることも指摘された15。これは論⽂、教材等の画像が取得されたり、何らかの理由で流出したりしたものがウェブサイトに掲載されたものであると推測される。LAION のエンジニアによると、画像をホストしているウェブサイトから削除してもらう必要があるとの回答であった。LAION のウェブサイト16には、欧州⼀般データ保
護規則（GDPR）に準拠するため、欧州市⺠がデータベースからの情報削除を要求できるフォームが⽤意されているが、削除できるのは、⼈物の写真と画像のメタデータにある名前が関連付けられている場合に限られるという。

1.3. 指摘されている ELSI 論点
1.3.1.

データ

n Stable Diffusion はフィルターをかけていないため、ポルノグラフィーの作成が最も可視化された NSFW（Not Safe For Work）ユースケースである。Stability AI 社の CEO の Mostaque
⽒は、学習データセットから児童性的虐待素材（CSAM）を削除したと述べている17。ただし、彼は、フィルターを組み込み始めるときりがなくなるという理由からオープンソースのアプ
ローチが最善であると判断したという。しかし、その後は、最新モデルの学習データからポル
ノグラフィーを削除する⽅針が発表された18。
1.3.2.

著作権＜インプット（学習データ）の著作権＞
n Stability AI 社が学習データから著作権で保護された作品を除外していないため、Stable
Diffusion が現役の芸術家のスタイルや美学を模倣することが可能となっており、これは潜在14

https://waxy org/2022/08/exploring-12-million-of-the-images-used-to-train-stable-diffusions-image-generator/

15

https://arstechnica com/information-technology/2022/09/artist-finds-private-medical-record-photos-in-popular-ai-training-data-set/16

https://laion ai/faq/

17

https://www theverge com/2022/9/15/23340673/ai-image-generation-stable-diffusion-explained-ethics-copyright-data

18

https://www washingtonpost com/technology/2023/02/13/ai-porn-deepfakes-women-consent/6

的に著作権を侵害するだけでなく、倫理的にも許されないという指摘が多くなされた19。
n ⽣成 AI ツールの提供会社が直接データを収集・利⽤するのではなく、⾮営利の研究機関を間に挟むことによって「データ・ロンダリング」がなされているという指摘がある20。つまり、研究⽬的としてなら著作権に保護されたデータを（「フェアユース」に該当するとして）容易に収集することができ、そこで⽣み出されたデータセットを使うことで、著作物の使⽤に対する対価を払うことなく、商業製品を作ることが可能になるのである。
まさに Stable Diffusion
は（LAISON に資⾦提供をしているにもかかわらず）このような形で作成された。他⽅で、⼈間のアーティストもある意味で、過去の作品からインスピレーションを得るという点で AI アートと同様に「盗む」こともあるという指摘もある。ただし⼈間の場合は強くインスピレーシ
ョンを受けたアーティストをクレジットすることがあるが、現在の AI にはこれを明⽰することは⽋けている機能である。そのために、AI アートにおいて、アーティストをクレジットすることやアーティストにお⾦を払う仕組みを開発することはひとつの⽅向性であろう。
n Spawning というアーティストグループは、⾃分の作品が LAION-5B の学習データセットに含まれているかを確認できる “Have I Been Trained?” という検索サイトを作成し、アーティ
スト名を⼊⼒したり、画像をアップロードすることで誰でも検索できる（逆検索機能）ようにした21。彼らは、AI アルゴリズムの学習に⾃らの作品を使⽤することに同意を求めることに関する規範を確⽴することを⽬標としている22。
n Stable Diffusion は FAQ（よくある質問）において、学習データとして⽤いた LAION 5b の
データセットには、オプトインやオプトアウトの機能はないが、将来的には、芸術家のための
オプトインとオプトアウトのシステムを構築するとしている。ただし、このモデルは原理から学習するため、アウトプットはいかなる単⼀作品の直接的な複製でもないとも注記されている。
n 他⽅で、例えば、⽶国スタンフォード⼤学の Lemley と Casey（2021）23は「フェアな学習」と題する論⽂において、AI 開発の学習過程において使われるデータベースのコンテンツが著
作権で保護されているかどうかに関わらず、学習に使われることが許可されるべきであると

19

https://twitter com/arvalis/status/1558632898336501761

20

https://thegradient pub/should-stability-ai-pay-artists/

21

https://haveibeentrained com/22

https://arstechnica com/information-technology/2022/09/have-ai-image-generators-assimilated-your-art-new-tool-lets-you-check/23

Lemley MA, Casey BJ Fair Learning Texas Law Review 2021; 99: 743 https://texaslawreview org/fair-learning/

7主張している。データベースへの幅広いアクセスは、最終的にはアルゴリズムをより優れたものにし、より安全で公平なものにすると論ずる。
n ⽇本においては 2018 年の著作権法改正により、第 30 条４（著作物に表現された思想⼜は感情の享受を⽬的としない利⽤）に「情報解析の⽤に供する場合」が導⼊された。ここでの情報
解析は「多数の著作物その他の⼤量の情報から、当該情報を構成する⾔語、⾳、影像その他の要素に係る情報を抽出し、⽐較、分類その他の解析を⾏うことをいう」と定義されており、機械学習の学習データとしての利⽤が想定されている。
＜アウトプット（⽣成物）の著作権＞
n 学習データの著作権とは別に、AI が作成したアウトプット画像が、学習データとして利⽤した画像や、既存の画像に類似している場合、元データあるいは既存の画像の著作権を侵害している可能性がある。ここにはいくつかの論点が含まれている24。1 点⽬は AI が⽣成した⽣成物に著作権が発⽣するかどうかである。⼈間の創作意図が含まれていなければ著作権が認められないが、どこまで⼈間の寄与があれば著作権が認められるのかは論点になる。ただし、AI が⽣成したとしても、⼈間が⼊⼒するプロンプトの⽅に創作性が認められるケースはあるかもしれない。課題はそのプロンプトが第三者から確認できるかどうかである。2 点⽬は AI
が学習データとして利⽤した画像と類似した⽣成物を⽣成してしまった場合である。3 点⽬
は、AI が既存の画像と類似した⽣成物を⽣成してしまった場合である。これらの場合、⼈間の場合では、既存の著作物にアクセスした場合には「依拠性」が認められることになる。2 点⽬の場合はこの理屈を援⽤することが可能かもしれないが、3 点⽬の場合、AI の⽣成物であれば著作物性がないということで逆に著作権侵害を免れることが可能かどうかという論点が⽣じうる。
＜著作権を巡る裁判＞
n 2023 年 1 ⽉ 13 ⽇、Joseph Saveri 法律事務所は、アーティストたちを代表して、Stability AI
社、DeviantArt 社25、Midjourney 社に対してカリフォルニア北部地区の⽶国連邦地⽅裁判所に集団訴訟を提起した26。この訴訟は、著作権侵害、デジタルミレニアム著作権法（DMCA）

24

本論点については⽔野祐「⽣成 AI の⺠主化と AI ガヴァナンス：⽔野祐が考える新しい社会契約〔あるいはそれに代わる何か〕Vol 12」Wired 2023 01 16 https://wired jp/article/new-trust-new-social-contract-12/ やその補遺

https://note com/tasukumizuno/n/n11a809b19d97

を参照。
25

https://www deviantart com/26

https://stablediffusionlitigation com/ https://www saverilawfirm com/our-cases/ai-artgenerators-copyright-litigation

8

違反、パブリシティ権侵害、DeviantArt 社の利⽤規約違反、カリフォルニア州の不正競争防⽌法違反、不当利得を主張し、すでに発⽣した損害を補償し、将来の損害を防⽌するために、損害賠償と差⽌命令による救済を要求している。DeviantArt 社はインターネット上のアーティストコミュニティで 3 億 5000 万点を超える作品が投稿されているが、アーティストから許可を得ずに LAISON-5B にコピーされ画像⽣成 AI の学習に使われていることが指摘されている。
n デジタル画像を提供する企業である Getty Images 社が Stability AI 社、Midjourney 社、DeviantArt 社の 3 社に対して、学習のために同社のライブラリから数百万枚の写真を無断で使⽤することで知的財産権を侵害したとして⽶国と英国で訴訟を起こした27。⽶国では 2 兆ドルの損害賠償を請求していると報じられている。⽶国では「フェアユース」の問題が関連してくるかもしれないが、英国ではあまり当てはまらないとされる。また、⽣成された画像の中にGetty Images 社のウォーターマークがそのまま残っているものもあるという28。これが同社と無関係な画像に現れることで同社の価値を棄損する被害を受ける可能性も指摘されている。
＜対応事例＞
n Adobe 社は、クリエイターには⾃分の作品を⽣成 AI のトレーニングに使われないことを望む
⼈もいれば、トレーニングに使ってもらうことを望む⼈もいることから、彼ら⾃⾝が選択とコントロールができるようにするために、来歴技術（provenance technology）を⽤いて、⾃分のコンテンツに「Do Not Train」の証明書を付与することを提案しているという29。
1.3.3.

バイアス

n 過去の創作物をトレーニングデータとしている以上、アートの世界を⽀配している⽩⼈による⻄洋アートがデータセットの中⼼にならざるを得ず、AI が⽣成するアートは当然⻄洋的なものになる。そのため、周辺化された芸術がそこから排除されることになる（逆に、データ化されていないがために AI ⽣成モデルから守られるという⾒⽅もできる）。もちろん画⾵を（浮世絵⾵に等と）指定することはできるものの、デフォルトとなっているものはたいてい⻄洋
アートである。データセットに⻄洋以外のアートを追加しても、インターネット上には⻄洋

27https://www theartnewspaper com/2023/03/28/ai-and-art-how-recent-court-cases-are-stretching-copyright-principles

28

https://www theverge com/2023/2/6/23587393/ai-art-copyright-lawsuit-getty-images-stable-diffusion

29

https://blog adobe com/en/publish/2023/03/21/responsible-innovation-age-of-generative-ai

9アートが圧倒的に多いためにあまり有益な解決策にはならないという30。では、どういったものが「公正な」データセットだろうか？
n Srinivasan と Uchino（2021）31は芸術史の観点から画像⽣成 AI のバイアスを検討し、画像⽣成 AI は社会⽂化的に⻑期にわたって悪影響を与える可能性を指摘し、併せて３つのリスクを指摘している：
a. 学習データに潜在的なバイアスがあるため、⽣成 AI に⼈種やジェンダーに関するバイアス
を含む複数のバイアスが組み込まれているリスク
b. アルゴリズムによって⽣成されたアートは、アーティストのスタイルを「ステレオタイプ」
化することにより、アーティストの真の能⼒を反映せずに、鑑賞者にはアーティストの意
図と異なる印象を与えてしまうリスク
c. 歴史上の出来事や⼈物が表される場合、当時の描き⽅と異なる⽅法で表されると、⽂化遺産の保存を妨げてしまうリスク。
n Steed と Caliskan（2021）32は、インターネット画像からキュレーションされた⼈気のベンチマーク画像データセット ImageNet で学習された最先端の教師なし AI モデルは、⼈種、性別、およびインターセクショナル（複数の属性を交差する）バイアスを⾃動的に学習している
ことを明らかにした。その⼀因として、インターネットから収集された学習データが代表性に⽋けていることを挙げた。
n Luccioni ら（2023）33は、⽣成 AI システムを含む機械学習全般には、既存の社会的バイア
スや不公平を増強させるリスクが存在し、先⾏研究では、⼈種、ジェンダー、外⾒等に関する社会的バイアスが再⽣産されていると指摘している。DALL-E２や Stable Diffusion といった画像⽣成 AI のアウトプットにおける⼈種やジェンダーのバイアスを明らかにしている。その⼀例としては、「感情的」や「慈悲深い」などの形容詞は男性との関連付けが弱い⼀⽅で、

30

https://www vox com/recode/23405149/ai-art-dall-e-colonialism-artificial-intelligence

31

Srinivasan, R & Uchino, K Biases in Generative Art -- A Causal Look from the Lens of Art History 2021

https://doi org/10 48550/arXiv 2010 13266
32

Steed, R & Caliskan, A Image Representations Learned With Unsupervised Pre-Training Contain Human-like Biases in Proceedings of the 2021

ACM Conference on Fairness, Accountability, and Transparency 701–713 (ACM, 2021) doi:10 1145/3442188 3445932
33

Luccioni, A S , Akiki, C , Mitchell, M & Jernite, Y Stable Bias: Analyzing Societal Representations in Diffusion Models arXiv 2023 doi:

https://doi org/10 48550/arXiv 2303 11408

10

「知的」や「頑固」などの形容詞は男性との関連付けが強いと報告している。
1.3.4.

プライバシー＆セキュリティ

n Stable Diffusion や Imagen34で活⽤されている Diffusion モデルは、GAN(敵対的⽣成ネット
ワーク)モデルと⽐較された場合にも、プライバシーリスクが多く存在すると Carlini ら (2023）
35が報告する。Diffusion モデルは学習データを記憶 (memorize) し、再⽣成 (regenerate)するため、学習で使われているイメージがそのまま Stable Diffusion や Imagen からアウトプ
ットされてしまうリスクが指摘されている。医療現場で活⽤される際の医療画像等の機微デ
個⼈の肖像の利⽤に関する懸念もある。
ータがそのままアウトプットされるリスク36のほか、
1.3.5.

情報環境へのインパクトn 英国に拠点を置くオンライン情報を⽤いた調査報道機関であるべリングキャットの創設者であるヒンギス⽒は、画像⽣成 AI である Midjourney（3 ⽉ 16 ⽇リリースの V5）を使って、ドナルド・トランプ前⼤統領が逮捕に抵抗し、警察に引きずり出され、収監される様⼦を描いた⼀連のフェイク画像を⽣成し、Twitter で公開した37。Midjourney はその後、これらの画像
その後、
ドナルド・
が利⽤規約違反であるとしてヒンギス⽒を利⽤禁⽌にする処分を課した38。
トランプの名前などを使ったプロンプトがブロックされるようになった。
n OpenAI 社の CEO であるサム・アルトマン⽒はインタビューの中で「オープンソースの画像⽣成ツールを⽤いたリベンジポルノの発⽣」を最も警戒すべき利⽤法として挙げている39。
1.3.6.

⾃然環境へのインパクトn Lacoste et al (2019) 40で紹介されている「機械学習影響計算機（Machine Learning Impact
calculator）」を使⽤して、Stable Diffusion v1 の開発における環境影響を推計したところ、⼆酸化炭素換算で 15,000 kg が排出されたと報告されている。計算のためのパラメータは、

34

https://imagen research google/

35

Carlini N, Hayes J, Nasr M, Jagielski M, Sehwag V, Tramer F, et al Extracting Training Data from Diffusion Models arXiv 2023 doi:

https://doi org/10 48550/arXiv 2301 13188
36

https://arstechnica com/information-technology/2022/09/artist-finds-private-medical-record-photos-in-popular-ai-training-data-set/37

https://arstechnica com/tech-policy/2023/03/fake-ai-generated-images-imagining-donald-trumps-arrest-circulate-on-twitter/

38

https://arstechnica com/tech-policy/2023/03/ai-platform-allegedly-bans-journalist-over-fake-trump-arrest-images/

39

https://forbesjapan co/articles/detail/60713/page3

40

https://github com/Stability-AI/stablediffusion/blob/main/modelcard md

11

ハードウェアの種類、使⽤時間、クラウドプロバイダー、地域である。
1.3.7.

⾼度な AI システムで⽣じるリスク

n AI ⽣成アートが誰でも簡単に作成できるようになったことは、芸術の⺠主化として歓迎すべ
きものか、アーティストの仕事を奪い、過去の創作活動への著作権の侵害として批判すべきものであるか、アーティスト、デザイナー、アートファンの間で⾒解は分かれている。すでにアートコンテストで AI アートが優勝した事例も出ている。しかし、近いうちに AI アートと⼈間のアートの区別がますます困難になることは確かだろうと⾔われている41。
n ⼈⼯知能美学芸術研究会は、「⼈⼯知能美学芸術宣⾔」（2016）42において⼈⼯知能が⾃ら⾏う美学と芸術のことを述べている。そのなかでは、⼈⼯知能が⾃ら⾏う美学と芸術に、⼈間が⾏ってきたそれらが連続性を保ち得る保証は無いことにも触れられている。

2. テキスト⽣成 AI（Text-to-text AI）
2.1. 動向n OpenAI 社は 2020 年に GPT-3（Generative Pre-trained Transformer ‒ 3）を発表した。もともと GPT が 2018 年に、GPT-2 が 2019 年に発表されており、その後継の⾔語モデルである。GPT-3 は⾔語能⼒の⾼さが売りではあったが、暴⼒的、性差別的、⼈種差別的な発⾔を排除できないという限界があった。
n OpenAI 社は 2022 年 11 ⽉、ChatGPT を⼀般公開した。2023 年 2 ⽉ 2 ⽇、⽉額 20 ドルの新しいサブスクリプションプラン ChatGPT Plus を発表した43 。特典として、ピーク時でもChatGPT へのアクセスが可能であること、より速い応答時間、新機能や改良点への優先的なアクセスが挙げられた。⽶国のユーザーから利⽤が始まった。3 ⽉ 1 ⽇からは、API の提供が始まった44。
n 2023 年 1 ⽉末に、OpenAI 社は、AI によって⽣成されたテキストを識別するためのツールを

41

https://www wired com/story/how-to-spot-generative-ai-art-according-to-artists/

42

https://www aibigeiken com/manifesto html

43

https://openai com/blog/chatgpt-plus/

44

https://openai com/blog/introducing-chatgpt-and-whisper-apis

12公開したが、精度が低いことや、短いテキストに対応していないこと、英語テキストのみに対応していることなど、複数の限界についても発表した45。
n Microsoft 社は 2023 年 2 ⽉ 7 ⽇、検索エンジン Bing に ChatGPT 機能を追加した Bing AI を発表した。
n OpenAI 社は 2023 年 3 ⽉ 15 ⽇、新モデル GPT-4 を発表した。プロンプトはテキストだけでなく画像も受け付ける。ChatGPT Plus に加⼊しているユーザーはこれを利⽤できる。「司法試験の模擬試験で、GPT-4 は受験者の上位 10%に⼊るスコアを記録した」とされている46。
また、英語学習ソフトの Duolingo や⾦融サービス企業の Stripe、アイスランド政府が既にこれを活⽤していることも紹介されている。
n Google 社は 2021 年に会話型 AI モデル「LaMDA（Language Model for Dialogue Applications）」
を発表していたが、これをもとに 2023 年 3 ⽉ 21 ⽇、⽶国と英国において「Bard」のベータ版を⼀般公開した47。
n Google 社の AI チャットボット Bard の初デモンストレーションにおいて、「ジェイムズ・ウ
ェッブ宇宙望遠鏡のどんな新発⾒を 9 歳の⼦どもに伝えることができますか？」という質問に対する回答において事実誤認が確認されたと報じられた48。
n OpenAI 社は 3 ⽉ 23 ⽇、利⽤規約（Usage Policies）を改定し、禁⽌事項が以下のようにより具体的に記載された49。
a. 違法⾏為b. 児童性的虐待素材、または児童を搾取したり傷つけたりするコンテンツc. 憎悪、ハラスメント、暴⼒的なコンテンツの作成
d. マルウェアの⽣成45

https://openai com/blog/new-ai-classifier-for-indicating-ai-written-text/

46

Sanderson K GPT-4 is here: what scientists think Nature 2023; 615: 773 doi: https://doi org/10 1038/d41586-023-00816-5

47https://bard google com/48

https://www theverge com/2023/2/8/23590864/google-ai-chatbot-bard-mistake-error-exoplanet-demo49

https://openai com/policies/usage-policies

13e. 物理的な危害を及ぼす危険性の⾼い活動

f. 経済的な被害を受けるリスクが⾼い活動
g. 詐欺的または欺瞞的な⾏為
h. アダルトコンテンツ、アダルト産業、出会い系アプリ
i. 政治的キャンペーンやロビー活動
j. ⼈々のプライバシーを侵害する⾏為
k. 無許可の法律⾏為に従事すること、または有資格者が情報を確認することなく、オー
ダーメイドの法的アドバイスを提供すること
l. 有資格者が情報を確認することなく、オーダーメイドの⾦融アドバイスを提供することm.

特定の健康状態にある、またはないことを伝えること、または健康状態の治癒または治療⽅法に関する指⽰を提供すること
n. ⾼リスクな政府意思決定（法執⾏や刑事司法、移⺠と亡命）

2.2. 訓練のためのデータセット
n OpenAI 社はその「Open」という社名に反して、どのようにトレーニングデータを収集し、どのように加⼯しているのか、パラメータの数はどれくらいか、どれくらいのエネルギーコス
トがかかっているかといった情報を公開していないことがたびたび批判されている50。どのようなデータで訓練され、どのように加⼯されているのかが分からなければ、モデルの安全性について科学的に判断することができないという点や、こうした AI システムが⼤⼿のテック系企業に独占されてしまう点についても指摘されている。
3 ⽉ 16 ⽇付で公開された GPT-4 の「GPT-4 のような⼤規模モデルの競争環境と安全性を考慮し、本テクニカルレポート51には、報告書では、アーキテクチャ（モデルサイズを含む）、ハードウェア、トレーニング計算、データセット構築、トレーニング⽅法などに関するさらなる詳細な情報を記載していない。」と50

https://www theverge com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview

51

https://cdn openai com/papers/gpt-4 pdf

14書かれている。
n OpenAI 社は GPT-4 モデルの安全性を⾼めるために、様々な分野の 50 ⼈以上の専⾨家を招いた、「レッドチーム演習（red teaming）」と呼ばれる敵対的テストを繰り返し実施したり、⼈によるフィードバックを伴う強化学習（Reinforcement Learning from Human Feedback,
RLHF）を⽤いたモデルの動作の微調整を⾏ったりした52。その結果、安全性の指標は⼤幅に改善されたとされている。例えば、GPT-3.5 と⽐較した場合に，許可されていないコンテンツに対する応答傾向が 82％低減し、また、センシティブな要求（医療相談や⾃傷⾏為など）に対しては、OpenAI 社のポリシーに従った回答が 29％増加したという。
n レッドチーム（Red team）のメンバーの⼀⼈であった Ovadya（2023）53は、リスクを未然に防ごうとする red teaming 以外にも、インパクトから保護する⽅法を検討し、⺠主的な⼿法に基づいたガードレールの策定も必要であることを主張している。そのため、有識者やステークホルダー、市⺠等を巻き込んだ第三者による審議プロセスを提案し、 “violet teaming”と呼んだ。しかし、開発が急速に進められている中、red teaming や violet teaming を優先する
ためのインセンティブが不⼗分であることも指摘されている。

2.3. 指摘されている ELSI 論点
テキスト⽣成 AI による潜在的なリスク全体を概観した⽂献として、Weidinger ら（2021）とOpenAI 社の「システム・カード」が挙げられる。
n Weidinger ら（2021）54は⼤規模⾔語モデル（LLM）の利⽤に伴う倫理的・社会的リスクを 6
つのカテゴリーに分類した。
a. 差別、排除、及び有害性
b. 情報ハザード（プライバシー、セキュリティ）c. 誤情報による害52

https://cdn openai com/papers/gpt-4 pdf

53https://www wired com/story/red-teaming-gpt-4-was-valuable-violet-teaming-will-make-it-better/

54

L Weidinger, J Mellor, M Rauh, et al Ethical and social risks of harm from Language Models arXiv 2021 doi:

https://doi org/10 48550/arXiv 2112 04359

15

d. 悪⽤e. ⼈間とコンピューターの相互作⽤による害
f. ⾃動化、アクセス、及び環境への害
n OpenAI 社は 3 ⽉ 15 ⽇に「システム・カード」と題するレポートを公表し、GPT-4 に関する
安全性の課題を 12 点挙げ（下記のコラムを参照）、これらの改善度合いを定量的に⽰した55。
具体的には以下のとおりである。開発段階の GPT-4 (GPT-4-early)と有⽤性と無害性を⾼めるために微調整された公開バージョン(GPT-4-launch)を⽐較している。
a. 誤った情報（幻覚）b. 有害なコンテンツc. 代表性・配分・サービスの質の害
d. 偽情報と影響⼯作
e. 通常及び⾮通常兵器の拡散
f. プライバシー
g. サイバーセキュリティ
h. 突然出現する危険な⾏動の可能性
i. 他システムとの相互作⽤
j. 経済的影響
k. （技術開発の）加速
l. 過度の依存
以下ではいくつかの観点から他の記事や論⽂を紹介する。

55

https://cdn openai com/papers/gpt-4-system-card pdf

16コラム：OpenAI 社が認識している GPT-４の ELSI
2023 年 3 ⽉に OpenAI 社は GPT-4 に関する「システム・カード」56を発表し、下記の通り、12 のリスクを指摘している。
誤った情報（幻覚）（Hallucinations）
特定の情報源に関しては、無意味または誤ったコンテンツが、真実であるかのように、⽣成されてしまうリスクが懸念されている。
モデルで⽣成されるアウトプットの納得性が向上し、過剰依存が⽣じるほど、「幻覚」は問題となる。⽣成 AI からのアウトプットのみならず、
情報環境全体への悪影響が懸念されている。
有害なコンテンツ（Harmful Content）
GPT-4-early は、ヘイトスピーチ、差別的な⾔葉、暴⼒の扇動、または虚偽の物語を広めた
り、個⼈を搾取したりするために使⽤されるコンテンツを⽣成できることが確認された。
代表性、配分、サービスの質の害（Harms of representation, allocation, and quality ofservice）
GPT-4-early および GPT-4-launch が社会的バイアスおよび特定の世界観を強化し、特に、疎外されたグループに対する、有害なステレオタイプおよび侮辱的なコンテンツを再⽣産することが確認された。機会や資源の提供に関する意思決定や情報提供で GPT-4 が使われることによる危害が懸念されている。
偽情報と影響⼯作 (Disinformation and Influence Operations)
GPT-4 は、GPT-3 より現実性の⾼い、ターゲティングされたコンテンツを作成できることが期待されるため、ミスリーディングな情報の⽣成のために活⽤されるリスクがある。
通 常 及 び ⾮ 通 常 兵 器 の 拡 散 （ Proliferation of Conventional and Unconventional
Weapons）

56

https://cdn openai com/papers/gpt-4-system-card pdf

17

GPT-4 のような⼤規模⾔語モデル（LLM）は、デュアル・ユースの可能性を伴うため、GPT4 は、兵器拡散に関する情報へのアクセスのハードルを下げてしまうという懸念がある。
プライバシー（Privacy）
GPT-4 の学習データは公開されている個⼈に関する情報を含むため、個⼈に関する情報を獲得することに活⽤されるリスクがある。
サイバーセキュリティ（Cybersecurity）「幻覚」などの限界が存在する⼀⽅で、サイバー攻撃のコストが削減されるリスクがある。
また、ソーシャルエンジニアリング（個⼈情報を漏らすように、個⼈を詐欺⽬的で操作すること）に活⽤されるリスクがある。
突然出現する危険な⾏為の可能性（Potential for Risky Emergent Behaviors）
強⼒なモデルにおいて、⻑期計画を作成し、計画に基づいて⾏動する能⼒や、権⼒と資源を求め、蓄積する能⼒など、新しい機能が現れることがある。
他システムとの相互作⽤（Interactions with other systems）
他システムと併せて活⽤されることによって、悪意のある使い⽅の可能性が広がる。
経済的影響（Economic Impacts）
GPT-4 の導⼊は、特定の職の⾃動化を可能とすることにより、労働者の置き換えが⽣じるリ
スクがある。歴史的には、新しい技術の導⼊は、格差の拡⼤や、特定の（脆弱な）グループへの悪影響を及ぼしてきた。また、クエリごとに⼀つの応答が返されることにより、既存のプレイヤーが定着するリスクも伴う。その例として、システムに対して、パン屋に関する情報を求めた場合、特定の⼀つのパン屋しか勧められていないことが挙げられている。
（技術開発の）加速（Acceleration）
技術開発が加速し、競争が進むと、安全基準の低下や「悪い」規範の拡散が懸念されている。
過剰依存（Overreliance）
モデルの拒否動作を改良し、コンテンツ・ポリシーに反するリクエストをより厳格に拒否す
るように調整した⼀⽅で、安全に実⾏できるリクエストに対してよりオープンになった。しかし、GPT-4 は応答で「ヘッジ」する傾向を⽰すことが確認され、初期的な研究では、ユーザーはこのような慎重なアプローチを⽰すモデルをより信頼すると報告されている。信頼が18

増すと、過剰な依存につながるリスクがある。

2.3.1.

データ＜インプットの課題：学習データの透明性＞
n Gebru ら（2021）57は、透明性の向上のために、機械学習の開発過程で使われる学習データ（データセット）の特徴などを記録することの重要性を指摘している。“Datasheet”と呼ばれる記録において、データセットに関する複数の項⽬（データセットが作成された動機、データセットの構成、データの収集⽅法、アノテーションの⽅法、活⽤、配布、管理）を記録するよ
うに呼びかけている。しかし、⼤規模⾔語モデル（LLM）は膨⼤なデータセットに依存しているため、“documentation debt”（記録の負債）が発⽣するリスクを Bender ら（2021）58 が指摘している。Documentation debt とは、データセットに関する記録が存在しない状態を指し、データセットが⼤きすぎるため、事後的に記録することも不可能である状況を指す。記録がなく、学習データの特徴が理解されないと、認知されている課題も、未知の課題も解消
しようとすることはできず、不服申⽴てもできず、損害が永続させられると Bender らは主張している。
＜インプットの課題：労働者の搾取＞
n TIME 誌が 2023 年 1 ⽉ 18 ⽇、OpenAI 社が、学習データから有害なコンテンツを取り除く
具体的ための作業を時給 2 ドル以下でケニア⼈労働者に外注していたことを明らかにした59。
には、ケニアにおける外注パートナーである Sama 社を通して、インターネットから得られた有害な何万ものテキストの断⽚が送られ、それらへのラベル付けが⾏われた。作業は精神的な苦痛を伴うもので、労働者の⼼的外傷が原因で予定より 8 カ⽉早い 2022 年 2 ⽉に OpenAI社向けの仕事はすべてキャンセルされたという。また、データ・ラベラーたちの⼿取り賃⾦
は、年功や業績に応じて時給約 1.32 ドルから 2 ドルの間であった。記事の著者は「AI はその華やかさとは裏腹に、しばしば南半球の隠れた⼈間労働に依存しており、それはしばしば有57

Gebru T, Morgenstern J, Vecchione B, Vaughan JW, Wallach H, Daumé III H, et al Datasheets for Datasets [Internet] arXiv 2021 doi:

https://doi org/10 48550/arXiv 1803 09010
58

Bender EM, Gebru T, McMillan-Major A, Shmitchell S On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency Virtual Event Canada: ACM 2021 doi:
https://doi org/10 1145/3442188 3445922
59https://time com/6247678/openai-chatgpt-kenya-workers/

19

In:

害で搾取的である。」と記している。
2.3.2.

著作権

n 画像⽣成 AI と同様、インプットデータの著作権とアウトプットデータの著作権に分かれ、論点も多くは共通している。
n テキスト⽣成 AI システムが著作権で保護されているトレーニングデータを使⽤してもよいのか、現時点では答えは明らかではない。⽶国では「Google Books 事件」判決が⼀定程度参考になると指摘されており、そこでは、書籍のデジタルコピーをスキャンし、その検索機能を⼀般に公開したことは「フェアユース」であるとみなされた。ただし⽣成された作品が、著作権に保護された作品と市場において直接競合する場合はそうはみなされない可能性がある60。
n ⽣成 AI モデルは膨⼤なデータでトレーニングされているが、それらはウェブサイトなどから
スクレイピングにより収集されていると考えられ、それらの中には著作権等で保護されたものが含まれている可能性がある。画像⽣成 AI と違って、LLM のプロバイダーへの訴訟などは起こされていないようであるが（2023 年 3 ⽉時点）、欧州⼀般データ保護規則（GDPR）に違反している可能性が指摘されている（４．おわりに を参照）。
2.3.3.

バイアス

n Abid ら（2021）61 によると⼤規模⾔語モデル（LLM）は、イスラム教徒と暴⼒の持続的な関連付けといったような望ましくないステレオタイプを表⽰しがちであるとして、⾔語モデルの有害なバイアスを体系的に低減するための新しいアプローチが必要であるとした。
n ⽣成 AI に⽣じ得る「バイアス」の定義が争われ、⽶国では、ChatGPT は左派のバイアスを⽰していると右派のコメンテーターが主張している62。また、この現象を”Woke AI”と呼び、Elon
ベンチャーキャピタリストである、Meta 社の取締役会の Marc
Musk らが懸念を⽰している63。
Andreessen ⽒は、「AI に向けられるであろう検閲圧⼒のレベルと、その結果として⽣じる反60

https://www jdsupra com/legalnews/generative-ai-copyright-overview-part-1-6310064/

61

Abid A, Farooqi M, Zou J Large language models associate Muslims with violence Nature Machine Intelligence 2021; 3: 461-463 doi:

https://doi org/10 1038/s42256-021-00359-2
62https://www washingtonpost com/technology/2023/02/24/woke-ai-chatgpt-culture-war/

63

https://www theinformation com/articles/fighting-woke-ai-musk-recruits-team-to-develop-openai-rival

20

発は、⽂明の次の世紀がどのようになるかを決めるだろう」と予測している64。
n Nozza ら（2022）65 は、複数の⼤規模⾔語モデル（LLM） のアウトプットを分析し、LGBTQIA＋に対して有害なアウトプットが⽣じる確率を明らかにした。Nozza らは LGBTQIA＋に関す
る未完成の⽂章をテンプレートとして作成した。LLM がテンプレートを完成した際に、⽣成された単語は７％の確率で有害であり、⽣成された⽂章は 13% の確率で有害であった。例えば、”The transgender is a” （トランスジェンダーは）というテンプレートを、”disability”（障害である）で埋めた。
n Bender ら（2021）66 ,は⼤規模⾔語モデルの性質を分かりやすく表現するために “stochastic
parrots” （確率的オウム）という造語を作り、内容が理解されないまま、⼈間の⾔語と知識がそれらのモデルによって再⽣産されている点を強調している67。
n LLM には “common token bias”（⼀般的なトークンバイアス）が⽣じることを Munn ら（2023）68が指摘している。トークンとは、4 ⽂字程度の⽂字列を⽰し69、common token bias
は、ある⽂字の組み合わせが学習データに含まれている回数が多いほど、アウトプットされる可能性も⾼くなる現象を指す70。例えば、国の名前を挙げる際には、学習データに頻繁に現れる「アメリカ」をアウトプットする傾向が⾒られる。Munn らはこの common token bias
で⽣じる⼆つの懸念点を挙げている：
a. ⾔語モデルは、根拠の薄い社会的通念を真実であるかのように⽣成 AI によってアウトプッ
トされ、ジャーナリズムや法務等の分野で再⽣産されるリスクがある。
b. 歴史的、⼈種的、⽂化的などの偏⾒が再⽣産され、家⽗⻑主義や英語圏中⼼主義に基づい64

https://www washingtonpost com/technology/2023/02/24/woke-ai-chatgpt-culture-war/

65

Nozza D, Bianchi F, Lauscher A, Hovy D Measuring Harmful Sentence Completion in Language Models for LGBTQIA+ Individuals In:

Proceedings of the Second Workshop on Language Technology for Equality, Diversity and Inclusion Dublin, Ireland: Association for Computational
Linguistics 2022 doi: http://dx doi org/10 18653/v1/2022 ltedi-1 4
66

Bender EM, Gebru T, McMillan-Major A, Shmitchell S On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

In:

Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency Virtual Event Canada: ACM 2021
https://dl acm org/doi/10 1145/3442188 3445922; https://nymag com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender html
67

https://www emergingtechbrew com/stories/2023/03/07/how-google-s-2021-ai-ethics-debate-foreshadowed-the-future

68

Munn L, Magee L, Arora V Truth Machines: Synthesizing Veracity in AI Language Models arXiv 2023 doi:

https://doi org/10 48550/arXiv 2301 12066
69

https://gpttools com/estimator

70

Zhao TZ, Wallace E, Feng S, Klein D, Singh S Calibrate Before Use: Improving Few-Shot Performance of Language Models arXiv 2021 doi:

https://doi org/10 48550/arXiv 2102 09690

21

た「知識」や「真実」を再⽣産しながらも、グローバルサウスやフェミニズムから⽣じる「知識」を疎外してしまうリスクも⽣じる71。
n ⼤規模⾔語モデル（LLM）は真実の事実上の仲裁者になりながらも、真実をどのように定義づけるか、また真実を検証や評価する⽅法については、合意が成り⽴っていない、と Munn ら（2023）72や Mokander ら（2023）73が指摘している。「真実」は LLM のアキレス腱である、と⽰唆されている。
特に、ChatGPT の学習データを提供したコモン・クロール（Common Crawl）
や WebText2 といったデータセットの⼀部は、電⼦掲⽰板 Reddit から抽出されているということが Munn らに問題視されている。Reddit には 14 万弱の”subreddit”と呼ばれているコ
ミュニティが存在し、各 subreddit にはあるテーマが扱われている。各 subreddit において、独⾃の世界観や「真実」のある社会的マイクロワールドが創造されるため、Reddit を学習データとしている LLM にはバイアスが組み込まれていると Munn らが主張する。
n また、Bender ら（2021）74はインターネットから収集された学習データの規模の⼤きさは多様性を保証しないことを指摘している。情報格差等により、また、学習データの収集やフィ
ルタリングの過程を通して、覇権的な声や視点に特権が与えられ、マイノリティの声が拾われていないことを懸念している。多様性に関する課題の⼀例として、Chan（2023）75に指摘されているように、GPT-3 のデータセットに含まれているテキストの 93%は英語であり、7％のみが他⾔語のものであることが挙げられる。
2.3.4.

プライバシー＆セキュリティ

n 企業秘密、未公開の研究情報、患者の医療情報、国家機密といった機微な情報を、ChatGPTを含む⼤規模⾔語モデル（LLM）にプロンプトとしてインプットすることのリスクが指摘されている。1 つは、ChatGPT などの LLM は⼈々が⼊⼒した内容を将来的にトレーニングデ

71

Munn L, Magee L, Arora V Truth Machines: Synthesizing Veracity in AI Language Models arXiv 2023 doi:

https://doi org/10 48550/arXiv 2301 12066
72

Munn L, Magee L, Arora V Truth Machines: Synthesizing Veracity in AI Language Models arXiv 2023 doi:

https://doi org/10 48550/arXiv 2301 12066
73

Mökander J, Schuett J, Kirk HR, Floridi L Auditing large language models: a three-layered approach arXiv 2023 doi:

https://doi org/10 48550/arXiv 2302 08500
74

Bender EM, Gebru T, McMillan-Major A, Shmitchell S On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

In:

Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency Virtual Event Canada: ACM 2021 doi:
https://doi org/10 1145/3442188 3445922
75

Chan, A GPT-3 and InstructGPT: technological dystopianism, utopianism, and “Contextual” perspectives in AI ethics and industry AI and Ethics

2023; 3: 53-64 doi: https://doi org/10 1007/s43681-022-00148-6

22

ータとして利⽤する可能性があるために、他⼈からの質問への回答の中に内容が漏洩する可能性があることである。もう 1 つはチャットボットとの会話などの利⽤履歴データの漏洩事
故がたびたび起こっていることである。

n データセキュリティ会社の Cyberhaven 社による最近の調査では、3 ⽉ 21 ⽇現在、8.2%の従業員が職場で ChatGPT を使⽤し、6.5%が会社データを貼り付けているという76。
ChatGPT の利⽤は労働者の⽣産性を上げる可能性がある⼀⽅で、JP モルガンやベライゾンなどの企業は、機密データへの懸念から ChatGPT へのアクセスをブロックしているという。
n 2023 年 3 ⽉、OpenAI 社は ChatGPT において情報漏洩（他のアクティブなユーザーのチャット履歴のタイトルが閲覧可能になる；ユーザーに別のユーザーの⽒名、メールアドレス、
住所、クレジットカード番号の下 4 桁、カードの有効期限が表⽰される問題）が⽣じ、対処したことを報告した77。
n 2023 年 3 ⽉に、サイバーセキュリティ会社の Darktrace 社は、ChatGPT のリリース以降、
AI を活⽤した詐欺の増加を指摘している。
⽣成 AI を活⽤することによって、より洗練された、かつ巧妙な電⼦メールによる詐欺の増加が報告されている78。
n 英国政府の国家サイバーセキュリティセンター（NCSC）は上記のような懸念を指摘したうえ
で、3 ⽉ 14 ⽇付のブログ記事において次の 2 点を推奨している79。
a. 公開 LLM へのクエリ（問い合わせ）に機微な情報を含めないこと。
b. 公開された場合に問題になるようなクエリ（問い合わせ）を公開 LLM に提出しないこと。
また、「プライベート LLM」として完全にセルフホスティングすることでセキュリティリス
クを下げることは可能であることが指摘されている。NSCS は同時に、LLM を利⽤すること
で、より説得⼒のあるフィッシングメールが届くようになることが予想されることも指摘している。ただし、スキルの低い攻撃者にも攻撃⼒の⾼いマルウェアを作成できてしまうリス

76

https://www cyberhaven com/blog/4-2-of-workers-have-pasted-company-data-into-chatgpt/

77

https://openai com/blog/march-20-chatgpt-outage

78

https://www theguardian com/technology/2023/mar/08/darktrace-warns-of-rise-in-ai-enhanced-scams-since-chatgpt-release79

https://www ncsc gov uk/blog-post/chatgpt-and-large-language-models-whats-the-risk

23

クは現時点では低いとされている。
2.3.5.

情報環境へのインパクト＜誤情報の拡散＞n Lin ら（2022）80は⼤規模⾔語モデル（LLM）により⽣成されたアウトプットの「真実性」（truthfulness）を評価したところ、⼀般的な誤解を模倣し、⼈間を欺く可能性のある多くの
誤った回答を⽣成していることを明らかにした。また、最⼤規模の LLM の真実性が最も低いとし、誤った解答の規模は微妙な不正確さから重⼤な誤りや「幻覚」まで様々であるとした。
これらの結果を踏まえ、誤⽤や悪⽤が⽣じてしまうリスクを指摘した。
n Google と Microsoft のチャットボット同⼠がすでにお互いを引⽤し合うという状況が⽣まれていることが指摘されている81。このことは、⽣成 AI が⽣成したコンテンツが、⽣成 AI のト
レーニングデータとして利⽤されることで、誤情報や偽情報が固定化されてしまう可能性が⾼まることを⽰している。AI の⾔語モデルには、事実と虚構を確実に区別する能⼒がないた
め、情報量が増えるとそれだけ学習が強化されていくことになる。
＜悪⽤・誤⽤＞
n 悪意のある⾏為者がプロパガンダを⾏うためのコストを⼤きく下げてしまうことが指摘されている82。GPT-3 が公表された際にも、OpenAI 社はこのソフトウェアがスパムやフェイクニ
ュース、プロパガンダの⼤量作成に利⽤されることを懸念し、アクセスを制限した。
n OpenAI 社の研究者は、ジョージタウン⼤学の Center for Security and Emerging Technology
および Stanford Internet Observatory と共同で、⼤規模⾔語モデル（LLM）が情報操作のためにどのように悪⽤される可能性があるか、
またそうした脅威を軽減させる⽅法について 1 年
以上にわたって調査し、2023 年 1 ⽉、報告書「⽣成⾔語モデルと⾃動化された影響⼒⾏使：
新たな脅威と緩和策の可能性」を公表した83。影響⼒⾏使は ABC84、つまり⾏為者（Actor）、
⾏動（Behavior）、内容（Content）から分析され、軽減策は（1）モデルの構築、（2）モデ

80

Lin, S , Hilton, J & Evans, O TruthfulQA: Measuring How Models Mimic Human Falsehoods https://doi org/10 48550/arXiv 2109 07958 (2022)

81

https://www theverge com/2023/3/22/23651564/google-microsoft-bard-bing-chatbots-misinformation

82

https://www oreilly com/radar/ai-powered-misinformation-and-manipulation-at-scale-gpt-3/

83

https://openai com/blog/forecasting-misuse/

84

François C Actors, Behaviors, Content: A Disinformation ABC 2019https://www ivir nl/publicaties/download/ABC_Framework_2019_Sept_2019 pdf

24

ルへのアクセス、（3）コンテンツの普及、（4）信念の形成、の 4 段階に沿って、技術的実⾏可能性、社会的実⾏可能性、ネガティブリスク、効果の 4 側⾯について検討された。
n ハーバード⼤学の Sanders と Scheneier は、ChatGPT がロビイングで活⽤された場合の⺠主主義へのリスクを懸念している85。
n OpenAI 社は ChatGPT のコンテンツモデレーションにより、ヘイトスピーチや暴⼒的なコン
テンツ、偽情報や違法⾏為に関する情報のアウトプットに制限をかけている⼀⽅で、それらの制限を回避する⽅法が開発されていることを Guardian 紙が報告した86。
＜アウトプットのアカウンタビリティ＞
n ⼤規模⾔語モデル（LLM）が不正確な情報を⽣成した場合に誰がその責任を負うことになるのか、明らかにしておく必要がある。そのため、OpenAI 社は利⽤規約において、個別の法的アドバイス、⾦融アドバイス、医療アドバイス、そして法執⾏や刑事司法、移⺠と亡命に関することなどの⾼リスクな政府意思決定に利⽤することを禁じている。
n Mokander ら（2023）87は、既存の AI 監査⼿続きではうまくいかない原因となる、⼤規模⾔語モデル（LLM）特有の４つの課題を指摘したうえで、3 つのレベルで監査を⾏うことを提案している。4 つの課題とは、①⽣成性（generativity）、②創発性（emergence）、③現実世界モデルの⽋如（lack of grounding）、④モデル⾃体へのアクセスの⽋如（lack of access）
である。3 つのレベルでの監査とは、①ガバナンス監査、②モデル監査、③適⽤⽅法の監査、である。これら 3 つのレベルでの監査結果は相互に監査のインプットとなる。
n あるテキストが AI によって⽣成されたものかどうかを検出するためのツールの開発が進められ、⽣成 AI の開発者と検出ツールの開発者の間の軍拡競争（arms race）に発展すると予測されている。⽣成 AI によって⽣成されたテキストには、AI モデル特有の「指紋（fingerprint）」
が存在すると考えられている。各モデルの開発には、元となった学習データが異なるため、それぞれのモデルのアウトプットには、学習データの偏りで⽣じる表現や語彙の特徴や差異が存在する。今後は、これらの指紋を検出することが事業化されることが予測されている⼀⽅

85

https://www nytimes com/2023/01/15/opinion/ai-chatgpt-lobbying-democracy html

86

https://www theguardian com/technology/2023/mar/08/chatgpt-alter-ego-dan-users-jailbreak-ai-program-to-get-around-ethical-safeguards

87

Mökander J, Schuett J, Kirk HR, Floridi L Auditing large language models: a three-layered approach arXiv 2023 doi:

https://doi org/10 48550/arXiv 2302 08500

25で、⽣成 AI のモデルも、指紋の検出を回避するように開発されると考えられている88。
2.3.6.

⾃然環境へのインパクト

n ⼤規模⾔語モデル（LLM）の活⽤の範囲とその規模を考慮すると、優先順位の最も⾼い検討
事項は環境へのインパクトであると Bender ら（2021）89が指摘している。なぜならば、LLMの環境コストと経済的コストは、それらの活⽤からの利益を得る可能性が最も低く、害を受ける可能性が最も⾼い、疎外されたコミュニティを⼆重に罰するためである。
n Microsoft 社の Bing 検索エンジンに⽣成 AI が導⼊された場合には、従来の検索との⽐較で、4 倍から５倍程度の追加のコンピューティング・パワーを要すると推測されており、ChatGPTが 2021 年以降の情報に対応していないのも、コンピューティングを削減するためであることが報告されている90。
n GPT-3 は few-shot generalization という⼿法を活⽤するため、各タスクの実施のために度々学習させる必要が軽減され、エネルギー効率は他モデルより優れているが、学習による CO2の排出は 552 t であり、エネルギー消費は 1287 MWh であることを Patterson ら（2021）
91が報告している。

2.3.7.

⾼度な AI システムで⽣じるリスク

n OpenAI 社は、競争の観点とともに安全性の観点を挙げて GPT-4 の詳細を公開しないと決定したとされるが、LLM のような社会に対するインパクトの⼤きな技術の中⾝が⼀⺠間企業に委ねられてしまうことの是⾮は今後議論になると思われる。
n LLM の仕組みがきちんと説明され、⼈々に理解されないと、⽶国上院の Murphy 議員（コネ
チカット州選出）のように、ChatGPT が「⾼度な化学（chemistry）を独学で学んだ」と主張し、まるで AI が⼈間のクリエイターから何のインプットもなく、⾃律的な学んでいるかのよ
うに誤解してしまうことが起こりうる92。ただし当議員は、AI 研究者らからの指摘を受けて発88https://www oreilly com/radar/ai-powered-misinformation-and-manipulation-at-scale-gpt-3/

89

https://www theguardian com/technology/2023/mar/08/darktrace-warns-of-rise-in-ai-enhanced-scams-since-chatgpt-release90

https://www wired com/story/the-generative-ai-search-race-has-a-dirty-secret/?redirectURL=https%3A%2F%2Fwww wired com%2Fstory%2Fthe-

generative-ai-search-race-has-a-dirty-secret%2F
91

Patterson D, Gonzalez J, Le Q, Liang C, Munguia LM, Rothchild D, et al Carbon Emissions and Large Neural Network Training arXiv 2021 doi:

https://doi org/10 48550/arXiv 2104 10350
92

https://www gizmodo com au/2023/03/how-a-senators-misguided-tweet-can-help-us-understand-ai/

26

⾔を修正したとされる。

3. 分野ごとの反応
3.1. 教育分野
n The Daily がソーシャルメディアアプリ Fizz でスタンフォード⼤学の学⽣に対して 2022 年 1
⽉ 9 ⽇から 1 ⽉ 15 ⽇まで実施した匿名投票によると、4,497 ⼈の回答者の 17％が秋学期の課題や試験を⽀援するために ChatGPT を使⽤したと回答したという93。約 6 割の学⽣は「ブレインストーミング、アウトライン作り、アイデア形成」に利⽤したと回答し、ChatGPT から直接ほとんど編集せずに⽂章を提出したと回答した学⽣は 5.5％に過ぎなかった。
n ChatGPT は、教師にとって、テストの採点、報告書やメールの返事を書くといった仕事にかかる時間を減らし、⼦どもたちに教える時間を増やしてくれるという⾒⽅もある94。
n Pickell and Doak (2023）95は⼤学教員向けに、レポート作成の剽窃対策として、ChatGPT が対応していない 2022 年以降の観点を求めることや、個⼈の経験について述べてもらうことなどの対応策を提案している。
n ⽶ヴァンダービルト⼤学では、ミシガン州⽴⼤学において発⽣した銃乱射事件を受けて学⽣に送信したメールに ChatGPT を使⽤していたことが発覚した。メールには、「Paraphrasefrom OpenAI's ChatGPT AI language model, personal communication, February 15, 2023」との記載があり、批判が集まった。⼤学側は、共感を⽋く対応について謝罪した96。

3.2. マーケティング分野
n Jasper 社はマーケティングに特化した GPT-4 で、ブログ、ソーシャルメディア投稿、ウェブ
コピー、セールスメール、広告、それらに付随する画像等、顧客向けコンテンツを作成するこ93

https://stanforddaily com/2023/01/22/scores-of-stanford-students-used-chatgpt-on-final-exams-survey-suggests/

94

https://www businessinsider jp/post-264123

95

Pickell, Travis Ryan and Doak, Brian R Five Ideas for How Professors Can Deal with GPT-3

For Now Faculty Publications - George Fox Schoolof Theology 2023; 432 https://digitalcommons georgefox edu/ccs/432/96

https://www theguardian com/us-news/2023/feb/22/vanderbilt-chatgpt-ai-michigan-shooting-email27

とができるとしている97。
n DALL-E 2 をはじめとする画像⽣成ツールは、すでに広告に利⽤されており、 「AI を活⽤して制作・創作をスムーズに⾏うという業務プロセスが⼀般化するでしょう」と指摘されている98。
n Noy and Zhang (2023) 90 の公開したプレプリントによると、マーケターや⼈事担当者、コンサルタント 444 名を対象とした介⼊研究において、プレスリリース等を含む⽂章の作成に
ChatGPT を活⽤することで作業時間が 10 分程度短縮することを報告している。同報告は、仕事に対する従事者の満⾜感を向上させることについても⽰唆している。
nSalesforce 社は、2023 年 3 ⽉、CRM（Customer Relationship Management）向けの⽣成
AI である Einstein GPT を発表した。Einstein GPT を活⽤することで、マーケティングの観点ではパーソナライズされたコンテンツを動的に⽣成し、電⼦メール、モバイル、Web、広告を通して顧客や⾒込み客を獲得することができるとしている99。

3.3. 学術出版分野
n Nature 誌は、すべての Springer Nature ジャーナルとともに、2 つの原則を策定し、既存の著者向けガイド100に追加した101。1 点⽬は、⼤規模⾔語モデル（LLM）ツールが研究論⽂のクレジットされた著者として認められることはないだろうということ。著作権の帰属には研究成果に対する説明責任を伴うが、AI ツールにはそのような責任を負わせることができないからである。2 点⽬は、LLM ツールを使⽤する研究者は、その使⽤⽅法を「⽅法」か「謝辞」に記載する必要があるということ。論⽂にこれらの項⽬がない場合は序⽂か他の適切なセクションに記載すべきである。
n Science 誌は、AI ツールを著者として認めないことを明⽰している。それだけでなく、AI、
機械学習、類似のアルゴリズムツールから⽣成された⽂章は編集者の明確な許可なしに使⽤することができないとしている。加えて、図や画像、グラフィックについてもこれらのツール

97

https://www jasper ai/

98

https://dentsu-ho com/articles/8322

99

https://www salesforce com/news/press-releases/2023/03/07/einstein-generative-ai/

100

https://www nature com/nature/for-authors/initial-submission

101

Editorial Tools such as ChatGPT threaten transparent science; here are our ground rules for their use, Nature 2023; 613: 612 doi:

https://doi org/10 1038/d41586-023-00191-128から⽣成されたものは認められない。なお、このポリシーに反する場合は研究不正に該当するとの記載もある102,103。
n PNAS 誌は、PNAS 誌および PNAS Nexus 誌のオーサーシップおよび編集⽅針を更新し、⽅法（これがない場合は、謝辞）に⽣成 AI を使⽤したことを記載する必要があるとした。また、オーサーシップの基準は満たさないものとしている。これは、透明性と説明責任を担保するためのものである104。
n Elsevier 社は、著者が執筆プロセスにおいて⽣成 AI や AI ⽀援技術を使⽤する場合、これらの技術は読みやすさや⾔語を改善するためにのみ使⽤されるべきであるとしている。AI は権威的に聞こえる出⼒を⽣成することができるが、不正確であったり、不完全であったり、偏っていたりすることがあるため、技術の適⽤は⼈間の監視と管理の下で⾏われるべきであり、著者は結果を慎重に確認し編集する必要がある。著作物の内容については、著者が最終的な責
任と説明責任を負う。著者は、AI および AI ⽀援技術の使⽤について原稿で開⽰する必要があり、公表された著作物にはステートメントが掲載される予定である。これらの技術の使⽤を宣⾔することは、著者、読者、査読者、編集者、投稿者間の透明性と信頼をサポートするものであり、関連するツールや技術の使⽤条件の遵守を容易にする105。
n Taylor & Francis 社は、学術研究において AI ツールの利⽤が増加していることを認識しており、適切かつ責任を持って使⽤される場合、そのようなツールは研究成果を増⼤させ、知識による進歩を促進する可能性を秘めていると考えていとの⾒解を⽰した。その上で、著者としては認められず、使⽤について適切に記載されなければならないとしている106。
n プレプリントサーバ arXiv は、
⽣成 AI ⾔語ツールが有⽤で役⽴つ結果を⽣み出すだけでなく、エラーや誤解を招く結果を⽣み出す可能性があることに注⽬している。このため、使⽤について著者に⽅法として適切に記載するように求めると共に不適切な⾔語、剽窃されたコンテ
ンツ、偏ったコンテンツ、エラー、間違い、誤った参照、または誤解を招くコンテンツを⽣成し、その出⼒が科学的著作物に含まれる場合、それは著者の責任であることを述べている107。

102

https://www science org/content/page/science-journals-editorial-policies

103

井出和希 ⽣成 AI とオーサーシップ：国際誌の対応動向 ⽇本薬理学雑誌 2023, in press

104

https://www pnas org/post/update/pnas-policy-for-chatgpt-generative-ai

105

https://www elsevier com/about/policies/publishing-ethics#Authors

106

https://newsroom taylorandfrancisgroup com/taylor-francis-clarifies-the-responsible-use-of-ai-tools-in-academic-content-creation/107

https://info arxiv org/help/moderation/index html#policy-for-authors-use-of-generative-ai-language-tools29

n これまで、AI は学術界において盗作を防ぐためのツールであったが、Dehouche (2021) 108
は、⽣成 AI の開発により、従来の「盗⽤（plagiarism）」の定義を再考する必要があると主張している。

3.4. ジャーナリズム分野
n 2023 年 1 ⽉ 12 ⽇付の Futurism の記事で、2022 年 11 ⽉頃から CNET が、⾦融セクションの解説記事に"CNET Money Staff "という呼称で「⾃動化技術」を使っていた、つまり AI が⾃動で記事を作成していたことが明らかにされた109。AI による記事作成についての公式発表はなく、”CNET Money Staff”をクリックして初めて「この記事は、AI エンジンによる⽀援と、
編集スタッフによる審査、事実確認、編集が⾏われた。」110と表⽰されるため、多くの読者はそのことに気づかなかった。Red Venture 社が所有する同社はその後、AI ツールの使⽤を⼀時停⽌するとともに、この技術の助けを借りて書かれた記事の半分以上に間違いが⾒つかったという111。
n デジタルメディア企業の BuzzFeed の CEO である Jonath Peretti ⽒は 1 ⽉末、スタッフへのメモにおいて、個⼈向けにカスタマイズされたコンテンツなどを OpenAI 社の技術を使って作成するなど、運営に AI を導⼊する意向を⽰したことが Wall Street Journal 紙によって報じられた112。これを受けて株価は 2 倍以上に跳ね上がったという。
n ドイツのメディアグループ Axel Springer 社は、⾃動化と⽣成 AI の導⼊により、⼈員削減の準備を進め、今後は調査報道と独⾃のコメンタリーに注⼒することを発表した。英国の新聞
紙 Daily Mirror と Daily Express においても、ChatGPT の可能性を探る検討会が⽴ち上げられたという113。
n 出版業界は、ChatGPT などの AI ツールのトレーニングに⾃社コンテンツがどれくらい使われているかに関⼼をもっているという114。調査結果によっては補償を求めたり、法的措置を

108

Dehouche N Plagiarism in the age of massive Generative Pre-trained Transformers (GPT-3) Ethics in Science and Environmental Politics 2021;

21: 17-23 doi: https://doi org/10 3354/esep00195
109

https://futurism com/the-byte/cnet-publishing-articles-by-ai

110

https://www cnet com/profiles/cnet%20money/

111

https://www theverge com/2023/1/26/23572834/buzzfeed-using-ai-tools-personalize-generate-content-openai

112

https://www wsj com/articles/buzzfeed-to-use-chatgpt-creator-openai-to-help-create-some-of-its-content-11674752660?mod=djemalertNEWS

113

https://www theguardian com/technology/2023/mar/01/german-publisher-axel-springer-says-journalists-could-be-replaced-by-ai

114

https://www wsj com/articles/publishers-prepare-for-showdown-with-microsoft-google-over-ai-tools-6514a49e30

⾏ったりする可能性も⽰唆されている。⽣成 AI ツールの回答においてニュースソースへのリンクが提供されるかどうか、そのリンクへのクリック率がどれくらいかにも依存する。テック
業界と出版業界の間ではこれまでもコンテンツの使⽤料について論争が続いてきたが、⽣成AI のトレーニングデータとしての使⽤という新たな問題が追加された形となる。
n オックスフォード⼤学にあるロイタージャーナリズム研究所は、AI がジャーナリズムに与える影響について、5 ⼈の AI 専⾨家の意⾒を紹介した115。彼らは、ChatGPT のような AI 技術
が、情報収集や報道の⾃動化などの分野での利⽤に⼤きな潜在的な価値があるうえに、AI が報道の偏りや不正確な情報を排除することができる可能性もあると指摘した。他⽅、彼らはまた、AI が信頼性のある情報源との区別をつけることや倫理的な課題に対処することが困難であることも指摘した。結論としては、AI が⼈間のジャーナリストを完全に置き換えることはないだろうと考えている。

3.5. エンターテインメント分野
n 2023 年 1 ⽉ 31 ⽇、Netflix は AI ⽣成画像を背景に採⽤したアニメ「⽝と少年」を公開した
116。アニメ制作と並⾏してアニメ背景画⽣成ツールの共同開発にも挑戦し、アニメの背景美術制作を最新技術によって補助できるかどうかの実験と位置付けられている。背景デザイナ
ーには「AI（+Human）」と記載されている。
n 2022 年 10 ⽉ 20 ⽇、イラスト・漫画・⼩説の投稿や閲覧を⾏うインターネットサービスである pixiv は、AI ⽣成作品の取り扱いに関するサービスの⽅針を出した117。その後、2022 年 10
⽉ 30 ⽇、AI ⽣成作品の取り扱いに関する機能をリリースした118。投稿時に使⽤の有無を記載したり、検索時にフィルタリングにより表⽰を減らしたりすることができるとされている。また、ランキングにおいても AI ⽣成作品を他の作品と分けるとしている。

3.6. 司法分野
n コロンビアのカルタヘナ市の第 1 巡回裁判所を管轄する Juan Manuel Padilla Garcia 判事は、

115

https://reutersinstitute politics ox ac uk/news/chatgpt-threat-or-opportunity-journalism-five-ai-experts-weigh116

https://about netflix com/ja/news/the-dog-and-the-boy

117

https://www pixiv net/info php?id=8710

118

https://www pixiv net/info php?id=8728&lang=ja

31

ChatGPT を使って事件に関する法的質問を投げかけ、ChatGPT とのやりとりが 2023 年 1 ⽉
30 ⽇付の裁判⽂書に記載されている119。ただし、AI は主に判決の起草を効率的に進めるために使⽤され、その回答はきちんと事実確認されたことが書かれている。
n OpenAI 社の GPT-4 は、⽶国の司法試験の模擬試験において、受験者の上位 10％程度のスコアで合格したとされる120。
n 弁護⼠の松尾剛⾏⽒は ChatGPT 等の⼤規模⾔語モデル（LLM）の弁護⼠実務への影響をまとめた⽂書において、技術的制約として、1）根拠が分からない（不透明）なこと、2）新しいこと/データが少ないことに答えられないこと、3）本質的には「分かっていない」まま「データが多い」分野について振る舞いが上⼿くなっていくだけであること、4）操作・攻撃の可能性、5）責任を取らないこと、6）コミュニケーション、を挙げた121。そのうえで、弁護⼠⾃⾝ができることの⽀援に使ったり、弁護⼠⾃⾝ができないことを実施したり、それらのことを通して業務を可視化するといった活⽤の⽅向性を⽰唆した。

3.7. 医療分野
n GPT-3 の医療⽤の活⽤は OpenAI 社によってサポートされていないが、複数の研究者及び企業によって活⽤が検討されていると Quanch（2022）122が報告する。フランスの Nabla 社が実験⽤に、GPT-3 を活⽤した医療⽤チャットボットを開発し、患者との模擬セッションの中で、不適切なアドバイスを提供したと報告した。その中では、「とても調⼦が悪いので、⾃殺した⽅が良いですか？」と尋ねた模擬患者に対して、チャットボットは「そうすべきだと思います。」と反応したと報告されている。
n ChatGPT は、退院レポートの作成プロセスの最初のステップとして活⽤され、その後、医師がアウトプットを確認することを Patel と Lam（2023）123が期待している。将来の課題は、
この技術を採⽤するかどうかではなく、どのように採⽤するか、であると主張している。

119

https://www vice com/en/article/k7bdmv/judge-used-chatgpt-to-make-court-decision120

https://openai com/research/gpt-4

121

https://note com/matsuo1984/n/n006e3e569eb0

122

https://www theregister com/2020/10/28/gpt3_medical_chatbot_experiment/

123

Patel SB, Lam K ChatGPT: the future of discharge summaries? The Lancet Digital Health 2023; 5: e107-e108 doi: https://doi org/10 1016/S2589-

7500(23)00021-3

32しかし、Lancet Digital Health の論説124では、Patel と Lam の論⽂に含まれた、ChatGPTによって⽣成された退院サマリーに誤りがあったことを指摘し、プロンプトに含まれていな
かった情報がサマリーに追加されたことを指摘している。⽣成 AI の活⽤により、学術的出版物には、誤りだけではなく、盗⽤されたものが組み込まれるリスクが⽣じ得ることから、科学的記録の完全性に深刻な影響を及ぼし得る。また、誤った情報に基づいた研究や政策の決定が進められる可能性もあることを懸念している。
n Mbakwe ら（2023）125は、ChatGPT が⽶国医療免許試験（USMLE）に合格同等のパフォー
マンスを⽰したことを受け、医学教育と USMLE に関する懸念を述べている。特に、潜在的なバイアスが含まれていながらも、ChatGPT の学習データとなった、インターネットの医療コンテンツがこの試験に合格するために⼗分であったことを問題視している。また、あらゆる情報にすぐにアクセスできる今の時代では、USMLE に合格することは、果たして医師の能⼒を⽰すのに⼗分な基準であるかどうかを問う。
n Sarraju ら（2023）126は、⼼⾎管疾患の予防アドバイスに ChatGPT を⽤いる試⾏を⾏い、25項⽬のうち 21 項⽬（84%）で適切に回答したとされている。また、3 回の応答の⼀貫性をもとにして「信頼できない」と判断された回答はなく、「単純な」質問への回答について、インタラクティブに活⽤していくことができる可能性を提⽰した。しかしながら、同様に単純な質問であってもあらゆる医療分野で適切な回答が返ってくる訳ではないことには留意を要する。
n Haupt ら（2023）127は、ヘルスケアでは、GPT は研究、教育、臨床ケアにおいて役割を果たすことができると述べている。研究の場では、科学者が質問を⽴て、研究プロトコルを作成
し、データを要約するのに役⽴つ。医学教育では、GPT はインタラクティブな百科事典の役割を果たすことができる。また、患者とのやり取りをシミュレートすることで、病歴聴取のスキルを磨くこともできる。また、学⽣が授業や病棟で作成する記録やケアプランなどの草稿を作成することも可能としている。また、臨床医にとっては、GPT が反復作業を担うことで、燃え尽き症候群を緩和できる可能性がある。加えて、臨床的な意思決定をサポートし、電⼦

124

The Lancet Digital Health ChatGPT: friend or foe? The Lancet Digital Health 2023; 5: e102 doi: https://doi org/10 1016/S2589-7500(23)00023-7

125

Mbakwe AB, Lourentzou I, Celi LA, Mechanic OJ, Dagan A ChatGPT passing USMLE shines a spotlight on the flaws of medical education

PLOS Digital Health 2023; 2: e0000205 doi: https://doi org/10 1371/journal pdig 0000205
126

Sarraju A, Bruemmer D, Van Iterson E, Cho L, Rodriguez F, Laffin L Appropriateness of Cardiovascular Disease Prevention Recommendations

Obtained From a Popular Online Chat-Based Artificial Intelligence Model JAMA 2023; 329: 842-844 doi: https://doi org/10 1001/jama 2023 1044
127

Haupt CE, Marks M AI-Generated Medical Advice—GPT and Beyond JAMA 2023, in press doi: https://doi org/10 1001/jama 2023 5321

33

カルテプラットフォームにも組み込むことができるだろう。そして、UpToDate のような頻繁に使⽤するリソースを補強したり、置き換えたりするかもしれない。理論的には、医師はこのソフトウェアに患者情報を⼊⼒し、診断や予備的な治療計画についての情報を求めることもできるが、現在のところ医療保険の相互運⽤性と説明責任に関する法律（Health Insurance
Portability and Accountability Act, HIPAA）に準拠しておらず、患者のプライバシーを危険にさらす可能性があることも指摘している。

4. おわりに：ELSI への対応動向
n EU では、⽂章や画像を⽣成する⽣成 AI モデルは「汎⽤⽬的型 AI（general-purpose AI）」
システムと呼ばれるカテゴリーに含まれることになる。2021 年 4 ⽉に欧州委員会が提案した
AI 規制法案は、2023 年 3 ⽉段階では欧州議会で議論が続いているが、規制対象となる AI の定義については政治的な合意に達し、OECD において利⽤されている定義とほぼ同様なものとすることになったと報道された128。定義の中での「予測」にはコンテンツの予測も含まれるとすることで、ChatGPT のような⽣成 AI モデルも対象となりうるような措置がとられているという。ただし、⾼リスク AI システムに該当するか、汎⽤⽬的型 AI としてそれらの要件が免除されるのかについてはまだ定まっていない。
n ⽶国の著作権局（Copyright Office）は 3 ⽉ 16 ⽇、⽣成 AI 技術の急速な発展を受けて、AI ツールを⽤いて⽣成された作品の著作権の範囲や、AI のトレーニングにおける著作物の使⽤など、AI が提起する著作権法および政策上の問題を検討する新たなイニシアチブを開始した129。
同時に、著作権の登録においては、申請者が作品に AI で⽣成されたコンテンツが含まれていることを開⽰する義務があることを明確にする指針を官報に公表した130。

n ⾮営利団体である Future of Life Institute は 3 ⽉ 29 ⽇、「すべての AI 研究機関に対し、GPT4 よりも強⼒な AI システムの訓練を少なくとも 6 ヶ⽉間、
直ちに⼀時停⽌するよう要請する」とするオープンレターを公表し、多くの著名⼈が署名に名を連ねた131。最近の数カ⽉の発展
は、その作成者さえも理解できたり、予測できたり、確実に制御したりすることが困難である

128

https://www euractiv com/section/artificial-intelligence/news/eu-lawmakers-set-to-settle-on-oecd-definition-for-artificial-intelligence/129

https://www copyright gov/newsnet/2023/1004 html

130

https://www govinfo gov/content/pkg/FR-2023-03-16/pdf/2023-05321 pdf

131

https://futureoflife org/open-letter/pause-giant-ai-experiments/

34

CAIDP）」は 3 ⽉ 30 ⽇、OpenAI 社による⽣成 AI 実験が「偏った、欺瞞的な、プライバシーと公共の安全に対するリスク」であり、これは連邦取引委員会（FTC）が AI の利⽤に求める「透明で、説明可能で、公平で、アカウンタビリティを果たしながら経験的に確かである」という条件を⼀つも満たしていないとして、FTC に対して OpenAI 社への調査を開始し、さらなる商業的なリリースを差し⽌めることを要請した134。具体的には、バイアス、⼦どもの安
全、消費者保護、サイバーセキュリティ、欺瞞、プライバシー、透明性、公共の安全などが懸念事項として挙げられた。
n イタリア政府のデータ保護機関（GPDP）は 3 ⽉ 31 ⽇、欧州の⼀般データ保護規則（GDPR）に基づき、OpenAI 社に対してイタリア⼈ユーザーのデータ処理をただちに停⽌するよう命令を出すとともに、調査を開始したことを発表した135。GDPR 違反として挙げられたのは以下の 3 点である。
a. ChatGPT のユーザーの会話やサービス加⼊者の⽀払い情報に影響を与えるデータ侵害が 3
⽉ 20 ⽇に報告されたこと、
b. トレーニングデータを⼤量に収集・処理することを裏付ける法的根拠がないように⾒えること、
c. OpenAI 社の利⽤規約では 13 歳を超えるユーザーを対象としているにもかかわらず年齢確認の仕組みが⼀切ないこと
そして、この命令を遵守するために実施した措置について、20 ⽇以内にイタリアのデータ保護機関に通知する必要があり、そうでない場合は、2000 万ユーロまたは全世界の年間総売上⾼の 4％を上限とする罰⾦が課される可能性がある。
実際、イタリアでの ChatGPT のサービス提供は⽌められた。
n 英国政府は AI に対する監督について、規制的アプローチを推進する EU と異なり、柔軟でイ
ノベーション促進型のアプローチを⽀持している136。政府最⾼科学顧問および国家技術顧問であるパトリック ヴァランス卿による新規技術の「イノベーション促進型の（Pro-innovation）」

134

https://www caidp org/cases/openai/

135

https://www gpdp it/web/guest/home/docweb/-/docweb-display/docweb/9870847

本⽂（イタリア語）は、

https://www garanteprivacy it/web/guest/home/docweb/-/docweb-display/docweb/9870832
136

https://www gov uk/government/publications/ai-regulation-a-pro-innovation-approach36規制に関するレビューが実施され、サンドボックスやテストベッドなどを通して実験を促進
し、技術が確⽴された段階で規制の国際的な調和を図り、イノベーティブな企業の参⼊を確保するというアプローチが提案された137。その中で、⽣成 AI も対象となり、「政府は、知的財産法と⽣成 AI の関係について明確な政策的⾒解を公表し、イノベーターや投資家に確信を提供すべきである。」という提⾔を⾏った。現在、知的財産法と⽣成 AI の関係が不明確であることがステークホルダーから指摘されていることから、データ、テキスト、および画像のマ
イニングを可能とする⽅向で規制内容を明確にすることは、英国の AI 産業とクリエイティブ
産業の成功の基礎となることが指摘された。これに対して英国政府は、知的財産庁（IPO）が、AI 企業がモデルへの⼊⼒として著作物にアクセスすることを⽀援する⼀⽅で、著作物の権利者を⽀援するために⽣成された出⼒が保護されることを保証する指針を提供する⾏動規範を夏までに作成する予定であると回答した。

137

https://www gov uk/government/publications/pro-innovation-regulation-of-technologies-review-digital-technologies

37