科学アカデミーによる科学研究における AI ガバナンスの検討1

遠藤 悟
米国科学アカデミー（NAS）、ペンシルヴァニア大学 Annenberg 公共センター、Sunnylands Annenberg
信託財団は、2024 年初頭に行動・社会科学、倫理学、生物学、物理学、化学、数学、計算機科学の分野の専門家や、高等教育、法曹、政府、学術出版において主導的に地位にある者により構成された学際パネルを設置し、科学的公正性と責任を念頭に置いた人工知能の利用に関する検討を行った。この検討においては、人工知能技術の現状、平等、正義と研究倫理に対する人工知能の潜在的な影響、現出しつつあるガバナンスの問題、社会的影響のある科学技術に関する科学コミュニティーによる対応の過去の事例といったテーマにおける報告書の作成が委託され、参照されている。
この検討の成果については、米国科学アカデミー紀要（PNAS）に Protecting scientific integrity in anage of generative AI」の標題の論説（doi.org/10.1073/pnas.2407886121）として掲載された。
また、この検討における参照のために委託された報告書のうち 5 件については、Issues in Science andTechnology 誌掲載論文として、その内容が報告されている。
以下においては、PNAS の論説において示された 5 つの原則（Five Principles of Human Accountabilityand Responsibility）について紹介する。また、5 件の論文においては、各論文の冒頭に ガバナンスのための洞察（Insights for governance）」と題する囲みがあることから、その記述を紹介することにより、論文の内容を報告する。
注：記述は概ねその内容に沿ったものですが、逐語的に和訳したものではありません。
PNAS 論説
Protecting scientific integrity in an age of generative AI ----- 2
Wolfgang Blau, Vinton G. Cerf, Juan Enriquez, +20, and Michael Withe rell
PNAS (Proceedings of the National Academy of Sciences), May 21, 2024, DOI: 10.1073/pnas.2407886121
https://www.pnas.org/doi/10.1073/pnas.2407886121
Issues in Science and Technology 誌 Strategies to Govern AI Effectively 特集のサイト
https://issues.org/category/strategies-to-govern-ai-effectively/
Issues in Science and Technology 誌特集の各論文（May 21, 2024）
Bringing Communities In, Achieving AI for All ----- 4
Shobita Parthasarathy, Jared Katzman
https://issues.org/artificial-intelligence-social-equity-parthasarathy-katzman/

1

米国の科学政策」ウェブサイト 2024 年 7 月 21 日掲載
1Novel Technologies and the Choices We Make: Historical Precedents for Managing Artificial Intelligence ---- 5
Marc Aidinoff, David Kaiser
https://issues.org/ai-governance-history-aidinoff-kaiser/
Governing AI With Intelligence ----- 5
Urs Gasse
https://issues.org/governing-ai-intelligence-gasser/
A Human Rights Framework for AI Research Worthy of Public Trust ----- 6
Mary L. Gray
https://issues.org/ai-ethics-research-framework-human-rights-gray/
A Justice-Led Approach to AI Innovation ----- 7
Alex John London
https://issues.org/ai-ethics-framework-justice-london/＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊PNAS (Proceedings of the National Academy of Sciences), May 21, 2024, DOI: 10.1073/pnas.2407886121
Protecting scientific integrity in an age of generative AI
Wolfgang Blau, Vinton G. Cerf, Juan Enriquez, +20, and Michael Witherell
本論説においては、米国科学アカデミー（NAS）、ペンシルヴァニア大学 Annenberg 公共センター、Sunnylands Annenberg 信託財団により行われた検討の目的、手法等について説明された上で、以下の ヒ
トのアカウンタビリティと責任に関する 5 つの原則（Five Principles of Human Accountability andResponsibility）が掲載されている。
また、これら 5 つの原則を受ける形で米国科学工学医学アカデミー（NASEM）に、（Strategic Councilon the Responsible Use of Artificial Intelligence in Science）」を設置することが提案されている。
ヒトのアカウンタビリティと責任に関する 5 つの原則
（Five Principles of Human Accountability and Responsibility）

１．透明性のある開示と帰属
科学者は、研究における生成 AI の利用について明白に開示すべきである。これには、特定のツール、アルゴリズム、利用の設定が含まれる。また、情報や発想の源泉についてヒトと人工知能へのいずれであるかを明確にし帰属させ、それぞれの貢献を明示すべきである。また、人工知能の出力において含まれていない場合も含め、ヒトによる専門性や先行文献については適切に引用されるべきである。

2モデルの製作者や改修者は、モデルをトレーニングし精緻化した際に使用したデータを含め、モデルに関する情報の詳細を公開すべきである。また、科学者がモデルの使用を具体的に引用できるよう、モデルとそのバリアントの情報を管理し公開すべきである。さらに、モデルが研究の再現に利用可能とするために長期的なアーカイヴを提供し、生成されたコンテンツの帰属について提供できない場合はそのことを開示し、人工知能により生成されたコンテンツのデータのソースと著作権を帰属させることを可能とするためのモデルをユーザーに提供することを目的とした、学習、推論、情報検索・抽出のイノベーションを推進すべきである。
２．人工知能が生成したコンテンツと分析の検証
科学者は、生成 AI を利用し作成したデータ、画像、推論の正確性についての説明責任を負う。説明責任は、人工知能による推論や人工知能に支援された推論の正確性と信頼性について検証できる適切な手法を使用するとともに、そのような推論に関連するエビデンスの開示が行われることが必要である。これには、研究のアウトカムや解釈を歪める可能性のあるバイアスを同定し修正することを目的とした、人工知能のアルゴリズムやアウトプットにおけるバイアスのモニタリングとテストが含まれる。
モデルの作成者は、人工知能により生成されたデータ、テキスト、画像の真実性を確認するシステムの能力の限界を開示すべきである。生成されたコンテンツの信頼性を検証できない場合、モデルのアウトプットは信頼性に関する明白で適切に調整された評価を提供すべきである。モデル作成者は、研究のアウトカムや解釈を歪める可能性のある人工知能のアルゴリズムのバイアスを積極的に同定、報告、修正すべきである。
３．人工知能が生成したデータの文書化
科学者は、人工知能により生成されたデータ、推論、画像に、その生成における人工知能の役割の来歴情報を付与し、現実世界において収集された観察データと混同されにようにすべきである。科学者
は、人工知能により生成されたコンテンツを現実世界にて観察データとして提示すべきではない。
モデル作成者は、トレーニングの手順において使用した合成データの来歴について、明白に同定し、注釈を付し、維持すべきである。また、今後のトレーニングのモデルにおけるコンピューターにより生成されたコンテンツの再利用において生じる問題、懸念、挙動について監視すべきである。
４．倫理と公正性の重視
科学者とモデル作成者は、有害性のリスクを低減させると同時に、人工知能の利用が科学的に健全で、社会的な利益をもたらすよう、信頼性の高い措置を講じるべきである。これには、特定の人工知能技術が人々に利用可能となることによる、特に偶発的なアウトカムや悪意ある利用に起因する潜在的なリスクの点におけるトレードオフの取り扱いに関する科学者や一般に人々に対する助言も含まれる。
科学者とモデル作成者は、特に観測データと人工知能により生成されたデータの明確な帰属の尊重、知的財産、プライバシー、開示、同意、人工知能システムの構築と利用における潜在的なバイアスの検出と低減の点において、倫理的なガイドラインを遵守すべきである。それらはまた、人工知能がさらに3

開発・配備されることで生じ得る予期しない社会的影響について継続的に監視し、有益な利用を促進し、社会的な有害性を低減させる実践や規則を更新すべきである。
科学者、モデル作成者、政策決定者は、人工知能システムが取り組む問題やニーズにおける公正性と、人工知能のツールや教育機会への構成なアクセスへの対応を促進させるべきである。これらの取り組みは、多様な科学研究者の人工知能システムの効果的な活用を加速させ、伝統的に少数派であったり恵まれない環境に置かれたグループのニーズを含むコミュニティーの多様なニーズに対応すべきである。更に、人工知能の技術と利用の公平性と公正性の評価への参加における意味ある人々の参加を求める手法が研究され、導入されるべきである。
人工知能は、ピアレビュープロセスにおける決定手順やキャリア形成や資金配分に関連した決定において、十分なヒトの監視なしに利用されるべきではない。
５．継続的なモニタリング、監督、および人々の関与
科学者は、大学、産業、政府、市民社会の代表と協働し、科学プロセスにおける人工知能の影響を継続的に監視し、評価し、透明性を持たせ公正性を維持するために必要な戦略を導入すべきである。人工知能技術は急速に進化していることから、研究コミュニティーは引き続き人工知能の能力・欠点・影響力を検討し、理解しなければならない。また、有害な利用を予測し防止し、その潜在性を重要な社会的な課題に対応する取り組みを行わなければならない。人工知能科学者は、同時に、トレーニングデータと種論手順の正確性、帰属、説明、透明性に関する課題への対応を含め、科学における人工知能の効果を改善する取り組みを行わなければならない。この取り組みは、科学における人工知能の利用の現状と動態の研究を実施するため分野内および分野横断的に行われ、人工知能が開発され、応用され、規制させることに関し、人々の参加と関与が求められる意味ある手法が追求されるべきである。この関与と研究の結果は、幅広く周知されるべきである。

ISSUES IN SCIENCE AND TECHNOLOGY, May 21, 2024
Bringing Communities In, Achieving AI for All
Shobita Parthasarathy, Jared Katzman
ガバナンスへの洞察
人工知能モデルが、社会的な不平等や不正義を助長するというアウトプットを示すエビデンスが増加している。本稿においては、資金配分機関、大学、開発者、政府が、どのようにこれらの問題に対応し、人工知能のツールが社会の全ての人々の利益となることを確かなものにするかについて論じている。
・研究資金配分者、大学およびテクノロジー産業は、苦境にあるコミュニティーと連携し、そのコミュニティーが人工知能に対し何を必要としているかを学び、それを構築すべきである。人工知能のアジェンダの設定において恵まれないコミュニティーを中心に置くことは、新たな技術の設計と配備が草の根の知識や懸念を反映する可能性を増大させる。

4

・研究資金配分機関は、コミュニティー主導型のプロジェクトに対し特別な誘因を提供し、そのようなプログラムに対し資金提供を行ったりすることが出来る。
・大学は、ボトムアップのデザインにおいてコミュニティーとの関係や経験を持つより多くの研究者を雇用、支援することが出来る。大学の必修の履修科目は、コミュニティーが関与する研究の手法、倫理およびパワーダイナミクスにおける人工知能研究者を育成することが出来る。
・大学はまた、工学とコンピューター科学の中核となるカリキュラムに人文学および社会科学を組み入れなければならない。アクレディテーション機関は、この教育のアプローチの導入を認証の条件とすることによりこの変化を促進させる重要な役割を果たすことが出来る。
・政府の規制当局は、恵まれないコミュニティーに対し、不均等に有害性をもたらす技術を禁止すべきである。
・人工知能の規制における恵まれない人々のインプットは必須である。そのインプットは、招請され、尊重され、参加は自発的に行われ、報酬が提供されるべきである。
Novel Technologies and the Choices We Make: Historical Precedents for Managing Artificial Intelligence
Marc Aidinoff, David Kaiser
ガバナンスのための洞察
人工知能システムの管理における課題は、困難で先例のないもののように思われるかも知れないが、歴史はトランスフォーマティブな新たな技術を管理する取り組みの確固とした事例を提供する。本稿
は、科学コミュニティーが、どのように政策決定者やコミュニティーと協働し、人工知能により生じるリスクを理解し、評価し、それに対応するための原則について論じている。
・原子力科学は、反省となる教訓である。過剰な秘密主義が軍拡競争を加速させ、戦後の機密指定と管理システムは正当な研究における問いの展開を妨げ、民間部門の責任ある投資を停滞させ、政治的な論議を封じ込めた。
・1970 年代の新たなバイオテクノロジーの能力のリスクの認識が、生物学者達に組み換え DNA の管理の提言を確立させるための組織を構築した。これらの提言は、公式なガイドラインの基盤となり、その後全米における規制を確立するために多様なステークホルダーが公に議論、精査を行った。
・ポリグラフは、1920 年代に発明され、欠陥があり信頼性に欠けるにも関わらず、その後数十年にわたり野放しに増殖した。裁判所は、ポリグラフを刑事司法の周辺に位置付けたが、この技術は正式な法的枠組みを超えて普及した。
・3 つの技術は、科学者が現在の人工知能のガバナンスにどのように貢献できるかという知見を提供する。すなわち、1) 自己規制は十分ではない、2) 監視は研究コミュニティーを超えて行われなければならない、3) 定期的な見直し評価が必要である。
Governing AI With Intelligence
Urs Gasse
ガバナンスのための洞察5

人工知能の課題と人工知能がもたらす機会に関するコンセンサスが高まりつつあるが、必要な人工知能のガードレイルについては十分に合意されていない。本稿においては、人工知能の規制に関する異なるアプローチについての調査結果と、発展する技術を知的に管理することを支援すると考えられるパターンを発見したことが報告されている。
・人工知能全体のガバナンスの枠組みにおいて認識される一つのパターンは、人工知能が果たす異なる機能に関するものである。現在、以下の 3 つの種類の規範が運用されている。1) 通常、人工知能の開発と利用を制限するという規制、2) 例えばファンディングや補助金を通して行われる人工知能の開発と利用を許容、更に推進させるという、権限付与、3) 透明性や情報開示、学校における人工知能リテラシープログラムや労働者へのトレーニングを含む、公平な競争的環境の創造の試み
・人工知能の意味が拡散する中において、多様な人工知能のガバナンスの枠組みにおいて以下の他のパターンが見られる。1) 人工知能の利用により生じる、例えば差別、詐欺、プライバシー侵害から市民を保護するなどによる、確立された権利の保護、2) 例えば経済活動の促進のために設計された規則、市場メカニズムを通した技術開発の触発、新しい市場やビジネスモデルの創造の支援といったことを通した確立された利益の保護、3) 例えば人工知能研究開発を促進させるために規定などのイノベーシ
ョンの促進
・現状をより深く分析した結果により生まれた以下の 3 つの中核的な洞察は、短期的およびより長期的未来において人工知能の取り組みに知見を提供する可能性がある。1) 学習：人工知能のガバナンスを担う機構は、その定める規制が変化する状況に柔軟に適応出来ることを確かなものとする必要がある。2) 相互運用可能性：完全な統一や調和を目指すのではなく、異なる仕組みが連携出来るようにすることを許容する。3) 能力構築：政策、法的要件、ベストプラクティス、技術標準を、現実の利用に翻訳するためには、ガバナンスの取り組みは、人工知能のリテラシーと技術支援を含む実装能力に資金配分が行われるべきである。
A Human Rights Framework for AI Research Worthy of Public Trust
Mary L. Gray
ガバナンスのための洞察
人工知能研究に対する人々の信頼が得られなければ、その発展は妨げられ、科学の発展は低下する。
本稿においては、計算機研究をより人権を尊重した方向に転換し、厳格な人工知能の倫理プロトコー
ルに知見を提供する倫理モデルを調査することを求めている。
・企業や大学の研究者は、人工知能の利用者のデータや人工知能とのリアルタイムのやり取りに基づいて行動モデルを構築するため、人工知能の技術を利用するが、しばしばそれは利用者の認識や同意の無いまま行われる。このような行為や人々の信頼を損なうものである。
・伝統的なデータのプライバシーやセキュリティの手法は、匿名化に焦点を当てているが、これは常に信頼性の無いものであった。これらの技術は、権限を有する者がデータを悪用することを防止出来ず、また、現在の研究者がビッグデータを用い、物理的・社会的世界をどのようにモデル化するものであるかといったことも考慮されていない。
・人工知能研究は、個々の人々の本来的な尊厳を促進し保護し、社会全体に及ぶ人権の枠組みにおい6て行われるべきである。
・人権の尊重とは以下を意味する：研究者は、データ提供者からインフォームドコンセントを得ること、人工知能の開発のために収集されたデータは、データを生成した人々の価値、利益、ニーズに一致した形で利用されること、人工知能の製品は、それが特定の人工知能のモデルに貢献したか否かに関わらず、人々を傷つけたり差別したりしないこと、データ提供者と当該データ提供者が代表するコミュ
ニティーは、その生活／生命に影響を及ぼす研究に参加する権限が付与されること・研究のための人工知能倫理のプロトコールが参照することが出来る既存のモデルや原則が存在する。
それらには、ベルモント原則、相互性、ケアにおける倫理、居住に関する倫理などがある。
A Justice-Led Approach to AI Innovation
Alex John London
ガバナンスのための洞察
本稿は、人工知能を含むイノベーションの破壊的な本質は、社会の基本的な機構において機能することを重視する正義を基盤とした倫理的な枠組みにより管理されなければならないことについて論議している。
・健全な倫理的枠組みは以下のとおりである。破壊が、倫理的に許容され、破壊が不公平あるいは不正義であるといったことにより是正が必要とすることを明確にする規範的な指導指針が提供されること、破壊的イノベーションにより生じる不正義や不公正に対応するために介入する責任者が誰であるかを明らかにすることによりアカウンタビリティを実現させること、社会的な関係や社会構造に対応すること・イノベーションのガバナンスの既存の倫理的枠組みは以下の課題に直面している：それは個人の責任に焦点を当てているため、社会の機構における不公正への対応が困難となっている。それは関係する幅広いステークホルダーの間のアカウンタビリティをほとんど果たしていない。それはポートフォリオのレベルの問題や、相互に関連する意思決定の間に生じる倫理的な問題に対し、不十分である。それは分散された責任の問題への対応が困難となっており、ある当事者の行動とその当事者の行動による何らかの倫理的に問題のある帰結の責任は、一対一の対応として想定されている。
・正義に導かれたイノベーションへのアプローチの新たな枠組みは以下のとおりである：正義は、基本的に個人の自由と倫理的な平等を確立、醸成、回復することに関するものと理解されるべきである。個人を自由で平等であるとして尊重するためには、個人が平等であり、個人が平等な扱いを求める領域を特定することが必要となる。正義は、本質的に、社会的に重要な任務を遂行する政府や民間機関を含む、社会の基本的な機構の運営に関わるものである。
・社会的な機構が自由と平等を維持・促進させるための能力を向上させるという目標を達成するために、幅広い関係者の利益を調整するための誘因が用いられるべきである。

7