ChatGPT等の生成AIツールを研究活動に活用する注意点を知って・学んで・使う生成AIの可能性と課題 ～賢く使いこなすために～
2024-06-20

fuku株式会社 代表取締役 山田涼太

プログラム#AJACS

ChatGPT等の生成AIツールを研究活動に活用する注意点を知って・学んで・使う
前半

後半「生成AIの可能性と課題 ～賢く使いこなすために～
大まかにLLM、生成AIの仕組みを理解し、何が可能か考えアンチパターンを把握し、AIを活用する上での注意点を理解す
生成AIを活用するはじめの一歩を学ぶ「研究効率化の鍵は生成AI ～文献調査・資料作成を加速するサービス～
研究に有用なツールやサービスを紹
プログラミングを必要としないものを中心としつつ、より複雑なシステム構築のための入口も案内Take Home Message

管理責任からは逃れられない生成AIの出力を確認・評価する= 自分にできないことはさせない事前アンケート

自己紹介

自己紹介
山田 涼太

@roy29fuku
roy29fuku

2010年4月 東京大学 農学部 獣医学専修
2016年3月 休学届け提出
2017年4月 東京大学 工学部 システム創成学科 へ転学部
2018年3月 fuku株式会社 創業
2019年3月 東京大学 工学部 システム創成学科 卒業

生命科学実験の効率化を入り口に

科学 × AIの領域で活動

生成AI関連NEDO日本語LLMの開
企業のLLM事業のR&D、コンサ
NLP、生成AI関連の講科学研究の基盤モデルの開文献調査AIのOSS活
専門文書からの情報抽出背景〜生成AIの仕組みを大まかに理解する〜

背景：AIブームとその性能
第3次AIブームが収束しないうちにChatGPTが第4次AIブームを巻き起こした？

出典：東京システム技研

様々なタスクで人間を超え始めている

出典：Artificial Intelligence Index背景：大規模言語モデル・生成AIとは大規模言語モデル (LLM: Large Language Model)

言語モデルとは「現実的な言語を予測し、生成することを目指した機械学習モデル」[12014年 機械翻訳にてAttention（入力データの重要な部分に焦点を当て、関連性の低い情報を無視する仕組み）の導2017年 Transformerが出現（Attention is All You Need
以降、BERT (Bidirectional Encoder Representations from Transformers) に代表されるようなモデルサイズや学習データが大きい大規模言語モデルが出「大規模言語モデル（LLM）は、大量のデータでトレーニングされた統計言語モデルで、テキストやその他のコンテンツの生成と翻訳や、その他の自然言語処理（NLP）タスクの実行に利用できます」[2]生成AI (GenAI: Generative AI)「AI を活用してテキスト、画像、音楽、音声、動画などの新しいコンテンツを作成」 [3「生成 AI アプリケーションは自然言語入力を受け取り、自然言語、画像、コードなどのさまざまな形式で適切な応答を返します。」[4]
大規模言語モデルの概要 | Machine Learning | Google for Developer
Google AI を使用した大規模言語モデル（LLM） | Google Clou
生成 AI の例 | Google Clou
生成 AI とは - Training | Microsoft Learn

出典：Attention Is All You Need

生成AI
LLM

背景：ChatGPTはなぜ賢いか
特徴的仕組み事前学習⁨：⁩ GPT (2018), GPT-2 (2019), GPT-3 (2020
ウェブや書籍のテキストを大量に学習し次の単語を予測 ＝ もっともらしい文章を生-> 嘘、偏見、有害コンテンツなど望ましくない回答を生
アライメント：InstructGPT (2022), GPT-3.5 (2022
不適切な生成を行わないように強化学習

ChatGPT 進化の歴史

出典：Introducing ChatGPT | OpenAI

2022-11-30 ChatGPT リリース GPT-3.5をベースに間違った前提に異議を唱えたり背景を詳しく知りたい方不適切な要求を拒否するよう調整
性能向上
LLMの現在 (PFN いもすさん
2023-03-14 GPT-4 追加
ChatGPT
人間のフィードバックから強化学習した対話AI(東大今井さん画像への対応2023-09-25 GPT-4V 追加
大規模言語モデル (東工大 岡崎先生
ChatGPT - LLMシステム開発大全 (Microsoft Gamoさん)
音声、動画への対応
2024-05-13 GPT-4o 追加

生成AIの可能性

Anything to anything

入出力のフォーマットの自由度が高い：e.g. プレーンテキス
ト、画像、音声、動画、コード、表データ、ウェブページ..
処理方法を人間の言葉で定義できるため、プログラムを書かなくても活用できる
出典：Gemini - Google DeepMind（2023/12時点）

Dark dataの活用

第3次AIブームは構造化データの活用がメインだっ文書などの非構造化データや、一ヶ所に集められず散らばったデータは有効活用されずダークデータと呼ばれ、世の中のデータの60%に及ぶとも言われ生成AIはダークデータの活用の可能性がある ＝リープフロッグも夢ではない
出典：Dark Data, facts and stats you missed - Think Leaf Blog

注意点とアンチパターン〜AIの特性を理解しうまく付き合う〜注意点（カタストロフィ）「AIは今、核兵器と同様の破壊力を持つ強力な技術になろうとしている
絶滅、恒久的なディストピア社会の創造、etc...
出典: An Overview of Catastrophic AI Risks

身近な注意点進化スピード：AIの急速な進歩に常に注意を払い、最新の技術動向を把握す
ハルシネーション：AIが事実と異なる情報を生成する可能性があることを認識し、慎重に検証す
差別の助長：AIによる差別的な判断や結果を生まないよう、公平性と多様性に配慮す
社会との関係性：AIの活用が社会的に受け入れられるかどうかを考慮し、倫理的な配慮を怠らな
情報漏洩：AI利用における個人情報や企業の機密情報の漏洩リスクを認識し、データの適切な取り扱いを徹底す
悪意あるユーザー：ユーザー入力によってAIの動作が意図せず変更される可能性を理解し、適切な対策を講じる

注意点：1. 進化スピード

AIは脅威的なスピードで進化しており、情報はすぐに古くなる

2023年3月14日 NLP2023にてChatGPTの影響をパネルディスカッションした直後にGPT-4がリリース
12時間後
出典：言語処理学会理事会主催緊急パネル

出典：X

2024年5月29日発売の書籍で生成AIの弱点として紹介されているものは既に解消済み 
2023年9月から執筆開始したため、既に情報が古い

アンチパターン

古い（数ヶ月単位）イメージでできること・できないことを断原理や流れを理解せず、最新情報を点で追いかけ一喜一憂する

対策

新しい情報に飛び付かず、冷静に大筋を見極める

出典：Amazon注意点：2. ハルシネーション
ハルシネーションとは「人間の観察者には存在しないまたは知覚できないパターンやオブジェクトを認識し、無意味または完全に不正確な出力を生成する現象（中略）AIの幻覚は、人間が雲の中に図形を見たり、月に顔を見たりするのと似ている。AIの場合、過剰適合、トレーニングデータのバイアス/不正確さ、高いモデルの複雑さなど、さまざまな要因によってこのような誤った解釈が発生する」[1]

アンチパターン

十分学習

聞く：滋賀県職員 県 事 名 ChatGPT 尋ね
ろ 漫画家 あ返答 2
許容 れ
使 ：香川県三豊市 ChatGPT 用 ごみ 案
内 実証実験 行
目標 答率99% 達
め 導入 断念 3
結果
・： メリ 弁護士 ChatGPT 判例 聞 情報源
裁判所
4
国 研究 ム Midjounrn y論文 使用 5
していないことをこが「でる」と間違いがさないケースにのをったが、生成を確認しないを確認しないままた誤った図解をに

知の前をに

たと

[うがの正できないに

アカ人に提出[ ]。中のをしなかったたが

チーがいた

出し、を

[にをき、e で生成し[ ]対策
間違いを前提とし、ユースケースを限定するか間違いをカバーできる設計（e.g. 最後は人がチェック）にする
What Are AI Hallucinations? | IB
チャットＧＰＴが珍回答、滋賀の三日月知事について「日本の漫画家です」「代表作るろうに剣心
ChatGPTでの業務効率化を“断念”── 正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間（1/2 ページ） - ITmedia NEW
Lawyer apologizes for fake court citations from ChatGPT | CNN Busines
Frontiers in Cell & Developmental Biology - Midjourney Edition

典：C llular functions of sp rmato onial st m c lls
in r lation to J K ST T si nalin pathway

出eee

A /Agggee注意点：3. 差別の助長

学習データやアライメントに依存するベースは事前学習した内容を元に確率的に生成するモデルなので、学習データが偏っていた場合それを反映してしまう。望ましくない回答を生成しないようにアライメントが行われているが、何をもって望ましくないとするかは開発企業・開発者の価値観が反映されている
UNESCOは生成AIが性別、職業、人種に関して偏った出力をすると報告[1]アンチパターン

採用などの重要な判断を依存する：Amazonは2014年から採用業務にAIを導入。過去の履歴書は男性のものが多く、偏った学習をした結果、女性応募者を不当に評価していることが明らかになった[2]対策

出力結果を鵜呑みにしな
説明可能なA
国産LLM、自社LLM
Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes | UNESC
Insight - Amazon scraps secret AI recruiting tool that showed bias against women | Reuters

GPT-4oによる生成注意点：4. 社会との関係性
著作権侵害について生成AIを利用した場合でも、著作権侵害の判断基準は変わらな
著作物とは「① 思想又は感情を ② 創作的に ③ 表現したものであつて、 ④ 文芸、学術、美術又は音楽の範囲に属するもの」（法第2条第1項第1号
著作権侵害は類似性と依拠性の両方を満たした場合に成類似性：画風やアイディアは表現に含まれな
権利制限規定：私的使用のための複製、授業目的の複製な依拠性の有無の判断基準は検討段
故意に似せようとする行為で依拠性が認められる可能性があ
AdobeはFireflyを利用したユーザーが訴訟を受けた場合、費用を補償する声明を出した[1]対策

故意に他者の著作物を模倣することに注意
アドビ、「Adobe Firefly エンタープライズ版」を発表

出典：文化庁 A I と著作権

出典：Adobe Stock 追加条件

注意点：4. 社会との関係性
違法でなくともリスクはある

法律以外のルール（利用規約、社内規約）や世間の評価する側としてのリスク（教員、審査員）

アンチパターン

出典：Wikipedia

コンテスト荒らし：2022年8月コロラド州の美術コンテストで「デジタルアート・デジタル加工写真」分野で１位に選ばれた作品がMidjourneyで生成された画像だった[1]。2023年2月アメリカのSF雑誌「Clarkesworld Magazine」は昨年同時期と比較し賞金目当てのAIによる盗作が増えたとして新規受付を停止[2]宿題に利用：「武蔵大学・庄司昌彦教授（情報社会学）の調査によると、193の大学・学部が生成AIの利用について対応を公表しており、そのうち約1割の大学では、学生がレポートを作成する際に生成AIを利用することを禁じている」[3
論文執筆に無断で利用：カルフォルニア大学のConner Ganjaviらが主要学術ジャーナル100誌にアンケートを取ったところ、87%が生成AIの利用に関するガイダンスを提供。うち98%はAIを著者に含めることを禁止、43%は執筆にAIを使用した場合に開示義務があり、1%は執筆にAIの利用を禁じていた[5]対策

利用する側としては規約を確認すること、評価する側としては規約を定めること
ＡＩ作品が絵画コンテストで優勝、アーティストから不満噴出 - CNN.co.j
A Concerning Trend – Neil Clark
生成AIで作成したレポート「見分けつかない」 大学の教育現場で困惑広がる…対応策は？ - 弁護士ドットコ
論文での生成AI使用、投稿雑誌のガイドライン整備状況は？／BMJ｜医師向け医療ニュースはケアネッ
Publishers’ and journals’ instructions to authors on use of generative artificial intelligence in academic and scientific publishing: bibliometric analysis | The BMJ出典：Twitter注意点：5. 情報漏洩

サービス提供者が学習データとしてコンテンツ（入出力）を利用する場合がある

ChatGPTのTerm of useは2023年3月時点[1]ではAPI経由のコンテンツは学習に使わないとしていたが、2023年11月14日に更新された最新版[2]ではAPIに関する記載が消えている。ChatGPT Enterpriseの説明ではChatGPT Team, ChatGPTEnterprise, API Platformのコンテンツは学習に利用しないとある[3]。ChatGPT
free, ChatGPT Plusでもオプトアウトは可能

アンチパターン

機密情報、個人情報を入力：2023年Samsungは社 が機密情報（ ースコー）をChatGPT経由で漏洩した とを か に社 に るChatGPTの利用をした[4]
員

ドこ

きっけ

員

ソよ

禁止

対策

AIサービスの利用規約、社内規定を十分に確認、徹底す
開発元が不確かなサービスに機密情報や個人情報を入力しなローカルLLMを用いる
Terms of use - March 2023 | OpenA
Terms of use | OpenAEnterprise privacy | OpenA
Samsung Bans ChatGPT Among Employees After Sensitive Code Leak

出 ：ChatGPT典

注意点：6. 悪意あるユーザー
脱獄 (Jailbreak) とは「LLMのjailbreakとは、LLMの潜在能力を最大限に引き出したり、悪用したりするために、制約を回避することを目的とした攻撃を指す」[1ArtPromptという手法では、通常回答が拒否されるプロンプト（爆弾の作り方を聞くなど）でもアスキーアートを用いることでChatGPTに回答させることができたと報告[2]。Many-shot jailbreakingという手法では悪意のある質問と回答の例を大量に与えることで脱獄できたとAnthropicが報告[3]。

出典：ArtPrompt: ASCII Art-based
Jailbreak Attacks against Aligned LLMs

多彩な敵対的プロンプトの例

アリゾナ大学の研究チームは国際的なハッキングコンペティションを開催し、集まった60万以上の敵対的プロンプトを分析した[4]アンチパターン

セキュリティ対策をしないまま世界中に公APIキーをGitHubで公開

出典：Many-shot jailbreaking \ Anthropic

対策

ホワイトリスト方式を採用し公開範囲を最低限に限定す
世界に公開すれば必ず悪意のあるユーザーによる攻撃を受けると肝に銘じる

Don’t Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Model
ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLM
Many-shot jailbreaking \ Anthropi
Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition

出典：GitHub-Leaked-API-Keys-and-Secrets.md

活用

活用：心構え優秀かつ業界未経験の新人だと思って接する

評価できる範囲の仕事を任せ生成結果を十分に確認する

生成AIは事実と異なる出力や倫理的に不適切な回答を出力することがあ
生成AIの出力の責任はそれを活用・承認する人間が責任を取らなくてはならな
生成AIの出力に問題がないか確認、評価する必要がある

困難は分割する

複数のタスクで構成されるタスクは、うまくいかない時にどこでうまくいっていないか問題の切り分けができな
小さいタスクに分解し、生成AIが適切でないものについては外部のプログラムやサービスに繋ぐなど設計す
プロンプトを調整するだけでなんとかなりそうな気がしてしまうが、問題設計が悪ければ先はない

過度の作り込みをしない

数ヶ月後に新しいモデルが出てあっさり問題が解けるようになることがしばしばあ
現時点での定量的な評価ができ、実用からほど遠ければまだ早いとして寝かせる活用：チャットボットサービスを試してみよう
運営

月額Pro ¥3,155 ($20)

無料版でのフラグシップモデル

ChatGPT

OpenAI

Gemini

GoogleAdvanced ¥2,900

Copilot

MicrosoftPro ¥3,200

ピーク時以外は利用可

ClaudeAnthropic

Pro ¥3,155 ($20)

利用不可

ウェブ情報の取得制限付きで利用可
利用不可

値段やモデルの性能は気にするほどの差はない

無料版でもフラグシップモデルが一部利用できるChatGPT、Copilotがおすすめ

エンタープライズならCopilot、個人ならお好みで業務で多用しそうならチーム機能やセキュリティも意識活用：フラグシップモデルの性能は高い

ChatGPT 進化の歴史
2022-11-30

ChatGPT リリース

2023-03-14

GPT-4 追加

2023-09-25

GPT-4V 追加

2024-05-13

GPT-4o 追加

GPT-3.5しか試していない人とGPT-4oを使っている人では1年半の差が生まれる

出典：GPT-4 | OpenAI活用：どうすればいいかわからないとき
プロンプト集を参考にする

出典：Examples - OpenAI API

どうすればいいか聞く活用：Next steps
プロンプトエンジニアリング
良い生成結果を得るために有効なテクニックやプロンプト集をチェッ
基本的には明確に指示する、例を与える、構造的に書くなどが有効

出典：Prompt engineering - Anthropic
出典：Prompt design strategies | Google AI for Developers | Google for Developers活用：Next steps
RAG: Retrieval Augmented Generation
LLMは事前学習で見たものを元に回答を生成する。全く知らないこと（ウェブに公開されていない社内情報や事前学習後に出てきた新しいニュース）については正確に回答を生成できない
RAGはLLMに追加の情報を与え、それを根拠にした回答を生成させる

出典：Retrieval Augmented Generation (RAG) and Semantic Search for GPTs | OpenAI Help Center活用：Next steps
Agentic workflow
一度出力を出して終わりにするのではなく、LLM自身に出力を解釈・評価させブラッシュアップさせる手モデルの性能が低くても性能を向上させることができる

出典：What's next for AI agentic workflows ft. Andrew Ng of AI Fund - YouTube今後のご案内
メルマガの案内内容
事例紹
LLMを利用した論文テキストや図表からの情報抽
ライフサイエンスデータベースとRAGの併
文献サーベイ支援Agentの開発方
生成AI関連企業との対生成AIの意外な活用
生成AI導入で何がボトルネックになる
ホワイトペーパ
生成AI関連の最新情業界マップ
https://share.hsforms.com/1kmKMOW9uSPWa1iV1MhBX1Qrcjbd

Take Home Message

管理責任からは逃れられない

生成AIの出力を確認・評価する= 自分にできないことはさせない

質問・感想お待ちしています@roy29fuku
roy29fuku