視覚と言葉を繋ぐAIのこれまでとこれから

オムロン サイニックエックス株式会社
牛久 祥孝

losnuevetoros自己紹介2013.6～2013.8
2014.32014.4～2016.3
2016.4～2018.9
2016.9～2018.9
2016.12～2018.9
2018.10～2024.3
2019.1～2020.4～2023.3
2021.7～2022.1～2023.12～2024.4～Microsoft Research Intern
画像キャプション生成 動画の特定区間と[Ushiku+, ACMMM 2012]
キャプションの相互検索[Ushiku+, ICCV 2015][Yamaguchi+, ICCV 2017]
博士(情報理工学)、東京大学
NTT CS研 研究員
東京大学 講師 (原田牛久研究室)
産業技術総合研究所 協力研究員
A yellow train on the tracks
A guy is skiing with no shirt onnearatrainstation.
and yellow snow pants.
国立国語研究所 共同研究員
オムロンサイニックエックス株式会社 Principal Investigator株式会社 Ridge-i Chief Research Officer
津田塾大学 非常勤講師
東北大学 非常勤講師
合同会社ナインブルズ 代表
理化学研究所 客員主管研究員
オムロンサイニックエックス株式会社 VP for Research

2011
2012
2014

電話音声認識のエラー率が30%程度→20%以下に

大規模画像分類のエラー率が25%程度→15%程度に英仏翻訳の精度が〇〇により複雑なシステムと同等に

第3次AIブーム

2022 生成AI元年

第4次AIブームと評する人もいる今日のお話• AIってなんだっけ？
• 視覚と言葉を繋ぐAIのこれまで ～最近はやりの生成AI• 視覚と言葉を繋ぐAIのこれから ～AIロボット駆動科学

AIってなんだっけ？

最近のAIサービスの例：• 東北大発ベンチャー• MRI画像へのAI活用– 海馬の領域を自動検出– 海馬の体積を推定
認知機能低下リスクの評価

あ最近のAI研究の例：X線読影レポート生成

X線画像

医師の読影レポートの例

AIが生成した例[Li+, CVPR 2023]

（第3次ブーム以降の）AIってなんだっけ？
• 機械学習/深層学習によるAI– 深層学習は機械学習の一部• 機械学習ってなんだっけ
機械が関数

𝑦𝑦 = 𝑓𝑓(𝑥𝑥)AIに出力させたいデータをデータから学習すること

AIに入力したいデータ

2011
2012
2014

電話音声認識のエラー率が30%程度→20%以下に

大規模画像分類のエラー率が25%程度→15%程度に英仏翻訳の精度が〇〇により複雑なシステムと同等に

理解のAI理解のAIその①識別入力データに対して離散的な値を出力するもの= 𝑓𝑓(それぞれの画素が海馬かそれ以外かを識別)

MRI画像
縦×横の画素の数列

理解のAIその②回帰

入力データに対して連続的な値を出力するもの

37350 mm = 𝑓𝑓(海馬の体積を回帰上と横からみたMRI画像縦×横の画素の数列)

視覚と言葉を繋ぐAIのこれまで ～最近はやりの生成AI

深層学習前• 画像認識（CV）
局所記述子

高次元ベクトル表現プロダクト量子化オンライン
線形分類

Thai CatNLP研究者には謎• 機械翻訳（NLP）

吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。

単語/句アライメント

フレーズ
テーブル・言語モデル

対数線形モデルリランキングI am a cat. I don't
have a name yet.
I have no idea where Iwasborn.
I
only
remember that I wascrying in a damp anddimly lit place.

CV研究者には謎深層学習後• 画像認識（CV）
CNN Thai Cat

CNN

CNNcat

NLP研究者も…！

• 機械翻訳（NLP）

吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。

RNN

RNN

I am a cat. I don't
have a name yet.
I have no idea where I
wasborn.
I
only
remember that I wascrying in a damp anddimly lit place.

CV研究者も…！

深層学習後• 画像認識（CV）
NLPでもCNNは使う！
吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。

CNN Thai Cat
CNN

I am a cat. I don't
have a name yet.
I have no idea where I
wasborn.
I
only
remember that I was
crying in a damp anddimly lit place.

CNNCNN

CNNcat

NLP研究者も…！

• 機械翻訳（NLP）
CVでもRNNは使う！

吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた
事だけは記憶している。

RNNRNNCNN

I am a cat. I don't
have a name yet.
I have no idea where I
wasborn.
I
only
remember that I was
crying in a damp anddimly lit place.

RNN

Hiding
CV研究者も…！

ユーザー生成コンテンツの爆発的増加
特にコンテンツ投稿・共有サービスでは…

• Facebookにアップロードされる画像 1日で計3億枚• YouTubeにアップロードされる動画 1分間で計400時間分

Pōhutukawa blooms thistime of the year in New
Zealand. As the flowers
fall, the groundunderneath the trees look
spectacular.

画像/動画と関連する文章の対→大量に収集可能

Vision and Language の萌芽的な研究
記事付き画像へのキャプション生成[Feng+Lapata, ACL 2010]• Input: article + image

Output: caption for image
King Toupu IV died at theage of 88 last week.

• Dataset: Sets of article + image + caption

× 3361

Vision and Language の萌芽的な研究
記事付き画像へのキャプション生成[Feng+Lapata, ACL 2010]• Input: article + image

Output: caption for image

King Toupu IV died at the
これらの背景から…
age of 88 last week.
Vision&Languageと呼ばれる様々な取り組みが！
• Dataset: Sets of article + image + caption

× 3361

ビジュアル質問応答[Fukui+, EMNLP 2016]

ビジュアル質問応答[Fukui+, EMNLP 2016]

ビジュアル質問応答[Fukui+, EMNLP 2016]①マルチモーダル理解
入力：ビジュアルデータ＋テキストデータ→ 出力：認識結果

画像キャプション生成[Ushiku+, ICCV 2015]

Group of people sitting
at a table with a dinner.

Tourists are standing on
the middle of a flat desert.

画像キャプション生成[Ushiku+, ICCV 2015]

Group of people sitting
at a table with a dinner.

②Image2Text
入力：ビジュアルデータ→ 出力：テキストデータ

Tourists are standing on
the middle of a flat desert.

キャプションからの画像生成
An illustration of a baby hedgehog
in a wizard hat riding a car[Ramesh+, 2021]A photo of the food of japan

キャプションからの画像生成
An illustration of a baby hedgehog
in a wizard hat riding a car[Ramesh+, 2021]

A photo of the food of japan③Text2Image
入力：テキストデータ→ 出力：ビジュアルデータ

GPT-4V＝Vision&Language版GPT
画像を用いた会話機能

画像生成機能29

2022 生成AI元年

生成のAI生成のAI
実は理解のAIと根本の技術は同じ= 𝑓𝑓(読影レポート)

X線画像
縦×横の画素の数列

生成のAIより具体的に説明すると

lung= 𝑓𝑓(最適な1単語目を識別)

X線画像
縦×横の画素の数列

生成のAIより具体的に説明すると

volumes= 𝑓𝑓(最適な2単語目を識別,

lung

X線画像と1単語目)

生成のAIより具体的に説明すると

are= 𝑓𝑓(最適な3単語目を識別,lung volumes

X線画像と1～2単語目)

生成のAIより具体的に説明すると自己回帰的な文生成
low= 𝑓𝑓(最適な4単語目を識別,

lung volumes are

X線画像と1～3単語目)

ちなみに
画像生成AIの場合は= 𝑓𝑓(あざといポーズをとる猫の絵を描いてください)
カラー画像
縦×横の画素値を回帰

自然言語（テキスト）

牛久：もともとは画像キャプション生成芸人[Ushiku+, ACM MM 2012][Ushiku+, ICCV 2015]

A giraffe standing next
to a tree in a fence.

A yellow train on thetracks near a train station.

A dog laying on the sideof a zoo enclosure.

最近：Vision and Languageからの作業理解[Nishimura+, MTA 2023](a) Cut the pork in half and remove the pork
豚肉を半分に切り、豚肉を取り出す(b) Season the pork with salt and pepper
豚肉に塩・胡椒をする(c) Season the pork with salt and pepper
豚肉に塩・胡椒をする(d) Heat some butter in a pan
フライパンでバターを熱する(e) Coat the pork in the break crumbs
豚肉にパン粉をまぶします(f) Fry the pork in a pan
フライパンで豚肉を炒めます[日経新聞2022年10月18日 朝刊
https://www.nikkei.com/article/DGXZQOUC297B00Z20C22A9000000/]
39

実験という作業を理解しよう→ロボットで補助しよう• 調理以外の作業を理解する→生化学実験• 4種類の実験をそれぞれ4回撮影したデータセット[Nishimura+, ICCV WS 2021]– PCR, ミニプレップ, DNA抽出, アガノースゲル作成– DNA抽出は, フェノールクロロホルム抽出2回, エタノール抽出2回– 撮影後, 手順とvideoのイベントをアノテーション

視覚と言葉を繋ぐAIのこれから ～AIロボット駆動科学

[https://awards.acm.org/about/turing-laureates-spotlight]

遡ること20年前[https://awards.acm.org/about/turing-laureates-spotlight]

[https://awards.acm.org/about/turing-laureates-spotlight]

データドリブン科学の萌芽から20年[Agrawal+Choudhary, APL Materials, 2016]

深層学習がデータドリブン科学を加速しているのが今！

人と融和して知の創造・越境をするAIロボット

2050

ノーベル賞級の研究を人とAIロボットが創出46

やりたいこと：データから科学法則を発見したい

関数同定問題 Symbolic Regression[Lalande+, NeurIPS 2023 WS][Matsubara+, DMLR’24]観測された実験結果を数式として理解する• データセット：表– 時刻– リンゴのY座標• 目的– 変数間の関係を示す式の発見＝

テーブルデータから数式への変換

やりたいこと：実験作業をロボットにやらせたいまとめ• AIってなんだっけ？
• 視覚と言葉を繋ぐAIのこれまで ～最近はやりの生成AI• 視覚と言葉を繋ぐAIのこれから ～AIロボット駆動科学

人間の営みを理解し、人間の創造的な活動をサポートするAIへ