1

情報科学【AI・データサイエンス】

第2回
AIと機械学習

人工知能（AI）とその応用例
機械学習による人工知能の作り方
最近のAIの正体：深層ニューラルネットワーク
いまのAIにできないこと
九州大学 数理・データサイエンス教育研究センター

2

人工知能（AI）とその応用例

九州大学 数理・データサイエンス教育研究センター

3

人工知能（AI）とは

九州大学 数理・データサイエンス教育研究センター

4

人工知能(AI) ＝人間の知能を真似する機械
冷蔵庫の奥に古い豚肉を見つけたから，今晩のおかずにこっそり混ぜちゃおう

おや，○子さんの機嫌がわるいぞ．
きっとテストのヤマが外れたんだろう ところで，知能って何？
九州大学 数理・データサイエンス教育研究センター

5

我々の知能， 具体的にはどんなことを？
 予測や発見、パターン認識を行う
 数学の問題を解く
 文章を読んで理解し、さらに翻訳する

 会話する 将棋のようなゲームをする ラーメンをおいしいと思う 音楽を聴いて感動する

超多機能 ジョークを聞いて笑う
 作文をする
 絵を描く 恋愛感情を持つ

1 つ の A I にこれらすべての機能を持たせるのは難しそう

 人の考え方に共感する
 気になるところに注意を向ける
九州大学 数理・データサイエンス教育研究センター

6

特化型AIとは？

⊃ 特定の知能だけを人工的に実現したAI
 =特定のことしかできないAI
 現在利用されているすべてのAIは，特化型AI
 画像認識AI
 対話AI (チャットボット)
別物として独立して作られたもの
 将棋AI 天気予報AI…
 天気予報AIに将棋は無理，画像認識AIに対話は無理…
九州大学 数理・データサイエンス教育研究センター

特化型AIは本当に知能なのか？
「中国語の部屋」 [Searle, Minds, Brains, and Programs, 1980] (1/2)
 部屋の中の人は中国語を全く理解していないのに，外から見ると

中国語に関する知能を持ってるように見える

中国語の部屋日本的首都
是哪里？
日本の首都はどこですか？

お，中国語理解している是东京
東京です 「中の人」

日本的首都是哪里？
↓
是东京
ルールブックに従って回答するだけ

ルールブックは「中国語について何かを考える」ような知能は持っていない

九州大学 数理・データサイエンス教育研究センター

7

特化型AIは本当に知能なのか？
「中国語の部屋」 [Searle,1980] (2/2)
 現在の特化型AIが実現しているのは，まさにこの形式
中国語対話AI
日本的首都
是哪里？
日本の首都はどこですか？

お，中国語理解している是东京
東京です

日本的首都是哪里？
↓
是东京
記憶した
データに従って回答するだけ記憶したデータ 前ページと同じ理由で，これを「知能」と呼ぶには抵抗がある
 →そのため「弱いAI」とも呼ばれる
九州大学 数理・データサイエンス教育研究センター

89

汎用AIとは？
 我々の知能と同じ柔軟さと多機能性を持つ「強いAI」


予測や発見、パターン認識を行う



数学の問題を解く



文章を読んで理解し、さらに翻訳する



会話する



将棋のようなゲームをする

ラーメンをおいしいと思う

音楽を聴いて感動する

ジョークを聞いて笑う



作文をする



絵を描く



恋愛感情を持つ

人の考え方に共感する

気になるところに注意を向ける

このAI一つで何でもできる!

 できたらすごいが，現状ではまだ検討段階
 「どんなAIが強いAIなのか」も定義できていないのが実情
九州大学 数理・データサイエンス教育研究センター

10
10

汎用AIの実現法の一つ：「全脳シミュレーション」
脳を構成する神経細胞(ニューロン) の個々の動きを再現
2. それら神経細胞（ニューロン）を繋げて脳全体を再現
1.

1本の糸状のものが1つの神経細胞に相当

それらが複雑につながって情報交換
全脳シミュレーションの草分け，EPFL/Blue Brain Project
https://www.epfl.ch/research/domains/bluebrain/gallery/

こういうものをコンピュータによるシミュレータとして実現
九州大学 数理・データサイエンス教育研究センター

11

あなたのそばにも人工知能

すでに使われている・使われつつある人工知能
九州大学 数理・データサイエンス教育研究センター

あなたのそばにも人工知能：
音声認識・対話AI “Siri”

12

Apple
Microsoft「Hi, Siri」「Hey Cortana」
GoogleAmazon「Ok, Google」「Alexa」「メル友と思っていた相手が計算機だった」という時代がそろそろ来るかもApple - iOS「Siri」
2011 iPhone 4S
九州大学 数理・データサイエンス教育研究センター

あなたのそばにも人工知能：チャットボット

1313

 2018年9月から「福岡市×LINEで粗大ごみ自動受付」開始

捨てたいものをチャットで入力すると，粗大ごみかどうかの判別を自動的に返事してくれるhttps://linefukuoka.co.jp/ja/project/smartcityproject/casestudy/garbage/あなたのそばにも人工知能：
チャットボット1414

 九大にも学務チャットボットが！

https://www.kyushu-u.ac.jp/ja/notices/view/1896/

九州大学 数理・データサイエンス教育研究センター

15

あなたのそばにも人工知能：顔認識
顔検出

個人認証

By Jimmy answering questions, at Wikipedia “face detection”

年齢認識
glory.co.jp

canon.jp

赤ちゃん認識omron.co.jp

笑顔認識omron.co.jp

あなたのそばにも人工知能：
画像認識
 文字画像認識

実は郵便番号は，
郵便区分機という機械が読んでいる

https://jpn.nec.com/kids/himitsu/04.html

16 画像認識YOLO: https://pjreddie.com/darknet/yolo/ChangeDetection.NET:http://changedetection.net/[Redmon&Farhadi, “YOLO9000: Better, Faster, Stronger”, CVPR2017]

九州大学 数理・データサイエンス教育研究センター

あなたのそばにも人工知能：
医療診断

17
17

 皮膚がん判定 (正常 or 癌の2クラス判別)

誤って癌と診断することの少なさ

悪性

良性

AI

人間

見落としの少なさ[Esteva+, Nature, Feb 2017]

あなたのそばにも人工知能：
推薦・広告配信18
18

 あなた及び他の人々のネット利用歴や過去の購買履歴を用いて，AIが「あなたが興味を持ちそうな情報」を提供

 余談：例えばgoogleでの検索履歴はすべて記録されていて，googleはその履歴を他社に売っている

 これにより，我々は「無料」でGoogleを利用できている• https://adssettings.google.com/ を見てみると..
九州大学 数理・データサイエンス教育研究センター

ゲームと人工知能：“IBM Watson”

1919

 2011年2月，アメリカのクイズ番組でチャンピオンを抑えて優勝

https://www.research.ibm.com/history/

九州大学 数理・データサイエンス教育研究センター

ゲームと人工知能：
コンピュータ将棋

20
20

 第２期電王戦 2017年4～5月
 第2期叡王・佐藤天彦にコンピュータが2連勝！

http://denou.jp/2017/ これで電王戦は終了
 「人間とコンピュータが同じルールで真剣勝負をするという歴史的役割は終わった」

九州大学 数理・データサイエンス教育研究センター

ゲームと人工知能：
AlphaGo (囲碁)2121

 2016年3月に韓国のプロ棋士に4勝1敗と勝ち越し
 深層学習＋膨大な棋譜データ＋計算機どおしで戦う訓練

http://www.asahi.com

 2017年5月に中国のトッププロにも勝利→プロジェクト中止へ九州大学 数理・データサイエンス教育研究センター

“東ロボくん”：「ロボットは東大に入れるか」22
22

 2013.11.28
 「センター試験」模試で，私大579校のうち、403
大学の合格可能性がＡ判定！

 2015.11.14
 全大学の６割にあたる
474大学1094学部で合格の可能性が80％以上
 偏差値57.8
九州大学 数理・データサイエンス教育研究センター

23

AI等を活用したビジネス

九州大学 数理・データサイエンス教育研究センター

24
24

シェアリングエコノミー
様々なもののシェア（賃借や売買や提供）に基づく経済活動 シェア対象：場所，乗り物，モノ，人，など
 場所：宿泊施設(Airbnb) やオフィスの貸し
 乗り物：自動車（Uber ではドライバーを含めて共有） モノ：ネットフリーマーケット
 人：家事代行者，配達人

 Aiがどう利用されている？
 いつ・どこで・どのような共有依頼が来るかの予測 シェアすべきリソース（部屋や車）の最適配分
 需要・供給に応じた利用価格の自動決定（ダイナミックプライシング）
九州大学 数理・データサイエンス教育研究センター

25
25

商品の推薦（リコメンド）
 AIが「このような商品を過去に買ったり，このようなweb ページを過去に閲覧したり，このようなメッセージを送ったりする人は，このような商品を買う可能性が高い」を推測
推薦

これまでの購買行動・閲覧履歴データ利用

興味を持ちそうな商品や記事をAIで推測

利用

様々な人々の購買行動・閲覧履歴データ
九州大学 数理・データサイエンス教育研究センター

26
26

顧客監視（サーベイランス）
 カメラを店舗や街中に設置して，ヒトの動きやモノの動きを観察する

サービス
 防犯

• 万引きなど犯罪の抑制

 異常検知• 例えば，人間が何千台ものエレベータ内の状況を同時監視するのは不可能• 「普段起こっていない状況」となったエレベータをAIが判断 → 人間に通報

 顧客の行動把握• 「どのぐらいの年齢の人が，どの商品棚の前に，どれぐらい滞在するか」をAIで把握(トライアル社）• 無人店舗応用(Amazon Go)
https://www.trial-net.co.jp

Wikipedia “Amazon Go”

 河川氾濫や渋滞監視等にも利用カメラが天井に九州大学 数理・データサイエンス教育研究センター

27
27

デジタルトランスフォーメーション(DX) AI を含む様々な情報処理技術によりビジネスや様々な組織の効率を向上させること

 DXの例：ロボティックプロセスオートメーション(RPA) 複数のファイルを解析・統合し，作業に必要なファイルを自動生成
 DXの例：名刺管理
 社内に集まった顧客の名刺を管理，ある商談に適切な顧客を自動抽出 今後DXが多用されると考えられているオフィス業務
 意思決定，予測，人事，経理ミス発見，業績評価など
九州大学 数理・データサイエンス教育研究センター

28

機械学習による
人工知能の作り方

九州大学 数理・データサイエンス教育研究センター

29

機械学習とはコンピュータ（AI）も学習なしでは，賢くなれない
九州大学 数理・データサイエンス教育研究センター

30

みなさんの学習

たくさんの練習問題を解いて正しく回答できる
ように準備

初めて見る
テストの問題でも正しく回答できる！

九州大学 数理・データサイエンス教育研究センター

31
31

AIの学習も似ている
 画像認識AIの場合問題（画像）

回答

犬猫

問題（初めて見る画像）

回答

犬九州大学 数理・データサイエンス教育研究センター

32
32

機械学習=（ザックリ言えば）AIの学習のこと
 AIも，最初からカシコイわけではない 「こういう入力には，こう出力しなさい」といった「例」をたくさん用意し，その通り出力するように，AIを調整する必要 これを（教師あり）機械学習と呼ぶ

入力

出力

犬
猫

 十分な例でAIを学習できれば，「（学習に使ってない）

初めて見る入力にも，正しい出力を返すことができる」
 これが嬉しいところ！

初めて見る入力

出力

犬機械学習によって何が可能になるか？
その代表例
 予測

未知の値
(特に未来の値)

過去の傾向 認識・分類

33
33

入力

出力
（分類結果）

犬 生成
すでに存在する
様々なデータ世界に存在しなかった
新しいデータ九州大学 数理・データサイエンス教育研究センター

34
34

機械学習とデータ
 データが十分にないと，学習しても性能が出せない 「問題集を1,2ページ解いた程度では，テストの点は悪い」のと同じ
犬に関する
知識豊富

犬に関する
知識不足

 データがたくさんあっても，似たようなものばかりではダメ 「問題集の，ある問題だけを100回解いても，テストの点は悪い」
ほとんど
同じ
犬ばかり

犬
犬
犬

⋮

⋮

???

犬
九州大学 数理・データサイエンス教育研究センター

35

AI・機械学習についてもうちょっとだけ詳しく苦手な人のためのヒント：「関数」＝「なんか入れたら，なんか出てくるもの」です九州大学 数理・データサイエンス教育研究センター

36
36

突然ですが，関数って習ったことがありますよね…
 教科書で習った関数はこんな感じ？
出力𝑦関数𝑓(𝑥)

それに応じた𝑦が決まる

入力𝑥
ある𝑥を入れると

 要は「𝑥を与えたら(何かしらのルールに従って) 𝑦を返すもの」
 難しく考えなくてOK カラオケ採点も関数（歌を与えたら，点数を返す） お笑いを見る人間も関数（お笑い動画を与えたら，笑顔を返す）
九州大学 数理・データサイエンス教育研究センター

37
37

実は，AIとは関数 𝑦 = 𝑓(𝑥)である！
𝑦 = 𝑓(𝑥)

 予測

未知の値𝑦
(特に未来の値)

過去の傾向𝑥 認識・分類入力𝑥𝑦 = 𝑓(𝑥)出力𝑦（分類結果）

犬 生成
すでに存在する
様々なデータ𝑥𝑦 = 𝑓(𝑥)世界に存在しなかった
新しいデータ𝑦九州大学 数理・データサイエンス教育研究センター

38

画像認識AIを関数の絵にしてみると…

出力𝑦

𝑥

𝑓(𝑥)

𝑦

関数𝑓(𝑥)

犬
猫

画像入力𝑥

犬

注：非常に大雑把な絵で，不正確な部分もありますが…

九州大学 数理・データサイエンス教育研究センター

39
39

従って，機械学習とは，データによって，
関数 𝑦 = 𝑓 𝑥 を望ましい形に「いじる」方法
 画像認識ならば…

関数𝑓(𝑥)

関数𝑓(𝑥)

猿
犬

犬

学習

猫

入力𝑥

学習前は全然間違った
答えを出す

猫

入力𝑥

学習により，正しい答えを出せる関数となる
九州大学 数理・データサイエンス教育研究センター

4040

関数の形をいじる？→「パラメータ」をいじる
 関数𝑦 = 𝑎𝑥 は， 𝑎 をいじると傾きが変わる𝑦𝑦 = 𝑓(𝑥) = 𝑎𝑥

𝑦 = 𝑓(𝑥) = 𝑎𝑥 + 𝑏𝑦𝑥 関数𝑦 = 𝑎𝑥 + 𝑏 は， 𝑎や𝑏 をいじると傾きや高さが変わる𝑥 関数𝑦 = 𝑎𝑥 2 + 𝑏𝑥 + 𝑐は， 𝑎や𝑏や𝑐をいじると色々変わる これら， 𝑎や𝑏や𝑐をパラメータと呼ぶ
 「調節スライダー」のようなもの

 AI用の関数𝑦 = 𝑓(𝑥)にもパラメータがあって，

𝑦

𝑥

𝑎
𝑏
𝑐
−∞

𝑦 = 𝑓(𝑥) = 𝑎𝑥 2 + 𝑏𝑥 + 𝑐

AI関数𝑓(𝑥)0+∞𝑦

それをいじると形がいろいろ変わる（＝性能も変わる）
𝑥

九州大学 数理・データサイエンス教育研究センター

41

参考：パラメータをいじってみよう
https://www.desmos.com/calculator/lozdpofklf?lang=ja

九州大学 数理・データサイエンス教育研究センター

42

最近のAIの正体：
深層ニューラルネットワーク

九州大学 数理・データサイエンス教育研究センター

43
43

深層ニューラルネットワークとは？
 最近主流のAI
 考え方自体は1970年代から存在 予測・認識・生成など，様々な課題に利用できる
 画像認識の場合
入力画像

深層ニューラルネットワーク“ヒマワリ”

 大量データと学習(「深層学習」と呼ばれる)によって，非常に高性能なAIを実現

九州大学 数理・データサイエンス教育研究センター

深層ニューラルネットワーク，どのように動くかを非常にざっくり説明すると…

44
44

 入力データに対して，様々な数を「かけたり」「足したり」することを何回も繰り返すことで，最終的な答えが出てくる

 この「様々な数」＝パラメータ （よくわからない人は次のスライド）

× 0.38+4.10⋮

× 9.23

+7.06

⋮

⋮

⋮

計算結果
0.70 ヒマワリ
0.23 キク
0.02 ダリア
0.01 コスモス⋮
0.00 バラ× −1.60

+0.01

⋮

入力画像

深層ニューラルネットワーク

パラメータ（この図では6個だが，実際には数億個ある場合も）“ヒマワリ”

これらのパラメータの値を適切に調整すること，
それが深層ニューラルネットワークの学習(深層学習) パラメータが2個しかない場合
ニューラルネット
ワークのダメ具合

パラメータ2（期待する答えとの誤差）③ベストな性能を与えるパラメータに調性できた①最初の状態．
性能イマイチ
②ダメ具合が減るように(=性能がよくなるように)ちょっとずつ調整

パラメータ1
https://github.com/tomgoldstein/loss-landscape[Li+, “Visualizing the Loss Landscape of Neural Nets,” NIPS2018]

45
45

46

実際にはパラメータは2個では済まない
数万～数億個ある場合も

…

…

…

…
人間には無理！ コンピュータにお願いして，ベストな「調整」を行ってもらうしかない！
深層学習についてもう少し知りたい人は→付録

余談：深層ニューラルネットワークの挙動を理解したい人におすすめ
google playgroundhttps://playground.tensorflow.org/

47

九州大学 数理・データサイエンス教育研究センター

48
48

AIの性能が，最近劇的に向上した3つの理由
 深層ニューラルネットワークの利用 パラメータ数が膨大（数千万～数億個のパラメータを持つ）＝調整の自由度が非常に高い→うまく調整できれば，相当複雑な問題でも扱える！
 非常に大規模なデータが手に入るようになった 深層ニューラルネットワークの大量のパラメータを調整（＝学習）するのに十分なデータが手に入る
 コンピュータのパワーアップ
 大量のデータを用いた深層ニューラルネットワークの学習が可能になった

九州大学 数理・データサイエンス教育研究センター

前ページの「３つの理由」をさらに加速させる「オープン戦略」
ソース＝source-code = プログラム，のこと
 オープンソース
 頑張って作った最先端のプログラムを，誰でも使えるように公開してくれているもの．無償のものも多い

 オープンデータ
 頑張って集めたデータを，誰でも使えるように公開しているもの
 例えば，画像データや，自治体などのデータ
 それを使って，機械学習なども気軽にできる
 無料で使えるクラウドコンピュータ webブラウザからログインすれば自分のコンピュータのように使える Google Colaboratory (2022年3月現在無料)

49
49

関連話題： 「公開コンペサイト Kaggle」
糖尿病性網膜症の診断オープンデータ@2015

50

世界中の専門家が同じデータを使ってフェアに精度を競う！
この競争の結果，高精度な診断AIも実現できる！

重症度診断付き(5段階)画像が35,000枚!

サンプルデータの例

661チームが参加
賞金
1位：$50,000
2位：$30,000
3位：$20,000

51

今のAIにできないこと「人間にとって代わる」なんて，まだ夢の先九州大学 数理・データサイエンス教育研究センター

52
52

現在のAIは全く万能ではない！
 実現できているのは「特化型AI」のみ
 画像認識など，特定のことしかできない
 汎用AIはまだ研究途上 十分なデータがなければ正しく動かない プライバシーにかかわるデータは集めづらい 大地震などの希少データは収集不可能
 他にも次に挙げる問題が存在（詳細後述）
 ケース① 敵対的事例
 ケース② フレーム問題
 ケース③ 判断根拠が不明確
九州大学 数理・データサイエンス教育研究センター

53
53

特化型AIですら全く万能ではない
ケース① 敵対的事例の存在
 人間だと絶対起こさないような誤りを起こす AIが間違うような意地悪な「ノイズ」を加えると…
“A”

“A”
＋ノイズ

“A”

“B”

 「習っていないものについては融通が利かない」ことを意味
 上の例で人間は「ノイズは不要」という「常識」を使って正解する
これをうまく使ってプライバシー保護→付録

九州大学 数理・データサイエンス教育研究センター

特化型AIですら全く万能ではない
ケース② フレーム問題

5454

 特定の範囲のことしか「考えが及ばない」
 有名な例：
台車に載った
段ボール箱を持ってきて承知しました持ってまいりました

すべての可能性を考えようとすればキリがなくて止まってしまう 爆弾をどこに置いたらどのような影響が..?! ← 無限通りの可能性

 人間がフレーム問題をどう回避しているのかは依然不明
九州大学 数理・データサイエンス教育研究センター

特化型AIですら全く万能ではない
ケース③判断根拠が不明確

55
55

 AI(深層ニューラルネット)の判断根拠を見出すのが難しい
あなたの網膜画像を見たところ
手術が必要です！
な，なぜ!? どんな原因？

それは説明できません
医療画像診断AI

 現在この問題を解決するべく explainable AI（説明可能AI）の研究が数多く行われている 例えば「画像中のどの領域に注目して判断したか」を推測する
網膜のこの辺に病変があると判断しました九州大学 数理・データサイエンス教育研究センター

56

付録

九州大学 数理・データサイエンス教育研究センター

57

教師あり機械学習

九州大学 数理・データサイエンス教育研究センター

58
58

教師あり機械学習とは 「この𝑥に対しては，こんな𝑦を返してほしい」という「例」に基づいて，関数𝑦 =𝑓(𝑥)を自動的に定める方法
 「例」(学習サンプル)は多数必要

 「画像認識」ならば…

𝑥

𝑓

𝑦

𝑥

𝑓

犬

犬

猫

学習

𝑦

利用
九州大学 数理・データサイエンス教育研究センター

59
59

教師あり学習～図で表現 こういう風に犬と猫のデータが与えられたとする

九州大学 数理・データサイエンス教育研究センター

60
60

教師あり学習～図で表現 𝑓(犬) = 0, 𝑓(猫) = 1となるような関数𝑓を見つけたい

𝑦 = 1 (猫)𝑥 =●では𝑥 =●では𝑓 𝑥 = 0になってほしい𝑓 𝑥 = 1になってほしい𝑦 = 0 (犬)九州大学 数理・データサイエンス教育研究センター

61
61

教師あり学習～図で表現 例えばこんな感じに𝑓を決定してほしい

𝑦 = 𝑓(𝑥)𝑦 = 1 (猫)𝑦 = 0 (犬)九州大学 数理・データサイエンス教育研究センター

62
62

教師あり学習～図で表現
 上から見ると，犬と猫の境界線がわかる
 この図の場合，境界線はまっすぐ(直線)九州大学 数理・データサイエンス教育研究センター

63
63

教師あり学習～図で表現 この𝑓さえあれば「初めて見る𝑥」も犬か猫か認識できる

𝑦 = 𝑓(𝑥)𝑦 = 1 (猫)

𝑦~1
だから猫!
𝑦 = 0 (犬)九州大学 数理・データサイエンス教育研究センター

64
64

何が「教師」だったのか？
 各データは「犬」か「猫」かわかっている すなわち人間(=教師)が，各データの正解を教えている

𝑦 = 1 (猫)𝑥 =●では𝑥 =●では𝑓 𝑥 = 0になってほしい𝑓 𝑥 = 1になってほしい𝑦 = 0 (犬)九州大学 数理・データサイエンス教育研究センター

65

教師なし機械学習

九州大学 数理・データサイエンス教育研究センター

66
66

では教師が無い状態というのは？
 計算機は，どのデータが犬か猫か，知らされていない なので，𝑦 = 𝑓(𝑥)を作ることはできない なので，画像認識のための機械学習はできない では，何もできないのか？

九州大学 数理・データサイエンス教育研究センター

67
67「教師無し学習」ならできる
 近くにいるものどおしを「グルーピング」すること
 すなわち（前にやった）「クラスタリング」とは，教師なし学習の一種(何かわからないが似たものが集まっている)(何かわからないが似たものが集まっている)

グループ2

グループ1

九州大学 数理・データサイエンス教育研究センター

68
68「教師無し学習」に期待すること 「グループの中身を見てみると，ほとんどが同じ部類だった」ら嬉しい！

このグループのデータは全部猫だった！
こういうのもありますが九州大学 数理・データサイエンス教育研究センター

69

深層学習に関してもう少し

九州大学 数理・データサイエンス教育研究センター

70
70

深層学習とは？
 深層ニューラルネットワークにより関数𝑓を実現するための

機械学習法

𝑓

𝑥

𝑥

𝑓

𝑦

𝑦
犬
猫

学習

九州大学 数理・データサイエンス教育研究センター

71
71

複雑に入り組んだ問題でも分けられる(=難しい認識課題でも，対応できる!)

𝑓がぐにゃぐにゃだから
境界もぐにゃぐにゃ

先ほどの例では境界はまっすぐhttps://scikit-learn.org/stable/auto_examples/neural_networks/plot_mlp_alpha.html

九州大学 数理・データサイエンス教育研究センター

72
72

凄そうなことはわかった．
でも，このパラメータを決めてやる必要があるんですよね？
 Yes
 でも，どういう値がベストかわからない．
 さらに言えば，数億ぐらいある場合もある

× 0.38+4.10⋮

× 9.23

+7.06

⋮

⋮

⋮

計算結果
0.70 ヒマワリ
0.23 キク
0.02 ダリア
0.01 コスモス⋮
0.00 バラ× −1.60

+0.01

⋮

入力画像

深層ニューラルネットワーク

パラメータ（この図では6個だが，実際には数億個ある場合も）“ヒマワリ”

73

さて，どうする．数億の「つまみ」(パラメータ)を全部調整するのはコンピュータだって困りそう

…

…

…

…

74

パラメータ数が膨大過ぎて目隠しした状況に近い．
このとき，どうやって「ベスト状況」を探す？
目隠し
パラメータ
第1000000

ニューラルネット
ワークのダメ具合（期待する答えとの誤差）①最初の状態．
性能イマイチ

パラメータ1
https://github.com/tomgoldstein/loss-landscape[Li+, “Visualizing the Loss Landscape of Neural Nets,” NIPS2018]75

多分，足の裏で傾きを感じて，下がる方向に進むのでは？

足の裏で傾きを感じて，下がる方向に一歩進む!

目隠し
パラメータ
第1000000

ニューラルネット
ワークのダメ具合（期待する答えとの誤差）①最初の状態．
性能イマイチ②ちょっと性能が改善された!
パラメータ1
https://github.com/tomgoldstein/loss-landscape[Li+, “Visualizing the Loss Landscape of Neural Nets,” NIPS2018]

76

それを繰り返せば，全体像が見えなくても，すこしずつ改善できそう！
足の裏で傾きを感じて，下がる方向に一歩進む!
パラメータ
第1000000

ニューラルネット
ワークのダメ具合（期待する答えとの誤差）③さらに性能が改善された!
パラメータ1
https://github.com/tomgoldstein/loss-landscape[Li+, “Visualizing the Loss Landscape of Neural Nets,” NIPS2018]

77
77

この旅の手掛かりは「微分」!!
微分で傾きがわかり，それで動くべき方向がわかる！
 更に簡略化したケースで見てみる

ダメ具合

傾き
=微分
傾き
=微分

傾き
=微分
パラメータ

移動方向＝傾きが下がる方向
移動量 ∝ 傾きの大きさ

徐々に極小点に収束していくというわけで，微分便利，重要!
(皆さんが微分嫌いでも，皆さんの脳は勝手に微分を使ってる)78
78

気づく人は気づくでしょう．
「現実はそう甘くない」ことを あらら，「ベストではないところに引っかかってしまった」

ベストではない
だめ具合

傾き
=微分

傾きゼロ
=動かない

パラメータ

ベスト
 深層ニューラルネットワークが，この状況をどう回避しているのかは，世界中で研究されている（完全には解明されていない）

79

AI・機械学習関連の少し進んだ話

敵対的生成ネットワーク・強化学習・転移学習

九州大学 数理・データサイエンス教育研究センター

80
80

敵対的生成ネットワーク：
考え方 (1/2)
 敵対的な上達（＝ライバルが切磋琢磨する）
ピッチャーは打たれて反省し，より良い球を投げるように訓練する

反省＆訓練

共に上達する！
バッターは打てなくて反省し，良い球でも打てるように訓練する

反省＆訓練

81
81

敵対的生成ネットワーク：
考え方 (2/2)
 この考えをAIによる「顔画像」生成に利用すると…
生成AIは見破られて反省し，より本物に近いものを生成するように訓練される生成AIが作ったもの！ 本物ではない！
生成された画像

反省＆訓練
生成AI

識別AI

共に上達する！
識別AIは(生成AIの生成物を)見破られなくて反省し，より本物のみを選べるように訓練される
本物だ..と思うよ

生成された画像

生成AI

識別AI

反省＆訓練
九州大学 数理・データサイエンス教育研究センター

82
82

敵対的生成ネットワーク：
様々な応用例
 画像生成 もはや本物の顔画像と区別つかないレベル(下はすべて「実在しない」人の顔画像)[Karras+, “Progressive Growing of GANs for Improved Quality, Stability, and Variation”, ICLR2018] 一般的な画像もきれいに合成（下はやはりすべて「実在しない」画像)[Brock+, “Large Scale GAN Training for High Fidelity Natural Image Synthesis”, ICLR2019] 音楽も生成できるように Jukebox by OpenAI

九州大学 数理・データサイエンス教育研究センター

83
83

敵対的生成ネットワーク：
高精度すぎて社会問題も引き起こしている DeepFake ある人の顔を別の人に入れ替えた動画
 政治的デマ動画の生成
 フェイクポルノ動画生成


AI美空ひばり 生前の映像や歌声から新曲を歌う映像を生成

Wikipedia “DeepFake”

 2019年紅白歌合戦で披露
 「死者への冒涜」という否定的意見も

 故人AI 生前に音声情報を収集しておき，死後にそれらデータを使って，対話等を作り出す．
チャットボット型も九州大学 数理・データサイエンス教育研究センター

84

強化学習：その背後にある考え方

将棋が強くなるには，「状況を判断する力」が必要

運転がうまくなるには，「状況を判断する力」が必要

しかし，いきなりその力を持てるわけではない

しかし，いきなりその力を持てるわけではない

試行錯誤で「状況を判断する力」をつけていく(=強化学習)

試行錯誤で「状況を判断する力」をつけていく(=強化学習)九州大学 数理・データサイエンス教育研究センター

85
85

強化学習：方法 現在の場面において，現時点での知識に基づいて，最善と思われる行動をする 将棋の例：ある手を指す

 それが長期的に見てよかったか・悪かったか（当然失敗もする）を評価
 将棋の例：最後まで指し続けて，指した手が失敗だったか成功だったを評価 評価結果に基づいて知識を修正
 将棋の例：失敗だったらそういう手は指さないようにする こうした試行錯誤を繰り返し，知識を洗練していく

九州大学 数理・データサイエンス教育研究センター

86
86

強化学習：応用
 ゲーム
 ブロック崩しやスーパーマリオ（遊んでみたい人は OpenAI Gym）
 AlphaGo: 2017年に人類最強のトップ棋士に勝ち越す
 ロボット制御
 ロボットの腕(ロボットアーム) でうまく部品をつまむ方法を学習させる
Siemens社

 自動運転 アクセル・ブレーキ・ハンドルを制御しながら安全に目的地にたどり着く

songyanho.github.io
九州大学 数理・データサイエンス教育研究センター

87
87

転移学習：考え方と方法
 少ないデータしかなくても，それでなんとか賢いAIを作りたい そのために，別の大量データで学習した結果（パラメータ）を使いまわす！
少データでは精度が出ない

低精度 健康病気

そこで大量の別データでまず学習

高精度 犬

猫

ネズミ

深層ニューラルネットワーク(AI)

深層ニューラルネットワーク(AI)

データ少

大量データ

少データで追加学習

高精度 健康学習済みのパラメータを
使いまわす

病気

深層ニューラルネットワーク
(AI)

データ少
九州大学 数理・データサイエンス教育研究センター

88

敵対事例をうまくつかったプライバシー保護

AIに認識できない顔にする

九州大学 数理・データサイエンス教育研究センター

89

privacy visor
http://www.privacyvisor.jp/

九州大学 数理・データサイエンス教育研究センター