3-5 認識

東京大学

数理・情報教育研究センター
2021年5月1日

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

1

概要
•

本節では、AIにおける認識の概念を学び、画像と音声について実社
会のどのような場面で活用されているかを知ること、またその技術を実現するためにどのような処理が行われているかを知ることを目標とします。

•

物体や音といった実世界の現象をコンピュータに取り込むとどのよ
うなデータになるのか、その性質や注意すべき点についても理解します。

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

2

本教材の目次
1.

AIにおける認識とは

４

2. 認識技術の活⽤事例––

画像認識の活用事例
音声認識の活用事–––

デジタル画像の表現
二次元デジタルフィルタによる画像処理
深層学習による画像認識–––

デジタル音の表現
周波数解析
音声認識

3. 画像処理・認識技術

4. 音響処理・音声認識技術

5. 認識技術の応用

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

１２
１２
２４
２９
２９
３６
４８
５６
５６
６４
７８
８６

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

3

1. AIにおける認識東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析4

AIにおける認識とは
•
•
•

•

「認識」とは「 人間（主観）が事物（客観・対象）を認め、それとして知るはたらき。(ref. weblio辞書「認識」）」
AIが行う認識は「パターン」を認識すること：パターン認識
パターンとは名前が与えられるような規則的な存在
例：「りんご」はだいたい赤くて丸いという性質、「〇〇さんの顔」と見分けられる画像特徴、「あ」と発話した音声を聞き分ける規則、特定銘柄の株価が見せる特有の変動、ブランドのロゴ、QRコード

情報学におけるパターン認識とは、人間が共通概念に基づき名前を付けたサンプルあるいはサンプル集合を模範として、未知のサンプルに対し機械が自動的に名前を与えること• 同じ名前を与えられるサンプルの集合は同じクラスに属する• クラスにはラベルと呼ばれる名前が与えられている（例：「りんご」）• AIにおける認識器は、未知のサンプルを入力すると、それを適切なクラスに分類して、そのラベルを出力するcf.)「識別」は対象が同一かを見分けること、「検出」は対象があればそれを見つけ出すこと、「分類」は対象を正しいクラスに振り分けること
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

5画像認識とは•画像に写りこんでいる物体や動作、風景等に対し、人間が共通して与えるであろう名前（ラベル）を特定すること– 物体の名前を特定する（リンゴが写っている画像を入力すると「リンゴ」というラベルを返す）：一般物体認識– 人間の動作を特定する（人が手を振っている写真や動画を入力すると「手を振る」というラベルを返す）：動作認識– 写真の中から「顔」の領域を見つけ出す：顔検出•

機械学習に基づく「画像認識」とは– あらかじめ、認識対象とする各クラスに対し、それと認識されるべき画像の集合が与えられている（訓練データ; training data）– データが与えられていないクラスの画像認識は基本的にはできない（ただし、未知のクラスをunknownとして認識する場合もある）– どのクラスかわからない画像を適切なクラスに分類する問題なので、「画像分類 (Image classification)」と表現されることもある– 訓練データに含まれない、クラスが未知の画像集合（評価データ; testdata）をどれくらい正しく分類できたかで精度を評価（詳しくは「教師あり学習」を参照）
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

6

パターン認識
ラベルが既知のサンプル「りんご」のクラス

特徴空間
面積

特徴抽出

「みかん」のクラス

色※特徴空間の軸にはこれ以外にもいろいろなものが考えられる

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

7

パターン認識
ラベルが既知のサンプル「りんご」のクラス

特徴空間
面積 モデルを学習「みかん」のクラス

色※特徴空間の軸にはこれ以外にもいろいろなものが考えられる

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

8

パターン認識
ラベルが既知のサンプル「りんご」のクラス

特徴空間
ラベルが未知のサンプル
入力

面積 モデル
特徴抽出「みかん」のクラス

色※特徴空間の軸にはこれ以外にもいろいろなものが考えられる

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

9

パターン認識
ラベルが既知のサンプル「りんご」のクラス

特徴空間
ラベルが未知のサンプル

面積 モデル

入力「みかん」のクラス

出力

「りんご」
認識結果
（ラベル）

色
※特徴空間の軸にはこれ以外にもいろいろなものが考えられる

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

10

パターン認識の難しさ
目的：ラベルが未知のサンプルを正しいクラスに分類したい
見た目は全然違うのに• 難しさ１：クラス内分散が大きい
どちらも「りんご」• 同じクラスに属するサンプルなのに、互いの特徴が大きく異なる• 同じクラスのサンプルが特徴空間中で広い範囲に散らばる•難しさ２：クラス間分散が小さい•

異なるクラスに属するサンプルの分布が互いに交わると、その交わった領域に位置するサンプルが入力された場合に分類が定まらない
クラス内分散が小さく、クラス間分散が大きくなるような特徴空間を見つけることが重要•

見た目はそっくりなのに「りんご」と「みかん」• 異なるクラスに属するサンプルなのに特徴が似通っている• 異なるクラスのサンプルが特徴空間中で互いに近接して分布する

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

11

2. 認識技術の活用事例
2.1 画像認識の活用事例

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

12顔領域検出• 写真の中で「顔」らしい領域を検出する• カメラが自動的に顔にフォーカスを合わせる際にも用いられる
赤枠で囲まれた領域が自動検出された顔領域

顔が一部隠れていたり、横を向いたりしているものは、検出に失敗している場合もある

ref. (2020/4/6): Wikimedia commons: File:Kasahara Saitama Kasahara
Jinjo Elementary School 1920 1.jpg パブリックドメイン
https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%
83%AB:Kasahara_Saitama_Kasahara_Jinjo_Elementary_School_1920_1.jpg

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

13手書き文字認識••

画像認識初期のタスク
よく用いられるデータセット：MNIST (Mixed National
Institute of Standards and Technology database)– 「0~9」の10種類の数字の認識= 10クラス分類タスク– 各画像に数字が1つ記入– 解像度は28x28 pixel– 訓練データ：60,000枚– 評価データ：10,000枚•

間違いやすいサンプルを含む

ref. (2020/4/6): THE MNIST DATABASE of handwritten digits http://yann.lecun.com/exdb/mnist/
Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. "Gradient-based learning applied to document recognition." Proceedings of the IEEE, 86(11):2278-2324, November 1998.

東京大学 山肩洋子 2020 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

14一般物体認識••

写真に写っている物体が何かを当てるタスク
よく使われるデータセット：CIFAR-10– 10クラス分類、各クラス6000枚、32x32 pixelのカラー画像
１枚１枚の画像サイズが小さく
認識対象のクラス数も10種類とかなり小さなデータセット

基本的には各写真には認識対象のクラスの物体が１種類だけしか登場しない
 ラベルを１つ当てればいいので比較的簡単なタスク

ref. (2020/04/06): The CIFAR-10 dataset, http://www.cs.toronto.edu/~kriz/cifar.html

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

15様々な画像認識タスク••

各画像に対しクラスを1つ特定する物体認識タスク以外にも、様々な画像認識タスクがある
多くの研究グループがデータセットを提供（下図はMicrosoft COCO)(a) 複数物体認識(b) 矩形領域検出(c) 領域
セグメンテーション(d) 個体別領域
セグメンテーション

個体ごとに別の領域として抽出
Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr
Dollár, “Microsoft COCO: Common Objects in Context”, CVPR2015

東京大学 山肩洋子 2020 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

16画像の動作認識 (Action recognition)••

物体ではなく動作を認識するタスク
下図はPASCAL VOCのAction Classification Competitionの例• 10クラス(ジャンプする、電話する、楽器を演奏する、読む、自転車やバイクに乗る、馬に乗る、走る、写真を撮る、パソコンを使う、歩く）• 上の10クラスに属さない動作を行う画像（”その他”)も含まれている

ref. (2020/4/6) The PASCAL Visual Object Classes Challenge 2012 (VOC2012) http://host.robots.ox.ac.uk/pascal/VOC/

東京大学 山肩洋子 2020 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

17

動画における動作認識 (Action recognition)•••

画像ではなく動画を対象とした動作認識
ショートクリップに写っている人物の動作を認識
下図はUCF101: University of Central Floridaの研究グループが作った、101種類の動作認識を行うタスクのためのデータセットの例– 合計13320クリップ– 各動画の平均長は7.21 s（最短1.06 s、最長71.04 sec)
– 解像度320x240– うち51種類については音付

UCF101: A Dataset of 101 Human Action Classes From Videos
in The Wildhttps://www.crcv.ucf.edu/wpcontent/uploads/2019/03/UCF101_CRCV-TR-12-01.pdf

東京大学 山肩洋子 2020 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

18

画像に対するキャプション生成 (Image captioning)••

画像に対し、その内容を説明する短い文（caption)を生成するタスク
データセットの一例：MS-COCO• 123,287枚の画像に886,284個の物体領域– 個々の物体ごとの領域とその物体ラベル– ５文程度のキャプション

物体ラベル：“person”, “car”, “dog”, “sheep”, “chair”

ref. (2020/4/6) Microsoft COCO, http://cocodataset.org/

キャプション：• the dog is hurdling the sheep towards the man.
(その犬は羊を男のほうに追いやっている）• a man and a dog herding some sheep in a fenced offarea.
(男と犬が柵で囲まれた場所で羊を群れにしている）• a dog chases after some goats while a man
watches.
（男が見守る中、犬がヤギを追いかける）• a man guides a dog to herd sheep.
（男が犬を誘導して羊の群れを作る）• a dog herds sheep into a pen as a shepherd looks on（犬は羊飼いが見ている間に、羊を小さな群れにする)
東京大学 山肩洋子 2020 CC BY-NC-SA

東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

19

画像に対するキャプション生成 (Image captioning)

深層学習により自動生成されたキャプションの例（ありがちな情景と誤認して生成された誤ったキャプションがあることに注意）

二人の小さな女の子がレゴで遊んでいる

黒い服を着た男性がギターを弾いている

白と黒の犬が棒の上を跳んでいる

ピンクのシャツを着た女の子がブランコで揺れている

ref. (2020.4.6) Andrej Karpathy, Li Fei-Fei, “Deep Visual-Semantic Alignments for Generating Image Descriptions”, CVPR2015.
https://cs.stanford.edu/people/karpathy/deepimagesent/

東京大学 山肩洋子 2020 CC BY-NC-SA

東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

20

人体の姿勢推定
OpenPose: 米国カーネギーメロン大学が開発– 人体の19か所の関節（左右の区別あり）を高精度で検出– 商用にも広く使われている

複数名いても正しく対応関係を獲得

右の肘と右の手首の連結の尤度マップ 位置と方向を検出

ref. (2020/4/6) Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, CVPR2017,https://github.com/CMU-Perceptual-Computing-Lab/openpose

東京大学 山肩洋子 2020 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

21

顔認証
•

顔画像から特定の個人であるかどうかを判別•

通常のカメラで撮影したカラー画像に加え赤外線画像を利用(注1)•

深層学習により顔画像認証 (Deep face recognition)• PCやモバイル機器のロック解除のための認証に利用• カラー画像は光源の位置や明るさが変わると、同一人物であっても画像特徴が大きく変化する• 赤外線カメラは照明の違いによる影響を受けづらい 顔認証ではカラー画像と赤外線画像を両方使って顔認証を行う場合が多い– たくさんの人の顔でモデルを学習– そうして得られたモデルで顔から特徴を抽出して同一人物かを評価– 空港の監視カメラで撮影した画像など、顔がカメラを向いているとは限らない場合は、顔の向きが違っても同一人物かを見分けることが重要

注1) (2021/3/31): “Windows Hello 顔認証". Windows ハードウェア開発者向けドキュメント, https://docs.microsoft.com/ja-jp/windows-hardware/design/deviceexperiences/windows-hello-face-authentication

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

22

指紋認証
•
•

指紋をスキャンして獲得した画像から、指紋の特徴を抽出し、登録済みのパターンと照らし合わせることにより生体認証
iPhone/iPadにもTouch IDと呼ばれる指紋認証が内蔵• 静電容量式のタッチセンサーが指紋の細かい部分の表皮下の層から
高解像度画像を取得• 指紋を基本的な 3 つの種類 (弓状、蹄状、渦状) のいずれかに分類• それらの特徴の組み合わせにより個人認証

弓状紋

蹄状紋

渦状紋

ref. (2021/3/31): File:Fingerprint Arch.jpg, パブリックドメイン, https://commons.wikimedia.org/wiki/File:Fingerprint_Arch.jpg
ref. (2021/3/31): File:Fingerprint Loop.jpg, パブリックドメイン, https://commons.wikimedia.org/wiki/File:Fingerprint_Loop.jpg
ref. (2021/3/31): File:Fingerprint Whorl.jpg, パブリックドメイン, https://web.archive.org/web/20050403155444/http://www.nist.gov/srd/fing_img.htm

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

23

2. 認識技術の活用事例
2.1 音声認識の活用事例

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

24音声認識における処理の流れ
Speech-to-Text (STT)とも呼ぶ (cf. TTS; Text-to-Speech、音声合成）
マイクで
音声を入力

音声信号
特徴量（周波数成分等）
記号列（文字列・音素列）

書き起こし文を出力

単語列（文章・文書）

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

25音声書き起こし・ディクテーション• WordやGoogleドキュメントなどにも内蔵• 会議や講演、講義の記録作成• 衆議院の本会議・委員会審議の議事録作成（2011~）• 聴覚障害者のための情報保証にも使われる「ディクテーション」
ボタン押す

マイクをオン
リアルタイムで書き起こし
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

26

動画の自動字幕生成• 動画の音声を認識して字幕を自動付与する機能• youtubeにも内蔵（2009年に英語でスタート、2011年から日本語に対応）• 機械翻訳との組み合わせも可能

英語字幕を生成し日本語に翻訳

日本語字幕が表示
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

27

音声検索・スマートスピーカ・音声対話システム••••

2018年、世界のオンライン人口の27%が音声検索を利用 [1]2019年、米国ではインターネット利用者の26.0% (約7千4百万人)がスマートスピーカを利用 [2]音声検索では、ユーザが音声で入力したクエリとユーザの検索結果に対する選択行動の記録（検索ログ）を収集し、認識モデルを改良
使えば使うほど音声データが集まり音声認識精度が向上する仕組み
スマートスピーカでは、高度な発話意図理解と対話が求められる• 一問一答型：「今日の天気は？」場所が「ここ」であることは暗黙の了解• 続けて対話をするためには対話管理が必要：
ユーザ「明日の東京の天気は？」AI「晴れです。」
ユーザ「最低気温は？」AI (「明日の東京の」と解釈し）「3度です。」
音声クエリ
検索結果
検索結果をクリック

検索ログを使って音声認識精度や検索精度を向上[1] https://www.thinkwithgoogle.com/marketing-strategies/search/voice-search-mobile-use-statistics/[2] ref. Corey McNair, “Global Smart Speaker Users 2019—Trends for Canada, China, France, Germany, the UK and the東京大学 https://www.emarketer.com/content/global-smart-speaker-users-2019
数理・情報教育研究センター 山肩洋子 2021 CC BY-NC-SA
US —”, INSIDER INTELLIGENCE,

東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

28

3.画像処理・認識技術
3.1 デジタル画像の表現

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析29デジタルカメラの仕組み

ref:千葉憲明著、『カメラの常識のウソ・マコト』、講談社、2004年6月20日第1刷発行、ISBN 4062574462, 森枝卓士著、『デジカメ時代の写真術』、NHK出版、2003年7月10日第1刷発行、ISBN 4140880740, 津軽海渡、木村誠恥著、『図解雑学 デジタルカメラ』、ナツメ社、2002年12月18日発行、ISBN 4816334092
ref. (2020/4/3): Wikimedia commons: File:Digital camera cut model 1.PNG (https://commons.wikimedia.org/wiki/File:Digital_camera_cut_model_1.PNG) CC BY-SA 3.0

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析30

アナログ画像とデジタル画像の表現
画像とはx軸とy軸からなる平面座標系で定義される2変数関数 f またはF
アナログ画像の表現

xz = f (x,y)
x, y, z は0以上の実数y(x,y)は平面上の位置座標z は(x,y)における光の強さ・明るさ
デジタル画像の表現

X

Z = F (X,Y)
X,Y, Z は0以上の整数

Y(X,Y)は平面上の格子点
Zは格子点(X,Y)における光の強さ・明るさ
1つの格子点を画素またはピクセル(pixel)と呼ぶ色の濃さ(Zの値の大きさ) を輝度または濃淡値と呼ぶ
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析31

デジタル画像は正方形タイルの集まり
横縦方向の刻みが細かい⇒解像度が高い

各ピクセルの階調の刻みが細かい⇒ビット深度が深い

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg
山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

32

解像度の高低による画像の違い

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

50x45

25x23
低解像度

84×76

160x145

高解像度

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

33

ビット深度の深さによる画像の違い
1bit (2階調)：

二値画像 (binary image)とも呼ぶ

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

2bit (4階調)

低ビット深度

8bit (256階調)：

3bit (8階調)

高ビット深度東京大学 数理・情報教育研究センター

一般的にグレースケール
東京大学 数理・情報教育研究センター 山肩洋子 2021 CC BY-NC-SA
画像といえばこれ
4-4.
4-4. 時系列データの解析
時系列データの解析

34デジタル画像（24bitフルカラー）の表現
R

1画素あたり8bit(256階調)G

1画素あたり8bit(256階調)＋カラー画像はRGBの３枚の濃淡画像として記録されている＋=東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

B

1画素あたり8bit(256階調)1画素あたり24bit（1677万色）
フルカラー
山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

35

3.画像処理・認識技術

3.2 2次元フィルタリングによる画像処理

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

36

畳み込み演算による画像のフィルタリング••

ref. (2020/4/4)
https://www.pexels.com/ja-jp/photo/736230/

デジタル画像を平面座標系において座標(x, y)が決まると、その座標における濃淡値 z=f(x,y)を返す関数と考える（ただし、x, y, zは0以上の整数）
入力画像 f(x,y)に対し、何らかのフィルタを適用して、出力画像 g(x,y)を生成することを考える

入力画像 f(x,y)

出力画像 g(x,y)
ケーススタディ：
画像をぼけさせる
フィルタとは？

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

37

2次元デジタルフィルタにおける畳み込み演算
h(0,0) h(0,1) h(0,2)
h(1,0) h(1,1) h(1,2)
h(2,0) h(2,1) h(2,2)

３×３のカーネル••••

𝑔𝑔(𝑛𝑛, 𝑚𝑚) = � � ℎ 𝑖𝑖, 𝑗𝑗 𝑓𝑓(𝑛𝑛 + 𝑖𝑖, 𝑚𝑚 + 𝑗𝑗)
𝑖𝑖𝑗𝑗

出力画像の明るさを変えたくない場合は、� � ℎ 𝑖𝑖, 𝑗𝑗 = 1
𝑖𝑖

𝑗𝑗

一般的にフィルタのカーネルは奇数×奇数画素の正方行列
それぞれの画素を中心とし、その画素とその周辺からなる画素集合とカーネルとの行列積を、新しい画像の画素値とする処理を「畳み込み（convolution)」と呼ぶ
畳み込みはDeep Learningによる画像処理の基本的な処理（CNN=Convolutional Neural Network）
フィルタによって出力画像が様々に変化
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

38

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)

f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0) g(1,1) g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)

f(3,0) f(3,1) f(3,2) f(3,3)
f(0,1) f(0,2)
h(0,0) h(0,1) h(0,2)

g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)

f(4,0) f(4,1) f(4,2) f(4,3)
h(1,0) f(1,1)
h(1,1) f(1,2)
h(1,2)

g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)

f(5,0) f(5,1) f(5,2) f(5,3)
h(2,0) f(2,1)
h(2,1) f(2,2)
h(2,2)
1

1

𝑔𝑔(𝑛𝑛, 𝑚𝑚) = � � ℎ 𝑖𝑖, 𝑗𝑗 𝑓𝑓(𝑛𝑛 + 𝑖𝑖, 𝑚𝑚 + 𝑗𝑗)
𝑖𝑖=−1 𝑗𝑗=−1

東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

4-4. 時系列データの解析

39

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)

f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0) g(1,1) g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)

f(3,0) f(3,1) f(3,2) f(3,3) f(0,1)
f(0,2)
h(0,0) h(0,1) h(0,2)
g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
f(4,0) f(4,1) f(4,2) f(4,3) f(1,1)
h(1,0) f(1,2)
h(1,1) h(1,2)
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)

f(5,0) f(5,1) f(5,2) f(5,3) f(2,1)
h(2,0) f(2,2)
h(2,1) h(2,2)
1

1𝑔𝑔(𝑛𝑛, 𝑚𝑚) = � � ℎ 𝑖𝑖, 𝑗𝑗 𝑓𝑓(𝑛𝑛 + 𝑖𝑖, 𝑚𝑚 + 𝑗𝑗)
𝑖𝑖=−1 𝑗𝑗=−1

東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

4-4. 時系列データの解析

40

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
行列の積g(1,0)
g(1,1) g(1,2) g(1,3) g(1,4)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)

f(3,0) f(3,1) f(3,2) f(3,3) f(3,4) f(0,2)
h(0,0) h(0,1) h(0,2)
g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
f(4,0) f(4,1) f(4,2) f(4,3) f(4,4) f(1,2)
h(1,0) h(1,1) h(1,2)
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)

h(2,0) h(2,1) h(2,2)
f(5,0) f(5,1) f(5,2) f(5,3) f(5,4) f(2,2)
1

1𝑔𝑔(𝑛𝑛, 𝑚𝑚) = � � ℎ 𝑖𝑖, 𝑗𝑗 𝑓𝑓(𝑛𝑛 + 𝑖𝑖, 𝑚𝑚 + 𝑗𝑗)
𝑖𝑖=−1 𝑗𝑗=−1

東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

4-4. 時系列データの解析

41

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
f(3,0) f(3,1) f(3,2) f(3,3) f(3,4) f(3,2)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
行列の積g(1,0) g(1,1)
g(1,2) g(1,3) g(1,4)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)
h(0,0) h(0,1) h(0,2)

g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
h(i, j)のとる値によってf(4,0) f(4,1)
f(4,2) f(4,3) f(4,4) f(4,2)
h(1,0) h(1,1) h(1,2)
出力画像が様々に変化
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)
h(2,0) h(2,1) h(2,2)
f(5,0) f(5,1) f(5,2) f(5,3) f(5,4) f(5,2)
1

1𝑔𝑔(𝑛𝑛, 𝑚𝑚) = � � ℎ 𝑖𝑖, 𝑗𝑗 𝑓𝑓(𝑛𝑛 + 𝑖𝑖, 𝑚𝑚 + 𝑗𝑗)
𝑖𝑖=−1 𝑗𝑗=−1

東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

 h の f に対する畳み込み演算と呼ぶ
4-4. 時系列データの解析

42

平均値フィルタ（Mean filter)
3x3 平均値フィルタ
1/9 1/9 1/9

画像をぼけさせる
フィルタ

1/9 1/9 1/9

入力画像(320x480)

1/9 1/9 1/9

1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

５x5 平均値フィルタ

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

43

鮮鋭化フィルタ
輪郭を際立たせ、鮮鋭にするフィルタ– その画素と周辺の画素の値が違うとき、その画素の値を大きくする– その画素と周辺の画素の値が同じ時、その画素の元の値をそのまま使う-k/8 -k/8 -k/8

3x3鮮鋭化フィルタ
k=5とすると -k/8 1+k -k/8
下図のようになる
入力画像 (320x480)-k/8 -k/8 -k/8

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

44

エッジ抽出：ラプラシアンフィルタ
その画素の値が周辺の画素と違うほど大きな値とすることによって、周辺との輝度が大きく変化する輪郭線を取り出す
3x3 ラプラシアンフィルタ-1
入力画像(320x480)

東京大学 数理・情報教育研究センター-1-1

5x5 ラプラシアンフィルタ
-1

-3

-4

-3

-1

-3

0

6

0

-3

-4

6

20

6

-4

-3

0

6

0

-3

-3

-4

-3

-1

-1

8

-1

-1

-1

-1

-1

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

45

ガウシアンフィルタ
中心が最も値が大きく、中心から離れるほど値が小さくなる
x軸方向、y軸方向それぞれの値の変化はガウス関数に従う
1
𝑥𝑥 2 + 𝑦𝑦 2ℎ(𝑥𝑥, 𝑦𝑦) =
exp −
2
2𝜋𝜋𝜎𝜎
2𝜎𝜎 2
カメラのレンズによるボケを幾何学的に再現したモデルと考えられる
サイズ3×3、σ=2のフィルタ

0.102 0.115 0.102
0.115 0.131 0.115
0.102 0.115 0.102

サイズ５×５、σ=5のフィルタ

0.03690.03920.04000.03920.0369東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

11x11のガウシアンフィルタ

0.03920.04160.04240.04160.03920.04000.04240.04330.04240.04000.03920.04160.04240.04160.0392

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

0.03690.03920.04000.03920.036946

ガウシアンフィルタ•

その画素の値の影響を最も強く受け、そこから離れた位置にある画素ほど影響を受けなくなる

入力画像(320x480)

ガウシアンフィルタ
サイズ： 5x5σ=5東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ガウシアンフィルタ
サイズ： 11x11
σ=5

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

47

3.画像処理・認識技術

3.3 深層学習による画像認識

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

48

深層学習による画像認識の幕開け•

クラウドソーシングによる大規模データセット：ImageNet• ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)– 1000クラス、学習120万枚、検証5万枚、テスト10万枚– マルチラベル：1枚の画像に複数ラベル＋信頼度• 2011年のILSVRCで優勝したモデルのエラー率は26％
 2012年にDeep Learningを使ったモデルが登場15%に激減！

ref. Russakovsky, O., Deng, J., Su, H. etal. ImageNet Large Scale Visual Recognition
Challenge. Int J Comput Vis 115, 211–252 (2015).

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

49

物体認識精度は人間を超えた!?
••••ILSVRC2012で、トロント大学Geoffrey Hinton教授率いるグループが初めて多層ニューラルネットワークによる画像認識モデルを提案
主著者の名前をもじってAlexNetと呼ばれる
翌年から上位チームはすべてDeep Learningを採用
2015年についに人間の精度を超えた
Deep Learning

誤認識率

AlexNet

コンペを運営しているチームの研究者がものすごく頑張って
人力でようやく0.051

Excerpted from ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2017 Overview
Andrej Karpathy, “What I learned from competing against a ConvNet on ImageNet”, Sep 2, 2014, http://karpathy.github.io/2014/09/02/what-i-learned-fromcompeting-against-a-convnet-on-imagenet/

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

50

畳み込みニューラルネットワーク（CNN; Convolutional Neural Network)••

代表的な物体識別モデル
実際には様々な実装がある（下図はAlexNet）• 画像の空間的な特徴を抽出する層• 途中の層ではどうなっているか？

最終層にsoftmaxを適用した結果
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissue

1000クラスのうちcarだけが高く、残りがほぼ0のようなベクトルが出力

ref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

51

畳み込みニューラルネットワークにおける畳み込み演算••第1層から第5層までは、2次元デジタルフィルタで説明した
畳み込み演算 (convolution）を行っている
ただし、2次元デジタルフィルタではフィルタは人がデザインしていたのに対し、CNNではデータから学習により取得する
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissue

convolutionref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

52

CNNにおける画像のフィルタリング• 層を経るごとにより具体的な形状の特徴を取り出していく• 第5層になると、「入力画像にどんなパーツが写りこんでいるか（実際には尤度分布）」がわかってくる• 「入力画像に写っているパーツのセット」が「他のクラスに比べ、車にありがちなパーツのセット」であるならば「車」と判別

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg
東京大学 数理・情報教育研究センター

第5層の出力形状レベルの特徴を抽出

第3層の出力

輪郭線レベルの
特徴を抽出

入力画像

テクスチャレベルの特徴を抽出

第1層の出力

入力画像に
写っている
パーツの
リスト

モデルはKeras VGG16 pretrainedを使用
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

53

畳み込みニューラルネットワークにおけるプーリング (pooling)••

画面を小さく区切り、各区間ごとに画素をまとめて1つの値にする• データのサイズを小さくする役割• 物体が写っている位置や角度の違いに頑健にする役割
最大値を取る場合 max pooling、平均値をとる場合 average poolingと呼ぶ
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissueref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

54

深層学習はそれまでの画像処理と何が違ったのか？

•

AlexNet (2012)登場より前の画像認識では、CNNにおける第1~2層の出力に相当する情報を使って認識していた Deep Networkと対比してShallow networkと呼ばれる
2000年前後にいくつかの技術革新•

様々な画像処理タスクに対する学習データセットが公開•– 数学的解法：勾配消失問題（層を深くすると学習が進まなくなる現象）に対する効率的な解決法の提案（1990年代後半）– GPGPUの発展：コンピュータグラフィックスの描画に用いられていたGPUをベクトル計算機とみなして気象や地震シミュレーション等、数値計算に利用（2006年NVIDIAがCUDA提供開始）– Big Data時代の到来：
Webで画像やテキストなどが大量に収集できるようになり、モデルの学習に使えるデータが爆発的に増加• 学習データを使わない自己教師あり学習（self-supervised learning)の研究も進められている
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

55

4.音響処理・音声認識技術
4.1 デジタル音の表現

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析56

音声の収録―ダイナミックマイク（ムービングコイル型）の原理―•••

振動板に音波（粗密波）が当たると振動板が揺れる
振動板が揺れるとコイルが揺れる
磁界に対してコイルが動くと電流が流れるこの微弱な電流を増幅させて記録する

振動板

東京大学 数理・情報教育研究センター

コイル 磁石東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

出力57

音声の収録―ダイナミックマイク（ムービングコイル型）の原理―•••

振動板に音波（粗密波）が当たると振動板が揺れる
振動板が揺れるとコイルが揺れる
磁界に対してコイルが動くと電流が流れるこの微弱な電流を増幅させて記録する

出力

プロ用の収録機器では周波数特性に優れたコンデンサマイクが使われる
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

58

デジタル変換後の音声波形
時間方向の離散化：
波形を１秒間に何回記録するかサンプリングレート
振幅方向の離散化：
振幅方向の揺れの大きさを何階調で記録するかビット深度

0.001秒分の波形を拡大すると…

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析59アナログ-デジタル変換（AD変換）
標本化：サンプリングレート、フレームレート– 時間的に連続する波形を一定間隔ごとに記録する– 単位時間あたり何回記録するかサンプリングレート（単位はHz)

量子化：ビット深度、量子化ビット– 1サンプルを何ビットで記録するか？
– 振幅方向の階調の粒度に影響例）1サンプルあたり16bitで表現するなら、216=65536階調
ただし、振幅は正と負があるため、正負それぞれの階調はその半分音に限らず、AD変換する際は常に生じる問題！

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

60

サンプリング定理
サンプリングレートがFHzのとき f Hzの波は (F-f) Hzの波と区別できないサンプリングレートがFHzのとき、F/2よりも高い周波数の波 f を収録してしまうと、 それは(F-f)の周波数の波と混ざって記録される
 折り返し雑音（aliasing noise)と呼ぶ
逆に言えば・・・
収録対象に含まれている音（通常は様々な周波数の波が混ざった混合音）の最大周波数が fmax Hzである場合、これを記録するためには F > 2fmaxであるようなサンプリン
グレート Fで記録しなければならない！
サンプリング定理
サンプリングレートの1/2の周波数をナイキスト周波数と呼ぶ
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

61量子化と量子化雑音
ビット深度4 bitで量子化するとすると…
4bitは24/2階調なので正負はそれぞれ
0を含め8階調量子化する際に生じる原音との差を量子化誤差と呼ぶ
量子化誤差は「サー」という感じの雑音になる（白色雑音）
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

62

実際の波形でビット深度が8-bitと16-bitを比較

巨視的には同じに見える

細かく見ると誤差がある

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

16 bitのほうが
原音に忠実
63

4.音響処理・音声認識技術
4.2 周波数分解

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

64

音声波形の特徴

女性音声「あ」女性音声「い」男性音声「あ」男性音声「い」音声認識では左の波形を「あ」、右の波形を「い」と判別できます
どうやって見分けているのでしょうか？
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

65

音声波形の特徴（拡大）女性音声「あ」女性音声「い」男性音声「あ」男性音声「い」拡大するとなんとなく波形は似て見えますが…
音の高さごとに波を分解してみましょう！ 周波数分解
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

66

音は正弦波の重ね合わせとみなすことができる
あらゆる音は振幅・位相・周波数（波長）によって決まる正弦波（純音）を重ね合わせたものと考えることができる

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

67

周波数スペクトル
音を周波数ごとに分解して、その各周波数の振幅や位相で特徴を表現 周波数スペクトルと呼ぶ• デジタル音は離散フーリエ変換により各周波数成分に分解可能•• 実際にはその高速化手法である高速フーリエ変換（FFT）が使われる

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

68

正弦波の振幅と位相およびその複素数表現••

ある純音は周波数・振幅・位相の組み合わせで一意に定まる
振幅と位相は複素数で表現されることがある– 下の図は振幅が A 、位相が θ の波形– 時刻 t=0 のときの波の値 x = a + bi

– このとき、振幅は 𝐴𝐴 = 𝑎𝑎2 + 𝑏𝑏 2 、位相は 𝜃𝜃 = tan−1 𝑏𝑏⁄𝑎𝑎
ここで tan−1 (𝑥𝑥) とは tan(𝑦𝑦) = 𝑥𝑥となるような角度 𝑦𝑦のこと

振幅 A 位相 θ のサイン波

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

69

聴覚の特性
複数の波長の音を合成した複合音では、いずれかの波長の音の位相が変化しても、聴覚はその違いを知覚できない
 それでも人間は音声を聞き分けられているのだから、音声認識でも振幅成分だけ見ればいい
これら二つの複合音は、波形は異なるが、これらを聞き比べても人間の耳は区別ができない

220Hzの波の位相が左のグラフより90度ずれている

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

70

音声の周波数分析手順 (1/2)
女性音声「あ」の波形• 高速フーリエ変換（Fast Fourier Transform, FFT）
• 振幅成分は周波数成分を𝑋𝑋とすると20𝑙𝑙𝑙𝑙𝑙𝑙10 (𝑋𝑋)としてdB値に変換

注：元の波形のフレーム数が10161であるため、周波数成分も10161次元となる。
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

71

音声の周波数分析手順 (2/2)
中央から上の周波数成分はナイキスト成分であるため除去する（参考：サンプリング定理）
ナイキスト成分

注：周波数成分が10161のため、5081番目のフレームから10161番目のフレームまでを削除

この音声ファイルのサンプリングレートは16kHz
 8kHz以上はナイキスト成分なので無視する
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

72

音声の周波数成分の特徴
特に低周波領域におよそ一定間隔の山が見える 主に声帯で生じた倍音成分
楽器の単音でも同じおよそ一定間隔の波が観測できる
最初のピークは声の高さ（ピッチ）を表す（基本周波数と呼ぶ）

ほぼ等間隔の山が観測

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

73時間的に変化する音の周波数分解
通常の音声や音楽は時間的に周波数成分が変化
しかしフーリエ変換は– 一定区間の音声を入力として周波数分解– ある瞬間の音（つまり1サンプル）では周波数分解できない

時間的に変化する音はどのように周波数分解したらいいか？

これらの周波数成分は全く違う！

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

74

移動窓による短時間音声の切り出し
波形を短い区間で切り出して周波数分解
周波数成分を時間方向に並べればいい！

フーリエ変換
フーリエ変換
フーリエ変換
フーリエ変換東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析

移動窓で
短時間の
波形を切り出す

切り出した
窓の中心
その瞬間が一番重要でその前後はあまり重要でないので中心が大きくて、中心が離れるほど小さくなるような重み（窓関数）をかける

フーリエ変換

90度回転東京大学 数理・情報教育研究センター

Frequency [kHz]

振幅の大きさを色にして1つの帯にする

帯を時間方向に
並べる

その瞬間の
4-4.
4-4. 時系列データの解析
時系列データの解析
周波数スペクトル

スペクトログラムと呼ぶ

音声のスペクトログラム「あ・い・う・え・お」と発音したときの男性と女性の音声のスペクトログラム• 声の高さの違いによって縞模様の幅が違う（男性の方が声が低い＝基本周波数が低い＝倍音の周波数間隔が細かい）• 男性と女性で同じひらがなを発音している部分を見比べると
 縞の間隔を無視すれば柄が似ている  音声認識の手がかり

男性音声

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

女性音声

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

77

4.音響処理・音声認識技術
4.3 音声認識東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

78音声認識の流れ
マイクで
音声を入力

音声信号
特徴抽出
特徴量（周波数成分等）
音響モデル
記号列（文字列・音素列）
言語モデル

書き起こし文を出力

単語列（文章・文書）

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

79

特徴抽出
音声波形を周波数解析により対数パワースペクトルに変換• 音声波形のある区間を切り出したものを256次元のベクトルに変換• 時間方向に音響特徴量が並んだ時系列データとなる
時間方向に256次元のベクトルが並んだデータ

256次元のベクトル周波数解析

時間方向に並んでいる
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

80

音響モデルの課題••

音響モデルは音響特徴量の系列をサブワード（文字列や音素列等）の系列に対応付ける処理
通常、音響特徴量系列はサブワード系列よりもはるかに長い• “おんせい”を発話 “お”に対応するフレームは1つではない• 同じ”お”を発音した場合でも、ゆっくり話せばそれだけ多くの音声フレームが生成される• 長さの異なる系列どうしをどうやって対応付けるか？

周波数スペクトルは
時間方向に連続的に変化している点に注意

お

ん

せ い

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

81

音響モデルの発展•

GMM-HMM （1980年代から2010年ごろまでこの手法が主流）•

DNN-HMM•

End-to-Endモデル• 音声フレームの冗長性を隠れマルコフモデル（Hidden Markov Model; HMM)と呼ばれる状態遷移モデルでモデル化• HMMの各状態における音声の生成確率を混合正規分布（Gaussian Mixture Model; GMM）でモデル化• 単語に対し、その音素列（どのような発音かを記号であらわしたもの）を記した「発音辞書」が必要• GMM-HMMのGMMを多層ニューラルネットワーク (Deep NeuralNetwork; DNN)に置き換えたもの• GMM-HMMを前提に開発されてきたリソースがそのまま使えるため、製品ではDNN-HMMが主流で、引き続き改良が続けられている• 音声特徴を入力とし記号列（文字列や音素列）を出力するモデルを１つのニューラルネットワークで構成• HMMで必要だった「発音辞書」が不要、モデルが１つなため学習が単純• 代表的なモデルはConnectionist Temporal Classification（CTC）
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

82

音響モデル：CTCの枠組み

ref.神田 直之, “音声認識における深層学習に基づく音響モデル”, 日本音響学会小特集―音声言語処理における深層学習―,
図–4 CTC の枠組み, 73 巻 1 号 p. 31-38, 2017.
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

83

言語モデルの課題•

文を単語列と考え、単語列の起こりやすさ（生起確率）をモデル化•

最も基本的なモデル：n-gramモデル•

再起型ニューラルネットワーク（Recurrent neural network; RNN)•

自然言語処理分野で開発されたTransformerを導入し、音声特徴から単語列までを一気に扱うモデルも研究されている• 音響モデルが文字や音素の列を出力  漢字を含む文に変換する処理を担当• 「今日は月曜」の生起確率は高く、「教派下津陽」の生起確率は低い• 「ぷろきし」「プロキシ」「プロ棋士」どちらの単語が正しい？
 文脈を考慮して、より確率が高い方を選ぶ• ある単語の生起確率が、その直前の𝑛𝑛 − 1単語に（のみ）依存すると考える例）「ブラウザ の」の後ろであれば「プロキシ」
例）「将棋 の」の後ろであれば「プロ棋士」• 直前ではなく離れた位置にある文脈を考慮することが難しい• 直前の𝑛𝑛 − 1単語ではなく、直前の1単語に加え、前の隠れ層の出力ベクトル（ここにそれまでの文脈情報が埋め込まれている）から単語を予測• LSTM (Long Short-Term Memory)やAttentionを使うものもある

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

84

RNN言語モデルのモデル構造

単語列W = 𝑤𝑤1 , ⋯ , 𝑤𝑤𝑇𝑇 の生起確率P(W)を次の式で計算
𝑇𝑇

P W = � 𝑃𝑃(𝑤𝑤𝑡𝑡 |𝑤𝑤𝑡𝑡−1 , 𝒔𝒔𝑡𝑡−1 )𝑡𝑡=1

𝒘𝒘𝑡𝑡 ：𝑡𝑡番目の単語の1-hotベクトル
𝑤𝑤𝑡𝑡 ：𝑡𝑡番目の単語の単語ID（辞書の𝑘𝑘番目の語彙の場合𝑤𝑤𝑡𝑡 = 𝑘𝑘）
𝒔𝒔𝑡𝑡 ：𝑡𝑡番目の隠れ層の出力ベクトル
𝒐𝒐𝑡𝑡 ：𝑡𝑡番目の単語の予測分布（Softmaxの出力）ベクトルはすべて、辞書に𝑉𝑉個の語彙が登録されているとき𝑉𝑉次元

ref.増村 亮, “深層学習に基づく言語モデルと音声言語理解”, 日本音響学会小特集―音声言語処理における深層学習―,図–2
RNN言語モデルのモデル構造, 73 巻 1 号 p. 39-46, 2017.
東京大学 数理・情報教育研究センター 山肩洋子 2021 CC BY-NC-SA
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

85

5. 認識技術の応用

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

86

表現学習・Feature Embedding•

画像や音、単語や文などを特徴ベクトルに変換する処理•

深層学習を使った手法が広く用いられている• 特徴ベクトルに変換できれば、ベクトル間のコサイン類似度などによりサンプル間の類似度を計算できるため、画像検索等が実現できる• 画像や文書などに機械学習を適用する際の前処理としても行われる（意味のある情報を保持したまま次元圧縮することで計算コストを削減）
分類問題などを学習したモデルに対し、サンプルを入力したとき、その中間層の出力をそのサンプルの特徴ベクトルとする• 中間層の出力は、最終層で正しく答えるための手がかりを持っている• 入力に近い層がより原始的な特徴（テクスチャや輪郭線等）、出力層に近い層がより具体的なパーツを見分ける特徴を持つと言われる

ref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton,“ImageNet Classification with Deep Convolutional Neural
Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta
white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CCZero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_
Derivate_cut.JPG

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

例えばこれが入力された車の画像の特徴ベクトル山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

87

Web APIを使った認識技術の活用
Web API（Web Application Programming Interface）とは？
• サーバ上にあるソフトウェアの機能を、インターネットを介して外部のプログラムから利用できるようにする仕組み• ユーザが利用する端末の性能が脆弱な場合、高度な認識処理は実行できない場合がある
 Web APIを使えば、端末はデータをサーバに送り、サーバ上で認識処理を行った後、結果だけを受け取ることができる• Google, Microsoft, 楽天、Amazon, Facebookなど多くの企業が、Web APIを介して自社の認識機能を提供している

こんにちは

音声を送れば…
インターネット

いろいろな企業が音声認識APIを提供

音声認識結果を返してくれる「こんにちは」音声合成APIもあるので、組み合わせれば
音声対話アプリも実装できる！
東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

Microsoft88本教材のまとめ1.

AIにおける認識とは

４

2. 認識技術の活⽤事例–

画像認識の活用事例–

音声認識の活用事例–

デジタル画像の表現–

二次元デジタルフィルタによる画像処理–

深層学習による画像認識–

デジタル音の表現

–

周波数解析

–

音声認識

3. 画像処理・認識技術

4. 音響処理・音声認識技術

5. 認識技術の応用

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

１２
１２
２４
２９
２９
３６
４８
５６
５６
６４
７８
８６

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

89