開講年度

2023年度

科目名

音声認識と理解

科目名（英語）授業情報(授業コード・クラス・授業形態)

開講学期

後期
授業種別

講義

Speech Recognition
A1500037 音声認識と理解 [J2][対面]

担当教員

高橋 義典

単位数

2.0単位

曜日時限

キャンパス

新宿教室

水曜5限
A-0811教室

学位授与の方針

1 基礎知識の修得 10 ％2 専門分野の知識・専門技術の修得 80 ％3 汎用的問題解決力の修得 10 ％4 道徳的態度と社会性の修得 0 ％具体的な到達目標

・音声認識と理解の技術の概要解説ができる・パターン認識の中での音声認識の位置づけを解説できる．
・音声認識結果候補の中から最適な結果を選ぶ際に用いるスコアの計算やモデル評価のための計算ができる．
・音声認識技術を活用したアプリケーションの開発を開始するための基本を解説できる．

受講にあたっての前提条件

確率・統計Ⅰ，デジタル信号処理，音情報処理などを受講済みであれば，本科目をより詳しくより深く理解できる．
情報学実験で音声分析と音声合成を体験していると，音声の特徴についてのイメージを持った状態で本科目を受講できる．

授業の方法とねらい

AIスピーカー、スマートフォンやパソコン上で利用可能になった“音声認識と理解”の技術を，音声や言語についての科学と情報学の観点から理解し，“音声認識と理解”の技術を実際の問題解決に応用するための基礎力を習得する．

AL・ICT活用

第１回

実習・フィールドワーク

授業形態

遠隔（オンデマンド）

事前学習

教科書の各回講義に該当する箇所を講義時間の前に読む．講義のキーワードについて教科書などを活用して調べておく．
必要に応じてMatlabを使った音声処理の演習もおこないます．各自PCにMatlabをインストールしておいてください．ライセンスとインストール方法については本学の情報センターのホームページに従うこと．

授業内容

本科目の到達目標と１５回の講義の概要と授業の進め方，成績評価の方針などについて，シラバスを参照しながら確認する．音声認識技術を構成する主要なモジュールである，音とは何か，音声とは何か，身近な音声認識などについて学ぶ．

事後学習・事前学習

事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

0.5時間

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第２回

授業形態

対面

パターン認識の中での音声認識
授業内容

事後学習・事前学習

パターン認識の概念と，パターン認識の１つである音声認識の概要について学ぶ．
キーワード：ベイズ識別，パターンマッチング，ＤＰマッチング，生成モデル，識別モデル，音声認識
特徴量抽出，音響モデル，言語モデル，探索，発音辞書
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．
事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．

1時間

第3回

授業形態

対面

音声分析の基礎プログラミング
授業内容事後学習・事前学習

Matlabを使用して音声分析プログラミングの基礎について学ぶ．
キーワード：Matlab，音響信号処理，サンプリング周波数，離散フーリエ変換，時間周波数分析，スペクトログラム
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第４回

授業形態

対面

音声からの特徴量抽出
授業内容

事後学習・事前学習

音声認識技術を構成する１つのモジュールである音声分析，そこで抽出する特徴量について解説する．
キーワード：標本化，量子化，音声分析，スペクトラム，ケプストラム，MFCC，音素，Praat，Wavesurfer
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第5回

授業形態

対面

ケプストラムとフォルマント分析ブログラミング
授業内容

事後学習・事前学習

Matlabを使用してフォルマント分析の方法を体験する．
キーワード：Matlab，音響信号処理，ケプストラム，リフタリング，フォルマント
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第6回

授業形態

対面

動的計画法（DPマッチング）
授業内容

事後学習・事前学習

DPマッチングの概要と，DPマッチングを用いたパターン認識の手法について学び，Matlabを使って発話認識を体験する．
キーワード：DPマッチング，発話認識，Matlab
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．
事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．

第7回

授業形態
授業内容

オートマトン対面

1時間

オートマトンについて復習し，重みづけされたオートマトンによる正規文法のモデルについて学ぶ．
キーワード：決定生オートマトン，非決定生オートマトン，正規文法

事後学習・事前学習

事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第8回

授業形態

対面

音響モデル
授業内容

事後学習・事前学習

音のモデルである音響モデルと特徴量との関係について学ぶ．
キーワード：音響モデル，Hidden Markov Model (HMM)，Viterbiアルゴリズム，
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第9回

授業形態

対面

HMMの学習とGMM
授業内容

事後学習・事前学習

EMMアルゴリズムとGMMの概要について学ぶ．
キーワード：音響モデル，Hidden Markov Model (HMM)，Gaussian Mixture Model (GMM)
EMアルゴリズム，ラグランジュの未定係数法
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第10回

授業形態

対面言語モデル
授業内容

事後学習・事前学習

音と単語とを結びつける発音辞書，単語間のつながりをモデル化した言語モデルについて解説する．
キーワード：発音辞書，木構造辞書，正規文法，言語モデル，N-gram
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第11回

授業形態

対面

音声の明瞭性の評価
授業内容

事後学習・事前学習

音声認識を阻害する要因と音声の明瞭性の評価方法について学ぶ．
キーワード：音圧レベル，騒音レベル，S/N，MTF-STI
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第12回

授業形態

対面

音声の分離
授業内容

事後学習・事前学習

音声認識の事前処理として行われるブラインド信号分離（BSS）の基本的なアルゴリズムとBSSに必要となる線形代数学の基礎知識について学ぶ
キーワード：最小二乗誤差（LSE），主成分分析（PCA），ブラインド信号分離（BSS）
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第13回

授業形態

対面

BSSプログラミング
授業内容

事後学習・事前学習

音声認識の事前処理として行われるブラインド信号分離（BSS）についてMatlabプログラミングを通して体験する．
キーワード：最小二乗誤差（LSE），主成分分析（PCA），ブラインド信号分離（BSS），Matlab
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
教科書の各回講義に該当する箇所を講義時間の前に読む．
講義のキーワードについて教科書などを活用して調べておく．
第14回

授業形態

対面

音声を伝えるデバイス
授業内容

事後学習・事前学習

音声を明瞭に伝達する音響デバイスについて学ぶ．
キーワード：球面波，平面波，トランスデューサ，音響ホーン
事後学習
講義で解説された，概念，方式，用語を自分の言葉で説明でき，各種の計算を自分でできるように学習すること．
可能であれば，自分のパソコン，あるいは，計算機室の計算機上で，実際に音声を扱ってみること（有用なソフトウエアの紹介は講義内で行う）．

1時間

事前学習
期末試験に向けて，教科書と授業資料を復習し，例題，問，章末問題などを自分で解答できるまで繰り返し練習して下さい．
第15回

授業形態

対面

授業内容

期末試験を実施．

事後学習

事後学習
期末試験で解けなかった問題を振り仮全ての講義を振り返り授業アンケートに回答してください．

成績評価の方法

１００点を満点とする期末定期試験を実施し成績評価をおこなう．あるいは授業中に出す課題への取り組み状況に応じた点数で成績評価を行う．どちらにするかは授業中に多数決で決定する．
Ａ＋，Ａ，Ｂ，Ｃ，Ｄ，ＦのGradeで評価し，Ｄ以上の者に単位を認める．
原則として，追試験や再試験は行わないので、よく復習して試験に臨むこと．

受講生へのフィードバック方法

教科書

0.5時間

期末試験後，CoursePowerに全体の講評をアップロードします．

特に指定しない．

参考書

荒木雅弘著，イラストで学ぶ音声認識，講談社（2015）他，必要に応じて講義時間内に紹介する．

授業の前後に教室で質問を受けることができる．CoursePowerの質問はいつでも受付可能．

オフィスアワー

受講生へのメッセージ

実務家担当科目

下記の曜日に八王子キャンパス 5号館 506にいる可能性が高い．
前期は，月曜日，水曜日，金曜日（ただし，金曜日２〜５限は情報学実験）
後期は，月曜日，火曜日，木曜日，金曜日
ただし，会議や出張などで不在の場合もあるので，事前にyoshinori@cc.kogakuin.ac.jp にメールでアポイントを取こと．
時々，Matlabを使った演習も行います．ノートPCを持参してください（ノートPCが必要な日はCoursePowerで事前に指示します）．
各自PCにMatlabをインストールしておいてください．ライセンスとインストール方法については本学の情報センタ
ーのホームページに従うこと．

実務家担当科目ではない

実務経験の内容

教職課程認定該当学科
教育課程コード

情報デザイン学科
Ⅲ3c

教育課程コードの見方【例】 Ⅰ2a（Ⅰ…Ⅰ群、2…2年配当、a…必修） ※ a : 必修 b : 選択必修 c :選択※複数コードが表示されている場合には入学年度・所属学科の学生便覧を参照のこと