人にやさしい音声インタフェース構築の基盤ソフトウェアの開発
奈良先端科学技術大学院大学
鹿野清宏

H17.9.12
第１１回

NAIST産学連携フォーラム

文部科学省リーディングプロジェクト「基盤ソフトウェアの総合開発」

ユーザ負担のない話者・環境適応性を実現する自然な音声対話処理技術代表：
奈良先端科学技術大学院大学
鹿野清宏
参加機関：
奈良先端大、京大、和歌山大、名大、名工大、立命館大
日立製作所、旭化成、松下電器、松下電工、オムロン、ＡＳＴＥＭ

期間： ２００３.４ 〜 ２００８.３

マルチモーダル情報処理
音声対話ロボット

ブラインド音源分離
マイクロホンアレーによる日本語ディクテーション
ハンズフリー音声認識
統計的音韻・言語モデル
ビジュアルエージント
音声対話
音声認識
システム

音場制御 音声加工 音声認識
自由な音声割り込みがで
ウェブブラウザきる音声対話システム
声質変換
仮想音源の合成 音声モーフィング
音声規則合成音声情報案内システム
音場再現

無音声認識
無音声電話
NAM
NAM発話者認証

発話障害者補助

実環境における頑健な音声認識

社会基盤としての音声認識・合成プログラム
音声認識・合成により、誰もが気軽に情報機器の利用できる社会へ！

大語彙連続音声認識
フリーソフトウェア

ユーザ負担のない
話者・環境適応

どのような環境でも、高精度に認識。

誰もが使える子どもからお年寄りまでマイコン上でも。

実証開発、評価

マイクなしで、DSPチップで廉価。

ハンズフリー
音声認識

実環境の音声対話システム

多様な自然な応答音声。

ヒューマンインタフェース、構築ガイドライン 多様な声質の音声合成

大語彙連続音声認識プログラム
サブリーダー 河原 京大教授
奈良先端大、名古屋大、和歌山大、日立、ASTEM
H16-17
H16

会話調の音声／表現への対応

幅広い話者層H15-16H16
H15

幅広いカバレージ

言語モデル
CSRC
ベースラインシステム

カスタマイズ化を容易に

非音声のＧＭＭによる棄却

多様な端末・機器からの入力

音響モデル

音声認識エンジン
Julius

H15

H16

SAPI/SALT対応
マイコン移植音声版ダイアログナビ
 京都大学で開発
 SAPI・SALTの利用 コンピュータの使い方に関する質問を音声で受付・回答
 「両面印刷の方法」
 「Wordで数式を入力したい」

京都大学メディアセンター
オープンスペース端末室に設置

大語彙連続音声認識ソフトJuliusのマイコンへの移植
日立との共同研究 開発プラットフォーム 日立「T-engine」 ＳＨ−４
 TRONアーキテクチャに対応した共通開発ボード
CPUボードCPU
CFカード(SH-4)
プログラム
A/D

辞書
言語モデル
音響モデル

LCDボード認識結果表示 マイクロフォン

SH‑4 Æ SH‑4A、アルゴリズムの高速化Î実時間動作（H19.3)

マイコンボードの仕様
性能（2004年11月現在）
CPU
フラッシュメモリ

SH-4 (240MHz)
SH-4A 400MHz

簡易版

高精度版
5,000

8Mbyte

語彙サイズ

5,000

ワークメモ
リ

64Mbyte (SDRAM)

音響モデル

モノフォン

トライフォン(PTM)

OS

T-Kernel

言語モデル

trigramtrigram

ビーム
幅400

400

入出力I/F

USB, PCMCIAカード，シリアル，ヘッドフォン，マイク，LCD, 拡張バス，他

単語認識
精度

86.1%

90.7%

処理速度
(T-engine)

1.5×RT

3.6×RT

LCDボードTFTカラー 240x320

外形120mm x 75mm

SH-4A 20,000

SH-4A 実時間

ユーザ負担のない話者・環境適応
サブリーダー 鹿野 奈良先端大教授
データベース
成人 ３００人、 高齢者 ３００人

２０Ｋ 新聞記事読み上げタスク

5秒

85

4分

84

任意の１発声

83
82
81
80

音韻モデル
単一モデル

適応なし

音韻モデル
成人
高齢者

話者適応（教師なし）
任意の１発声（ユーザ負担なし）

音韻モデル
成人 男性
成人 女性
高齢者 男性高齢者 女性

10 発話

86

15分

教師あり話者適応（ＭＬＬＲ）

教師あり適応の１０文発声の性能を上まわり︑オンラインで動作

単語認識率(%)

87

50 発話

88

松下電器、松下電工
開発プログラムユーザ負担のない話者・環境適応
Randy Gomez

89
MLLR 50 発声

Word correct %88

任意の１発声87
86

MLLR 10 発声

NBest=258sec
NBest=408584

5sec

6sec
NBest=30

8sec

VTLN
1 発声

NBest=40

83
データベース
成人 ３００人、 高齢者 ３００人

82
81
No-adapt

Single-temp. Multi-temp
HMM-SS
HMM-SS

Cluster-based
HMM-SS

Linear Smoothing
HMM-SS

無音声認識・無音声電話
Non-Audible Murmur (NAM)
電子情報通信学会 論文賞 猪瀬賞

つぶやき声(NAM)は、話し手の近くでも聞こえない声。
この声を認識（無音声認識）したり、電話で送る（無音声電話）ことができる。
NAM マイクロフォン

NAM

無音声認識
無音声電話

私は名義を貸しただけで株購入をしていない。たとえ逮捕されても裁判で徹底的に闘う

NAMマイクロフォン
筋肉
声道内の空気振動

Y.Nakajima

皮膚軟シリコン電極

口腔血管振動センサー

骨遮音カバー

NAM（Non-Audible Murmur：非可聴つぶやき音）や微弱振動音源による微弱な声道共振音の収録が可能

NAM音声NAMマイク

NAM
無音声
つぶやき声
Murmur
ささやき声

UsualSpeech
通常音声

外部マイク

ＮＡＭは音声の応用範囲を拡大する新しい静かな音声メディア
静かな音声メディア
プライバシー
オフィスでの音声認識
会議中でも電話が可能

耐雑音性あり口の中の音波を直接に集音

NAM マイクロフォン

発話障害者補助
個人認証
列車の中でも電話

障害者の音声
コミュニケーション

これも重要ハンズフリー音声認識
サブリーダー 猿渡 奈良先端大助教授
空間スペクトル減算アレー（SSA)
立命館大、旭化成

Noise4.33 mUser

実験条件

1.15 m40°
1.15 m2.2 cm単語認識精度[%]5.75 m
70

1mic
4mic
8mic

実験結果

60
5040

タスク：新聞読み上げ（語彙サイズ20K）
音響モデル：PTM（JNAS 不特定話者）
評価データ：JNAS テストデータ200文章
残響時間：200 ms
SN比：平均 5 dB

ブラインド音源分離（SIMO-ICA)
も並行して研究

3020

単一マイク

遅延和
アレー

GJ型 SSA
アレー

少ないパラメータで従来法よりも優れた性能が得られている

ハンズフリー音声認識
マイクロフォンアレー

旭化成のハンズフリー音声認識実験システム
DSPさらにFPGAによる実装（H19.3)
BSS音源分離プログラムオンラインバージョン（H18.3)

ブラインド音源分離
 残響時間（Reverberation time） 300 ms
z 混合音声（Female，Male）
z 分離音声（Female）
z 分離音声（Male）

FemaleMale-30° 40°

2 elements，4 cm distanceSingle-Input Multiple-Outputモデルに基づく独立成分分析を用いたバイノーラル混合信号のブラインド音源分離
Tomoya Takatani

Earphone

干渉音
目的音

Microphone
両耳介入り口付近の音を収音
信号処理
信号処理

目的音のバイノーラル信号のみを再現する
音響拡張現実感システムの実現

SIMOモデルに基づくICA (SIMO-ICA)

目的音

A11(z)s1(t )A21(z)s1(t )A12(z)s2 (t )A22(z)s2 (t )SIMO-ICA
A11(z)s1(t )独立?
A22(z)s2 (t )ICA++FidelityController

2組の出力信号が互いに独立⇒出力信号はSIMOモデル信号（数学的に証明）

A12 (z)s2 (t )独立?
A21(z)s1(t )バイノーラル混合信号の分解実験
提案法の有効性を検証するために，バイノーラル混合信号の分解実験を行った．
従来法１：FDICA-PB
 従来法２：MS-SIMO-ICA
 提案法：SIMO-ICA with Self Generator for Initial Filter＊提案法の総学習回数が，FDICA-PBの学習回数と同数になるように設定

SIMO-Model Accuracy [dB]

実験結果
FDICA-PB
MS-SIMO-ICA
Proposed SG
Proposed SIMO-ICA-SG

2560°音源1の方位：-15度
音源2の方位： 45度

2015Input

1050015304560

75

Direction of source 2 θ 2 [deg]90

従来法 1FDICA-PBOutput
1Output2従来法 ２MS-SIMO-ICAOutput
1Output2

提案法

Output1Output
2SIMO-Model Accuracy [dB]

実験結果
FDICA-PB
MS-SIMO-ICA
Proposed SG
Proposed SIMO-ICA-SG

2515°

2015Input

10従来法 1
FDICA-PB

Output1Output2

従来法 ２MS-SIMO-ICA

Output1Output2

提案法

Output1Output
25001530456075

Direction of source 2 θ 2 [deg]90実時間BSSのDSPへの実装

DSP: TI
TMS320C6713
200MHz

神戸製鋼との共同研究

実システム構築、利用ガイドライン
サブリーダー 武田 名大教授
奈良先端大、京大、オムロン
0753263116
Agent(Takemaru)

和食のお店のおすすめはどこ?
天気予報

音声認識

InternetWeb

公共の場の情報 バス運行問い
車内情報案 情報家電の音声
案内システム合わせシステム 内システム 制御システム（奈良先端大）（京都大）（名古屋大） （オムロン）
２年以上運用、300,000発話

２年以上運用、 900人、３モードで20,000発話
各モード100,000発話

実環境音声対話システムで実証、評価のフィードバック
Dialog Navi.
展示場案内、万博ロボット

プログラム開発

多量のデータに基づく開発、実システムでの評価音声情報案内システム「たけまるくん」
生駒市のキャラクター「たけまるくん」
が規則合成音で答えて、Webなどの関連情報を表示する。

Agent(Takemaru)

生駒市北コミュニティセンターに設置 （２００２．１１）
２年８ヶ月 連続稼動

InternetWeb

プログラムの構成
たけまるモジュール（汎用性あり）

音声認識
応答文選択

サーバー

質問文
応答文
Webリストソフトウェアエージェント

Web
ブラウザー

音声入力

音声規則
合成

情報案内システム「たけまるくん」
こんにちは、近くのバス停を教えてくれる？

バス停は川を横切ったところにあります….


月あたりの入力数

35000
30000
25000
20000
15000
10000
5000
0

Agent(Takemaru)

2005年８月
 総入力数： 330,000
 一日あたりの平均入力数： 800

総発話数

11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 82002

Internet
Web

生駒市北コミュニティセンターに設置 （２００２．１１）

2003

長期間にわたる音声データの収集
 構築のノウハウ 構築コストの削減

2004

子供/大人の識別
雑音の識別2005

応答文の選択


一問一答タイプ：入力発声に近い質問文を、質問データから選択し、対応する応答文で応答し、Webを表示。

応答文の種類: ５００ ,（スロットタイプ： ３）

001 こんにちは。
208 今は、<<hour>>時<<min>>分です。
212 バスの時刻表を表示します。
301 トイレは、左の奥か、はばたきホール、入り口の近くにあります。
305 図書館の入り口は、市民サービスコーナーの横です。
 質問データベースの総数: 約10,000（子ども、大人）
トイレ+トイレ+2 は+ワ+65 、+、+79 どこ+ドコ+14 です+デス+74/56/1 か+カ+70？+？+77#301
食堂+ショクドー+2 は+ワ+65 、+、+79 あり+アリ+47/17/5 ます+マス+74/58/1 か+カ+70 ？+？+77#332

年齢層別用例テキスト・応答文候補


年齢層別の発話パターンを応答生成に反映

収集した書き起こしテキストから用例テキストの作成

年齢層の性質を考慮した応答

年齢層別応答候補の作成

たばこを吸いたい
たばこを吸いたい
大人「喫煙コーナーは、この壁の裏側にございます」
大人「喫煙コーナーは、この壁の裏側にございます」
子供「たばこなんてすったら駄目」
子供「たばこなんてすったら駄目」
くろんど池はどこですか？
くろんど池はどこですか？
大人「くろんど池は、玄関前の道をしばらく北上したとこ
大人「くろんど池は、玄関前の道をしばらく北上したとこ
ろにあります」ろにあります」子供「くろんど池に行くには、バスに乗ってね」
子供「くろんど池に行くには、バスに乗ってね」

収集音声データの例






何歳？
こんにちは
おはよう
各種案内
その他 (Others)並列デコードディングによる実装

雑音
GMM

尤度比較
笑い

言語モデル

音響モデル

音声

音声認識デコーダ
子供

入力音声
言語モデル

尤度比較

認識結果

話者層
判定

応答
音声

音響モデル

音声認識デコーダ
大人多様な音声合成プログラム
サブリーダー 河原 和歌山大教授
名古屋工大、奈良先端大、松下電器

 「多様な話者性を持った音声合成や感情音声を表現できる音声合成、ユーザが好みの声に変換できる音声合成プログラムの作成」 最終目標：


オフライン版のプログラムでは、原音声とほぼ変わらない品質（主観評価値 MOS値で4以上）を実現
実時間のオンライン版のプログラムでは、主観評価値MOS値で3以上を実現

話者性変換プログラムのオンライン版を開発（H18.3)

目標感情間のモーフィング
驚き

平静と各感情喜び

心理的距離の離れた感情間
心理的距離の近い感情間
モーフィング率 -0.2 から 1.2

平静恐れ
音声：「こんにちは」

悲しみ

怒り

規則によるモーフィング
原音声：平静怒り

朗らか

原音声：怒り研究成果の普及
フリーソフトウェアサイト

ダウンロード数

Ｊｕｌｉｕｓhttp://julius.sourceforge.jp

大語彙連続音声認識プログラム

7000

ＨＴＳ

http://hts.ics.nitech.ac.jp

ＨＭＭベース音声規則合成

700

Festival

http://www.cstr.ed.ac.uk/
projects/festival/

世界標準の音声合成フレームワーク
HTS,音声モーフィングが採用-

製品化によるコストダウン
ＪｕｌｉｕｓSH-4A

Juliusのマイコンへの実装

SSA

DSP, FPGA

ハンズフリー音声収録（SSA)の実装

標準インタフェース： SAPI, SALTの実装

H16

報道発表

展示会

共同/受託研究

１１１３

２２

講習会

H15H16

参加者、日数７０名、 ４日間８８名、 ５日間博士の取得者：１１名（社会人４名）、学生をRAとして雇用、インターシップなど

学術活動（研究論文、受賞）
学術論文

国際会議

報道発表

受賞

H15

１８６６

５７

H16３０８１

１１６

合計

４８

１４７

１６１３

主な受賞リスト
H15.6

京大、人工知能学会、大会優秀賞、研究会優秀賞、対話システム

H16.3

奈良先端大、情処、大会奨励賞、「たけまるくん」

H16.3

奈良先端大、電気通信普及財団、技術賞、技術学生賞、BSS

H16.3,H16.9 鹿野、情処、電子情報通信学会、各フェロー
H16.10

京大、情処、山下記念研究賞、バス運行音声案内システム

H17.2,H17.3 奈良先端大、 C&C若手優秀論文賞、船井情報科学奨励賞、BSS
H17.5

奈良先端大、電子情報通信学会 論文賞、猪瀬賞、NAM

まとめ
進捗状況
進捗状況
（１）順調に進捗、（１）順調に進捗、 当初計画以上の成果が達成できる。
当初計画以上の成果が達成できる。 マイコン
マイコン
による実時間大語彙連続音声認識など
による実時間大語彙連続音声認識など（２）新しい手法の発見、研究：（２）新しい手法の発見、研究： 「つぶやき声」による静かな音声メディ「つぶやき声」による静かな音声メディ

ア（NAM)、ハンズフリーにおける音源分離（BSS)。
ア（NAM)、ハンズフリーにおける音源分離（BSS)。

（３）多くの論文、国際会議発表。学会の表彰（３）多くの論文、国際会議発表。学会の表彰（論文賞、猪瀬賞など）（論文賞、猪瀬賞など）（４）予算：企業への発注、開発、人件費。
（４）予算：企業への発注、開発、人件費。 研究には他の予算も活用。
研究には他の予算も活用。
企業の力によるマイコン、DSPへの実装。
企業の力によるマイコン、DSPへの実装。

（５）フリーソフトウェアサイトの運用、講習会、展示会などで普及（５）フリーソフトウェアサイトの運用、講習会、展示会などで普及活動。
活動。 共同研究などによる産業界への技術移転活動も活発化。
共同研究などによる産業界への技術移転活動も活発化。