人工知能学会研究会資料

JSAI Technical Report
SIG-Challenge-0624

ＡＩチャレンジ研究会 (第２４回)

Proceedings of the 24th Meeting of Special Interest Group on AI Challenges
CONTENTS【11 月 16 日】
5 MFT を用いたロボットの動作音に頑健な音声認識手法の提案 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
西村 義隆 (東京大学), 中臺 一博, 中野 幹生, 辻野 広司 (HRI-JP), 石塚 満 (東京大学)

5 ICA による音源分離と MFT に基づく音声認識の同時発話認識による評価 : : : : : : : : : : : : : : : : : : : : : 9
武田 龍, 山本 俊一, 駒谷 和範, 尾形 哲也, 奥乃 博 (京都大学)

5 空間的サブトラクションアレーにおける雑音推定処理の独立成分分析による高精度化 : : : : : : : : : : : 17
高橋 祐, 高谷 智哉, 猿渡 洋, 鹿野 清宏 (奈良先端科学技術大学院大学)

5 コミュニケーションロボットにおける音声認識システムの実環境での評価 : : : : : : : : : : : : : : : : : : : : : : 23
石井 カルロス寿憲, 松田 茂樹, 神田 崇行, 實廣 貴敏, 石黒 浩, 中村 哲, 萩田 紀博 (ATR)

5 音声相互模倣過程を収束に導くマグネット効果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 29
三浦 勝司 (大阪大学), 吉川 雄一郎 (JST ERATO), 浅田 稔 (大阪大学 /JST ERATO)

5 音声の構造的表象を通して考察する幼児の音声模倣と言語獲得 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35
峯松 信明, 西村 多寿子 (東京大学), 櫻庭 京子 (清瀬市障害者福祉センター)【11 月 17 日】
5 複数マイクロホンアレイのパーティクルフィルタ統合による実時間音源追跡 : : : : : : : : : : : : : : : : : : : : 43

中臺 一博 (HRI-JP/ 東京工業大学), 中島 弘史 (HRI-JP), 村瀬 昌満, 奥乃 博 (京都大学), 長谷

川 雄二, 辻野 広司 (HRI-JP)

5 視聴覚情報統合及び EM アルゴリズムを用いた人物追跡システム実現 : : : : : : : : : : : : : : : : : : : : : : : : : 51
金 鉉燉, 駒谷 和範, 尾形 哲也, 奥乃 博 (京都大学)

5 逐次的な位相差補正処理を特徴とする音源定位方式:SPIRE : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 59
戸上 真人, 住吉 貴志, 神田 直之, 天野 明雄 ((株) 日立製作所 中央研究所)

5 別の部屋から呼ばれて赴くロボット { 天井設置型および搭載型マイクアレイによる実現 { : : : : : : 65
加賀美 聡 (産業技術総合研究所), 佐々木 洋子 (東京理科大学), Simon Thompson, 西田 佳史 (産業技術総合研究所), 溝口 博 (東京理科大学), 榎本 格士 (関西電力)

X

5 ことばの前 / 下のインタラクション──ヒトの場合・ロボットの場合 (招待講演) : : : : : : : : : : : : : : 73
小嶋 秀樹 (NICT)

日時2006 年 11 月 16 日〜 17 日

場

所

京都, キャンパスプラザ京都

Campus Plaza Kyoto, Kyoto, Nov. 16{17, 2006
社団法人 人工知能学会

Japanese Society for Arti cial Intelligence

共催 社団法人 人工知能学会 言語・音声理解と対話処理研究会

JSAI SIG on Speech & Language Understanding and Dialogue Processing

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-1 (11/17)

 を用いたロボットの動作音に頑健な音声認識手法の提案

   

西村 義隆

             中臺 一博

中野 幹生

辻野 広司 石塚 満

            

東京大学大学院情報理工学系研究科
株 ホンダ・リサーチ・インスティチュート・ジャパン

                   !        "   #$ % $    

           

境における音声認識では種々の雑音が混入する．特にロボットは自身の発する雑音が，定常時でもモータ音やファ                                                !                 "  #    !                  $%!
 !
       
&                       $%!       '          
! #                 (                   )$     ! *                        & ン音などの雑音，動作中には，手足の動作に伴うモータ音が発せられる．さらに，位置の変化等によりマイクに混入するモータ音やファン音も変化する．人・ロボットコミュ
ニケーションの研究では，高雑音下での音声認識を避ける
ため，ロボット自身のマイクを用いずに接話マイクによる音声認識が行われている +,-．しかし，常に接話マイクを用いることは利用者にとって煩わしく，ロボット自身のマイクで音声認識を行うことは重要であると考えられる．
これまで，音声認識の先行研究においては数々の雑音への頑健性向上に対する手法が提案されている．マルチ
コンディション学習による音響モデルの学習は最も有効な手法の一つである．この手法は，あらかじめ雑音を含んだ音声を音響モデルの学習に用いるため，その雑音が既知である場合には強力である．しかし，雑音が大きい環
境では，無音区間か発話区間かの区別すらできなくなる．
また，定常的な雑音については効果的な学習が期待できるが，非定常な雑音に対しては難しい．このため，高雑音下ではこの手法には限界があると考えられる．

$..$* .'   .   +/- は，

アフィン変換を用いて音響モデルを雑音に適応するアプ
ローチである．これにより，音響モデルは学習時とは異なる認識環境の雑音や話者に適応される． $.. も有効な手法であるが，雑音が非常に大きい環境や非定常雑音においては効果が薄いと考えられる．

はじめに

このように従来の音声認識では，音響モデルを雑音へ

近年，さまざまなロボットが開発されている．その中でも適応するための研究が多く行われてきた．これは，入力

特にヒューマノイドロボットはコミュニケーションを通し

信号から雑音を取り除くというアプローチをとると，音て，人と同じようにさまざまな仕事をこなすことが期待

声の歪みが大きくなり，結果的に音響モデルの雑音への適されている．人同士のコミュニケーションでは音声が最も応を行った方が性能が出やすいという側面を有するから一般的に用いられているため，人とロボットも音声でコと考えられる．しかし，ロボットにおける音声認識では，

ミュニケーションを行うことが理想的であろう．しかし，従来の音声認識が想定していた雑音よりも雑音の大きなロボットが音声認識を行う上では多くの問題がある．実環

1

環境 0 12 以下である場合もある での認識が必要

となる．このような環境では音響モデルを雑音へ適応化%  !  +;- を用いた手法がある．$%! は音声信

しても，もはや元の信号の情報はほとんど残っておらず，

号のうち雑音や歪みのない部分の情報のみを用いて音声音声認識を行うことは困難である．したがって，雑音を除認識を行うアプローチである．信頼性の低い部分はマスクされることにより音声認識には用いられない．$%! は去する仕組みが必要となる．
ロボットにおける音声認識では，その前処理に用いるたマスクするかしないかの二者択一とする狭義の $%! と，め，マイクロホンアレーを用いた音源分離が数多く行われ信頼性の大きさに応じてマスクを連続的な値とする広義

立成分分析 )5

連する研究として重みづけを用いたマルチバンド音声認の $%! があり，本稿では広義の $%! の意で用いる．関ている．ビームフォーミング 2%32  % +4-，独3)   5     +6あ る い は 幾 何 学 的 音 源 分 離 737       +8- による手法が提案されている．2% は一般

識 +<-+,1- がある．重みづけを用いたマルチバンド音声認
識では，信頼性の低い周波数帯域は重みを小さく，信頼性的な音源分離手法であるが，音源分離による音声信号のの高い周波数帯域は重みを大きくすることによりその重歪みが生じる．歪みの少ない適応 2% も提案されているが，計算量が膨大であるという欠点がある．)5

みを尤度に反映させて音声認識を行う．$%! を用いた方は音源

法では，信頼性の推定を正確に行うことができれば，認識の独立性を仮定するだけで分離を行うことができる有効性能は他の雑音適応手法と比較して大きく向上する．信な手法であるが，実環境においてはしばしばこの仮定が頼性の推定を正確に行うためには雑音の推定が必要であ成立しないことがあり，各周波数での分離信号が同じ音源

るが，ブラインドで雑音推定を行うこと自体が音声認識に対応するように分離信号を並べ変えなければならないと同レベルの難しさを有するという問題がある．従来のという音声認識では，この信頼性推定が非常に困難であるため， 問題も生じる．2% と )5 の中間的な手法として，7 が挙げられる．7 では音源位置と$%! が有効な手法として用いられることが少なかった．

マイク位置及び音源の相関に基づいて音源分離を行うが，しかし，本研究で対象とするロボットの動作音はその雑

実環境では位置の正確な抽出が難しく，分離性能に影響を音推定が容易であるため，$%! が有効に利用できると考

与える．

えられる．
本研究ではまず入力信号から雑音除去処理を行う．動ロボットの音声認識で問題となる雑音には，動作音の他，環境雑音などがある．環境雑音は非定常であり，音源作音の混入した環境では 0 が低いため，雑音除去処理

位置や音源数の情報もないため，雑音の推定にはマイクは必要である．次に，雑音除去処理での雑音の引き残し成ロホンアレーを用いた手法が必要となる．しかし，本研究

分を平坦化するため，白色雑音の重畳を行う．0 が高で対象とする動作音はロボット自身が発するものであり，い環境では雑音除去処理による音声信号の歪みは小さい

ロボットは自己の動作情報を取得可能なため，動作音のと考えられるが，0 が低い環境ではその歪みは大きく，推定が可能である．よって，マイクロホンアレーのような雑音除去処理を行うことでかえって認識性能が劣化する

多くの情報を用いて雑音への頑健性を向上させなくとも，という事態も考えうる．雑音の除去により，モータ音など

もっと少ない情報で効率的に適応ができると考えられる．

の定常的な雑音の多くは取り除くことができるが，動作に本研究と同様に動作音を対象とし，マイク , 本で雑音へよる非定常成分の雑音への適応は不十分であると考えられる．これらに適応するため，$%! を利用した音声認識の適応を行うアプローチとして，    を用いた手法がある +9-．従来の +:- は無音区間なを行う．$%! のマスク生成には推定動作雑音を用い，雑音の多く重畳した箇所は信頼性が低く，音声認識への関与

どを用いて定常雑音の推定を行い，スペクトル領域におを低くするようにする．次節において提案手法の詳細をいて推定雑音成分を減算することにより音声信号の抽出を行うものである．伊藤らは  を

)2 の動作音の軽説明する．

減に用いた +9-．具体的には関節角度や位置を入力としたニューラルネットワークで推定雑音の学習をさせ，これを

 を用いた動作音への雑音適応化手法

レーション上での認識性能を報告している．しかし，実環

図 , に提案する雑音適応化手法のブロック図を示す．以用いて  の減算に用いる雑音信号の推定を行い，シミュ

下，それぞれの処理について示す．

境でのパフォーマンスについて言及されていないため反&$' 雑音除去処理

響音のある環境や，マルチコンディション学習による音響
モデルを用いた手法と比べ，有効性があるのかどうかは不明である．また， は定常雑音に対しては有効である

入力信号の 0 は低い 12 以下である場合もある たと考えられているが，非定常雑音に対しては歪みが生じ

め，このような環境で音声認識に有効な音声特徴量を抽出することは難しい．そこで，入力信号の 0 を改善することがあるため有効な手法とは言い難い．
非定常雑音に対しても有効な手法として，$%!$

るため雑音除去処理を行う．雑音除去処理には式 , に示

2Acoustic feature extraction
Noise
Suppression

Log-spectrum
Feature Extraction

White Noise
AdditionLog-spectral
FeatureDecoder

Speech withmotor noises

Recognition
resultMFT-ASR
Continuous
MissingFeature Mask

Utterance

Noise
Noise timing
Matching
Noise template
Captured soundSelectednoise template

Humanoidwith Mic.

Noise Template
Selection

Motioncommand

Motion1

Motion2

Continuous Missing
Feature Mask Generation

Motion3…
Pre-recorded noise templates

Weight estimation utilizing motion noise templates% ,3         される  を用いた．

&$( 対数スペクトル特徴量の抽出 >   >,  は入力信号のスペクトルを示し，> は入力信号に重畳している雑音信号の平均スペクトルを示す．  は   = *



 





白色雑音を重畳した後に音声特徴量を抽出する．音声特

徴量には音声認識に一般的に用いられる $%55$  % &  5   5 Æ   ではなく，対数スペクト
ル特徴量 +,/ ,4- を用いた．動作音などの雑音は，スペクを行う際のパラメータであるが，本稿では一般的によく = ,  = 1, を用いた．

用いられている値 トル領域において加算される．しかし，従来用いられて&$& 白色雑音重畳

雑音除去処理は 0 を向上させるが，同時にスペクトル

いる $%55 はスペクトルをさらに @5!@   5 !    した領域であるため，ある周波数帯域に加算された雑音は全ての特徴量に影響を与えてしまう．$%!

の歪みを生み出す．このスペクトル歪みが認識性能に悪影を用いた音声認識では，雑音に埋もれた信頼性の低い周響を及ぼす．雑音除去手法に関わらず，背景雑音の状況に波数帯域を抽出することが必要であるため，ケプストラ

よっては大きな歪みを生じることがあり，音声認識ではス

ム領域の音声特徴量よりもスペクトル領域の音声特徴量の方が都合がよい．$%55 ではケプストラム領域に変換

ペクトル歪みに対する処理が必要である．特に本稿の対歪みも大きいことが予測される．そこで，本稿ではこのスされた後，  項の除去，リフタリング，5$ 5  
$    の 4 つの正規化処理が行われる．これ

ペクトル歪みを軽減するため，雑音除去処理の後に薄くらの正規化処理は音声認識性能を向上させる上で重要で象とするロボットの動作雑音では，雑音パワーが大きく，

白色雑音を重畳させることとした．同様の方法は山出 +,,-

あることが知られているため，使用した対数スペクトル

らの報告にも述べられており，定常雑音を加えることで，特徴量においても，対数スペクトル領域において同様の雑音の引き残し成分を平坦化し，認識性能を高めること

正規化処理を施している．

が期待される．

以下，正規化処理について概説する．初めに白色雑音の重畳には，入力信号のある程度のレベルの 項の除去であるが，これは対数スペクトルの平均を引くことに における  次元目の白色雑音を加えることが歪みを抑制するのに役立つと考よって同等の処理を行う．フレーム

え以下のような式を用いた．

スペクトルを  とすると，  正規化後の対数スペクト
ルは以下のように示される．

   =   ? /¼

    
 



/





 =  ,    は雑音除去処理後の信号であり， , は , から , までの任意の実数値をランダムに返す関数である．本

稿では= 1, とした．すなわち，平均して入力信号の ,4

次に，リフタリング処理ではスペクトル構造の山と谷が割程度の大きさの白色雑音が加わることとなる．

強調されるため，対数スペクトル特徴量の正規化では以3

下のリフターにかける．

マッチングは  = , 1< 8であるが，以下のように対数スペクトルの時間方向の平      



¼







9

により得られる．

&$- マスクの生成雑音を     とする． は次元 周波数軸方向 を示し，
 はフレーム 時間軸方向 を示す．同様に，入力された雑音を含む対数スペクトルを     ，雑音除去処理後，白色雑音を重畳した対数スペクトルを     とする．推定

生成することは現実的には困難である．本研究では，ロボット自身の動作情報は動作前に取得できるため，これに基づいて動作音の推定を行う．動作音の推定については，された音声信号は以下のように表される．

あらかじめ収録したテンプレート雑音と現在入力されて!     =        ¼

いる動作音との時間的なマッチングにより行う．そして，マスク生成を行う．詳細については次に示す．

¼&$+ テンプレート雑音の選択
あらかじめ収録した動作音をテンプレート雑音としてデー
タベース化する．本研究では，46 種類の動作音を用意し種類に応じたテンプレート雑音を選択する．現在発せら¼な値になることを防ぐため，閾値  を設けた．したがっ"    のとる範囲は 1 から  である．  は実験的に 81 とした．

れている動作音はこのテンプレート雑音と同じであるとて，仮定し，テンプレート雑音を用いた雑音推定を行う．

&$, 雑音マッチング

さらに，$%! マスクの正規化を行う．この正規化は，$%! を用いた音声認識を行うことで挿入ペナルティなど

テンプレート雑音の選択が行われても，その雑音と現在の最適パラメータの変化を抑えるために行う．正規化後の発せられている雑音が時間的にはマッチしていない．そこ$%! マスクを     とし，, フレームにおける    で，時間的に雑音をマッチングさせる必要が生じる．マッ  をテンプレーの合計が音声特徴量の次元数   を入力信号のスペクトル系列とする． はフレームとし， は周波数軸方向のスペ
クトルの次元とする． を , フレームの窓長 サンプル
数 とすると，,   である．また，テンプレート雑音における各次元のスペクトルの最大値を  とする．
ここで，入力信号    について， を超えるものは% と同じになるように正規化を施す．

ト雑音のスペクトル系列，"       = "   
¼

,/

¼

 
"     "    & "    =   




¼

音声信号が重畳しており，ミスマッチの要因となると考え，そのようなスペクトル系列の値を 1 とする．
¼¼

た．ロボットが動作を行う際には，データベースから動作

¼

¼





      = 1     

,1



"    は以下のように計算される．
,,"    =   #            $  は $  の中央値を得る関数である．#    および     は対数スペクトル     および !    に正規化処理を施したものである．"    がとても大き入力された信号と推定された動作音に基づいてマスクの   は対数スペクトルに変換される．変換された対数スペクトルの

まず，マッチングされたテンプレート雑音$%! マスクはフレームごと，周波数帯域ごと 音声特徴量の次元ごと に生成される．自動的なマスクの生成は Aらの報告 +,6- がある．しかし，完全に理想的なマスクを



<



&$) * マスクの生成

チングは以下の方法により行われる．

;





   =    

均を減算することで同じ処理が行われる．
 は

 の ,   のうち，最も  の値の数が大きいものを    としてマッチングに用いる．
マッチング後の推定雑音    は，である．得られたとして処理を行う． は畳み込み演算を表す．最後に 5$ =  , 
 の相互相関をとることにより行っ =  *  のインパルス応答を  とし，
 =   



¼

た．最も相関が高いフレーム

6



 と

&$. * に基づく尤度の計算方法$%! は非定常な雑音に対しても効果がある．雑音除去処
理や白色雑音の重畳によって 0 は改善されるが，$%!

:

4

! ,3                 
       )$ の電源を投入し，動作を全く行っていない定常雑音 , 種類と「バイて認識実験を行った．この動作音は生じた雑音に大きな差がある場合には効果は薄い．

$%! では信頼性の高い特徴成分に対しては大きな重みバイ」や「お辞儀」などの上半身の動作を主とするジェス

を，信頼性の低い特徴成分に対しては小さな重みを用いて尤度の計算を行う．$%! を用いない従来の音声認識では，

 の尤度は以下の式によってチャ雑音 /8 種類および「直進」や「回転」など足を用いた動きを主とする歩行雑音 ; 種類より構成される．テストセット+ に動作音を重畳したものをテストセット +

とする．

与えられる．
( '  = (  ' 


,4



 

提案手法と従来の有効な手法であるマルチコンディショ
ン学習による音響モデルを用いた手法の比較を行うため，
マルチコンディション学習用のデータを用意した．マルチ$%! を用いた尤度計算は，マスクを )    として以下

コンディション学習では( '  = )  (  ' 




 

* のデータに加え， )$ の電源を投入したときのモータ音やファン音などの定常雑のように定義される．



ロボットの動作雑音については，4/ 種類の動作を用いがあると期待できる．しかし，テンプレート雑音と実際に'           を用いることでさらに非定常な雑音成分に対しても効果音素モデル  ，音声特徴量

音を重畳したデータを用いた．これを学習セット* とする．認識実験においては，以下の 6 つの音響モデルを用

,6

意した．

/' 学習セット * を用いたモデル クリーンモデル
/& 学習セット * と * を用いたモデル マルチコン

評価実験($' 実験条件

ディション学習モデル

 )$ を用いて評価実験を行った． )$ の左/( 学習セット * と * に雑音除去処理を施した後マイクを用いて音声の収録を行い，孤立単語認識による評! 音素バランス単語を用いた．音素バランス単語には男性 ,/ 話者，女性 ,4 話者の合計 /8 話者の音声データが含まれ，, 話者あたりの発話数は /,9 である．各発話は BいきおいC BいよいよC価を行った．評価用データにはに白色雑音を重畳した* を用いたモデル

評価は表 , に示す 9 つの手法を比較することにより行った．手法

はクリーンモデルを用いた一般的な音声認識である．手法などの単語発声である．

0 は雑音に頑健な手法として一般的によく音響モデルの構築には男性 < 話者女性 ,1 話者の合計 ,<用いられているマルチコンディション学習による音響モ

は無響室において ,11 の距離から収録を行い，音圧の行い，マルチコンディション学習による音響モデルを用い

ルを変化させて ?8 2 ?,1 2 ?,82 学習を行った．

を抑えるために雑音除去処理の後白色雑音を重畳したも話者の音声データ 学習セット*  を用いた．このデータ

デルを用いた音声認識である．手法

変化にも柔軟に対応できるようにするため，0 のレベて認識を行ったものである．手法

テスト用のデータは男性 4 話者女性 4 話者の合計 9 話

者の音声データ テストセット+ を用いた．このデータ

収録は :  (6  @ 4   の部屋において行っ

2，手法 * はともに $%! を用いた音声
2 は音声と雑音の混入した入力信号から雑音マッチングを用いてマスクの推定を行った提案手法，手法* は入力信号の雑音が完全に既知であると仮定してマスクの生成を行ったものである．

た．実用的な環境においても性能を発揮するか検証するため，家庭のリビングを想定した大きさの部屋で，反響音のある環境で収録を行った．話者とロボットのマイクの距
離は 81  ,11  ,81 /11 の 6 距離である．

5

1 はスペクトルの歪みのである．手法
認識で，手法は音響モデルの学習とは異なる話者から構成されている．

# は雑音除去処理を! /3 )   (    D (  5 




   ! "# # ! "# #! "# # 
! "# # 
! "# #$% # $% #
$% # 
$% # 
$% #
& # #  
& # #  & # #  & # #  & # #  ' 
'' 
' ''  '  '  '  '  '  '  '  '  '  () "   () "   () "   () "   () "   () "   () "   () "   



 








 
 


 
 




 

 
















   ! "# # ! "# #! "# # 
! "# # 
! "# #$% # $% #
$% # 
$% # 
$% #
& # #  
& # #  & # #  & # #  & # #  ' 
'' 
' ''  '  '  '  '  '  '  '  '  '  () "   () "   () "   () "   () "   () "   () "   () "   



 








  
 

 
  




 



  

 

 






 





 








 



 

 





 




 


 



 






 















 


 





 

 
  

 


 
 


 










 

 



 

 










 

 

 













 

 
 
 


 

 
 


 
 



 


 



 


 


 




 

  


 



 






 



  

  
 
 



 
 

 

  











  



 
 

 















  



 






  
 


 

 



 
 


               
 





                 
 


                 
                                                          

6






 


 
 


 

 












  



 

 


 





  
 



 

 






 



 

 
 




 


 


 





 








  

 
 
 
 

 
 










 

 


  
 
 
  
 


 



 
 
 




 
 
 




 
 
 
 
 
 
 
 


 








 

 

 

 




 





 






 



 
 


 
 
 





 
 



  








  

 





  
 
 
 
 





  


  
 
 











 
  



 

 




 





 


 
 
 
 











  
 
 


 


 


 
  

  



 
 




 
 




 



 


 
 

 
 
 
 



 
 

 
 
  



 
 

 





 





 
 



 







 




 




 




  






 




 




 

 

  
 

                                                                                                         









 







  





 
 


 








 
 

 








 





 




 




 





 
 


 
 



($& 実験結果

高ではない環境が現れたと考えられる．しかし，全体的に見ると $%! による効果は明らかであるため，このマスク*

表 / に実験結果を示す． は雑音が既知であり，このよう生成手法は多くの場合に有効な手法であると捉えることな環境は実用的には有り得ないので参考として示していからる．

2 までの中で最も認識性能のよかった手法をができる．
今回比較した実験では，定常雑音を音響モデルの学習

ボールド体で示し，二番目に性能のよかったものをイタリック体で示す．提案手法の有意性を示すため， 値 +,8を合わせて示している． 値は手法
し，提案手法である手法に組み込んだ．すなわち，定常雑音を含んだ音声で学習

0 をベースラインとしたマルチコンディションによる音響モデルを用いた手

2 の危険率を示す．

法* はマスクの生成過程において雑音が既知である

0 と，定常雑音から雑音除去処理，白色雑音の重畳を行った音響特徴量を学習した音響モデルを用いた提案手

2 の比較を行った．これは，音響モデルの学習では定ため，認識性能が一番よい．しかし，この手法を除くと

法

提案手法である

常雑音の学習が有効であると考えたからである．しかし，

2 が最もよく，手法 1 と手法 0 が次に続く．全ての距離，全ての動作雑音に対し提案手法 2 は
ベースライン 0 よりも高い性能を示した．さらに，46 雑

定常雑音のみではなく，動作時の非定常雑音の学習も行う
ことで，認識性能向上の可能性があると考えている．

音× 6 距離のうちで， 値が 8D を超えるものはわずか : まとめのみであった．



ロボットの動作雑音除去を目的とした雑音適応手法の提

考察

提案手法

案を行った．提案手法では，雑音除去処理と，歪みを補2 は従来の手法 0 よりも全ての環境で高い性能正するための白色雑音の重畳，$%! を用いることによるを示している．特に 0 の低い環境である /11 にお

非定常雑音への適応を行う．雑音除去処理は 0 の高い

1 と従来環境では有効であるが，雑音が大きな環境においては歪$%! を用いることでロボットの動作音に頑健な音声認識

白色雑音を重畳した．白色雑音を重畳させることは 0を行うことが可能となる．

を低下させ，一見，認識性能を下げるようにも思えるが，いてはその有効性が大きい．$%! を用いない手法

0 を比較するとその有効性が大きいとはいえないが， みが大きく生じる．本研究ではこの歪みを抑えるために，

提案手法

2 において，1 よりも性能が高くなっている

雑音の引き残し成分を平坦化し歪みを補正することで認ことから，雑音のマッチングもうまく動作していることが識性能は大きく改善した．また，雑音除去処理は定常雑確認できる．本稿の手法では，音声と雑音の重畳した入力

音には有効であるが，非定常雑音に対しては適応しきれ信号を用いてテンプレート雑音とのマッチングを行うが，ない部分が存在する．この点を補完するため，$%! を用

データベースにおける雑音よりもパワーの大きな箇所はい，信頼性の低い部分が音声認識に関与する割合を低く

音声信号も有すると仮定し，マッチングの際に考慮に入することにより認識性能の向上を図った．提案手法を用れないようにすることで，音声信号が含まれていたとしいることにより，従来から用いられている有効な方法であても雑音推定が可能であることが確認できる．

るマルチコンディション学習による音響モデルを用いた手

2 は音声と雑音の重畳された入力信号からテンプレー

法よりも高い認識性能を達成できた．

ト雑音との雑音マッチングを行って推定雑音を求めるが，* は雑音が既知として $%! のマスク生成を行う．* は 2と比べると理想的な環境であるため，認識性能も向上している．しかし，2 も * と比較してよい性能を示してお

今後の課題としては，白色雑音の重畳の割合をいかにするとよい性能が出るか検討を行う必要があると考えている．

り，雑音マッチングが音声と雑音が重畳していても上手く* 今後の課題

2

また，今回は収録した音声および雑音を用いて提案手法

雑音が既知であるが，これを用いた $%! マスクは正解を

ステムの中に提案手法を組み込み，リアルタイムで処理用いているマスク生成手法は，音声認識において重要と考謝辞できることが確認できる．81  の環境では， の方がよりも性能が低くなっているものも見られる．条件導くのに 

*はの有効性の検証を行ったが，実際に)$ の音声認識シできることを確認していきたいと考えている．

  なマスクということはできない．本稿でえられるスペクトルの山と谷に重みを置き，さらに雑音の小さな箇所に大きな重みとなるようにするものである．

$%! を用いるにあたり貴重なアドバイスを頂いた東京

しかし，音響モデルは完全にクリーンな音声のみで学習

工業大学教授古井貞煕氏，および岩野公司氏に感謝する．

されたモデルではないため，このマスク生成手法がどのまた，本実験を行うにあたり貴重なアドバイスを頂いたような入力信号に対しても最もよいマスクを生成すると)EF の船越孝太郎氏および雑音の収録にあたりお手伝は限らない．したがって，雑音が既知であっても性能が最いいただいた京都大学山本俊一氏に感謝する．

7

+<-      $   B5     $$*   $.F *     
      C    

参考文献+,- 5 2 "       $)!
/11/



              #%&&&( /111  ,  468G46;

+/- 5 E .    F 5 ( B$*'        '          '   C          <  ,:,G,;8,<<8

+,1-  2     @  B                  &   C       +4- )   %     E  0 )  
H I % I     '  I H B       
         F/C     !              "   #$%&&'( /116
 /616G/6,1 )JJJ+,,- 山出慎吾 馬場朗 芳澤伸一 李晃伸 猿渡洋 鹿野清
宏 B実環境における頑健な音声認識のための音韻モデルの教師なし話者適応C 電子情報通信学会論文誌
  E;:@))  6  <44G<6, /116

+6-      I  I !'  % )' ! 0 '  I  ' B2                C )! *   !      /114  ,,  ,,48G,,69
/114

+,4- 西村義隆 篠崎隆宏 岩野公司 古井貞煕 B周波数帯

          
#0//1( ,<<9  ,  6/9G6/<+,/- H 0   !  "' I )   % 
B0            C     0'2  !  
 "  !   3     J /116  ,5:
域ごとの重みつき尤度を用いた雑音に頑健な音声認識C 信学技報- %&&4001 /114

 ,<G/6

+,6- 2 A   $   B$      C    
3 5  //  8  ,1,G,,9 /118

+8-  H I 0' E $ K E 
% $  !   I   7
' B$'   "       C      *+,8- . 7'   5* B               C            ! -      #!2/( )JJJJ ,<;<  84/G848

             "   #$%&&+( )JJJ J /118  ;<:G;</

+9-  ) ! I $ "'   $'B)        C               , "# %&&+( /118  /9;8G/9;;

+:- 2   % B              C            ! - -     #!./( ,<:<  /11G/14

)JJJ

+;- E 2 '  $ 5'   F 7  B         3        &      
   C     .           , " # 
%&&0( /11,  ,  /,4G/,9 J5 

8社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-2 (11/17)

ICA よる音源分離と MFT に基づく音声認識の同時発話認識による評価
Evaluation of the ICA BSS and Missing Feature Theory Based-ASR
with Simultaneous Speech Recognition○武田 龍, 山本 俊一, 駒谷 和範, 尾形 哲也, 奥乃 博
Ryu TAKEDA, Shun’ichi YAMAMOTO,
Kazunori KOMATANI, Tetsuya OGATA, and Hiroshi G. OKUNO

京都大学大学院情報学研究科 知能情報学専攻
Graduate School of Informatics, Kyoto University{rtakeda, shunichi, komatani, ogata, okuno}@kuis.kyoto-u.ac.jp
Abstract

いる分離手法の多くは , ロボットに装着されたマイクロホンの位置や, 目的話者の位置など の情報を必要とする[1].

Robot audition systems require capabilities for

しかし , 実環境において分離に十分な精度の情報を動的に

sound source separation and the recognition of
separated sounds. We report a robot audition

取得することは難しい. また, 混合音認識においても, 例
えば , ノイズなどを学習データに加えることで , 環境の変化に対応したマルチコンデ ィション学習が有効である[2].

system with a pair of omni-directional microphones embedded in a humanoid that recognizes

ところが , 環境毎に学習データを準備しなければならず ,two simultaneous talkers. It ﬁrst separates thesound sources by Independent Component Anal-

汎用的に利用できない欠点がある.

ysis (ICA). Then, spectral distortion in the separated sounds is then estimated to generate miss-成分分析) による音源分離を行う. さらにクリーン音声

本稿では , (a) 音声の独立性のみを仮定する ICA (独立での学習のみで , ICA の分離による歪みに対応できる (b)ing feature masks (MFM). Finally, the separated
sounds are recognized by missing-feature the-

ミッシングフィーチャ理論 (MFT) を応用した音声認識を用いる. これにより必要な事前情報を必要最小限に抑える

ory (MFT) for Automatic Speech Recognition(ASR). We estimate of spectral distortion in the

ことができる. ここで課題となるのは , (1) 特徴量における歪みの検出, (2) 特徴量の信頼度設定, (3) 分離出力から

temporal-frequency domain in terms of featureのミッシングフィーチャマスク (MFM) の自動生成, であvectors and generate MFM. The resulting systemoutperformed the baseline robot audition system

る. これらの問題に対し , ノイズによる特徴量の変化量に着目し , 分離出力から擬似的にノイズ成分を変動させるこby 13 % with isolated word recognition, and 6 %with continuous speech recognition.

とで特徴量の歪みを検出する. 歪みの大きい部分を適切な閾値処理を行い, MFM を自動生成する.

1

ICA による分離では近年リアルタイムで動作が可能であるため [3], 処理速度による影響はほとんどないといえる.

はじめに

将来, 様々な面で人間をサポートするようなヒューマノイ

また, 同様のアプローチとして Kolossa ら [4] による手法

ド ロボットは人間と同等の認識能力を有する必要がある.

があるが , 特徴量として MFCC (mel frequnecy cepstral

音声は人間同士のコミュニケーションにおいて重要な位置

coeﬃcient) を用いており, スペクトル特徴量での検討は行われてはいない.

を占めており, 実環境における音声認識は基本的なロボッ
ト聴覚機能といえる. 音声を認識するには目的音以外を除去する必要がある. 特に複数の話者が同時に話している時

2には雑音除去だけでなく, それぞれの音声を聞き分ける機

基本手法

能は不可欠である.
今後ロボットは様々な環境で動作することを考えると ,我々がロボット聴覚システムを構築する上で用いる音源分

音源分離・混合音認識といったロボット聴覚機能を実現す

離手法, 及びミッシングフィーチャ理論を応用した音声認る上で必要不可欠な条件は , できるだけ特定の環境に特化

識システムを説明する. これらを用いたシステムの全体像しない処理を実現することである. これまでに提案されては 図 1 のようになる.

9

音源

2.2

分離信号

観測信号

MFM
MFT-base ASR
自動生成
マスク
MFM
MFT-base ASR
自動生成

ICA

ミッシングフィーチャ理論に基づく音声認識

ミッシングフィーチャ理論を適用した音声認識を利用する
場合, 次の 2 点が音声認識の核を成す部分であるため非常に重要である.

1. 音声認識特徴量
2. 信頼度を取り入れた出力確率の算出

図 1: 処理の概要

この章ではこれら 2 点について検討する.

2.1

ICA による音源分離

2.2.1

ICA は音源の独立性のみを仮定する分離手法であり, Blind
Source Separation の一つである. ICA は時間領域, 周波

MFT ベースの音声認識システムでは音声認識の特徴量として, MFCC ではなく, スペクトル特徴量 (mel scale

数領域のど ちらでも適用することが可能であるが , ここでlog spectrum: MSLS) を用いる. MFCC は入力音声の歪は収束の早い周波数領域で ICA を適用する.

2.1.1

みが少ない場合は有効であるが , 入力スペクトルに歪みがあると , 特徴量全体に影響を与えてしまい, 認識性能が低下する [1]. 一方, MSLS はスペクトル領域の特徴量であ

音声の混合過程

一般に , 複数の音源信号が線形不変な伝達系を経て混合るため, ノイズは加法的であり, 歪みの検出が比較的容易である [8].

された場合, その観測信号は次式で表される.

x(t) =

N−1


a(n)s(t − n)

本研究ではスペクトル特徴量として MFCC の計算過程(1)のケプストラム平均除去後, 逆コサイン変換を行いスペクn=0

トル領域に戻した 24 次元と , 1 次のデルタ特徴量 24 次元
T

ここで , s(t) = [s1 (t), ..., sI (t)]は音源信号ベクトル ,x(t) = [x1 (t), ..., xJ (t)]T はマイクロホンアレ イにおけと合わせた計 48 次元を用いる.

2.2.2

る観測信号ベクトル , a(n) = [aji (n)]ji は伝達系のインパ

信頼度を取り入れた出力確率の算出

MFT に基づく音声認識システムでは , 信頼度を考慮しルス応答を表す J 行 I 列の混合行列である. また, [·]ji はた出力確率計算を行う. この信頼度付きの出力確率の計算として, 西村ら [8] の周波数毎に重みをつける手法を採用

j 行 i 列要素が · である行列を表す. 本研究では音源数 Iとマイクロホンの数 J は等し く 2 であると仮定する. 周

する. この手法では計算量が比較的少なく, 高速に動作す

波数領域で ICA を適用すると , そのモデルは瞬時混合モるという利点がある. なお, このように尤度計算に歪みをデルとなる.

2.1.2

音声認識特徴量

考慮する手法は一般的に marginalization approach (周辺化法) と呼ばれる [9].

周波数領域 ICA

特徴ベクトル x, 状態 Sj の時の正規分布の確率密度関

周波数領域で ICA を適用するため, 短時間分析を用いてフレーム毎に離散フーリエ変換された信号を入力とす

数を f (x|Sj ), L を混合正規分布の混合数, P (l|Sj ) を混合る. これより観測信号ベクトルは X(ω, t) = [X1 (ω, t), ...,

係数とする. この時, 通常の連続分布型 HMM では出力確

XJ (ω, t)] と表現できる. 次に , 分離行列 W を用いて, 分
離信号 Y (ω, t) = [Y1 (ω, t), ..., YI (ω, t)] を周波数毎に独立率は以下のように定義される.

bj (x) = f (x|Sj ) =に以下の式で求める.

L

P (l|Sj )f (x|l, Sj )

(4)

l=1

Y (ω, t) = W (ω)X(ω, t)(2)

ここで , MFT に基づく音声認識では , 出力確率 bj (x) は信頼できる特徴量ほど 出力確率に大きく貢献し , 信頼できな

式 (2) を解くため, KL 情報量最小化に基づいて分離行列を推定する. ここでは以下の反復学習則を用いる[5], [6].

いほど 貢献しないように設計する. 特徴量の各成分 i に対

W j+1 (ω) = W j (ω)−α{oﬀ-diagφ(Y )Y h }W j (ω) (3)

元数 N を用いて出力確率を次のように定義する.
N

L


P (l|Sj ) exp
M (i) log f (x(i)|l, Sj ) , (5)bj (x) =する信頼度を表す MFM ベクトル M (i), 及び特徴量の次

ここで , α は学習係数, [j] は更新回数, · は平均である.

l=1

また, oﬀ-diag (X) は対角要素を零に置き換える演算であi=1

り, 非線形関数ベクトル φ(y) は φ(yi ) = tanh(|yi |)ejθ(yi )である. スケーリング問題は Projection Back [7] によっよりすべてのクラスに対して等しくなる. 信頼度が全て 1て解決した.

である時, 従来の音声認識デコーダと同じ動作をする.

信頼度が 0 である時, その特徴量に対する尤度は (5) 式

10図 2: MSLS における歪みの検出

3

ミッシングフィーチャマスクの自動生成

歪みの検出

3.1.2

歪みの検出は一般的に利用する特徴量に依存する. ここ

MFM は特徴量領域において歪んだ特徴量を検出して作成される. MFM の生成には次の 3 ステップが必要である.

では , スペクトル特徴量で歪みを検出する方法を説明する.

1. 特徴量領域での歪みの検出

ける歪みは単調に変化すると仮定する. 特に , ノイズに対

2. 歪みに基づいた信頼度の設定する変化がほぼ線形的であるとみなせる時, 特徴量におけ

3. 分離出力からのマスク生成

る歪みはその変化量に比例することになる.

スペクトル特徴量において, ノイズに対して特徴量におD= F (s + θn) − F (s)
(10)
∂F
(s)n
(11)
 θ
∂x
今, 2 つの特徴量 F (s + αn), F (s + βn) が得られてい特に特徴量領域での歪みの検出では , その検出手法は使用する特徴量に依存する.

3.1

特徴量歪みの検出

3.1.1

特徴量歪み

るとする. 特にこの係数 α, β の比が γ に近いとき, 上式にしたがって特徴量歪みは定数倍の曖昧性を除き,

特徴量は本来定数倍に関して無視できるものである. こDの処理を行わない場合, 音量によって認識率が変化するか(12)

F (s + α .∗ n) − F (s + γα .∗ n)(13)∂F(s)α .∗ n
(14)
 γ
∂x
によって検出することができる. また, 係数の比が一定でなくとも, ノイズによる影響が大きい特徴量はその変化も続微分可能であると仮定する.
時間周波数領域 (t = 0, . . . , T, w = 0, . . . , W ) の信号

x = (x0,0 , . . . , x0,T , x1,T , . . . , xW,T ) において, 各周波数毎(w = 0, . . . , W ) の定数倍 α = (α0 , . . . , α0 , α1 , . . . , αW )に対して,大きいと考えられるため, 歪みを検出することできる.

3.2
(6)

信頼度の設定次に , 検出した歪みに基づいて信頼度の設定を行う. 信頼度には reliable / unrelible の 2 値を用いる. 理想的なマが成り立つ. ここで , .∗ はベクトルの要素同士の積 x · y =スク A priori マスクの生成法と , 検出した歪みに基づく(x0 y0 , x1 y1 , . . . , xn yn ) を表す演算子である. ここで , 混合

マスクの自動生成を説明する.

信号 αx + βy の特徴量を目的信号 s に着目し ,F (αx + βy)

F (s + α .∗ n) − F (s + β .∗ n)らである. 特徴量への写像 F が有限の不連続点を除き, 連F (x) = F (α .∗ x)A priori マスク

3.2.1= F (x + (β ./α)y)(7)

A priori マスクは真の特徴量からの差, つまり上記で定= F (x + θ .∗ y)(8)

義した歪み D を一定の閾値で切ることで生成される. 生成すべきマスク AM を閾値 T を用いて以下のように定のように表現することにする.

義する.

ここで , 信号 s に雑音源 n が加わった s + n の特徴量AM

歪み D を以下のように定義する.

D=

F (s + n) − F (s)=

1 |F (s + n) − F (s)| < T
0 otherwise(15)

ここで , この絶対値はベクトルの各要素ごとに掛かるもの(9)とする. この閾値 T は学習した音響モデルに合わせて, そ

つまり, 特徴量歪みをノイズ込みの特徴量と目的音源の特れぞれの要素ごとに最適な値を設定するべきであるが , 今

徴量との差であるとする.

回は n 次デルタ特徴量には特定の閾値 Tn を設ける.

11

3.2.2

自動生成マスク式（ 15 ）によって検出された歪み D に対してマスクを
生成する.

D



|F (s + α .∗ n) − F (s + β .∗ n)|(16)
図 3: SIG2 に設置された耳この歪みに対して, 閾値 Tn によりマスク M を以下のよ
うに作ればよい．

1 |F (s + α .∗ n) − F (s + β .∗ n)| < TnM=
0 otherwise

5m

(17)

5m

θ

SIG2

1m

θ

d

ここで , Tn は n 次デルタ特徴量に対する閾値である.

3.2.3

図 4: Humanoid SIG2

1m

d

4m

4m

図 5: 配置 1: 半対称

図 6: 配置 2: 対称

ICA の出力を用いたマスク生成

次に ICA の出力からミッシングフィーチャマスクの自SIG2

動生成を行う方法を提案する. ICA で推定された分離フィ(b) ICA 出力と MFM の効果(c) MSLS と MFCC との特徴量比較

ルタを W , 真の混合行列を M とし , 分離フィルタの誤差を E = M −1 − W で表す. また, 元信号を s, 観測信号を x としたとき, ICA で分離された信号 y は周波数領

2. 連続音声認識実験

域で次のように表現される.

(a) ICA 出力と MFM の効果(b) MSLS と MFCC との特徴量比較y(ω, t) = W (ω)x(ω, t)

孤立単語認識実験の目的は , 実用上の観点から文法ベー= W (ω)M (ω, t)s(ω, t)= M −1 (ω) − E(ω) M (ω)s(ω, t)= s(ω, t) − E(ω)M (ω)s(ω, t)スでの評価を行うため, 連続音声認識実験の目的は , 一般
的な条件下での評価を行うためである. これらの実験に(18)

よって, (1) 本手法で用いられる 2 つのパラメータの関係,

このように , 分離された信号における誤差は混合行列 M(2) ICA による分離効果と MFM の効果, (3) MSLS とMFCC の特徴量に関して検証する. また, 観測信号自体をそのまま用いてマスクを生成したものと比較し , ICA にと誤差行列 E に依存する. ここで , 2 音源の場合 y 中のある信号 y1 に着目した時, その信号はスケーリング w1

よる分離によってマスク効果に変化があるかを検証した.

を合わせることで ,w1 y1 (ω, t) = w1 (1 + e1 ) s1 (ω, t) − ê1 w1 s2 (ω, t)

4.1

(19)

録音条件

録音には上述した SIG2 に設置されたマイクロホンを利用と表現できる. ただし e1 , ê1 は適当な係数である. y2 にした. 録音を行った部屋は 4m × 5m × 2.5m の広さで , 残

対しても同様に得られる. このとき,

響時間 (RT20) が約 0.25 秒であった. このような条件で ,ŷ1 (ω, t) = w1 y1 (ω, t) − γw2 y2 (ω, t)

実験 (1) では , 2 話者同時発話 200 組を録音し , 発話デー

(20)

タは ATR 音素バランス単語を実験 (2) では , 2 話者同時発話 100 組を録音し , 発話データは ASJ-JNAS の評価用によって, w1 y1 , ŷ1 の 2 つの信号を得ることができ, 式 (14)データセットを用いて録音を行った.

によって歪みを検出できる. なお, γ を適切に定めること

データセットは , (男性, 女性), の組み合わせで , マイクができれば , w1 y1 中の y2 成分の影響を最小限にすることができるが , それを現実的に行うことは非常に困難であとスピーカの距離は 約 1.0m, スピーカーの配置は 1 つがる. 実際に検出した歪みを図 2 に示す.

正面固定・もう一つが右側に 30 度, 60 度, 90 度間隔で配置したもの (図 5), 正面に女性話者, 右側に男性話者のも

4

実験のと , 左右対称に配置し , その間隔が 30 度, 60 度, 90 度の組合わせとした (図 6). 録音したデータは 48kHz でサン

本システムの評価を行うためヒューマノイド SIG2 (図 4)

プ リングし , 16kHz にダウンサンプ リングを行った.

の外耳道モデル (図 3) に埋め込まれた 2 本の無指向性マ
イクロホンで 2 話者同時認識実験を行った. 評価は次の 54.2

点についておこなう.

音声認識エンジンにはマルチバンド 版 Julian[8]を MFT に

1. 孤立単語認識実験

基づく音声認識システムとして使用した. 音響モデルは

実験条件

実験 (1) では , トライフォン (3 状態 4 混合の HMM), ク(a) パラメータ関係, γ と T の評価

12孤立単語認識

連続音声認識テストデータATR 音素バランス単語: 男女各 200 語

ASJ-JNAS 新聞記事読み上げ : 男女各 100 文

学習データ

ATR 音素バランス単語:

新聞記事読み上げ + 音素バランス文男性 10 人, 女性 12 人, 各 216 語

男性 100 人, 女性 100 人, 各 150 文

音響モデル

トライフォン : 3 状態 4 混合 HMM

トライフォン : 3 状態 8 混合 HMM

言語モデル

有限状態文法

統計的モデル : 毎日新聞記事 2 万語
表 1: 実験設定

リーン音声 22 話者 (男性 10 人, 女性 12 人) 分の ATR 音

MSLS, MFCC のいづれの特徴量でも認識率の向上が確

素バランス単語 216 語で学習, 実験 (2) では , PTM トラ

認できる. MSLS では ICA の分離で平均 24 %, MFM で

イフォン (3 状態 8 混合の HMM), クリーン音声不特定話

平均 13.3 % の認識率向上が見られる. MFCC において者約 200 人 (男性 100 人, 女性 100 人) 分の新聞記事読みも 分離で平均 24 %, MFM で平均 6.2 % の向上がある.

上げ文と音素バランス文の計 150 文で学習した. また, 評

また, 分離なしでマスクを生成した場合, MSLS では約

価用データは学習に使用されていない. 連続音声認識での8.2 %, MFCC では約 2.1 % の向上であり, ICA 適用後の言語モデルは毎日新聞記事 2 万語の統計的言語モデルでマスクよりもその効果は下回っている.

ある. 表 1 にこれらをまとめた.

正解の特徴量に基づき作成した A priori マスクでは ,ICA のパラメータは , 録音データ 16 kHz サンプ リン

ほぼ 90 % 以上の認識率を達成している.

グに対し , 窓幅 2048 点, シフト幅 512 点とした. 分離行
列の初期値はランダ ム値である. マスクの閾値パラメー

MSLS と MFCC の比較 スペクトル特徴量単体であると , MFCC よりも認識率が 低下し ている場合がある.

タ T0 は実験的に定め, MSLS の場合 m 孤立単語認識で0.005, 連続音声認識で 0.02, MFCC では孤立単語認識でMFM を用いることで , いづれの場合も MFCC 並の認識率を確保できている. しかし , 元の認識率が MFCC の方が0.01, 連続音声認識で 0.51 とした. スケーリングの値 γ
は MSLS の場合 0.02, MFCC の場合 0.2 とした. デルタ

いいため, MFCC + マスクの方が認識率が向上している.

特徴量に関してはマスクを行っていない. また, オフライ
ン処理であるため, 孤立単語の分離においては 3〜5 秒程

5.2

度単語を連結し , ある程度の分離精度は確保している.

ICA と MFM の効果

5

実験結果

5.1

孤立単語認識実験

パラメータ関係

連続音声認識実験

2 つの特徴量による結果を図 10,11 と , 図 12, 13 に示す.
分離なしの混合音声を認識させた場合では , 単語正解精パラメータ関係を図 7 に示す. この図

度・単語正解率ともに認識率が悪い. 特に MSLS では , 単

は γ = 0.01, 0.1, 1.0 の場合 (MFCC に関しては γ = 1.0

語正解精度がマイナスの値になっていることが分かる.

ではなく γ = 0.5) と A priori マスクの両方の閾値によるICA による分離で , 単語正解率で MSLS が平均 7.22 %,

認識率の変化を示している.

MFCC では平均 11.07 % の改善, MFM でさらに , MSLS
で 5.11 %, MFCC で 1.79 % の認識率の向上がある. 単どのグラフでも, 閾値がある程度小さくなった場合と大きくなった場合では , 認識率がある値に収束している. A

語正解率では , ICA により, MSLS で平均 11.0 %, MFCC

priori マスクにも見られるように , 閾値の変化に対して認で 17.23 % の向上, MFM ではそれぞれ 8.68 %, 1.89 %

識率は , 両端が一定で , ピークがある山形のような曲線をとなっている.

描いている. これは MFCC でも, MSLS でも同様の傾向

A priori マスクでは , 大幅な改善率を誇っているが , 上がある.

限値である単一発話者での認識率 MSLS 約 70%, MFCC

さらに MSLS では , γ と T に相関があるとみなせる.

約 80 % に達していない. また, 自動生成マスクとも性能

認識率の曲線が γ の値に対してほぼ線形な変化があるとの差が大きいことがわかる.

考えられ , スペクトル特徴量の歪みがノイズに対してほぼ線形に加わっているとみなせる.

MSLS と MFCC の比較 今回の設定では , MSLS よICA と MFM の効果 図 8 と図 9 に ICA による分離,及びミッシングフィーチャマスクの効果をそれぞれの特徴

による分離では MFCC の方が改善率が高く, MFM では

量に関して示す.

MSLS の方が高い傾向にある.

りも MFCC 特徴量の方が全体的な認識率は良い. ICA

13

閾値による認識率の変化：MSLS
100

95

95

90

90

85

85

Word Correct (%)

80
75
70
65
gamma=0.1

gamma=1.0

A priori

65
60
55

50

A priori
1

4

7
10
0

1.

7
0.

1.

1

4

07

0.

0.

0.

7
10
0

1

4

7
0.

1.

4
0.

1.

1
0.

1E
-0
6
4E
-0
6
7E
0. 06
00
0
0. 0 100
0
0. 0 4
00
00
0. 7
00
0
0. 1
00
0
0. 4
00
07
0.
00
1
0.
00
4
0.
00
7
0.
01
0.
04
0.
07

1E
-0
6
4E
-0
6
7E
-0
0. 6
00
0
0. 0 100
0
0. 0 4
00
00
0. 7
00
0
0. 1
00
04
0.
00
07
0.
00
1
0.
00
4
0.
00
7
0.
01

閾値による認識率の変化：MFCC

100
90

85

85

Word Correct (%)

95

90
80
75
70
65
gamma=0.01
gamma=0.5

マスクなし

マスク閾値

95

80
75
70
65
60

gamma=0.05
A priori

gamma=0.01
gamma=0.5

55

50

gamma=0.05
A priori

マスクなし

マスク閾値

2.8

2
2.4

1.6

1.2

1E
-0
5E 6
-0
9E 6
0.0 0600
0.0 04
00
0
0.0 8
00
0.0 3
00
7
0.0
02
0.0
06
0.0
1
0.0
5
0.0
9

2.8

2.4

2

1.6

0.8
1.2

0.0
5
0.0
9
0.4

1E
-0
5E 6
-0
9E 6
0.0 0600
0.0 04
00
0
0.0 8
00
0.0 3
00
7
0.0
02
0.0
06
0.0
1

50

0.8

55

gamma=0.1

gamma=1.0

マスクなし

閾値による認識率の変化：MFCC

100

60

gamma=0.01

50

マスク閾値

Word Correct (%)

70

04

55

gamma=0.01

75

0.

60

80

0.4

Word Correct (%)

閾値による認識率の変化：MSLS
100

マスクなし

マスク閾値

100
90
80
70
60
50
40
30
20
10
0

Asymmetrical position：MSLS

Word Correct (%)

Word Correct (%)

図 7: 閾値による認識率の変化：非対称 60 度間隔配置, 左:男性話者 右:女性話者, 上: MSLS, 下: MFCC

Unprocessed
ICA-Output
A Priori Mask (ideal)

male
female30 degrees+ Our Mask
+ Our Mask

malefemale60 degrees

100
90
80
70
60
50
40
30
20
10
0

male
female90 degrees

Symmetrical position：MSLS

Unprocessed
ICA-Output
A Priori Mask (ideal)

male
female30 degrees

Interval between two speakers in degree+ Our Mask
+ Our Mask

malefemale60 degrees

malefemale90 degrees

Interval between two speakers in degree

図 8: 孤立単語認識: 単語正解率：MSLS
100

80
70
60

80

50
40
30
20
10
0

Symmetric position：MFCC

90

Word Correct (%)

Word Correct (%)

Asymmetric position：MFCC
100
90

Unprocessed
ICA-Output
A priori Mask

70
60
50
40
30
20

+ Our Mask
+ Our Mask

Unprocessed
ICA-Output
A priori Mask

10
0

male
femalemale
femalemale
female30 degrees
90 degree
60 degreeInterval between two speakers in degree+ Our Mask
+ Our Mask

malefemalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval between two speakers in degree

図 9: 孤立単語認識: 単語正解率 MFCC

14

Asymmetric position：MSLS

Asymmetric position：MSLS

Noprocessed
ICA-Output
A Priori Mask (ideal)

Unprocessed
ICA-Output
A Priori Mask (ideal)+ Our Mask
+ Our Mask

90

Word Accuracy (%)

Word Correct (%)

100
90
80
70
60
50
40
30
20
10
0

+ Our Mask
+ Our Mask

70
50
30
10
male
femalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval degrees between two speakers

-10

male
femalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval between two speakers in degree

100
90
80
70
60
50
40
30
20
10
0

Symmetric position：MSLS

Symmetric position：MSLS

Unprocessed
ICA-Output
A Priori Mask (ideal)

Unprocessed
ICA-Output
A Priori Mask (ideal)+ Our Mask
+ Our Mask

90

+ Our Mask
+ Our Mask

70

Word Accuracy (%)

Word Correct (%)

図 10: 非対称配置における単語正解率・正解精度: MSLS

50
30
10
-10

male
femalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval between two speakers in degree

malefemalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval degree between two speakers

図 11: 対称配置における単語正解率・正解精度: MSLS
Asymmetric position：MFCC
Noprocessed
ICA-Output
A Priori Mask (ideal)

Aysmmetric position：MFCC+ Our Mask
+ Our Mask

Word Accuracy (%)

Word Correct (%)

100
90
80
70
60
50
40
30
20
10
0

male female
30 degrees

male female
60 degrees

100
90
80

Noprocessed
ICA-Output
A Priori Mask (ideal)+ Our Mask
+ Our Mask

70
60
50
40
30
20
10
0

male female
90 degrees

malefemalemale
femalemale
female30 degrees
60 degrees
90 degrees
Interval between two speakers in degree

Interval between two speakers in degree

図 12: 非対称配置における単語正解率・正解精度: MFCC
Symmetric position：MFCC

Symmetric position：MFCC

Word Correct (%)

90
80

Noprocessed
ICA-Output
A Priori Mask (ideal)+ Our Mask
+ Our Mask

Word Accuracy (%)

100

70
60
50
40
30
20
10
0
male
female30 degrees

malefemalemale
female90 degrees
60 degrees
Interval between two speakers in degree

100
90
80
70
60

Noprocessed
ICA-Output
A Priori Mask (ideal)+ Our Mask
+ Our Mask

50
40
30
20
10
0
male
female30 degrees

malefemale60 degrees

malefemale90 degrees

Interval between two speakers in degree

図 13: 対称配置における単語正解率・正解精度: MFCC

15

6

考察

6.1

特徴量歪みの検出法における認識率の改善を達成した. 今回の実験では , MFMの効果は孤立単語認識で約 13%, 連続音声認識で 約 5 %であることを確認した.

今回の歪みの検出では , スペクトル特徴量を仮定し , ノイ

MFT による音声認識を用いる場合, 特徴量・信頼度付

ズの変化に対する特徴量の変化量で歪みを検出した. スペ

き尤度計算・信頼度設定・音響モデルなどが密接に関わっ

クトル特徴量はノイズが加法的に加わるため, 特徴量の変ているため, それらの親和性が高い方法を採用する必要が化量によって歪みやすい特徴量を検出できる. 一方, ケプ

あるといえる.

ストラル特徴量である MFCC では , ノイズが非線形に加今後の課題として挙げられるのは , 閾値の自動設定, 信わるため, ある点の変化量だけを見て歪みやすい部分を特頼度の設定方法の改善, 実時間での動作などを含め, より定することは難しい.

効果的な混合音認識手法の検討などがある.

孤立単語正解率では , 語彙数が少ないために MFCC マ
スクでも認識率が向上している. しかし , 連続音声認識で

参考文献

は探索空間が巨大になり, より正確なマスク生成が要求さ[1] 山本 他: “ミッシングフィーチャ理論を適用した同時発話認識システムの同時発話文による評価”, AI チャ

れるため, 認識率の変化はほとんどない. 実際, MSLS でも MFCC でもマスクによる改善率が大きく落ちている.

レンジ研究会, 22, pp.101-106, 2005.

分離を行うことでマスクによる効果は向上していることから , 他の手法との統合による歪み推定などが必要だろう.

[2] 中臺 他: “ロボットを対象とした散乱理論による三話

閾値による認識率の変化をみると , 自動生成マスクでも者同時発話の定位・分離・認識の向上”, JSAI Technical閾値が小さくなるにつれて A priori マスクと同様にある

Report SIG-Challenge-0318-6, pp.33-38, 2003.

一定の値に収束している. 閾値が極めて小さな値であると[3] Saruwatari 他: “Two-Stage Blind Source Separa-

き, 今回の方法だと確実に信頼できる部分しか残さないことを意味する. このため, 自動生成されたマスクがある程

tion Based on ICA and Binary Masking for RealTime Robot Audition System”, Proc. of IROS 2005,

度の精度を保っていることが言える.

pp.209–214, 2005.

信頼度の設定では , 同一の歪みを検出しても音響モデル
によって性能に差がでることも予想できる. そのため, 閾[4] Kolossa 他: “Separation and Robust Recognition

値の決定にはノイズレベルと同様に音響モデルに対しても適応することが望ましい.

of Noisy, Convolutive Speech Mixtures Using TimeFrequency Masking And Missing Data Techniques”,

音声認識特徴量

Proc. of IEEE Workshop on Applications of Signal
Processing to Audio and Acoustics, pp.82–85, 2005.

6.2

実験結果を見ると , MSLS よりも MFCC の方が絶対的な[5] Choi 他: “Natural Gradient Learning with a Non-

認識率が良い. これは , MFCC が音声特徴を良く捉えて

holonomic Constraint for Bline Deconvolution ofMultiple Channels”, Proc. of International Work-

いるからだと考えられる. ノイズや反響の無い条件では ,MSLS でも次元数などを変えることで , MFCC と同様の性能を確保することが可能であるが , ノイズ環境化で同様

shop on ICA and BBS, pp.371-376, 1999.
[6] Sawada 他: “Polar Coordinate based Nonlinearの性能を出すことは難しい.
信頼度の推定では , ノイズに対して線形的に変化する特徴量の方が歪みを推定しやすい. 一方, ノイズに対する耐Function for Frequency-Domain Blind Source Separation”, Proc. of IEICE Trans. Fundamentals, 3,

性では , 非線形的に変化する特徴量が有利である. MFT

E86-A, pp.505-510, 2003.

による音声認識を利用する場合では , 両方に有利な特徴量[7] Murata 他: “An approach to blind source separation based on temporal structure of speech signals”,の追求が必要である.

7

Neurocomputing, pp.1–24, 2001.

おわりに汎用性のあるロボット 聴覚機能を実現するため, 事前情[8] 西村 他: “周波数毎の重みつき尤度を用いた音声認報の少ない音源分離と分離音声を認識可能にすることを識の検討”, 音響学会 2004 年春講論, vol. 22, pp.117-

目指した. 音源分離に ICA を用い, その後段処理として

118, 2004.

MFM の自動生成を行い, MFT を応用した音声認識器を[9] Raj 他: “A Bayesian Framework for Spectrographic

利用した.

Mask Estimation for Missing Feature Speech Recognition”, Speech Communication, pp.379–393, 2004

ノイズによる特徴量での変化量に基づき MFM の自動生成を行い, 孤立単語及び連続音声の 2 話者同時発話認識

16

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-3 (11/17)

空間的サブトラクションアレーにおける雑音推定処理の独立成分分析による高精度化
Improvement of Accuracy of Noise Estimation
Based on Independent Component Analysis in Spatial Subtraction Array

高橋 祐，高谷 智哉，猿渡 洋，鹿野 清宏
Yu Takahashi, Tomoya Takatani, Hiroshi Saruwatari, and Kiyohiro Shikano

奈良先端科学技術大学院大学
Nara Institute of Science and Technology

yuu-t@is.naist.jp
Abstract

In delay-and-Sum (DS) array, we compensates the timedelay for each element to reinforce the target signal arriving from the look direction. On the other hand, null
beamformer (NBF) [1] provides more eﬃcient noise reduction in which we steer the directional null to the direction of the noise signal. Moreover, Griﬃth-Jim adaptive array (GJ) [2] can achieve a superior performance
relative to others. However, GJ requires a huge amountof calculations for learning adaptive multichannel FIR
ﬁlters of, e.g., thousands or millions taps in total.

In this paper, we propose a new spatial subtraction array (SSA) structure which includes
independent component analysis (ICA)-basednoise estimator. Recently, SSA has been proposed to realize noise-robust hands-free speech
recognition. In SSA, noise reduction is achievedby subtracting the estimated noise power spectrum from the noisy speech power spectrum.
The conventional SSA uses null beamformer(NBF) as a noise estimator, but NBF suﬀers
from the adverse eﬀect of microphone-element
errors and room reverberations in real environments. To improve the problem, we newly replace NBF with ICA which can adapt its own
separation ﬁlters to the element error and thereverberation. The aﬀections by the element
error and the reverberation can be mitigated in
the proposed ICA-based noise estimator. Experimental results reveal that the accuracy ofnoise estimation by ICA outperforms that of
NBF, and speech recognition performance ofthe proposed method overtakes that of the conventional SSA.

1

Spatial subtraction array (SSA) [3] is a successful candidate for hands-free speech recognition, and SSA is
speciﬁcally designed for a speech recognition application.
In SSA, noise reduction is achieved by subtracting the estimated noise power spectrum by NBF from the power
spectrum of noisy observations in mel-scale ﬁlter bankdomain. Since a common speech recognizer is not sosensitive to phase information, SSA which is performing
subtraction processing only in the power spectrum domain is more applicable to the speech recognition, and
it is reported that the speech recognition performanceof SSA outperforms those of DS and GJ [3]. In SSA,
noise estimation is performed by NBF which has decent
performance under ideal conditions. However, NBF sustains the negative aﬀection by microphone-element error
and room reverberations. Therefore, in the real environment where the element error and the reverberation arealways included, the performance of SSA signiﬁcantly
decreases because the noise-estimation accuracy by NBF
decreases.

Introduction

A hands-free speech recognition system is essential for realizing an intuitive and stress-free human-machine interface. However, the quality of the distant-talking speech
is always inferior to that of using close-talking microphone, and this leads to degradations of speech recognition. One approach for establishing a noise-robust
speech recognition system is to enhance the speech signals by introducing microphone array signal processing.

In this paper, we propose a new SSA structure which
replaces NBF-based noise estimator with independent
component analysis (ICA)[4]-based noise estimator. ICA
is a technique for source separation based on indepen-

17

User’s
SpeechPhase
Compensation
F X j ( f ,τ )
F
T

Noise

Primary Path

YDS ( f ,τ )

θU∑

Mel-Scale+ Spectral
Filter
SubtractBank

X J ( f ,τ )-Beamformer

rewritten asm(l ,τ )Log
Transform
and
MFCC (n,τ )DCT

m ( L, τ )Z NBF ( f ,τ ) Mel-Scale

(3)

(4)

where A(f ) is a mixing matrix, S(f, τ ) is a target speech
signal vector, N (f, τ ) is a noise signal vector, U expresses the target speech number, and K is the numberof sound sources.
Next, the target speech signal is partly enhanced inadvance by DS. This procedure can be given as
YDS (f, τ ) = W T
DS (f )X(f, τ )=WT
DS (f )A(f )S(f,τ)+W T
DS (f )A(f )N (f,τ),
(DS)
(DS)
W DS (f ) = [W1 (f ), . . . , WJ (f )]T ,
(DS)

Wj

(f ) =(5)(6)

1
exp (−i2π(f /M )fs dj sin θU /c) , (7)J

where YDS(f,τ ) is a primary-path output which slightly
enhances the target speech, W DS (f ) is a ﬁlter coeﬃcient vector of DS, M is the DFT size, fs is sampling
frequency, dj is a microphone position, and c is sound velocity. Besides, θU is a known direction-of-arrival (DOA)of the target speech. In Eq. (5), the second term in theright-hand side expresses the remaining noise in the output of the primary path.

Conventional Spatial Subtraction Array
Overview

The conventional SSA [3] consists of a DS-based primarypath and a reference path via the NBF-based noise estimation (see Fig. 1). The estimated noise component by
NBF is eﬃciently subtracted from the primary path in
the power spectrum domain without phase information.
In SSA, we assume that the target speech direction andspeech break interval are known in advance. Detailed
signal processing is shown below.

2.3

Noise estimation in reference path

In the reference path, we estimate the noise signal byusing NBF. This procedure is given as
ZNBF (f, τ )=W NBF (f ) =Partial speech enhancement in primary path

WT
(8)
NBF (f )X(f, τ ),
+ T
[1, 0] · [a(f, θO ), a(f, θU )], (9)a(f, θ)=[a1 (f, θ), . . . , aJ (f, θ)]T ,(10)

aj (f, θ)=

exp (i2π(f /M )fs dj sin θ/c) ,(11)

where ZNBF (f, τ ) is the estimated noise by NBF,W NBF (f ) is a NBF-ﬁlter coeﬃcient vector which steers
the directional null in the direction of the DOA of thetarget speech, θU , and steers unit gain in the arbitrary
direction θO (= θU ). a(f, θ) is a steering vector which
expresses phase information of the sound source arriving from the direction θ. Besides, M + denotes MoorePenrose pseudo inverse matrix of M . This processing
can suppress the target speech arriving from θU , whichis equal to an extraction of noises from sound mixtures
if we take into account aﬀections of sensor errors andFirst, the short-time analysis of observed signals is conducted by a frame-by-frame discrete Fourier transform(DFT). By plotting the spectral values in a frequency bin
for each microphone input frame by frame, we consider
these values as a time series. Hereafter, we designate thetime series asX(f, τ ) = [X1 (f, τ ), . . . , XJ (f, τ )]T ,K−U

NU+1 (f, τ),..., NK (f, τ)]T ,FilterBank

dence among multiple source signals. In acoustic source
separation scenarios, ICA can also extract each source
signal only using observed signals at the microphone array, and ICA does not require characteristics about sensor elements and the reverberation. Therefore, it is well
expected that ICA can adapt its own separation ﬁlters to
the element error and the reverberation. Accordingly theadverse eﬀect by the element error and the reverberation
can be mitigated in the proposed ICA-based noise estimator. Real-recording-based simulations are conducted,
and we can indicate that the proposed method outperforms the conventional SSA on the basis of speech recognition performances.

2.2

S(f, τ ) = [0, . . . , 0, SU (f, τ ), 0, . . . , 0]T ,    
U−1

Figure 1: Block diagram of conventional SSA.

2.1

(2)

N (f, τ ) = [N1 (f,τ),..., NU−1 (f,τ),0,

Reference Path

2

X(f, τ ) = A(f ) (S(f, τ ) + N (f, τ )) ,(1)

where J is the number of microphones, f is the frequency
bin and τ is the frame number. Also, X(f, τ ) can be18

using ﬂooring processing, where γ is the ﬂooring coeﬃcient.
Since a common speech recognition is not so sensitive
to phase information, SSA which is performing subtraction processing in the power domain is more applicableto the speech recognition. Moreover, in general, the order of the ﬁlter bank l is set to 24, and consequently
SSA optimizes only 24 parameters. On the other hand,
GJ requires the adaptive learning of FIR-ﬁlters of thousands or millions of taps. Finally, we perform mel-scaleﬁlter bank analysis, log transform and discrete cosine
transform to obtain MFCC for speech recognizer.

reverberations. Thus we can estimate the noise signals
by NBF under ideal conditions. Note that ZNBF (f, τ )is the function of the frame number τ , unlike the constant noise prototype estimated in the traditional spectral subtraction method [5]. Therefore, SSA can deal
with a non-stationary noise.

2.4

Mel-scale filter bank analysis

SSA includes mel-scale ﬁlter bank analysis, and outputs
mel-frequency cepstrum coeﬃcient (MFCC) [6]. The triangular window Wmel (k; l) (l = 1, · · · , L) to perform
mel-scale ﬁlter bank analysis is designated as follows:⎧⎪⎪ f − flo (l)flo (l)≤f ≤fc (l) ,⎨fc (l) − flo (l)Wmel (f, l) =(12)fhi (l) − f⎪⎪fc (l)≤f ≤fhi (l) ,⎩fhi (l) − fc (l)where flo (l), fc (l), and fhi (l) are the lower, center, andhigher frequency bins of each triangle window, respectively. They satisfy the relation among adjacent windowsasfc (l) = fhi (l − 1) = flo (l + 1).

(13)

Moreover, fc (l) is arranged in regular intervals on melfrequency domain. Mel-scale frequency M elfc (l) for fc (l)is calculated as
fc (l)fs.
(14)
M elfc (l) = 2595 log10 1 +
700·M

2.5

Noise reduction processing

In SSA, noise reduction is carried out by subtracting
the estimated noise power spectrum from the partly enhanced target speech power spectrum in the mel-scaleﬁlter bank domain asm(l, τ ) =⎧ f (l)
hi

⎪
1
⎪
⎪
⎪
Wmel (f ; l){|YDS (f, τ )|2 − α(l) · β · |ZNBF (f, τ )|2 } 2⎪⎪⎪⎪f =flo (l)⎨( if |YDS (f , τ )|2 − α(l ) · β · |ZNBF (f , τ )|2 ≥ 0 ),⎪⎪⎪fhi (l)⎪⎪⎪⎪
Wmel (f ; l){γ · |YDS (f, τ )|} (otherwise),⎪⎩f =flo (l)(15)
where m(l, τ ) is the output from the mel-scale ﬁlter bank.
The system switches in two equations depending on theconditions in Eq. (15). m(l, τ ) is a function of the oversubtraction parameter β and the parameter α(l) which
is determined during a speech break so that the resultant
output m(l, τ ) is zero. On the other hand, if the power
spectrum takes a negative value, m(l, τ ) is obtained by

19

3

Proposed Method

3.1

Error robustness analysis for noise
estimation by NBF

In this section, we discuss the problem of the conventional SSA. The NBF-based noise estimator is used in
the conventional SSA, but NBF suﬀers from the adverse
eﬀect of the microphone element error and the room reverberation. NBF is a technique to suppress an interference source signal by generating a null against thedirection of the interference source signal. If the interference source signal arrives from the same direction as
the null, we can suppress the interference source signal
perfectly. In a reverberant environment, however, the interference source signal arrives from not only the null’s
direction but also outside of the direction. Therefore, in
the reverberant room, we cannot suppress the interference source signal suﬃciently. In addition, a microphoneelement usually involves gain and phase errors. NBF isdesigned under the ideal assumption that all elements
have the same characteristics. In the real environment,
however, the characteristics of each element are diﬀerent.
From the above-mentioned fact, the directivity patternshaped by NBF in the ideal environment is apart fromthat of in the real environment.
Figure 2 illustrates directivity patterns which areshaped by two-element NBF in the ideal (solid line) andthe real (dotted line) environment where the reverberation time is 200 ms. In this ﬁgure, the null direction
is set to zero degree. We can see that the depth of thenull in the real environment which contains the element
error and the reverberation shallows. Therefore, we cannot suppress the interference source signal completely
in the real environment by using NBF. Indeed, in SSA,
we perform noise estimation via NBF which steers null
against the target speech signal, but we cannot suppress
the target speech signal suﬃciently. In fact, NBF cannot

3.3

Ideal directivity pattern by NBF
Directivity pattern in real environment by NBF
Gain [dB]5

The proposed method includes ICA-based noise estimation. In ICA part, we perform signal separation using
the complex valued unmixing matrix W ICA (f ), so thatthe output signals O(f, τ ) = [O1 (f, τ ), . . . , OJ (f, τ )]T
become mutually independent; this procedure can be
represented by

0
-5
-10
-15
-20
-80 -60 -40 -20 0 20 40 60
Direction-of-arrivals [deg]80Figure 2: Directivity patterns shaped by NBF in ideal
environment and real environment which contains element error and reverberation.

User’sSpeechPhase
Compensation
F X j ( f ,τ )
F
T

Noise

Primary Path

YDS ( f ,τ )θU∑

X J ( f ,τ )
User
Noise

PB

E j ( f ,τ )DCT

Z ICA ( f ,τ )

0

FDICA

Log
Transform
and
MFCC ( n,τ )m ( L, τ )

-

θU

∑

O(f, τ ) = W (f )X(f, τ ),(16)

W (f ) = P (f )W ICA (f ),(17)

where P (f ) is a permutation matrix and W (f ) is a
new unmixing matrix which resolves the permutation
problem. The permutation matrix P (f ) is determinedby looking at null directions in the directivity patternwhich is shaped by W ICA (f ) [1], so that the U -th output
OU (f, τ ) is set to the target speech signal. The optimal
W ICA (f ) is obtained by the following iterative updating
equation [7]:


[p+1]
[p]
W ICA (f ) = μ I − Φ (O(f, τ )) O H (f, τ )τ W ICA (f )m(l ,τ )Mel-Scale+ Spectral
Filter
SubtractBank

ICA-based noise estimation in reference path

Mel-Scale
FilterBank[p]+W ICA (f ),E J ( f ,τ )Reference Path

where μ is the step-size parameter, [p] is used to express
the value of the p-th step in the iterations, and I is an
identity matrix. Besides, ·τ denotes a time-averaging
operator, M H denotes conjugate transpose of matrix M ,and Φ(·) is the appropriate nonlinear vector function [1].
In the reference path, the target signal is not required
because we want to estimate only the noise component.
Accordingly we remove the separated speech component
OU (f, τ ) from ICA outputs O(f, τ ), and construct thefollowing “noise-only vector, ” Q(f, τ );Figure 3: Block diagram of proposed method.

estimate noise signal completely. Thus the improvementof robustness in the noise estimator part is a problem
demanding prompt attention.

3.2

(18)

Strategy of proposed method

Q(f, τ )We propose an improved SSA which includes ICA-basednoise estimator instead of NBF-based noise estimator toaddress the problems which are discussed in the previous
section. In the proposed method, the primary path andnoise reduction processing are the same as the conventional SSA. As for the reference path, we newly introduce
ICA as a robust noise estimator for adapting the ﬁlters to
the element error and the reverberation (see Fig. 3). In
ICA, an unmixing matrix is optimized so that output signals become mutually independent only using observed
signals, and a priori information about the sensors andthe room acoustics is not required. Therefore the proposed method can reduce these adverse eﬀects because
ICA can estimate noise signals which involve whole characteristics of the microphone elements and the reverberation. Detailed signal processing is shown below.

=[O1 (f,τ), ..., OU−1 (f,τ) , 0,T

OU+1 (f,τ), ..., OJ (f,τ)] .

(19)

Next, we apply the projection back (PB) [8] method to
remove the ambiguity of amplitude. This procedure canbe written asE(f, τ )= W + (f )Q(f, τ ).

(20)

Here, Q(f, τ ) is composed of only noise components.
Therefore, E(f, τ ) is a good estimation of the received
noise signals at the microphone positions;
E(f, τ )  A(f )N (f, τ ).

(21)

Finally, we obtain the estimated noise signal ZICA (f, τ )by performing DS as follows:
T
ZICA (f, τ ) = W T
DS (f )E(f, τ )  W DS (f )A(f )N (f, τ ). (22)20

4.2 mIdeal directivity pattern by NBF
Directivity pattern in real environment by NBF
Directivity pattern in real environment by ICA

Reverberation time : 200 ms

Cleaner (on the ground)5
Gain [dB]3.5 m

Loudspeaker (Height: 1.5 m)
1.5 m
o

40

1.0 m

-20
-80 -60 -40 -20 0 20 40 60
Direction-of-arrivals [deg]0.9 m

Equation (22) is expected to be equal to the noise term ofEq. (5) in the primary path. Of course, Eq. (22) contains
estimation errors to some extent. Even though the levelof the noise estimation error is not negligible, we can stillenhance the target speech via over-subtraction [5] in the
power spectrum domain.

Experiments And Results

4.1

Experimental setup

10
0
-10
Power [dB]480

Figure 5: Directivity patterns shaped by NBF and ICA
in ideal environment and real environment which contains element error and reverberation.

Figure 4: Layout of reverberant room used in our experiment.

-20
-30
-40
-50

Noise in primary path
Estimated noise by NBF
Estimated noise by ICA

-60
-70
-80

Figure 4 shows a layout of the reverberant room usedin our experiments. We use the following 16 kHz sampled signals as test data; the original speech convoluted
with the impulse responses recorded in the real environment, and added with a cleaner noise which was recoredin the real environment. The cleaner noise is not a point
source but consists of several non-stationary noises emitted from, e.g., a motor, air duct and nozzle. Moreoverthe cleaner noise includes background noise. The input
signal-to-noise ratio (SNR) is set to 5, 10, or 15 dB at
the array. A four-element array with the interelement
spacing of 2 cm is used, and DFT size is 512. Oversubtraction parameter β is 1.4 and ﬂooring coeﬃcient γ
is 0.2.

4.2

-10
-15

Microphones(Height: 1.5 m)
2.4 m

0
-5

0

2000

4000
6000
Frequency [Hz]8000

Figure 6: Accuracy of estimated noise signal by NBF
and ICA.

signal. Figure 6 shows the long-term-averaged power
spectra of the estimated noise signals by NBF and ICA.
The black solid line indicates the power spectrum of thenoise signal in the primary path, and this power spectrum is needed to be estimated. The gray solid line represents the power spectrum of the estimated noise signal
by NBF, and the dotted line shows the power spectrumof the estimated noise signal by ICA. We can see that thepower spectrum of the estimated noise signal by NBF is
not accurate. This is due to that the target speech component still remains in the output of NBF because thenull shaped by NBF is shallow. On the other hand, we
can see that the power spectrum of the estimated noise
signal by ICA is a good estimation because the depthof the null shaped by ICA is enough for suppressing thetarget speech. This result points out that ICA-basednoise estimator is a more accurate noise estimator thanNBF-based one. This gives propriety in which we use
ICA as a noise estimator.

Accuracy of estimated noise signal

First, we analyze the directivity pattern shaped by ICA
in the real environment. Figure 5 depicts the directivity pattern of ICA (broken line) in the real environment.
From this result, we can conﬁrm that the null shaped by
ICA becomes deep compared with that of the NBF-based
conventional SSA. Therefore, it is expected that the target speech suppression performance of ICA (equals theaccuracy of the noise estimation) outperforms that of
NBF. Next, we compare the conventional SSA and the
proposed method in the accuracy of the estimated noise21

Unprocessed
DS

Table 1: Conditions for speech recognition

Task
Acoustic model

Numberoftraining speakers for acoustic
model
Decoder

4.3

JNAS [9], 306 speakers (150 sentences / 1
speaker)

Word Accuracy [%]Database

20 k newspaper dictation
phonetic
tied mixture (PTM) [9],clean model
260 speakers (150 sentences / 1 speaker)

70
60
50
40
30
20
10
0
5 dB

10 dB
Input SNR

15 dB

Figure 7: Results of word accuracy in each method.

JULIUS [9] ver 3.5.1

References

Results of speech recognition performance[1] H. Saruwatari, et al., “Blind source separation
combining independent component analysis andbeamforming,” EURASIP J. Applied Signal Proc.,vol.2003, no.11, pp.1135–1146, 2003.

We compare DS, the conventional SSA, and the proposed
method on the basis of word accuracy scores. Table 1
describes the conditions for speech recognition, and weuse 46 speakers (200 sentences) as original speech. Figure 7 shows the word accuracy in each method. Here,“Unprocessed” refers to the result without any noise reduction processing. From this result, we can see thatthe word accuracy of the proposed method is obviously
superior to those of the conventional methods. This is apromising evidence that the proposed method has an applicability to noise-robust speech recognition rather thanthe conventional SSA.

5

Conventional SSA
Proposed Method[2] L. J. Griﬃth, and C. W. Jim, “An alternative approach to linearly constrained adaptive beamforming,” IEEE Trans. Antennas Propagation, vol.30,
no.1, pp.27–34, 1982.
[3] Y. Ohashi, et al., “Noise robust speech recognition
based on spatial subtraction array,” Proc. NSIP,
pp.324–327, 2005.
[4] P. Comon, “Independent component analysis, a newconcept?,” Signal Processing, vol.36, pp.287–314,
1994.
[5] S. F. Boll, “Suppression of acoustic noise in speechusing spectral subtraction,” IEEE Trans. Acoustics,
Speech, Signal Proc, vol.ASSP-27, no.2, pp.113–120,
1979.

Conclusions

In this paper, we proposed a new SSA which involves
ICA-based noise estimation to realize a robust handsfree speech recognition in noisy environments. First,
we pointed out NBF suﬀers from the adverse eﬀect of
the element error and the reverberation in the real environment. Secondly, based on the above-mentioned fact,
we proposed a new SSA structure which replaces NBFbased noise estimator in the conventional SSA with ICAbased noise estimator. Finally, it was conﬁrmed that theword accuracy of the proposed method overtook that of
the conventional SSA in the experiment.

[6] S. B. Davis, et al., “Comparison of parametricrepresentations for monosyllabic word recognitionin continuously spoken sentences,” IEEE Trans.
Acoustics, Speech, Signal Proc., vol.ASSP-28, no.4,
pp.357–366, 1982.
[7] P. Smaragdis, “Blind separation of convoluted mixtures in the frequency domain,” Neurocomputing,vol.22, pp.21–34, 1998.
[8] S. Ikeda and N. Murata, “A method of ICA in thefrequency domain,” Proc. International Workshop
on ICA and BSS, pp.365–371, 1999.
[9] A. Lee, et al., “Julius – an open source real-timelarge vocabulary recognition engine,” Proc. EUROSPEECH, pp.1691–1694, 2001.

Acknowledgement
The work was partly supported by MEXT e-Society leading project.

22

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-4 (11/17)

コミュニケーションロボットにおける音声認識システムの実環境での評価
Evaluation in real environments of a speech recognition system for communication robots〇石井カルロス寿憲 (ＡＴＲ知能ロボティクス研究所)
松田茂樹 (ＮＩＣＴ／ＡＴＲ音声言語コミュニケーション研究所)
神田崇行 (ＡＴＲ知能ロボティクス研究所)
實廣貴敏 (ＡＴＲ知識科学研究所)
石黒浩 (ＡＴＲ知能ロボティクス研究所)
中村哲 (ＮＩＣＴ／ＡＴＲ音声言語コミュニケーション研究所)
萩田紀博 (ＡＴＲ知能ロボティクス研究所)* Carlos Toshinori ISHI (IRC Labs., ATR), Shigeki MATSUDA (NICT / SLC Labs., ATR), Takayuki
KANDA (IRC Labs., ATR), Takatoshi JITSUHIRO (KSL Labs., ATR), Hiroshi ISHIGURO (IRC Labs.,
ATR), Satoshi NAKAMURA (NICT / SLC Labs., ATR), Norihiro HAGITA (IRC Labs., ATR)
carlos@atr.jp, shigeki.matsuda@atr.jp, kanda@atr.jp, takatoshi.jitsuhiro@atr.jp, ishiguro@ams.eng.osaka-u.ac.jp,
satoshi.nakamura@atr.jp, hagita@atr.jp

コミュニケーションロボットにおける重要な要素となる音声認識システムを実環境で評価した。音声認識システムは、フロント・エンドと認識エンジンに大きく分けられる。フロント・エン
ドでは、12 チャンネルのマイクロホンアレイを用い、RGSC処理により周辺の雑音を抑え、MMSE基準による特徴空間の雑音除去処理により音声区間が強調される。音声区間切り出しには、GMMによる自動切り出しを用いている。認識エンジンでは、
大人と子供の音響モデルを作成し、パラレルデコー
ディングを行う。最終仮説は事後確率により選択する。認識結果は、GWPPにより信頼性の高いものに絞られる。評価実験では、短い文を発声した大人と子供の発話音声と、食堂の雑音を用い、各モジュー
ルの性能を確かめた。70 dBAの雑音レベルにおいて、8割以上の単語正解率が得られた。

Abstract -1

Introduction

Our research aims to develop “communication robots”
that can naturally interact with humans and support
everyday activities. Since the target audience of acommunication robot is the general public who does nothave specialized computing and engineering knowledge,
a conversational interface using both verbal andnon-verbal expressions is becoming more important.
Previous studies in robotics have emphasized the meritof robot embodiments, showing the effectiveness of
non-verbal information like facial expression [1],eye-gazing [2], and gestures [3].
Recently, several practical robots have been developed,
such as therapy tools [4], museum orientation tool [5],and entertainments [6]. Moreover, robots are enlarging
their working field in our daily lives. In one of ourprevious work, we tested a child-size interactive

23

humanoid robot at an elementary school for several
weeks [7]. The robot interacted with children by using
speech and gestures in a free play situation. A similar
project was run in a science museum where a humanoid
robot interacted with visitors in a free-play situation andalso conducted a museum tour, which contributed tovisitors to grow interests in science and technologies [8].
One criticism to these two field trials was that theserobots lacked speech recognition capability. The robots
interacted with humans by speaking and making gestures,
which are important elements for creating a sense ofreality in humanoid robots.
Language-based
communication is indispensable, in order to fully utilize
their human-like presence.
However, one of the
difficulties concerned speech recognition in noisy
environments.
Current technology has a good
performance in recognizing formal utterances innoiseless environments, but the performance drasticallydegrades in noisy environments.
Several researchers are recently endeavoring to solve
such problem so called “robot audition” [9]-[13]. Mostof these works makes use of microphone array
technology, for realizing sound source localization andseparation, prior to speech recognition. However, theevaluation is usually done by controlling the direction of
the noise or the interference.
Further, although most works evaluating speech
recognition by robots have focused only on adult speech,
these field trials (in both elementary school and science
museum), indicated that children are important robot
users, as well as adults. Thus, such communication
robots should be able to deal with speech recognition ofboth adults’ and children’s speech. However, theperformance of speech recognition also degrades due todifferences on speaker age.
In this paper, we describe our ASR (automatic speech
recognition) system, which accounts for these two

problems (caused by noisy environments and differenceson speaker age), and evaluate it in a real noisy
environment. Although we are conscious that a fullcommunication could be reached by considering both
linguistic and paralinguistic information included in the
speech signal [14], in this paper, we focus only on theevaluation of the linguistic information processing.
The rest of the paper is organized as follows. In
Section 2, we introduce our ASR system, and describe
the techniques used in each module. In Section 3, we
present the recognition performance results for several
system structures, and for several noise conditions. We
offer our conclusions in Section 4.

2

with confidence score higher than a threshold can thenbe transferred to a subsequent dialog processing module.
The following sub-sections describe each module of our
ASR system.

System Description

Accounting for the two problems (caused by noisy
environments and differences on speaker age) describedin Section I, we developed an ASR system to be robust
to both background noise and speakers of different ages.
Fig. 1 shows the overall structure of our ASR system.
It consists of two major blocks.
The first block is a front-end processing. It contains
a twelve-element microphone array, as depicted in Fig. 2.
The real-time multichannel system for suppressing
interference and noise and for attenuating reverberationconsists of an outlier-robust generalized sidelobe
canceller (RGSC) and a feature-space noise suppression(MMSE). The MMSE noise suppression is applied
after RGSC to reduce the residual noise at the RGSC
output. After that, the speech activity period detectedby the GMM-based end-point detection (GMM-EPD) istransferred to the second block.
Front−end block

Speech recognition block

Twelve−element
microphone array

To the dialog processing
module in the robot

Fig. 2. Twelve-element microphone array in the
Robovie’s chest. Robovie wears the microphone arrayon its chest.

2.1 Twelve-element microphone array
In our system, we use a twelve-element microphonearray for capturing speech. Omni-directional condenser
microphones of type DPA 4060 are used for high-quality
sound capture of distant-talking speech.
The
microphones are arranged in a T-shape with eightmicrophones on the horizontal axis and four
microphones along vertical axis, with a spacing of 2-cm,
as shown in Fig. 2.
We decided to arrange the microphone array in the
robot chest, instead of the ear position or the head of therobot, for two reasons. One is the geometric limitationsof the robot head, which would constraint the effective
frequency range of the array processing. The otherreason is that our robot makes rapid head movements,
which would make difficult to set a target direction for
the array processing.
Although the use of more microphones would provide
a larger signal-to-noise ratio, we decided to limit to
twelve, by considering hardware and real-timeprocessing limitations.

GWPP

AdultsMale

GMM−EPD
AdultsFemaleDecoder

MMSE

Decoder

Hypothesis
Selection

RGSC

ChildrenMale

2.2 Outlier-robust
generalized
canceller (RGSC)

Children
FemaleMany sound source separation algorithms have been
proposed in order to reduce background noise comingfrom different directions.
Here, we use an
outlier-robust generalized sidelobe canceller (RGSC),
proposed in [15]. The RGSC is applied to the audio
signals captured using the twelve-element microphonearray. The RGSC system is composed by a fixed
beamformer, an adaptive blocking matrix, and an
adaptive interference canceller.
The fixed beamformer steers the sensor array to thedirection of the desired source and enhances the desired
signal relative to the surrounding interference and noise.
A simple uniformly weighted delay & sum beamformer
is used. The fixed beamformer forms the reference pathof the GSC. The blocking matrix is an adaptive spatial

MFCC

Fig. 1. The structure of the ASR system robust to noiseand speakers of different age.
In the second block, there are two decoders dependingon the age of the speaker (adult or child); each decoder
works using gender-dependent acoustic models. The
noise-suppressed speech at the first block is recognizedusing these two decoders, and one hypothesis is selectedbased on posterior probability. Finally, the hypothesis ismeasured using a generalized word posterior probability(GWPP)-based confidence measure. The hypothesis

24sidelobefilter which suppresses the desired signal and which
passes interference and noise, such that the output of theblocking matrix is a reference for interference and noise.
The adaptive interference canceller is realized by amultichannel adaptive filter between the output of theblocking matrix and the output of the fixed beamformer.
The estimative of interference and noise is subtracted
from the reference path at the output of the fixed
beamformer so that the suppression of interference andnoise is maximized.
The blocking matrix should be adapted when thesignal-to-noise ratio (SNR) is high, while theinterference canceller should be adapted when the SNR
is low to prevent instability of the adaptive filters. A
DFT bin-wise classifier for ‘desired signal only’,‘interference only’ and ‘double-talk’ between the desired
signal and interference or noise is then used for
optimally tracking the desired signal and the interference.
An “outlier-robust” adaptive filtering in the DFT domain
for bin-wise adaptation control derived from [16] is thenused to maximize the robustness against errors in the
DFT bin-wise classifier.

input noisy speech. If the likelihood of the noisy
speech GMM is higher than the noise GMM, the current
frame is labeled as speech.

2.5 Hypothesis selection
For the speech recognition decoder engine, we use ahypothesis selection technique based on posterior
probability [17] for improving robustness to speakers ofdifferent ages. One advantage of such approach is thatit does not need to previously recognize the speaker age.
Instead, the hypothesis with the highest score is selectedfrom multiple hypotheses as follows:Kkˆ = arg max H k(1)

H = log P(X|W) + λ log P(W)

(2)

k =1

where Hk is the score of the hypothesis obtained fromthe k-th decoder and K denotes the number of decoders.
The hypothesis obtained from the k̂ -th decoder has thehighest score, which is defined as the sum of the log
acoustic model likelihood log P(X|W) and the log
language model probability log P(W) of a hypothesis.
X, W, and H are the observed feature vector sequence,
the hypothesis represented by a word sequence, and thescore for the hypothesis, respectively. λ denotes alanguage model weight used for the hypothesis selection.

2.3 Feature-space noise suppression using
clean speech GMMs
The feature-space single-channel noise suppression isapplied after the RGSC to reduce the residual noise at
the RGSC output.
A GMM (Gaussian Mixture Model)-based MMSE
(Minimum Mean Square Error) estimator is used toestimate a Wiener filter for suppressing backgroundnoise.
The feature space is constituted by log
Mel-spectral energy coefficients. For each frame i, one
Wiener filter is obtained as a linear interpolation ofmultiple sub-Wiener filters, which are calculated using
individual mixture component k of a clean speech GMM(μs,k, Σ s,k), and the observed noise n(i). The weights ofthe multiple sub-Wiener filters are optimized, based on
the MMSE criteria, by maximizing the likelihood
between te clean speech GMM and the input speechnoise-suppressed by the Wiener filter. The filteredsignal g(s(i),n(i)) obtained in the log Mel-frequency
domain is transformed back to the time domain for
obtaining the impulse response g(t). The clean speechis then estimated by convoluting the input noisy speechy(t) with the impulse response g(t). More details about
the evaluation of the present noise suppression module
can be found in [15].

2.6 GWPP-based
rejection

word

confidence

andSo far, several techniques were described for
improving the robustness of the ASR system to noise andto speakers of different ages.
Nevertheless, theperformance of an ASR system may degrade due to amismatch between the training and testing channels,
interference from environmental noise, etc. If therecognition results contain some fatal errors, this will
adversely affect or prevent natural interaction between
the robot and a human. Further, the system has to beable to reject utterances which are not included in thelanguage model, in order to reduce insertion errors. To
measure the reliability of the recognition results of the
ASR system, we use a generalized word posterior
probability (GWPP)-based confidence scoring [18].
In this method, the joint confidence of all component
words in a recognition result is used to measure theconfidence of a recognized utterance. The GWPP of aword is a measure of its correctness, or the probability ofa binomial distributed “word correct” event. Thus, theprobability of a “sentence correct” event is a product ofall probabilities of component word correct events,
assuming that all word events are statisticallyindependent.
A hypothesis with a probability of“sentence correct” event that is higher than a threshold istransferred as the final recognition result to the dialog
processing module in the robot.

2.4 GMM-Based End-Point Detection
An End-Point Detection (EPD) module is necessary
for communication robots to properly interact with theuser. In our ASR system, a GMM-based end-point
detection (GMM-EPD) is used for detecting speech
activity periods. This type of EPD architecture is
widely used as a noise-robust EPD. First, we estimate
the GMMs of noisy speech and noise in advance using asufficient amount of training data.
During the detection of speech activity periods, we
calculate the likelihood between each GMM and the25

3

3.2 Experimental conditions

Experiments

To evaluate our ASR system’s robustness to noise andto speakers of different ages, we tested it using a childand adult multichannel speech database that wasrecorded using the Robovie with the microphone array
and a SANKEN CS-1, which is a directional microphone.
This database consists of 1,464 short Japanese sentences
uttered by 12 children and 12 adults. Each speakeruttered 61 sentences, such as “Hello Robovie”, “Comehere” and “What can you do?”, in front of the Robovie.
The children’s ages ranged from 6 to 12. The distance
between the speaker and the Robovie was 1 m.
We also recorded cafeteria noise using the same
microphone array; this noise data was recorded at lunch
time, therefore, it contains many types of noises such as
talking voice, and clattery from dishes. The noise level
was about 70 dBA. The cafeteria noise was recorded
using the same volume level (amp gain) as whenrecording the speech database.
The speech data was contaminated by cafeteria noise
at 65 dBA, 70 dBA, and 75 dBA.

3.1 Preparation of the modules
The acoustic models for adults were trained by using
five hours dialogue speech from the ATR travel
arrangement task database and 25 hours read speech ofphonetically balanced sentences [19]. The training data
was contaminated with eight types of noises listed inTable I at three types of SNR (20, 15, and 10dB), and the
MMSE noise suppression was applied to the wholetraining data. A state-tying structure with 2,089 states
was generated by using the MDL-SSS (Maximum
Description Length Successive State Splitting) algorithm[20]. Each HMM state has five Gaussian distributions.
The feature vector consists of 12 MFCCs, Delta-pow,
12 Delta-MFCCs calculated with a 10-ms frame period
and a 20-ms frame length. Cepstrum Mean Subtraction(CMS) was applied to the MFCC features, to reduce theeffects of channel distortion.
The acoustic models for children were constructed byadaptation with an MLLR (Maximum Likelihood Linear
Regression) algorithm using 12,000 words uttered by
238 child speakers in the CIAIR-VCV (Database ofchildren’s speech while playing video games) [21],which is provided from Nagoya university. The childtraining data was also contaminated with the same eighttypes of noises at 20, 15 and 10dB SNR.
For the MMSE noise suppression, we prepared a clean
speech GMM with 512 Gaussian distributions using 24
log Mel-spectral energy coefficients. This clean speech
GMM was trained with clean training data for adultspeech only.
For the EPD module, 128-mixture GMMs wereprepared using noisy speech and noise data. The
feature vector is constituted by 12 MFCCs, Delta-pow
and 12 Delta-MFCCs.
The language model is based on FSA (Finite State
Automaton). The language model was constructed inorder to recognize short Japanese sentences. This
language model consists of 46 nodes and 205 links, andthe lexicon size is 115.
The ATRASR speech recognition system developed
by ATR Spoken Language Communication Laboratories
was used in all experiments.

3.3 Experimental results
To investigate the performance of the individual
techniques described in Section II, we evaluated several
ASR systems with different structures, listed in Table II.
3.2.1 Evaluation of robustness to noise

Fig. 6 shows the word accuracies of several ASR
systems for adults’ speech that was contaminated bycafeteria noise at 65 to 75 dBA. The performance ofsystem D, which uses the twelve-element microphonearray, the RGSC, and the MMSE noise suppression, wasbetter than that of system A, B and C. And, system E,
which
has
acoustic
modelstrainedwithnoise-contaminated adults’ speech, achieved the best
performance. System E reduced the errors by 85.5 %,84.3 %, 80.5 %, and 48.3 %, in comparison to system A,
B, C and D respectively. Clearly, performance iswidely improved by applying all individual techniques
described in Section II.
3.2.2 Evaluation of robustness to speakers ofdifferent ages
TABLE I
StreetAirport lobby
Boiler room

Regarding the evaluation of robustness to speakers ofdifferent ages, we evaluated the use of hypothesis
selection using AMs of both adults’ and children’s
speech (System G). It contained two decoders withacoustic models depending on the age of the speaker

NOISE TYPES USED FOR TRAINING
High-speed railway
Rice paddies
Underground mall
ForestDriving car

SystemMicrophone type
Outlier-robust GSC
MMSE noise suppression
Training dataAMs dependent on
Segmentation
GWPP-based rejectionA
1ch DPA
no
no
clean
adult
hand
no

TABLE IIEVALUATED STRUCTURES OF ASR SYSTEMS
B
C
D
E
CS-1
array
array
array
no
yes
yes
yes
no
no
yes
yes
clean
clean
clean
noisy
adult
adult
adult
adult
hand
hand
hand
hand
no
no
no
no

26

F
array
yes
yes
noisy
child
hand
no

G
array
yes
yes
noisy
both
hand
no

H
array
yes
yes
noisy
both
auto
no

I
array
yes
yes
noisy
both
auto
yes

GWPP-based confidence scoring module was
implemented (System I). Table III shows the word
accuracies obtained with the rejection module(EPD+GWPP). From these results, it is clear that word
accuracies above 90 % were achieved at 70 dBA
cafeteria noise. However a high rejection rate is also
observed for high noise levels, indicating a tradeoff
between word confidence and word rejection.

(adult or child). For comparison, we evaluated therecognition performance of a system which contains
acoustic models for adults’ speech only (System E) andfor children’s speech only (System F).
Fig. 7 shows the word accuracies for adults’ andchildren’s speech. We can see that a model dependingon the age of speaker which is matched to that of input
speech achieved the best performance. The systemusing hypothesis selection (System G) performed almost
equally to the systems in matched case. A slightdegradation for adults’ speech occurred when using
adults AM only, as shown in the left part of Fig. 7.
However, the right part of Fig. 7 shows that the
improvement for children speech is much more relevant.
System A (1ch DPA)
System C (RGSC)
System E (System D+noisy AMs)

3.4 Evaluation of the overall ASR system in areal noisy environment
So far, the evaluation of the recognition system wasrealized by mixing clean speech and cafeteria noise,
which were recorded separately. The purpose was toallow the control of different noise levels for evaluating
the robustness of the system. In this section, we
provide a more realistic evaluation, by recording speech
in a real noisy environment.
Eight adult speakers (four males and four females)uttered the same 61 short Japanese sentences of theprevious experiments, resulting in a database of 488
utterances.
The robot was placed in the cafeteria, in the same
conditions (location and lunch time) used to record noisedata in the previous experiment. Also, the distance
between the speaker and the Robovie was about 1 m.
Recognition results indicated an average of 73 % word
accuracy for all subjects.
Word accuracies were
between 70 to 84 % for seven subjects and 53 % for oneof the subjects. Further analysis indicated that the SNR
was about 10 dB for the seven subjects with higherscores and about 5 dB for the subject with the lowest
score.
The overall rejection rate (of correctly
recognized words) was 8 %, while the overall rejection
rate of insertions and incorrectly recognized words was
13 %.
A detailed analysis on the recognition errors revealed
that some of the sentences, e.g. “utatteyo” (“sing!”) and“tookudayo” (“it is far!”), showed low accuracies (lessthan 25 %). However it was observed that these errors
were caused most due to rejection, rather than deletion or
substitution. Also, monosyllabic sentences, like “hai”(“yes”), were found to be easier to be deleted, ormisrecognized. In general, sentences composed bylong lexicons were more reliably recognized.

System B (CS-1)
System D (RGSC+MMSE)

Word accuracy (%)

100
80
60
40
20
0
65dBA

70dBA

75dBA

Average

Test set noise level

Fig. 6. Performance of system A to E for noise-contaminated adults’speech.
System E (Adult AMs)
System G (Hypothesis selection)

System F (Child AMs)
System H (EPD)

Word accuracy (%)

100
90
80
70
60
50
65dBA 70dBA 75dBA Average
Adult speech

65dBA 70dBA 75dBA AverageChildren speech

Test set noise level

Fig. 7. Performance of system E to G for adults’ and children’s speech.

3.5 Real-time issues
3.2.3 Evaluation of the overall ASR system

Finally, although most of the evaluations in this paper
were realized in off-line, the system was verified to run
in real-time as well, by using a remote PC with a Core 2
Duo Intel Xeon CPU at 3GHz and 1GB RAM. The
audio data from the twelve-element microphone array
was sent from the Robovie to the remote PC by TCP/IP
network transmission.
The microphone array processing (RGSC module) is
implemented by using Intel IPP (Integrated Performace
Primitives). The use of Intel IPP allows real-timeprocessing for the twelve-channel microphone array.
The recognition engine (decoder) is the other critical partin terms of the processing time. However it is more

We tested the recognition performance of System H,
which includes the GMM-based EPD module. As
evident from Fig. 7 the GMM-based EPD module
introduced some errors because of misdetections ofspeech activity periods. Table III shows the word
accuracies calculated only for the speech detected by the
EPD module. Values in brackets are the word rejection
rates by the EPD module. As can be observed fromthese results, the word accuracies with the EPD module(System H) is almost the same as when manual
segmentation is used (System G).
To improve the reliability of our ASR system, a27

TABLE III
WORD ACCURACIES (%) OF SYSTEM H AND I. VALUES IN PARENTHESIS ARE WORD REJECTION RATES (%) BY THE EPD AND THE GWPP MODULES.
Adult speech
System H (EPD)
System I (EPD+GWPP)

65 dBA
95.84 (2.28)
96.33 (3.14)

70 dBA
94.87 (4.06)
96.58 (6.49)

Children speech
75 dBA
89.52 (14.19)
92.05 (19.12)

difficult to guarantee real-time processing of the decoder
module, since it depends on several factors, like thelexicon size, the language model complexity, the lengthof the detected speech segment, and the degree of noise(SNR). In our experiments, we observed that most ofutterances were recognized within one second after the
subject finishes uttering. However, sometimes therecognition results came after three to five seconds fromthe utterances. In these cases, a high noise level wasobserved, and the EPD module usually failed resulting inlong segments containing long noise portions besides thereal speech portion.
The recognition results andprocessing time are thought to be improved by the EPD
module.

465 dBA
90.42 (3.52)
91.42 (5.70)

70 dBA
86.96 (6.63)
91.04 (13.46)

75 dBA
80.78 (15.91)
88.57 (28.63)

References
1)

2)

3)

4)

5)
6)

Conclusions

7)

In this paper, we described a robust ASR system forcommunication robots, and evaluated its robustness toreal noisy environments and to speakers of different ages.
In our ASR system, a twelve-element microphone arrayarranged in the robot chest, an RGSC-based microphonearray processing, an MMSE-based feature-space noise
suppression, and multi-conditionally trained acoustic
models were used to improve robustness. Moreover, toimprove the robustness to speakers of different ages, weused two decoders for children’s and adults’ speech
respectively. Finally, the recognition results werescored using GWPP-based confidence measure, for
reducing insertion errors.
Experimental results inseveral noise level conditions indicated that our ASR
system could achieve word accuracies of more than 80 %with 70 dBA of background cafeteria noise, for both
adult and children speech. Further evaluation in a real
noisy environment resulted in 73 % word accuracy for
adult speech.
These recognition rates can still be increased by
improving EPD (end-point detection) module. This
topic is left for a future work.
Also as next steps of our work, a dialogue module will
be developed for evaluating human-robot interaction in areal environment.
We also intend to include aparalinguistic information extraction module [14], foralso allowing a non-verbal communication between the
robot and a human.

8)

9)

10)

11)

12)

13)
14)

15)

16)

17)

18)

19)

Acknowledgements
This work was partly supported by the Ministry of Internal
Affairs and Communications.

20)

21)

28

C. Breazeal and B. Scassellati, A context-dependent attention
system for a social robot, Int. Joint Conf. on Artificial Intelligence(IJCAI’99), 1146-1151, 1999.
K. Nakadai, K. Hidai, H. Mizoguchi, H. G. Okuno, and H.
Kitano: ‘Real-Time Auditory and Visual Multiple-Object
Tracking for Robots,’ Proc. IJCAI 2001, 1425-1432, 2001.
O. Sugiyama, T. Kanda, M. Imai, H. Ishiguro, and N. Hagita,“Three-layered Draw-Attention Model for Humanoid Robots
with Gestures and Verbal Cues,” IROS2005, 2140-2145, 2005.
T. Shibata, “An overview of human interactive robots forpsychological enrichment”, Proceedings of the IEEE, Vol.92,
No.11, 2004.
W. Burgard, et al., The interactive museum tour-guide robot,
National Conference on Artificial Intelligence, 11-18, 1998.
M. Fujita, AIBO; towards the era of digital creatures, Int. J. of
Robotics Research, Vol. 20, No. 10, 781-794, 2001.
T. Kanda, et al., Interactive Robots as Social Partners and Peer
Tutors for Children: A Field Trial, Human Computer Interaction,
Vol. 19, No. 1-2, 61-84, 2004.
M. Shiomi, T. Kanda, H. Ishiguro, and N. Hagita, Interactive
Humanoid Robots for a Science Museum, 1st Annual Conferenceon Human-Robot Interaction (HRI2006), 2006.
K. Nakadai, D. Matsuura, H. G. Okuno, and H. Kitano, Applying
Scattering Theory to Robot Audition System, IROS2003,
1147-1152, 2003.
Asoh, H., Hayamizu, S., Hara, I., Motomura, Y., Akaho, S., andMatsui, T. “Socially Embedded Learning of the
Office-Conversant Mobile Robot Jijo-2,” IJCAI’97, 1997.
T. Takatani, S. Ukai, T. Nishikawa, H. Saruwatari, and K.
Shikano, “Blind sound scene decomposition for robot audition
using SIMO-model-based ICA,” IROS2005, 215-220, 2005.
Y. Ohashi, et al., “Noise-robust hands-free speech recognition
based on spatial subtraction array and known noise
superimposition,” IROS2005, 533-537, 2005.
S. Yamamoto, et al, “Making a robot recognize threesimultaneous sentences in real-time,” IROS2005, 897-902, 2005.
C. T. Ishi, H. Ishiguro, N. Hagita: “Evaluation of prosodic andvoice quality features on automatic extraction of paralinguistic
information,” IROS2006, 2006.
W. Herbordt, T. Horiuchi, M. Fujimoto, T. Jitsuhiro, and S.
Nakamura, “Hands-free speech recognition and communication
on PDAs using microphone array technology,” Proc. ASRU2005,
302-307, 2005.
W. Herbordt, et al., “Application of a double-talk resilient
DFT-domain adaptive filter for bin-wise stepsize controls toadaptive beamforming,” Proc.IEEE-EURASIP Workshop on
Nonlinear Signal and Image Processing, 175.181, 2005.
S. Matsuda, T. Jitsuhiro, K. Markov, and S. Nakamura, “ATR
Parallel Decoding Based Speech Recognition System Robust to
Noise and Speaking Styles,” IEICE Trans. Inf. & Syst., vol.
E89-D, No. 3, 989--997, 2006.
F.K. Soong, W.K. Lo, and S. Nakamura, “Generalized Word
Posterior Probability (GWPP) for Measuring Reliability ofRecognized Words,” Proc. SWIM2004, 2004.
T. Takezawa, T. Morimoto, and Y. Sagisaka, “Speech andlanguage databases for speech translation research in ATR,” In
Proc. the 1st International Workshop on East-Asian Language
Resources and Evaluation (EALREW 98), 148--155, 1998.
T. Jitsuhiro, T. Matsui, and S. Nakamura, “Automatic Generationof Non-uniform HMM Topologies Based on the MDL Criterion,”
IEICE Trans. Inf. & Syst., vol. E87-D, no. 8, 2121--2129, 2004.
Center for Integrated Acoustic Information Research, http://db.ciair.coe.nagoya-u.ac.jp/eng/dbciair/dbciair2/kodomo.htm

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-5 (11/17);`ìÛ?atXÚ¬É¿Ä®L~ÜY 1)2) , >$°à 1) and >¹ 1)2)
Katsushi MIURA1)2) , Yuichiro Yoshikawa1) and Minoru ASADA1)2)
1)

J¶U[üµ;Ï ERATO >Ñó³µÂÜÓé´£«Ä2)
GUG¶G¶Ãy»¶ZJ
1)

2)

Asada Synergistic Intelligence Project, ERATO, JST

Graduate School of Eng., Osaka Univ., 2-1 Yamada-oka, Suita, Osaka 565-0871 Japan{miura,yoshikawa,asada}@jeap.org
\qUpVU|fwCaÝ§Ç¶ÜxÌTpsM}
Hlo|\wÕÇwCaÝ§Ç¶ÜÞÃç= [2] b\

Abstract
Human-robot communication is expected to be realized by the usual means for human-human communication. However, it is difficult for the robot toqx|<;C`pVéØ¿ÄwîqiZpsX|wÕÇwt«t¸ÝCaawgrtÈ`h×tµ¯M]JqMQ}directly copy the human’s means due to the difference of bodies. As argued in the issue of imitation
with dissimilar bodies, what kinds of representation could correspond between human and robots is
one of fundamental issues. The previous work [1]ï»å«³ãïèah<;w«wHRZq`o|ó:wCé¤´£ïÄU®w×~Êë=tlo
èw<;«bÞÃçU^oM [3, 4]}`T`|\wZpx¤´£ïÄUa.Ï
Ëm\qU>^oS|ÕÇq< wOs.

has hypothesized that mutual imitation of voice between the robot and the caregiver leads robot vow-ÏUs¤´£ïÄUrwOt<;
bTtmMox{oMsM}

els to be more natural but the underlying mechanism has not been deeply argued. This paper focuses on two types of the magnet effects, the perceptual magnet effect and what we call the articulatory magnet effect as the underlying mechanismof mutual imitation. Toward the design principleof the robot behavior through mutual-imitation, we
examine these magnet effects in the experiment ofimitation of the vocalizing robot with human subjects.

.Ïws¤´£ïÄU<;bðJ{lhHRZt|< wÛ?UÕÇwC``[5]|ÕÇw<;7wC`U< wÛ?b [6] qMO

2 mw_t,nX<  ï»å«³ãïÞÃçUK[7]}\wZpx|CééØ¿ÄwC`­Ô U<;p¦¢Ü&`b\qp|éØ¿ÄU<;«DópK
\qÔ`h}^t|Miura et al. [1] xUC`És;Û?bqV|îMtÛ?p&bV;ÁÝwOjt×w<;wC`&bqw>,t|éØ¿ÄqUMwC`Û?`ùO\qpéØ¿ÄwC`Ìs<;tX\qUpV\qÔ`h}1 xat`T`|UseÁÝwOjt×w<;wC`ÎáÚÊ ÅéØ¿Äx;`srwOt|Uq¯

&bwTtmMoGüt^æ^oMsTlh}ÛáÇ­³ãïbMt;M7Ü;Mo|qx×w®b;îMw;×wt

w¯ÛáÇ­³ãïîqb\qU84^}`¥tSZÃ$s;ÉpK<;

T`|éØ¿Äqw.Ïáóxsh|o®b\qUoM}\wqÅx®wÚ¬w¯ÛáÇ­³ãïæéØ¿ÄUfw6q

É¿Ä®LqzyoM}æpx|ìÛ?tSM

b\qxÉpK}HloéØ¿Äwæx|fUoUÁÝ$t×w<;wC`&`o`OtrwOtr^Tß`oÏR^Vj¼q`o|\w®wÚ¬É¿Ä®LtCQ|fUÏpK}°M|wÕÇx°Cawh| wC`fl;wÚ¬É¿Ä®LqzqÅt«èb}\xw

Xfw¯Ðb\qxpVsMtTTc|C`UîMtZfOq`hC`×wÏ;;Ïw

qwMáótlo<;ï»å«³ãïèao;Æ7wC`«b29;tÅh;q`;tÙMC`tsqPerceptual
magnet effectVowel “A”

Phonetic
Boundary

Vowel “B”

Vowel - likeness®LtmMow>Ìb}f`o|Zp;bCééØ¿ÄtmMoºp`h|îgS|îgA(a) Perperception

Vowel “B”
Phonetic
Boundary

Articulatory vowel - likeness

5 <;wrt \QhTg UQ
bîgpK}Í pxìÛ?tSZÚ¬É¿ÄÄwC`Ô

Articulatory
magnet effectVowel “A”

wC`g UÛ?bîgpK|O°mxéØ¿Phonetic
Boundary

Perceptual vowel - likenessØ¿ÄwC` MhqVt|xrwOt®`|Û?bTUÂb 2 ¨wîgæO}°mxéØ¿Ä

Vowel “A”

\wÏ;wÚ¬É¿Ä®LÔbhwîgq`o|é

Vowel “B”

ÅpK}Vowel “A”

Phonetic
Boundary

Vowel “B”

Perceptual vowel - likeness(b) Articulation

LwrstmMo\}Figure 1: The shift of perceptual/articulatory vowel-likenessby the perceptual/articulatory magnet effect2 ìÛ?tSZÚ¬É¿Ä®Lw>
CéwìÛ?{lhæZ [1] px|UÛ?ÉséØ¿ÄwC`Û?`Oqbq|ÁÝwOjt

Ëm;`q`oZ^}îMtC`bV;×w<;tÅhC``o`Oqw>UqooM}f`o|­Ô qCééØ¿ÄqwìÛ?èaoCééØ¿Ät<;«^d\qt|>rS­Ô U<;wÛ?
b\qÔ`h}`T`|se­Ô U<;7w;`pÛ?`o`OwTtmMow^æxX^oMsM}
Zpx|\wÁÝ$s<;7wÛ?Ë`o®
wÚ¬É¿Ä®LqfwbÏ;wÚ¬É¿Ä®Lw:TßQ}®wÚ¬É¿Ä®Lqx|w®b;UîMw;×wt¥tSZÃ$s;ÉpK<; ;tÅh;q`o®^qÅpK [8] (Figure 1

Figure 2: The vocalizing robot(a) °)}x\w®wÚ¬É¿Ä®Ltlo|
w<;7wC`îM<;tÙM;q`o®bh|Û?;`îM<;tÙM;ts (Figure

1 (b) °)}°M|fUÏ;wÚ¬É¿Ä®Lqz
O{qmwÚ¬É¿Ä®Lqx|wC`b;UîM
t®`h;×wÏ;;ÏwMáówÆtloÁÝwOjt×w<;

;tÙM;tsqÅpK}Hlo|x wC`Û?bq
Vt®qÏ;w 2 mwÚ¬É¿Ä®LtloÁÝ$t×w<;

;tÅh;C`b\qtsh|ìÛ?tloéØ¿ÄwC`w<;tX\
qUDópKqßQ}

Figure 3: Vocalizing robot to model mother-infant interaction

3 +ééØ¿Ä
Zp;MCééØ¿Ä (Figure 2) xæZ[7] [9]t6M|¹µÑç»gæ[10] t,nMo-^oMéØ¿Äx`ÝqöÝfg 4 mwÞ»}\wCééØ¿Äx¤¯ïÓè¿±|»`3|`

;Mo!^d\qt|\R^;`wÐ*|öQoS|<  ï»å«³ãïwÞÃç=þ:MDópK}í>wvxÌçÒwp¯è$q`o^R^oM (Figure 3 °)}¯ïÓè¿ïÄéç^oS|Þ»qÌçÒw¯ïÄéåx±T^hí>x½áÒè`o»`3ü×µÄ¯ïÐá»Tw¦©tloM^oM}^d|;ots}\R^h;ox¤íw³æ¯ïa×µÄ¯ïÐá»xÚ «Tôø!Z|<;Ý
ÝwÃpXÑ¥çÚïÄ [11] ¨Zb}`ºèab\qp|`ÝtahÐ*þ:

30

3.1

Ï;ó
2200
2100

0.0(Á!) T 1.0(!7G) pw 5 t =`|öwÝw<; /a/|/u/|/e/ wC`ÌwöwÝtÅ2000

dh 3 ¨t`h}Hlo|éØ¿ÄUO`

2nd Formant [Hz]`Ýw!t;M 4 mwÞ»wZfg

4

1900
1800
1700

æq±öæwÝx¶æp 1875 è (3 × 5 ) pK}\1600\p /i/|/o/ w±öÝ`hwx|fg/e/|/u/

1500
500

600

w±öÝqwtÑ¥çÚïÄwüÍw)UsTlhh
pK}

900

1000

(a) Formant distribution for the lip
shape /a/Figure 4 x#àH 1 Ñ¥çÚïÄ|NàH 2 Ñ¥çÚïÄqbÑ¥çÚïÄíÍtéØ¿ÄU 1 µC``hÑ¥çÚïÄwÉÓé¿Ä`hALpK}ñÑ¥çÚïÄíÍwÕ«ÄçÑ¥çÚïÄ

800
700
1st Formant [Hz]

2200
2100

2nd Formant [Hz]2000Õ«Äçqz}h|qéØ¿ÄwÑ¥çÚïÄwü
Íz±bh|Ôw 7 UC``hÔ<; /a/, /i/, /u/, /e/, /o/ wÑ¥çÚïÄwÉ Figure4 t

1900
1800
1700
1600

Ôb}Figure 4 T|éØ¿ÄwÑ¥çÚïÄqwÑ¥

1500
500

600

çÚïÄwüÍxOsKloMsM\qUT}bsj|éØ¿ÄMwC`wÑ¥çÚïÄÕ«Ä

800
700
1st Formant [Hz]

900

1000

(b) Formant distribution for the lip
shape /u/ç6qb\qxpVsM\qÔ`oMqMQ}

2200

2500

robot
human

/i/

2100

/e/
2nd Formant [Hz]2000

2nd formant [Hz]

2000

1900
1800
1700

1500
1600

/u/

1500
500

/a/

600

1000
/o/
600
200

300

400

700
500
600
1st Formant [Hz]

800

900

800
700
1st Formant [Hz]

900

1000

(c) Formant distribution for the lip
shape /e/

1000

Figure 4: The distributions of the 1st and the 2nd formants ofutterances by a human and the robot.

Figure 5 x<; /a/, /u/, /e/ C`bqVwwöw
Ý (Figure 5 (d),(e),(f)) qfw<;t0béØ¿Äw

(d) /a/(e) /u/(f) /e/(g) /a/(h) /u/(i) /e/öwÝ (Figure 5 (g),(h),(i)) Ô`oK}Table 1 xf
wqVwöwÞ»ZpK}^t|fw0böwÝpéØ¿ÄUC``hqVwÑ¥çÚïÄwüÍ (Figure 5 (a),(b),(c)) UÔ^oMS|±öÝw§Mtlo|éØ¿ÄUC`bÑ¥çÚïÄwüÍ¬xs\qUT}\wüÍxw<;wÑ¥çÚïÄwì0$ (Figure4 °) tÅoS|éØ¿Ätw±öÝÛ?^d\qtlo|±öÝt0`h<;éØ¿ÄtC`^dbXsqß

Figure 5: Formant distribution of the utterances, the lip shapeof the human model and the mapped shape onto the robot lip

Q}

for three vowels, /a/, /u/, /e/31

Deformation

/a/

/u/

/e/

vertical direction

1.0

0.0

0.0

horizontal direction

1.0

0.0

1.0

2nd Formant

Table 1: Relation between robot’s lip shape and motor outputs

4 îg

rc
r 5/a /hchÚ¬É¿Ä®LUw®Û?trwOsè¹)îgpx|èÅ``hg téØ¿ÄwC`Û?^

Figure 6: The formant vectors of the most “vowel-like” soundd\qp|®qÏ;w 2 mÚ¬É¿Ä®Lwè¹tm

and the test sounds in the case of a vowel /a/. Note that thisfigure is schematic.

MoÐ}O{qmwîgpx|èÅ``hg
w 5 <;wOjwrt/a /1st Formant

QTUÂbht 2 ¨wîgælh}°mèw

téØ¿ÄwC`UÔr /a /\

QhTQ^d|fwqVwéØ¿ÄwC`w<;`^°A^d\qp|®wÚ¬É¿Ä®Lwè¹tmM

éØ¿Ätxîgw¤¼æ]qt 2 mw;¬R^d/v/

oÐ}îgwg txG¶ÃO¶¤w 10 wg

}hi`|°mèw;t r i¬||îgw¼æqxg ]qtÖ8Qh}\w

2 mwîgwALz±b\qp|ìÛ? ï»å«³ãïtSZÚ¬É¿Ä®Lwè¹tmMo^æb}
4.1

U¬yhÔù|È`/v  /oC`^Íw;x r i , (/v  / = /v/) qsOt¬R^d}Hlo|C`^È;wÊùdwÔ
ùw:x|<;w¬|M 3 P2 èt<;`^w¬|M
5 P1 èpù- 30 èqs}fgw;wÊù9

dxåï¼Üp 1 SiZg·p^æ`hÚ¬É¿Ä®LT|Û?

t

T^}

UÓC`

C`b;U>lh|éØ¿ÄxKTaj`b<;trwSÙM;`pÛ?bTxÔ^oSMhÑ¥çÚïÄqö`Ý>bÞ»;`w<;`^wSw³¬ÞZqwÚ¿Ðï¬b;`oC`b}Å:pÙÅDóp

K\qU'Ý^ (Figure 1 °)}f\p|<;`îgG^wSUs7séØ¿ÄwC`g tÛ?^4.2

d|\w

;`Û?îgob\qßQ}hi`|éØ¿ÄUC`Dós;w¤p|rwOsUa;iq®pVOtÛ?`oXi^M ¡qÌÑ¥çÚïÄÕ«ÄçËm;U7<;`MTxÆ`h|gÌpKh|7<;`M;t0 bÑ¥çÚïÄ/v/

ïÄwÉ hæp 30 ¼æ&`h}h|Û?îgw²tg<;wÑ¥çÚ

tÔqfwÔ w 5 <;wÑ¥çÚïÄíÄqgOt)Q (Figure 6 °)}\\p r c xéØ¿ÄUÏ;f`o|¤<;tmMoéØ¿ÄUC`b<;`^(i = 1, · · · , 5)éØ¿ÄUÏ;DósÑ¥çÚïÄwüÍwOú r c q/v/\\p α x r i¬É¿Ä®LÐh}g tèÅ``hÝ6péØ¿Äw 2 m

w<;wÈC`t

7<;`MC` r /v/ ;MoÍÜwOth}(i = 1, · · · , 5),

UÛ?C``hÑ¥çÚïÄÕ«Äçz±<;3îg/v/

!Qh 5 mwÑ¥çÚïÄÕ«Äç r ii= r c + α(r /v/ − r c ),5w 5 <;wÑ¥çÚïb\qp|Û?Ìw®wÚ¬É¿Ä®LqÏ;wÚDósÑ¥çÚïÄwüÍ (Figure 4 °) wOúpK}/v/

w 5 <;C`^d|Ñ¥çÚïÄÕ«Äç¨Z`h}\w¨Z`hÔÍpwOú hc ;Mo r /v/ = (h/v/ − hc ) + r c writéØ¿Äw 2 mw<;wÈC`

Td|fgw;Û?^dh}\ 1 ¼æq`¶Õ«Äç r /v/ <wOtâ^$t[b}bs
j|Ôw 7 UC``hÔ

g t éØ¿ÄwC`t0`oH 3

Td|Ôw 5 <;wOjwr\QhTq|fwqVw×wQ

t0b×ô

wSùM 5 p°A^dh}fwqVw°Ax ’1’(1)(&pt¬i), ’3’ (sqsXfO \Qh), ’5’ (¬ôËlofw<;iqMQ) pK|’2’|’4’ xfgUéØ¿ÄwÏ;Dós¬ºt)

w¤wpK}\ 1 ¼æq` 30 ¼æ&`h}Otbhwµ­æï¬:pK}\t|f`o|éØ¿ÄUC``h<;qgîgpx|¤<;tmV 5 è|ù- 15 èwéØ¿ÄqU°`hqVw°Atlo<;QÌw®w

wC`UÛ?w0Åq`ogÚ¬É¿Ä®LÐh}tÔ^}32

UtQh<;

4.3

ALîgp;`hCééØ¿ÄpxÏ;Dó¬U±
/i/

/e/
/u/
 r i |r i qpKlhTU|b}`h<;`^U&~pKsy|éØ¿Äw<;`^UÿbtÈ|g w

2nd Formants [Hz]aqslh}\wOtÑ¥ç

QpVsMqßQh|éØ¿ÄwC` /u/|/e/t0 bg wC`xfg /u/|/o/ q /i/| /e/ pKqb}

C

K

Ufg

ÚïÄÕ«ÄçU apKÔù|x<;w§MÛ?;`U<;tÙÇMoMTvyssM}
2400

/o/

Mh|µ­æï¬: α t r i |r icst|fU`héØ¿Äw<;`^U&~

WQ
KG

Figure 8 xéØ¿ÄwC`t0`og U /i/ hx/e/

XQYGN

w<;pÛ?`h¬pUéØ¿ÄwC`w<;`^tG

lorwOt!=bTÔ`oM}\w¬px

1800

Uòa;w)ÿ*þ|ô*þtvc°w´pK
1200

dOt*þ:!õ`hpK MEL ¢qW`|¤g wÉp¯^}Figure 8 x|Û?;`C

q<;qw)U MEL íÍp 100 º|200 º|300
600

Q

300

600
500
400
1st Formants [Hz]º|Mvs`w 4 m¢q`o;MhALpK}

700

more than 4more than 3
more than 2
more than 1
all

1.0

Figure 7: The average of formant vectors of subjects imitationand the average formant vectors.

Probability

0.8

/v/

Figure 7 xéØ¿ÄwC` r i (/v/ = {/a/, /u/, /e/}|i =1, · · · , 5) t0`og UÛ?`hqVwÑ¥çÚïÄp
K}hi`|´ x /v/ = /a/|· x /v/ = /u/|* x /v/ = /e/ 

0.6
0.4
0.2
0.0

Ô`oS|i = 5 wGVsÓé¿Äq`o i = 1, · · · , 51

p¢pApK}h|ÙÖ:qb¯x

10 w<;wÑ¥çÚïÄÕ«ÄçwÉpK}Figure 7 |éØ¿Äw<;`^ i wÿCtùdog wÛ?UéØ¿ÄwC`qa<;tÙÇMoM

3
4
2
Vowel-likeness5

gwx|éØ¿ÄU /e/ C``hqVwpK|éØ¿Figure 9: Probabilities in which the subjects confidentiallycategorized the heard sound of which lip shapes were corresponded to the robot’s one. Note that vowel-likeness corresponds to i in equation (1).

Äw<; /a/|/u/ t`h<;`^xÆ&~pKlh
qßQ}Hlo|éØ¿Äw<;`^w&~pK
qßQ /e/ wALwtmMoßob}°M|Figure 9 xéØ¿ÄwC`t0`og

U /i/hx/e/w<;pKqtQh¬pUéØ¿ÄwC`w
all
100
200
300

1.0

<;`^tlorwOt!=bTÔ`oM}\w¬pxg

Probability

0.8

w°A:¢q`|¤gwÉp¯^}Figure 9 x°AU 5 :Í|4 :Í|

0.6

3 :Í|2 :Í|1 :Íw 5 ¨wALpK
K<;`^ i pwéØ¿ÄwC` 4 st0`|gU<; /i/ hx /e/ qtQhqVws:g 10 

0.4
0.2

pÉ=`hwpK}h|¤¢x°At¢
U 5 :Í|4 :Í|3 :Í|2 :Í|1 :Íw 5

0.0
1

3
4
2
Vowel-likenessm¢q`o;MhALpK}5C`wAUsM<;wQpx®wÚ¬É¿Ä®
LwUXqßQ}°M|Û?bÔùtxé

Figure 8: Probabilities in which the subjects replied with theirvowels of which lip shapes were corresponded to the robot’sØ¿ÄwC` XqVt®wÚ¬É¿Ä®LU|^
tfw®`h;C`bMtÏ;wÚ¬É¿Ä®L

one. Note that vowel-lbikeness corresponds to i in equation(1).

UXqßQ}f\p|Figure 8|9 z±b\
qpÏ;wÚ¬É¿Ä®LUÛ?ÌtrwOsV

33

`oMTßob}Figure 8|9 xrj³¬ÞÅ

[5]

x|éØ¿ÄwC`U<;7tÙÇXq|Ú¬É¿Ä®

M. Peláez-Nogueras, J. L. Gewirtz, and M. M.
Markham. Infant vocalizations are confitioned both bymaternal imitation and motherese speech. Infant behav-Ltlox9t<;pKq®|Û?`bXs

ior and development, 19:670, 1996.

:tÅhÃ»w!=Ô`oM\qUT}\\qK`oM}[6] N. Masataka and K. Bloom. Accoustic properties that\\p|MmÚ¬É¿Ä®LUqhwTÐdetermine adult’s preference for 3-month-old infant vocalization. Infant Behavior and Development, 17:461–
464, 1994.

h|¤Ã»wNàw7Gwq7w¤qs
:èabqVw<;`^-b\qpÚ¬É¿Ä®Lwq» Ûï¬K`h}hi`|¤<;`^x¢p4`|g t)xw
twyVwè¹wYh|fgwîgw¤Ú

[7] Yuichiro Yoshikawa, Minoru Asada, Koh Hosoda, andJunpei Koga. A constructivist approach to infants’

EtSZÉp-`h}AL|<;`^UÛ?Ì

vowel acquisition through mother-infant interaction.

x¤ÚEpwÉp 2.65|QwqVx¤ÚEpwConnection Science, 15(4):245–258, Dec 2003.

Ép 3.04 wqVt¤:èa`h}\xÛ?Ìw

[8]OUÚ¬É¿Ä®LUãXKqßQ\

Perception, cognition, and the ontogenetic and phylogenetic emergence of human speech., pages 73–106. MITqÔ`oM}m|xéØ¿ÄwC`Û?b
qVt|®wÚ¬É¿Ä®LiZpsXÏ;wÚ¬É¿

Press, 1991.

Ä®LUC\qp|<;tÙM;C`bqßQ}[9]5 Aææpx|²Zp>`hìÛ?U<;t)b3863, 2002.

;wÚ¬É¿Ä®Lw 2 mwÚ¬É¿Ä®LtmMo^[10] Philip Rubin and Eric Vatikiotis-Bateson.

AnimalAcoustic Communication, chapter 8 Measuring andæ`h}g UéØ¿ÄwC`Û?|hxrw<;
pKTQbîg|®wÚ¬É¿Ä®LiZp

modeling speech production. Springer-Verlag, 1998.

xsXÏ;wÚ¬É¿Ä®Ltlog U<;7wC[11] R. K. Potter and J. C. Steinberg. Toward the specification of speech. Journal of the Acoustical Society ofAmerica, 22:807–820, 1950.

`pÛ?b\qÔ`h}ßY
Katsushi Miura, Minoru Asada, Koh Hosoda, andYuichiro Yoshikawa. Vowel acquisition based on visualand auditory mutual imitation in mother-infant interaction. In The 5th International Conference on Development and Learning (ICDL’06), 2006.
[2]

Minoru Asada, Karl F. MacDorman, Hiroshi Ishiguro, and Yasuo Kuniyoshi. Cognitive developmental
robotics as a new paradigm for the design of humanoid
robots. Robotics and Autonomous System, 37:185–193,
2001.

[3]

B. de Boer. Self-organization in vowel systems. Journalof Phonetics, 28:441–465, 2000.

[4]

P.-Y. Oudeyer. Phonemic coding might result fromsensory-motor coupling dynamics. In Proceedings of

T. Higashimoto and H. Sawada. Speech production bya mechanical model construction of a vocal tract and its
control by neural network. In Proc. of the 2002 IEEE
Intl. Conf. on Robotics & Automation, pages 3858–

Ý§Ç¶Üwj¼qs®wÚ¬É¿Ä®Lq|Ï[1]

Patricia K. Kuhl. Plasticity of development, chapter 5

the 7th international conference on simulation of adaptive behavior (SAB02), pages 406–416, 2002.

34

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-6 (11/17)

音声の構造的表象を通して考察する幼児の音声模倣と言語獲得
Consideration on infants’ speech mimicking and their language acquisition
based on the structural representation of speech

峯松信明 † ，西村多寿子 ‡ ，櫻庭京子 ∗Nobuaki Minematsu† , Tazuko Nishimura‡ , Kyoko Sakuraba∗† 東京大学大学院新領域創成科学研究科 / Graduate School of Frontier Sciences, The University of Tokyo‡ 東京大学大学院医学系研究科 / Graduate School of Medicine, The University of Tokyo∗ 清瀬市障害者福祉センター / Kiyose-shi Welfare Center for the Handicappedmine@gavo.t.u-tokyo.ac.jp, nt-tazuko@ams.odn.ne.jp, sakuraba@mtd.biglobe.ne.jp

Abstractを示す両者の，本質的差異はどこにあるのだろうか？
話者 A の音声を書き起こす。話者 B の音声を書き起こ

In speech communication, acoustic distortions
are inevitably involved by speakers, channels,
and hearers. However, infants acquire a spoken
language mainly with speech samples of theirmothers and fathers. They can solve the variability problem only with a remarkably biased
speech corpus. Why and how is it possible? Toanswer this hard question, we already proposeda speaker-invariant structural representation of
speech. In this report, the proposed representation is mathematically shown to be invariant
also with non-linear transformations. Based on
this representation, the speech recognition processes of dyslexics and autistics, often viewed asparadox, could be taken for granted. Finally,
we discuss that speech communication should
be based on relative sense of sounds.

1

す。この時，話者 A によって発せられたある音響事象を「あ」という記号で表記し，話者 B によって発せられたある音響事象も同様に「あ」という記号で表記する。当然，両音響事象間に物理的等価性は保証されない。物理的に異なる音響事象群を，同一の表記を用いて書き起こす訳である。なぜ話者毎に「あ」という記号の変種を用意する
ことなく，「あ」と表記できるのだろうか？
提示された曲を，階名を用いて「ドレミ」として書き起こす。曲が階名として聞こえてくる聴取者は，その曲を移調しても，書き起こされる「ドレミ」列は変わらない。相対音感者である1 。移調によっていくら「ド」の音高が変わろうとも，彼らは「ド」として表記する。第一著者は絶対音感を持っており，この階名での書き起こしが全くもって理解できない一人である。異なる音高に同一の音ラベ
ルを振ることなど，全く理解不能である。

はじめに異なる話者間で「あ」の同一性が感覚できない人がい

音声コミュニケーションには，話者・環境・聴取者に起因るのだろうか？音の絶対特性に執着し，両者の同一性がする，多様な音響歪みが不可避的に混入する。その一方

感覚できない人がいるのだろうか？感覚できない「機械」

で幼児は，大部分が「母親と父親の音声」という音声資料

が，限られた話者の音声から構築された（特定話者）音声の提示を通して音声言語を獲得する。これは，音響的に認識器である。そして，感覚できない「人」として，一部非常に偏った話者性の音声資料の提示を通して，多様なの自閉症者がいる[1] 。優れた絶対音感を持つ率が，健常者

音響歪みに関する対処法を獲得することを意味する。偏っ

と比較して遥かに高い自閉症者の中には，「ハ」の音（固た音声資料の提示は，その後一生続く。何故ならば，人の定ドとしてのドレミの場合は「ド」の音）で始まらない

聞く声の半分は自分の声だからである。人は偏った音声「カエルの歌」を，それと認めない者もいる[2] 。

提示しか受けられないのである。何故，このように音響的

相対音感者による階名による書き起こしは，音階の構造に偏った音声提示環境の下で，人（幼児を含む）は多様な（全全半全全全半という音高遷移の枠組み）をメロディー

音響歪みに対処できるのだろうか？音響音声学／音声工の中に感覚し，例えば長調の場合，主音をドとして認識

学では，この多様性問題を直接的に解くことはせず，個々し，同様にして，上主音，中音，下属音を，レミファ，との音素の音響モデルを，数千・数万という話者の音声を集して認識する。即ち，音列の流れを通して，全̇体̇的̇な̇メ̇

め，分布としてモデル化することでその解決を図ってきロ̇デ̇ィ̇ー̇構̇造̇（音楽学では，これを「横の構造」と言う）た。それでも多様性問題は解けず，音響モデル適応／特徴

1 なお，階名の書き起こしが出来ない（ハミングしかできない）相対
音感者もいる。この場合，彼らは「言語化が困難な」相対音感者である。

量正規化などの技術を編み出して来た。全く異なる戦略

35

の認知が先に起こり，それに基づいて個々の要素音の（他y音群との関係によって定まる）機能的・相対的価値を認識

v

A

B

する訳である。その結果，要素音の絶対的物理特性とは全く独立に，個々の要素音が同定されることになる。物
理的には全く異なる二音が同一の機能的価値を有した時，両者が同一音として「聞こえる」ことになる[3, 4] 。

x

幼児は，極端に限られた音声の多様性に接することで，広範囲に渡る音声の多様性に対処できるようになる。発達uFigure 1: 一対一対応関係を有する二つの空間 A と B
空間 A における事象を考える。但し，全ての事象は空心理学によれば，「幼児の音声言語獲得は，分節音の獲得の前に語̇全̇体̇の̇音̇形̇・語̇ゲ̇シ̇ュ̇タ̇ル̇ト̇の獲得から始まる」とされている[5, 6] 。個々の音韻意識が定着するのは小学校入学以降であり，それまでは「しりとり」に難を示す児童もいる[7] 。即ち幼児の音声コミュニケーション（例えば音間内の点ではなく，確率密度分布関数として存在するものとする。即ち事象 p は次式を満たす。
1.0 =  p(x, y)dxdy(2)

声生成）は，個々の音韻（モーラ）を一つ一つ音に変換す

空間 A における積分演算は，変数変換によって空間 B

る形では（少なくとも意識の上では）行なうことは困難でにおける演算へと変換可能である。
f (x, y)dxdy =f (x(u, v), y(u, v))|J(u, v)|dudv(3)=g(u, v)|J(u, v)|dudv(4)ある。日本語には母音が 5 つあり，それが/あ/い/う/え/お/であることを知る以前に，幼児は両親と音声コミュニケーションを行ない，自己主張までする。
全体的なメロディー構造を通して，移調された曲同士の同一性を感覚し，更には，個々の要素音の（階名としての）同一性を感覚する。その結果，物理的に全く異なる
二音を同一であると感覚する。幼児の言語獲得も同様に，
語全体の音形の獲得から開始される，とした場合に，この語全体の音響表象が，音楽同様，音声の移調（非言語要因による不可避的な音響変動）による多様性問題を解く
鍵になるのだろうか？従来より筆者らは，非言語的要因による音響変動に対して簡素な数学モデルを考え，この問題を解決してきた[8, 9, 10, 11, 12, 13] 。本稿ではこれを一般化し，非常に広範囲な変換（非線形変換を含む）においてq(u, v) ≡ p(x(u, v), y(u, v))，P (u, v) ≡ q(u, v)|J(u, v)| であり，変数変換後にヤコビアンを掛けることで写像される。

も，移調不変な構造的表象が普遍的に存在することを数学的に示す。そして幼児の音声模倣，更には，自閉症・失読症者の音声認知を，この構造的表象を通して考察する。
最後に，自閉症者のビヘービアと音声認識システムのそP1 ，P2 とすると，当然 pi と Pi の絶対的特性は異なる。p1と p2 に対するバタチャリヤ距離は下記式で表記される。
 BD(p1 , p2 ) = − ln  p1 (x, y)p2 (x, y)dxdy(9)の音声情報処理と機械の上に実装された情報処理との本
質的・根源的な差異について，音情報処理の生物進化に伴う変遷を踏まえ，筆者らの意見を述べる。

非言語的音響変動不変の音声の構造的表象

2.1

2 つの空間における頑健な不変量

これは，下記の様に空間 B における積分演算へ変換される。

BD(p1 , p2 ) 
= − ln  p1 (x, y)p2 (x, y)dxdy = − ln  q1 (u, v)q2 (u, v)|J(u, v)|dudv
 
= − ln  q1 (u, v)|J| q2 (u, v)|J|dudv
 = − ln  P1 (u, v)P2 (u, v)dudv

図 1 に示す様な，二つの空間 A と B を考える。両者には一対一の対応関係があり，空間 A のある点は空間 B の対応点へ写像され，逆もまた成立する。但し，その写像関数は明示的には与えられていないとする。以下，一般性を失わない範囲で 2 次元空間を用いて説明する。空間 A，Bの対応する二点を (x, y)，(u, v) とし，両空間の対応付け（変数変換）を一般的に下記の様に示す。

x = x(u, v), y = y(u, v)

以上の道具を用いて，空間 A と B の間に存在する不変量について考察する。空間 A における二つの分布，p1 とp2 ，を考える。これらを空間 B へ写像して得られる分布をれとが非常に類似していることを指摘すると共に，人間

2g(u, v) ≡ f (x(u, v), y(u, v)) であり，J(u, v) はヤコビアンである。分布関数も同様に空間 A から B へ写像される。

1.0 =  p(x, y)dxdy(5)=  p(x(u, v), y(u, v))|J(u, v)|dudv(6)=  q(u, v)|J(u, v)|dudv(7)
=  P (u, v)dudv
p() in A → P () in B(8)= BD(P1 , P2 )

(1)

36

(10)
(11)
(12)
(13)
(14)
(15)

即ち，空間 A におけるバタチャリヤ距離は，空間 B におAi Horizontal
Amplitude

ける対応する二分布間のバタチャリヤ距離と等しくなる。
この性質は，式 (1) の空間 A，B の対応付けに対して，強い制約を求めない。ヤコビアンによる変数変換が可能であれば，上記性質は満たされるため，一対一対応空間に対し

distortionbi Vertical
distortionて付加的に要求される制約は，1)x(u, v)，y(u, v) が偏微分可能で，導関数が連続，2) 空間 B の積分領域においてFrequency

ヤコビアン J が非零，のみとなる。結局，これらの条件

Figure 2: スペクトルの水平・垂直歪みと一次変換を満たす，非線形変換を含む，広い変換群に対して，バタ
チャリヤ距離は不変となる。この変換不変性は，カルバッ
クライブラ距離，ヘリンジャ距離などでも成立する一般的性質である。以上，各事象が分布として存在し，かつ，Sequence of spectrum slices

その推定が正確に行なわれれば，二分布間距離が非常に頑健な変換不変量として存在することを示した。この時，Sequence of cepstrum vectors

両空間の写像関数やヤコビアンを求める必要は無い。
Sequence of distributions

2.2

不変事象間距離から普遍的に存在する不変構造へ

三辺の長さを規定すれば，三角形の形状は一意に定まる。
同様に，ユークリッド空間に存在する n 点からなる幾何

Structuralization by interrelating temporally-distant events

Figure 3: 事象間差のみを抽出して構成される不変構造

学構造は，n C2 個だけ存在する二点間距離を全て求めれば，（鏡像の曖昧性を無視すれば）その構造を一意に規定3することになる。即ち，距離行列は幾何学構造を規定する

音声の構造的表象に対する実験的検討ことになる。距離行列による構造定義は，タンパク質の構従来より筆者らは，非言語的要因による音響変動をケプス造解析など，広く用いられている方法である。距離行列とトラムの一次変換としてモデル化して議論してきた[8, 9] 。

幾何学構造を等価であると考えるならば，空間に存在す

これは，特にスペクトルの水平方向歪みが c = Ac としる N 個の分布群によって張られる距離行列，即ち，幾何て，垂直方向の歪みが c = c + b として記述できること

学構造は，前節で数学的に導出した様に，一切変換不変とによる（図 2 参照）。この場合，ガウス分布はガウス分布なる。そして空間 A，B を二人の話者の音声音響空間 A，へと変換されることになる。これに対して図 3 に示す様

B とすれば，両者の間において不変構造が存在することになる。これはどの二話者でも成立するため，結局，話者とで，話者／マイク不変の構造的表象が得られる。実際

非依存の普遍性を持つ（音響的普遍構造）。

に，孤立発声された 5 母音系列2 をタスクとした音声認識に，絶対項を全て捨象し，音事象間差異のみを求めるこ

この数学的性質は，非常に強力な枠組みとなると考えでは（語彙数 120 の孤立単語認識に相当），LPF などのられる。従来筆者らは，英語学習者における英語母音群

前処理が必要ではあったが，一人の話者の音声で不特定話構造に対して，構造解析を行なってきた[12, 13] 。話者／マ者音声認識が可能であることを示した[10, 11] 。この実験でイクなどの不可避的な音響歪みを除去し，外国語訛のみ

は，4,130 人の話者の音声から構築された HMM よりも高を構造歪みとして抽出することが目的であった。しかし，

い頑健性を示した。話者性を消去する，という方法論は，本来の構造不変性は，幅広い変換群で成立するため，学習

発音学習支援にも応用されている。特定の学習者と特定者空間と教師空間との間に一対一対応があれば，外国語訛

の教師の発音を，体格／性別／年齢といった違いを無視しを超えて，構造の不変性・同一性を約束することになる。

た形で，直接的・構造的に比較することが可能となっておしかしこの場合，空間 A でのガウス性分布が空間 B ではり，種々の興味深い実験結果が得られている[12, 13] 。発音

非ガウス性の分布として変換されるなど，分布形状の極ポートフォーリオの提案，効率的学習のための教示生成，

端な歪みを生じることが予想される。例えば，変換後もガ

更には学習者分類などについて検討している。

ウス分布となるという制約の下で本数学的性質を使う等，

図 3 に示す構造化による不変項の導出は「音声の非言語

積極的かつ妥当な制約導入によって，本性質は有効利用さ的特徴は時不変である」という仮定の上で成立する。即ち，れると考える。逆に言えば，正確な分布の推定が可能であ

話者性が時変であれば，不変項は導出されない。HMM 音

れば，それほど頑健な不変構造が，数学的には普遍的に存

声合成技術を用いて，時間的に話者性が変化する合成音

在する，ということである。本稿ではこの普遍的な不変構
造の存在を基に，音声認知に関する種々の考察を行なう。

37

2 連続発声を対象とした分布列推定方法がまだ確立できていないため，
孤立発声母音系列という，人工的なタスクを用いた。

#morae correctly identified

7.5

ミラーニューロンなどは良い例である。脳は研究者の机

machine
sub-1
sub-2
sub-3

7.0
6.5

上の議論を超えた処理を行なっている，と解釈することもできる[19] 。さて，聴覚皮質モデリングであるが，視覚6.0

皮質のような定説が存在する状況には無いが，幾つか興

5.5
5.0

味深い主張がある。まず「音声の言語的情報と非言語的情4.5

報（話者の情報）は分離されて処理されている」との主張

4.0

8 moraeである[17, 20, 21] 。特に [21] では，音楽と音声とを対比し，

1 phone2 morae
1 state4 morae
1 moraSpeaker change intervals

音声の言語情報は，音声の動きの情報（speech motions）

Figure 4: 非音声研究従事者を対象としたモーラ同定率

によって伝搬されると主張している。音楽で言えばメロ声を聴取させると，話者性変化頻度の向上によって無意味に相当し，それは時不変の情報として処理される」と主張

モーラ列音声のモーラ同定率が低下する様子が観測されしている。図 3 に示した音声の構造的表象は，音声を「音ている（図 4）[14] 。なお，話者変化頻度を極端に上げた場の運動」と考え，その運動（コントラスト）成分のみを抽合，HMM 音声合成の内部処理である時間方向のスペクト出する形となっている。即ち音声から「音であること」を

ル平滑化によって話者性変化は消失されるとの予測が成一切捨て去った物理表象である。何が動いているのかは立するが，実験結果も，その予測の妥当性を示している。

不明である。
「動きだけを抽出した時に，話者／年齢／性4

ディーである。一方「話者の同定は音楽で言う楽器の同定別を超えた頑健な不変表現が数学的に入手できる。それ

幼児は親の声の何を模倣しているのか？

こそ言語である」と主張するのが音響的普遍構造である。
近代言語学の祖ソシュールが一世紀以上も前に興味深

幼児は親の声の模倣を通して音声言語を獲得すると言われている（音声模倣） 。しかし幼児は，親の声そのものい主張をしている[22] 。The important thing in the wordを模倣しようとはしていない。太くて低い声を出そうと努成する，という術は少なくとも意識的には不可能である。

is not the sound alone but the phonic diﬀerences thatmake it possible to distinguish this word from all others.
即ち，音ではなく，音的差異の重要性を説いている。差異を捉えることで単語が同定できる，との主張である。彼はとなると彼らは親の声の何を模倣しているのだろうか？九

また Language is a system of conceptual diﬀerences and

官鳥による音声模倣では，話者性までも真似ることが知。優秀な九官鳥は，その音声模倣を聞いた

phonic diﬀerences. と主張している。「言語＝差異・動きのシステム」である。分布間差異を集めたものが頑健な不だけで飼い主が分かるが，どんなに優秀な幼児の音声模変構造を成し，それを用いた語同定が可能である。この不倣を聞いても，飼い主（親）の同定は不可能である。音響

変構造こそ語ゲシュタルトではないだろうか。

[6]

力している幼児はいない。音韻意識が未熟である彼らは，個々のモーラ（話者非依存の音シンボル）を一つずつ生

[15]

られている

的な音声模倣と言語的な音声模倣は何が違うのだろうか？
「幼児の音声言語獲得は，分節音の獲得の前に語全体音声が伝搬する情報は，言語／パラ言語／非言語情報と分類される。各情報を担う音響量に着眼すると，言語及の音形・語ゲシュタルトの獲得から始まる」との主張が正

び非言語情報は声道情報となるため，スペクトル包絡に相しければ3 ，この語ゲシュタルトの音響的実体には，非言語的情報は含まれないはずである。もし含まれていれば，
幼児は父親の声が出せるよう，日々努力するはずである。
筆者らはこの語ゲシュタルトの音響的定義について，多くの発達心理学・言語獲得研究者に問いかけてみたが[16] ，
残念なことに，明確な答えは得られなかった。

当し，パラ言語情報は音源情報となるため，F0 ，パワー，
継続長に相当する。即ちソース・フィルタの分離である。
幼児の音声模倣は，親の声からまず非言語情報を分離すると考えられる。音声＝［言語＋パラ言語］＋［非言語］という枠組みである。しかし，音声科学・工学が構築した枠組みは，音声＝［言語＋非言語］＋［パラ言語］という

近年の脳科学の進歩により，聴覚音声学の議論は，蝸牛

枠組みである。調音音声学の価値観に基づけば，声道とから，聴覚皮質のモデリングに移行しつつある[17] 。脳科学
における多くの知見は偶然によって齎されている[18, 19] 。
交通事故や，一部の医師の不適切な処置が原因で不幸にも脳損傷を負った患者を通して多くの知見が得られている。
動物実験でも同様，偶然的な刺激提示によって重要な知見が得られている。前頭葉，海馬，扁桃体の機能，更には，音源を分離する，自然かつ妥当な枠組みである。しかし，
音声コミュニケーションの観点から考えると，この枠組み
では幼児の音声模倣問題は解けない。非言語情報を頑健に分離する術が無いからである。人と音声との遭遇は聴取であって，生成ではない。しかし，科学は音声と生成を通して遭遇した，というのは歴史的事実である[23] 。音声科学が実験科学である以上，それは時代の技術的制約の3 なお，日本人乳児が [r] と [l] を弁別できることが広く知られているが，これは 2 音の弁別ができるのであって，[r] を/r/として同定している訳では無い。同定能力の獲得の前に，まず，弁別・区別，即ち差異の知覚が可能になることは重要である。

下で議論を重ねなければならない。聴覚音声学は観測技術の未熟さから，調音・音響音声学と比較して，その進展

38

/´/ is not included.

Figure 7: 日本語 5 母音と米語 12 母音の F1 /F2 図[31, 32][24]

Figure 5: 母音・子音三角形

Writing is not language, but merely a way of recording
language by visible marks. と述べているが，文字言語は
本来音声言語の副産物であり，5 万年以上の音声活動を通[25]と仏語母音群構造

して人類が造り出した「音声言語の視覚化技術」でしかない4 。即ち「結果」であって「原因」ではない。しかし「結果」を「前提・原因」として捉え，図 6 に示す様に，音声の物理現象を切り刻んで来た，という歴史は否めない。
a

b c

d

e

f

g

h

i

j

この一次元的音声視覚化技術は物理的に正しいのだろうk

か？そもそも科学は要素還元主義の上に構築され，その枠

Figure 6: 音声ストリームの細分化と絶対音感的要素同定

組みの限界が指摘されたのはごく最近である[30] 。

が遅れざるを得なかった。脳科学の進展によって「話され5たもの」としてではなく「耳に届くもの」として音声に焦提案している音声表象は音声ストリームをメロディとし点が当たった時に，従来の枠組みでは想像できない情報て捉え，その横構造を頑健な不変項として導出している。

処理を脳が行なっていたとしても何ら不思議ではない。
ソシュールの phonic diﬀerences という言葉はやがて，
ヤコブソンの弁別素性，即ち構造音韻論へと引き継がれる。音そのものではなく，音/x/と音/y/はどう違うのか，その違いを定性的に表現するために弁別素性が使われた

孤立発声母音の系列という人工的タスクではあるが，個々の音事象の絶対的物理特性は一切用いずに，個々の音事象の同定は一切行なわずに，単語の同定が可能であることを示した[10] 。音楽の場合，横構造を通して各音事象の機能的・相対的価値を感覚し，「ドレミ」が聞こえてくる5 。音（図 5 参照）。つまり，音素群が成す外部構造の議論であ声の音韻知覚も同様の枠組みとして捉えられないだろう

る[25] 。やがて，弁別素性はそれが束となって音素を表象か？全体を通して要素同定する，音声の相対音感である。

する，即ち音素の内部構造の議論に使われるようになる[24]

音韻の意識は音声言語運用に必要なのか？

音楽の場合，如何なる鍵盤（即ち物理特性）も「ド」に。この素性の束としての音素は音楽の「和音」をメタなれる。逆にある鍵盤は「ドレミ…」のいずれにもなれ

ファーとして生まれた[26] 。和音＝音素，音符＝素性，である。音楽学では，音楽には横の構造（メロディー構造）と縦の構造（ハーモニー構造）があると説く。和音は縦のる。しかし音声の場合，例えば F1 /F2 図において任意の点の音を「あ」と知覚できるか，と考えれば，それは困難である。図 7 に示す様に日本語の場合，男女を考慮して構造であり，ヤコブソンの素性による内部構造の議論は音も 5 母音は凡そ分離している。音韻とその物理実体との楽の縦構造を発端としている。一方，筆者らが提唱する音対応が凡そ一対一，即ち，絶対音感的である。しかしフォ声の構造的表象は当然のことながら，音楽の横構造に相ルマント周波数が発声者の声道長に依存していることを当する。縦と横の構造，どちらが音楽にとってより本質的考えれば，例えば目玉親父やウルトラマンが日本語母音をかと言えば，当然，横構造である。和音の無い音楽はあれ発声したとすると，これらの分布群は大きな重なりを呈

ど，メロディーの無い音楽は存在しない。

することになる。一対一対応の崩壊である。このような場

筆者らの知る限り，音声工学において横構造の議論が皆合，音の絶対量に基盤を置く処理系は機能せず，音と音の無であり，縦構造の議論[27, 28, 29] が多い理由は，音声の表

相対量に基盤を置いてこそ，頑健な処理系が期待できる。

記方法に起因すると考える。音声を（話者非依存の）音シ
ンボル列として表記し，音声をシンボルに対応させて区切れば，その時点で横構造は消失する。例えば Bloomﬁeld は，

39

4 文字起源は象形文字であるため，本来文字は意味の視覚化技術であり，音の視覚化技術ではない。表音文字は単なる借り物技術でしかない。
5 人が沢山いるそうである，としか第一著者は言えない。

アニメの世界では音声は相対音感的でなければならない。

一人である。彼に音声認識・合成器を作らせても，音シン

アニメの世界を想像しなくても，相対音感の世界を創ボル列と音声間の変換技術など作ら（れ）なかったはずで成することは容易である。母音の数を増やせばよい。図 7ある。
「そんなモノの上に言語は出来ていない」と主張しには米語 12 母音の F1 /F2 図についても示している。成人たであろう。幼児の言語獲得は，彼らの認知能力の未熟さ

男性・女性・子供（10～12 歳）139 名の/h V d/から得らが，個々の音韻を意識させないのだろうか？無意識下では。なお，音質が容易に変動する/@/はこ

音韻を操作しているのだろうか？或いは，個々の音韻意識の図には含まれていない。これだけの重なりは，複数話者

は音声言語運用に不要なのだろうか？図 6 の「音声 ↔ 音のデータを同時に表示するから生じるのであり，話者別にシンボル列変換」に難を示す多数の音声ユーザの存在を，示せば当然重ならない。この事実を顧みずに，母音毎に，

音声科学・工学者はどう考えるべきなのだろうか？

[32]

れた結果である

複数話者データに対して物理的な絶対量を統計的にモデル言語化できる相対音感者が時として犯す勘違いとして，化しても，母音認識は困難となる。日本語は絶対音感的，

次のようなものがある。全ての長調の曲が「ハ長調」と米語は相対音感的なのだろうか？何れの場合も，個々の音して聞こえる，というものである。凡そ全ての曲は主音

はシンボル化される。音楽の場合でもドレミは階名としで終了する。即ち，階名で「ドレミ」が聞こえて来る相ても（移動ド），音名としても（固定ド）使われている。

対音感者は，曲の終わりは全て「ドー」と聞こえる7 。常相対音感者の多くは，言語化できない相対音感者であに「ドー」と聞こえるから，その箇所では同一の鍵盤をる。メロディーの記述を，音名／階名で行なうのではな

押している，即ち，同一の物理音が出ている，と解釈しく，「ラ～ラ」即ちハミングで行なう相対音感者である。彼た訳である。機能的・相対的等価性が物理的等価性を上書

らも主音は認知しており ，音楽の横構造を認識している

きし，異なる音群に対して同一物理音を認知させた訳でが，主音に対して「ド」を対応させることが困難である。

ある。そのような相対音感者に対しては，絶対音感者がそもそも音高（基本周波数）と「ドレミ」という声（スペ「それは物理的には錯覚，勘違いの一種である」と説明す

クトル包絡）とは無関係であり，これを恣意的に結びつける。機能的・相対的等価性を物理的等価性と入れ違えた結[3]たのが階名である 。音声に対して「言語化できない相対末であると説明する。音声科学・工学では，話者 A の音音感者」とはどのような存在になるのだろうか？他者が声中のある音が音韻「あ」と感覚され，話者 B のある音歌った歌を「ラ～ラ」として再生する際に頻繁に移調されも音韻「あ」と感覚された場合，図 6 に示した音声ストることを考えれば，ある話者の発声を移調して再生する

リームの細分化を行ない，両話者の該当区間の物理現象

ことは，「繰り返し発声」に相当する。一方，曲を「ドレに何らかの絶対的同一性を期待する。その二音の物理的ミ」に落とす作業はどうなるであろうか？スペクトル特相違は明らかであるにも拘らず，数千，数万人の話者から性とは全く関係の無い，「声」に対して恣意的に関連付け「あ」と感覚される音声区間を集め，統計的にモデル化す

6

られた「モノ」を考えれば明らかなように，それは「（表る。音韻とは心的表象である[36] 。心的表象とは物理実体音）文字」に落とす作業となる。以上の考察から得られるが存在しないことを意味する。よってその心的表象は，物帰結は「相対音感的な音認知が不可避的に要求される言

理的にはある種の「錯覚，勘違い」の産物ということにな語の場合，文字の読み書きに困難を覚える人が多い」となる[37] 。音響音声学，音声工学が大前提とする図 6 の枠組

るが，こんな考察，意味があるのだろうか？

みは，物理的に妥当なのだろうか？音楽の相対音感者の勘
違いは音楽の絶対音感者が是正してくれた様に，図 6 の第一著者は，このような無意味かもしれない考察の最枠組みが研究者の単なる勘違いであるとするならば，音「頭が良いのに，何故か中に失読症（dyslxeia）を知った。

声の絶対音感者が，彼らを是正してくれるのだろうか？

本が読めない」方々である[33, 34, 35] 。具体的な症状は様々であるが，共通項として存在する症状が音韻意識が希薄，
即ち，単語音声に対して，それを個々の音に分割したり，

6

個々の音が連結して単語音声になる，ということを感覚す

極端な絶対音感を持つ奏者は，オーケストラ／ホールがることが困難な方々である。図 6 の枠組みを理解すること究極の音声絶対音感者と音声言語変わる度に十分な耳慣らしが必要となる。基準音がオーが困難な方々である。幼児の音声認知をそのまま引きずっケストラ／ホールによって，数 Hz 異なるからである。参ており[33] ，個々の音をカテゴリとして知覚するのが困難である一方で，異音の区別は健常者よりも成績が良い[35] 。
これは [r] を/r/とというカテゴリとして同定できないが，[r] と [l] が区別できることに相当する。米国では程度の差こそあれ，約 20%の人が失読症である[33] 。政治家，作家，
起業家，学者にも失読症者はおり，グラハム・ベルもその照パターンとして絶対項を持ってしまうと（例えば，基準音＝ 440Hz），環境の変化に対して柔軟に対応できなくなる。音声の極端な絶対音感者は話者 A の「おはよう」と話者 B の「おはよう」の同一性の認知が困難になると考えられるが，自閉症者の一部に，特定話者の音声のみ言語メッセージになる者がいる[1] 。自閉症は端的に「関係の6 「ドレミ」という命名は僧侶の名前の第一音節から来ている。

7 らしい。くどいようであるが，第一著者には皆目見当がつかない。

40

病」と言われるように[38] ，入力される情報の整理整頓がする音韻列を並べ，各音韻に対応する音声区間を切り出困難であり，個々の要素的事象を丹念に記憶する。日付，

す。音韻は話者不変であるが，一方の物理現象は，人，場

曜日，電話番号，住所など互いに無関係なものを膨大に所，時，あらゆる要因がこれを変え，多様性問題に直面す

記憶する一方で，物事の因果関係や複数の刺激群が成することになる。従来の音声科学・工学は「集めること」でパターンの抽出，事象の抽象化に困難を示す。そのため，

この問題を回避しようとしたが，本稿は，これを直接的に

目の錯覚などが起き難い。マガーク効果が起き難い。顔の解く方法を提供している。筆者らは，図 6 に示す一次元

要素的特徴を覚える一方で，顔を見て表情や話者を同定

的音声視覚化技術は，物理的には，バグのある技術であるすることが苦手である。優れた音感を持ち，絶対音感者がと主張する。このバグのために「音声言語の正規ユーザ」

[39]

。

が悩んでいても，何ら不思議ではない（失読症）。このバ第一著者にとって「ドレミ」とは音名であるため「曲がグのために，音シンボルの物理的対応物の不変性を信じ

階名として聞こえる」という事実は想像を絶する。「ソ」て，その物理的対応物を絶対的に記憶する方々が音声言が「ド」と聞こえる，というのは「え」が「あ」と聞こえ語運用に悩んでいても，何ら不思議ではない（自閉症）。

る，というのに等しい。勘違いか錯覚の類いではないか，

工学システムと自閉症者との類似性の議論は，古くは多い。一言で言えば，ゲシュタルト知覚が困難であるとさえ考えることもある8 。極端な音声の絶対音感を持つ

ロボット工学に見られる。フレーム問題に端を発してロと考えられる自閉症者にとって，物理的に異なる特性を持ボットと自閉症児との類似性が議論されており，現在でもつ話者 A の音と話者 B の音を「同一音」として認知する
健常者の感覚こそ，想像を絶するものであると推測する。
彼らが「勘違いか錯覚の類いではないか」と主張しても不続いている[41, 42] 。自閉症者は環境の些細な変化に非常に弱い側面を見せる。花瓶の位置が変わっただけでパニックに陥る場合もある。同様に，指定された部屋の情報を全て思議ではない。異なる二音を「あ」と感覚できる健常者の認知能力が，音の絶対項に基づくものなのか，あるいは，音間の相対項に基づくものなのか，彼らこそ，その回答をもたらしてくれるもの，と期待されるが，残念なことに，
彼らの多くは口を開かない。何故なら，極端な絶対音感をインプットされたロボットが，猫の来訪など，予期せぬ出来事にパニックに陥る。多様に変化する環境を頑健に対処できない両者に，工学者が，自閉症セラピストが，互いの類似性を認め合った経緯を持つ。環境の多様性を生き抜く術を与えるべく，工学者・セラピストが協力している。

持つ自閉症者は，音声言語を持たないからである。二話

言語発達に遅れの無い自閉症をアスペルガー症候群と者の「おはよう」の同一性が認知できなければ，音声言語が破綻するのは自明である。音声言語は，ある種の錯覚・勘違いの上に成立する，と考察することもできる。音声言言うが，彼らの音声言語活動は，やはり健常者とは異なる側面を示す[43, 44] 。音声をまず文字化し，テキストを通して理解しようとする。そのため言語の論理面（文字面）だ

語を持たない自閉症者の中には，ごく稀に，文字言語を通して言語コミュニケーションを開始する場合がある[1, 40] 。
音は全て聞こえているにも拘らず，聞こえ過ぎるが故に，文字（視覚図形）言語が第一言語となる。自閉症者は，常けの解釈となり，パラ言語的情報など文字化で消失する情報の処理が困難である。その音声が発せられた場・文脈を通して発言を解釈しようとせず，表層文だけに基づいて解釈を試みるため，場に合った対応ができず，多義性を解決に変化する環境を頑健に対処する術を持ち合わせていな

する，行間・真意を読むなどの処理が苦手である。元々音いと言われる。文字は変わらない。しかし，音声はいつも変わる。だから図形言語が第一言語となる。確かに，人，
場所，時，あらゆる要因が音声の絶対項を変える。しかし着目する時間長において，その要因が時不変であれば，構造は一切不変である。変わることが許されない。

声は苦手であり，電話音声などは特に困難である[43] 。これらは，現状の音声対話システムに対しても，広く当て
はまる性質である。アスペルガー症候群を患う者を家族に有する者は「計算機に音声コマンド入力するようなもの」と，彼らとの音声対話を記述している[43] 。彼らの多音響空間を [音素数]3 の部分空間に分け，各々の独立性を仮定して各空間における観測量を絶対的にモデル化し，保持するのが現在の音響モデリング技術の常套手段であくは自らを「地球生まれの異星人」と呼ぶ。感覚系・知覚系が健常者とは大きく異なるからである。
「音声認識技術
は，人間シミュレータを目指す必要は無い」という議論はる triphone である。その結果，環境が変わる度に耳慣ら

古くからある。システムの入出力さえ模擬できれば，内部し（音響モデル適応／特徴量正規化）が不可欠となる。似処理の実装まで模擬する必要は無い，という議論である。

ていないだろうか？筆者らには，音声認識における音響モ

しかし，実際に構築したシステムは，そのビヘービアのデリングは，自閉症者の音感そのものであるように思え

みならず，内部処理の実装に至るまで非常に類似しているる。問題の本質は，図 6 に示した「音声 ↔ 音シンボル列「現実の対象物」が存在している。残念ながらそれは人間変換」を物理的前提として音声の物理現象を解析することではなく，自称異星人である，というのが筆者らの意見でにあると考える。音声ストリームに対して，聴取者が感覚ある。ヒューマノイドという名称で呼ばれる機械が巷に溢れているが，この「異星人」の存在を知る筆者らには，

8 実際には「ド」の意味が異なるので，勘違いでも錯覚でも無い。

41

少なくともその機械の音声処理系に関して「ヒューマン」のビヘービア及び認知特性は，より人間らしい機械を構という名称を使うことに強い抵抗を感じざるを得ない9 。

築することを目指す工学者にとって，非常に有益な情報

ロボット工学同様，音声の多様性を生き抜く術を両者にを提供していると筆者らは考える。図 6 に示す音声の分与えるべく，議論を重ねる必要があると考える。

節化及び要素の絶対的同定は，問題の要素還元に基づく

7

生物進化と音の情報処理方法論である。要素間の独立性を仮定した方法論である。

～絶対と相対～

その仮定に本質的な不備がある場合，要素分割とは異なる枠組みが必要となる。本稿はその一提案である。

多くの動物は刺激間の相対的特性よりも，対象とする刺激の絶対的特性に基づいた処理を行なう傾向にあること

参考文献

が知られている。これは，相対的特性に基づく処理系の方が，より高度な認知能力を要求するからである，と考えられている[46] 。音高に関しては，ラットやオオカミは絶対音感であることが報告されている。アカゲザルも基本的には絶対音感であるが，絶対性に基づく処理が失敗すると，相対性に基づく判断も行なう[47] 。またニホンザルも同様，
絶対音感としての処理が基本となっており，局所的な手がかりに着目する様子が報告されている[48] 。このように生物進化の過程の中で音高処理が，絶対的な属性から相対的な属性へと遷移してきた様子が論じられている[49] 。
本稿で論じてきた音声の構造的表象は，音高ではなく，
スペクトル包絡という形で物理的に観測される音質に対する相対的な処理を対象としている。この音質に関する相対処理というのは，ヒト以外の動物では考察が困難である。そもそも，ヒトがこれだけ多様な母音を生成できるのは，二足歩行による喉頭の下落により，口腔に十分な空間を有するようになったからである。調音器官を制御して口腔を変形させることで，様々な共鳴パターンを生じさせ，
これが様々な母音の生成を可能とした。当然口腔のサイズ／形状は話者依存であるため，音質の多様性は拡大する。
本稿では，口腔のサイズ／形状に起因する静的な音響歪みを頑健に消失させる方法論として，音声の構造的表象を提案し，様々な観点から本手法を考察した。

8

まとめ

筆者らが提唱する音響的普遍構造が頑健な変換不変性を有することを数学的に示し，相対音感としての音声認知を通して，言語獲得，失読症，自閉症を考察した。本表象
では音声の多様性問題が何ら問題になり得ず，また，パラドックスとも言われる，失読症や自閉症の音声認知についても，凡そ自然な考察で説明可能であることを示した。
しかし，本考察がこれら障害の全容を網羅している訳ではなく，例えば失読症と自閉症の合併症が存在するのも事実である[50] 。また，幾つかの凡そ典型的と考えられる症状について示したが，これらの障害は非常に多様な症状を呈しており，記述した各項目が常に観測される訳では無いことを断っておく。しかし，自閉症と音声認識技術の類
似性について考察したように，自らを異星人を呼ぶ彼ら
9 改名すべきモジュールが音声処理系だけであるかどうかは，言及しない。しかし，アスペルガー症候群の方々の身体の運動制御が，健常者のそれとは，やはり異なっていることを指摘しておく[45]。

42[1] 東田他, この地球にすんでいる僕の仲間たちへ, エスコアール出版
社 (2005)[2] 奥平, 自閉症の息子ダダくん 11 の不思議, 小学館 (2006)[3] 谷口, 音は心の中で音楽になる, 北大路書房 (2003)[4] 東川, 読譜力－「移動ド」教育システムに学ぶ, 春秋社 (2005)[5] 加藤, コミュニケーション障害学, 20, 2, pp.84–85 (2003)[6] 早川, 月刊言語, 35, 9, pp.62–67 (2006)[7] 原, コミュニケーション障害学, 20, 2, pp.98–102 (2003)[8] 峯松他, 信学技報, SP2005-12, pp.1-8 (2005)[9] 峯松他, 信学技報, SP2005-131, pp.121-126 (2005)[10] 村上他, 信学技報, SP2005-14, pp.13-18 (2005)[11] 村上他, 信学技報, SP2005-130, pp.115-120 (2005)[12] 朝川他, 信学技報, SP2005-24, pp.25-30 (2005)[13] 朝川他, 信学技報, SP2005-156, pp.37-42 (2006)[14] 峯松他, 信学技報, SP2004-27, pp.47-52 (2004)[15] 宮本, 音を作る・音を見る, 森北出版 (1995)[16] N. Minematsu, et al., “Universal and invariant representationof speech,” Proc. Int. Conf. Infant Study (2006)[17] 柏野, 月刊言語, 33, 9, pp.102–107 (2004)[18] M. Spitzer, 脳・回路網の中の精神, 新曜社 (2001)[19] 茂木, 心を生みだす脳のシステム, 日本放送出版協会 (2001)[20] K. S. Scott et al., Trends in Neurosci., 26, pp,100–107 (1003)[21] P. Belin et al., Nature Neurosci., 3, 10, pp.965–966 (2000)[22] F. D. Saussure, Course in general linguistics, McGraw-Hilll
Humanities/Social Sciences/Langua (1965)[23] 前川, 音声研究, 8, 3, pp.35–40 (2004)[24] R. Jakobson et al., Preliminaries to speech analysis, MIT
Press, Cambridge, MA (1952)[25] R. Jakobson et al., Notes on the French phonemic pattern,
Hunter, N.Y. (1949)[26] S. E. Blache, The acquisition of distincitve features, Univ.
Park Press (1978)[27] K. N. Stevens, J. Phonetics, 17, p.3–45 (1989)[28] L. Deng et al., Speech Comm., 33, 2–3, pp.93–111 (1997)[29] M. Ostendorf, Proc. ASRU, pp.79–84 (1999)[30] M. M. Waldrop, 複雑系, 新潮社 (2000)[31] R. K. Potter et al., JASA, 22, 6, pp.807–820 (1950)[32] J. Hillenbrand et al., JASA, 97, 5, pp.3099–3111 (1995)[33] S. Shaywitz, 読み書き障害（ディスレクシア）のすべて～頭はいいのに本が読めない～, PHP 研究所 (2006)[34] 石井, 科学技術政策研究所・科学技術動向 45, pp.13–24 (2004)[35] W. Serniclaes et al., Cognition, 98, pp.B35–B44 (2005)[36] H. A. Gleason, An introduction of descriptive linguistics,
Holt, Rinehart & Winston (1961)[37] A. J. Lotto et al., Chicago University Society, 35, pp.191–204(2000)[38] 酒木, 自閉症の子どもたち, PHP 研究所 (2001)[39] U. Frith, 自閉症の謎を解き明かす, 東京書籍 (1991)[40] R. Martin, 自閉症児イアンの物語, 草思社 (2001)[41] 渡部, 鉄腕アトムと晋平君, ミネルヴァ書房 (1998)[42] J. Nade, “The developing child with autism,” Tutorial Session of IEEE Int. Conf. Development and Learning (2005)[43] 泉, 僕の妻はエイリアン, 新潮社 (2005)[44] 榊原, アスペルガー症候群と学習障害, 講談社 (2002)[45] ニキリンコ, 自閉っ子, こういう風にできてます！, 花風社 (2004)[46] D. J. Levitin et al., Trends in Cognitive Sciences, 9, 1, pp.26–
33 (2005)[47] A. A. Wright et al., Journal of Experimental Psychology,
General, 129, pp.291–307 (2000)[48] A. Izumi, Journal of Comparative Psychology, 115, pp.127–
131 (2001)[49] M. D. Hauser et al., Nature Neurosciences, 6, pp.663–668(2003)[50] 月文他, 自閉症者からの紹介状, 明石書店 (2006)

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-7 (11/17)

複数マイクロホンアレイのパーティクルフィルタ統合による
実時間音源追跡Real-Time Multiple Sound Source Tracking by Particle-Filter-based Integration of
Heterogeneous Microphone Arrays中臺 一博 Ý 中島 弘史 Ý 村瀬 昌満 Þ 奥乃 博 Þ 長谷川 雄二 Ý 辻野 広司 Ý
Kazuhiro NakadaiÝ, Hirofumi NakajimaÝ, Masamitsu MuraseÞ,Hiroshi G. OkunoÞ, Yuji HasegawaÝ, Hiroshi TsujinoÝ
Ý(株) ホンダ・リサーチ・インスティチュート・ジャパン

Þ 京都大学Kyoto University
nakadai@jp.honda-ri.com

Honda Research Institute Japan Co., Ltd.

とを示してきた[12]. 報告したシステムはロボットの耳部に搭載された２本のマイクのみを利用していた．しかし，工学的なシステムとして捉えた場合，ロボット搭載型のマイクだけではなく周囲の環境に埋め込まれたマイクロホンも利用することはパフォーマンス向上のためには有効であろう．本稿では，ロバスト性・精度といったパフォー
マンス向上を目的として複数のマイクロホンアレイを統合する空間統合 (spatial integration) を提案する．

Abstract
Real-time and robust sound source tracking is an
important function for a robot operating in a daily
environment, because the robot should recognize
where a sound event such as speech, music andother environmental sounds originate from. This
paper addresses real-time sound source tracking by
spatial integration of an in-room microphone array(IRMA) and a robot-embedded microphone array(REMA). The IRMA system consists of 64 ch microphones attached to the walls. It localizes multiple sound sources based on weighted delay-andsum beamforming on a 2D plane. The REMA system localizes multiple sound sources in azimuth using eight microphones attached to a robot’s head ona rotational table. A particle filter integrates theirlocalization results to track multiple sound sources.
The experimental results show that particle filter
based integration improved accuracy and robustness of sound source tracking even when the robot’s
head was in rotation.

11.1

二種類のマイクロホンアレイとその統合

空間統合用のマイクロホンアレイとして，ロボット搭載型
マイクロホンアレイ (Robot-Embedded Microphone Array,
REMA)，および室内設置型マイクロホンアレイ (In-RoomMicrophone Array, IRMA) という二種類の異種マイクロホ
ンアレイの使用を検討する．REMA はロボット搭載マイクロホンを用いてロボット聴覚を向上させる直接的なアプローチであり，ロボット近傍で高い解像度が得られるという特徴を持っている．実際，8 チャネルの REMA を用いて，両耳聴システムよりも音源定位・分離で優れた性能をもったシステムが報告されている[5, 18]．しかし，このアプローチはロボット動作中に動作と収音音響信号の正確な同期を取ることが難しいこと，動作によって動的に変化する音響環境への対応が難しいこと，距離が離れた音源の情報を正確に抽出することが難しいことといった本質的な欠点を抱えている．一方で，IRMA は，相当数のマイクロホンを必要とし，比較的処理の解像度は低いものの，設置型のアレイであるため，常に静止しており，動作に起因する問題を扱う必要がない．また，マイクロホンを部屋
中にちりばめることによって，人とロボット間の距離に影響されず，部屋内の位置とは無関係に音源情報を抽出することが可能である．実際に，音源定位や分離を目的とした大規模マイクロホンアレイも複数報告されている[1, 15,23]．このように，REMA と IRMA は，お互いの欠点と利点が相補的関係にあるため，両者を統合することにより，お互いの曖昧性を解消することが可能であると考えられる．本稿では，REMA, IRMA という二種類のマイクロホ
ンアレイを統合するため，パーティクルフィルタに基づいた手法を提案する．また，実際に 8 チャネルの REMA と
64 チャネルの IRMA をパーティクルフィルタで統合した

はじめに知覚のロバスト性向上において，様々な情報を統合する
ことは本質的である．例えば，人間の知覚では，視聴覚の時間的な統合 [16] や, 音声認識における McGurk 効果[10]，音源定位における視聴覚統合[11] などが報告されている．また，音源定位では，両耳間位相差 (interaural phasedifference)，両耳間強度差 (interaural intensity difference) という二つの異なる情報を統合することによって，広周波数域にわたってロバストに音源を定位することを可能にしている[8]. こうした知見に基づき，実環境を扱うことを目的とした視聴覚統合システムも複数実装され，その有効性が報告されている[14, 6]. これは，統合が実環境で動作を行うロボットにとっても知覚を向上させるために本質的であることを物語っていよう．実際，これまでに，三話者が同時に発話した場合でも，視聴覚統合によって音源
定位，分離，分離音認識が行えるロボット聴覚システムを報告し，人・ロボットコミュニケーションに有効であるこ43

指向特性推定を応用すれば，音源が向いている方向を推定したり，実際に人間が話しているのか，スピーカから出力された音声なのかを判断したりすることが可能である．
詳細は，[13] を参照されたい．

空間統合システムを構築し，その効果を複数音源追跡を通じて示す．
以後，2 章では，各マイクロホンアレイで用いた定位のアルゴリズムについて述べ，3 章では，マイクロホン統合に用いたパーティクルフィルタについて解説する．4 章では，空間統合による音源追跡システムの実装について述
べ，5 章でシステムの評価を行う．最後に，6,7 章でまとめ，今後の課題について議論する．

2

3

二種類のマイクロホンアレイを統合するためパーティクル
フィルタ[2] 用いた. パーティクルフィルタは物体の視覚的な追跡や Simultaneous Localization And Mapping (SLAM)[17] を効率的に解くために用いられる手法であり，パー
ティクルを用いて状態をサンプリングし，サンプリングによって得られたパーティクルを遷移モデル，および，観測モデルを用いて更新していくことにより，観測結果から内部状態を推定する．パーティクルフィルタは，線形な遷移しか扱えない Kalman フィルタなどと異なり，非線形の動きを追跡する枠組みを備えていること，ガウシアン以外の分布を扱えること，動作速度がパーティクルの数で制御可能なため実時間動作が可能なことといった特長を持っている．また，パーティクルフィルタは，遷移モデル，および，観測モデルを用意すれば，データの種類を問わず利用できるため，音源追跡への適用も試みられいる[22, 21,20]．例えば，Valin[19] らは，物体追跡で利用されている
方法[22, 9, 7]を適用し，複数音源に対応したパーティクル
フィルタを報告している．麻生らは，パーティクルフィル
タを拡張し，視聴覚統合による音源追跡を報告している[4]．しかし，異なるタイプのマイクロホンアレイの統合を考えた際，得られる定位結果の座標系の違いに由来する問題のため，こうした手法をそのまま適用することは難しい．

定位のアルゴリズム

2.1 ロボット搭載型マイクロホンアレイ (REMA)
REMA を用いた実時間音源定位に関しては，これまで 2 本のマイクによる両耳聴システム[12]，および遅延和型ビー
ムフォーマーに基づくマイクロホンアレイシステム[24]を報告した. 本稿では，より音響環境の変化にロバストな手法として，適応ビームフォーマの一種である Multiple
Signal Classification (MUSIC) [3] を採用した．MUSIC は
環境の変化に逐次的に適応することにより音源定位のロバスト性を向上させることが出来る．また，事前計測のイ
ンパルス応答を用いて伝達関数を生成しておくことにより，実時間動作も可能である．なお，MUSIC は，産総研の実装[5]を利用した. これは，実環境で動作するヒューマ
ノイドロボットを対象に開発された実装であり，実時間でロバストに動作することが特徴である．アルゴリズムの
詳細は文献[3]を参照されたい.
2.2 室内設置型マイクロホンアレイ (IRMA)
IRMA については，重み付き遅延和法 (weighted delay-andsum beamforming (WDS-BF)) [13] を用いた． 一般に, 典型的なビームフォーミングでは，システム出力   は，下記の式で表される．
  

        

マイクロホンアレイの統合

3.1

(1)
(2)

ここで   は，座標 に置かれた音源  のスペクトルである．  は， から  番目のマイクへの伝達関数を表す．   は， 番目のマイクによって収音された信号のスペクトルである．  は， 番目のマイクへの入力信号のスペクトルから におけるスペクトルを推定するためのフィルタ関数を示す．WDS-BF では，測定結果や計算的に導出されたものなど様々なタイプの伝
達関数を統一的に扱えるよう一般化を行っている．また，伝達関数  の動的変化や入力信号   の歪みなどにロバストになるように，  のノルムを最小化している[25]．しかし，マイクロホン数が多くなると，計算量の増大により，実時間動作は困難となってしまう．そこ
で，本稿では，計算量を削減するためにマイクロホンア
レイの部分集合のみを利用するサブアレイ法を導入する．
サブアレイ法におけるマイクの選択方法は音源と各マイクロホンの距離によって決める．具体的には， 番目のマイクロホンと音源との距離  が  以下の場合, そのマ
イクロホンを選択し，そうでない場合はそのマイクは選
択せず，伝達関数の値を 0 に設定する．

また，WDS-BF は，式 (1), (2) における を ¼ と置き換えることにより指向特性推定に適用可能である．

44

マイクロホンアレイ統合の課題

異種マイクロホンアレイを統合ためには，ロボット座標系 vs. 絶対座標系，および極座標系 vs. x-y 座標系に由来する二つの課題を考慮する必要がある．
REMA は移動可能であるため，定位結果は常にロボット座標系で観測される．一方，IRMA は静止しているため，絶対座標系で観測される．つまり，統合のためには，
REMA の座標系を絶対座標系へ変換する必要がある．このためには，音響処理とロボット動作の高精度な時間同期が必要である．この同期問題を解決するために二つのアプローチが考えられる．一つはパーティクルフィルタに
時間方向の分布を表すファクターを導入して，時間同期の曖昧性を解いてしまうソフトウェアベースのアプロー
チである．もう一つは，動作と音響信号取得を高精度に同期できるハードウェアを導入するハードウェアベースのアプローチである．前者は，研究課題として興味深いが，確率的表現を用いている以上，少なからず同期にエラーが混入してしまう．そこで，本稿では，後者のアプローチ
を取ることにした (4.1 節参照).
2 つめの課題は定位の次元数に由来する．IRMA は 2 次
元の定位を行うことに対し，REMA では 1 次元 (水平角)の定位を行う．かつ，これらは x-y 座標系と極座標系という異なる座標系で観測される．本稿では，それぞれの座標系で尤度関数を用意し，定位結果に対して，座標系と独立な値として尤度を算出し，尤度レベルで統合を行う手法
を提案する．

3.2 パーティクルフィルタ

Step 2 – 音源生成・消滅チェック

パーティクルフィルタでは, 内部状態   の遷移モデル
    と観測モデル    を確率的な表
現として定義する．なお，  は観測ベクトルを表す.
番目のパーティクルは内部状態   とそのパーティクル
が真値（ここでは，音源追跡結果）にどの程度貢献する
かを示す重要度   を持っている．重要度は一般に尤度として定義される．本稿では，観測ベクトル   として，
REMA から   ，IRMA から    という 2
種類が時刻 で得られるとする.

    ½         ½         

 






(3)



(4)

 ， は，それぞれ REMA，IRMA から得られる時刻における観測の数である． と  は下記のように定

義する．











 
        (5)

このように複数の異なる定位が得られる場合に，複数の音源が存在していても音源追跡が実現できるよう一般的なパーティクルフィルタに対して改良を行った．改良は，主に次の 3 点について行った．

1. 複数音源が扱えるよう複数のパーティクルグループを許容し，観測状況により，グループ数を動的に変化させる機構の実装
2. 移動音源はある程度の速度があれば急激に進行方向を変えないという仮定の下，ランダムウォークと運
動方程式を音源速度に応じて使い分ける非線形な遷移モデルの採用
3. REMA，IRMA から得られる次元数の異なる定位情報を透過的に統合するため，尤度レベルで定位情報を統合する機構の実装

       (8)



この step では，まず，遷移モデル     を用いて，   から   を推定する．次に，  を
式 (20) を用いて更新する．最後に, 式 (7) に従って， を正規化する．
遷移モデルに対しては，前述のようにランダムウォー
クと運動方程式を音源の速度に応じて使い分けるような非線形のモデル化を行った．具体的には，音源速度が 以下の場合, システムはランダムウォークモデルを採用する（本稿では， の値は   とした）．この場合の遷移モデルは下記の式で定義される．










   (9)   (10)   (11)   (12)なお， は白色雑音を示している．なお，分散は実験的に求めた値を使用した．
音源速度が  より大きい場合は, システムは下記に定義される運動方程式に基づくモデルを用いる．

 Step 1 – 初期化
パーティクルの初期化を行う． 番目のパーティクルの内部状態  を         とする．    
は音源の位置，  は音源の速度，  は音源の進行方向である．初期化では，すべてのパーティクルを一様にかつランダムに分布させる．また，複数音源を扱うために，
パーティクルグループを導入して，重要度を下記のように定義した．

  

時刻 における REMA もしくは IRMA からの  番目の観測   もしくは   をまとめて   と表すこと         を満たす場合,   はにすると 
 にアソシエートされる．ここで，   は，ユークリッド
距離を表している．また，  に対応するパーティクル
グループが見つからない場合，新規にパーティクルグルー
プを生成する．パーティクルグループ  にアソシエート
する観測が一定時間  以上得られなかった場合， は，消滅する．いずれの場合も，パーティクルは，式 (7) が満たされるように再配置される．

 
 
 
 

実際に構築した改良パーティクルフィルタは，初期化, 音
源生成・消滅チェック, 重要度サンプリング (Importancesampling), 選択, and 出力 の５つのステップからなっている. 以下に，詳細を記述する．

   

Step 3 – 重要度サンプリング(6)

 は，絶対座標系での水平角を示し，  ，  は，絶対座標系での位置を示す．また，  は音源の進行方向，
 ，  は，推定されたパワーを示している．

  

この Step は，複数音源を扱うために新規に追加した．
パーティクルグループ  の内部状態は下記のように定義
される．




 




 




 




                    !    
  !       !     !  
 







(13)
(14)
(15)
(16)

ここで ! は重みパラメータであり，実験的に求めた．
  と   は下記式で定義される．

(7)

ここで， は  番目のパーティクルグループ  のパー
ティクルの数， は音源の数.  は全パーティクルの総数
である．

 
 

45




      

 
 "





Microphone
Array
Integrator(18)

%

ここで 

 は，ベクトル  が x 軸となす角度を示す.
% および % は REMA と IRMA の音源定位
結果の分散である．  は，ロボットの位置を示す．
#  および #  を下記の式で統合し，#  を

  !  #    !   #







 "



(19)

(20)

(21)



(23)



この際, 一般的な Sampling Importance Resampling (SIR) ア
ルゴリズム [2] を用いている．

Step 5 – 出力
更新後のパーティクルの密度から事後確率   を推定する. 音源  に対するパーティクルグループの内部状態は式 (8) によって推定される. Steps 2 – 5 が追跡が終了するまで繰り返される．

4

digitalized angle datayPotentio-meter
angle data

Voltage-Frequency
Converter

Robot
MicrophoneArray

I/O card

frequency modulated
angle datasound data

multi-channelsound cardPCb) Architecturea) REMA on Robot
Figure 2: REMA System motion command
Encoderrobot-embedded
microphone arrayomni-directional
vehicleこれらのパーティクルも，残差重みパラメータ % に従って分配される．

%     

robot

rotational table

この場合，% 個のパーティクルが更新されないままとなっている．
%   
 "
(22)

 

REMA
systemASIMO head

Step 4 – 選択
重要度  に応じて, パーティクルの更新を行う．  を満たす に対するパーティクル数は下記式で更新される．

  &'    "

localization
results

Rotational Table

ここで ! は統合用重みパラメータである．最後に  を
下記式で更新する．

   #

localization
results

Figure 1: Spatial Integration System

導出することによりマイクロホンアレイの尤度レベルの統合を行っている．

#

micophone array

ea
rra

(17)
tracking results







ph
on

%

 

y





rra

#   $IRMA
systemico  $

Sound Viewer

m

#






ea
on
ph
co
mi

       

尤度の定義は下記に示すとおりである．

今回は回転台のみを用い，全方向移動台車は静止させて使用した．
回転台の動作情報と REMA の音響信号処理をハード
ウェア的に高精度に時間同期させ，音源定位結果を絶対座標系に変換するため，図 2b) に示すアーキテクチャを構築した．
回転台の回転角はエンコーダを用いて 0.0015Æ の解像度で精度よく計測できるが，情報出力までに遅延が生じる．同期を行う際には，この遅延を考慮する必要がある．
一方，ポテンショメータは，アナログ出力であるため，解像度は，0.95Æ 程度であるが，時間遅延はほぼ 0 で角度情報を計測することができる．そこで，ポテンショメータも同時に回転台に設置し，両センサからの情報を比較する
ことにより，遅延の計測を試みた．なお，ポテンショメー
タは電圧-周波数コンバータを介してサウンドカードに接続するようにしている．これは，ポテンショメータから得られる回転情報がサウンドカードで DC 成分としてフィルタリングされないようにするためである．比較した結果，エンコーダには平均 32.9 ms の時間遅延があることがわかった．そこで，絶対座標変換の際にはこの値を考慮して変換を行うことにより高精度な同期を実現した．

4.2

システム実装図 1 に空間統合システムの構成図を示す．REMA 搭載ロ
ボット, IRMA システム, マイクロホンアレイ統合器, 音源
ビューワの 4 つのコンポーネントからなる．

4.1 REMA 搭載ロボット
REMA 搭載ロボットを図 2a) に示す．ロボットは 8 チャ
ネルの REMA を搭載した Honda ASIMO の頭部，回転台，
全方向移動台車から構成されている．REMA は，ゴム製のヘアバンドに 8 本の無指向性マイクを等間隔で配置したものであり，これを ASIMO の頭部に設置した．回転台，
全方向移動台車は PC から制御可能になっている．ただし，

46

IRMA システム

64 ch の IRMA システムを構築した. 構築システムは 4 台の JEOL 製 RASP II を用いて，同期して 64 チャネルの信
号を 16 kHz サンプリングで収音することが出来る．図 3
は IRMA システムが実装されている 4.0 m 7.0 m の部屋を示している. 三方の壁は吸音材で覆われており，残り一方の壁はガラス製である．また，室内にはキッチン台が置かれているなど，反響が一様でない部屋となっている．
壁に設置されたマイクの高さは 1.2 m である．マイク配置
は，なるべく部屋全体をカバーできるような配置となっている．IRMA 用のビームフォーマを設計するため，まず，
 ( メッシュを用いて，室内の離散化を行った．離散化
した領域は， 軸方向が 1.0 m – 5.0 m， 軸方向が 0.5 m– 3.5 m まで，) 軸（高さ）方向は 1.2 m で固定した．従って，離散化によって 221 点の音源定位用の評価点をサンプルした．次に，反響が一様でない環境や任意のマイクレ内が自由空間であることを仮定して，“RSim-BF” は壁の反響を考慮して，シミュレーション計算により設計したものである．
音源追跡に関しては，下記の 5 つの状況を設定し，複数音源の同時追跡行った．

Table 1: The effect of a sub-array on computational cost (simulation)


computational
cost (%)

7
6
5
4
3.5
3
2.5
2

100
99.9
97.4
82.4
68.8
53.0
37.5
23.2

# of ch to use
Max
Min
64
64
64
64
62
56
39
29

64
63
41
33
22
19
12
0

4

1.0m

Position Y (m)3
P1 (1.43, 2.13) P0 (2.93, 2.13)
2

1.9m

Kitchensink

1
Microphone(5.23, 0.88)
0
0

1

2

3
4
Position X (m)

5

6

7

Figure 3: Layout of Microphones
イアウトに対応するため，すべての音源定位用評価点でス
ピーカを  に置かれたロボットの方向に向けた状態でインパルス応答の計測を行い，伝達関数を計測した．この伝
達関数によって得られるビームフォーマを “M-BF” と呼ぶものとする．また，M-BF に対してサブアレイ法を適用したビームフォーマ（以後，“MS-BF” とする) を設計した．
この際，2.2 節で述べた距離の閾値  は，3.5 m に設定した. この場合，表 1 に示したように，平均 30% の計算量削減を見込むことが出来ることをシミュレーションによって確認した．

4.3 マイクロホンアレイ統合器とサウンドビューワ
マイクロホンアレイ統合器では，3.2 節で説明したパーティ
クルフィルタによって，REMA と IRMA の定位結果を統合し，音源追跡を行う．追跡結果はサウンドビューワに送られる．サウンドビューワは，Java3D で実装されており，
実時間 3D 表示機能を有している．

5

Ex.2A: 録音音声を出力するスピーカを (2.93 m, 0.63 m)
から (2.93 m, 3.63 m) まで， を中心とした半径 1.5 mの弧上を反時計回りに動かした．ロボットは  に設置し，向きは 180Æ の方向に固定した.
Ex.2B: スピーカを  に，ロボットを  に固定した. ただしロボットは 90Æ から 270Æ まで回転させた. 他の条件は Ex.2A と同じである．
Ex.2C: スピーカを Ex.2A と同様に移動させた. ロボットは  に設置したが，その向きはスピーカの動きに追従するように 90Æ から 270Æ まで移動させた．
Ex.2D: 2 人の男性被験者 (A 氏 と B 氏) に発話しながら，中心  ，半径 1.5 m の円に沿って移動するように依頼した．発話は，日本語の文章であり，常にロボットの方向を向いてしゃべってもらった．A 氏は (2.93 m,
0.63 m), （つまりロボット座標系で水平角が 90Æ）を起点に時計方向に 0Æ まで移動してもらい，そこから折り返して，270Æ まで反時計回りに移動してもらった. B 氏は (2.93 m, 3.63 m) を起点として，A 氏と対称になるように移動してもらった．つまり，まず，反時計回りに 0Æ まで移動し, 次に時計回りに 90Æ まで移動した．2 人は 0Æ で近づいてから離れ，180Æ では
近づいてそのまま交差するという状況になっており，
音源追跡ではこの曖昧性を解決する必要があるような状況である．ロボットは  に固定し，向きも 180Æに固定した.
Ex.2E: 被験者の動作は Ex.2D と同じである. ロボットの位置は  固定であるが，その向きは，常に A 氏の方向を向くように回転させた.
リファレンスデータを取得するために，超音波 3D タグシステム (U3D-TS) を用いた．このシステムは，超音波
3D タグを，数センチの誤差で定位することが可能である．
[13]，今回は，被験者やスピーカにタグを設置して同時にリファレンスデータを取得した. また，実験では, IRMA用のビームフォーマとして MS-BF を用いた．

5.1

結果

図 4a)-d) は IRMA による単音源の定位結果を示している．
横軸は時刻，縦軸は推定した X, Y の値をメータで示したものである．図 4e) は REMA による定位結果を示している．横軸は時刻，縦軸は推定した音源の極座標系での水平角となっている．図 4f) は定位の平均誤差と標準偏差を示している．
図 5 は音源追跡実験の結果を示している．図 5 の各列は上からそれぞれ実験 Ex.2A – Ex.2E に対応している. 左の行は REMA による定位結果を示している. 横軸は時間であり，縦軸は推定した水平角である．青いアスタリスク
は，ロボット座標系での定位結果を，赤線はエンコーダから得られたロボットの動作情報を絶対極座標系で表している．赤いプラスマークは，絶対極座標系に変換した
後の定位結果を表している．中央の行は IRMA による定位結果を表している. 青いアスタリスクは絶対 x-y 座標系

評価

構築システムを用いて，音源定位，および音源追跡のパフォーマンスの評価を行った．
音源定位に関しては，まず，その基本性能を知るため，単一音源の定位を IRMA および REMA を用いて行い，定位の誤差平均とその標準偏差を計測した．音源には，図 3 に示す P1 に配置したアクティブスピーカ GENELEC 1029A
を用いて再生した録音音声を用いた．スピーカの方向は0Æ とした．なお，(1,0) ベクトルの方向を 0 度とし，＋方
向は反時計回りの方向とした．
IRMA 用のビームフォーマには，“M-BF”, “MS-BF”,“Sim-BF”, “RSim-BF” の 4 種類を用いた．“M-BF”, “MSBF” は 4.2 節で説明したものである. “Sim-BF” は単に室

47

4

6

8

10

12

14

16

18

20

3
2
1
0
0

2

4

6

8

10 12
Time (sec)

14

16

18

2

4

6

2

4

6

8

2

4

6

8

10

12

14

16

18

20

10 12
Time (sec)

14

16

18

20

3
2
1

d) RSim-BF(IRMA)

REMA
Avg.(deg) S.D.(deg)
4.01
3.25
5.96
6.14
7.46

18

20

1
2

4

6

8

10 12
Time (sec)

360
330
300
270
240
210
180
150
120
90
60
30
0
0

0

2

4

6

8

0

2

4

6

8

16.18
7.61
3.16
10.66
7.83

IRMA Only

10

12

14

16

18

20

14

16

18

10 12
Time (sec)

14

16

18

20

3
2
1
0

20

c) Sim-BF(IRMA)
Beamformer
M-BF (IRMA)
MS-BF (IRMA)
Sim-BF (IRMA)
RSim-BF (IRMA)
MUSIC (REMA)

2

4

6

8 10 12 14 16 18 20
Time (sec)

Error
Avg.
S.D.
0.016 m 0.039 m
0.019 m 0.041 m
0.95 m1.19 m0.50 m0.52 m
4.56Æ

1.41Æ

f) Error of Localizatione) MUSIC(REMA)
Figure 4: Sound Source Localization Resultsの計算量削減を達成した．実際 IRMA システムは，サブアレイ法の導入によって，約 16 fps の処理をリアルタイ
ムで可能にした．

IRMA
Avg.(m) S.D.(m)
0.217
0.082
0.190
0.194
0.234

事前計測した離散点では伝達関数が利用可能であるが，その他の点をサポートするためには，何らかのインター
ポレーションが必要である．そのような場合には，RSimBF を利用することも可能であると考えられる．REMA でMUSIC を用いた場合，約 4.5Æ の定位誤差となった. これは，ロボットから 1.5 m 離れた場所では，12 cm のエラーに相当する．つまり，ほぼ IRMA の定位精度と同等であるといえる．定位の解像度はより近い音源では精度が高くなり，遠くなるに従い悪くなる．今回の音源追跡実験はロボットと音源の距離は約 1.5 m であったので，統合用の
重みパラメータ ! は 0.5 とした．

0.157
0.249
0.303
0.173
0.200

Table 3: Tracking Error with Particle Filter

Ex.2A
Ex.2B
Ex.2C
Ex.2D
Ex.2E

16

2

Table 2: Localization Error with REMA and IRMA

Ex.2A
Ex.2B
Ex.2C
Ex.2D
Ex.2E

14

b) MS-BF(IRMA)

4

0
0

12

3

Estimated Azimuth (deg)

Estimated X (m)Estimated Y (m)

0

10

7
6
5
4
3
2
1
0
4

a) M-BF(IRMA)
7
6
5
4
3
2
1
0

8

4

0
0

20

Estimated X (m)

7
6
5
4
3
2
1
0
0

Estimated Y (m)Estimated X (m)2

4

Estimated Y (m)Estimated X (m)Estimated Y (m)

7
6
5
4
3
2
1
0
0

Avg.(m)S.D.(m)Integration of
IRMA and REMA
Avg.(m) S.D.(m)

0.12
0.06
0.11
0.16
0.18

0.062
0.012
0.075
0.084
0.133

0.10
0.06
0.10
0.16
0.17

0.040
0.012
0.071
0.083
0.123

での定位結果を表している．右の行は，パーティクルフィ
ルタを用いた音源追跡結果である．赤線は IRMA から得られた定位結果のみを用いた場合の音源追跡結果である．
青線は，REMA と IRMA 両方の定位結果を用いた場合の音源追跡結果である．また，各図の黒線と緑線は U3D-TSによって得られた音源方向のリファレンスデータである．
表 2 は REMA および IRMA における音源定位誤差の平均および標準偏差を表している．また，表 3 は音源追跡の誤差を表している．

5.2 考察
音源定位実験からは，M-BF および MS-BF の精度がよい
ことがわかる. 定位誤差は 15 – 20 cm 程度であり，メッシュサイズが 25 cm であることを考えれば，小さい値であるといえよう．これらのビームフォーマは測定した伝達関数に基づいて設計されたものであり，測定環境における反響などのノイズ成分にロバストである．処理速度も考えた場合，表 1 に示したとおり, 定位精度を保ったまま 30%

48

音源追跡実験における，REMA と IRMA の定位結果については，U3D-TS の追跡結果と比較すると，一部に定位
結果の飛びが見受けられる．また，表 2 では，定位誤差
は音源数が増加したり，音源が移動したりすると誤差が増大することを示している．しかし，その増加は数センチ，もしくは数度程度の範囲に収まっており，REMA, IRMA
ともに 2 つの移動音源の精度よい音源定位が行われていることがわかる．また，REMA の座標系変換に関しては，
変換結果が U3D-TS から得られた定位結果にフィットしており，精度の高い時間同期が達成できたといえる．
しかし，音源定位だけでは，定位結果と対応する音源とのアソシエーション問題は解決されていない．これは，ICA による音源分離ではパーミュテーション問題と呼ばれ，複数音源を扱う際には本質的な問題である．図 5 の
右図のようにパーティクルフィルタにより，この問題が解決されることがわかる．特に，前述した 10 秒付近と 20秒付近に生じている曖昧性が解決され，正しい追跡がなされていることがわかる．これは，被験者が，自然に，近づいて離れる際には速度を落とし，交差する際には速度を落とさないという状況を非線形な遷移モデルがうまく扱っていることを示している．加えて，図 3 から平均定位誤差が 2 cm – 9 cm 程度，標準偏差が平均 10 cm 程度低

360
330

4

90

2

2
1

30
0

0

2

4

6

8

10 12
Time (sec)

14

16

18

0
0

20

2

4

3A-1) REMA result1
8 10 1214 16 18
20 0Time (sec)

6

6

5

4

1

Es
tim
ate
dX

60

7

2

3

0
0

5

10
Time (sec) 15

20 0

1

2

4

5

6

7

(m
)

120

3

X

150

ma
ted

180

3

(m
)

210

Estimated Y (m)

4

240

3

Es
ti

270

Estimated Y (m)Estimated Azimuth (deg)300

3A-3) integrated result3A-2) IRMA result

360
330
270

60

7
6

1

5

0
0

0

5

10

15
Time (sec)

20

25

0
0

30

Es
tim
ate
d

3

30

2

5

10

3B-1) REMA result

1

15Time (sec)

20

25

0

30

)

7
6
5
4
3
2
1
0
30

1

X

4

2
(m

2

dX

90

3

ma
te

120

3

Es
ti

150

Estimated Y (m)

180

(m
)

210

0

4

4

240

Estimated Y (m)Estimated Azimuth (deg)

300

10
20
Time (sec)

3B-3) integrated result3B-2) IRMA result

360
330

4

5

Time (sec)105Time (sec) 10

3C-1) REMA result

15 0

1

2

3

4

0
0

5
Time (sec) 10

15 0

1

2

4

3

7

)

6

(m

5

ed

0
0

15

5

tim

0

1

Es

0

7

at

30

6

tim

1

Es

60

2

)

90

2

(m

120

3

X

150

3

ed

180

at

210

X

240

Estimated Y (m)4270

Estimated Y (m)Estimated Azimuth (deg)300

3C-3) integrated result3C-2) IRMA result

360
330

0

5

10
15
Time (sec)

20

0
0

25

5

3D-1) REMA result

10
15Time (sec)

20

25 0

1

2

7
6
5
4
3
2
1
25 0

(m
)

)

6

1

dX

5

0
0

ate

3

4

2

5

10
15
Time (sec)

20

tim

30

1

Estimated Y (m)

60

7

(m

90

2

3

X

120

ate
d

150

tim

180

3

Es

210

0

4

4

240

Es

270

Estimated Y (m)Estimated Azimuth (deg)300

3D-3) integrated result3D-2) IRMA result

360
330

4

60
30
0

0

5

10
15
Time (sec)2025

3E-1) REMA result
REMA result*** Localization result in the robot polar coordinates+++ Localization result in the world polar coordinates
Robot motion in the world polar coordinates
Tracking result by U3D tag 1 in the world polar coordinates
Tracking result by U3D tag 2 in the world polar coordinates

1
0
0

5

10
15
Time (sec)

20

25 0

1

3

5

7

2

4

3E-2) IRMA result
IRMA result*** 2D Localization result in the Cartesian coordinates
Tracking result by U3D tag 1 in the Cartesian coordinates
Tracking result by U3D tag 2 in the Cartesian coordinates

Figure 5: Tracking Results

49

2
1
0
0

5

10
15
Time (sec)

20

25

0

5

6

7
)

6

3

(m

90

2

Estimated Y (m)

120

3

(m
)

150

dX

180

4

tim
ate

210

Es

240

Es
tim
ate
dX

270

Estimated Y (m)Estimated Azimuth (deg)

300

1

2

3

4

3E-3) integrated result
Integrated Result
Tracking result by PF (integration of room-MA and robot-MA)
Tracking result by PF (using only room-MA)
Tracking result by U3D tag 1
Tracking result by U3D tag 2

減されており，パーティクルフィルタは音源追跡の精度，
ロバスト性を向上させることがわかる．実際に，IRMA の結果のみを使った追跡結果（赤線）は，図 5 の 5 秒から
10 秒付近で大きな誤差が生じているが，IRMA, REMA を統合した追跡結果 (青線) ではこのエラーが低減されていることがわかる．

6

結論

ロボット聴覚を向上させるために異なる２つのタイプのマイクロホンアレイをパーティクルフィルタによって統合する空間統合システムを報告した．IRMA については，
重み付遅延和アレイを実時間で動作させるためにサブアレイ法を導入し，その効果を示した．また，空間統合のため，新規に複数音源に対応したパーティクルフィルタを提案した．実際に，64 チャネルの IRMA，および 8 チャ
ネルの REMA を用いて実時間空間統合システムを構築した．6 種類の状況設定を行って音源追跡実験をした結果，提案手法が，精度，および，ロバスト性を向上させること
を示した．

7

今後の課題

実際にはパーティクルフィルタを利用する際にいくつかのパラメータを設定する必要がある．現状では，実験的にこれらの値を設定しているが，自動的に設定出来るよ
うにする必要がある．また，音源数に関しては，現状，最大２つまでという制約を置いているが，この制約も緩和する必要があろう．また，IRMA については，複数の小さなアレイを利用してパフォーマンスを落とさずにマイク数を削減できる可能性がある．これは今後の課題である．
本稿では，音源追跡を報告したが，音源分離や音声認識に関しても今後報告していきたい．多数のマイクロホンが室内に配置されている状況は，多数のセンサを用いるユ
ビキタス社会を念頭に置けば，決して，飛躍した考え方ではないと考えている．

謝辞
本研究を進めるにあたり，サポートや貴重な意見を頂いた京都大学の海尻聡氏，山本俊一氏，産総研の浅野太氏，麻生秀樹氏に感謝する．

参考文献
[1]

P. Aarabi and S. Zaky. Robust sound localization using multi-source
audiovisual information fusion. Information Fusion, 2(3):209–223,
2001.

[2]

M. S. Arulampalam, S. Maskell, N. Gordon, and T. Clapp. A tutorial
on particle filters for online nonlinear/non-gaussian bayesian tracking.
IEEE Transactions on Signal Processing, 50(2):174–188, 2002.

[3]

Futoshi Asano, Masataka Goto, Katunobu Itou, and Hideki Asoh. Realtime sound source localization and separation system and its application to automatic speech recognition. In ISCA, editor, Proc. of European Conforence on Speech Processing (Eurospeech 2001), pages
1013–1016, 2001.

[4]

H. Asoh, F. Asano, K. Yamamoto, T. Yoshimura, Y. Motomura,N. Ichimura, I. Hara, and J. Ogata. An application of a particle filter tobayesian multiple sound source tracking with audio and video information fusion. In International Conference on Information Fusion, pages
805–812, 2004.

[5]

I. Hara, F. Asano, H. Asoh, J. Ogata, N. Ichimura, Y. Kawai, F. Kanehiro, H. Hirukawa, and K. Yamamoo. Robust speech interface based on

audio and video information fusion for humanoid HRP-2. In Proc. ofIEEE/RAS International Conference on Intelligent Robots and Systems(IROS-2004), pages 2404–2410. IEEE, 2004.
[ 6]

J. Hershey, H. Ishiguro, and J. R. Movellan. Audio vision: Using audiovisual synchrony to locate sounds. In Neural Information Processing
Systems, volume 12, pages 813 – 819. MIT Press, 2000.

[ 7]

C. Hue, J.-P. L. Cadre, and P. Perez. A particle filter to track multiple
objects. In IEEE, editor, IEEE Workshop on Multi-Object Tracking,pages 61–68, 2001.

[ 8]

L.A. Jeffress. A place theory of sound localization. Journal of Comparative Physiology and Psychology, 41:35–39, 1948.

[ 9]

J. MacCormick and A. Blake. A probabilistic exclusion principle fortracking multiple objects. International Journal of Computer Vision,
39(1):57–71, 2000.

[10] H. McGurk and J. MacDonald. Hearing lips and seeing voices. Nature,
264:746–748, 1976.
[11] D. H. Mershon, D. H. Desaulniers, S. A. Kiefer, T. L. Amerson, Jr.,and J. T. Mills. Perceived loudness and visually-determined auditory
distance. Perception, 10:531–543, 1981.
[12] K. Nakadai, D. Matsuura, H. G. Okuno, and H. Tsujino. Improvementof recognition of simultaneous speech signals using av integration andscattering theory for humanoid robots. Speech Communication, 44:97–
112, 2004.
[13] K. Nakadai, H. Nakajima, K. Yamada, Y. Hasegawa, T. Nakamura, and
H. Tsujino. Sound source tracking with directivity pattern estimation
using a 64 ch microphone array. In Proc. of the IEEE/RSJ Intl. Conference on Intelligent Robots and Systems (IROS 2005), pages 196–202,
2005.
[14] G. Potamianos and C. Neti. Stream confidence estimation for audiovisual speech recognition. In Proceeding of the International Conference on Spoken Language Processing (ICSLP 2000), pages 746–749.
ISCA, 2000.
[15] H.F. Silverman, W.R. Patterson, and J.L. Flanagan. The huge microphone array. Technical report, LEMS, Brown University, 1996.
[16] Y. Sugita and Y. Suzuki. Audiovisual perception: Implicit estimationof sound-arrival time. Nature, 421:911, 2003.
[17] S. Thrun, W. Burgard, and D. Fox. Probabilistic Robotics. The MIT
Press, 2005.
[18] J.-M. Valin, F. Michaud, B. Hadjou, and J. Rouat. Localization of simultaneous moving sound sources for mobile robot using a frequencydomain steered beamformer approach. In IEEE, editor, Proc. IEEE
International Conference on Robotics and Automation (ICRA 2004),
2004.
[19] Jean-Marc Valin. Auditory System for Robot. PhD thesis, Universitè de
Sherbrooke, 2005.
[20] J. Vermaak and A. Blake. Nonlinear filtering for speaker tracking innoisy and reverberant environments. In IEEE, editor, IEEE International Conference on Acoustics, Speech, and Signal Processing, volume 5, pages 3021–3024, 2001.
[21] D. B. Ward, E. A. Lehmann, and R. C. Williamson. Particle filtering algorithms for tracking an acoustic source in a reverberant environment.
IEEE Transactions on Speech and Audio Processing, 11(6):826 – 836,
2003.
[22] D. B. Ward and R. C. Williamson. Particle filtering beamforming for
acoustic source localization in a reverberant environment. In IEEE, editor, IEEE International Conference on Acoustics, Speech, and Signal
Processing, volume II, pages 1777–1780, 2002.
[23] E. Weinstein, K. Steele, A. Agarwal, and J. Glass. Loud: A 1020-node
modular microphone array and beamformer for intelligent computing
spaces. MIT/LCS Technical Memo MIT-LCS-TM-642, MIT, 2004.
[24] S. Yamamoto, K. Nakadai, H. Tsujino, T. Yokoyama, and H. G. Okuno.
Improvement of robot audition by interfacing sound source separation
and automatic speech recognition with missing feature theory. In IEEE,
editor, Proc. of IEEE-RAS International Conference on Robots and Automation (ICRA-2004), pages 1517–1523, 2004.
[25] 中島 弘史 . 不定項を利用した平均サイドローブエネルギー最小ビー
ムフォーミングの実現. 日本音響学会誌, 62(10):726–737, 2006.

50

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-8 (11/17)

視聴覚情報統合及び EM アルゴリズムを用いた人物追跡システム実現
Real-Time Auditory and Visual Talker tracking through an EM algorithm*金 鉉燉, 駒谷 和範, 尾形 哲也, 奥乃 博
*Hyun-Don Kim, Kazunori Komatani, Tetsuya Ogata, and Hiroshi G. Okuno
京都大学 大学院情報学研究科 知能情報学専攻{hyundon, komatani, ogata, and okuno}@kuis.kyoto-u.ac.jp

Abstract— This paper presents techniques that enable atalker tracking for effective human-robot interaction. We
propose a way to use an EM algorithm to select an appropriate path for tracking a talker. The proposed algorithm is simple because it contains relatively few conditional statements. Moreover, the proposed way can easily
adapt new kinds of information for tracking talker to oursystem. This is because our system estimates the positionof a desired talker through means, variances, and weights
calculated from EM training regardless of the number andkinds of information. In addition, to enhance a robot’s
ability to track a talker in real-world environments, weapplied a particle filter to the talker tracking after performing EM algorithm. Besides, we have integrated a variety of auditory and visual information regarding soundlocalization, face localization, and lip movement detection. Notably, we have applied a sound classification
function that allows our system to distinguish between
voice, music, or noise. Also, we developed a vision module that can locate moving objects.
1.

conditions.
The objective of this research has been to develop
techniques that enable a talker tracking for effective human-robot interaction. Recently, Nakadai et al. developed
real-time auditory and visual multiple-talker tracking
technology [1, 2]. However, the program of this system
has many conditional statements to enable multiple-talker
tracking. Specifically, this system has auditory, vision,and motor modules and generates a stream through events
extracted by each module. And streams can be associatedin a pair of auditory and visual streams to create a higher
level stream called an associated stream. Unfortunately,
this algorithm needs many conditional statements to create associated streams because the system has to compare
for every stream that differs from the others. Moreover, if
an event of an entirely new kind is applied to the system,
the program structure has to modify all parts of the algorithm related to streams and associations. For this reason,
the program is complex and difficult to modify forchanged conditions. We propose a way to select an appreciate path for tracking a talker from various events
through an expectation maximization (EM) algorithm [5].
Our method is simple because many conditional statements are not needed to create associated streams and is
flexible because newly added streams can be easily applied to the system without modification of an entire algorithm. Moreover, to obtain the reliable tracking path,
we added a particle filter [12] to a tracking process after
performing EM algorithm. That can help the robot totrack a designated talker continuously.
Besides, our auditory system includes a sound classification module that can distinguish between voice, music
and noise to enable reliable talker tracking in real environments. To realize this, we used a Gaussian mixture
model (GMM). To make up for the fact that a face detection module cannot detect a face which is turned away ortilted, we also developed a module to locate moving objects. The vision system can detect lip movement to identifying a talker.

INTRODUCITIONIn the near future, we expect the participation of intelligent robots in human society to grow rapidly. Therefore,
since effective interaction between robots and the average
person will be essential, robots should identify people insocial and domestic environments, pay attention to thevoices of people and look at speakers to identify themvisually and associate voice and visual images so as torobustly realize interaction between the robot and the desired person [1-4]. To cope with the rapidly changing
circumstances and technology related to robots, robots
should be able to easily adapt themselves to new environments and technologies. For example, people have recently taken interest in the possibilities offered by remotecontrol and information exchange between robots or robots and various electronic appliances; that is, what iscalled ubiquitous environment. For such applications, robots receiving information regarding new circumstances
will need to apply themselves to these circumstances
without the assistance of robot experts or developers.
That is, the installed software of robots should be flexible
enough that programmers do not have to modify the program or the algorithm whenever robots encounter new51

2. DESIGN OF SYSTEM
2.1 Robot Hardware
As a test of real-time talker tracking, we use a humanoid robot called SIG2 (Figure 1). SIG2 has two
omni-directional microphones inside humanoid ears at theleft and right ear position, its head and body respectively
have three degree of freedom (DOF) and one DOF, eachof which is enabled by a DC motor controlled by an encoder sensor. SIG2 is equipped with a pair of CCD cameras, but the current vision module uses only one camera.

is up to 250 ms.
3) Motor: Generates motor events and controls motors
for a talker tacking. The time needed for each event generation is 100 ms.
4) Viewer: Displays various streams, result data, and thetracking status.

2.3 Design of Main System
The main (server) module can currently create four
streams (sound, face, moving object, and motor) using
events extracted by the subsystems. Beyond that, to trackthe desired talker among a group of people in a noisy environment, the main module estimates an appropriate
tracking path through the EM and particle filter.
1) Stream Formation: The server firstly synchronizes
the events provided by other modules. A motor event isused in synchronization between the current motor position and the horizontal angle of localization extracted
from auditory and vision events over time. This process isimportant for tracking a talker because it can use an absolute coordinate regardless of which way the robot’s
head is turned. After that, an auditory event is connectedto the nearest auditory stream within ± 15 ° with a common pitch. Each auditory stream can be classified according to three sound classes (voice, music, and noise).
A visual event is connected to the nearest visual stream
within ± 5 ° . For a visual stream, there is a face stream,
which includes the status of lip movement detection, andan object moving stream. If any appropriate stream isfound, such an event becomes a new stream. If no event isconnected to an existing stream within 1 sec, the stream
terminates.
2) Estimating A Tracking Path: In a conventional system, a pair of auditory and visual streams can be associated to enable robust tracking of multiple objects. However, the stream association depends on many conditional
statements of the algorithm. To avoid problem, we use
EM algorithm that allows a robot to classify the range fora tracking path among a lot of events or streams. Then, aparticle filter helps it to estimate the reliable path fromthe classified range in order to track a designated talker
continuously. Finally, for generating a smooth motion
when turning a head’s motor, we applied an interpolation
method using Bezier curve to the talker tracking.

Fig. 1. SIG2

Fig. 2. System Overview

2.2 Design of Subsystems
Figure 2 shows the structure of the system based on aclient/server model. Our system consists of four client
modules (auditory, vision, motor, and viewer) and aserver module (main). Each client controls the following
modules:
1) Auditory: Generates auditory events through pitch
extraction, sound source localization, and sound sourceclassification. In particular, an auditory module can discriminate among three classes (voice, music, and noise).
The sampling frequency is 16 kHz, the processing timefor each event generation is 32 ms, and 4.5 frames (oneframe consists of 1024 samples) must be calculated forsound source classification.
2) Vision: Generates vision events through face localization, lip movement detection, and moving object localization. The processing time for each event generation

3. AUDITORY SYSTEM
3.1 Sound Source Localization
We use a CSP method for sound source localization.
For the purpose of multiple sound localizations, after wecalculate CSP at every 0.5 frame (one frame consists of52

Fourier transform (FFT), it performs inverse fast Fouriertransform (IFFT) of the logarithm of these signals. Finally,
when the number of samples between two peak signals isfound, the pitch can be detected by:1024 samples) for 4.5 frames, we can estimate the multiple directions of sounds. At that time, we assume that
more than two sounds will not simultaneously enter the
microphones with the same magnitude because CSP cannot detect sounds from multiple directions at the sametime.
1) Cross-Power Spectrum Phase: The direction of thesound source can be obtained by estimating the time delay of arrival (TDOA) between two microphones [6].
When there is a single sound source, the TDOA can be
estimated by finding the maximum value of thecross-power spectrum phase (CSP) coefficients [7], asderived from⎡ FFT ⎡ s ( n ) ⎤ FFT ⎡ s ( n ) ⎤ ∗ ⎤
⎣ i
⎦
⎣ j
⎦ ⎥
cspij ( k ) = IFFT ⎢⎢ FFT ⎡⎣ si ( n ) ⎤⎦ FFT ⎡ s j ( n ) ⎤ ⎥
⎣
⎦⎦
⎣
(1)

τ = arg max ( CSPij ( k ) )Pitch =

2) Spectrum Flux:Spectrum flux (SF) is the averagevariation value of the spectrum between two adjacentframes [9]. SF is denoted asSF =v ⋅τ ⎞⎟d⎝ max ⋅ Fs ⎠

(2)

(3)

where θ is the sound direction, v is the soundpropagation speed, Fs is the sampling frequency, and dmax
is the distance with a maximum time delay between two
microphones.

3.2 Audio Feature Analysis
Our system can classify three types of sounds (voice,music and noise) for talker tracking in a real environment.
It uses four auditory features (pitch, SF, MFCC, andsound localization), and needs to calculate a period of 4.5
frames for sound classification.
1) Pitch Extraction: “Cepstrum” means the signals
made by inverse Fourier transform of the logarithm ofFourier transform of sampled signals. One of the mostimportant features of the cepstrum is that if a signal is periodic, the cepstrum will present peaks at intervals foreach period [8]. Therefore, the cepstrum can reliably ex-

μ=

σ2 =

equation of the cepstrum is denoted as

}

2

(6)

3.3 Sound Source Classification by GMM
Figure 3 shows the processing flow for classifying
sound signals by auditory features. First, we apply eachfeature data extracted from the cepstrum, MFCC, SF, or
CSP to mean defined as (7) and covariance defined as (8)tract the pitch of a speech signal. Given a signal x (ω ) , the{N −1 K −1⎡log ( A ( n, k ) ) − log ( A ( n − 1, k ) ) ⎤⎦( N − 1)( K − 1) ∑∑ ⎣where A(n,k) is the discrete Fourier transform of then-th frame of the input signal, N is the total number offrames, and K is the order of FFT. In our experiments, wefound that, in general, the SF values of voice are higher
than those of music or noise. Therefore, SF is a good feature for classifying speech signals. This feature is used todiscriminate between speech and non-speech.
3) Mel Frequency Cepstral Coefficients: There are twodominant types of acoustic measurement of a speech signal for the feature extraction of speech. One is the parametric approach, which was developed to match closely
the resonant structure of the human vocal tract that produces the corresponding speech sound. It is mainly derived from linear predictive analysis, such as LPC-based
cepstrum (LPCC). The other is the non-parametricmethod which models the human auditory perception
system. Mel frequency cepstral coefficients (MFCCs) areused for this purpose [10]. Here, we used the 0 to 12th
MFCCs. MFCC provides good information useful for
discriminating between speech and non-speech. Usually,
the 0 to 12th MFCCs of speech signals have different patterns for speech, music, or noise respectively.

⎛

cc (τ ) = IFFT log x (ω )1

n =1 n =1

where k and n are time delays, FFT (or IFFT) is the fast
Fourier transform (or inverse FFT), * is the complex
conjugate, and τ is the estimated TDOA. The soundsource direction is derived from

θ = cos −1 ⎜Sampling Frequency
Number of samples between the two peaks (5)

1 M
∑ Xm
M m =1M

1∑( Xm − μ)M m =1(7)
2(8)
where Xm is data, μ is the mean, σ is the variance,and M is the number of data. Then, for the cepstrum, SF
and CSP, if the values calculated from the mean and thecovariance are within the boundary of those of speech
signals, each final feature value, ft2~4, will have the re-(4)

In the sequence to extract pitch signals, we first apply a
Hamming window to the sampled signals to minimize
frequency leakage effects. Then, after performing fast53

sulting value as a speech signal.
When using MFCCs, we apply the 0 to 12th MFCCs toGaussian Mixture Model (GMM) defined by (9) and theweight as denoted by (10). The GMM is a powerful statistical method widely used for speech classification [11].

plies functions for detecting human faces. Therefore, we
can get the number and the coordinates of the detected
faces through OpenCV [4]. Our system used 320 x 240
images and can calculate about four images per second.

(9)

4.2 Lip Movement Detection
We achieve lip movement detection using an OpticalFlow function in OpenCV. This function can detect avariation between a former picture and a present one.
Therefore, our system can accurately distinguish when aspeaker is talking.

12

Pmixture ( X 0~12 θ 0~12 ) = ∑ PL ( X L θ L ) w ( L )
L =0

L +1

(10)

∑ w ( L ) = 1, 0 ≤ w ( L ) ≤ 1
L =1

where P is the component density function, L is thenumber of the MFCC order, X is the 0 to 12th MFCC data,and θ is the parameter vector concerning each MFCC.
Moreover, to classify speech signals robustly, we designed two GMM models for speech and noise derived as

(

)

(

f t1 = log Ps ( xs ( t ) Θ s ) − log Pn ( xn ( t ) Θ n )

)

(11)

where Ps is the GMM related to speech, and Xs(t) is the
speech feature data set at the t-th frame belonging to the
speech parameters, Θ s . On the other hand, Pn is the
GMM related to noise and Xn(t) is the noise feature data
set at the t-th frame belonging to the noise parameters, Θn .
Finally, all final feature values, ft1~4, that have appropriate
weights, w1~4, are combined to judge whether the frame isvoice, music or noise. To train the GMM parameter, weused 30 speech datum (15 male and 15 female), 15 noise
datum (white, brown, pink, and clapping), and 15 music
datum (normal pop music excluding vocals).

Fig. 4. Feature mask for detecting lip movement

Figure 4 shows feature masks applied to the area ofdetected faces to detect lip movement. If the amount ofvariation detected by the lip feature mask is large, thesystem will infer a person is talking. However, if theamount of a variation detected by the face feature mask
exceeds that detected by the lip feature mask, the system
will regard the person, who is not talking, because theamount of a variation detected by the feature mask is also
increased when a person swings his face. This prevents
misdetection for detecting lip movement when a face ismoving.

Fig. 5.

Results of face detection and finding the talker

Figure 5 shows the results of face and lip movement
detection among three people. In this picture, blue boxes
indicate detected faces and a left person, whose box has
turned red, is selected as the talker because lip movement
is detected among the detected faces. The left part of Figure 5 shows the applied feature masks.

Fig. 3. Sound source classification by auditory features

4. VISION SYSTEM
4.1 Face Localization by OpenCV
For the purpose of detecting human faces, we used
open computer vision (OpenCV), the open source visionlibrary created by the Intel Company. This library sup-54

4.3 Moving Object Localization
OpenCV has some limitations. First, it cannot determine
a face over 2m away by using 320 x 240 images. Second,it cannot detect a face which is turned away or tilted.
Consequently, a person must be looking straight at thecamera. To overcome these shortcomings, we developed
a function for moving object localization by using OpticalFlow. It can infer a moving object’s position from theposition where the value calculated by OpticalFlow ishigh. Therefore, if faces are not detected although people
are in front of the camera, it can obtain the positions ofpeople when they are moving. The right side of Figure 6
shows an image captured by SIG’s camera, and the redlines in the left part of Figure 6 show how different objects are moved between a former image and a present
one.

ture components for training. Section 5.1 to 5.4 describe
this processing in detail.

Fig. 7. Process to select the path for talker tracking

5.1 Arranging the Gaussian mixture components
First, according to the conditions of the streams, thesystem increases the number of events. For example, forsound events extracted from a voice or face events when
lip movement is detected, it increases the actual numberof events by 3 to 4 times so that the Gaussian components
for EM training are gathered near the area of the streamthat has the highest priority. After that, the set of increased datum, Xm, are substituted for a one-dimensional
Gaussian mixture which is denoted as

Fig. 6. Moving object localization by OpticalFlow

5.

TALKER TRACKING SYSTEM

For the purpose of tracking a desired talker, we should
first estimate the appropriate tracking path. Therefore, weapplied an EM algorithm in this process [5], which allows
us to easily obtain the range of direction for tracking fromamong various streams. However, if a robot gets several
sound streams that have the same condition or weight, it
will be difficult to maintain the designated path which a
robot has tracked. Therefore, we also proposed the way to
add the particle filter to the tracking process after performing EM algorithm. The applied particle filter helps
the robot to track the designated path continuously even if
the condition and weight of streams or events is the sameand the distance between those is also close. Moreover,
we applied interpolation method using Bezier curve to thefinal process of a tracking algorithm so that the robot has
the smooth motion when motor is rotating.
Figure 7 shows the process to select an appropriate
tracking path by the EM and particle filter algorithm. In
Figure 7, for simplicity there are just two kinds of stream(sound stream and vision stream) and four Gaussian mixture components for EM training. However, our system
actually has three kinds of streams (sound, face, andmoving object localization) and uses eight Gaussian mix-

P ( X m μk , σ k ) = P ( X m θ k ) =

1
2πσ k

2

e

−

( X m − μ k )2
2σ k 2(12)

where μk is the mean, σ k2 is the variance, θ k is aparameter vector, and k is the number of mixture components. The objective is to find the parameter vector θ kdescribing each component density P ( X m θ k ) .
Second, for EM training (iteration), eight Gaussiancomponents are located between -90 ° and 90 ° at 1 sec
intervals and the interval to run EM algorithm also shifts
every 100 ms. At that time, if the coordinates of the robot’s head change, the position to locate components will
also change corresponding to the coordinates of the motor.
This step is shown in the top of Figure 7.

55

5.2 Performing the EM algorithm
After locating the Gaussian components, the systemruns the E-step and M-step for less 10 iterations. This EM
step in detail is as follows.
1) E-step: The expectation step essentially computes

after performing EM algorithm. Therefore, particle filter
can help a robot to maintain the designated tracking path
which the robot has tracked regardless of changing thelocation of talkers. The detail process of applied particle
filter is as follows. First, we can estimate a present tracking position by former tracking positions. This model isdefined asT2(17)
xti+1 = xti + x&ti ⋅ Ts + x&&ti s
2
where i is the number of particle, Ts is a sample period,
xit+1 is a estimated tracking position, xit is the former

the expected values of the indicators P (θ k X m ) that eachdata point Xm was generated by component k, given N is
the number of mixture component, the current parameter
estimates θ k and weight wk , using Bayes’ Rule derived
astracking position, ẋit is the differential value between xit
P ( X m θ k ) ⋅ wk
P (θ k X m ) = N∑ P ( X m θk ) ⋅ wk
k =1

and xit-1, and the differential value between ẋit and ẋit-1 isx&&ti . Then, the particle filter spreads particles in the range(13)of ± 15 ° of the estimated position. This step is shown inthe middle-right part of Figure 7.
Second, it calculates the equation (18) by using result
values (mean, variance, and weight) calculated by EM
algorithm and then it should iterate the update routine until the condition of resample is satisfied. The equation(19) defines the condition of resample. Then, tracking
points can be determined as you see the bottom-right partof Figure 7. The iteration routine of this particle filter indetail is as follows.
1) Measurement update: Update the weights by the
likelihood:2) M-step: At the maximization step, we can computethe cluster parameters that maximize the likelihood of thedata assuming that the current data distribution is correct.
Accordingly, we obtain the recomputed mean using (14),the recomputed variance using (15), and the recomputed
mixture proportions (weight) using (16).
M∑ P (θ X ) ⋅ X

μk = m =1 M

k

m

m

(14)

∑ P (θ X )
k

m =1

m

M

σ =
2
k

∑ P (θ X ) ⋅ ( X − μ )
m =1

k

m

m

k

2

(15)

M

∑ P (θ X )
m =1

k

(

1 M
wk = ∑ P (θ k X m )N m =1

)

(16)

(

)

P xti θ ti ⋅ wti

ωti = ωti−1 P θ ti xti = ωti−1 N

m

(18)

∑ P(x θ )⋅ w
i
t

i =1

i
t

i
t

i = 1, 2, K , N and normalize to ωti := ωti ⎡ ∑ ωti ⎤⎢⎥⎣ i =1 ⎦N

where M is the total number of data.
Finally, we can obtain the estimated mean, varianceand weight corresponding to the current data distribution
if the E and M steps are iterated an adequate number oftimes.
Consequently, Gaussian mixture components are relocated around the streams and the components are mainly
concentrated where the density of streams is high. In addition, the mean, variance, and weight of components are
decided according to, respectively, the location value, thedistributional range, and the priority of streams. Also, thestart point for a talker tracking is determined where theweight calculated by EM is the highest. This step isshown in the middle-left part of Figure 7.

−1

N

As an approximation to, take x ≈ ∑ ω i x i
t

i =1

t

t

2) Re-sampling:(a) Bayesian bootstrap: Take N samples with replacementfrom the set { xti } where the probability to take sample
i =0
N

i is ωti . Let ωti = 1/ N . This step is also called Sampling
Importance Re-sampling (SIR).
(b) Importance sampling: Only resample as above whenthe effective number of samples is less than a threshold
Nth,
1
(19)
N eff = N
< N thi 2∑ (ωt )

5.3 Particle Filter Implementation
For the purpose of obtaining the reliable tracking path,
we added the particle filter [12] to the tracking process

i =0

56

same time, the system will select the sound stream
where vision information (face and moving object)
exists nearby. Also, when a sound stream createdfrom music or noise occurs with a face stream, thesystem selects the face stream.
Figure 9 shows that the robot is actually turning its
head towards the direction of a path selected by the EM
and paticle filter algorithm. The pink area indicates thevisibility range of the vision camera and the center of thearea indicates the position of the rotation motor of a head.
In (A) of Figure 9, we can see that a designated tracking
path, that was first started compared to another path, is
continuously selected by our proposed way even if soundstreams exist at the same time. However, if vision stream
appears on another area which did not belong to thetracking path, the tracking path will be changed. This isbecause vision information is usually more reliable than
audio information. In (B) of Figure 9, we can see that although the paths of streams are crossed each other, it isable to maintain the tracking path which was first started.
(C) of Figure 9 shows the talker tracking with all kinds of
stream. Needless to say, the area including all kinds of
stream has top priority when tracking the talker. Therefore, the area is always determined as the tracking path.

Here 1 ≤ N eff ≤ N , where the upper bound is attained when
all particles have the same weight, and the lower boundwhen all probability mass is at one particle. The threshold
can be chosen as Nth =2N/3. Let t:=t+1 and iterate tomeasurement update.

5.4 Estimating the Tracking Path
Finally, the desired tracking path can be determined by
iterating EM and particle filter according to time. Therefore, as you see the bottom-left part of Figure 7, although
the classified areas of streams have the same condition or
the paths of streams are even crossed each other, it is able
to estimate a reliable tracking path. Moreover, it is necessary to produce a smooth path from estimated tracking
points in order to turn motor smoothly. For this step, weused the interpolation method through Bezier curve. The
Bezier parametric curve is given by B(u) as follows:NB ( u ) = ∑ Pk ⋅
k =0

N!
N −k
⋅ u k ⋅ (1 − u )k !( N − k ) !

0 ≤ u ≤1(20)

where the number of data is N and control points Pk with
k=0 to N.
Consequently, the robot can have the tracking path
without an oscillation. Figure 8 shows that the real path of
a motor is converted to the smooth path generated by interpolation through Bezier curve.

Fig. 8. Interpolation through Bezier curve.

6.

EXPERIMENTS AND EVALUATIONAs you see Figure 9, a viewer module displays various
streams, the current position of a motor, and the results
and status of a talker tracking received from main module.
The red rings indicate the path selected for talker tracking
by the EM algorithm and the particle filter. To realize thereliable talker tracking in a real environment, the proposed system was designed with the following points inmind.
1) The sound stream created from noise is rejected for
tracking. Besides, when there are only moving object
streams, they are also rejected for tracking. However,the sound stream created from voice and the facestream create from a face localization are accepted.
2) If two sound streams created from voice occur at the57

Fig. 9. Results of talker-tracking experiments

7.

CONCLUSION AND FUTURE WORK

We have described a way to use an EM and particle
filter algorithm to select an appropriate tracking path forthe purpose of tracking a talker. Our system based on thisapproach has some principal merits. First, the proposed
algorithm is simple because it contains relatively few
conditional statements. It is also not necessary to associate streams, unlike the conventional system, because oursystem can easily infer the distributional range of streams
from the calculated variance by EM. Second, althoughdevelopers do not modify the entire algorithm, the proposed system can easily adapt to new kinds of events or
streams to the tracking system. Since this system estimates the position of a desired talker through means,variances, and weights calculated from EM training regardless of the number and kinds of event and stream,
they only determine the initial condition according to thepriority of the new event or stream. Finally, to produce
the reliable tracking path, we added the particle filter tothe tracking process after performing EM algorithm. Particle filter can help it to maintain the designated tracking
path which the robot has tracked regardless of changing
the condition of streams and the position of a trackingpath.
To realize real-time auditory and visual talker tracking
in practical environments, though, we need to refine oursystem. First, we plan to develop a system that can track agroup of talkers in practical environments. Therefore,sound identification and face recognition will benecessary. And reliable multiple sound source
localization will be also necessary. In this respect, we areconsidering a way to integrate the good points concerning
several methods for sound source localization. Second, torealize a practical active auditory system, we need to add
speech recognition and voice synthesis function to oursystem so that it will be able to talk with humans. In
addition, we will add sound source separation to oursystem so that it can dealing with various sound signals.

teraction Through Real-Time Auditory and Visual Multiple-Talker Tracking,” in Proc. of IEEE/RSJ International
ConferenceonIntelligent

RobotsandSystems(IROS-2001), pp. 1402-1409, Oct. 2001.
[3] K. Nakadai, K. Hidai, H. G. Okuno, and H. Kitano,"Real-Time Speaker Localization and Speech Separation
by Audio-Visual Integration," in Proc. IEEE/RSJ Int. Conf.
Intelligent Robots and Systems, Washington DC USA,May 2002, pp. 1043-1049.
[4] H. D. Kim, J. S. Choi, and M. S. Kim, "Speaker localization among multi-faces in noisy environment by audio-visual integration", in Proc. of IEEE Int. Conf. on
Robotics and Automation (ICRA2006), pp. 1305-1310,
May, 2006.
[5] T. K. Moon. “The Expectation-Maximization algorithm,”
IEEE Signal Processing Magazine, 13(6) pp. 47-60, Nov.
1996.
[6] H. D. Kim, J. S. Choi, C. H. Lee, and M. S. Kim, “Reliable
Detection of Sound’s Direction for Human Robot Interaction,” in Proc. IEEE/RSJ Int. Conf. Intelligent Robots andSystems, Sendai Japan, Sep. 2004, pp.2411-2416.
[7] T. Nishiura, T. Yamada, S. Nakamura, and K. Shikano,“Localization of multiple sound sources based on a CSP
analysis with a microphone array,” IEEE/ICASSP Int.
Conf. Acoustics, Speech, and Signal Processing, June,
2000, pp 1053-1056.
[8] H. Kobayashi, and T. Shimamura, "A Modified Cepstrum
Method for Pitch Extraction,” IEEE/APCCAS Int. Conf.
Circuits and Systems, Nov. 1988, pp. 299-302.
[9] L. Lu, H. J. Zhang, and H. Jiang, “Content Analysis for
Audio Classification and Segmentation,” IEEE Trans. on
Speech and Audio Processing, vol. 10, no 7, pp. 504-516,
2002.
[10] J. K. Shah, A. N. Iyer, B. Y. Smolenski, and R. E. Yantormo, “Robust Voiced/Unvoiced classification using novel
feature and Gaussian Mixture Model,” IEEE/ICASSP Int.

ACKNOWLEDGMENT

Conf. Acoustics, Speech, and Signal Processing, Montreal,
Canada, May, 2004.

This research was partially supported by MEXT,
Grant-in-Aid for Scientific Research, and COE programof MEXT, Japan.

[11] M. Bahoura and C. Pelletier, “Respiratory Sound Classification using Cepstral Analysis and Gaussian Mixture
Models,” IEEE/EMBS Int. Conf., San Francisco, USA, Sep.

REFERENCES

1-5, 2004.
[12] F. Gustafsson, F. Gunnarsson, N. Bergman, U. Forssell, J.

[1] Kazuhiro Nakadai, Ken-ichi Hidai, Hiroshi Mizoguchi,

Jansson, R. Karlsson, and P. Nordlund, “Particle Filters for

Hiroshi G. Okuno, and Hiroaki Kitano, “Real-Time Audi-

Positioning, Navigation and Tracking,” IEEE Trans. on

tory and Visual Multiple-Object Tracking for Humanoids,”

Acoustics, Speech, and Signal Processing, vol. 50, no 2, pp.

in Proc. of 17th International Joint Conference on Artificial

425-437, Feb. 2002.

Intelligence (IJCAI-01), pp. 1425-1432, Seattle, Aug.
2001.
[2] Hiroshi G. Okuno, Kazuhiro Nakadai, Ken-ichi Hidai, Hiroshi Mizoguchi, and Hiroaki Kitano, “Human-Robot In-

58

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-9 (11/17)

逐次的な位相差補正処理を特徴とする音源定位方式:SPIRE
A sound source localization method named SPIRE (Stepwise Phase dIﬀerence REstoration)

戸上真人, 住吉貴志, 神田直之, 天野明雄
Masahito TOGAMI, Takahshi SUMIYOSHI, Naoyuki KANDA,
and Akio AMANO（株）日立製作所 中央研究所
Central Research Laboratory, Hitachi Ltd.
{masahito.togami.fe, takashi.sumiyoshi.bf, naoyuki.kanda.kn, akio.amano.qb}@hitachi.com

Abstract

行った人間共生ロボット EMIEW(Excellent Mobility andWe propose a new methodology of sound source

Interactive Existence as Workmate) に、音源定位機能や雑音下音声認識機能を搭載した[2]。

localization named SPIRE (Stepwise PhasedIﬀerence REstoration) that is able to local-

従来の音源定位法として、マイク間の相互相関値から音源方向を推定する加算型の音源定位法である遅延和アレイ法[3]が提案されている。遅延和アレイ法は、位相のize sources even if they are neighboring in areverberant environment. The major feature

遅延及び遅延信号の加算のみの単純な構成であるが、少of our proposed method is restoration of a microphone pair’s phase diﬀerence (M1) by us-

数のマイクロホンでは複数音源が存在する場合の定位性能が悪いため、多数のマイクロホンを必要とする。またアing the phase diﬀerence of another microphonepair (M2) under the condition that the dis-

レイ長が大きくなるという問題がある。そこで、最小分散
ビームフォーマの分離フィルタを定位に応用した手法[3]tance between M1’s microphones is longer thanthe distance between M2’s microphones. Thisや、入力相関行列の雑音に由来する固有ベクトルと各音源のステアリングベクトルとが直交することを利用した
MUSIC 法[7]などの少数のマイクロホン素子で複数音源を

restoration process makes it possible to reducethe variance of an estimated sound source di-

定位することを目的とした高精度音源定位法が提案されrection and to solve the spatial aliasing prob-ている。中でも MUSIC 法は特に精度が高いが、音源数

lem that occurs with the M2’s phase diﬀerence.
The experimental results in a reverberant envi-

を予め知っているか別途推定する必要があり、誤った音源数を設定した場合、MUSIC 法の性能は大きく劣化する。

ronment (reverberation time = about 300ms)
indicate that our proposed method can local-

高負荷な固有値計算を伴うため計算量が多いという問題

ize sources even if they are neighboring (even if
the diﬀerence in the sources’ directions equals

雑音に由来する固有ベクトルと比較して音源方向を求めがある。また仮想方向のステアリングベクトルを参照し、るため、音源方向の探索分解能に処理量が依存する。

10 degree).

1

近年、スパース性と呼ばれる音声の性質を利用した音源
定位法が検討されている[2][4][5][6]。音声は、短時間で見はじめにると、少数の周波数からなるスパースな信号であり、複数

イクロホンアレイを用いて、マイク素子間の位相差や振の音源が同じ時間-周波数成分に混合することは稀である[4]。これらの手法はこの音声のスパース性に基づき、各時

幅差から音の到来方向を推定する技術である。

間-周波数毎に一つの音源のみ存在すると仮定し、その音話者方向を推定して、その方向に振り向いたり、所望方向の発話内容を聞き分けたりするロボット[1][2]や、話者

源方向を推定する。そして推定した音源方向に該当する時方向に自動的にカメラを向けるテレビ会議システムなど

ストグラムのピークを音源方向として検出する。マイク間
位相差や振幅差から直接音源方向を推定する手法[4][5][6]音源定位技術とは、複数のマイクロホン素子を有するマ

間-周波数成分を振り分けて、ヒストグラムを生成し、ヒで、高性能な音源定位技術が必要とされている。また雑
音環境での遠隔音声認識のための前処理としても音源定では、音源方向の探索分解能に処理量が依存することは無いが、空間エイリアシング[8]の問題から、用いるマイ位技術が使われることが多い。我々は、愛知万博でデモを59

クペアのマイク間隔全てが信号の最大周波数から決まる
間隔（エイリアシング距離）以下である必要がある。しかし短いマイク間隔では位相差がばらつく場合の定位性能が劣化する問題があり、特に残響環境のように位相差のばらつきが大きい環境では性能劣化は大きくなる。修正
遅延和アレイ法[2]は、スパース性の仮定の下、遅延和ア
レイ法を修正した手法である。修正遅延和アレイ法では、一つのマイク間隔がエイリアシング距離以下であればよ
く、全てのマイク間隔がエイリアシング距離以下である
必要は無いため、マイク間隔に対する制約は少ない。また MUSIC 法と比較して固有値計算などの高負荷の計算を伴わない低処理で高精度な音源定位法である。しかしFigure 1: 座標系: r はマイクロホンアレイから音源までMUSIC 法と同様に音源方向の探索分解能に処理量が依存するため、高分解能な探索は難しいという問題があった。

の距離, θ は方位角, and φ は仰角

本稿ではマイク間隔が狭いマイクペアの位相差を用いて、となる。時間領域の畳み込み混合で表される伝達・混合過空間エイリアシングが生じるマイク間隔がマイクペアの程モデルを短時間フーリエ変換で以下のように近似する。

位相差を補正することを特徴とする、スパース性に基づく

xi (f, τ ) ≈音源定位法:SPIRE (Stepwise Phase dIﬀerence REstora-

tion)

N


hj,i (f )sj (f, τ ) + ni (f, τ )

(2)

j=0

法を提案する。SPIRE では、用いるマイクペアのうち少なくとも１つが空間エイリアシングを満たしていここで、τ は短時間フーリエ変換のフレームインデックス

れば良く、その他のマイク間隔を広くとることができるたであり、f は周波数ビン・インデックスである。

め、残響環境などの位相差がばらつく環境での性能を向位相差と音源方向の関係

上させることができる。補正した位相差から直接音源方

2.3向を算出可能であるため、音源方向の探索分解能に処理

マイク間位相差から音源方向を推定可能であることを示

量が依存しない。また固有値計算などの高負荷な処理をす。N = 1 かつ無残響・無背景雑音、音源仰角 φ = 0 と必要としないため、低処理量である。提案手法の有効性をし、音源とマイクロホンアレイの距離が十分長く、到来波

残響時間 300ms の実環境での近接複数話者音源定位実験

が平面波とみなせるとする。マイク間隔 d のマイクロホンにて示す。

ペアが y 軸上にあるとすると、このマイクロホンペアの
周波数 f の位相差 σ と音源方位角 θ は以下の関係にある。

2

音源定位の問題設定

sin θ =

σ,
2πf dc−1(3)

音源からマイクロホンアレイまでの伝達・混合過程モデル

ここで c は音速である。マイクロホンペアの位相差 σ か及びマイク間位相差と音源方向の関係について述べる。

ら音源方位の推定値 θ̂ を

2.1

θ̂ = arcsin

座標系定義

3

伝達・混合過程モデル

示し、その推定精度とマイク間隔の関係について述べる。

号を sj (t) とする。i 番目のマイクの入力信号を xi (t) とスパース性に基づく音源定位法では、マイク間隔が広いする。j 番目の音源から i 番目のマイクまでの直接音のイ
ンパルス応答を hj,i (t), インパルス応答長を Imp とする。

ni (t) を無指向性の背景雑音だと仮定する。ni (t) はマイクほど、音源定位性能が高まるが、空間的エイリアシングの問題からマイク間隔の上限値が存在するため、音源定位
性能にも上限があることを示す。

間で独立とする。i 番目のマイクの入力信号 xi (t) は、

3.1
xi (t) =hj,i (τ )sj (t − τ ) + ni (t)従来手法

従来のスパース性に基づく音源定位法のアルゴリズムを

音源数 N , マイク素子数 M とする。j 番目の音源の原信

N Imp



(4)

で求めることができる。

マイクロホン及び音源の座標系を (Figure 1) に示す。

2.2

σ
2πf dc−1

音源定位

音声は、短時間で見ると、少数の周波数からなるスパー(1)

スな信号であり、複数の音源が同一の時間-周波数で混合

j=0 τ =060

することは稀であることが知られている[4]。この性質に音源の最大周波数で決まる距離以上にマイク間隔を広げ

基づき、時間-周波数毎に存在する音源は１つであると仮ることができない。fmax を音源の最大周波数とする。あ定し、その音源方向を式 (4) を用いてマイクロホン位相差c（エイリアシング距るマイクペアのマイク間隔 d が 2fmaxから推定することができる。そして、時間-周波数毎に求離）を超えた場合、そのマイクペアの位相差のレンジがめた音源方向のヒストグラムを取り、そのピークを求めることで、音源方向を得ることができる。Δ = L2 をヒスト

2π を上回る。しかし、入力信号から位相差を算出する場
合、arg のレンジが 2π であるため、位相差に 2π の整数

ラムのインデックスである。ヒストグラム P (k) を k = 0倍の不定性が存在し、入力信号の位相差から音源方向を推定することができないという問題が生じる[8]。

グラムの分割幅として、L を分割数とする。k はヒストグ

から L − 1 までピークサーチする。そしてピーク kpeak よ4

り音源方向はθ̂ = arcsin −1 + kpeak Δ

提案する音源定位法

音源方向の推定誤差を抑えるためには、できる限りマイ(5)ク間隔を広くとる必要がある。しかし音源の最大周波数と推定される。

3.2

で決まるエイリアシング距離以上にマイク間隔を設定す
ると、空間的エイリアシングの問題が生じるため、音源

音源方向の推定誤差とマイク間隔の関係

方向を正確に推定することが不可能となる。結果として、

ここでは、マイク間隔を広げるほど、音源方向の推定誤差

音源方向の推定誤差をある程度以上小さくすることがでが小さくなることを示す。無指向性の背景雑音 ni (f, τ ) がきないことになる。特に残響環境などのようにマイク間位

無視できないとする。スパース性に基づき、時間-周波数

相差にばらつきが生じやすい環境では、音源方向の推定性毎に一つの音源のみ存在し、その音源の原信号を s(f, τ )能が十分な性能とならないという問題がある。この問題

として、i 番目のマイクロホンまでの直接音のインパルスに対して、提案する SPIRE (Stepwise Phase dIﬀerence

応答を hi (f ) とする。反響や残響については、厳密には無指向性ではないが、一般的に、直接音と比較して相対的に指向性が弱いため、ni (f, τ ) に含めるものとする。以下、周波数及びフレームインデックスに関する (f, τ ) は省略

間的エイリアシングの問題を解消する。(Figure 2) に提案

i 番目のマイクロホンと j 番目のマイクロホンの位相差
arg xxji は、手法のイメージを示す。提案手法は、複数のマイクペアを狭いマイク間隔から順に用いて、少しずつ音源方向を絞

xi
s · hi + n i
arg
= arg
(6)
xj
s · hj + nj
hininj
= arg + arg(1 +) − arg(1 +) (7)hjs · his · hj

り込んでいく方式と考えることができる。
提案手法は位相差算出プロセスと位相差補正プロセスの２ステップから成る。位相差算出プロセスでは、各マイクペアの位相差を算出する。この際位相差のレンジは 2πとなる。式 (7) の第一項は、

hi= 2πf d sin θc−1 ,hj

相差で補正することで、音源方向の推定誤差を抑えるともに、エイリアシング距離以上のマイクペアで生じる空

する。

arg

REstoration) では、エイリアシング距離以上のマイクペアの位相差をエイリアシング距離以下のマイクペアの位である。位相差補正プロセスは位相差算出プロセスで求めた各マイクペア位相差の 2π の整数倍の不定項を算出し、(8)位相差を補正する。不定項の算出はよりマイク間隔が狭い
マイクペアから順に行う。最初に用いるマイクペアのマイとなる。d は i 番目のマイクロホンと j 番目のマイクロホ
ni
ンのマイク間隔である。式 (7) の第二項 arg(1 + s·h) は、i

音源と無指向性雑音の SNR にのみ依存する項でありマイ

ク間隔はエイリアシング距離以下に設定する必要がある。
その後、一つ前のマイクペアの補正後の位相差を用いて、逐次的に位相差の不定項を求めていく。以降、位相差補正

ク間隔や音源方向に依存しない。また ni と nj が独立でn法について述べた後、SPIRE のアルゴリズムを、マイク

従って、マイク間位相差 arg xxji の分散はマイク間隔に依ロホンアレイのマイク配置が直線配置の場合と、非直線あるから、第三項 arg(1 + s·hjj ) と第二項は無相関となる。

配置の場合に分けて説明する。

存しないことになり、逆に位相差から推定する sin θ の分
散は、 d12 に比例することとなる。したがって、マイク間

4.1

隔 d を広げるほど、sin θ の推定値の推定誤差を小さくす

直線配置への適用

マイク配置が直線配置の場合の SPIRE による音源定位アることができる。

ルゴリズムを示す。

3.3

空間的エイリアシング

使用するマイクロホンペアの数を L とする。L 個のマ

音源方向の推定誤差を小さくするためには、広いマイク

イクペアは、各マイクペアのマイク間隔の昇順でソート間隔が必要となるが、空間的エイリアシングの問題から、

ˆ は 0 と、d−1 は 1されているものとする。σ−1

61

とする。

di
が正確に求まった場合、V (σ̂i ) は V (σi−1ˆ di−1
)の

d2i−1
倍と
d2i

なり、マイク間隔の 2 乗に反比例して分散が小さくなる。
位相差推定処理と位相差補正処理は、i = 0 から i = L−1
まで実行され、最終的に最も広いマイク間隔の位相差を

ˆ が得られる。そして σL−1
ˆ より時間 τ 、周補正した σL−1
波数 f 毎の音源方向を以下の式で求める。

θ̂ = arcsin

σL−1.
2πf dL−1 c−1(12)

全時間-周波数に渡り求めた sin θ̂ のヒストグラムをピー
クサーチすることで、音源方向を得ることができる。

Figure 2: 提案手法のイメージ：上段は、エイリアシング

4.2

距離より狭いマイク間隔を用いて音源方向を推定した時

非直線配置への適用

全方向音源定位への応用を考え、非直線配置へ適用できの推定誤差のイメージである。エイリアシングは生じなるようアルゴリズムを拡張する。

いが、推定方向の誤差が大きくなる。中段は、エイリア

直線配置では複数のマイクペアを用いるが、非直線配

シング距離以上のマイク間隔を用いて音源方向を推定し置の場合、複数のサブマイクロホンアレイを用いる。サブ

たときのイメージである。マイク間隔を広げることで推定誤差は小さくなるが、エイリアシングが生じてしまい、
音源方向を推定不能となる。下段は、提案手法のイメージ

マイクロホンアレイの数を U とする。各サブマイクロホ
ンアレイは複数のマイクペアを保持する。サブマイクロ
ホンアレイは各々の最大マイク間隔の昇順でソートされである。提案手法ではエイリアシング距離より狭いマイているものとする。Ll を l 番目のサブマイクロホンアレ

ク間隔で大まかに音源方向を特定する。そして音源方向

イのマイクペア数とする。位相差算出処理及び位相差補がその範囲にあるという制約のもと、エイリアシング距

正処理はサブマイクロホンアレイ毎に行う。

離以上のマイク間隔を用いて、より緻密に音源方向を特位相差算出処理:

定する。

 x 
pi =

位相差算出プロセス:i 番目のマイクペアの入力信号をそれぞれ xi,1 ,xi,2 と書xi,1σi = arg().
xi,2

を i 番目のマイクロホンの (Figure 1) で定z
義される xyz 座標系における位置ベクトルとする。j1 とく。i 番目のマイクペアの位相差 σi は以下のように計算される。

yj2 を l 番目のサブマイクロホンアレイの j 番目のマイク
ペアのマイクロホン番号とする。また dj = pj1 − pj2 と(9)する。D = [d0 , . . . , dl−1 ] とする。各マイクペアごとの位位相差補正プロセス:

相差を要素に持つベクトルを r = [arg0 , . . . , argl−1 ]T と

ここでは、マイクは (Figure 1) の y 軸上に直線上に並ん定義する。そして D + を D のムーア・ペンローズ型一般

でおり、音源の仰角 φ は 0 とする。i 番目のマイクロホン化逆行列とする。q を (Figure 1) で定義される極座標系

ペアのマイク間隔がエイリアシング距離を上回っている
場合、空間的エイリアシングの問題が生じるため、マイにおける音源の位置ベクトルとする。音源距離について
 cos θ cos φ ク間位相差から音源方向を一つに定めることができない。

は正規化し、|q| = 1 とする。q =この場合、未知の不定項 ni を伴った σi + 2ni π が真の位

sin φ
q の推定値 q̂ は次式で求めることができる[5]。

相差となる。ni は i 番目のマイクペアの情報からは求めることができない。そこで、よりマイク間隔の狭い i − 1sin θ cos φq̂ = D + r(2πf c−1 )−1

番目のマイクペアの情報から ni を求め、i 番目の位相差ˆ をを補正する。i 番目のマイクペアの補正後位相差 σi−1

となる。

(13)

位相差補正処理:

以下のように求める。

位相差算出処理において、l 番目のサブマイクロホンアレ
イのマイク間隔のうち少なくとも１つ以上のマイク間隔

σi−1
ˆ di
σi−1
ˆ di
− π ≤ σi + 2ni π ≤
+ π.
di−1
di−1

(10)

σ̂i = σi + 2ni π.

(11)がエイリアシング距離を越えている場合、空間的エイリアシング問題が生じるため、q̂ は音源位置ベクトル q の良い推定値とはならない。位相差に 2π の整数倍の不定性が生じるため、不定性を解消した D + (r + 2πn)(2πf c−1 )−1

ここで、V (x) を x の分散と定義する。仮に、不定項 ni

62

が q の良い推定値となる。ここで、ni を整数値として、

n = [n0 , . . . , nl−1 ] である。提案手法は、直線配置の場合と同様に n を l − 1 番目のサブマイクロホンアレイの情報を利用して算出する。

n−1 = 0、r̂l−1 = 0 とする。ここで nl は、次式を満た

Figure 3: 直線配置のマイク配置: 用いたマイクペアのマ
イク間隔は 1.0 cm, 1.5 cm, 2.0 cm, 2.5 cm, 3.0 cm, 4.5

すベクトルである。

cm, 5.5 cm, 6.5 cm, 8.5 cm, 10.5 cm, 14.5 cm, 20.0 cm
とした。

+
+
r̂l−1 −π1 ≤each rl +2πnl ≤each Dl Dl−1
r̂l−1 +π1
Dl Dl−1(14)
ここで x ≤each y は、y の全ての要素が対応する x の各々

ムシフトは 512 ポイントとした。原信号として、日本語
男性音声 3 発話を用いた。信号長は約 2 秒とした。音源の要素以上であることを意味する。そして、1 は全ての値定位で用いるヒストグラムの分割数は 200 として、等分が 1 をとるベクトルである。

l 番目のサブマイクロホンアレイの位相差ベクトル rl は次式で求められる r̂l で補正される。

i

評価に用いる。

5.1

r̂l = rl + 2πnl .

P (k)割とした。ヒストグラムを正規化した P (k) = P P (i) を(15)

直線配置での音源定位結果

直線配置での音源定位結果を示す。１つのマイクペアの位相差しか用いない従来の DUET 法[4]と比較する。２音位相差算出処理及び補正処理は、l = 0 から l = L − 1
までのサブマイクロホンアレイについて実行され、最後源を 85◦ ,95◦ に近接して配置する。音源探索範囲は 180に最もサイズの大きいサブマイクロホンアレイの位相差°とする。直線配置における正規化したヒストグラムをベクトルの補正値 r̂L−1 が求められる。

(Figure 4) に示す。マイクペアを 1 個のみ使った場合 (従時間 τ 及び周波数 f での音源方向は、来の DUET 法に相当)、２つの音源方向を別々のピークとして検出することができなかった。それに対して、マイク+q̂L−1 = DL−1r̂L−1 (2πf c−1 )−1(16)

ペアを 7 個または 12 個用いて提案する SPIRE を適用した場合では、近接する２音源を別々のピークとして検出となる。 q̂L−1 のヒストグラムをピークサーチすることすることができた。マイクペアが 7 個の場合と 12 個の場

で、音源方向を求めることができる。

4.3

合を比較すると、12 個の場合のほうがピークが鋭くなっており、使用するマイクペアを増やすことで性能が向上す

音源方向推定に失敗した成分の棄却

ることが分かった。

複数の音源がある時間-周波数成分に混合した場合や背景

非直線配置での音源定位結果

雑音または残響・反響の影響で音源方向の推定に失敗した

5.2

時間-周波数成分を特定し、その時間-周波数成分を推定に

非直線配置での音源定位結果を示す。周波数毎に空間的エσ用いないように制御する。直線配置では、| 2πf dL−1
−1 | > 1
L−1 c

イリアシングを生じないという条件でもっともサイズのとなる場合、棄却する。非直線配置では、|q̂L−1 | > α ま
たは |q̂L−1 | < β の場合、棄却する。本稿の実験では、大きいサブマイクロホンアレイを選択して従来のスパー
ス性に基づく音源定位法で定位する方法 (サブマイクロホ

α = 1.1、β = 0.9 に設定した。

ンアレイ選択型) と比較する。

5

3 音源を −125◦, −65◦ , 95◦ に配置し、非直線配置のマ
イクロホンアレイを用いて、360 °の音源定位実験を行っ

実験

提案する音源定位方式 SPIRE の評価を残響環境での音源た結果を (Figure 5) に示す。結果より空間的エイリアシ

定位実験にて示す。直線配置及び非直線配置の 2 種類のマングが生じておらず、各音源の定位に成功していることがイクロホンアレイについて実験した。(Figure 3) に直線配分かる。サブマイクロホンアレイ選択型では、各音源方

置のマイク配置を示す。非直線配置としては、同心円の大向に立っているピークの鋭さが提案手法と比較して鈍く、きさの異なる３つの正三角形サブマイクロホンアレイ（１推定誤差が大きい時間-周波数成分が多いことが分かる。

辺がそれぞれ 1 cm、3 cm、9 cm）を有する配置を用いた。

3 音源を 75◦ , 85◦ , 95◦ に近接して配置した場合の音源

実験は残響時間約 300ms のオフィスルームで行った。音定位結果を、(Figure 6) に示す。サブマイクロホンアレイ

源とマイクロホンアレイの距離は 1 m に設定した。音源選択型では、３つの音源方向を別々のピークとして検出

は φ = 0 の平面に配置した。方位角のみを推定対象としすることができなかったが、３つのサブマイクロホンア

た。サンプリングレートは 32kHz とした。短時間フーリ

レイを用いた SPIRE では方向差 10 °の近接する音源の方

エ変換のフレームサイズは 2048 ポイントとして、フレー

向を別々のピークとして検出することができた。周波数63Figure 4: 直線配置マイクロホンアレイによる正規化ヒス
トグラム: 85◦ ,95◦ に音源を配置。“1pair” はマイク間隔

1.0 cm のマイクロホンペアを用いたときの結果 (DUET

Figure 6: 非直線配置における音源定位結果: 75◦ ,85◦ , 95◦に３音源を配置。“3 arrays” は 3 つのサブマイクロホン法に相当)。 “7 pairs” はマイク間隔 1.0 cm から 5.5 cm

アレイ (1cm, 3cm, 9cm) を用いて SPIRE を適応した結果の 7 つのマイクロホンペアを用いて、SPIRE を適用したである. “selection” は時の結果。“12 pairs” はマイク間隔 1.0 cm から 20.0 cm

エイリアシング距離以下であるという条件の下、最大のの 12 つのマイクロホンペアを用いて、SPIRE を適用しサブマイクロホンアレイを選択して、そのサブマイクロた時の結果。

ホンアレイを用いて音源定位した場合の結果である。

周波数毎に全てのマイク間隔が参考文献[1] 鈴木薫, 古賀敏之, 廣川潤子, 小川秀樹, 松日楽信人,“ハフ変換を用いた音源音のクラスタリングとロボッ
ト用聴覚への応用,” 第 22 回 AI チャレンジ研究会,

pp. 53-58, 2005.
[2] 戸上真人, 天野明雄, 新庄広, 鴨志田亮太, 玉本淳一,
Figure 5: 非直線配置における音源定位結果: −125◦,−65◦ ,95◦ に３音源を配置。“3 arrays” は 3 つのサブマイクロ

柄川索, “人間共生ロボット “EMIEW” の聴覚機能,”

ホンアレイ (1cm, 3cm, 9cm) を用いて SPIRE を適応した[3] 大賀寿郎, 山崎芳男, 金田豊, “音響システムとディジ結果である. “selection” は

第 22 回 AI チャレンジ研究会, pp. 59-64, 2005.

周波数毎に全てのマイク間タル処理,”

隔がエイリアシング距離以下であるという条件の下、最大のサブマイクロホンアレイを選択して、そのサブマイ
クロホンアレイを用いて音源定位した場合の結果である。

[4] Ö. Yılmaz and S. Rickard, “Blind separationof speech mixtures via time-frequency masking,”
IEEE Trans.SP, vol.52, no.7, pp. 1830-1847, 2004.
[5] S. Araki, H. Sawada, R. Mukai, S. Makino,“DOA Estimation for multiple sparse sources with

毎にサブマイクロホンアレイを選択するよりも、逐次的に位相差ベクトルを補正する方式のほうが有効であるこ

normalized observation vector clustering,” Proc.
ICASSP2006, vol.V, pp.33-36, 2006.

とがわかった。

6

電子情報通信学会,1995.

まとめ[6] M. Matsuo, Y. Hioka, N. Hamada, “Estimating
DOA of multiple speech signals by improved histogram mapping method,” in Proc. IWAENC2005,

本稿では、マイク間隔の異なる複数のマイクペアまたはサ
ブマイクロホンアレイを用いて、マイク間隔の狭いマイク

pp.129-132, 2005.

ペアから順に用いて、空間的エイリアシングに伴う位相位方式 SPIRE (Stepwise Phase dIﬀerence REstoration)[7] R. O. Schmidt, “Multiple Emitter Location and Signal Parameter Estimation,” IEEE Trans. Antennasを提案した。SPIRE は直線配置及び非直線配置の双方にand Propagation, vol.34, no.3, pp.276-280, 1986.

差の不定項を逐次的に推定することを特徴とした音源定適用でき、360 °音源定位についても可能である。残響時[8] D. H. Johnson and D. E. Dudgeon, “Array Signal
Processing- Concepts and Techniques,” PTR Pren-

間約 300ms の残響環境での評価の結果、方向差が 10 °の近接した音源を従来法では定位することができなかった
が、SPIRE では定位することが可能であることを示した。

64

tice Hall, New Jersey, USA, 1993.

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-10 (11/17)

別の部屋から呼ばれて赴くロボット
ß 天井設置型および搭載型マイクアレイによる実現 ß    

加賀美 聡
西田 佳史







         


佐々木 洋子溝口 博 

  
榎本

格士 

産業技術総合研究所デジタルヒューマン研究センター
東京理科大学理工学部機械工学科
科学技術振興機構
関西電力（株）                                                                                                                 
 !     "#  $ % &     !       

*  '+   , -  .
      ,   -      '/     ,    - ,  -て述べた後、第４節でこれらのシステムを実験住宅に設置し、本論文のタスクである別の部屋から呼ばれて赴く
行動実験について述べる。



はじめに



ロボットの移動と対人インタラクションの機能は、サービ
スロボットにとって本質的に重要である。本論文ではこの例として、別の部屋から呼ばれてそこまで赴くロボットタ

天井設置型超音波タグ受信機およびマイク
アレイ 超音波タグシステム

スクを考える。このような機能はロボット単体で実現するのは技術的にも物理的にも困難である。そこで部屋の超音波タグシステムはタグの三次元位置を計測するため天井に設置したユービキタスなマイクアレイとロボットに開発されたもので、以下の３つの要素で構成されている。'- 対象物に付けられたタグ（送信機）,* ' 左-、(-と組み合わせたシステムにより、このタスクを実現するこ

天井に設置された受信機 ,* ' 右-、)- タグと受信機の同とを考える。

期を無線で取る同期ユニット。

システムのコンポーネントは以下の３つである。

' 天井設置型の超音波位置センサとマイクアレイ、( 対人インタラクション用にステレオカメラ、マイクア
レイ、レーザーレンジセンサを搭載した移動ロボット、) 家屋の外に光ファイバーで接続する、ユービキタスセ
ンサとロボットの処理を行うためのサーバー計算機。

同期ユニットはタグの 01 を )'/2$3 の搬送波で送信し、タグは自分の固有の 01 を受け取ると 45

3 の超音
波を発信する。受信機はタグが送信した超音波が到達するまでの時間を計測し、その時間を #&4./ バスによりサーバー 67 に転送する。サーバー 67 は各受信ユニットへの到達時間から統計的にタグの三次元位置を推定する。

以下では第２節で天井設置型の超音波位置センサとマ番目の受信機の位置を ,     - とし、タグ（送信機）

イクアレイについて、第３節でロボットシステムについまでの距離を  とすると、 番目の受信機を中心とした

65

8

6

4

Y(m)

2

0

-2
ultrasonicultrasonic2
ultrasonic3
ultrasonic4

-4
-6

-8

*  (+ 8!    $ "#-8

 $ %-6-4*  4+ 
#

-2

0
X(m)

2

4

6

8

:  #   & *

置することを目的として、個々のユニット辺りマイク数を８としてシミュレーションを行い、直径 )5  のリングを     

選択した。
システムを接続するために 670 '(.

44A 3 'B  同時サンプリング 1 ボードを開発した。このボードは全データを取得から / 以内に 12 転送を用いて、サーバー 67 のメインメモリに転送することができる。実時

間を保証するためにシステムは #: ! を用いて周期    

タスクを実行している。

*  )+ 9     :   2   

7   

サ ー バ ー 67 は

1       法
,1&C*- と周波数帯域選択法 ,*&C- を用いて、音源位置を '55 周期で探索し、見つけた音を分離している。
分離された音は D ;:  (55'= を用いて認識している。
本論文では家の中の場所の名前、ロボットの動作など約２０個程度の単語のみの辞書を作成し、認識を行った。

球の式が置ける ;<   (55)=。

,

-

> ,

-

> ,

-

? 

,5 

 -

,'-

 実験ハウス 

従って原理的には直線上にない３つの受信機から、タグの位置は計算できることになる。誤差をとすると、天井設置センサは前述の '/の超音波受信機を中心部に、. マイクアレイを外周部に持つものである ,* '-。このユニットを実験ハウス "$ % ,* (- のうちの４部
屋（リビング、キッチン、玄関、書斎の計約 '5B ）に合計１６個設置した。* ) はユニット設置後の各部屋の様子である。

は下記のように表せる。

?



,

-

> ,

-

> ,

-

,(-

を最小化する ,   - を求めることにより、タグ ,@ @ @の位置を推定することができる。

,@
 @ @-?

 






,)-

超音波タグシステムによる位置計測

超音波タグをロボットに搭載して移動させ、システムの出式 ) は非線形の最適化問題であり解析的には解けない。そ力と、ロボットの軌跡を床にマークして手動で計測した結果を * 4 に示す。４回の走行で合計約 B5/ を走行し、

こで #<&7,# &  7 - 法を用いて、限られた数のサンプリングから、この問題を精度良く

誤差は平均 )/  であった。

解いている。



天井用マイクアレイ

マイクアレイによる音源定位* / は音源定位の様子を示す。各ユニットからの仰角（４分割）と方位角（８分割）に応じて音の強度を示している。左下には一つのユニットからの出力を拡大して表示

マイク数や配置はマイクアレイの特性を決定する主要な要素である。ここではユービキタスセンサとして多数配66

*  /+ & :  3  #   7   2   
している。黄色い領域はそのユニットでもっとも音の強い領域である。
このマイクアレイで得られる &E< 比は '3の波で約 )C であるため、大きなノイズ源があるときに、対象を認識可能な精度で分離することは難しかった。

*  B+ 2  # "6  (%

ンターフェースを &C バスに接続している。また計算機

車輪移動ロボット 

システムはモジュール化され、簡便に取り出してメンテ

6  (,* B- は、前述のシステムを実装するためにアールラボ社により設計・製作された、駆動輪二輪を前輪に、キャスター二輪を後輪にもつ小型車輪移動ロボットである。
屋内で使用することを前提に、駆動輪を中心に直径 /5 の空間でぶつからずにその場旋回が可能な配置としてあり、最大 F 度のスロープの登降、(  の段差を乗り越えが可能となるように設計されている。走行の安定性のために、駆動輪、キャスター輪共にバネ・ダンパーによるサスペンションを搭載すると共に、キャスター輪はベルトを用いた半円形キャスターにより見かけ上の輪径を大径化している。また高速走行が可能となるように重心位置を極力下げている。
緒元は全長 45 、全幅 4/ 、全高 )( 、重量約 '/ 、
最高時速約 (E、重心高さ 'B （駆動輪より F  後ろ）、駆動輪中心間距離 )/ 、ホイールベース（駆動輪とキャスター軸間）約 (/  である。駆動輪用に 2!
#8)5,B5 - 17 モーターを２個搭載している。電源は: 0G< バッテリー ,(B9F/ - を２個搭載し、モーターと計算機をそれぞれ独立に駆動している。連続走行中の計算機側のバッテリーの保持時間は約 4/ 時間である。
計算機は 6  2('H$3 ,*&C4552$3 'HC メモ
リ- ハーフサイズボードを 670 バックプレーンに接続
し、#: ! により ' のサーボループを実現している。また無線 :<、0888')I4、0G,エンコーダカウンタ、
11- ボードをそれぞれ 670 バスに接続し、#&4(( イ67

ナンスや交換することが可能となっている。
外部センサーは &:2&(55 レーザー距離センサ,#&4(( 接続）、自作の )( 同時サンプリングマイクアレイ
ボード（0888')I4 接続）;佐々木 (55B=、9   1  
&$17&H&G7 ステレオカメラ ,0888')I4 接続）を搭載している。
また非常停止、外部からの電源供給と内部のバッテリー
使用の切り替えリレー、:81 による状態表示の制御回路が計算機とは独立に機能している。

     による自己位置同定
6  *   （パーティクルフィルタ）は大きな状態空間に対して事後確率分布をオンラインで効率よく表
現・計算する方法である , モンテカルロフィルタ ,2
7  -;A  'IIB=，7   アルゴリズ
ム ;0 'II.= などとも呼ばれている）．本手法の基本的なアイディアは，状態空間に値を持つ多数の粒子の状態空間中の分布によって確率分布を近似表現することである．
カルマンフィルタと異なり、ガウス分布でない任意の状態
遷移確率モデルを扱える点が、実世界の事象を扱うのに向いているために、近年盛んに研究されている。
時刻 におけるロボットの状態を   センサ入力を  
制御出力を



とあらわすとする。ある時刻 における状態は、初期状態、観測確率と出力の遷移からマルコフ仮定

* . に * . に示した環境を３周回りながら、#C   3  6  *   によりマッピングし、さらに局所的な状態遷移誤差をループを検出することにより緩和した結果を示す。

*  F+ 6  *       3        *  .+ 2     * '  
を置くことにより以下のように表される。

 - ? ,   ,        - ? ,  -,      






















-

,4-

 ステレオ視による障害物発見,/-- は状態遷移確率であり、 ,  - は観測確率である。6  *   を用い、あらかじめ与えた地図
 をセンサ入力  とマッチングすることにより  の事
後分布確率 ,     - を推定することができる。
つまり，事後確率 ,     - は，初期状態と状態
遷移確率および観測確率の ) つの分布により求めることができる．また，実際に 6  *   を用いるときには、結果はロボットの初期位置に依存し、時間的に不変なロボットのセンサとモーションに関する確率遷移モデリングが必要となる．
筆者らはこの 6  *   を用いて、レーザー距離センサ、ステレオ距離画像、超音波センサからの入力に対応したセンサモデルと、(/ 次元環境地図表現による自己
位置同定システムの構築を行なった ;  (554=．
* F に地図と位置認識，経路計画の結果を示す．図中で赤い円がロボットの位置を表し、そこを中心に緑および青で示されたエリアがレーザー距離センサの入力である。
ゴールは緑の棒で示され、そこにいたる経路がグリッド
ベースの最短経路が水色で、後述する４次多項式による
滑らかな経路が赤色で示されている。
,   

再 帰 相 関 演 算 手 法 ;*  'II)= と 一 貫 性 評 価 法;C  'II)= による高速なステレオ視により距離画像を
リアルタイムに生成している．次に得られた距離画像を(/ 次元の確率表現に変換し，その各セルの存在確率を時間方向に積分して行くことで，環境の (/ 次元マップが作成される（* I ）．この (/ 次元マップから障害物を検出することにより，レーザーレンジセンサで観測している ( 次元の世界では検出不能な障害物が発見可能である;  (554    A  (554=．

-

-

-

-

      による地図作成

#C   3  6  *   は、ロボットの位置推定だけでなく、地図を含めた状態確率を最大化することが出来る。地図 を導入した事後確率は , +     となる。この場合ロボットの移動してきた経路のすべての状態  に対する事後確率を計算するために計算量と必要なメモリは非常に多い。

*  I+ ステレオ画像処理， - カメラ画像， - 視差
画像， - グローバル座標に投影した各点， - 各セルの確率68

*  '5+ H  G  3  J  0&C   ,)*-       

*  ''+ H    M        は次の式で表される。



経路計画

 



 

与えられたゴールまでの経路計画は、ビットマップのグリッドとして表現された地図を，Jアルゴリズムをグリッ

ド探索用に最適化した手法 ;AK  (554= を用いて探索はし、最短経路を得ている。通常は / または '5  のグリッの研究室の平面図を '455  








は障害物の進入により定義される定数であり、
番目の障害物とロボットの位置との距離である。

初期状態を  ? ,         -、ゴールを  ?

 45ドを用いており、例えば * '5 上の場合には '45 455 のグリッドマップにして表現しており、対角の二点間の探索には約 '/ 程度かかる。
また得られた経路は、滑らかではない上に、グリッドの８近傍を移動するという制約の元では最短ではあるが、グリッド上を通らなくてよければ最短ではないために、ラン,        :N  - とする。ロボットの状態ベクトルは４次多項式のパラメータの関数として表した非線形方程式を、その逆ヤコビアンを収束計算によって解き、解を得ることができる。実際のセンサ入力から計算を行った例
を * '' に示す。

ダムに２点を選びながら経路を滑らかに縮めてゆくパス 搭載用   マイクアレイ

スムージング手法を取り入れている ;金原 (55B=。* '5

ロボットに搭載するマイクアレイは定位と分離の精度を上下に、グリッド最適版 J（青線）とパススムージングをげるために、サイドローブを低減化した )(施した結果（赤線）を示す。経路長は数L減少すると共を開発した。アレイのサイズは "6 (% の外形から )) に、経路の単位長さに対する平均進路変化は 'E(5 になり、に限られている。シミュレーションを繰り返しながら実そのために要する計算時間はグリッド最適版 Jの約 '5

験的にサイドローブが小さくなるマイク配置を検討した。

％だった。

* '(,左- が開発したシステムのマイク配置である。 構
成要素を分割可能とするための配置を検討し、等辺台形に４つのマイクを搭載したものを８つ合わせて、合計 )(のシステムを設計した。* '(,右- がシステムの 1&C*
によりシミュレーションした感度分布である。* ') に' '4 (A 3 時のシミュレーション結果を示す。各周波数でサイドローブが低減化されていることがわかる。
* '4 が開発したシステムである。1 ボードは 'B 
解像度で、'B 3 同時サンプリングを行い、0888')I4 バ
ス経由で 67 にデータを転送する。 ' に 1 ボードの仕様を示す。



経路制御

経路計画により目的とするゴールまで計算したパスは、そのままでは滑らかでないために実現できない。そこで４次の多項式により障害物を避けた滑らかな経路を探索的に計算する。ロボットの状態を ,    -で表すとする。ここで  は曲率、 は障害物からの距離の逆数で定義される項である。


 





 

 

  

 

 



 





実験結果

 別の部屋から呼ばれて赴くタスク


 



のシステム

 





































第 () 節で述べたシステムにより、別の部屋から呼ばれてアプローチするタスクを実現した。天井に設置したマイ

69

200

ける移動距離は '.4 であり、ユーザーが呼びかけてか

sin700Hz
sin1000Hz
sin1400Hz
sin2000Hz

Microphone
150
100

ら、ロボットが到達するまでの時間は )) 秒、平均移動速

Y [mm]

50

度は 5FE であった。

0-20 -15 -10 -5 0[dB]
-50
-100
-150
-200
-200 -150 -100 -50

050 100 150 200

X [mm]*  '(+ )( 2     , -  2 
  1    6   1&C*,  [m]
8

[m]
8

1000Hz

1400Hz

[m]
8

[dB ]
5

2000Hz

0
4

4



$





-5

4

-10
0

8
[m]

4

0

4

0

8
[m]

4

8
[m]

-15

*  ')+ C  *  &   # m

100[mm]

]

11

0

]
m
[m

330[mm]*  '/+  !             *  -                - - -                            M 

75[mm][m55


!"! #% )!

!"! #  $ %&'(*  '4+ 2     1 

 '+ &   2   1 C  3


 

次にユーザーはコーヒーカップをロボットに載せ、キッチンまで持っていくように指令した。この指令は搭載のマイ?F/ ?'55 ?)5 ;=)(D  により認識されて、ロボットの行動に変換される。認識のための辞書は '- 行け (- 来い、)- 挨拶、に大別されている。また場所の名前を約１０有している。
ロボットが場所を指定されると、その場所へのナビゲー
ションを開始する ,* 'B -。玄関を横ぎり ,* 'B M-、リ
ビングを横切り ,* 'B  -、キッチンに到着する ,* 'B
-。最後に別のユーザーがカップを受け取り、ロボットを解放する ,* 'B -。
クアレイから  

0888')I4

        

'B; $3=  'B       

>/ ;=

指示された場所に赴くタスク

クアレイにより、システムは建物内のどこから呼ばれたかをロボットのサーバーに伝え、ロボットはそこまで移動する経路を計画し、ローカルな障害物を避けながらそこまでナビゲートする。指定した部屋に入ったら、ロボット

本論文では屋内にユービキタスに設置された超音波位置は搭載したセンサ（本論文の場合には搭載型マイクアレ

センサ、マイクアレイと、ロボットの統合によるロボットイ）とレーザー距離センサの入力と対応させ、対象物にサービスのコンセプトを提案した。この提案を確認する近づく。* '/ に H0 画面のスクリーンショットを示す。

ために、'- 天井設置型の超音波位置センサ、マイクアレ

おわりにまたビデオをキャプチャしたものを * 'B に示す。ユー

イ、(- 搭載型マイクアレイと移動ロボットシステム、)-ザーが書斎からロボットを呼び ,* 'B -、ロボットがそ

自律移動のための位置認識、地図作成、経路計画、経路制の部屋に向けて動き出す ,* 'B -。リビングルームを横御システムを開発した。

切り ,* 'B  -、次に玄関を横切り ,* 'B -、書斎に別の部屋から呼ばれて赴くには３つのフェーズがある。

入りユーザーにアプローチする ,* 'B -。この実験にお'- 別の部屋からユーザーが呼びかけ、天井設置のマイク70

を検出するために搭載型マイクアレイ、音源定位、画像処理、レーザーセンサの結果を統合して同定し、接近する。

参考文献











;:  (55'= :  A   A&  D 
O                  0            'BI'
'BI4 (55'$;C  'II)= # C   D  &   7    7
  6  #  1 0
 A  # 6            'B/ '.) 0   *   #  #    'II)

;*  'II)= G *  C $ $ 2  9 P   Q Q  6 * 8  P : 2
H C  D 9    6 C    7 6
#    7  C  &  +    0
           # <Æ (5') 0<#0 'II)

;A  'IIB= H A  2 7      H                  /+' (/ 'IIB;0 'II.= 2 0   C  "7              %        (.+/ (.
'II.

*

;AK  (554= D  D AK  8Æ   8           0    !           (554+;  (554= &     &
A  &   9    & &  C  9 #     (/ 1    2 H    0  "##$ !           %&#$' 

,)444 )44I G  (554;  (554= &  
& A  &   9      2   <6 2  # 2   <  
0   "##$      ( ) *  %)#$'  /)I(/)IF G  (554*  'B+ &   8!   

アレイ（または超音波タグシステム）により位置を同定す
る、(- ロボットが自己位置を同定し、障害物を避けながらナビゲーションする、)- 同じ部屋に入ったらユーザー

71;   A  (554= &    & A  #                           
 0   "     +   +  %++"##$'  ('. (() <  Q  1 
(554;<   (55)= R <   $  3  $  < $K  A  2 A  )1 
  &   G   $     0    !             F./ FI'(55);金原 (55B= 金原 正朋 加賀美 聡 ジェームズ・カフナー溝口 博 車輪型ロボットの滑らかな経路探索のための
経路平滑化手法と *  Jとの比較 ロボティクス・メ
カトロニクス講演会S5B 講演論文集  (6( 85I 2(55B;佐々木 (55B= 佐々木 洋子 加賀美 聡 溝口 博 移動ロ
ボット搭載用 )( マイクロホンアレイの設計と性能評
価 第２４回ロボット学会学術講演会講演論文集 I./ I.B (55B

72

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0624-11 (11/17)

ことばの前/下のインタラクション──ヒトの場合・ロボットの場合
Interaction before/under speech — in humans and in robots

小嶋 秀樹
Hideki KOZIMA

情報通信研究機構∗
National Institute of Information and Communications Technology

xkozima@nict.go.jp

Abstract

柱であることに疑いはない．しかし，コトバを使用する
能力によって，はじめて豊かなコミュニケーションが可能

This paper explores the epigenetic and robotogenetic origins of human communication. We
built interactive robots, Infanoid and Keepon,になったのかというと，必ずしもそうではない．とくに個体発達という観点からコミュニケーションを見てみると，コトバの出現（およそ１歳から１歳半）のはるか前から，

with which we observed children’s spontaneouscommunicative behavior; from this experiment,

子どもは豊かなコミュニケーション──たとえば情動の共有・注意の共有・行為の共有など──を実践している．

we learned that attentional and emotional ex-

この前言語的コミュニケーションによってコトバの獲得，

change would play an indispensable role in the

そしてコトバの後のコミュニケーションが可能になる．さ

emergence of human communications including verbal one. We then conducted longitu-

らに，前言語的コミュニケーションは，コトバの獲得以降も作動しつづけ，言語による命題情報のやりとりの下で，

dinal field observations of a group of children
with developmental disorders interacting with
Keepon; from this field study, we learned thatthe children, including those with autism, spontaneously engaged not only in dyadic interac-

意図や感情といった心理情報を交流させていく．ある意
味，やりとりされる言語情報は〈搬送波〉であり，そこに変復調される心理情報こそが伝えたい・知りたい〈情報〉なのだろう．
この論文では，「ことばの前/下のインタラクション」とtion with the robot, but also in triadic interaction among children and carers, where therobot functioned as a pivot of the interpersonalcommunication. Based on these findings, we
further extend our idea of the origin of human

は何か，それは何によって可能になるのかを議論することで，ヒトのコミュニケーションの成り立ちを再考してみたい．第２節では，子どもとロボットのインタラクション
観察を紹介し，注意（指さし・視線など）や情動（表情・韻律など）のやりとりが，言語的および非言語的コミュニ

communication into that children’s motivation
to share meanings of environmental events withケーションの底流をなしていることを説明する．第３節
では，ロボットを使った発達障害児の療育支援を紹介し，

others would probably be the most fundamental prerequisite for the genesis.

注意や情動をやりとりする能力でさえも，より根源的なコミュニケーションへの動機づけと周囲からの働きかけによって，段階的に構成されていくことを，いくつかの事例

1

はじめに

をとおして説明する．第４節では，この知見を今後の人工知能研究にどのように反映させるべきかを考察したい．

コトバの使用は，ヒトを他の動物から区別する特徴といわれる．たしかに，二重分節された音声や，表現と意

2

味の恣意的な対応づけは，ヒトのコミュニケーションだけ

注意と情動のインタラクションに見られる特徴だろう．コトバで思考し，コトバで他者と子どものコミュニケーション，とくに母子間（主たる養コミュニケーションすることが，ヒトのもつ知性の大きな育者と子どものあいだ）のインタラクションは，アイコン
タクト（見つめあい）やそれに伴う表情や声のやりとりに∗ 情報通信研究機構 知識創成コミュニケーション研究センター〒 619-0289 京都府相楽郡精華町光台 3-5

始まり，やがて指さしや共同注意（同じ対象を見ること）

73

Figure 1: Infanoid engaging in eye-contact (left) andjoint attention (right) with a human interactant.

Figure 3: Children interacting socially with the robots.
ることと，(2) 情動の表出：身体を左右あるいは上下に揺すり，楽しさや興奮といった心の状態を表現することだけである．Keepon も何かを見たり喜んだりできることを，子どもたちに直観的に感じとってもらうことをねらって
いる．

2.2

子どもとのインタラクション

コミュニケーションは双方向的な行為のやりとりであFigure 2: Keepon performaing eye-contact (left) andjoint attention (right) with a human interactant.

る．ロボットにアイコンタクトや共同注意の能力やその発達プロセスを実装しただけでは片手落ちで，そのロボッ
トに人間（とくに子ども）がどのように関わろうとするによる注意のやりとりへと，コミュニケーションを深めてのかを観察することも不可欠である．この観察から，(1)いく [Kozima and Ito, 2003]．注意対象を同じように知覚ロボットに欠けていた（あるいは過剰な）機能や形態が明し，その対象に向けられた情動を参照しあうことで，子らかになるし，また (2) 子どもの発達そのものをより詳どもと養育者はたがいの存在や対象との関わりを共同化

細に調べることができる．

していく．このような営みのなかで，共感的コミュニケー

約 40 名の乳幼児を対象としたインタラクション実験（図

ションが育まれていく [小嶋・高田, 2001]．

2.1３）から明らかになったのは，子どもたちがロボットとの関係を（時間経過とともに・発達年齢とともに）ダイナロボット

ミックに変化させていくプロセスである．最初，子ども

このようなコミュニケーション発達を観察・モデル化すたちは〈動くモノ〉としてロボットを捉えているが，ロるために，いくつかのインタラクティブ ロボットを開発

ボットの視線・表情・身ぶりなどから，子どもたちは自律してきた．その開発コンセプトは『子どもから自発的なコ的な主体（＝生命性）をロボットのなかに発見し，知覚

ミュニケーション行為を引きだす〈身体〉』である．現在

し応答する〈システム〉としてロボットを理解するようまでに，〈子ども型ロボット Infanoid〉と〈ぬいぐるみロになる．やがて子どもたちは，ロボットの視線・表情・身ボット Keepon〉などをデザイン・製作した．

ぶりなどが，子ども自身の行為に随伴している（時間的・Infanoid（図１）は，３〜４歳児とほぼ同じ大きさ（座空間的な関連がある）ことに気づいていき，心をもった
高 480mm）の上半身ヒューマノイド（人間型ロボット）〈エージェント〉としてロボットの行為を解釈しようする．
である [Kozima, 2002]．おもに幼児期から学童期の子ど
子どもたちはロボットとの注意や情動のつながりを深めもたちとのインタラクションを想定してデザインした．唇ながら，共感的コミュニケーションへと入っていく [小嶋,や眉などによる情動の表出，視線や指さしなどによる注
2003; Kozima et al.,2004]．
意の表出，そして何かに手を伸ばす・何かを手でつかむなどによる意図の表出が可能である．子どもたちが，自発

3

的に情動・注意・意図などを Infanoid に帰属させ，〈心をもったエージェント〉としての Infanoid と遊んでもらう

療育支援から見えてきたこと
前節で取り上げたインタラクション実験は，実験室でことをねらっている．

のその場かぎりの観察であり，子どものコミュニケーショ

Keepon（図２）は，おもに乳児期から幼児期の子どもたちと，安全なインタラクションができるようにデザインされている [仲川ほか, 2004]．高さ 120mm・直径 80mm

ン能力の成り立ちを十分に見ることができなかった．そこのシリコンゴムでできたダンゴ型の身体にできることは，

ちの療育施設を長期訪問し，日常的な療育活動のなかで(1) 注意の表出：顔（つまり視線）を人物や対象物に向け子どもたちとロボットのやりとりを縦断的に観察するこで，より実践的なコミュニケーション発達の〈現場〉[小嶋, 2004] として，自閉症などの発達障害をもつ子どもた74

tele-participation

child-robot interaction

operator
PC

Figure 5: Teleparticipation in the child world.
ちの表情・しぐさ・声やコトバなどを記録・分析すること

Figure 4: Keepon in the playroom at a day-care center.

ができた．この〈私〉とは，実際には Keepon の〈操作者〉の主観になるのだが，Keepon というシンプルな身体とを開始した．

をとおした子どもたちへの関わり（ロボットの動作）は

この療育施設では，子どもたち（おもに２〜４歳）とすべて記録され，再現可能になっている．つまり Keepon

母親たち，そして療育士たちが，さまざまな自由遊びやグ
ループ遊びをくりひろげる．この多様でダイナミックな，性〉と，それを誰でも追体験できる〈客観性〉，これら２

それでいて限りなく日常的な実践のなかで，子どもたち

つをあわせもった〈メディア〉であるといえる．

の行為はゆっくりと意味づけられていく．

3.1

は，子どもとやりとりする〈私〉という現象学的な〈主観Keepon からみた子どもたちは，Keepon への関わりをさまざまな形で見せてくれた．ときには，他人に（母親にも）あまり見せたことのない表情や，Keepon に帽子をプレイルームでの Keepon

この療育施設のプレイルームに，ぬいぐるみロボット
Keepon を置かせていただいた（図４）．約３時間の療育セッションのあいだ，子どもたちは好きなときに Keepon
で遊ぶことができる．自由遊びのあいだは，さまざまなオモチャのひとつとして，いつでも Keepon で遊べる．またグループ遊びのあいだ，Keepon は邪魔にならない場所（プレイルームの隅など）に移されるが，グループ活動に飽きや疲れをみせた子どもはいつでも Keepon のところかぶせてあげる・食べ物をたべさせる（フリをする）といった援助的な行為を，子どもたちは見せてくれた [仲川,2005]．全体としては以下の点が示唆される．
• ヒトでもオモチャでもない Keepon だからこそ，対人コミュニケーションを苦手とする子どもたちが，安心感と好奇心をもって Keepon にアプローチすることができた．

に来ることができる．
プレイルームでの Keepon は，高さ約 25cm のプラスチック製のカバーに入っている．その中に電池や無線装置などを格納することで，別室にいる操作者が Keepon を
手動運転モードで遠隔操作できるようにした．操作者は，

Keepon が子どもの顔やオモチャを注視するように，また子どもから何らかの働きかけ（アイコンタクトやタッチなど）があったときは，ポンポンポンと音を出しながら身体を数回伸縮させるといったポジティブな情動表出を行な• 子どもから Keepon への直接的な関わりだけでなく，そこで得られた楽しさ・驚きなどを他者（母親・療育士・ほかの子ども）と共有しようとするような，対人的な関わりへの発展も多くみられた．
• Keepon への関わり方とその変化は十人十色であり，たんなる障害名（「PDD」「自閉症」「ダウン症」など）を越えた，その子らしさ・その子の発達の道すじを物語っている．

うようにした．

3.2

現在，Keepon からみた子どもたちひとり一人の〈物語〉

Keepon からみた子どもたちを，療育施設でのサービスや家庭での子育てに役立ててこのプレイルームで Keepon と子どもたちのインタラもらうために，保護者や療育士にフィードバックすることクションを 2003 年 10 月以来観察してきた．現在（2006を進めている．

年 10 月）までに，約 100 セッション（700 人回以上）の

3.3

インタラクション観察を実施した．子どもとロボットのイ
ンタラクションを，これだけ長期縦断的に観察した例はあるエピソードから療育施設でのフィールド観察から得られた知見は，子ほかにないと思われる．

どもたちのコミュニケーション能力──たとえば共同注意

この観察をとおして，子どもたちと Keepon のインタの能力──が実践をとおして形成されていくことである．

ラクションを，Keepon 自身の眼から捉えることができた．

つまり，注意や情動のやりとりが人間のコミュニケーショ

Keepon という第１人称的な視点（パースペクティブ），
つまり〈私〉の視点から，子どもたちと関わり，子どもたンの出発点なのではなく，より根元的な能力あるいは動75

機づけをもって，原初的なコミュニケーション実践を適切ここで大切なことは，あらかじめゴールやタスク (あるいはその達成度を表わす評価関数) が与えられているのではないことである．たとえば，ロボットにこのようなコ
ミュニケーション行為を獲得させる場合，設定されたゴールやタスクをロボットに探索・学習させ，そのアルゴリズ

Figure 6: Relating my wonder to his/her wonder.

ムや効率を問うだけでは，ロボットを〈発達〉させているとは言えない．
〈発達〉の本質は，何かを求めて外に向かな養育環境で経験することで，注意や情動をやりとりすおうとする力が，未知環境とぶつかり，絶え間なく自分自る能力が形成されていくというものである．このことは，

身を変えていくプロセスにある．そもそも環境や身体はつぎにあげる自閉症児Ｎのエピソードに例示されている．

不変なものではなく，自然現象や社会活動，あるいは個体の成長や疾病によって，つねに変化していく．したがって最初の 15 セッションの間，Ｎの Keepon への〈発達〉にアプリオリなゴールを与えることは意味をなさ

自発的な行為は，ちらっと見ることくらいだった．

ない．高等動物 (とくにヒト) の〈発達〉は「何かを求め

母親や療育士に抱かれて，半ば強制的に Keeponて外に向かおうとする力 (＝自発性)」によって駆動されと対面させられても，インタラクションには発た open-ended なプロセスとしてモデル化されるべきであ

展しなかった．S10（第 10 セッション）で初め

り，ロボットの〈発達〉もそうあるべきだ．そして，そのて Keepon に触ったが，モノとして Keepon の

自発性が養育環境（共感的な解釈のフィードバック）と出感触を確かめたようだった．

会うとき，社会的なコミュニケーションへの発達の道が拓

S16（S15 から３カ月のブランクの直後）のおやつの時間，Ｎが Keepon の前に来て，指でけるだろう．

Keepon の鼻を押した．Keepon がポンポンポンと身体を上下に伸縮させて応答すると，Ｎは少し驚いたような笑顔を見せた．それを見守っていた周囲の母親たちや療育士たちはどっと笑いを求めて外に向かおうとする力」とは何なのか．この素朴な出した．Ｎは Keepon の反応を引き出そうと同といえる．たとえば「新奇性 (novelty)」や「学習の進み(learning progress)」への方向づけは内発的動機づけの好例であり [Barto, 2006]，これらは大脳基底核でのドーパミン系の働きとアナロジーがとれると言われる [Kaplan,

このような open-ended な〈発達〉の原動力となる「何か疑問への一般解が「内発的動機づけ (intrinsic motivation)」である．内発的動機づけとは，それ自体が内的報酬となるような活動への動機づけであり，内から外に向かう原動力

じ行為を繰り返し，Keepon が応答するたびに横にいる担当療育士や自分の母親に顔を向けて微笑んだ．あたかも自分と同じ驚きや楽しさを確
かめ共有しようとするように．

2006]．ゆえに，強化学習との相性もよいようだ．(ちなみこの S16 以降，Ｎが母親といっしょに Keeponに「外発的動機づけ (extrinsic motivation)」とは，外的と遊ぶ場面が多く見られるようになった．

報酬 (例：ボーナス) を得るためや罰 (例：罰金) をさける

S16 での出来事は，既に獲得していた〈社会的参照〉──
注意を共有している他者の情動を参照する行為──の能
力をＮがたまたま行使したというものではない．むしろ，
自分が Keepon に見つけた驚きや楽しさと，周囲の大人たちが（共感的に）同時表出した驚きや楽しさのつながりに
気づき，それを確かめるように Keepon への関わりと母親動機づけ (例：摂食・睡眠) も含まれる.) 内発的動機づけをもったロボットは，未知環境のなかで自発的に活動し，自分自身を適応的に変化させていくことで，open-ended
な〈発達〉を実現できるだろう．

謝辞

や療育士への関わり（参照視＋微笑み）を繰り返していた本研究に協力していただいた仲川こころさん（情報通のだろう（図６）．

4

ための動機づけであり，身体内部のホメオスタシスによる

信研究機構）
・矢野博之さん（情報通信研究機構）
・安田有

意味の共有への動機づけ

里子さん（近江八幡市 心身障害児通園センター）・長谷川

前節で見たように，発達に必要なものは，個体に内在郁子さん（八王子保育園）
・Jordan Zlatev さん（Lund 大する根元的な動機づけと，その発現を待ち・読み取り・積学）
・高田 明さん（京都大学）
・Marek Michalowski さん

極的に応答していく養育環境（養育者）である．これらに（CMU）に感謝の意を表します．

よって，自発的に自分をとりまく物理的・社会的環境を探索し，そこで発見した驚き・楽しさなどを近しい他者と共参考文献有していることを確かめたり，あるいは積極的に伝えたり[Barto, 2006] Andrew Barto: Intrinsic motivation, cu-する行為がはじまる [Trevarthen, 2001]．

mulative learning, and computational reinforcement76

learning, The Sixth International Confernece on
Epigenetic Robotics (Paris, France), 2006.
[Kaplan, 2004] Frédéric

Kaplanand[Trevarthen, 2001] Trevarthen, C.: Intrinsic motives forcompanionship in understanding: Their origin, development, and significance for infant mental health.

Pierre-Infant Mental Health Journal, Vol. 22, pp. 95–131,
2001.

Yves Oudeyer: Neuromodulation and open-ended
development. The Third International Conferenceon Development and Learning (La Jolla, CA.), 2004.
[小嶋・高田, 2001] 小嶋 秀樹・高田 明：社会的相互行為への発達的アプローチ：社会のなかで発達するロボットの可能性，人工知能学会誌，Vol. 16, pp. 812–818,
2001.
[Kozima, 2002] Hideki Kozima: Infanoid: A babybot
that explores the social environment. K. Dautenhahn et al. (eds), Socially intelligent agent, Kluwer
Academic Publishers, pp. 157–164, 2002.
[Kozima and Ito, 2003] Hideki Kozima and Akira Ito:
From joint attention to language acquisition, J.
Leather and J. van Dam (eds.), Ecology of Language Acquisition, Amsterdam: Kluwer Academic
Publishers, pp. 65-81, 2003.
[小嶋, 2003] 小嶋 秀樹：赤ちゃんロボットからみたコミュ
ニケーションのなりたち，発達，Vol. 24, No. 95, pp.
52-60, 2003.
[Kozima et al.,2004] Hideki Kozima, Cocoro Nakagawa,and Hiroyuki Yano: Can a robot empathize withpeople?, International Journal of Artificial Life andRobotics, Vol. 8, pp. 83–88, 2004.
[小嶋, 2004] 小嶋 秀樹： ロボットは障害児教育に何ができるか, 渡部 信一 (編著) 「21 世紀テクノロジーと障害児教育」, 学苑社, pp. 105-113, 2004.
[仲川ほか, 2004] 仲川こころ・小杉 大輔・安田有里子・小嶋 秀樹：Keepon：子どもからの自発的な関わりを引き出すぬいぐるみロボット, 人工知能学会 言語・音声理
解と対話処理研究会, SIG-SLUD-A401-02, pp. 7-14,
2004.
[仲川, 2005] 仲川こころ： 人との関係に問題をもつ子どもたち──キーポンと療育教室の子どもたち，発達,Vol. 26, No. 104, pp. 89-96, 2005.
[Tomasello, 1999] Michael Tomasello: The Cultural
Origins of Human Cognition, Harvard University
Press, 1999.
[Tomasello et al., 2004] Michael Tomasello, Malinda
Carpenter, Josep Call, Tanya Behne, and Henrike
Moll: Understanding and sharing intentions: The
origins of cultural cognition, Behavioral and Brain
Sciences, (in press: http://www.bbsonline.org/Preprints/Tomasello-01192004/Referees/)77

c 2006

Special Interest Group on AI Challenges
Japanese Society for Arti cial Intelligence

社団法人 人工知能学会 ＡＩチャレンジ研究会〒 162 東京都新宿区津久戸町 4-7 OS ビル 402 号室 03-5261-3401 Fax: 03-5261-3402(本研究会についてのお問い合わせは下記にお願いします.)

Executive Committee
Chair
Hiroshi G. Okuno

ＡＩチャレンジ研究会
主 査
奥乃 博
京都大学大学院 情報学研究科 知能情報学専攻〒 606-8501 京都市左京区吉田本町

Dept.

075-753-5376

Gradulate School of Informatics

Fax: 075-753-5977

okuno@i.kyoto-u.ac.jp

of Intelligence Science andTechnology,
Kyoto University
Yoshida-Honmachi Sakyo, Kyoto 6068501 JAPAN

Secretary
Minoru Asada

幹 事
浅田 稔
大阪大学大学院 工学研究科
知能・機能創成工学専攻

Dept. of Information and Intelligent中臺 一博(株) ホンダ・リサーチ・インスティチュート

Graduate School of Engineering・ジャパン / 東京工業大学大学院
情報理工学研究科 情報環境学専攻
光永 法明(株) ATR 知能ロボティクス研究所

Engineering
Osaka University

Kazuhiro Nakadai

Honda Research Institute Japan/

Graduate School of Information
Science and Engineering
Tokyo Institute of Technology

Noriaki Mitsunaga

ATR Intelligent Robotics andCommunication Laboroatories
SIG-AI-Challenges home page (WWW):

http://winnie.kuis.kyoto-u.ac.jp/SIG-Challenge/