人工知能学会研究会資料

JSAI Technical Report
SIG-Challenge-0522

ＡＩチャレンジ研究会 (第２２回)

Proceedings of the 22nd Meeting of Special Interest Group on AI Challenges
CONTENTS【10 月 14 日】
5 信号処理から見たロボット聴覚: 「音源の方向検出について」 (招待講演) : : : : : : : : : : : : : : : : : : : : : : : 1

Sound source localization: robot audition system from the signal processing poingof view
金田 豊 (東京電機大学)

5 SIMO-ICA を用いた音響テレプレゼンスのためのブラインド音情景分解 : : : : : : : : : : : : : : : : : : : : : : 9Sound scene decomposition for audio tele-presence using SIMO-ICA
高谷智哉, 猿渡 洋, 鹿野清宏 (奈良先端科学技術大学院大学)

5 多音源に対する周波数領域ブラインド音源分離 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17

Blind source separation of many sounds in the frequency domain
澤田 宏, 向井 良, 荒木章子, 牧野昭二 (NTT コミュニケーション科学基礎研究所)

5 SIMO-ICA とバイナリマスク処理を組み合わせた 2 段型リアルタイムブラインド音源分離 : : : : 23

Two-stage real-time blind source separation combining simo-ica and binary mask
processing
森 康充, 高谷智哉, 猿渡 洋, 鹿野清宏 (NAIST), 稗方孝之, 森田孝司 ((株) 神戸製鋼所)

5 適応雑音推定処理を備えた空間的サブトラクションアレーによる実環境下でのハンズフリー音声認識

Hands-free speech recognition using spatial substraction array with adaptive noise
estimation processing under real environment : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 29
木内千絵, 高谷智哉, 猿渡 洋, 鹿野清宏 (奈良先端科学技術大学院大学)

5 脳型情報処理から見たロボット聴覚：「脳とからだをもった耳」 (招待講演) : : : : : : : : : : : : : : : : : : : 35

Robot audition from the viewpoint of brain-like information processing
辻野広司 ((株) ホンダ・リサーチ・インスティチュート・ジャパン)

5 パーソナルロボット PaPeRo における近接話者方向推定と２マイク音声強調 : : : : : : : : : : : : : : : : : : 41

Near- eld sound-source localization and adaptive noise cancellation in a personal
robot, PaPeRo
佐藤 幹、杉山昭彦、大中慎一 (NEC メディア情報研究所)

5 コミュニケーションロボット・ DAGANE : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 47

DAGANE: a communication robotX

原 直、西野隆典, 伊藤克亘, 宮島千代美, 武田一哉 (名古屋大学)【裏へ続く】

日時

2005 年 10 月 14 日〜 15 日

場

所

伊豆, ラフォーレ修善寺

Laforet Shuzenji, Izu, Oct. 14{15, 2005

社団法人 人工知能学会
Japanese Society for Arti cial Intelligence

共催 社団法人日本ロボット学会 ロボット聴覚研究専門委員会

Robotics Society of Japan, Research Committee on Robot Audition

【10 月 14 日】 (続き)
5 ハフ変換を用いた音源音のクラスタリングとロボット用聴覚への応用 : : : : : : : : : : : : : : : : : : : : : : : : : : 53

Clustering of sound-source signals using Hough transformation and application toomni-directional acoustic sense of robots
鈴木 薫, 古賀敏之, 廣川潤子, 小川秀樹, 松日楽信人 ((株) 東芝 研究開発センター ヒューマンセン
トリックラボラトリー)

5 人間共生ロボット "EMIEW"の聴覚機能 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 59

Auditory ability of human-symbiotic robots \EMIEW"
戸上真人, 天野明雄, 新庄 広, 鴨志田亮太 ((株) 日立製作所 中央研究所), 玉本淳一, 柄川 索 (日立製作所 機械研究所)【10 月 15 日】

5 認知神経科学から見たロボット聴覚 ：「聴知覚のダイナミクス」 (招待講演) : : : : : : : : : : : : : : : : : : 65

Cognitive Neuroscience: The dynamcis of auditory perception
柏野牧夫 (NTT コミュニケーション科学基礎研究所, JST 下條潜在脳機能プロジェクト)

5 対話音声における韻律と声質の特徴を利用したパラ言語情報の抽出の検討 : : : : : : : : : : : : : : : : : : : : : : 71

Using prosodic and voiced quality featuers for paralinguistic information extraction
in dialog speech
石井カルロス寿憲, 石黒 浩, 萩田紀博 (ATR 知能ロボティクス研究所)

5 大規模マイクロホンアレイによる室内移動音源の追跡と方向推定 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 77

Sound source tracking with orientation estimation by using a large scale microphonearray中臺一博 (HRI-JP), 中島弘文 (NOE), 山田健太郎, 長谷川雄二, 中村孝広, 辻野広司 (HRI-JP)

5 ヒューマノイドロボット HRP-2 におけるロバスト音声インターフェース : : : : : : : : : : : : : : : : : : : : : 83

Robust speech interface for humanoid HRP-2
原 功, 浅野 太, 麻生英樹, 緒方 淳, 比留川博久, 金広文男 (産総研), 山本 潔 (筑波大学大学院)

5 ロボット頭部に設置したマイクロホンによる環境変動に頑健な音源定位 : : : : : : : : : : : : : : : : : : : : : : : : 89

Sound Source Localization robust to variations of environments
久保俊明, 持木南生也, 小川哲司, 小林哲則 (早稲田大学)

5 384ch 壁面・天井スピーカーアレイによる複数音焦点形成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 95

Sound spots forming with the 384ch wall and ceiling speaker array
石井最澄 佐々木洋子, (東京理科大学, 産総研), 大友佑紀 (東京理科大学), 加賀美 聡 (産総研, JST,
東京理科大学), 溝口 博 (東京理科大学，産総研)

5 ミッシングフィーチャ理論を適用した同時発話認識システムの同時発話文による評価 : : : : : : : : : : 101

Evaluation of missing feature theory based automatic speech recognition for simultaneous speech sentences
山本俊一 (京都大学), Jean-Marc Valin (Sherbrooke 大学), 中臺一博, 中野幹生, 辻野広司
(HRI-JP), 駒谷 和範, 尾形 哲也, 奥乃 博 (京都大学)

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-1 (10/14)

信号処理から見たロボット聴覚:「音源の方向検出について」Sound Source Localization;
Robot Audition System from the Signal Processing Point of View
金田 豊 (東京電機大学工学部)* Yutaka KANEDA (Tokyo Denki Univ.)
kaneda@c.dendai.ac.jp

Abstract— This paper describes techniques for soundsource localization. At first, commonly used techniques
are explained. The methods are time delay estimation,
cross-spectrum phase method, MUSIC, and so on. Then,characteristics of these methods are discussed. Problems
encountered in practical application are also discussed.
Finally, a possible solution for the localization error underreverberant room condition is introduced. Some experimental results are demonstrated.

Ｍ1θx1 (t )ｄＭ2S

x2 (t )

ξFig.1 Sound wave and microphones.
1. はじめに
音源方向の検出は、ロボット技術において大変重要な役割をはたしている。例えば、ロボットが人間
本論文では、まず、従来の音源方向検出の代表的と会話をする時、ロボットは話者の方を向いて会話
手法について概説する。続いて、これらの手法の定を行うことが基本的である。そのためには、話者（音性的性質やアンテナ分野との相違について議論をす源）の方向（または位置）を検出することがまず必る。そして、これらの手法を実環境で応用する際の要となる。
問題点を議論する。最後に、問題点の一つである室
周囲に不要音が存在する音環境において、所望音
内反射音の悪影響を回避する一つの方法を説明し、声の方向を知ることができれば、指向性受音器（マ実験により、その効果を示す。
イク）などを用いた選択収音を効果的に行うことができる。所望音声を高い SN 比で受音できれば、音声
２．代表的な音源方向検出技術
認識性能も向上し、人間−ロボットの対話を円滑化
音の空間的情報を得るには、複数のマイクロホンに寄与が大きい。また一方、話者方向を特定するこ（マイクロホンアレー）を利用するのが通常である。
とにより、ロボットは発声者の画像を得ることがで
音源検出手法は複数のマイクロホンによる受音信号きる。その結果、遠隔地へ話者の姿を伝えたり、話の間の時間差に基づく方法、および複数の信号間の者の認識やセンサフュージョン的な処理へと進める
統計量（相関行列）に基づく方法に大別できる。
ことができる。
人間は音源の方向を判断する際には、聴覚だけで
2.1 時間差に基づく方法はなく視覚も利用しているし、また、より高次の知
最初に単一音源を仮定して考える。図１は、音波能処理も利用している。その結果、聴覚では間違いを２つのマイクロホンで受音している様子を示しての多い前後判断や、高騒音環境での方向検出も可能いる。音波は図の左上方向から平面波として到来しとしている。ロボット聴覚においても、そのようなている。到来方向は２つのマイクロホンを結んだ線
センサフュージョン的処理や高度な知能処理を組みに垂直な線を基準としてθs で表している。このとき、込むことは必須であると思われる。しかし本稿では音波はまずマイクロホン M1 で受音され、時間τs
それらの基本技術として、聴覚系のみの処理に限定
遅れて、マイクロホン M2 で受音される。よって、して話を進めることにする。
マイクロホン M1 で受音される信号 x1 (t ) を s (t ) と波の到来方向 (DOA:Direction-of-Arrival) の検出は、
表すと、マイクロホン M2 で受音される信号 x 2 (t ) は、
レーダやソナーの基本技術として古くから研究がなされてきた[1][2]。可聴音波の到来方向検出を行うロ
x1 (t ) = s (t )(1)
ボットへの応用では、レーダやソナーとは異なった
x 2 (t ) = s (t − τ s )（2）
点もあるが、基本的には同様な手法が適用されていと表される。この時間差τs は、音波が図の距離ξをる。

-1-

進む時間であり、

τ s = d sin θ s / c(3)

d: マイク間距離、ｃ: 音速と表される。これより、時間差τs を求めることができれば、音源方向は、

θ s = sin −1 (cτ s / d )(4)と、求めることができる。
２つの信号に含まれる成分の時間差（遅れ時間）を推定する方法は TDE(Time Delay Estimation)[3]と呼ばれ、さまざまな方法が提案されているが、代表的な方法を以下に示す。
(a) 相互相関関数 φ12 (τ )(5)

式(1)(2)を代入すると、

φ12 (τ ) = ∫ s (t ) s(t − τ s + τ )dt =φ ss (τ − τ s )(6)

ただし φ ss (τ ) は、次式で表される信号 s (t ) の自己相関関数である。

φ ss (τ ) = ∫ s(t ) s(t + τ )dt(7)

よく知られているように、 s (t ) が周期関数でなければ、自己相関関数 φ ss (τ ) は τ = 0 で単独の最大値をとる。よって相互相関関数 φ12 (τ ) = φ ss (τ − τ s ) は、

τ = τ 0 で最大値をとる。
以上のことより、相互相関関数 φ12 (τ ) を計算し、φ12 (τ ) が最大値をとる τ の値を求めれば、それが求めていた時間差τs となる。

(b) 一般化相関関数 (generalized correlation) [4]
雑音や複数音源などの条件下で性能を確保するた
めに、相関関数にさまざまな周波数重みをつけることが提案されている。これを一般的に表したものが一般化相関関数 R12 (τ ) で、次式で表される。

R12 (τ ) = ∫ψ (ω )Φ 12 (ω )e jωt dωSCOTψ s (ω ) = 1 / Φ 11 (ω )Φ 22 (ω )(9)
ただし、 Φ 11 (ω )Φ 22 (ω ) はそれぞれ信号 x1 (t ) および x 2 (t ) のパワースペクトルを表す。これを式に代入
すると、

R12 (τ ) = ∫Φ 12 (ω )Φ 11 (ω )Φ 22 (ω )e jωt dω(10)となる。この式の被積分項 γ 12 (ω )次式で定義される相互相関関数を利用する。

φ12 (τ ) = ∫ x1 (t ) x 2 (t + τ )dt

SCOT(Smoothed Coherence Transform)と PHAT(Phase
Transform)を説明する。（注：これらの方法は他の名称でも呼ばれているが、ここでは、文献[4]に従った）(8)

ただし、 Φ 12 (ω ) は、相互相関関数 φ12 (τ ) のフーリ

γ 12 (ω ) =Φ 12 (ω )Φ 11 (ω )Φ 22 (ω )(11)は、コヒーレンス関数となっている。コヒーレンス
関数は、該当する周波数成分の SN 比が大きい場合には、その絶対値が１に近く、SN 比が小さい場合には０に近い値をとる。（ただし、２つのチャンネルに含まれる雑音は無相関と仮定）よって、高い SN 比で時間差情報を含んだ周波数帯域の強調を行うことに
なる。
PHAT

ψ p (ω ) = 1 / Φ 12 (ω )(12)

これを式に代入すると、R12 (τ ) = ∫Φ 12 (ω ) jωte dωΦ 12 (ω )(13)となり、被積分項は、クロススペクトルの振幅を平坦化し、位相項のみを表す。相関関数が白色化されるので相関関数のピークが先鋭化され、複数音源の分離性能が向上する。この方法は、白色化相互相関[5]、CSP[6]、などとも呼ばれている。
白色化の際に SN 比の悪い帯域も持ち上げるため、SN 比の悪い帯域を含んでいる場合には雑音の影響を受けやすいことが予想されるが[4][7]、この方法を利用している報告は多い。またこの方法は、反射音の影響を受けにくいという報告[7]もあるが、定量的な検証が必要であると考えている。

エ変換（＝信号 x1 (t ) と x 2 (t ) のクロススペクトル）である。式(8)は、相互相関関数 φ12 (τ ) の周波数成分である Φ 12 (ω ) にψ (ω ) で重み付けをした後、逆フーリエ変換をして時間軸に戻したものである。
この重み関数ψ (ω ) としては、いくつかの評価基(c) クロススペクトルの位相特性
時間差τs を持った信号 s (t ) と s (t − τ s ) のクロス
スペクトル Φ 12 (ω ) は、

Φ 12 (ω ) = Φ ss (ω )e − jωτ s(14)
準に基づいたものが提案されているが、定性的には、 と表される。 Φ (ω ) は信号 s (t ) のパワースペクトss
・SN 比の大きい帯域を強調し、雑音が優勢な帯域
ルで、実数であるので、
Φ 12 (ω ) の位相特性 ϕ (ω ) は、を抑制する。
・周波数白色化を行って相関関数のピークを際立ϕ (ω ) = ωτ s
(15)
たせるの２つの考えがある。ここでは、前者の代表として-2-となる。この特性の傾きより時間差τs が得られる。

2.2 相関行列に基づく方法
Ｍ個のマイクロホンで受音する事を考える。θ方向にある音源から各マイクロホンまでの伝達関数を
Gi (ω ,θ ), i = 1,2,L M と表す。このとき、周波数 ω

(a)

(b)

を固定して考えて、方向ベクトル d(θ ) を次式で定義する。

d(θ ) = [ G1 (ω ,θ ), G2 (ω ,θ ),L , G M (ω ,θ ) ]T
Fig.2 Steering (a)beam, (b) null.

(16)
こ の d(θ ) は 、 １ つ の マ イ ク ま で の 伝 達 関 数

Gi (ω ,θ ) を基準とした相対的特性d(θ ) → d(θ ) / Gi (ω ,θ )PM (θ ) とする方法。 PMV (θ ) は、
(17)と置き換えても良い。
ここで、簡単のため、各マイクロホンで受音される音の大きさは等しい、すなわち、

G1 (ω ,θ ) = G2 (ω ,θ ) = L = G M (ω ,θ ) が成立すると仮定し、 d(θ ) の各項を G1 (ω ,θ ) で除したものを改めて d(θ ) とすると、

d(θ ) = [1, e− jωτ 2 (θ )− jωτ 2 (θ )− jωτ M (θ )

T

,L, e
] (18)と表される。このとき、ωτ i (θ ), i = 2,3, L M は第,e

ｉ番目のマイクと１番目のマイクの位相差を、
τ i (θ ) は時間差を表している。
各マイクロホンの受音信号を短時間周波数分析したものを X i (ω , t ), i = 1,2, L M と表す。入力信号ベ
クトル x を

x = [ X 1 (ω , t ), X 2 (ω , t ),L , X M (ω , t )]T(19)と定義し、入力相関行列 R x を次式で定義する。
R x = E[xx ](20)
ただし、E[ ⋅ ] は期待値を表すが、実際的には時間平PMV (θ ) =1−1d(θ ) * R x d(θ )(22)と表される。
(c) MUSIC
入力相関行列 R x の固有値を計算し、大きいほうから、想定される音源の数(Ｋ個) の固有値を取り除く。
残った固有値に対応する固有ベクトルを v q ，ｑ＝K+1，･･･，M と表したとき、次の行列 R n を定義する。
M

Rn = ∑ vqvq

*

(23)

q = K +1

この行列 R n を用いて、具体的に、到来音パワー推定
量 PMS (θ ) は、

PMS (θ ) =T1d(θ ) * R n d(θ )(24)と表される。

３．音源方向を推定する２つの考え方
指向性受音器を用いて音源方向を検出する場合、次の２つの方法が考えられる。図 2(a)に示すような
下にその中の代表的手法を示す。なお、スペースの鋭い指向性（beam）を利用する方法と、図 2(b)に示関係で各手法導出の詳細は省略するので文献[8]など
すような死角（感度がゼロの方向：null）を用いる方を参照されたい。
法である。
(a) DSA（Delay-and-sum-array：遅延和法）
鋭い指向性は、ある特定の方向の音だけを受音す
θ方向から到来する音の遅延量（時間差）とは正るので、出力はその方向の音の大きさを反映する。
負逆の遅延を、各チャンネルの受音信号に印加する。 よって、指向性の向きを、対象とする範囲で変化さ
その後、総和をとった信号の二乗和を、その方向かせれば（beam-steering）、音源方向が推定できる。一
ら来る音の推定量とする。具体的には、到来音パワ方、死角の方向を変化させ（null-steering）た時には、ー推定量 PD (θ ) は、入力信号ベクトル x に対して、死角方向と音源方向とが一致すると、出力が減少すPD (θ ) = E[(d(θ ) * x) 2 ] = E[d(θ ) * xx* d(θ )]るので、音源方向が推定できる。
(21)
鋭い指向性は遅延和アレーで実現できる。これは= d(θ ) * E[xx*]d(θ ) = d(θ ) * R x d(θ )アレーの加算処理である。また、死角の制御はアレと表される。ただし、＊は転置共役ベクトルを表す。
ーの減算処理で実現できる[9]。このように、アレーの加算処理および減算処理を基本として音源方向の(b) MV（最小分散法）
検出を行うことができる。
θ方向以外から到来する音成分を最小化する適応型アレーの出力をその方向から来る音の推定量

均で計算する。音源方向検出はこの方向ベクトルd(θ ) および入力相関行列 R x を用いて行われる。以-3-

(a)加算形の方向検出
２つのマイクの受音信号を x1 (t ), x 2 (t ) とする。

x 2 (t ) に遅延τを付加して加算して得られる遅延和
アレーの出力は x1 (t ) + x 2 (t − τ ) で、そのパワー（二乗期待値）は、

E[{x1 (t ) + x 2 (t − τ )} ]2

= E[ x1 (t )] + E[ x 2 (t )] + E[ x1 (t ) x 2 (t − τ )]22となる。第 1,2 項は、τの値によらない定数項であり、第 3 項は相関関数を表している。すなわち、２マイ
クロホンの遅延和アレーの出力のパワーは、定数項を除けば、相互相関関数と一致する。
よって、相関関数は加算形の処理に属することがわかり、遅延和アレーと共通の性質をいくつか持っている。
(b) 減算形の方向検出
多少強引な分類であるが、MV 法や MUSIC などの「高分解能法」とよばれる方法は減算形に属する。
指向性の谷はビームより狭角度に作れるので、到来音の推定も鋭いピークで行うことができる。ただし、マイクロホンの数 M に対して指向性の谷はＭ−１個しか作れないので、ある周波数における音源数がマ
イクロホンの数を上回ると性能は低下することが理解できる。

４．アンテナ分野との相違
２節で述べた基本技術の多くは、アンテナなどの分野で開発された技術である。電波も音波も、波という意味では同一なので、それらの技術がスムースに導入されてきた。しかし、アンテナの分野では信号は狭帯域であるのに対しわれわれの分野（以下、音響分野）では信号は 10 オクターブもの広帯域信号である。その結果、アンテナの分野の常識とは若干異なることもある。
一例として、空間のサンプリング定理と呼ばれるものがある。これは、マイクロホン間隔が空間波長の半分を超えないようにと定めるものである。半分を超えると、空間的折り返し、すなわち、目的方向以外にも複数のビームを持つ指向性が形成されてしまう。その結果、到来音の推定結果にも誤ったピー
クが発生してしまう。人間の聴覚でもこのサンプリング定理が満たされない 1500Hz 以上の周波数での方向検出には位相差（時間差）情報を利用しないことも、このことの重要性を意味しているように思える。
しかし周知のように、広帯域信号の方向検出において、必ずしも空間サンプリング定理を満足する必

-4-

-90

-60

-30

0
30
angle [dB]60

90

Fig.3 Beam aliasing and frequency averaging.

要はない。正しい音源方向は周波数によらず一定であるのに対して、折り返しによって現われる誤ピー
クの方向は、周波数によって変化するので、周波数ごとに求めた推定結果を周波数で平均化すれば、誤ピークの影響を軽減することができる[安倍]。
図 3 は、このことを示したシミュレーション結果である。30°方向から到来する白色雑音を 2 マイクで受音し、最小分散法で方向推定を行った。各線は、下から、100Hz, 300Hz, 500Hz, ･･･ と 200Hz おきの周波数成分の結果である。どの周波数においても30°方向は正しく推定されている。しかし、マイク間距離が 60cm と大きめであるため、500Hz 以上の推定結果においては、空間折り返し誤差による誤推定のピークが見られる。誤推定ピークは正しいピークと同程度の大きさを持っている。
この折り返しの誤ピークは周波数によって発生する方向（横軸上の位置）が推移していくことがわかる。そして、それらを周波数軸上で平均した結果を最上段の赤線として示した。実際の音源方向以外は平均化されて小さな値となり、音源方向の推定が可能となることがわかる。
広い意味で、推定結果を周波数ごとに求めて平均化する方法には、上記の直接的な方法のほかにもさまざまな形態があり[朝の]、方向推定では代表的な考え方であるといえる。
なお、選択収音技術においては、折り返しピーク
によって、所望方向以外の音を拾ってしまうと、品質の劣化につながるため、折り返しは無視できない場合も多い。

５．実環境における課題
ここまでは、理想的な条件で方向検出技術を考えてきたが、実環境で音源方向推定をする際にはさま
ざまな条件が追加されてくる。以下にその主なものを述べる。
1) 周囲騒音（雑音）2) 反射音
3) 複数音源
4) 音源の移動
5) 近距離音場
1) 周囲騒音（雑音）最も基本的な問題であり、アンテナなどにおいても十分考慮されている。しかし、他分野では主としてセンサ雑音に注意が払われ、複数の信号に含まれる雑音は無相関として扱われる場合が多い。その場合、相関行列では微小な対角成分として扱われる。
しかし、音響の分野で、特に低周波数では、雑音成分であってもマイク間で相関が高い。したがって、それに応じたモデルをたてるなどの配慮が必要な場
合も有る。

cor.

0.5

0
-90

-45

0
angle [deg.]45

90Fig. ４ Cross-correlation between 2 micropohne
output (microphone distance is 60cm).

2) 反射音0.5
反射音は目的音と相関の高い不要音で、目的音源
方向とは異なる方向から到来して推定結果に大きな影響を及ぼす。アンテナの分野でも同様な問題が存co
在し、少数の反射音に対しては、相関行列を空間的に平均することで、相関除去を行う方法などが提案されている[2]。しかし、しかし、実際の室内で、音源−マイク間距離が大きくなると多数の反射音が影
0
響を及ぼすようになるので、そのような手法での解決は困難である。
-90
-45
0
45
90
angle
もちろん、音源−マイク間距離が 1m 程度であれば、反射音の影響は小さく、また、ロボットと人間とのFig. 5 Cross-correlation between 2 micropohne
対話距離もその程度が現実的ではある。しかし、数output (microphone distance is 20cm).
m 離れた場所におけるイベントの検出や、近くに反射物体がある場合などを考えると、反射音の影響の軽減は望まれる。
各音声が単独で存在する場合の結果を細線で示した。
反射音の影響を取り除く自然な考え方は、反射音
それぞれの曲線は-45°0°45°でピークを持っておが到達する前の、反射音の影響を受けていない直接り、正しい方向が検出できている。太線の 25°付近
音部分に注目して方向検出を行うことである。具体のピークは、-45°0°の２つ音源のピークが融合し的には、閾値処理により信号の初期部分を切り出してできたピークであることがわかる。
て方向検出を行う方法[11]、ピークホールド処理によ
このことより、相互相関関数を用いる方法では、
り後続する反射音をマスクすることでその影響を軽
単一音源は良好に検出できるが、複数の音源がある減する方法[12][13]などが提案されている。ピークホ
ールド処理の実験例については、６節で紹介する。
場合は、複数のピークが融合して誤った結果となる場合がある。この問題を解決する方法のとしては、
3) 複数音源
白色化相互相関を用いたピークの先鋭化が有効と考MV 法や MUSIC などの減算形の処理では、音源数えられる。また、第 2 の方法としては、マイク間距はマイクロホン数−１ 以下である必要がある。しか離を広くすることも有効である。相関法は遅延和ア
し、加算形の処理ではそのような制約は無い。
レーと同様なので、マイク間距離を広げることはア
図 4 は、-45°0°45°の３方向から到来する３つレーの全長を広くすることになり、指向性ビームをの音声を 60cm 離した２つのマイクで受音し（シミュ鋭くすることになるので、各音源に対応する相関波
レーション）、相関関数により方向推定した結果で形を先鋭化できる。
ある。相関の平均時間が長く（2 秒）音声の周期性の影響を回避しているので、２つのマイクであっても4) 移動音源
３つの到来方向が明確に検出できている。
移動音源を対象とする場合には、固定と見なせる
一方、図 5 の太青線は、マイク長を 20cm とした時音源と違って、短時間のデータに基づいた推定が必の結果である。45°の音源方向はほぼ検出できてい要とされる。そしてその結果、推定誤差がより多くるが、-45°0°方向の検出は失敗している。同図に、発生する。そのような問題に対しては、Kalman フィ-5-

ルタによるスムーシングや、Particle フィルタによるトラッキングなどの適用が試みられている。詳細は、
昨年度の本研究会の講演論文[14]を参考にされたい。
5) 近距離音場
アレーサイズに比べて音源からの距離が近い場合
は、近距離音場と考えられ、波面も平面波ではなく球面波のモデルを導入する必要な場合もある。
また、近距離音源に対しては、音源の「方向」ではなく、「位置」の検出が求められる場合がある。
複数のアレーで「方向」を検出し、その方向の交点として「位置」を求めるのが通常である。この方法
ではしかし、複数の音源が存在する場合では必要以上の「位置」の候補が発生し、その対策が検討されている。[15]

直接音

相互相関関数反射音(a)x1 (t )t

x2 (t )t

φ12 (τ )

(b)

t
0

τs

τs

ピークホールド(c)x1 (t )tx 2 (t )tτs
相互相関関数

φ12 (τ )(e)(d)時間差分を取った後
t6) その他
本稿の枠組みでは紹介し切れなかったが、ロボッ
トの HRTF を用いたパターン認識的なアプローチ[16][17]や、演算量低減のためのアプローチ[18]、音声の時間−周波数領域におけるスパース性の利用（ある時間のある周波数成分を見れば、複数音声でも単一音声と見なせる）[19][20]、など興味深い報告がなされている。

t

t
0 τ

τs

s

Fig.6 Peak-hold processing.

直接音
反射音

６．ピークホールド処理を用いた音源方向推定
最後に、反射音の影響を軽減する目的で検討を進めているピークホールド処理[21]について紹介する。
6.1 ピークホールド処理の考え方
図6にピークホールド処理の模式図を示す。(a)は受音信号波形を表す。τsの時間差をもった直接音のほかに、異なった時間差を持った反射音が含まれる。
(b)は図(a)の信号x1(t),x2(t)の相互相関関数を表す。
反射音の影響で多数のピークを持っており、雑音の影響などでτs 以外のピークが誤って検出されることがある。
この反射音の影響を軽減するために直接音にピー
クホールド処理を行って、後続する反射音をマスクする。図(c)は図(a)にピークホールドを行った波形を表す。その後、ピークホールド波形の時間差分をとって（図(d)）、(e)はそれらの相互相関関数を表す。図(e)より、反射音の影響が除去され、直接音の時間差τsが明確になっていることが分かる。
なお、複数回の発音に対応可能とするためには、
ピークホールド値に，室内残響と同程度の指数減衰を持たせるものとする。
6.2 対数処理
複数の初期反射音が近接した時刻に到着する場合、
図 7 に示すように反射音のパワーが直接音のパワー
より大きくなることがある。この影響を軽減するために、図 8 のようにピークホールド処理をした波形に、対数操作を行う。図の数値例で示すように、ピ-6-

Fig.7 Direct and reflected sound.
(c)
26dB
(a)

20

20dB
対数

10

x1 (t )

x1 (t )

t

t
時間差分
(b)

(d)
10

20

10

6

x1 (t )

x1 (t )
t

Fig.8 Logarithmic operation.

tークホールド処理をした波形に対数をかけると、後続の振幅の大きい反射音の影響を軽減することが期待できる。

6.4 音場実験
この手法の反射音に対する効果を確認するために、反射音の影響が大きいと考えられる図10の音場条件
で、音源方向検出実験を行った。音源は拍手音を用
い、マイクロホン間隔dは0.6mとした。実験室（5.0×9.0×2.4[m]、残響時間400ms）のマイクロホンの近くには反射板を図のように設置した。音源−マイクロホン距離は1,2,4mとした。
6.5 実験結果
２つの受音信号波形から、相互相関関数を計算する方法を従来法とし、ピークホールド法と比較を行った。
図11は、従来法による結果を表すもので、音源距
離が2,4mの時に正しい角度を検出できていない。これは、音源が遠ざかることで，直接音が小さくなり、反射板からの反射音の影響が大きくなったためと考えられる。これに対して図12のピークホールド法の結果を見てみると、音源距離が大きくなった場合にも、ほぼ正しい角度を検出していることがわかる。
今回の結果は拍手音という衝撃的な音が対象ではあるが、ピークホールド法を用いると、反射音の影響を軽減して音源方向検出の性能が向上できる可能性を示すものと考えられる。

Fig.9 Example of peak-hold wave form.
棚

45°

反射板

6.3 立ち上がり検出と相関処理
図9に拍手音を２マイクで受音し、その信号のピー
クホールド波形を対数値として表した例を、青・赤の線で示す。雑音がほぼ定常であると仮定し、短時
間T[ms]でAth[dB]以上の振幅変化があった時刻を音
源信号の立ち上がりとみなした。（今回は拍手音を仮定しているのでT=10ms，Ath=10dBとした）図9よりわかるように、反射音の影響はほぼマスクされているので、立ち上がり時刻の検出にあまり精度は要求されない。そして、立ち上がり時刻の前後数10ms程度の信号を切り出し、時間差分を取った後、相互相関関数を計算して、時間差τsを検出した。

d
θ
ドア
棚
Fig.10 Experimental set up.

Fig.11 Experimental result (conventional).

７．むすび
本稿では音源方向検出の基本的技術について概説した。本稿で述べた技術は、「ロボットの耳」の末
端のボトムアップ処理に相当する。
現実の環境での音源検出においては、本稿で書いたようにさまざまな変動要因、妨害要因が予想される[16]。その結果、「耳の処理」だけで完全な音源方向検出を達成するのは困難と考えられる。そこで、画像による話者認識処理と組み合わせたり、学習に基づいた知能判断処理を組み込んだり、またそれらに基づいたトップダウン的な「耳の処理」を導入し-7-

Fig.11 Experimental result (with peak-hold).

たりと、統合的な処理と判定メカニズムの構築が重要と考えられ、その検討が進められている[16][22]。
そのような中で、「耳の処理」単独の性能は限界近くまで開発されているのではないかとも考えられる。ただしかし、各種の方法には、さまざまな音響
環境・用途に応じた得意不得意があって、それを環境と対応付けて明確にしていくことは残された課題であると考えている。そして、一つの処理方式です
べての状況に対応するのではなく、状況に応じて最適な処理方式を選択、利用していく処理形態が「末端の耳の処理」としての望ましい形だと考える。
参考文献[1]S.U.Pillai, Array signal processing, New York, Springer
Verlag, 1989.
[2]菊間, アレーアンテナによる適応信号処理 , 科学技術出版 (1998)[3] G. C. Carter, Ed., Special issue on time delay estimation, IEEE Trans. Acoust. Speech, Signal Processing,
ASSP-29, June (1981).
[4] C. H. Knapp and G. C. Carter: The generalized correlation method for estimation of time delay, IEEE Trans. on
Acoust., Speech and Signal Proc., ASSP-24, 4, pp.320-327(1976).
[5] 林, 他： 信号の白色化による航空機騒音識別手法の改良とハードウェアによる実現, 信学技法EA89-38(1989).
[6] M. Omologo, et al. : Acoustic event localization
using a crosspower-spectrum phase based technique, IEEE ICASSP94, II-273-276 (1994).
[7] M. S. Brandstein: Time-delay estimation of reverberated speech exploiting harmonic structure, J.
Acoust. Soc. Am., 105, 5, pp.2914-2929 (1999).
[8]大賀，他： 音響システムとディジタル処理 ，pp.
197-208，通信学会，(1995).
[9]金田： マイクロホンアレーによる指向性制御, 音響
学会誌, 51, 5, pp.390-394 (1995).
[10]永田、他： 多数センサによる音源位置の推定, 音響学会誌, 46, 7, pp.531-540 （1990）.
[11]黄、他： 生体に示唆を得た音源定位システム−反響のある環境での単一音源定位, 信学論(A)，J71-A,
10, pp.1780-1789 (1988).
[12]金田： 室内残響下における広帯域音源の方向推
定 , 日本音響学会講演論文集（秋）, pp.547-548,(1991.10).
[13]小林、他： 雑音と反射音に対してロバストな話者方
向推定法, 日本音響学会講演論文集（春）,pp.535-536 (2001.3).
[14]浅野、他： マイクロホンアレイを用いた移動音源の追跡と分離について, 第20回AIチャレンジ研究会資料,
pp.1-8 (2004).
[15]西浦、他： マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定, 信学論(A)，J83-Ｄ-Ⅱ, 8,
pp.1713-1721 (2000).

-8-[16]奥乃、中臺： ロボット聴覚の現状と課題, 日本音響学会講演論文集（春）, pp.633-636 (2005.3).
[17]小林： ロボットに搭載したマイクロホンによる音像定
位・音源分離, 日本音響学会講演論文集（春）,pp.637-640 (2005.3).
[18] M. Sato, et al.: Near-field sound-source Localization based on signal binary, IEICE Trans. Fundamentals, ESS-A, 8, pp.2078-2085 (2005).
[19] 井原、他： 周波数振分けによるマルチチャンネル
混合音声の分離と音源定位, 信学論(A)，J86-A, 10,
pp. 998-1009 (2003).
[20] 陶山、他： 2段階のデータ選別による複数音源定位, 信学論(A)，J79-A, 6, pp. 1127-1137 (1996).
[21] 木皿、他： 拍手音に対するピークホールド音源検出法の有効性について, 日本音響学会講演論文集（秋）, (2005.9).
[22] 浅野、他： 音響と画像の情報統合を用いた話者追跡と音源分離, 第18回AIチャレンジ研究会資料,
pp.19-26 (2003).

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究資料
JSAI Technical Report
Sig-Challenge-0522-2 (10/14)

SIMO-ICA を用いた音響テレプレゼンスのためのブラインド音情景分解
Sound Scene Decomposition for Audio Tele-Presence Using SIMO-ICA

高谷智哉, 猿渡洋, 鹿野清宏
Tomoya TAKATANI, Hiroshi SARUWATARI, Kiyohiro SHIKANO

奈良先端科学技術大学院大学 情報科学研究科
Nara Institute of Science and Technology, Graduate School of Information Science{tomoya-t, sawatari, shikano}@is.naist.jp
http://www.aist-nara.ac.jp/∼ tomoya-t/index.html
Abstractている. これらの手法は干渉音の抑圧を行う事が可能であるが，独立な各音源信号をモノラル信号として抽出すIn this paper, we address a blind decomposition

る．その結果, 出力信号は各音源の定位感や残響感などの

problem of binaural mixed signals observed at
the ears of humanoid robot, and we introduce a

空間的性質を失っている. 従って，その性質を必要としないハンズフリー音声認識やハンズフリー音声通話シス

novel blind signal decomposition algorithm using Single-Input Multiple-Output-model-based

テムへの応用が期待されるが，バイノーラル信号処理 [5],ICA (SIMO-ICA). The SIMO-ICA consists ofmultiple ICAs and a ﬁdelity controller, andな基礎理論とするヒューマノイドロボットを用いた音響

高品質な音場再現システム [6], またそれらを必要不可欠

tele-presence (tele-existence)[7, 8] システムへ応用することは困難である.

each ICA runs in parallel under the ﬁdelity
control of the entire separation system. The

上述の問題点を改善するために, 我々は混合された音響信SIMO-ICA can separate the mixed signals, notinto monaural source signals but into SIMO-

号をそれらの各要素である Single-Input Multiple-Output

model-based signals from independent sources
as they are at the microphones in the robot

基づく ICA (SIMO-ICA) [9, 10, 11, 12] の研究を行って(SIMO) モデルに基づく信号に分解する SIMO モデルにきた．ここで, SIMO モデルとは単一の音源からの信号

ear. Thus, the separated signals of SIMO-ICA

を複数点で受音する伝達系のことを言い，SIMO モデル

can maintain the spatial qualities of each soundsource, i.e., they represent the decomposedに基づく信号とは SIMO モデルで観測される信号群のこ

sound scenes. Obviously the attractive featureof SIMO-ICA is highly applicable to not only

controller により形成され, 各 ICA は分離システム全体のspeech recognition but also, e.g., humanoidrobot-based auditory tele-existence technology.

から音源信号をモノラル音として推定するのではなく, 観The experimental results reveal that the spatial
quality of the separated sound in SIMO-ICAて, SIMO-ICA の出力信号は各音源の定位感や残響感なis remarkably superior to that of the conventional method, particularly for the ﬁdelity ofより個々の音源毎の音情景を表現することが可能である.

とを言う．SIMO-ICA は複数の ICA 部と単一の ﬁdelity
音質制御の下で並列に動作する. SIMO-ICA は観測信号
測信号を SIMO モデルに基づく信号群に分解する．従っ
どの空間的性質を維持したアレー信号であり, この信号に我々はこの特徴をいかして，次のような統合手法の研究

the sound reproduction.

1

も行ってきた．
統合法 1 SIMO-ICA とブラインド MINT 法を統合したブ

はじめに

ラインド音源分離・残響抑圧法 [13]ブラインド音源分離 (BSS) は各入力チャネルで観測され統合法 2 SIMO-ICA と適応ビームフォーミングを統合した観測信号の情報のみを用いて音源信号を推定する手法

たブラインド音源分離法 [14]である．近年，独立成分分析 (ICA)[1] を用いた BSS が主流となっており，音響信号の混合過程に相当する畳み込

統合法 3 SIMO-ICA とバイナリーマスキング処理を統合

み混合の分離を取り扱った手法 [2, 3, 4] が多く提案されしたリアルタイムブラインド音源分離法 [15]9

統合法 1 では，音声などの有色信号を音源とする等決

x1(t)A11(z)定問題 (音源数＝マイクロホン数) において，干渉音の抑Head of Humanoid robots1(t)圧だけでなく，伝達系の影響を除去することを実現していB1(z)s1(t) Distorted

A22(z)ICA

る．また，統合法 2 においては，SIMO-ICA により得ら

monauralB2(z)s2(t) signals

A12(z)

れた出力信号群に適応ビームフォーミングを適用し，各手法単体より更なる干渉音の抑圧に成功している．更に，統合法 3 においては，リアルタイム性の高い信号処理を

A21(z)

s2(t)

x2(t)

B1(z)=A11(z), A21(z) B2(z)=A12(z), A22(z)組み合わせることにより，リアルタイム高性能ブラインド
音源分離が可能となっている．各手法の詳細については

Figure 1: 従来 ICA における入出力の関係．Bl (z)(Bl (z) =

参考文献を御覧いただきたい．

Akl (z)) は任意の FIR フィルタであるため, 出力信号はス
ペクトル歪みを有する．

本稿では，SIMO-ICA アルゴリズムを用いて，ロボッ
ト頭部の影響を含む混合バイノーラル音を単一音源からのバイノーラル音に分解する音響 tele-presence システムう. ICA の出力信号は次式で表される.

を提案する．提案システムの出力信号は，SIMO-ICA の特長より，音源方位などの空間情報が含まれている．残響y(t) = [y1 (t), y2 (t)]T =環境下において head and torso simulator (HATS) を用いのフィルタ長を示している. 分離フィルタ行列は y(t) の結示された．また, 出力信号の両耳間時間差 (ITD) 及び両耳

合確率密度関数と yl (t) の周辺確率密度関数間の Kullback-間レベル差 (ILD) の結果より，SIMO-ICA の出力信号にLeibler divergence (KLD) を最小化することによって最適は各音源の定款や残響感などの空間的性質が維持されて化される. 音声などの有色信号の分離問題を扱う反復学習

いることが確認された.

2.1

混合過程

則は Choi et al. によって次式のように与えれている [16].

w[j+1] (n) =

D−1



oﬀ-diag ϕ(y [j] (t))

w[j] (n)− α

d=0
[j]

y (t − n + d)T

本研究では, マイクロホン数 K を 2, 音源数 L を 2 とする. 一般に，音源信号が線形に混合された観測信号は以下

tw[j] (d),(3)

但し, α は更新係数, [j] は更新回数，·t は時間平均であで表される.

x(t)(2)

但し, w(n) は分離フィルタ行列であり, D は分離フィルタ

より，SIMO-ICA の性能は従来法より優れていることが混合過程と従来 BSS 法

w(n)x(t − n),n=0て収録した混合バイノーラル音を用いた音情景分解実験

2

D−1


る. また，oﬀ-diag X は行列 X の全ての対角要素を零に

=

N
−1

n=0


=


=

置き換える演算であり，非線形関数ベクトル ϕ(y(t)) =[ϕ(y1 (t)), ϕ(y2 (t))]T は [tanh(y1 (t)), tanh(y2 (t))]T であa(n)s(t − n) = A(z)s(t)A11 (z) A12 (z)A21 (z) A22 (z)s1 (t)s2 (t)A11 (z)s1 (t) + A12 (z)s2 (t)A21 (z)s1 (t) + A22 (z)s2 (t)る．
従来 ICA の問題点として, 次の 2 点を挙げることがで



きる.

(1)

• 独立な各音源信号をモノラル信号として抽出する

但し, a(n) = [akl (n)]kl はフィルタ長 N の混合フィルタ
N −1
行列, A(z) = [Akl (z)]kl = [ n=0 akl (n)z −n ]kl は a(n)の Z 変換である. ここで, z −1 は単位遅延演算子であり，z −n · s(t) = s(t − n) と表記する．また，[X]ij は i 行 j 列に要素 X をもつ行列を表す．

• 出力信号の音質は規定されず, スペクトル歪みを含んでいる.
本研究では，単一音源からの音を複数のマイクロホン群で受音した SIMO モデルに基づく信号の推定を目的とする．従って, K(マイクロホン数)× L(音源数) の出力信号数が必要である．しかしながら, 従来法では各音源に対し

2.2

モノラル出力型 ICA を用いた BSS 法てモノラル信号を出力するため, 出力信号数は L である.

本稿では, 安定なフィルタ設計が可能な FIR フィルタをまた，従来 ICA 手法の出力信号は任意のスペクトル歪み

各要素とする分離フィルタ行列を用い，サブバンド信号を有している．これは，音源信号 si (t) に独立性が成立す処理を用いることなくフルバンドの観測信号のみを用いるとき, 音源信号に任意の線形フィルタ bi (n) を畳み込んて分離フィルタ行列を最適化する時間領域 ICA を取り扱

だ信号 Bi (z)si (t) もまた独立性が成立するため，出力信号103間の独立性のみを評価したコスト関数を扱う従来 ICA では，これらの識別が困難であることに起因する．従って，仮に従来 ICA を並列に動作させて出力信号数を K × L

提案法: SIMO-ICA

上述の 2 つの問題点を同時に解決する手法として，我々は観測信号を SIMO モデルに基づく信号に分離する SIMO-としても，SIMO モデルに基づく信号を得ることはでき

ICA を提案している [9, 10, 11, 12]. SIMO-ICA は, 2 音ない．

源 2 素子の場合，単一の ICA と情報幾何理論に基づいて

従来 ICA の出力信号の音質の任意性の問題点を改善する構成される単一の ﬁdelity controller (FC) によって構成さために, Matsuoka et al. は Minimal Distortion Principle

れる．従って，システム全体が情報幾何理論に基づく学習[17] に基づいた拡張 ICA を提案している. この手法は，従来 ICA で用いる出力信号間の KLD と出力信号ベクトル

アルゴリズムで構成されており，それらのバランスを決定と観測信号ベクトルの差のフロベニウスノルムを同時にICA の出力信号は次式のように表される．

するパラメータは 1 でよい [11, 12]．SIMO-ICA における最小化することにより，任意の FIR フィルタを Bl (z) をy (ICA) (t) =規定することを目指した手法である．しかしながら，このコスト関数は規範の異なるコスト関数の和を最小化する=

ため，それらを調整するバランシングパラメータを与え

D−1


(ICA)

(t), y2(t)]w(ICA) (n)x(t − n),

(4)

n=0

る必要がある．また，そのパラメータの最適値は音源の性

ここで, w (ICA) (n) は ICA の分離フィルタ行列である. FC

質に依存するため, 事前に設定することは困難である．更の出力信号は, 次式により計算され，各要素は互いに独立に, この手法の出力信号はモノラル信号であるため，空間になるように最適化される.

の位相情報等は失われている.

y (FC) (t) =
2.3

(ICA)

[y1

=

従来の SIMO モデル出力型 ICA を用いた

(FC)

(FC)

[y1

(t), y2

(t)]

x(t −

D
) − y (ICA) (t).
2(5)

今後, y FC (t) をヴァーチャル ICA の出力信号として扱い,

BSS 法

ヴァーチャル ICA の分離フィルタ行列を次のように定義する.

上述の問題点を改善するために, 各音源に対してモノラル信号を推定後, それらを観測信号の空間に射影する手法がwFC (n) = Iδ(n −提案されている. 射影の設計の一例として, 分離フィルタD) − wICA (n).
2(6)

行列 w(n) の逆行列を利用する手法がある ([18]). この処

ここで，δ(n) は δ(0) = 1, δ(n) = 0 (n = 0) を満たすデル

理には分離フィルタ行列の正則性が必要であるが，それはタ関数である．また, 式 (6) を用いて，式 (5) を以下のよ必ずしも保証されていない．従って，特異点においてはモ

うに書き表すことできる.

ノラル信号の分離に成功していても射影に失敗し SIMO
モデル信号を得ることができない [19, 20]．第二の設計手

y FC (t) =法として, 特定のモノラル音源信号 yl (t) を抽出した後, そD−1wFC (n)x(t − n).

(7)

n=0

れを k 番目のマイクロホンで観測された信号の空間に射ICA と は違 い, FC の 分 離フィル タ 行列 w(FC) (n) は影するデフレーション型の手法が挙げられる [21, 22]. しw(ICA) (n) の従属関数であり, それ単体で分離フィルタをかしながら, 分離フィルタ行列が Null space であるとき,持たないため, 我々はこの分離フィルタに対して，“ヴァー得られるモノラル出力信号は零信号であり，またその出力チャル” という単語を用いている. 式 (5) を次のように展信号を射影することはできない．第三の手法として, IIR

開することで, FC の意義は明確になる.

フィルタを用いた ICA[23] も提案されているが, この手法には分離フィルタの不安定性の問題が存在する. また，Cardoso は観測信号を観測点における SIMO モデルに基づく信号を抽出することを目的とした Multidimensionaly (ICA) (t) + y (FC) (t) − x(t − D/2) =

0



0

.

(8)

つまり，出力ベクトルの和 y (ICA) (t) + y (FC) (t) が全ての
L
SIMO 要素の和 [ l=1 Akl (z)sl (t−D/2)]k1 (= x(t−D/2))

ICA (MICA) [24] を提案している．しかしながら，MICA
アルゴリズムは瞬時混合問題においてのみ適用が可能でと等価であることを意味している. ここで, D/2 の遅れはあり，畳み込み混合問題への拡張が課題となっている.

非最小位相システムを扱うために使用している.

従って, 安定な FIR フィルタを用いて観測信号中のすもし, 独立な音源信号が式 (4) によって分離され, 同時

べての SIMO 要素を更新アルゴリズム中で同時に推定すに式 (5) が互いに独立であるとき, 分離フィルタ行列は唯る新しい SIMO 出力型 ICA 法の開発が必要である．

一の解に収束する. この証明については, [10] を参照して

11

SIMO-ICA
s1(t)

x1(t)

A11(z)s1(t)A21(z)s1(t)(t )A11(z)s1(t－ D/2)(t )A21(z)s1(t－ D/2)(t )A12(z)s2(t－ D/2)FC
y 2 (t )A22(z)s2(t－ D/2)

ICA

y2

+-

A12(z)s2(t)A22(z)s2(t)

s2(t)

ICA

y1

ICA

FC

y1

+-

x2(t)

Fidelity
Controller

Figure 2: SIMO-ICA における入出力の関係．独立な音源信号が式 (4) によって分離され, 同時に式 (5) が互いに独立であるとき, 分離フィルタ行列は唯一解に収束する.

いただきたい. また, この唯一解を得たとき，出力信号はデンサマイクロホンを取り付けたもの使用した（Fig-以下となる．
y1ICA (t)ure 3 参照）．また，2 つの独立な音源信号は，2 方位
θ1 = {−90◦ , −75◦, −60◦ , −45◦ , −30◦, −15◦ , 0◦ }, θ2 =y2ICA (t)y1FC (t)y2FC (t)y1ICA (t)y2ICA (t)y1FC (t)

A11 (z)s1 (t − D/2)=



A22 (z)s2 (t − D/2)



A12 (z)s2 (t − D/2)
A21 (z)s1 (t − D/2)

=


or 

A12 (z)s2 (t − D/2)
A21 (z)s1 (t − D/2)=
y2FC (t)

A11 (z)s1 (t − D/2)=

A22 (z)s2 (t − D/2)


,

(9)

,

(10)

{0◦ , 15◦ , 30◦ , 45◦ , 60◦ , 75◦ , 90◦ } から放射されるものとした．音源と HATS 間の距離は 1.5 m であり，混合時の SNR

は 0 dB である．残響時間は約 200 ms である．音源信号として，ASJ 研究用連続音声コーパスより選択した男女 2



名ずつの話者 4 名による 12 セットの音声を使用した．こ,の音声のサンプリング周波数は 8 kHz であり，学習及び

(11)



分離データの長さは 3 秒である．また，分離フィルタ行列.

のタップ数は 512 であり, 更新回数は 5000 回である. 比(12)

較対象の従来法として，式 (3) で表される手法を用いた．

ICA の初期フィルタには，±60◦ を音源方位とする頭部

上述の解を得るために，ICA の分離フィルタの反復学
習式 (3) に，式 (5) の KLD の wICA (n) に関する natu-

伝達特性 [5] の逆行列を用いた．評価値として，出力信号

ral gradient[4] に nonholonomic 拘束 [16] を適用した学習項を加えればよい．従って，更新学習式は以下で与えら

SIMO-model Accuracy (SA) を用いる．SA の定義は以下

れる.

である.

と真の SIMO モデルに基づく信号との距離で表現される[j+1]

w(ICA) (n)=[j ]w(ICA) (n) − α

SA =
D−1

d=0

[j]



1



[j]
oﬀ-diag ϕ y (ICA) (t)+10log10[j ]w(ICA) (d)y (ICA) (t − n + d)T
t



D
[j]
− oﬀ-diag ϕ x(t − ) − y (ICA) (t)
2
T 
D
[j]
x(t − n + d − ) − y (ICA) (t − n + d)
2
t

D
[j]
Iδ(d − ) − w(ICA) (d) ,
(13)
2

4

実験と結果

4.1

実験条件

2
 A11 (z)s1 (t − D12)
10log10 (ICA),4y(t)−A11 (z)s1 (t − D ) 2

+10log10+10log10

2

2
 A21 (z)s1 (t − D
2)

(FC)

 y2

2
(t)−A21 (z)s1 (t − D2) 2 A12 (z)s2 (t − D
2)

(FC)

 y1

2
(t)−A12 (z)s2 (t − D
2) 

,
,

2
 A22 (z)s2 (t − D
2)

(ICA)

 y2

2
(t)−A22 (z)s2 (t − D
2) 

.
(14)

4.2

実験結果と考察

Figure 4, 5 に異なる音源方位毎の従来法と提案法の分解
実験の結果を示す. この結果より, ほとんどすべての音源

本 実 験 で は ，ヒュー マ ノ イ ド ロ ボット の 頭 部 を 模 擬

方位組み合わせにおいて, SIMO-ICA の SA は従来法のし た 受 音 系 と し て ，Brüel & Kjær 社 の Head And

SA を上回っていることが確認できる. 従って, SIMO-ICA

Torso Simulator (HATS) の 両 耳 外 耳 道 入 口 に コ ンの分解性能は従来 ICA 法の分解性能より優れていること

12

4.25 m0.58 mm
47.0

Loudspeakers(Height:1.17 m)
s1(t)

()

s2 t

θ1 θ2

1.50 mMicrophones(Height:1.17 m)
Reverberation
Time: 200 ms

2.04 mm HATS
20
.2

m
52
.4

Figure 3: 実験に用いた残響室の見取図.
Figure 4: HATS を用いて収録した混合バイノーラル音のが示された.

分解実験における従来 ICA 法の SA の結果．

一般的に, 人間が音の到来方向を知覚するためには, 両耳間の音の違い, 特に両耳間時間差 (ITD) 及び両耳間レベ
ル差 (ILD) が必要であると言われている [5]. SIMO-ICAの分離信号に含まれる音源毎の空間情報を検証するため,
出力信号の ITD 及び ILD を計算した. 検証の際には，音源信号の周期構造の影響を除くため, 音源信号をインパルス応答信号 δ(t) として，ITD 及び ILD を評価した．このとき，推定すべき SIMO モデル信号はインパルス応答

Aij (z)δ(t) で与えられ，SIMO-ICA で推定されるインパルス応答は以下で与えられる.
(ICA)

[h1

=
(FC)

[h1

=

(ICA)

(t), h2(t)]δ(t + D/2 − n)w(ICA) (n)A(z), (15)
δ(t + D/2 − n)
n=1

D−1


(FC)

(t), h2(t)]δ(t + D/2 − n)w(FC) (n)A(z),δ(t + D/2 − n)
n=1

D−1


(16)
Figure 5: HATS を用いて収録した混合バイノーラル音の分解実験における提案法 SIMO-ICA の SA の結果．

但し, δ(t + D/2 − n) は分離フィルタ行列の時間遅れ D/2の影響を取り除くために用いた.

Figure 6 (a) に，音源 s1 (t) からの真のインパルス応答

ンパルス応答間の ITD を示す. 実験結果より, 音源方位間の ILD と SIMO-ICA で推定されたインパルス応答間のが正面付近を除いて SIMO-ICA は時間差を維持している

ILD を示す. また, Figure 6 (b) に，音源 s2 (t) からの真のことが示された.

インパルス応答間の ILD と SIMO-ICA で推定されたイン

更に，音の到来方向は次式を用いて計算することが可

パルス応答間の ILD を示す. これらの結果より, 音源方位能である.

が θ1 =−15◦ , 0◦ 且つ θ2 =0◦ , 15◦ を除いて, SIMO-ICA は
事前情報を用いることなくインパルス応答の正確な ILD

DOAsl = sin−1を表現していることが確認された.

cτsl
,
d

(17)

但し, c は音速, τsl は音源 sl に関する ITD, d は HATS の

Figure 7 (a) に，音源 s1 (t) からの真のインパルス応答

両耳間の距離を示す.

間の ITD と SIMO-ICA で推定去れたインパルス応答間のITD を示す. また, Figure 7 (b) に，音源 s2 (t) からの真Figure 8 に ITD を用いて到来方向推定を行なった結果のインパルス応答間の ITD と SIMO-ICA で推定されたイを示す. この結果より, SIMO-ICA の出力信号には音源の

13方位情報も維持していることが確認できる.

[6] Y. Tatekura, H. Saruwatari, and K. Shikano,“Sound reproduction system including adaptive

以上より, SIMO-ICA は各音源に関する空間情報を損なうことなく, 混合バイノーラル信号を各音源に関する

SIMO モデル信号に分解することが可能であり，これによcompensation of temperature ﬂuctuation eﬀect forbroad-band sound control,” IEICE Trans. Funda-

り従来実現が困難であった音 tele-presence システムの構

mentals, vol.E85–A, no.8, pp.1851–1860, Aug. 2002.

築が可能である．

[7] I. Toshima, H. Uematsu, T. Hirahara, “A steer4.3

Sound Demonstrations

提案法 SIMO-ICA による分解実験のサウンドデモンスト

able dummy head that tracks three-dimensional
head movement: TeleHead,” Acoustical Science andレーションを以下の WEB サイト上で公開している.

Technology, vol.24, no.5, pp.327–329, 2003.

http://www.aist-nara.ac.jp/~tomoya-t/demo_index.
[8] S. Tachi, K. Komoriya, K. Sawada, T. Nishiyama,
T. Itoko, M. Kobayashi and K. Inoue, “Telexis-

html
本デモンストレーションサウンドはバイノーラル信号でtence cockpit for humanoid robot control,” Advanced Robotics, vol.17, no.3, pp.199–217, 2003.

あるため, スピーカではなく, ヘッドフォンもしくはイヤ
フォンでの受聴をお勧めする.

5

Conclusion[9] T. Takatani, T. Nishikawa, H. Saruwatari, K.
Shikano, “High-ﬁdelity blind separation of acous-

本稿では，SIMO-ICA を混合バイノーラル音のブライン

tic signals using SIMO-model-based Independent
component analysis,” IEICE Trans. Fundamentas,

ド分解問題に適用した音響 tele-presence システムを提案した．SIMO-ICA は観測信号を各音源に対してモノラル

vol.E87–A, no.8, pp.2063–2072, 2004.

信号として推定するのではなく, 各マイクロホンで観測された SIMO モデルに基づく信号に分解する拡張 ICA で[10] T. Takatani, T. Nishikawa, H. Saruwatari, K.
Shikano, “High-ﬁdelity blind source separation

あるため，本システムの出力信号は単一音源からのバイ
ノーラル音となる. 有効性の検証のため, HATS を用いた混合バイノーラル音の分解実験を試みた. 実験結果よof acoustic signals using SIMO-model-based ICA
with information-geometric learning,” Proc. ofり，SIMO-ICA の分解性能は従来法より優れており, また

IWAENC, pp.251–254, 2003.

SIMO-ICA の出力信号は音源の方位情報等の空間的性質[11] T. Takatani, T. Nishikawa, H. Saruwatari, K.

を維持していることが確認された．

Shikano, “”Comparison between SIMO-ICA with

参考文献

least squares criterion and SIMO-ICA withinformation-geometric learning,” Proc. of Interna-[1] P. Comon, “Independent component analysis, a newconcept?,” Signal Processing, vol.36, pp.287–314,

tional Congress on Acoustics, pp.I-329–332, 2004.

1994.

[12] T. Takatani, S. Ukai, T. Nishikawa, H. Saruwatari,
K. Shikano, “Evaluation of simo separation methods
for blind decomposition of binaural mixed signals,”[2] P. Smaragdis, “Blind separation of convolved mixtures in the frequency domain,” Neurocomputing,Proc. of IWAENC, pp.233–236, 2005.

vol.22, pp.21–34, 1998.
[3] H. Saruwatari, T. Kawamura, and K. Shikano,“Blind source separation for speech based on fast-[13] H. Saruwatari, H. Yamajo, T. Takatani, T.
Nishikawa, K. Shikano, “Blind separation andconvergence algorithm with ICA and beamforming,” Proc. of Eurospeech, pp.2603–2606, Sept.

deconvolution for convolutive mixture of speech
combining SIMO-model-based ICAand multichan-

2001.

nel inverse ﬁltering,” IEICE Trans. Fundamentas,
vol.E88–A, no.9, pp.2387–2400, 2004.

[4] A. Cichocki and S. Amari, Adaptive Blind Signal
and Image Processing: Learning Algorithms and[14] H. Saruwatari, S. Ukai, T. Takatani, T. Nishikawa,
K. Shikano, “Two-stage blind source separation

Applications, John Wiley & Sons, Ltd, West Sussex, 2002.

combining SIMO-model-based ICA and adaptive
beamforming,” Proc. of EUSIPCO, TueAmPO2,[5] J. Blauert, Spatial Hearing (revised ed.), Cambridge, MA: The MIT Press, 1997.

2005.

14

[15] Y. Mori, H. Saruwatari, T. Takatani, S. Ukai, K.
Shikano, T. Hiekata T. Morita “Real-time implementation of two-stage blind sources separation
combining SIMO-ICA and binary masking,” Proc.
of IWAENC, pp.229–232, 2005.
[16] S. Choi, S. Amari, A. Cichocki, and R. Liu, “Natural gradient learning with a nonholonomic constraint for blind deconvolution of multiple channels,” Proc. of International Workshop on ICA and
BSS, pp.371–376, Jan. 1999.
[17] K. Matsuoka and S. Nakashima, “Minimal distortion principle for blind source separation,” Proc. ofInternational Conference on ICA and BSS, pp.722–
727, Dec. 2001.
[18] N. Murata and S. Ikeda, “An on-line algorithm forblind source separation on speech signals,” Proc. of1998 International Symposium on Nonlinear Theory and its Application (NOLTA), vol.3, pp.923–
926, Sep. 1998.
[19] T. Nishikawa, H. Saruwatari, and K. Shikano,“Stable learning algorithm for blind separationof temporally correlated acoustic signals combining multistage ICA and linear prediction,” IEICE
Trans. Fundamentals, vol.E86-A, no.8, pp.2028–
2036, 2003.
[20] H. Saruwatari, H. Yamajo, T. Takatani, T.
Nishikawa, and K. Shikano, “Blind separation anddeconvolution of MIMO-FIR system with coloredsound inputs using SIMO-model-based ICA”, Proc.
IEEE Workshop on SSP, pp.421–424, Sept. 2003.
[21] C. Simon, P. Loubaton, C. Vignat, C. Jutten, G.
d’Urso, “Separation of a class of convolutive mixturesa contrat: a contrast function approach,” Proc.
of ICASSP, 1429–1432, March 1999.
[22] J.K. Tugnait, “Identiﬁcation and deconvolution ofmultichannel linear non-gaussian processes using
higher order statistics and inverse ﬁlter criteria,”
IEEE trans. on signal processing, Vol. 45. pp 658–
672, 1997.
[23] N. Charkani, and Y. Deville, “A convolutive separation method with self-optimizing non-linearities,”
Proc. of ICASSP, pp.2909–2912, Mar. 1999.
[24] J.-F. Cardoso, “Multidimensional independent
component analysis,” Proc. of ICASSP, vol. 4,
pp.1941–1944, May 1998.

15

12
]
B
d
[ 10
s
e
c
n 8
e
r
e
f
if 6
D
l
e
v 4
e
L
l
a 2
r
u
a
r
0
e
t
n
I

12
]
B
d
[ 10
s
e
c
n 8
e
r
e
f
if 6
D
l
e
v 4
e
L
l
a 2
r
u
a
r
0
e
t
n
I

(a)

Real impulse response
Impulse response
estimated by SIMO-ICA

-2

(b)

Real impulse response
Impulse response
estimated by SIMO-ICA

-2
-90

-60

-30

0

0

30

Direction of s1 [deg](ICA)

Figure 6: (a) 出力信号 h1

]
μs[
se
cn
er
ef
i
D
e
im
Tl
ar
ua
re
tn
I

(FC)

(t) と h2

(ICA)(t) の ILD の結果, (b) 出力信号 h2

0

-100

90

]
μs[
se
cn
er
ef
i
D
e
im
Tl
ar
ua
re
tn
I

(FC)

(t) と h1(t) の ILD の結果．

800

(a)

700

-200

(b)

600

-300

500

-400

400

-500

300

Real impulse response

-600

-800
-90

-60

-30

Real impulse response

200

Impulse response
estimated by SIMO-ICA-700

Impulse response
estimated by SIMO-ICA

100
0

0

0

30

Direction of s 1 [deg](ICA)

Figure 7: (a) 出力信号 h1(FC)(t) と h260

90

Direction of s2 [deg](ICA)(t) の ITD の結果，(b) 出力信号 h2

0
-10

60

Direction of s 2 [deg](FC)(t) と h1(t) の ITD の結果．

90

(a)

80

]g
ed
[
no
it
a
im
ts
e
A
O
D

-20

(b)

]g
ed
[
no
it
a
im
ts
e
A
O
D

70

-30

60

-40

50

-50

40

Real impulse response

-60
-70

Impulse response
estimated by SIMO-ICA-80

Real impulse response

30

-90

20

Impulse response
estimated by SIMO-ICA

10
0

-90

-60

-30

0

0

Direction of s 1 [deg]

30

60

90

Direction of s 2 [deg]Figure 8: (a) Figure 7 (a) の ITD を用いて推定した音源 s1 の到来方位推定結果，(b) Figure 7 (b) の ITD を用いて推定した音源 s2 の到来方位推定結果．

16

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-3 (10/14)

多音源に対する周波数領域ブラインド音源分離

Blind source separation of many sounds in the frequency domain
澤田 宏，向井 良，荒木 章子，牧野 昭二
Hiroshi Sawada, Ryo Mukai, Shoko Araki and Shoji Makino
日本電信電話（株） NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories, NTT Corporation{sawada, ryo, shoko, maki}@cslab.kecl.ntt.co.jp

Abstract

第一の方法は，時間領域において，畳み込み混合を直接 ICA で解くものである [4–6]．これは，正しい収束点でThis paper describes the frequency-domain approach to the blind source separation (BSS) of

は精度良く分離を達成できるが，複雑な畳み込み混合を

convolutively mixed acoustic signals. The advantage of the frequency-domain approach is that con-ある．第二の方法は，観測信号を短時間フーリエ変換し，volutive mixtures in the time domain can be approximated as multiple simple mixtures in the fre-領域では，畳み込み混合が周波数ビン毎の単純混合に近quency domain. However the permutation ambiguity should be solved to group the frequency com-

らに分離された各音源の周波数成分を音源毎にグループ

ponents of the same source together. This paper

ばならない．

扱うため，収束までの計算時間が大きいという困難さが周波数領域で ICA を適用するものである [7–10] ．周波数似できるため，ICA 自体の収束は速い．しかし，ばらば化するという，いわゆる permutation の問題を解かなけれ

presents effective methods to align the permutation
ambiguity. Based on the methods, we succeeded in

研究を行っており [11–16] ，特に，permutation の問題に

separating many sources in real-world situations.

対する効率的な手法を開発した．その結果，実環境にお我々は，第二の周波数領域での方法に関して精力的にいて，2 音源 2 マイクの基本形を初めとし，3 次元的に配置された 6 音源の分離や，無数の背景雑音の中での主要

1 はじめに3 音源の分離を達成した．次章以後，その技術を説明し，実験結果を示す．

複数の音が混ざり合った複数マイクでの観測信号から目的の音を取り出す音源分離技術には，雑音下での音声認

2 周波数領域ブラインド音源分離の流れ

識など，様々な応用が期待できる．もし，目的音源の方向

N 個の音源 s1 (t), . . . , sN (t) が空間で畳み込み混合され，M 個のマイク x1 (t), . . . , xM (t) で観測されるとする．

などを事前に知っていれば，ビームフォーミング [1] により分離はある程度達成できる．しかし，それらの事前情報が得られない，あるいは得られたとしても正確でない場
合には，事前情報を必要としない，いわゆるブラインド音

xj (t) =

N 

k=1

源分離 (BSS: Blind Source Separation [2]) の技術が重要となる．

hjk (l) sk (t − l)(1)l

ここで，hjk は音源 k からマイク j までのインパルス応答

独立成分分析 (ICA: Independent Component Analysis [3])である．従来の BSS 研究では，音源数 N を知っており，

は，BSS にとって主要な統計的処理の一つであり，源信号

なおかつそれがマイク数 M 以下であるという状況に限るの非ガウス性と独立性に着目して分離を達成する．音声場合が多い．本稿で提案する手法は，そのような状況ではなど有益な音信号は，多くの場合非ガウス性を持ち，ICA

当然有利ではあるが，それ以外の状況でも動作するようが効率良く適用できる．ただし，実環境で音が混ざる場合に設計されている．ただし，例えば音源数 N がマイク数

は，単なる混合ではなく，時間遅れと残響を伴った畳み込
み混合となるため，いかにして ICA を適用するかが問題

M より大きい場合，すべての音源を分離する [16] ことはせず，主要な音源に対応するものから順に M 個の分離信となる．

号を出力する．

17

観測信号

分離信号

に分離が達成される．しかし，ICA の解には permutationの任意性（分離信号の順序を入れ換えても ICA の解とな

時間領域

STFT

permutationの解決（クラスタリング）

ICAる）と scaling の任意性（分離信号を定数倍しても独立性

ISTFT

周波数領域

は保たれる）が存在するため，これらを解決する必要があ
る．permutation の解決については次章で詳しく説明する．
scaling は，次章の (7) 式により基底ベクトルを求めた後，

時間周波数
マスキング

ある着目したマイク J に対応する要素 aJi (f ) を用いて，

Figure 1: 本稿で説明する周波数領域 BSS の流れ

yi (f, τ ) ← aJi (f )yi (f, τ ),本章では，以下，周波数領域ブラインド音源分離の流として解決できる．これは，マイク J での観測信号に scal-(6)

れを説明する．まず，マイクでの観測信号に対してフレーing を合わせることであり，minimal distortion principle [4]ム長 L の短時間フーリエ変換（STFT: Short-Time Fourier

や projection back [8] と呼ばれるものと等価である．

Transform ）を適用する．

次に，図 1 の流れに示す時間周波数マスキングを適用する．式 (5) に示す ICA による分離は，線形フィルタに



L/2−1

xj (f, τ ) =xj (τ + r) win(r) e−j2πf r(2)

よる分離のため，マイク数 M が音源数 N 以上でない場

r=−L/2合には，干渉音の残留成分が分離信号にどうしても残る．

ここで，f ∈ {0, L1 fs , . . . , L−1
L fs } は周波数，win(r) はハ

時間周波数マスキングは，この残留成分を減らす効果がの窓，τ は時間を表現する新たな変数である．STFT によ

4.2 章でその効果のみを示す．
以上の処理を経た後，ISTFT: Inverse STFT1yi (f, τ ) ej 2πf ryi (τ + r) =L·win(r)L−1
1

ニング窓 12 (1 + cos 2πrL ) など両端が 0 に収束する長さ Lある．その方法の詳細は [15] を参照されたい．本稿では，り，式 (1) の畳み込み混合は，各周波数 f での単純混合

xj (f, τ ) ≈Nhjk (f )sk (f, τ )(3)

f ∈{0, L fs , ...,

k=1

L

fs }

により，分離信号の周波数成分を集めて時間領域の信号にに近似される．ここで，hjk (f ) は音源 k からマイク j ま

戻す．

での周波数応答，sk (f, τ ) は式 (2) を用いて同様に得られる音源の時間周波数表現である．ベクトル表記 x =3 permutation の解決[x1 , . . . , xM ]T ，hk = [h1k , . . . , hMk ]T により要素をまと

3.1

めると，式 (3) のベクトル表現

基底ベクトル(4)

ICA の解の任意性を解決するにあたり，分離行列 W の逆行列（N < M の場合は疑似逆行列）を計算することが非が得られる．周波数領域で解釈すると，ブラインド音源分である場合を説明する．本稿では，分離行列 W の逆行列

離の目的は，観測信号ベクトル x(f, τ ) から，音源 k 毎ににより得られるベクトル ai を基底ベクトル (basis vector)

x(f, τ ) ≈N

hk (f )sk (f, τ )k=1

常に有益である．以下，N = M ，すなわち W が正方行列すべての周波数成分 hk (f )sk (f, τ ) を求めることにある．

[a1 , · · · , aM ] = W−1 , ai = [a1i , . . . , aMi ]T .

そのためにまず，周波数毎に独立成分分析（ICA）

y(f, τ ) = W(f ) x(f, τ ),(7)と呼ぶ．これは，この逆行列を式 (5) の両辺に掛け合わせ(5)ることで，観測信号ベクトルがその線形和を 適用 す る．こ こで ，W = [w1 , . . . , wN ]H , wi=
T
[w1i , . . . , wMi ] は N × M の分離行列，y = [y1 , . . . , yN ]Tx(f, τ ) =Mai (f )yi (f, τ )

(8)

i=1

は分離信号の要素をまとめたベクトルである．もし音源
数 N を知っていてかつ N < M であれば，主成分分析にで表現されることによる．この式は周波数領域 BSS におより次元数削減を行うことは有効であるが，それ以外のいて非常に重要である．ICA の解が良好に得られていれ場合は N = M ，すなわち正方行列として W を求める．

ば，式 (8) のある i に関する項 ai yi が式 (4) のある k に関

なお，複素数に対する ICA のアルゴリズム，および，そする項 hk sk に対応するからである．その対応関係を求めこで用いられる非線形関数に関する議論は，[11] を参照

ることが permutation を解くことに相当する．その際に使されたい．

えるのは，基底ベクトル ai と分離信号 yi の情報である．

ICA により分離信号 yi の非ガウス性が高められるため，

W も使えるが，ai と逆行列の関係にあるため，基本的に音源が非ガウス性であり，互いに独立であれば，周波数毎は同じ情報になる．ai と yi の双方を使うことでより精度

18

 音源位置

基底ベクトル

ICA

音源位置
推定

マイク
配置情報

残響時間:
RT60 = 130 ms

音源位置

クラスタ
リング

b 110°

音源:
3秒の音声

1.2m

4cm
STFT フレーム:
size = 128 ms
shift = 16 ms

 正規化基底ベクトル
基底ベクトル

ICA
マイク間隔の最大値

正規化基底ベクトル

周波数
正規化

1.2m

部屋のサイズ:4.45 m × 3.55 m × 2.50 m

クラスタ
リング

a 30°

Figure 4: 実験条件（音源方向推定）
Figure 2: permutation 解決のための 2 種類の方法
音源

マイク

Figure 5: 音源方向推定結果
ICA の解が良好に得られて式 (4) と式 (8) の項に対応関Figure 3: 遠距離場モデル

係があると仮定すると，基底ベクトル ai (f ) の要素 aji (f )と aj  i (f ) の比は以下のように表現できる．

良く permutation を解決できる [12]．以下では，基底ベク

aji yihjk skhjk (f )aji (f )=≈=aj  i (f )aj  i y i
h j  k sk
hj  k (f )トル ai の情報をどのように用いるかを説明する．図 2 に示すように 2 種類の方法があるが，以下の章でそれぞれ
説明する．

3.2

(12)

ここで，添字 i と k が異なる可能性があることが，permu-

tation の任意性を示している．式 (12) と式 (11) の偏角に

推定音源方向のクラスタリング

着目すると，角度の推定値

一つ目は，基底ベクトルから音源位置を推定し，その値をθ̂ijj (f ) = arccos

クラスタリングすることで permutation を解決する方法である．本章では，話を簡単化するため，遠距離場モデルhjk (f ) ≈ exp j2πf c−1 pTj qk

arg[aji (f )/aj  i (f )]2πf c−1 ||pj − pj  ||(13)を求めることができる．
図 4 に示す実験条件で周波数領域 BSS を実行し，式 (13)(9)

により音源の角度を推定した結果を図 4 に示す．STFT のにより音源 k からマイク j への周波数応答 hjk (f ) を近似

フレーム長は L = 1024 であったため，その約半分の周波して音源方向 (DOA: Direction-Of-Arrival) を推定する．こ数ビンでの推定をヒストグラムで示している．二つのク

こで，c は音の速度，pj はマイク j の位置を示す 3 次元ラスタが存在することがわかり，そのクラスタリング結果

ベクトル，qk は音源 k の方向を示す長さ 1（||qk || = 1）に基づいて permutation を解決することができる．
次に，座標系に対して決まる方向 qk を考える．式 (12)の 3 次元ベクトルである．図 3 に示すように，二つのマ

と式 (10) の偏角に着目すると，

イク j と j を考えると，hjk (f )hj  k (f )2πf c−1 (pj −pj  )T qk ≈ arg[aji (f )/aj  i (f )]≈ exp j2πf c−1 (pj − pj  )T qk
(10)



= exp j2πf c−1 ||pj − pj  || cos θkjj (11)(14)

が得られる．u 個のマイクペア (j1 , j1 ), . . . , (ju , ju ) に対し同様に考えると，連立方程式

2πf c−1 D qk = ri (f )が得られる．このように，音源方向は，座標系に対して決まるもの qk と，マイクペア (j, j  ) に対して相対的に決ま(15)が得られる．ここで，jj 

る角度 θk の 2 種類の表現がある．なお，より一般的な近距離場モデルを仮定して，方向だけでなく距離も含めたD位置を推定する方法に関しては [13, 14] を参照されたい．

ri (f )

19

= [pj1 −pj1 , . . . , pju −pju ]T,= [ arg(aj1 i /aj1 i ), . . . , arg(aju i /aju i ) ]T .

である．実際の環境では推定誤差等の影響により，この連立方程式を厳密に満たす解 qk は存在しにくい．そのた
め，Moore-Penrose 疑似逆行列 D+ を用いてその推定値q̂i (f ) =D+ ri (f )q̂i (f ), q̂i (f ) ←−1
2πf c||q̂i (f )||(16)を近似的に得る．4.1 章では，3 次元配置の音源とマイクに対して周波数領域 BSS を実行し，式 (16) に従って音源方向を推定してクラスタリングした結果を紹介する．

3.3

正規化基底ベクトルのクラスタリング

次に，基底ベクトル ai (f ) の周波数依存性をできるだけ除Figure 6: 3 次元に配置された 6 音源と 4cm 立方体の各頂点に配置された 8 個のマイク

去した正規化基底ベクトル āi (f ) をクラスタリングすることで permutation を解決する方法を示す．これは，上記に示した音源方向による方法ほど直観的ではないが，マイクの配置情報が不要であるという利点がある．まず手順を説明する．正規化基底ベクトル āi (f ) = [ā1i (f ), . . . , āMi (f )]Tの要素 āji (f ) は，
arg[aji (f )/aJi (f )]āji (f ) ← |aji (f )| exp j
4f c−1 dmax(17)により計算される．ここで，J はある基準マイクの添字，

dmax はある正の実数値であり，基準マイク J と他のマイクとの距離の最大値とすれば良い．この式により，周波数依存性が除去される．次に，scaling の任意性を除去する
ために，長さを 1 に正規化する．

āi (f ) ← āi (f ) / ||āi (f )||(18)

Figure 7: 音源方向推定結果

これらの操作により，正規化基底ベクトル āi (f ) は，式

クラスタリングが終了すれば，各周波数 f で出力の順序(9) の遠距離場モデルに従うと，周波数に依存せず音源の方向 qk およびマイクの位置 p1 , . . . , pM のみに依存する．
実際，式 (14) の関係を利用すると，

1
π (pj − pJ )T qk,āji (f ) ≈ √ exp j
2
dmax
M

を入れ換える順列 Πf は

Πf = argminΠM||āΠ(k) (f ) − ck ||2 .

(21)

k=1

として計算できる．4.2 章では，無数の背景雑音の中でのであることがわかる．なお，より一般化された近距離場モ

主要 3 音源の分離において，正規化基底ベクトルがどのデルに従った場合でも，周波数 f に依存しないことが証ようにクラスタリングされるかを示す．

明できる [15]．
次に，正規化基底ベクトル āi のクラスタリングを行い，クラスタ C1 , . . . , CM を求める．クラスタ Ck のセントロ

これまでに述べた手法を用いて，実環境で多音源を分離

イド ck は，|Ck | をクラスタ Ck のメンバ数として，

ck ←



ā/|Ck |, ck ← ck /||ck ||,した実験結果を 2 種類示す．

(19)

4.1 3 次元的に配置された 6 音源の方向推定と分離

ā∈Ck

図 6 に示すような 3 次元的配置の 6 音源と 8 マイクを用いと計算する．クラスタリングの基準は，クラスタのメンバて周波数領域 BSS を実行した．音源は，8 秒の英語音声を6 個用いた．BSS 処理に要した時間は，2GHz の Pentiumā ∈ Ck とセントロイド ck との自乗距離の総和 J を最小化することである．

J =

M

k=1

Jk , Jk =

4 実験

M を搭載したノート PC で 25 秒程度であった．
||ā − ck ||2 .

式 (16) によりすべての周波数ビンで音源方向を推定し(20)た結果を図 7 に示す．音源方向の推定値であるベクトル

ā∈Ck

20

1
Squared distance

Table 1: 6 音源分離: SIR 改善量 (dB)
平均

SIR1 SIR2 SIR3 SIR4 SIR5 SIR6

入力 SIR−11.6 −9.0 −9.0 −6.6 −6.9 −2.5 −7.6
SIR 改善量19.2 21.2 25.4 21.0 20.5 16.2 20.6

Squared distances from corresponding centroid
1
1
1

0.8

0.8

0.8

0.8

0.6

0.6

0.6

0.6

0.4

0.4

0.4

0.4

0.2

0.2

0.2

0.2

0
0

0
2
4 0
2
Frequency (kHz)445 cm

90cm

0
0

25cm

b120

4

0
0

2

4

Figure 9: 正規化基底ベクトルのクラスタリング結果

80cm
70cm

a120

（主要 1 音源の場合）

80cm
c170 (高さ170 cm)

355 cm

4

主要音源
270cm

1

Mic. 3Mic. 1

4cm

2.5cm
2.3cm

背景雑音

3.5cm Mic. 2

マイクロホン
150cm

Squared distance

2.5cm

Mic. 4

2

80cm
80cm

25cm

Squared distances from corresponding centroid
1
1
1

0.8

0.8

0.8

0.8

0.6

0.6

0.6

0.6

0.4

0.4

0.4

0.4

0.2

0.2

0.2

0.2

0
0

0
2
4 0
2
Frequency (kHz)

25cm

0
0

• 残響時間: RT60 = 130 ms• 部屋の高さ: 250 cm• スピーカとマイクロホンの高さは120cm，ただしc170は170cm

2

4

4

0
0

2

4

Figure 10: 正規化基底ベクトルのクラスタリング結果（主要 3 音源の場合）

Figure 8: 実験条件（主要 3 音源の分離）
q̂i (f ) の長さは 1 に正規化されているため，単位球の表面に推定値が乗る．これら推定値に対してクラスタリングをし，分散が小さいクラスタを主要音源として選んでいる．

行い，その結果を 6 色で示した．方向の推定値にある程度

他の二つを鳴らさなかった場合のクラスタリング結果での分散はあるが，permutation が正しく解ける程度には推ある．左端のクラスタの分散が小さく，主要音源に対応し定できている．この情報を元に permutation を解き，分離ていることがわかる．図 10 は，3 個すべての主要音源を信号を作成した．SIR: Signal-to-Interference Ratio による鳴らした場合のクラスタリング結果である．分散が小さ

分離性能の評価を表 1 に示す．SIR の平均改善量は 20dB

いクラスタが 3 個あり，これらが主要音源に対応するこ程度であり，高精度に分離が達成できたと言える．

とがわかる．このようにクラスタの分散から，主要音源の4.2

図 9 は，マイクに近い主要音源のうち 1 つだけを鳴らし，数を推定することもできる．

無数の背景雑音の中での主要音源の分離

次に，時間周波数マスキングの効果を図 11 に示す．こ

次に，図 8 に示す状況で実験を行った．ここでは，マイク

れは，マイクに近い主要音源のうち 1 つだけを鳴らしたから遠い背景雑音が 6 個あり，雑踏など無数の背景雑音が場合の一例である．主要音源 1 個と背景雑音 6 個の合計存在する状況を模倣している．マイクの近くには 3 個の主7 個の音源があるため，4 個のマイクを用いた ICA による
分離では，図 11 の 2) に示すように干渉音の残留成分がど

要音源があり，これらの音を分離することを目的とした．

9 個の音源すべてに音声を用いた．

うしても残る．[15] の方法で時間周波数マスキングを適用

マイクの数が 4 個のため，各周波数ビン毎に 4 つの周すると，3) に示すようにその残留成分が抑圧され，4) の波数成分を ICA で求めた．permutation の問題は，3.3 章

目的信号のみのスペクトログラムに近付いた．

に示した正規化基底ベクトルのクラスタリングで行った．

最後に，3 個すべての主要音源を鳴らした場合の分クラスタリング結果を図 9 と図 10 に示す．マイクの数と離性能を，SIR 改善量で表 2 に示す．音源の組合せを同じ 4 個のクラスタがある．正規化基底ベクトルは M 次

変化させて 10 回試行した平均である．4 個のマイクに元の複素ベクトルであるため，クラスタの様子を可視化

対して 9 個の音源（主要音源 3 個と背景雑音 6 個）とすることは難しいが，ここでは，それぞれのクラスタについう非常に厳しい条件ではあるが，10dB 以上の SIR 改

いて，セントロイドとメンバとの自乗距離を示している．

善量が得られた．時間周波数マスキングを併用するこ

4 つのクラスタのうち，どのクラスタがマイクに近い主
要音源に対応し，どのクラスタが背景雑音に対応するかをとで，その改善量は更に高まった．分離音のサンプル決定するために，我々はクラスタの分散 Jk /|Ck | に着目聞くことができる．なお，このような処理をリアルタイム

は，http://www.kecl.ntt.co.jp/icl/signal/sawada/demo/dominant/ で

21

参考文献

1) Mixture

2[1] B. D. Van Veen and K. M. Buckley, “Beamforming: a versatile
approach to spatial filtering,” IEEE ASSP Magazine, vol. 5, pp.
4–24, Apr. 1988.

1[2] S. Haykin, Ed., Unsupervised Adaptive Filtering (Volume I:
Blind Source Separation). John Wiley & Sons, 2000.

0

20

40

60

80

[3] A. Hyvärinen, J. Karhunen, and E. Oja, Independent Component Analysis. John Wiley & Sons, 2001.

2) Only ICA

2[4] K. Matsuoka and S. Nakashima, “Minimal distortion principle
for blind source separation,” in Proc. ICA 2001, Dec. 2001, pp.
722–727.

Frequency (kHz)

1
0

20

40

60

[5] S. C. Douglas and X. Sun, “Convolutive blind separation of
speech mixtures using the natural gradient,” Speech Communication, vol. 39, pp. 65–78, 2003.

80

1[6] S. C. Douglas, H. Sawada, and S. Makino, “A spatio-temporal
FastICA algorithm for separating convolutive mixtures,” inProc. of 2005 IEEE International Conference on Acoustics,
Speech, and Signal Processing (ICASSP 2005), vol. V, Mar.
2005, pp. 165–168.

0[7] P. Smaragdis, “Blind separation of convolved mixtures in
the frequency domain,” Neurocomputing, vol. 22, pp. 21–34,
1998.

3) ICA and T−F masking

2

20

40

60

80

[8] N. Murata, S. Ikeda, and A. Ziehe, “An approach to blindsource separation based on temporal structure of speech signals,” Neurocomputing, vol. 41, no. 1-4, pp. 1–24, Oct. 2001.

4) Target source component

2[9] F. Asano, S. Ikeda, M. Ogawa, H. Asoh, and N. Kitawaki,“Combined approach of array processing and independent
component analysis for blind separation of acoustic signals,”IEEE Trans. Speech Audio Processing, vol. 11, no. 3, pp. 204–
215, May 2003.

1
0

20

40
60
Time frame80[10] H. Saruwatari, S. Kurita, K. Takeda, F. Itakura, T. Nishikawa,
and K. Shikano, “Blind source separation combining independent component analysis and beamforming,,” EURASIP Journal on Applied Signal Processing, vol. 2003, no. 11, pp. 1135–
1146, Nov. 2003.

Figure 11: スペクトログラムの例: 1) 混合信号，2) ICA による分離信号，3) ICA と時間周波数マスキング (T-F masking)による分離信号，4) 目的信号のみ（正解）[11] H. Sawada, R. Mukai, S. Araki, and S. Makino, “Polar coordinate based nonlinear function for frequency domain blindsource separation,” IEICE Trans. Fundamentals, vol. E86-A,
no. 3, pp. 590–596, Mar. 2003.

Table 2: 9 音源中の主要 3 音源分離: SIR 改善量 (dB)
主要音源の位置
入力 SIRICA のみICA と時間周波数マスキング[12] ——, “A robust and precise method for solving the permutation problem of frequency-domain blind source separation,”
IEEE Trans. Speech Audio Processing, vol. 12, no. 5, pp. 530–
538, Sept. 2004.

a120 b120 c170
−3.9
12.5
15.1

−3.6 −5.9
13.6 14.5
16.5 17.6[13] R. Mukai, H. Sawada, S. Araki, and S. Makino, “Frequency
domain blind source separation for many speech signals,”in Proc. of the 5th International Conference on Independent
Component Analysis and Blind Signal Separation (ICA 2004 /LNCS 3195). Springer-Verlag, Sept. 2004, pp. 461–469.

で行うシステムも実現している．

[14] H. Sawada, R. Mukai, S. Araki, and S. Makino, “Frequencydomain blind source separation,” in Speech Enhancement,
J. Benesty, S. Makino, and J. Chen, Eds. Springer, Mar. 2005,
pp. 299–327.

5 おわりに周波数領域 BSS について説明し，音源数が多い状況での 2[15] H. Sawada, S. Araki, R. Mukai, and S. Makino, “Blind extraction of a dominant source from mixtures of many sources using
ICA and time-frequency masking,” in Proc. of 2005 IEEE International Symposium on Circuits and Systems (ISCAS 2005),
May 2005, pp. 5882–5885.

種類の実験でその有効性を示した．ポイントとなる技術は

permutation の解決であるが，本稿で説明したように，音源方向や正規化基底ベクトルをクラスタリングすることで効率的に解決できる．なお，マイク数よりも多い音源を[16] S. Araki, H. Sawada, R. Mukai, and S. Makino, “A novel blindsource separation method with observation vector clustering,”
in Proc. 2005 International Workshop on Acoustic Echo andNoise Control (IWAENC 2005), Sept. 2005.

すべて分離するものとして，ICA を用いない周波数領域

BSS が知られているが，そのような手法でも，本稿で述べた permutation の解決法と同様の技術が適用できる [16]．

22社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-4 (10/14)

SIMO-ICA とバイナリマスク処理を組み合わせた
2 段型リアルタイムブラインド音源分離
Two-Stage Real-Time Blind Source Separation Combining SIMO-ICA and Binary Mask Processing

森 康充 † ，高谷 智哉 † ，猿渡 洋 † ，鹿野 清宏 † ，稗方 孝之 ‡ ，森田 孝司 ‡Y. Mori† , T. Takatani† , H. Saruwatari† , K. Shikano† , T. Hiekata‡ , T. Morita‡† 奈良先端大・情報 Nara Institute of Science and Technology‡(株) 神戸製鋼所 Kobe Steel,Ltd.
E-mail: †{yoshim-m, tomoya-t, sawatari, shikano}@is.naist.jp,‡{t-hiekata, takashi-morita}@kobelco.jp
Abstract

ボットの聴覚システム [1] があげられる．これは，インテ

We newly propose a real-time two-stage blind

リジェントロボット技術には欠くことのできない要素であsource separation (BSS) for binaural mixed signals observed at the ears of humanoid robot, inる [2, 3]．

which a Single-Input Multiple-Output (SIMO)model-based independent component analysis

いて，音声信号の分離に関して様々な手法が提案されて近年独立成分分析 (ICA) [4] に基づく BSS の研究においる [5, 6, 7, 8]．本稿では，実際の音響アプリケーション
においてしばしば発生する，高残響下での BSS 問題につ(ICA) and binary mask processing are combined. SIMO-model-based ICA can separate

いて取り扱う．この場合，従来の ICA では非常に長い分

the mixed signals, not into monaural source signals but into SIMO-model-based signals from

離フィルタが必要とされるが，そのフィルタの学習は容易

independent sources as they are at the microphones. Thus, the separated signals ofの一つは，ICA と，スペクトル減算 [9] といった，他の教ではないため，分離性能は十分ではない．従来の改善策
師あり信号強調技術を部分的に組み合わせることである．

SIMO-model-based ICA can maintain the spatial qualities of each sound source, and this

しかしながら，従来の ICA の枠組みでは，各音源に関し

yields that binary mask processing can be applied to eﬃciently remove the residual inter-信号) 入力を前提とする従来の高精度信号強調手法を適用てモノラル信号を出力するため，アレー信号 (多チャネルすることが困難であった．

ference components after SIMO-model-based

この問題を解決するため，人型ロボットの聴覚処理にICA. The experimental results obtained witha human-like head reveal that the separation

適切な，新しい 2 段型 BSS アルゴリズムを提案する．こperformance can be considerably improved byusing the proposed method in comparison to

おいては，Single-Input Multiple-Output (SIMO) モデル

the conventional ICA-based and binary-maskbased BSS methods.

いてその SIMO-ICA の出力する SIMO 信号ごとに時間–の手法では，BSS 問題を 2 段階で解決する：第一段目にに基づく ICA (SIMO-ICA) [10, 11] を適用し，次段にお周波数領域におけるバイナリマスク処理 [12, 13, 14] を行う．ここで，“SIMO” という用語は特定の伝達系を表し，

1

はじめに

入力が一つの音源で出力が複数マイクロホンで観測されブラインド音源分離 (BSS) とは，観測された混合信号のる信号である．SIMO-ICA は混合信号を，モノラルでは情報のみを用いて元の音源信号を推定する技術である．こなく，SIMO モデル信号と呼ばれる，独立な音源を各マイの技術は，音源分離処理の時点で学習区間や明示的な音クロホンで観測した時点での信号に分離することが可能

源の到来方位 (DOA) といった事前情報を必要としない教である．このため，SIMO-ICA の分離信号は，各音源の師なしフィルタリング技術に基づいている．BSS はこう

空間的特性を保つことが可能である．SIMO-ICA の後にした魅力的な特徴をもっているため，信号処理の多くのバイナリマスク処理を加えることにより，非目的音の消し分野で BSS 技術は大きな関心を集めている．音声信号処

残り成分を効率的に取り除くことが可能である．実験結果

理におけるひとつの有望な例として，たとえば，ロボットから，提案法は実際の残響環境下でも，音声同士の BSSの両耳で観測した混合信号を分離するといった，人型ロが十分に動作することが分かった．

23

S1 (f)...

+Sound sources

θ1(a) Proposed two-stage BSS

S2 (f)

θ2

Sourcesignals

S1(f)SL (f)

X1(f) SIMO-

modelbased
ICA

A(f)

Microphones

S2(f)Head ofhumanoid robot

X2(f)A11(f)S1 (f,t) Binary mask
A21(f)S1 (f,t) processing Y1(f,t)
A12(f)S2 (f,t) Binary mask
A22(f)S2 (f,t) processing

Y2(f,t)(b) Simple combination of conventional ICA and binary mask

Figure 1: 音源とロボット頭部のマイクロホン配置

2

Observed
signals

混合過程と従来の BSS

Sourcesignals

Observed
signals

S1(f)X 1(f)S2(f)X 2(f)

B1(z)s1(t)2.1 混合過程
本稿では，マイクロホン数を K ，音源数を L とする．L 個の音源からの到来方位を θl (l = 1, · · · , L) とし (Figure 1

Binary mask Y1(f,t)
processing

ICA

A(f)

B2(z)s2(t)参照)，K = L の場合を考える．
複数の音源信号が線形混合された場合の観測信号は，周Y2(f,t)波数領域において以下の式で与えられる．

X (f ) = A(f )S (f )Figure 2: 信号の入出力関係：(a) 提案する 2 段 BSS，(b)(1)

従来の ICA とバイナリマスク処理の単純接続 (K = L = 2

T

ここで X (f ) = [X1 (f ) , . . . , XK (f )] は，観測信号ベク
Tトル，S (f, t) = [S1 (f ) , . . . , SL (f )]の場合に相当)は，音源信号ベクトルである．また，A(f ) = [Akl (f )]kl は混合行列であり，[·]ij は i 行 j 列要素が · である行列を表す．混合行列 A(f )は複素行列であり，これはマイクロホンアレーの配置と部

2.3 従来のバイナリマスクに基づく BSS
バイナリマスク処理 [12, 13, 14] は，ICA に基づかない
BSS 手法の一つである．この手法は，聴覚マスキング現象を模擬したものであり，より強い信号は弱い信号をマス

屋の残響を含む遅延のモデルを表現するためである．

クするというものである．バイナリマスクの決定は，耳(マイクロホン) に接近しているパワーの強い音源成分を2.2 従来の ICA に基づく BSS
従来の周波数領域 ICA (FDICA) では，まず，観測信号の短時間分析を離散フーリエ変換 (DFT) を用いてフレー域で行い，対象音源が支配的な領域はそのまま処理をせム毎に行う．これにより，観測信号ベクトルは X(f, t) =ず，他の領域ではマスクをかける．ここで，l 番目の音源

選択的に抽出することで行う．この処理は時間–周波数領[X1 (f, t), . . . , XK (f, t)]T と表現できる．次に，時間–周波が l 番目のマイクロホンに近いと仮定し，L = 2 の時を考

数信号の複素分離行列 W (f ) = [Wlk (f )]lk を用いて，分えると，l 番目の分離信号は次の式で与えられる．

T

離信号 Y (f, t) = [Y1 (f, t), . . . , YK (f, t)] を次の式により

Ŷl (f, t) = ml (f, t) Xl (f, t)

周波数毎に求める．

Y (f, t) = W (f )X(f, t)(2)

また W (f ) の最適化は，以下の反復学習式により行われる．

H
W [i] (f )W [i+1] (f ) = η I − Φ (Y (f, t)) Y (f, t)t[i]+ W (f )(5)

ここで ml (f, t) はバイナリマスク演算子で，|Xl (f, t)| >|Xk (f, t)| (k = l) の時は ml (f, t) = 1，その他の時はml (f, t) = 0 と定義される．
この手法はわずかな計算量しか必要とせず，リアルタイ
ム処理が可能である．しかし，この手法は音源のスペクト(3)ル成分間にスパース性，つまり，時間–周波数領域におい

ここで I は単位行列，·t は時間平均演算子，X H は複素て音源同士で成分の重なりが無いことを仮定しているが，共役転置，[i] は i 番目の反復における値，η は更新係数で一般的な音響音声信号の混合問題ではこの仮定は満たさある．本稿では，非線形関数 Φ (Y (f, t)) を以下のようにれないことが多い (実際，音声と一般的な広帯域定常雑音定義する [15]：は多くの成分において重なりを持っている)．

TΦ (Y (f, t)) ≡ ej·arg(Y1 (f,t)) , . . . , ej·arg(YL (f,t))3(4)

提案する 2 段型リアルタイム BSS 手法

学習の後，パーミュテーション問題を，例えば [8, 16] に

3.1 概要
近年我々の研究グループにより開発された SIMO-ICA [10,11] は，混合信号を，モノラル信号ではなく SIMO モデル

より解決する．

信号と呼ばれるマイクロホン観測時点でのアレー信号に分

また，arg(·) は複素数の偏角を求める演算子である．反復24

離することができる．このため，SIMO-ICA から得られUnknownる各音源に対応する SIMO 成分にバイナリマスク処理をS1(f)適用することが可能である．提案法の構成を Figure 2(a)

Known

X1(f)

A11(f)に示す．SIMO-ICA の後段に置いたバイナリマスク処理ことが出来る．

A21(f)
A22(f)

この 2 段型 BSS の優位性は，SIMO-ICA とバイナリマ
スク処理の独自の接続方法にある．提案法の新規性を説S2(f)明するために，従来のモノラル出力型 ICA とバイナリマ

X2(f)Y1(ICA1)(f,t)
Y2(ICA1)(f,t)

ICA1

A12(f)

により，少量の計算量で効率的に消し残り成分を取り除く

To be
independent

FD-SIMO-ICA++-

Y1(ICA2)(f,t)+-

Y2(ICA2)(f,t)+

Fidelity controller

To be
independent

スク処理を接続した単純 2 段手法 (Figure 2(b)) [17] との比較を以下で行う．
一 般 的 に ，従 来 の

ICA

Figure 3: K = L = 2 の場合における提案 FD-SIMO-ICAの信号の入出力関係

は 音 源

信号 Yl (f, t) = Bl (f )Sl (f, t) + El (f, t) (l = 1, · · · , L)，(ここで Bl (f ) は任意の歪を表すフィルタ，El (f, t) は ICAの不十分な学習に起因する分離残差成分) のみを出力する．

(ICAl)

ここで W(ICAl) (f ) = [Wij(f )]ij は，l 番目の FDICAにおける分離フィルタ行列である．また，FC は以下の式で表される信号を出力する．

残差成分 El (f, t) は後処理であるバイナリマスク処理により取り除かれることが期待される．しかし，この組み合Y(ICAL) (f, t) = X (f, t) −わせはとても不確実で，時間–周波数領域でスペクトルに

L−1


Y(ICAl) (f, t)

(7)

l=1

重なりが存在すると動作しない．例えば，ある周波数サ
ブバンドですべての音源が 0 でないスペクトル成分を持っ以後，Y(ICAL) (f, t) を，仮想的な L 番目の ICA の出ている (スパース性が成り立っていない) 場合，Y1 (f, t) と力とみなす．ここで「仮想的な」という単語を使う訳

Y2 (f, t) に対するバイナリマスク処理は正しく決定できず，は，L 番目の ICA はその他の ICA と違い独自の分離

出力結果は目的音声分が大きく刈り取られたような歪ん

フィル タ を 持 た ず，Y(ICAL) (f, t) は W(ICAl) (f ) (l =1, · · · , L − 1) に従属しているためである．右辺の第二項
L−1(− l=1 Y(ICAl) (f, t)) を左辺に移項すると，式 (7) は，全L
ICA の出力ベクトルの和 l=1 Y(ICAl) (f, t) が，全 SIMO
L
成分の和 [ l=1 Akl (f )Sl (f, t)]k1 (= X(f, t)) になるためだ信号となってしまう．このため，従来の ICA とバイナ
リマスク処理の単純接続は，BSS 問題を解決するには有効ではない．
一 方 ，提 案 法 で は 初 段 に SIMO-ICA を 適 用 し て いの拘束条件になっていることが分かる．

る ．SIMO-ICA に よ り，各 音 源 に 対 す る SIMO 信 号

式 (6) により独立な音源が分離され，同時に式 (7) によ

Akl (f )Sl (f, t) は，混合過程の時間差や残差成分をも保って出力される．言うまでも無く，得られた SIMO 成分は，
観測マイクロホン時点での音量差を保ったまま分離がさり得られた信号が互いに独立であれば，出力信号は次のような一意な SIMO モデル信号に収束する．


Y(ICAl) (f, t) = diag A(f )PlT Pl S (f, t)

れているため，バイナリマスク処理を適用可能である．そのため，SIMO-ICA の後段にバイナリマスク処理を接続

(8)

L

する手法は，スパース性の仮定に関係なく効率よく消し

ここで Pl (l = 1, . . . , L) は

l=1 Pl = [1]ij となるよう

残り成分を取り除くことができる．

な排他的置換行列群である．この証明は [10] を周波数領域に拡張することにより得られる．式 (8) により与えら3.2れる解は，各 l 番目の音源に関する必要十分な SIMO 成

アルゴリズム

時間領域 SIMO-ICA [10] は，著者の一人により提案され，分，Akl (f )Sl (f, t)，を与えることは明白である．そのたICA の更新時に直接 SIMO モデルに基づく信号を得るこめ，SIMO-ICA の分離信号は，各音源信号の空間特性をとができる．本稿では，時間領域 SIMO-ICA を周波数領保つことが可能である．L = K = 2 の場合，ICA の出力

域 SIMO-ICA (FD-SIMO-ICA) に拡張する．FD-SIMO-

は次の式で与えられる．

T(ICA1)(ICA1)
Y1(f, t), Y2(f, t)ICA は (L − 1) 個の FDICA と単一の f idelity controller(FC) から成り，各 ICA は分離システム全体の再現精度をT= [A11 (f )S1 (f, t), A22 (f )S2 (f, t)] ,T(ICA2)(ICA2)
Y1(f, t), Y2(f, t)

保ちながら並列に動作する．FD-SIMO-ICA における l 番
目の ICA (l = 1, . . . , L − 1) は以下で定義される．


(ICAl)
Y(ICAl) (f, t) = Yk
(f, t)k1

T= W(ICAl) (f ) X (f, t)= [A12 (f )S2 (f, t), A21 (f )S1 (f, t)] ,(6)

ここで，P1 = I ，P2 = [1]ij − I としている．

25

(9)

(10)

式 (8) を得るため，式 (7) の Kullback-Leibler Divergence の W(ICAl) (f ) に関する Natural Gradient を，l 番

4.25 m目 (l = 1, . . . , L − 1) の ICA における分離フィルタの Nonて，FD-SIMO-ICA における l 番目 (l = 1, . . . , L − 1) のs1 (t )

ICA 部の新しい反復学習アルゴリズムは以下で与えられる．
[j+1]

W (ICAl) (f )[j]H

Y(ICAl) (f, t)t1.50 mθ1

Microphones(Height:1.17 m)[j]oﬀ-diag Φ Y(ICAl) (f, t)



m
47
.0

Loudspeakers(Height:1.17 m)

holonomic 反復学習式 [5] に追加する必要がある．したがっ[j]= W(ICAl) (f ) − α

0.58 mθ2s 2 (t )2.04 mm HATS
20
.2

m
52
.4

Reverberation
Time: 200 ms
Figure 4: 実験を行った部屋のレイアウト[j]· W(ICAl) (f )

L−1
 
 [j]

Y(ICAl ) (f, t)− oﬀ-diag Φ X (f, t) −
l =1



· X (f, t) −

L−1

l =1

· I−

L−1

l =1

H
[j]
Y(ICAl ) (f, t)





t

[j]

W(ICAl ) (f )(11)

ここで，α は更新係数で，非線形ベクトル関数 Φ(·) は [15]と定義する．

Φ (Y (f, t)) ≡ tanh(|Y1 (f, t)|)ej·arg(Y1 (f,t)) , · · · ,tanh(|YL (f, t)|)ej·arg(YL (f,t))T.

Figure 5: 実験で用いた Head And Torso Simulator(12)

また，W(ICAl) (f ) の初期値は全て異なっている必要がある．

いう異なった方位から到来すると仮定し，方位の組み合
わせは (θ1 , θ2 ) = (−60◦ , 60◦ ), (−60◦ , 0◦ ) の 2 通りを実験

FD-SIMO-ICA の後にバイナリマスク処理を行う．FDSIMO-ICA の出力が式 (9), (10) の場合，音源 1 に対応すした．音源信号は，男女 2 名ずつの話者 4 人による組みる出力信号は以下のように与えられる．

音と話者との組み合わせ，の 2 種類を用いた．この音源(ICA1)(f, t)
Yˆ1 (f, t) = m1 (f, t) Y1

合わせと，Human Speech Like Noise と呼ばれる定常雑
データの長さは 3 秒，サンプリング周波数は 8 kHz であ(13)

る．分離フィルタ行列のタップ数は 1024，初期値は ±15◦

こ こ で ，m1 (f, t) は バ イ ナ リ マ ス ク 演 算 子 で ，(ICA1)(ICA2)|Y1(f, t)| > |Y2(f, t)| のとき m1 (f, t) = 1 となり，それ以外は m1 (f, t) = 0 となる．また，音源 2 に

4.2 実験結果
実験では A∼D の 4 手法を比較した：(A) 式 (5) で与えら対応する出力信号も以下のように与えられる．
(ICA1)(f, t)
Yˆ2 (f, t) = m2 (f, t) Y2

もしくは ±30◦ の HRTF の逆行列を用いた．

れるバイナリマスク処理，(B) 式 (2) で与えられる従来の(14)

ICA，(C) 従来の ICA とバイナリマスク処理の単純接続，

こ こ で ，m2 (f, t) は バ イ ナ リ マ ス ク 演 算 子 で ，(D) 今回の提案法．ここでは，どの手法を用いた分離処理の際にも，音源の DOA 情報，部屋の伝達関数，マイクロ|Y2(f, t)| のとき m2 (f, t) = 1 とホンの配置，HATS(ロボット頭部) の音響特性といった事なり，それ以外は m2 (f, t) = 0 となる．L = K > 2 の場

前情報を一切与えていない．こうした情報は，特に本体や合も同様の手法で簡単に一般化できる．

ユーザが動き回るロボット環境では，使用することが不4可能である．

(ICA1)(ICA2)(f, t)| > |Y1

実環境下での実験

分離性能の評価値として，出力と入力 Signal-to-Noise

4.1 実験条件
Figure 4 に示す実験室において， 2 音源 2 マイクロホンで収録した音声信号を用いて，2 音源分離実験を行った．

Ratio (SNR) の dB 上の差分を表す Noise Reduction Rate
(NRR) [8] を用いる．SNR は干渉信号音をノイズとみな

残響時間は 200 ms，収音装置として，ロボット聴覚を模すことで計算する．

すため Brüel & Kjær 社製の Head And Torso Simulator

Figure 6 に，異なる話者配置，異なる初期値ごとの話(HATS; Figure 5 参照) を用いた．2 音声信号が (θ1 , θ2 ) と者同士の場合の NRR の結果を示す．値は 12 話者組み合

26

Binary mask
]
B
d
[
e
t
a
R
n
io
t
c
u
d
e
R
e
is
o
N

25
20

Conventional ICA

Conventional ICA + Binary mask

25
(a)

20

25
(b)

20

Proposed method
25

(c)

20

15

15

15

15

10

10

10

10

5

5

5

5

(d)

0
0
0
0
◦
◦
◦
Figure 6: 話者同士の混合時の NRR：(a) 音源方位 (−60 , 60 ) ＆初期値 ±30 , (b) 音源方位 (−60◦ , 60◦ ) ＆初期値

±15◦ , (c) 音源方位 (−60◦ , 0◦ ) ＆初期値 ±30◦ , (d) 音源方位 (−60◦ , 0◦ ) ＆初期値 ±15◦ ,Binary mask
]
B
d
[
e
t
a
R
n
o
it
c
u
d
e
R
e
s
i
o
N

25
20

Conventional ICA

Conventional ICA + Binary mask
25

25
(a)

20

(b)

20

Proposed method
25

(c)

20

15

15

15

15

10

10

10

10

5

5

5

5

(d)

0
0
0
0
Figure 7: 話者と雑音の混合時の NRR：(a) 音源方位 (−60◦ , 60◦ ) ＆初期値 ±30◦ , (b) 音源方位 (−60◦ , 60◦ ) ＆初期値
±15◦ , (c) 音源方位 (−60◦ , 0◦ ) ＆初期値 ±30◦ , (d) 音源方位 (−60◦ , 0◦ ) ＆初期値 ±15◦

わせの平均である．また，Figure 7 に，スペクトルスパー

タに対して最適化されたフィルタをデータ自身に適ス性が成り立っていない場合に相当する，話者と定常雑音の混合の場合の NRR 結果を示す．これらの結果より，用することが不可能なためである．
3. SIMO-ICA より得られた分離信号に対しバイナリマ

提案する 2 段 BSS 手法は，話者方位や雑音，初期値によ

スク処理を行う．SIMO-ICA とは違い，バイナリマ

らず，一貫して分離性能を大きく改善することができるこ

スクはリアルタイムに信号を処理する．
4. バイナリマスク処理を行った信号に逆 FFT を適用すとを確かめることができた．また，提案法は，従来のバイることで，時間領域の波形に変換する．

ナリマスク処理とは違い，スパース性が成立しない混合問題においても性能の改善が見られることに意味がある．

SIMO-ICA の分離フィルタの更新はリアルタイムではな

この事実は，提案する SIMO-ICA とバイナリマスク処理

く 3 秒の遅延が生じるが，システム全体で見ると，バイの接続法が有効であることを示唆している．

ナリマスク処理が遅延なしで動作しているため，リアル

5

タイムで系に追従しているように見える．一般的に，従来

リアルタイム実装

我々はすでに DSP を用いてリアルタイム動作する 2 段型の ICA で生じるフィルタ更新遅延の影響はリアルタイム

BSS デモシステム (TI-C67, 200 MHz, 150 g; Figure 8参照) を実装している．提案法をリアルタイム実装したブシステムに適用するには問題になるほど大きい．しかし，ロック図を Figure 9 に示す．信号は以下の手順で処理さ響は，リアルタイム動作可能なバイナリマスク処理を導れる．

入することにより大きく軽減されている．

提案法における SIMO-ICA 部分のフィルタ更新遅延の影

6

1. 入力信号はフレーム毎に高速フーリエ変換 (FFT) をまとめ

本稿では，SIMO モデルに基づく ICA とバイナリマスク

用いて時間-周波数系列に変換される．
2. SIMO-ICA は 3 秒間のデータを使い分離フィルタ行

処理の効果的な組み合わせによる新しい BSS 手法を提案

列の推定を行う．推定された分離行列は次の 3 秒のした．その有効性を評価するため，残響環境下での分離

データに対して用いられる．これは，SIMO-ICA の実験を行った．実験結果から，提案した 2 段 BSS を用い学習には多くの計算量が必要で，学習中の 3 秒のデー

ると，NRR が大いに改善されることが示された．それに27

[7] L. Parra and C. Spence, “Convolutive blind separation of non-stationary sources,” IEEE Trans. Speech& Audio Processing, vol.8, pp.320–327, 2000.
[8] H. Saruwatari, S. Kurita, K. Takeda, F. Itakura,T. Nishikawa, and K. Shikano, “Blind source separation combining independent component analysis
and beamforming,” EURASIP Journal on Applied
Signal Processing, vol.2003, pp.1135–1146, 2003.
[9] S. F. Boll, “Suppression of acoustic noise inspeech using spectral subtraction,” IEEE Trans.
Acoust., Speech & Signal Process., vol.ASSP-27,

Figure 8: 開発したリアルタイム BSS モジュール
Left-channel input

...

...

no.2, pp.113–120, 1979.

Time[10] T. Takatani, T. Nishikawa, H. Saruwatari,
and K. Shikano, “High-ﬁdelity blind separa-

Right-channel input

...

...

tion of acoustic signals using SIMO-model-based

FFT FFT FFT FFT FFT FFT FFT FFT FFT...

SIMO-ICA
Filter updatingin 3 s duration

W(f)SIMO-ICA
Filter updatingin 3 s duration
W(f)Real-time filtering

ICA with information-geometric learning,” Proc.
IWAENC2003, pp.251–254, 2003.

...

[11] T. Takatani, T. Nishikawa, H. Saruwatari, and K.

W(f)Shikano, “High-ﬁdelity blind separation of acoustic signals using SIMO-model-based independent

Real-time filtering

Binary Binary Binary Binary Binary Binary Binary Binary
Mask Mask Mask Mask Mask Mask Mask Mask...

component analysis,” IEICE Trans. Fundamentals,
vol.E87-A, no.8, pp.2063–2072, 2004.

Separated signal reconstruction with Inverse FFT[12] R. Lyon, “A computational model of binaural localization and separation,” Proc. ICASSP83, pp.1148–

Figure 9: 提案法のリアルタイム処理時の信号の流れ
加え，提案法が，従来の ICA やバイナリマスク処理単体，

1151, 1983.
[13] N. Roman, D. Wang, and G. Brown, “Speechsegregation based on sound localization,” Proc.

それらの従来法の単純組み合わせ手法の性能を上回ることが示された．

IJCNN01, pp.2861–2866, 2001.

参考文献[14] M. Aoki, M. Okamoto, S. Aoki, H. Matsui, T.
[1] K. Nakadai, D. Matsuura, H. Okuno, and H. Kitano, “Applying scattering theory to robot audition

Sakurai, and Y. Kaneda, ”Sound source segregation based on estimating incident angle of each fre-system: robust sound source localization and extraction,” Proc. IROS-2003, pp.1147–1152, 2003.
[2] R. Nishimura, T. Uchida, A. Lee, H. Saruwatari, K.
Shikano, and Y. Matsumoto, “ASKA: Receptionist

quency component of input signals acquired by multiple microphones,” Acoustical Science and Technology, vol.22, no.2, pp.149–157, 2001.
[15] H. Sawada, R. Mukai, S. Araki, and S. Makino,“Polar coordinate based nonlinear function for fre-robot with speech dialogue system,” Proc. IROS2002, pp.1314–1317, 2002.
[3] R. Prasad, H. Saruwatari, and K. Shikano, “Robots
that can hear, understand and talk,” Advanced

quency domain blind source separation,” IEICE
Trans. Fundamentals, vol.E86-A, no.3, pp.590–596,
2003.

Robotics, vol.18, pp.533–564, 2004.
[4] P. Comon, “Independent component analysis, a new[16] H. Sawada, R. Mukai, S. Araki, and S. Makino, “Arobust and precise method for solving the permutation problem of frequency-domain blind source

concept?,” Signal Processing, vol.36, pp.287–314,
1994.
[5] N. Murata and S. Ikeda, “An on-line algorithm forseparation,” Proc. Int. Sympo. on ICA and BSS,
pp.505–510, 2003.

blind source separation on speech signals,” Proc.

[17] M. Aoki and K. Furuya, ”Using spatial information
for speech enhancement,” Technical Report of IE-

NOLTA98, vol.3, pp.923–926, 1998.
[6] P. Smaragdis, “Blind separation of convolved mixtures in the frequency domain,” Neurocomputing,

ICE, vol.EA2002-11, pp.23–30, 2002 (in Japanese).

vol.22, pp.21–34, 1998.

28

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-5 (10/14)

適応雑音推定処理を備えた空間的サブトラクションアレーによる実環境下でのハンズフリー音声認識
Hands-Free Speech Recognition Using Spatial Subtraction Array
with Adaptive Noise Estimation Prosessing under Real Environment

木内千絵，高谷智哉，猿渡洋，鹿野清宏
Chie Kiuchi, Tomoya Takatani, Hiroshi Saruwatari, Kiyohiro Shikano

奈良先端科学技術大学院大学
Nara Institute of Science and Technology

chie-k@is.naist.jp
Abstract

において，低周波数帯域で位相差情報を得るには，広いマ
イクロホン素子間隔が必要となる．そのため，高精度なWe newly propose an improved spatial subtraction array (SSA) with an adaptive noise estimation processing, which aims at the achievementof robust hands-free speech recognition in realenvironments. The previously proposed SSA
can recognise a target speech with a high accuracy under a laboratory environment. However the conventional SSA used an ideally designed null beamformer (NBF) for noise estimation, and consequently it cannot take into
account the reverberation eﬀect which arises inan actual environment. The proposed SSA introduces adaptive beamformer (ABF) for theaccurate noise estimation, and thereby remarkably improves the noise subtraction performance even under real reverberant conditions.
The speech recognition experiments reveal thatthe word accuracy of the proposed SSA is superior to that of the conventional SSA as wellas the conventional delay-and-sum beamformer
and adaptive beamformer.

1

音声強調を行うには大規模なマイクロホンアレーが必要となってしまう．一方，GJ は DS よりも小規模なマイク
ロホンアレーで高精度な雑音抑圧が可能である．GJ は，

DS によって得られる音声強調を行った信号から適応フィ
ルタによって推定される雑音を減算することで，雑音抑圧を行う．GJ は適応フィルタを用いるので，高精度な雑音推定が可能であるが，GJ で使用している適応フィルタ
は，フィルタの学習に多大な演算量が必要となるので高速処理が困難であるといった問題がある．また，DS や GJ
は時間波形を出力するため，スペクトル特徴量等を入力とする音声認識処理系にとっては冗長な処理を含む．一方

SSA は，音声認識を行う際の特徴量である Mel Frequency
Cepstrum Coeﬃcient (MFCC)[4] を直接出力し，波形再構成等の冗長な処理を行わない．また，パワースペクトル上でスペクトル減算に基づく雑音抑圧を行うので，頑健な雑音抑圧が可能である．さらに，フィルタバンク数程度のパラメータで動作するので，高速処理が可能である．
我々は，雑音推定フィルタに死角制御型ビームフォーマ(NBF)[5] を用いた NBF 型 SSA を既に提案しており [1]，実験室で収録された雑音を重畳した残響・雑音付加音
声データ (実験室データ) を用いた認識実験では NBF 型

SSA の有効性を確認している．本稿では，実環境で収録

はじめにされた雑音を重畳した残響・雑音付加音声データ (実環境

高精度なハンズフリー音声認識の実現を目標として，新しデータ) を用いて NBF 型 SSA が実環境でも有効であるのいマイクロホンアレー信号処理技術である空間的サブトラかを検証し，さらに認識精度向上の為，雑音推定部に適クションアレー (SSA) が提案されている [1]．SSA は，従応雑音推定処理を備えた新しい SSA(ABF 型 SSA) を提案

来音声強調手法である Delay-and-Sum アレー (DS)[2] やする．特に，異なる実験環境における音声認識実験を行

Griﬃth-Jim 型適応アレー (GJ)[2],[3] と異なり，アレー信
号処理を音声認識システムに特化させた手法である．DS

証する．

い，NBF 型 SSA と ABF 型 SSA の違い及び有効性を検は，各マイクロホンアレーで受音した信号に対し目的方位に同位相化を行い，その同位相化された信号を足し合わせることで，目的方位の信号を強調する．ただし，DS29

2

従来法: GJ 型適応アレー [2],[3]User’sSpeechθ

本研究では，SSA の比較対象手法として，SSA の主パス

Phase

x1 (t ) Compensationd F部分に使用している DS と，SSA の従来法である GJ を選

2.1

xJ (t )

GJ の原理＋Noise

GJ における信号の流れを図 1 に示す．ここで，xj (t) (j =1, …, J) は各マイクロホンアレー素子で受音された観測信
ザ音声の強調を行う主パス，雑音推定を行う参照パス，そUser’sSpeech x (t )後，逆フーリエ変換を行うことによって，波形再構成の後

θ

に時間波形として出力される．
d sinθ

(1)

d F
F
T

θ

SUB
(k)]T は，同位相化された隣り合う[Y1SUB (k), · · · , YJ−1
信号同士を，参照パスで減算することによって得られた雑音推定信号ベクトルである．さらに，AADF (k) =(2)

ここで，μ はステップサイズパラメータであり，(h) は更新回数を示す．

2.2

GJ の問題点－

Reference Pass

Y (k ) Mel-scale
FilterBank∑

BeamFormer

よって音声強調された信号である．また Y SUB (k) =

(h+1)
(h)
(h)
AADF (k) = AADF (k) + μ·Z (h) (k)Y SUB (k)J -1 chAdaptive
Filterm (1)＋Spectral Transform
Log

and
DCT

Subtract－

Z (k )

Noise

波数のビン番号である．YDS (k) は，主パスで DS にうに求められる．これは，以下の式によって表される．

－＋

Phase Main Pass
Compensation

1

x J (t )こ こ で ，T は 転 置 を 表 し ，k は 離 散 ス ペ ク ト ル の 周T(k), · · · , AADF
[AADF
1
J−1 (k)] は，参照パス内の適応フィルタ
ベクトルである．この適応フィルタの係数は，最小二乗法 (LMS) によって出力のパワー |Z(k)|2 を最小化するよz (t )

Figure 1: GJ における信号の流れ

ら成る．GJ の出力である z(t) は，以下の式で計算されたZ(k) = YDS (k) − AT
ADF (k)Y SUB (k)

I
F
F
T

YSUB, 1 (k )YSUB, J -1 (k )号であり，J はマイクロホンの素子数を示す．GJ は，ユー
して主パスの信号から参照パスの信号を減算する箇所か＋ Z (k )
∑
－

∑

θ

F
T

d sin θ択している．以下では，特に GJ について概説する．

Main Pass

YDS (k )MFCC (i )m (L )

Mel-scale
FilterBank

Reference Pass

Figure 2: SSA における信号の流れ
り，J はマイクロホン素子数を示す．Y (k) はユーザ方位 θに同位相化した遅延和アレー出力のスペクトル，Z(k) は雑音推定後のスペクトルである．

SSA は，GJ と同様に音声を強調する主パスと雑音を推定する参照パスから成る．主パスでは，DS を用いて各マ
イクロホン素子で受音された信号をユーザ方位に同位相化し，その各スペクトルを足し合わせることでユーザ音声を強調している．参照パスでは，ビームフォーマを用いてユーザ音声を抑圧し雑音を推定している．また，SSA はGJ は式 (2) に示されるように，雑音のみが存在しユーザ
音声が発せられていない無音区間において，一周波数ビ

最終出力として時間波形ではなく，音声認識を行う際の特ンあたり J − 1 次元の適応フィルタ係数を収束するまで更フィルタバンク分析 [4] を行う必要があり，各パスにメル新する必要がある．そのため，数千〜数万個のパラメー

フィルタバンクを挿入している．SSA はフィルタバンク

タ更新といった多大な演算量が必要になる．また主パス分析を行った後，主パスで得られたユーザ音声を強調しと参照パスにおける減算は，振幅スペクトルと位相情報

たスペクトル Y (k) から参照パスで得られた雑音を推定しを共に必要とするため条件が複雑となり，あまり頑健な雑たスペクトル Z(k) を減算する．

徴量である MFCC を出力する．従って，両パスにおいて音抑圧ができないといった問題がある．さらに，従来法でフィルタバンク分析 [4]ある DS や GJ は時間波形を出力するため，スペクトル特3.2

徴量等を入力とする音声認識処理系にとって冗長である．
そこで本研究では，GJ を音声認識システムに特化するよ

SSA で最終出力として MFCC を出力する際，フィルタバ
ンク分析を行う必要がある．そのため，以下に示す L 個

うに拡張した SSA を提案する．

の三角窓 W (k; l) (l = 1, · · · , L) を周波数軸上に配置する．

3

SSA[1]

図 3 にメルフィルタバンクの配置図を示す．

3.1

原理

⎧
⎪
⎪
⎨

k − klo (l)kc (l) − klo (l)W (k; l) =khi (l) − k⎪⎪⎩khi (l) − kc (l)SSA における信号の流れを図 2 に示す．ここで，xj (t) (j =1, …, J) は各マイクロホン素子で受音された観測信号であ

30




klo (l)≤k≤kc (l)
kc (l)≤k≤khi (l)(3)

ここで klo (l), kc (l), khi (l) はそれぞれ l 番目のフィルタの下限，中心，上限の周波数番号であり，隣り合うフィルタ

W (k ; l )間で以下の関係を持つ．

l −1

1

kc (l) = khi (l − 1) = klo (l + 1)

(4)

・・・

さらに，kc (l) はメル周波数軸上で等間隔に配置される．

kc (l) に対するメル周波数 M elkc (l) は以下の式によって計算される．
kc (l)・fs(5)
M elkc (l) = 2595 log10 1 +1400(N − 1)
ここで fs はサンプリング周波数，N は FFT 長である．

3.3

l +1

l

・

・・・
kc (l − 1) k hi (l − 1)
klo (l )kc (l )klo (l + 1)

k hi (l )kc (l + 1)

k

Figure 3: メルフィルタバンク〜数千次元のパラメータを収束するまで学習する必要がない．その結果，SSA では高速処理が可能となる．SSA
で出力される MFCC パラメータは，式 (6) 及び (7) で得雑音抑圧処理フィルタバンク分析を行った後，以下の式 (6) のように主パスで得られたユーザ音声を強調したスペクトル Y (k) かられた m(l) の対数値を離散コサイン変換することで求められる．

ら参照パスで得られた雑音を推定したスペクトル Z(k) をM F CC(i) =減算する．また減算時に，パワースペクトルが負になった

2
L



L

loge m(l) cos



l−

l=1

1  iπ2 L(9)場合のミュージカルノイズを回避するために，式 (7) のフ
ここで，i は MFCC の次元数を表す．

ロアリング処理を行う．

m(l) =

3.4

khi (l)W (k; l){|Y (k)|2 − α(l) · β·|Z(k)|2

1
2

(6)

( if |Y(k)|2 − α(l) · β·|Z(k)|2 ≥ 0 )たスペクトルを主パスで強調されたユーザ音声のスペク

khi (l)W (k; l) γ · |Y (k)|SSA は，主パスにおけるユーザ音声の強調とは別に，参
照パスにおいて雑音のスペクトルを推定し，その推定しk=klo (l)m(l) =

死角制御型ビームフォーマによる雑音推定処理 [5]トルから減算することによって，効率的にユーザ音声の( otherwise ) (7)k=klo (l)スペクトルを推定する．NBF 型 SSA では，その雑音推定
フィルタとして，目的方位に死角を形成することで目的

ここで，m(l) はメルフィルタバンク上で雑音抑圧処理を行うことによって得られた l 番目帯域の振幅スペクトル和

音声を抑圧し雑音を推定する NBF を使用している．

NBF 型 SSA の参照パスにおける雑音推定処理を定式化である．β は L 個の三角窓に対して一定の減算係数であする．ここで，X(k) が観測信号ベクトル [x1 (t), …, xJ (t)]Tる．また，γ も各三角窓に対して一定のフロアリング係数

を離散フーリエ変換したものだとすると，参照パスにおいである．α(l) は，雑音の成分が 0 になるよう各次元で調て NBF フィルタを適用した各周波数ビンの出力 YNBF (k)節を行うパラメータであり，ユーザが発話せず雑音のみがは以下の式 (10) で表すことができる．

存在する区間で以下のように計算される．

α(l)

=

mY (l)mZ (l)⎛YNBF (k) = AT
NBF (k)X(k)2khi (l)ANBF (k) は NBF で設計されるフィルタであり，以下の式⎞2⎜
W (k; l)|Y (k)| ⎟⎜⎟⎜ k=klo (l)
⎟
⎜
⎟
= ⎜
⎟
khi (l)⎜⎟⎝W (k; l)|Z(k)| ⎠(10)で設計される．

(8)

k=klo (l)ANBF (k) = [ANBF(k), · · · , ANBF
(k)]T
1
J
= [1, 0] · [eNBF (k, θN ), eNBF (k, θU )]+

T

(11)

ここで，＋は擬似逆行列，θN は雑音の方位，θU はユーザ

ここで，mY (l), mZ (l) は，それぞれ主パス，参照パスで方位であり，eNBF (k, θ) は，式 (12) で計算されるステア得られた振幅スペクトル和である．

リングベクトルである．

一般的に，音声認識は位相情報を陽には用いないため，

はその各 m(l) に対するパラメータを調節するだけで雑音k
fs d1 sinθ/c)KTk· · · , exp(j2π fs dJ sinθ/c)(12)K

抑圧処理を行うことができる．従って，GJ のように数百

ここで，c は音速，d1 〜dJ はマイクロホン素子座標である．

eNBF (k, θ)

パワースペクトル上のみで減算を行う SSA は音声認識に対して有効である．また，m(l) は通常 24 個から成り，SSA

31=

exp(j2π3.5NBF 型 SSA の問題点
Training

NBF フィルタは，無残響かつマイクロホン素子誤差がない状態を仮定して計算機上で設計されるため，実際の環境に適応したフィルタは設計できない．一般に，無残響Noise

x 1 (t )x J (t )もしくは残響の少ない環境であれば，ユーザ方位からのProcessing x (t )1

み到来する信号がマイクロホンアレーで受音されるため，

User

NBF フィルタでユーザ音声を抑圧することは可能である．
しかし実環境では，残響等の影響により各周波数ごとに到NoiseTraining

ザ音声を十分に抑圧することは困難である．また，NBF
は素子誤差に非常に敏感であり，誤差の影響により死角がFilter g1
Filter g２

x J (t )Minimize
Noise＋Output

User

Filter gJ

x J (t )Processing x (t )1

Filter g

User

既知雑音重畳を用いた音韻モデルとの適合化

残響雑音下では SSA で雑音除去を行っても，残留雑音や

x 1 (t )

？？？
？？？
？？？

目的方位からずれてしまうという問題もある．

Noise

難である．つまり，認識を行う際にクリーンモデルを用い

Filter g1
Filter g２

User

フロアリング処理による歪が存在し完全な雑音抑圧は困x J (t )＋Output＋ Output

Filter gJ

Minimize
User

Noise

Figure 5: SSA の参照パスにおける ABF 使用例てしまうと音韻モデルとの不一致により，挿入誤りが多く生じてしまう．そこで，山出らによって提案された既知雑Filter g＋ Output

Figure 4: 従来の ABF 使用例

来する信号の方位が異なるため，NBF フィルタではユー

3.6

？？？
？？？
？？？

り目的音が得られる．

音とマッチドモデルを用いる手法 [6] を導入している．た一方 SSA で使用する Frost 型 ABF は，図 5 上段の図だし，SSA は MFCC を直接出力するのでメルフィルタバのように雑音がなくユーザ音声のみが存在する区間でそンク上で重畳するように拡張してある [1]．

のユーザ音声を学習し，それを最小化するようなフィル

4

提案法: ABF を用いた SSA (ABF 型
SSA)

4.1

適応雑音推定処理

3.5 節の問題点を解決し認識精度を向上させるため，本研
究では，NBF 型 SSA の参照パスに適応雑音推定処理としタを設計する．この場合は，SSA の参照パスが雑音推定の役割を果たすので，雑音が目的音でありユーザ音声が非目的音である．そして，図 5 下段の図のように実際にユーザ音声と雑音の両方が存在する区間で，設計したフィルタを適用する．すると，フィルタは入力されてくるユー
ザ音声を最小化するように設計されているので，雑音つまり SSA の参照パスにおける目的音が得られる．

て適応ビームフォーマ (ABF) を導入した新しい SSA ア

ABF の定式化

ルゴリズム (ABF 型 SSA) を提案する．本研究ではこの

4.2

適応フィルタの設計に，目的方位の利得を 1 に保ちながABF を SSA に応用するための定式化を行う．SSA の参照
パスにおける目的音の到来方位つまり雑音方位を θN ，まら非目的音出力を最小とする Frost 型アレー [7] を使用する．一般の Frost 型アレーの使用においては，ユーザ音声

た SSA の参照パスにおける非目的音信号つまりユーザ音の強調が目的のため目的方位はユーザ音声であるが，本研

声をマイクロホンアレーで観測し，短時間 DFT によって究における ABF の役割は参照パスにおける雑音スペクト

時間-周波数系列にしたものをX(k, n) 及び ABF で設計ルの推定であるため，ユーザ音声が非目的音に相当する．

するフィルタをG(k) とする．ここで，X(k, n) は，雑音

つまり，雑音方位の利得を 1 に保ちながらユーザ音声をが存在せずユーザ音声のみが発せられている区間つまり，最小にするフィルタを設計する．

非目的音のみが信号を発している区間で観測される．ま従来の Frost 型 ABF フィルタの役割と SSA での Frost型 ABF フィルタの役割を，図 4 及び 5 にそれぞれ示した．

た，非目的音信号X(k, n) にフィルタG(k) を適用して得られる出力Y (k, n) は，式 (13) で表すことができる．

従来の Frost 型 ABF では，図 4 上段の図のようにユーザT

Y (k, n) = G(k) X(k, n)

音声が発せられておらず雑音のみが存在する区間でその(13)T雑音を学習し，それを最小化するようなフィルタを設計

G(k) = [G1 (k), …, GJ (k)](14)

する．この場合は，ユーザ音声が目的音であり雑音が非目的音となる．そして，図 4 下段の図のように実際にユー

ここで，n はフレーム番号である．ABF の設計は, 非目的

ザ音声と雑音の両方が存在する区間で，設計したフィル

音のみが信号を発している区間 (非目的音区間) で非目的タを適用する．すると，フィルタは入力されてくる雑音を音を学習し，目的方位 θN からの利得を 1 に保ちながら出最小化するように設計されているので，ユーザ音声つま力Y (k, n) を最小化するフィルタG(k) を求める条件付最32

5.75 mNoise
4.33 m1.15 m

°

User

40

1.15 m ・・

2.15
cm

Reverberation time ： 200 ms
Number of microphones ： 4, 8

Figure 6: 実験環境 1
3.33 m1m

Figure 8: NBF の理想指向特性例

User
60

°1 m

10

Noise

0

Gain [dB]2.94 mReverberation time ： 260 ms
Number of microphones ： 4, 8

2.15 cm

-10
-20
-30

Figure 7: 実験環境 2-40小化問題であり，その解は以下の式 (15) で与えられる．

-50
-90
0

−1

dθN (k)H R(k)G(k) =dθN (k)H R(k)−1 dθN (k)R(k) ≡ X(k, n)X(k, n)H t ∈ B⎤⎡kfs d1 sin(θN )/c]
exp[j2π K⎥⎢..
⎥
dθN (k) ≡ ⎢.
⎦⎣kexp[j2π K
fs dJ sin(θN )/c]

8000
6000

-45
Direction [degree]

(15)

4000
2000

45

Frequency [Hz]90 0

Figure 9: ABF の指向特性例(16)

いる．NBF フィルタは，図 8 に示すように，残響がなくかつマイクロホン素子誤差もない状態を仮定して計算機(17)

ここで，R(k) は非目的音の相関行列，dθN (k) は目的方位

θN に関するステアリングベクトル [2] である．B は非目
的音区間のフレーム番号の集合である．また，H は複素共役転置を表す．

上で設計されるので 0 °方位のみに鋭い死角を形成する非
常に整った指向特性を持つことがわかる．一方 ABF フィ
ルタは，図 9 に示すように，実際に実環境で収録されたデータを使用して設計されるので，残響やマイクロホン
素子誤差も考慮された指向特性を持つことがわかる．従って，NBF のような鋭い死角は持たず，その環境に適した指向特性を形成する．

5

実験

5.3

5.1

実験環境

図 6 及び 7 の二つの異なる実験環境において，NBF 型実験を行った室内環境を図 6 及び 7 に示す．図 6 は音響実験室，図 7 は実際のマンションの部屋である．以後，それぞれを「実験環境 1」及び「実験環境 2」と呼ぶ．

5.2

実験 1: 指向特性

実験 2: 音声認識実験

SSA と ABF 型 SSA の認識精度を比較するための音声認
識実験を行った．また，従来法として DS 及び GJ も同様に実験を行った．クリーン音声データベースに図 6 及び7 の環境で計測されたインパルス応答を畳み込み，音声にSNR が平均 10 dB になるように雑音を重畳した音声を評

実際に設計した NBF フィルタと ABF フィルタの指向特価データとして用いた．減算係数 β 及びフロアリング係性を比較する．指向特性は，周波数と方位そしてゲイン

数 γ については，それぞれのパラメータを変化させ音声の 3 次元で表示している．図 8 及び 9 に NBF フィルタと認識実験による単語認識精度を基に最適なものを選んだ．

ABF フィルタの指向特性を示した．フィルタは，0 °方位からユーザが発話していると仮定して，死角を形成してここで，認識に使用する音韻モデルは PTM[8](2000 状態，
64 混合) の既知雑音重畳モデル [6] を使用した．

33

80

ABF 型 SSA は適応雑音推定処理を備えているため，環境

Word Accuracy[%]

70
60
50

果より，NBF フィルタと ABF フィルタの指向特性の違
4 mics.
8 mics.

いが明確になった．実データを用いて設計する ABF は，残響等の影響もフィルタに含めて設計する．従って ABF

30

フィルタは，NBF フィルタのように鋭い死角は形成せず，

20

残響特性に応じた指向特性を形成する．また，実験 2 の結

100
NBF-type ABF-type
Unprocessed DS
GJ(1 mic.)SSA
SSA
Figure 10: 実験環境 1 での認識結果
80

果より NBF 型 SSA は残響の影響により認識精度が劣化

60
50Upper limit: 75.73%

4 mics.
8 mics.

するのに対し，ABF 型 SSA では頑健に動作していることが確認された．従って，本提案法である ABF 型 SSA は
ハンズフリー音声認識において非常に有効な手法であると言える．
今後の課題としては，実環境に存在する残響の影響を考慮し，認識に残響・既知雑音重畳モデルを使用するなど，
音声認識面での精度向上も考えていかなければならない．

40

謝辞

30

て行われたものである．

NBF-type ABF-type
SSA
SSA
Figure 11: 実験環境 2 での認識結果
DS

GJ

参考文献
[1] Y. Ohashi, T. Nishikawa, H. Saruwatari, A. Lee,
K. Shikano, “Noise-Robust Hands-free Speech
Recognition Based on Spatial Subtraction Array
and Known Noise Superimposition,” IEEE/RSJ International Conference on Intelligent Robots and

認識精度比較

図 10 及び 11 に，各環境における各手法の音声認識精度を示す．また，各図における点線は，各環境において雑音信

Systems, pp.533–537, 2005.
[2] 大賀 寿郎, 山崎 芳男, 金田 豊, “音響システムとディ
ジタル処理,” コロナ社, 1995.
[3] L. J. Griﬃth, and C. W. Jim, “An alternative ap-号が発生していない場合の単一マイクロホンでの認識精度(Upper limit) を示している．実験環境 1 において，NBF
型 SSA は DS 及び GJ 以上の認識精度を達成し，ABF 型

SSA でも NBF 型 SSA，DS 及び GJ 以上の認識精度を達

proach to linearly constrained adaptive beamforming,” IEEE Trans. Antennas & Propagation, vol.30,
no.1, pp.27–34, 1982.
[4] 鹿野 清宏, 伊藤 克亘, 河原達也, 武田一哉, 山本 幹雄, “音声認識システム,” オーム社, 2001.
[5] H. Saruwatari, S. Kurita, K. Takeda, F. Itakura,T. Nishikawa, K. Shikano, “Blind source separation combining independent component analysis
and beamforming,” EURASIP Journal on Applied

成した．しかし，実験環境 2 において，NBF 型 SSA は

DS 及び GJ に劣る認識精度となった． この原因として，
実験環境 1 と実験環境 2 における残響の違いが考えられる．実験環境 2 のほうが実験環境 1 よりも残響時間が長く残響の影響は大きい．従って，NBF 型 SSA の参照パス
では実験環境 2 においてユーザ音声が十分に抑圧されておらず，その結果として目的音声に歪が生じ，認識精度が

GJ や DS に劣ってしまったと考えられる．一方，ABF 型
SSA は NBF 型 SSA，DS 及び GJ と同等もしくはそれ以

Signal Processing, vol.2003, no.11, pp.1135–1146,
2003.
[6] 山出 慎吾, 馬場 朗, 芳澤 伸一, 李 晃伸, 猿渡 洋, 鹿野清宏, 電子情報通信学会論文誌, vol.J-87-D-II, no.4,
pp.933–941, 2004.
[7] O.L. Frost, “An algorithm for linearly constrained

上の認識精度を達成した．これは，残響の影響があっても ABF 型 SSA の参照パスではユーザ音声が十分に抑圧されており，正確に雑音推定ができているからだと考えられる．以上より，ABF 型 SSA は，適応雑音推定処理に
よって環境に適応した雑音推定が可能であることが確認

adaptive array processing,” Proceedings of theIEEE, vol.60, no.8, pp.926–935, 1972.
[8] A. Lee, T. Kawahara, K. Takeda, K. Shikano, “A
new phonetic tied-mixture model for eﬃcient decoding,” Proc. ICASSP, vol. III, pp.1269–1272, 2000.

された．

6

この研究の一部は，文部科学省リーディングプロ

ジェクト「e-Society 基盤ソフトウェアの総合開発」によっ

20
10
0
Unprocessed(1 mic.)5.4に適応した雑音推定が可能である．実験 1 の指向特性結4070Word Accuracy[%]Upper limit: 73.49%

まとめ

本稿では，参照パスに適応雑音推定処理を備えた新しい空
間的サブトラクションアレー (ABF 型 SSA) を提案した．

34

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-6 (10/14)

脳型情報処理から見たロボット聴覚：「脳とからだをもった耳」
Robot audition from the viewpoint of brain-like information processing
辻野広司
Hiroshi Tsujino㈱ホンダ・リサーチ・インスティチュート・ジャパン
Honda Research Institute Japan Co., Ltd.
tsujino@jp.honda-ri.com

Abstract— A more “intellectual” function is expected tothe present, the robot that movement with a complicatedaction was enabled. Conventional robot intelligence assumed definite input and output information and realized
an intellectual function by symbolizing informational relations to some extent. On the other hand, the pursued intellectual functions premise high dimensional input/output and online processing, and there are relatively
few subjects to cut by function realization by what wesymbolize definitely. “Robot audition” is a research field
to investigate this new generation of intellectual appropriately because of its nature of high dimensionality andonline interactive characteristics. In this paper, we introduce the ideas from a brain-like information processing,
especially a spiking neural processing on the basis ofevidences in auditory information processing in a brain.

1.

はじめに

ロボットハードウェア及びロボット制御技術の進展により、ヒューマノイドのような複雑な行動を伴ったロバストな移動が可能になり、今後のロボットにはより知的な機能が期待されている[30]。
従来行われていたロボット知能研究は、限定された入出力情報を前提にしたものであり、それらの情報関係を記号化することで知的な機能を実現していた。限定したとしても入力情報の量は十分大量であり、適当な知識量のもとではかなり知的な行動を実現できた[19]。しかし、用いる知識の増加や外界からの入力情報の不完全性を扱う次元になると、必要とされる計算時間が指数関数的に増大するという問題が生じた。Brooks[2]はあえて複雑な知識構造を用いず、駆動される行動を基準にした感覚－運動知識を構成する行動ベースアーキテクチャによりこの問題を解決したが、複雑な構造の扱いへの道筋を示すことはできなかった。Jordan[9]のグラフィカルモデル
は、不確かで複雑な構造を持つ事象を取り扱うことを可能にし、ロボット応用も期待されるが、オンラ
イン性・実時間性などに課題をもつ。
実環境と常に対峙するロボットに強く求められている知能は、多次元入出力・オンライン・実時間処理を特徴としたものである。ロボットの聴覚処理は、

35

これら特徴を最も強く求められる機能の代表であろう。また、ロボットが家庭に入ってくるようになり，ロボットと人とのコミュニケーションや音による環
境知覚は機能的にも重要になってきている[29]。そのように考えると、今後発展するロボットハードウェ
アとその多次元性・オンライン性・実時間性・シス
テム性を考慮した全く新しい学問領域としての「ロボット聴覚」研究の展開が求められているのであろう。それは、従来、通常計算機の音声信号処理を載せ変えただけで行っていたような聴覚処理とは異なるものになるのではなかろうか。
脳型情報処理は生物で行われている中枢情報処理をヒントにした情報処理技術の構築を目指した領域である。アプローチとしては新しいものではなく、むしろ常に必要とされる研究領域であると考えている。たとえば、人工知能という名前のオリジナルとして著名な 1955 年の Dartmouth 会議[17]においても議論され、結果として神経回路などの技術が生まれた。脳型情報処理は各時代で得られる脳科学の知見を用いているため、常に新しさはもつ。しかし、それは一方で理論的積み重ねの困難さという弱点をはらみ、技術的価値をもった工学成果は神経回路以来乏しい。そのような中で、近年脳の構造的特徴をとらえた計算理論が提案され[26][12]、積み重ねが可能な理論構築の枠組みが構成されつつある。
我々は生物の情報処理として身体性・多次元性・オンライン性・システム性などの特徴に着目し、脳における自己組織の原理仮説[30]、脳システムや統合の計算モデル[22]を提案してきた。本論文ではこれらの仮説やモデルに関しては特に述べないが、脳科学の知見を簡単にレビューした後、そのベースとなるスパイク型神経情報処理の観点を中心に脳の聴覚処理を考察する。

2.

脳における聴覚処理

2.1. 概観
ロボットの聴覚機能を考えた場合、言語は重要な機能であり、解明すべき課題であるが、生物研究に質をもつに至った。ヒトの対話は、動物聴覚にヒトのみがもつのであろう広範囲の皮質内連合情報処理が加わったことにより実現されている。
このような古い脳と新しい脳の階層化は、聴覚以外にも共通したものであるが、脳における聴覚処理
が他の感覚情報と異なる点は、古い聴覚情報処理経路が種の進化を経ても保持されている点にある。対極は視覚である。視覚の古い情報経路である視蓋は残存してはいるが、主要経路とはなっていない。視覚情報は進化の過程で、脳幹を通らずに間脳にある視床経由で新皮質に入る経路ができ、新と旧の並列経路を用いるようになっている。聴覚の場合、哺乳類が言語を話すようになって間もないので、古い脳の動物聴覚を保持しているとも考えられるが、それだけではなさそうである。
その一つが、古い脳での情報処理の複雑性にある。
聴覚情報の場合、蝸牛からの聴神経は蝸牛核、上オ
リーブ核、外側毛帯核、下丘を経て視床に向かう。
一方、視覚情報の古い経路は、網膜神経節細胞からの信号が中脳視蓋で処理され、すぐに視床に向かう。
ところが、この中脳視蓋の処理だけで、両生類などの動物は敵と餌を見分けたり、障害物を検知したりするのである[8]。さらに複雑な回路をもつ古い脳での聴覚処理は、想像を超えた処理を行っている可能性が高く、そのため、もはや捨てることができない回路となっているのであろう。
二つめは、新しい脳である新皮質との協調処理である。前述の複雑性も関係するが、古い脳の聴覚処理においては、蝸牛核、上オリーブ核、外側毛帯核、下丘といった核群間でのインタラクションが頻繁になされる。それらを通して、音の定位、マスク、分離、分類などがなされているが、その相互作用処理
が新皮質を輪の中に入れることを容易にすると共に、輪の中に入った新皮質との関係をより強固なものにしていると考えられる。
三つめが、身体に最も近いが所以の身体性である。
身体と感覚情報や運動情報をやりとりする最前線が脳幹である。そこでは、感覚情報以外にも、身体の状況を表すドーパミン、セロトニン、アセチルコリ
ン、ノルアドレナリンなどを放出する細胞が群居している。中脳終端では、視覚、聴覚、運動といった情報が上丘（視蓋）で結びついている。基底核では、感覚情報を運動情報と結びつけ無意識に運動できる
しくみがあり、前述のように言語処理に強く関わっている可能性が示されている。
次節では、この古い脳の聴覚処理を中心にいくつかの知見を紹介する。

おける方法論に関しては制約が多い。最大の制約は言語を扱える動物が「ヒト」しか見当たらないという点である。
しかし、近年は fMRI などの非侵襲の脳計測手法が発達し、ヒトの脳の活動がある程度計測できるようになった。そのような画像化手法と脳損傷の観測をあわせることで、新たな知見が加速度的に増えている。言語処理に関わる脳領域に関しても、その領域
は Broca 野,Wernicke 野だけでなく、かなり広範な部
分が重要な機能を果たしていることがわかりつつある[20]。
つまり、脳における言語情報処理を解明するためには、どこかが活動しているというような場所の情報解析より各脳部位活動との時空間的関係や変化の情報の解析が必要である。そのような観点で、聴覚情報を軸に、脳を眺めてみる。Fig.1 に感覚信号・運動信号と脳の主要部位との関係を図示した。

Figure 1. Hierarchical structure of a brain.
身体から得られる感覚情報は脳幹を通し、基底核や間脳に至り、さらに辺縁系、そして最後に大脳新皮質へ至る。信号を伝達するのには時間がかかるた
め、このようなシステムでは、実時間の処理や実行は下位で行われ、実時間性の少ないものが上位に配置されると考えられる。
聴覚処理では実時間性は必須である。言語対話などの能力を外した動物聴覚においては、実時間性は
敵や餌を見つける上で極めて重要である。言語対話
でも、対話の概のシナリオをもって話すこともある
が、大抵の対話は反射的だったりその場的だったりする。瞬時に入力情報を認識し発話することが大切であるが、一方で意味は後からわかったりする。聴覚処理では Fig.7 の下位部の重要性が高い。
ヒトの脳は進化により発達したものであり、その構造は進化的に古いものの上に新しい脳を重ねるよ
うにしてできている。Fig.1 の場合、下位部にあたる
脳幹、基底核、小脳、間脳は魚類から引き継いだ脳構造であり、両生類、爬虫類で基底核がさらに発達すると共に原始的な辺縁系ができ、哺乳類は大脳皮2.2. 古い脳での聴覚処理
聴覚に関する研究は古くはピタゴラスによる「音が空気の振動である」という洞察に始まるだろうか。
その後、16 世紀に Vesalius, Fallopio, 18 世紀に
Corti らにより耳の解剖学的構造が明らかにされ、1936

世紀初めに Wever,Bray らにより聴神経が音の周波数に同期して放電するという電気生理的知見が得られるに至った。この聴神経に関しての研究は 1960-70
年ころより本格化し、1980 年代には非常に多くの知見を得られた。1990 年代は聴神経の投射先である蝸
牛核に関する知見が増え、近年では、下丘や皮質に関する知見が出てきている。

2.2.1. 脳幹における聴覚処理

Figure 4. Characteristic of auditory nerve.

蝸牛核に至る聴神経までの処理の一般的理解は以下である。

Figure 5. Firing behaviors of neurons.
実際の神経細胞の発火形式は複雑で、環境、入力、細胞の種類などで Fig.5 のように様々な形をとる。
聴神経の投射を受ける蝸牛核でも複雑な発火パターンが観測されている。このような発火パターンは
樹状突起形状、シナプス特性、細胞体膜特性などを起因とする、膜電位の昇降や休止電位変化の微分係数などの変化により生じるものである。従来は情報処理としては無視されていたこのような神経細胞の発火形式だが、これらも情報表現の形式と考えると神経情報処理の潜在能力が格段に向上する。
蝸牛核では上記の複雑発火とともに音周波数マップが形成され、上オリーブ複合体へ投射され IID（両耳間強度差）,ITD（両耳間時間差）が求められるとされている(Fig.2 下部参照)。
聴神経の活動様式を知った上で、脳幹における聴覚処理の発達をみることも参考になる。

Figure 2. Pathway of the ascending auditory
system.
Fig.2 の下部のように、まず、蝸牛にある基底膜に鼓膜からの振動が伝わると、この膜が振動。高い音は基底膜のうち蝸牛の入り口に近い方を、低い音は奥の方を大きく振動させる。この結果、どの場所がどのくらい振動するかによって、音の周波数分析ができる。基底膜には硬い毛の生えた有毛細胞という特殊な神経細胞が、びっしりと並んでおり、有毛細胞は基底膜のその場所が振動すると神経パルスの列を発生し、有毛細胞につながっている聴神経に伝える。神経パルスの大きさはほぼ一定(Fig.4)だが、 頻度は基底膜の振動が大きいほど多くなり、周波数成分の強さが神経の信号に変換される。さらに、4～
5kHz 以下の音の場合、神経パルスは基底膜が一回振動する間の特定のタイミングで発生されるので、周波数成分の位相も聴神経に伝えられる。周波数成分の強さと位相がわかるので、スペクトル解析を行っているといわれている。

Figure 6. Development of ABR.
人間の場合、脳幹における聴覚のハードウェア構造（細胞と細胞間のおよその結合）は胎生時にほとんどできあがっている。生後は軸策のミエリン化と結合の詳細化がなされていると考えてよい[1]。

37Fig.6 は幼児の ABR (Auditory Brainstem Response)の変化を図表化したものである。ABR は音刺激に対す
る脳幹の反応で、クリック音刺激を与え頭皮上から微弱な電位変化を計測し、通常は 10ms 以内に陽性波が出現する（Fig.6 の右にあるような時系列の反応）。
Ⅰは聴神経、Ⅱは蝸牛核、Ⅲは上オリーブ核、Ⅳは外側毛帯、Ⅴは下丘、Ⅵは内側膝状体、Ⅶは聴覚野の反応であるとされている。図の縦軸は反応時間を表し、横軸は月齢および年齢を表す。たとえば、一番左の棒グラフは 0－2 ヶ月の幼児であり、新皮質の反応まで 9msec 強を用している。赤丸は前月齢より反応時間が短縮した部分を示し、青丸は反対に反応時間が延びた部分を示している。つまり、2－4 ヶ月
では 0－2 ヶ月に比べ、上オリーブ核、外側毛帯の反応時間が短縮し、皮質の反応時間が延びている。
幼児期は聴覚経路の身体化と詳細化がなされるので、処理が短縮していることはそのような回路が最適化されたこと、処理が延びたときは追加の回路が形成されたことに相当すると考えられる。
すると、幼児期の聴覚は 2－4 ヶ月までに第一期の発達が脳幹で生じ、その発達に伴い新皮質の回路が形成され始めると推定できる。実際、たとえば音源の定位は生後直後にある程度できるのであるが、その後 1，2 ヶ月はうまくできなくなり、３，４ヶ月で再びできるようになる[3]。Ⅲの上オリーブは特に定位に関連する部分なので、この間に身体化がなされているのだろう。遅れて 4－6 ヶ月から新しい質の聴覚情報の回路が蝸牛核で形成され、それは月齢と共に上オリーブ、外側毛帯、下丘と伝播していく。回路形成が下丘にいたる 1－2 才のころから、新皮質で第 2 次の回路形成が進む。実は 2－4 ヶ月のころの幼児は４ＫＨz 未満の低周波音や広い周波数スペクト
ルをもった音に強く反応する[25]。このことは、４
ＫＨz 未満の音に対し位相に合った発火を行う聴神経が回路形成を誘導しているとも考えられる。聴神経の中でも自発発火率の低い L 型といわれるものは
少数だがダイナミックレンジが大きくフォルマント
等の大局構造の表現が可能なため、この L 型の発火
活動が回路形成をこの誘導を行っている可能性が高い。このような機能は、生後母親の音声を優位に検知するのに役立つものとして、ある程度組み込まれているのかもしれない。この 2－4 ヶ月ころに、声を発することができる程度に発声器官が発達する。この時期以降の第 2 次発達は、自分の声への対応、視覚などとの情報融合、高周波表現に向けた発達が行われているのだろう。

2.2.2. 基底核や小脳における聴覚処理
Fig.2 からもわかるように、脳幹により聴覚情報の前処理が行われ、大脳により言語の認識や発声の高次処理が行われるとされている。大脳でも特にブロ
ーカ野とウェルニケ野がそれぞれ運動性、感覚性の言語処理中枢とされている。しかし、近年計測手法

38の発展に伴い、言語や概念の扱いはこの 2 つの領野だけでなく、脳の多くの部分が内容に応じて分担し
関 与 し て い る こ と が わ か り つ つ あ る [20] 。
Damasio[4]は 169 人の脳損傷患者と 55 人のコントロールに対して、名詞、カテゴリ化を中心に脳画像を用いた網羅的解析を行い大脳各部位と言語処理の関係を示した。 Watkins[24]は遺伝的言語障害をもつKE 家系では基底核の尾状核が小さいことを計測し、言語処理と基底核の強い関与を示した。小脳の損傷が構音生成障害を起こすことも知られている。ブローカ野が損傷しても基底核に損傷がなければ言語機能は回復するが、逆に基底核に損傷があるとブローカ野が無事でも言語機能は回復しないという知見もある[13]。
Ullman[23]は神経科学的認知心理の観点から、基底核を手続き的な文法知識の場、小脳を獲得された
手続き情報の修正の場と考え、新皮質の各領野との機能的関係を認知モデル化し、Dominey[6]は言語のような継時的情報の処理モデルとして、新皮質と基底核からなる計算モデルを提案し、幼児からの言語習得過程を説明した。しかし、脳幹の処理に比べ、このような機能的モデルの研究は少ない。

3.

脳型情報処理と聴覚脳を参考に新しい情報処理方式を開拓しようとするアプローチは、脳において観測される現象に注目し、その現象を人工的に再現するモデル化を行い、次に情報科学的洞察を行い、情報科学的意味をもった情報処理方式を提案するものである。従って、具体化しようと着目する現象により、開発される方式は様々である。神経細胞といった小規模な素子による並列分散活動に着目したものが、パーセプトロン、
連想記憶、バックプロパゲーションなどの神経回路である。その場合、その他の要素である脳の構造や神経細胞の挙動などは特に関知しない。
並列分散活動に加えて、我々は解剖学的関係、解剖学的構造、神経細胞の特性（放電パターン、可塑性）に着目している。前節で述べたように、脳の各部位はある程度の機能的意味づけがされているので、それらの解剖学的関係から、システム構造が推定できる。また、解剖学的構造からは、神経が結合して構成される回路構造の青写真が描ける。そして、そこに神経細胞の特性を入れ込むことで、回路の中で行われている情報処理への仮説が形成できる。
すでに我々はこれら着目点から、脳における散逸的自己組織化[30]、双方向の仮説制御システム[12],スパイキングニューロンによる時間符号化[11], 変動を組み込んだスパイキングニューロン学習モデル[22]などを提案してきた。本稿では、スパイキング
ニューロンによる情報処理モデルの考えをもとに聴覚処理を考察する。

心に開発は進んでいるが、音源位置、環境変化が限定されたなかでの技術となっている。
行動実験による反響（時間差をもった音）に関す神経細胞の多くは Fig.4 のように細胞の電位が一る生物の聴覚特性からは以下のような知見が報告さ
時的にプラスからマイナスになる活動電位（スパイれている[14][15][27]。
ク）という現象を示す。この現象を含め、神経細胞
まず、２つの音が１ミリ秒以内で来た場合は１つレベルの物理的モデル化はかなり厳密に行われていの音とされる。例えば、対面する２つのスピーカーる[10]。スパイキングニューロンのモデルはその中から同じ音を１ミリ秒以内で聞かせると、仮想音源
でも、形式神経細胞[18]と異なり、スパイクの現象が定位される。1 ミリ秒を超え、20 ミリ秒程度ずれに着目した神経情報処理モデルである。この情報処た場合は、１つの音に聞こえるが、先に聞こえた音理の特徴は動的特性にあり、大きくは確率的モデルの位置に定位する。20 ミリ秒を超え 30 ミリ秒くらいである Spike Response Model と決定論的モデルであまでは２つの音に聞こえるが、定位位置は先に聞こる Integrate and Fire Model に分かれる。確率的にえた音に引っ張られ、30 ミリ秒を超えるようになっは後者は前者の特殊な例とも解釈でき、目的によりて、2 つの音を 2 つの位置に定位できる。
使い分けが必要である。数学的記述や生物学的意味
このことから生物の場合、20 ミリ秒以内の反響はに関しては[5] [16]などの書籍を参照されたい。
先行する音を優先し、他の反響音は時間的に引き込
このようなモデルにより再現可能なスパイクイベ
まれるか抑制されていると考えられる。Pollak[21]ントは、Fig.5 のような時間イベントである。このようなイベント系列により情報を表現することにより、 は、下丘はその下位で処理された様々な特徴を統合する場と考え、外側毛帯と上オリーブ複合体が反響
時間的に動的な情報処理が可能になる。たとえば、
音抑制に関与していると提案している。外側上オリ
２つの細胞のスパイク間の時間関係は２つの情報のーブ核は同側の外側毛帯背側にグリシンによる抑制
位相関係とその動的変化を表し、１つの細胞におけ性の投射、対側の外側毛帯背側に興奮性投射、外側るスパイクの時間間隔は情報の周波数とその動的変毛帯背側は対側に GABA による抑制性の投射があるこ化を表し、スパイクや膜電位の時間パターンは情報とから、下記のような機能図を描くことができる。
の強弱や動的特性を表現できる。さらに、スパイク
は情報を伝達するだけでなく、制御信号としても用いることができるため、時間軸を用いて情報を統合したり分離したりすることもできる。また、電位に変化を与えることで、ニューロンの処理周期を変えたり、他のニューロンと周期を合わせたりする処理制御を行うことができる。
生物はこれらの処理をサブミリ秒の時間解像度で行っており、神経細胞による処理は、柔軟性、適応性の基盤となっているのだろう。しかし、一方でこのような処理を現在のコンピュータで行おうとすると非常に効率が悪い。なぜなら、コンピュータの情
報表現はビット列のみであり時間情報はない。しかも、神経細胞の処理は非同期超並列を前提にしているのに対し、コンピュータは同期逐次処理を前提にしているからである。

3.1. スパイキングニューロン

3.2. スパイキングニューロンを用いた聴覚処理

Figure 7. Functional scheme of brainstem auditory
system.

前述のようなスパイキングニューロンによる情報処理の特性は、聴覚のように情報が時間にのっており、しかも実時間性を必要とする対象に非常に適している。特にロボット聴覚においては、音源やロボットが移動するため、動的特性への要求度は高い。
ここでは、例題を用いて簡単なモデルを作成する。
例題は反響抑制である。ロボットが環境中で音源定位する場合、ロボットは移動するため、環境・位置により異なる反響にいかに対応するかが大きな問題となる。人間もあんまりひどい反響があると音声認識が困難になる。こうした反響音への対応は電話などでも重要な技術であるため、適応フィルタを中

この機能図では、相対的に「強度の強い音に関する IID 情報と周波数」が到来した場合、その音源方向が一時的(20 ミリ秒ほど)に優先され、それ以外を抑制（マスク）する。実線は興奮性、破線は抑制性の結合である。結合はすべてを記していない。
これだけを動作させるのであればアルゴリズムを書いてもよいのだが、スパイキングニューロンで構成することでより単純かつロバストになる。なぜな
ら、Fig.7 で記したようなインターフェースは特定の機能的側面を見ただけのものなので、少し問題が変わると対応できない。スパイキングニューロンのイ39

ンターフェースはスパイクイベントと決まっており、 tinct profiles following left putaminal hemorrhage. Neuorology, 45, 38–41, 1995.
その時間情報に位相、強度、周波数など必要な情報
8) Ewert, J.-P. and Arbib, M.A., Eds., Visuomotor Coordinaが準備されているので、受け側で選択し利用すれば
tion: Amphibians, Comparisons, Models and Robots, Newいい。また、個々の処理が単純なため、冗長ではあYork: Plenum Press, 1989.
9) Jordan, MI. (Ed.), Learning in graphical models., MITるが多数のニューロンを用意し関係付けることで、Press, Cambridge MA, 1999.
時間的にも空間的にも補完的な処理が可能になる。
10) Koch, C. (ed.), Biophysics of Computation, Oxford Uniこのモデルは学習発達型でも利用可能である。発versity Press, New York, 1999.
達型にするのであれば、2.2.1 などを参考に、低周波
11) Koerner, E., Gewaltig, M-O., Koerner, U., Richter, A. andRodemann, T., A model of computation in neocortical
選択で位相発火型の聴神経をベースに内側上オリー
architecture., Neural Networks, 12:989–1006, 1999.
ブ－下丘間の結合を学習し、下丘に方向マップを概12) Koerner, E., Tsujino, H. and Masutani, T.: A Cortical-type
ね作成した後に外側オリーブや外側毛帯を導入し、Modular Neural Network for Hypothetical Reasoning,
Neural Networks 10, 791-814, 1997.
上下で挟むことで学習を進めればいい。
13) Lieberman, P., On the nature and evolution of the neural
また、このモデルにおいてマスクを形成する外側
bases of human language, Yearbook of physical anthropology,
毛帯の活動は、一時の入力に対し 20 ミリ秒ほどの継45, 36-62, 2002.
続的発火を伴うものなのだが、そのような特性も細14) Litovsky RY, Colburn HS, Yost WA, Guzman SJ., The
precedence effect, J Acoust Soc Am.,106(4 Pt 1),1633-54,
胞特性に組み込むだけでよい。IID などは、計算方式
1999.
はアルゴリズムで記述するものと異なるが内容に大
15) Litovsky RY, Shinn-Cunningham BG., Investigation of the
きな差はないが、同じ計算原理で Fig.7 のモデルを
relationship among three common measures of precedence:
すべて動かせることが何よりも重要である。しかし、
fusion, localization dominance, and discrimination suppression, J Acoust Soc Am., 109(1),346-58, 2001.
3.1 で述べたように原理は実時間向きでも、処理が実
16) Maas W., Bishop, CM. (eds), Pulsed neural networks, MIT
時間でないことは大きな課題であり、ロボット応用
Press, Cambridge MA, 1998.
に向けてはさらなる技術蓄積が必要である。。
17) McCarthy, J., Minsky ML., Rochester, N., Shannon CE., A

4.

proposal for the Dartmouth summer research project on artificial intelligence”, 1955.
18) McCulloch, W.S. and Pitts, W.H., A logical calculus of theideas immanent in neural nets, Bulletin of Mathematical
Biophysics, 5 : 115-133, 1943.
19) Nilsson, NJ. : Shakey The Robot, Technical Note 323. AI
Center, SRI International, 1984.
20) Poeppel, D., Hickok, G., Towards a new functional anatomy of language, Cognition, 92(1-2), 1-12, 2004.
21) Pollak GD, Burger RM, Klug A., Dissecting the circuitryof the auditory system, Trends Neuroscience, 26(1),33-9,
2003.
22) Tsujino, H., Output-driven operation and memory-basedarchitecture principles embedded in a real-world device,
Journal of Integrative Neuroscience, 3(2), 133-42, 2004.
23) Ullman, MT., Contribution of memory circuits to language:
the declarative/procedural model, Cognition, 92, 231-270,
2004.
24) Watkins KE, Vargha-Khadem F, Ashburner J, Passingham
RE, Connelly A, Friston KJ, Frackowiak RS, Mishkin M,
Gadian DG., MRI analysis of an inherited speech and language disorder: structural brain abnormalities., Brain, 125(Pt3), 465-78, 2002.
25) Werner LA., Gillenwater JM., Pure-tone sensitivity of 2-to
5-week-old infants, Infant Behavior and Development,
13(355), 355-375, 1990.
26) Wolpert D, Kawato M: Multiple paired forward and inverse models for motor control. Neural Networks
11,1317-1329, 1998.
27) Yang X, Grantham DW., Echo suppression and discrimination suppression aspects of the precedence effect, Percept Psychophys, 59(7),1108-17, 1997.
28) 井上博充 : 人間型ロボットが拓く未来社会と新産業の創成, 日本ロボット学会誌, 22 (1), 2-5 , 2004.
29) 奥乃博, 中臺一博, ロボット聴覚の課題と現状, 情報処理, 44(11), 104-113, Nov. 2003.
30) 松本元、辻野広司: 脳のこころ、「情と意の脳科学」、
松本元・小野武年共編、培風館, 2002.

おわりに脳型情報処理の立場から、ロボット聴覚を考察した。本稿ではスパイキングニューロンの処理に関してのみ述べたが、3 節冒頭で述べたように、脳型情報処理はシステム、回路、素子の 3 要素からなり、それらの相乗効果が大きい。三位一体の研究展開が重要である。ロボット聴覚は情報処理として求められる動的特性、学習能力の観点から、脳型情報処理の研究において最適な課題といえる。今後、両研究領域の相互発展を期待したい。

参考文献
1)

Berg, BO., Principles of Child Neurology, McGraw-Hill,
New York NY, 1995.
2) Brooks, RA. : A Robust Layered Control System for a
Mobile Robot, IEEE Journal of Robotics and Automation 2(1), 14–2, 1986.
3) Clifton RK., The development of spatial hearing in humaninfants, in Werner LA, Rubel EW (eds): Developmental Psycholoacoutics., American psychological Association, Washington, DC, 135-157, 1992.
4) Damasio, H., Tranel, D., Grabowski, T., Adolphs, R.,
Damasio, A., Neural systems behind word and concept retrieval, Cognition, 92, 179-229, 2004.
5) Dayan, P., Abbott, LF., Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems,
MIT Press, Cambridge MA, 2001.
6) Dominey PF.,Hoen M.,Blanc JM.,Lelekov-Boissard T.,
Neurological basis of language and sequential cognition:evidence from simulation, aphasia, and ERP studies., Brainand Language, 86(2),207-25, 2003.
7) D’Esposito M, Alexander MP., Subcortical aphasia: dis-40

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-7 (10/14)

パーソナルロボット PaPeRo における近接話者方向推定と 2 マイク音声強調
Near-Field Sound-Source Localization and Adaptive Noise Cancellation
in a Personal Robot, PaPeRo〇佐藤 幹 (NEC メディア情報研究所)
杉山 昭彦 (NEC メディア情報研究所)
大中 慎一 (NEC メディア情報研究所)* Miki SATO(NEC.), Akihiko SUGIYAMA(NEC.), Shin’ichi Ohnaka(NEC.)m-sato@dh.jp.nec.com, aks@ak.jp.nec.com, s-ohnaka@cp.jp.nec.com
Abstract—This paper presents implementation andevaluation of speech interface for a personal robot,
PaPeRo, based on sound-source localization and noise
cancellation. Sound-source localization incorporates a
new formula taking near-field conditions into account foroffsetting errors caused by the relative altitude of the
speech source to the microphones. In noise cancellation,a novel stepsize control assuming a wide range of signal-to-noise ratios of the input signal helps achieve both
small residual noise and distortion in the noise-cancelled
signal. Evaluation results with recorded signals in therealenvironment
demonstrates
40%
highersource-localization performance and as much as 65%
higher speech recognition rates in noisy environment.

Figure. 1: PaPeRo の外観

1. はじめにのマイクロホンを用いて、雑音の消去を行う。符号化や音声認識の前処理に用いるために、係数更新ス
テップサイズを音声対雑音比（SN比）に応じて制御することで、高い雑音消去性能と小さな音声歪を両立することができるノイズキャンセラ [3] が提案されている。このノイズキャンセラは、ヘッドセッ
トなどのように、音声用マイクロホンが話者の口元にあることを想定しているため、様々な距離から話しかけられるロボットに適用することはできない。
音声用マイクロホンと口との距離に応じて、SN比が広範囲に変化するためである。
本稿では、音声対話機能をもつ自律移動型パーソ
ナルロボット PaPeRo[4]における、近接音場を想定した話者方向推定と、広範囲な SN 比に対応できる
ノイズキャンセラについて紹介する。2 節で、PaPeRoの構成と音声インタフェースについて説明する。3
節では近接話者方向推定、4 節ではノイズキャンセ
ラをとりあげる。5 節では評価結果を用いて性能を明らかにし、6 節で今後の課題について述べる。

近年、人間と共生することを目的としたパートナ
ー型ロボットの研究が盛んに行われている [1]。これらのロボットは、通常、音声コマンドによって、離れた位置から制御される。背景雑音や妨害信号の影響を低減して、正確に音声コマンドを認識するた
めに、指向性マイクロホンが広く使われている。このため、音声の到来する方向を推定し、推定方向に
マイクロホンの指向性を一致させることが重要となる。
遠隔会議などの通信応用と異なり、人間とロボットの対話では、話者の口、すなわち音源とマイクロホンは、同一平面上にあると見なすことはできない。
しかし、ロボットにおける話者方向推定では、暗黙のうちに音源とマイクロホンが同一平面上にあると仮定してきた。この仮定が話者方向推定結果に与える影響は、人間とロボットとの距離が近くなるほど大きくなる。すなわち、近接音場を想定した方向推定が重要となるのである。
一方、マイクロホンの指向性だけで抑圧できない
雑音や妨害信号は、音声強調処理によって、その影響を軽減する。応用毎に異なる要求条件に応じて、1
つ又は多数のマイクロホンを用いた雑音及び妨害信号の抑圧が、広く行われている [2]。人間とロボットの対話においては、2 つのマイクロホンを用いた適応ノイズキャンセラが、マイクロホン数、雑音除
去性能、及び歪の観点から見て、良い妥協策である。
適応ノイズキャンセラは、音声用と雑音用の 2 つ

2. パーソナルロボット PaPeRo
2.1. ハードウェア
パーソナルロボットPaPeRoの外観を、Fig. 1に示す。
PaPeRoは、高さ385mm、幅248mm、奥行245mm、重量5.0kgの自律移動型ロボットである。胴体正面に４個、左右にそれぞれ１個、背面に１個の無指向性

41

マルチリングバッファ
マイクロホン[ 正面 ][左][右][ 背面 ][ 頭部 ]
[右]
[左]
スピーカ

話者
方向推定

8 ch
A/D

ノイズ
キャンセラ

ボード

エコー
キャンセラ
音声認識
エンジン
制御
ロボットプラットフォーム
Figure. 2: PaPeRo の音声インターフェース

マイクロホン、及び頭部に１個の指向性マイクロホ
ン、さらにCCDカメラ、超音波センサ、赤外線センサ、
プッシュスイッチを搭載し、４個のモータによって動作する。これらのセンサ及びモータは、Windows XP
で動作するPentiumM 1.6GHz CPUによって制御する。

56mm

93mm

2.2. 音声インターフェース
PaPeRoの音声インターフェースは、Fig. 2に示す構成を有する。前記マイクロホンに入力された信号を8チャンネルAD変換ボード（東京エレクトロンデバイ
ス、TD-BD-8CSUSB）を用いてディジタル化し、マル
チリングバッファに格納する。格納された信号から必要な信号を選択して、所望の処理を行う。話者方
向推定では、正面、左、右の3マイクロホンに入力された信号を使用する。推定された方向の情報は、ロボットの方向を制御するロボットプラットフォームに供給される。ノイズキャンセラでは、頭部と背面の2つのマイクロホンに入力された信号を使用する。
雑音が低減された出力は、出力用リングバッファに格納される。ロボットプラットフォームは、必要に応じて出力用リングバッファから音声認識エンジンに信号を供給し、音声認識が行われる。

Figure. 3. 8 チャンネルＡＤ変換ボード
る。バスパワーとは別に、外部電源供給の端子も有している。サンプリング周波数は、48kHz、44.1kHz、22.05kHz、11.025kHz、又は8kHzのいずれかを選択することができる。マイクロホン入力アンプ及びAD変
換利得調整機能を内蔵しており、60dB以上のSN比を達成している。

3. 近接音場における話者方向推定 [5]3.1. 方向推定の原理

2.3. ＡＤ変換ボード

話者方向推定は、複数のマイクロホンに入力された信号の時間差に基づいて行う。Fig. 4に示すように、
マイクロホンを結ぶ直線と直角の方向に対して、角度θをなす方向から音が到来する例を考える。2つのマイクロホンへの入力信号をx1(t)、x2(t)、これらの時間差をτとする。時間差τは、入力信号x1(t) とx2(t)に関する相互相関の最大値として求めることができる。このτを用いて、θは(1)で与えられる。

パーソナルロボットPaPeRoに内蔵可能な小型の8チ
ャンネルAD変換ボード（TD-BD-8CSUSB）を、東京エレクトロンデバイスと共同で開発した。ボードの外観を、Fig. 3に示す。8チャンネルのマイクロホン入
力 信 号 を 同 時 に サ ン プ リ ン グ し 、 USB2.0 ま た はUSB1.1インターフェースで、パーソナルコンピュータ（パソコン）等へ取り込むことができる。ボード
は、ASIOドライバに準拠しており、USB経由で供給された電力による動作（バスパワー動作）が可能であθ = sin−1(

42

cτ
)
M

(1)

マイクロホン

音波

θ

Z
l+cτn

Ｍ

θ

θ：h＝0の時
φ：h≠0の時

Figure. 4: 音の到来方向と受音信号
ただし、Mはマイクロホン間隔、cは音速である。
入力がサンプリング周波数fsの離散信号である場
合は、τに対応するサンプル数の差k及びfsを用いて、θは(2)で表される。ただし、kは整数である。

前
Z

π
2

X

π

Y
右

左

2

Figure. 6: マイク配置
で求めることができる。

⎛ d 2 + h2⎞
θ = sin ⎜sin φ ⎟
⎜
⎟
d
⎝
⎠
−1

(7)

3.3. 前後方向の決定
2 つのマイクロホンを用いた方向推定では、マイクロホンを結ぶ直線に関して対称な 2 つの方向（前後方向）を区別できない。そのため、PaPeRo では、
Fig. 6 に示すように配置した 3 つのマイクロホンを使って、前後方向を決定する。図において、
XZ=YZ=Mshort、XY=Mlong、∠ZXY=∠ZYX=γとする。
また、φPQ はマイクロホン P 及び Q によって得られた推定方向を表し、-π/2≦φ≦π/2 とする。
前後方向決定は、方向推定精度に関する以下の 2つの性質に基づいて行う。
(a) 方向推定分解能は、マイクロホン間隔が大きいほど向上する(b) 方向推定精度は、φが±π/2 に近づくほど低下する
これらの特徴を考慮して、φXYを主推定方向、φXZ、
φYZを補助推定方向として用いる。前後方向の決定は、例えば-π/2<φXY<0の場合、φXYとφXZの差と、π-φXYと-π-φYZの差を比較する。前者の方が小さい場合はφ XYを、後者の方が小さい場合は-π-φ XYを方向推定結果φとする。他の3つの場合についても、(8)に従って方向φを決定する。

(3)

ただし、l は音源からマイクロホンまでの距離のうち小さい方の値で、

l 2 = h 2 + d (d − M sin θ ) + M 2 / 4 (4)で表される。人間とロボットの対話において、h、d、
l は数メートルであるのに対し、cτn、M は高々数センチメートルである。この事実に基づいて、(4)は次式で近似することができる。

l 2 ≈ h2 + d 2

X

マイクロホン後

人間とロボットの対話では、話者の口とマイクロホ
ンが同一水平面上に位置せず、距離も十分に遠くないため、(1)又は(2)を用いた方向推定を直接適用することができない。このため、近接音場特有の方向推定が必要となる。
Fig. 5に、人間とロボットの対話における、音源（話者の口）とマイクロホンの位置関係を示す。θ
とφはそれぞれ、音源の高さhが0に等しいとき及び0でないときに対応した、音声の到来方向を示す。一般に、φ>θの関係が成立する。
2つのマイクロホンに入力された信号の時間差をτnとすると、音の到来方向φは、2つのマイクロホンの中心から音源までの水平距離dと、音源の高さhを用いて(3)で表される。

⎧ cτ n cτ n / 2 + l ⎫⋅⎬M
d 2 + h2 ⎭⎩lFigure. 5: 音源の高さと到来方向

−

(2)

M/2

3.2. 近接音場における方向推定

φ = sin −1 ⎨

θ d

M/2

cτ

ck
)
Mf s

Y

φ
h

X2(t)

θ = sin −1 (

音源

X1(t)

(5)

同様の近似及び(5)を(3)に適用すると、⎧ cτ n ⎫⎬⎩M ⎭φ = sin −1 ⎨(6)を得る。音声の到来方向θは、(6)のφを用いて、(7)43⎧φ XY⎪⎪φ =⎨⎪− φ XY − π⎪⎩

for φ XY < 0 and φ XY − φ XZ + γ < − φ XY + φYZ − γ
or φ XY > 0 and φ XY − φ XZ − γ < − φ XY + φYZ + γ
for φ XY < 0 and φ XY − φ XZ − γ < − φ XY + φYZ + γ
or φ XY > 0 and φ XY − φ XZ + γ < − φ XY + φYZ − γ

XP(k)

+

Z-L

s(k)

∑
-

雑音抑圧音声

MF1

+

XR(k)

RS(k)

RN(k)

MF2

e4(k)

Z-L

∑ -

+ ∑

e1(k)

SNR
EST

fS(.)

- y (k)1

SF1

POW
SNRP(k)AVE+∑

SNR1(k)POW PS(k)
SNR
AVE
EST
POW
P (k)
AVE N

SF2

e2(k)

gS(.)

SNR2(k)

gM(.)
fM(.)

μSF1(k)μMF2(k)y4(k)μMF1(k)POW
AVE

構成され、それぞれ擬似雑音と擬似クロストークを生成する。雑音用マイクロホンの入力信号 XR(k)から MF2 の出力する擬似クロストーク y4(k)を減算したクロストーク消去信号 e4(k)を、MF1 に入力する。
MF1 の出力する擬似雑音 y3(k)を、音声用マイクロホ
ンの入力信号 XP(k)から減算した雑音消去信号 e3(k)を、強調音声として出力する。MF1、MF2 の係数更新ステップサイズは、それぞれ SF1、SF2 の出力を用いて制御する。SF1、SF2 の係数更新ステップサイ
ズは、入力信号 XP(k)と XR(k)を用いて制御する。

e3(k)

y3(k)

Crosstalk

n(k)

y2(k)

μSF2(k)4.2. ステップサイズ制御

POW QN(k)
AVE
SNR
EST
POW
AVE QS(k)適応フィルタの係数更新ステップサイズは、係数更新に対する妨害信号が大きいときに、小さな値とする。例えば、
SF1 と MF1 のステップサイズμSF1(k)、μMF1(k)は、入力信号 XP(k)の SN 比が高いとき、すなわち、XP(k)における音声成分が支配的であるときに、小さな値にする。一方、SN 比が低いときは、雑音に対する追従性を向上させるために、大きな値に設定する。SF2 と MF2 のステップサイズμSF2(k)、μMF2(k)に関しては、音声と雑音が入れ替えるだけで、同様の制御を行う。
MF1 のステップサイズは、XP(k)の SN 比推定値
SNR1(k)を用いて制御する。SNR1(k)は、SF1 の出力する擬似雑音 y1(k)及び雑音消去信号 e1(k)の平均電力 PS(k)、PN(k)の比として求める。MF2 のステップ
サイズに関しても同様に、擬似音声信号 y2(k)とクロ
ストーク消去信号 e2(k)に基づいて求めた、XR(k)のSN 比推定値 SNR2(k)を用いて制御する。SF1 と SF2のステップサイズは、入力信号における SN 比の推
定値 SNRP(k)を用いて制御する。SNRP(k)は、入力信号 XP(k)と XR(k)の平均電力 RS(k)、RN(k)の比として求める。メインフィルタとサブフィルタにおける推定 SN 比とステップサイズの関係を、Fig. 8 に示す。

Figure. 7: ノイズキャンセラの構成

Ste psize(ⅰ) サブフィルタ
0.10
0.08
0.06
0.04
0.02
0.00
-15 -10

SF1
SF2
-5

0
5
SNR [dB]

Ste psize(ⅱ) メインフィルタ
0.020
0.015
0.010
0.005
0.000
-15 -10

(8)

10

15

MF1
MF2
-5

0
5
10
15
SNR [dB]
Figure. 8: 推定 SN 比と係数更新ステップサイズ

4. ノイズキャンセラ [6]4.1. ノイズキャンセラの原理

5. 評価結果

ノイズキャンセラは、雑音用マイクロホンに入力された信号を適応フィルタで処理することによって擬似雑音を生成し、音声用マイクロホンに入力された信号から減算することによって、音声に混入する雑音を消去する。PaPeRo では、雑音用マイクロホンに混入する音声信号（クロストーク）の推定・消去も合わせて行うため、クロストーク推定用の適応フ
ィルタも備えている。Fig. 7 に、PaPeRo におけるノ
イズキャンセラの構成を示す。
メインフィルタ(MF1、MF2)2 つ、サブフィルタ(SF1、SF2)2 つ、合計 4 つの適応フィルタによって

5.1. 話者方向推定
PaPeRo を用いて、以下の 3 方式を比較評価した。
① 非近接音場方向推定＋多数決による前後決定② 近接音場方向推定＋多数決による前後決定③ 近接音場方向推定＋3 マイクロホンによる前後決定
評価環境をFig. 9に、パラメータ値を表1に示す。
人間とロボットの対話において、d、hは通常未知なので、表1に示す代表的な値に設定した。PaPeRo

44

100
80
60
40

5.5m

正 解 率 [％ ]Loudspeaker(Height:1.2m)

PaPeRo1.5m

Table 1: 評価パラメータ

発話あり
発話なし

ステップサイズ21[cm]
14[cm]
16[kHz]
340[m/s]
1.5[m]
1.0[m]

0.02
0.01
0.00

0

5

10

15

20

25

15

20

25
従来法
提案法

時間[s]

(ⅱ) ＭＦ2（クロストーク推定）

雑音消去性能

発話あり
発話なし

ステップサイズ5.2. ノイズキャンセラ

0.02
0.01
0.00
0

5

10
時間[s]

Figure. 11: ステップサイズ

D3 (k ) =⎡ Σ Nj=−01{e3 (k − j ) − S (k − j )}2 ⎤10 log10 ⎢⎥Σ Nj=−01 X P2 (k − j )
⎢⎣
⎥⎦

(10)

Fig. 11 を参照すると、提案法を用いた場合、MF1のステップサイズは、妨害信号となる音声信号がある区間で、小さな値となることが確認できる。一方、MF2 のステップサイズは、発話区間で、大きな値となることが確認できる。Fig. 12、Fig. 13 を参照すると、雑音抑圧量は、最大 20dB、音声歪は、最大 20dB改善した。

サブフィルタにおけるステップサイズ制御の有（提案法）と無（従来法）に対するノイズキャンセ
ラの雑音消去性能を比較した。男性音声の収録音声
をスピーカで再生し、距離 0.5m に配置した PaPeRo
を使って収録したデータを用いて評価した。雑音は、
距離 1.0m、方向 180 度、音量 57dB で再生したテレ
ビの音を用いた。収録は、幅 5.5[m]、奥行 5.0[m]、高さ 2.4[m]のカーペット敷きの部屋で、ロボットシ
ナリオを動作させて行った。MF1、MF2 のステップ
サイズ制御結果を Fig. 11 に、出力信号の雑音抑圧量を Fig. 12 に、音声歪を図 8 に示す。各グラフ上に発話の有無の状態を示す。雑音抑圧量 R3(k)、音声歪D3(k)は、式(9)、(10)で求める。

⎡ Σ Nj=−01e32 (k − j ) ⎤R3 (k ) = 10 log10 ⎢ N −1 2⎥⎣⎢ Σ j =0 X P (k − j ) ⎦⎥近接音場

(ⅰ) ＭＦ１（雑音推定）

をπ/4ずつ回転させ、8方向から10回ずつ収録音声をスピーカで再生したときの方向推定正解率を求めた。
ただし、人物検出可能なカメラ画角の制約によって、±π/9以内のずれまでを正解として許容した。得られた方向推定結果を、Fig. 10に示す。
①と②の結果を比較すると、近接音場方向推定によって、正解率を 16%改善できたことがわかる。(8)に示した前後方向の選択手法を用いることにより、正解率をさらに 23%改善することができた。近接方
向推定と(8)を合わせて用いることにより、正解率は
約 40%改善したことになる。PaPeRo を用いた音源方向推定の正解率は、85%に達した。

5.2.1.

従来

Figure. 10: PaPeRo による方向推定正解率

Figure. 9: 評価環境

Mlong
Mshort
fs
c
d
h

①
②
③

20
0

2m

2.5m

5.4m

Room Height:2.5m

5.2.2.

音声認識性能PaPeRo を用いて、Fig. 14 に示す環境で、ノイズキャ
ンセラ有と無に対する音声認識性能を比較した。男
女子供 30 名による 1500 単語の収録音声をスピーカで再生し、正面方向、距離 0.5m 及び 1.5m に配置した PaPeRo における認識率を評価した。距離 1.0m、方向 30、60、90、135、180 度の 5 方向から、音量57dB、67dB で再生したテレビの音を雑音とした。
音声認識には、PaPeRo の認識語 600 単語の辞書を有

(9)

45

大 65%改善し、57dB の雑音に対して無雑音と同等の180

する隠れマルコフモデルに基づく離散単語認識シス
発話あり
発話なし

出力

10

[dB]

-10

雑音

135

0

1.5m

-20
-30

90

1.0m
0

5

10

15

20

25
従来法
提案法

時間[s]

30
0
Figure. 14: 実験環境

発話あり
発話なし

20

[dB]

0

100

-20

80
5

10

15

時間[s]

20

認識率［％］

音声歪

40

0

60

話者

Figure. 12: 出力信号の雑音抑圧量

-40

0.5m

25
従来法
提案法

Figure. 13: 音声歪テムを用いた。得られた認識率を、Fig. 15 に示す。
棒グラフは、ノイズキャンセラによる認識率改善の最大値と最小値を示す。
例えば、話者距離 0.5ｍ、雑音音量 57dB に対する結果を参照すると、雑音方向が 90 度より後方のときは、無雑音と同等の認識率を達成している。このとき、認識率の最大改善値は 65%に達した。他の 3 例においても、雑音方向の前方への回り込み、話者－
ロボット間距離の増加、雑音音量増大のいずれかが存在すると、認識率が低下することが確認できる。

60

ノイズなし(0.5m)
ノイズなし(1.5m)
：0.5m
：1.5m

40 57dB
20 67dB

最大改善値

0
-20

最小改善値
30

60
90
135
雑音方向［度］

180

Figure. 15: 雑音消去による音声認識率の違い
認識率を達成できることを示した。本研究の一部はＮＥＤＯ実用システム化推進事業の助成を受けて行っており、この技術に基づいたチャイルドケアロボ
ットは、2005年愛知で開催された愛・地球博において、技術実証運用を行った。

6. 今後の課題

参考文献

今後は、複数話者が存在する環境で、各々の話者
方向推定を行うことが課題となる。また、音声認識
では、雑音環境下での遠距離発話認識率の向上が課題である。これら課題の解決には、本稿で紹介した手法の改良、他の音響信号処理技術の統合、さらに非音響センシングを統合した、より高精度な音声・雑音制御が必要となる。そのためには、フィールド
テストを通じたデータの収集・評価、その分析を通じた問題点の明確化と対策が重要となる。

7. おわりに
PaPeRo における、近接話者方向推定と広範囲な SN比に対応できるノイズキャンセラについて紹介した。
実環境評価により、近接音場方向推定が従来よりも40%高い正解率を達成することを示した。また、ノイズキャンセラの実環境評価結果を用いて、雑音抑圧量が最大 20dB、音声歪が 20dB、音声認識率が最461) Special Issue on Entertainment and Amusement Robot
Tecnologies, J. of Robotics and Mechatronics, Vol.14,
No.1, Feb. 2002.
2) M. Brandstein and D. Ward, “Microphone Arrays,”
Springer Verlag, Berlin, 2001.
3) S. Ikeda and A. Sugiyama, “An Adaptive Noise Canceller with Low Signal-Distortion in the Presence of
Crosstalk,” IEICE Trans. Fund, pp.1517-1525, Aug.
1999.
4) Y. Fujita,“Personal Robot PaPeRo,” J. of Robotics andMechatronics, Vol.14, No.1, Jan.2002.
5) M. Sato, A. Sugiyama, O. Hoshuyama, N. Yamashita,
and Y. Fujita, “Near-Field Sound-Source Localization
Based on a Signed Binary Code,” IEICE Trans. Fund,pp.2078-2086, Vol.E88-A, No.8, Aug. 20056) M. Sato, A. Sugiyama and S. Ohnaka,“An Adaptive
Noise Canceller with Low Signal -Distortion based on
Variable Stepsize Subfilters for Human-Robot Communication,” IEICE Trans. Fund, pp.2055-2061,
Vol.E88-A, No.8, Aug. 2005

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-8 (10/14)

コミュニケーションロボット・    

原直 西野隆典 伊藤克亘 宮島千代美 武田一哉

                     !"
名古屋大学大学院情報科学研究科

 !  # $  $    ! ! % & '!   



情報を提供しようとした場合，情報の内容によっては，言葉だけでは理解しづらいことも多い．例えば，携帯電話                                                                   
 !"              !                   # $ "   "   %                           &                                             &   '           (   ) &    *       +          * !     ,  & -../                           

のマニュアルを見てみよう．
「フロントスタイルのとき，操作の取り消しはサイドクリアキーでおこないます」という記述がある．これを言葉だけで伝えようとしても，フロントスタイルやサイドクリアキーが何を指すのかわからない人が多いだろう．また，同じようなボタン0キーについても，製造会社ごとに名称が異なることが多い．しかし，携帯電話の実物を使って，対象となるボタン0キーを直接指して「このキーで操作の取り消しをおこないます」と身振りを交えて説明した方がずっとわかりやすいだろう．
このような身振りによる情報提示も併せたマルチモーダル対話システムとして，対話機能を持ったコミュニケー
ションロボット              を構築した．このロボットは，
愛・地球博の * 新エネルギー・産業技術総合開発機構 によるプロトタイプロボット展 -../ 年 1 月 2 日
から 32 日まで に参加した．
システム概要コミュニケーションロボット  は，東海三県の観光地，名物という限定されたタスクドメインの説明を行なうシステムである．万国博覧会という展示会場の性質を考慮して，複数言語 日本語，中国語，英語 と複数

話者 4 名まで に対応できるように設計した．

また，システム設計の面では，以下の点を基本方針とした．モジュラリティを高めること，各モジュールは堅牢 はじめに性を高めるためになるべく既存の記述を用いること，対話管理ソフトウェアは移植性を高めること．

音声認識や音声対話の研究が進み，様々な音声対話シス

以下，システムの詳細について述べる．

テムが構築されている．それらの音声対話システムは，情報提供をタスクとするものがほとんどである．さらに，情(") タスク

報提供の方法としては，ディスプレイモニタや音声を用

タスクの内容は観光案内とする．案内する地域は東海三県 愛知，岐阜，三重 とし，案内する内容は観光地と名いた情報提供に限られている．

47

㖸ჿ⹺⼂䉪䊤䉟䉝䊮䊃1㜞䊧䊔䊦೙ᓮ↪䉰䊷䊋

ኻ⹤▤ℂ䉰䊷䊋

ૐ䊧䊔䊦೙ᓮ↪䉰䊷䊋㖸ჿ⹺⼂䉪䊤䉟䉝䊮䊃2䊂䉞䉴䊒䊧䉟䋯䉴䊏䊷䉦㖸ჿ⹺⼂䉪䊤䉟䉝䊮䊃3䊨䊗䉾䊃

5  3# システム構成
物の説明とする．
対象となるユーザとしては，万博会場ということを考え次のように想定した．数はトータルで数千人程度，年齢層は，子供から老人まで，性別は男女であり，音声対話シ
ステムの初心者である．また，国籍は多岐にわたり，案内
内容については知識がないことを前提とする．
想定ユーザにあわせて，対話戦略はシステム主導で行なうこととした．ただし，複数話者の扱いなどに関しては，
なるべく自然になるような機能を持たせることとした．
システムの稼働環境は，背景雑音の音量が非常に大きい，大きな建物の中とする．
これらの項目を考慮して，マイクの選択や，案内内容の作成，対話戦略などを設計する必要がある．

("( ハードウェア

5  -# アーム型ロボット

ハードウェアからシステム構成を見た場合，ロボット，音声認識クライアント，対話管理サーバの三つのモジュールに応じて次の応答を決定し，その応答に対応するシナリから構成される 5 3．

オファイルにしたがって，ロボットモジュールに対しコマロボットは，6 自由度のアーム型ロボット 5 - とンドを発行する．ソフトウェアの詳細は 4 節で説明する．

低レベル制御用サーバ" 高レベル制御用サーバからなる("* 対話シナリオ

73" -8．このモジュールは，動作に関するコマンドを対話
管理サーバから受け付けると，ロボットの動作をさせるこ対話の典型的なやり取りを次に示す．ただし， はユーザとができる．低レベル制御用サーバは，ロボットのモータを直接制御するサーバであり，高レベル制御用サーバは，
対話管理サーバとの通信，動作コマンドの発行，音声応答の出力，画像応答の表示を行なう．なお，音声応答は，ナレータの発声を録音したデータが発話ごとに再生される．

発話を表し， は  の応答を表すものとする．

 明治村にはどう行けばいいですか まずリニモに乗って地下鉄藤が丘駅に行きます 次に地下鉄東山線で，藤が丘駅から名古屋駅まで行き

音声認識クライアントは，ノート (% であり，ユーザ

ます

ロホンで音声を収録し，音声認識結果に応じたデータをきます

対話管理サーバに送る．

 犬山駅から名鉄バスで明治村まで行きます いくらかかりますか

一人ごとに一台を割当てる．内蔵  に接続したマイク 名鉄犬山線に乗り換えて，名古屋駅から犬山駅まで行

対話管理サーバは，音声認識クライアントからの入力

48

 片道  円です

方，初期状態で「いくらかかるの」という発話が入力された場合は，話題は確定するが，場所は確定しない．
「場所

このような対話の流れを，複数ユーザに同時に対応で確定」状態から，「いくらかかるの」という発話が入力さきるようにするには，前の発話と同一の事柄について別れると，場所も話題も確定した状態になる．場所も話題ものユーザが質問をした場合や，別の事柄に対して同時に確定した状態で，「どうやって行けばいいの」などの発話

別々のユーザが質問をした場合などで，どのように対話が入力された場合には，その状態に留まり続ける．

を管理すれば良いのかという問題が生じる．また，上記のまた，「ありがとう」などの挨拶は，どの状態において対話の流れの場合，「いくらかかりますか」のように，省も，その状態に留まる発話 状態遷移をしない発話 とし略を含む発話もユーザから自然に発話される．

て定義されている．

これらの問題点の一部は，文脈を扱うことにより実現することができる．そこで対話管理システムに文脈を扱うような機能を実装した．この機能については 4 節で説

᣿ᴦ᧛

ೋᦼ⁁ᘒ

䈇䈒䉌䈎䈎䉎䈱㪖

႐ᚲ⏕ቯ᣿ᴦ᧛䉁䈪䈲䈬䈉䉇䈦䈩ⴕ䈔䈳䈇䈇䈱㪖

⹤㗴⏕ቯ䈇䈒䉌䈎䈎䉎䈱㪖

႐ᚲ䊶⹤㗴⏕ቯ᣿ᴦ᧛

明する．

("+ キャラクタ
対話システムのキャラクタがユーザに与える印象は，対話そのものにも大きな影響を与えるため，非常に重要な要素である．

本システムでは，ロボットのアーム部分を，5 4 のような着ぐるみで覆った．これにより，親しみやすさをア䈅䉍䈏䈫䈉

ピールした．また，アーム部分が直接ユーザにぶつからな䊶䊶䊶⁁ᘒㆫ⒖䈭䈚

5  9# 状態遷移モデルによる対話処理

いようにする安全面での効果もある．
応答音声は，日本語，中国語，英語をそれぞれ別の声
質の似た女性ナレータにより収録したものを用いた．

このような状態遷移モデルを利用すると，例えば，場所確定状態で，「いくらかかるの」という省略発話を扱うことができる．
ここで，この状態遷移モデルを用いて複数ユーザに対応するためには，ユーザごとに状態を保持する必要がある．
この状態を保持する変数をユーザスロットと呼ぶ．ユー
ザスロットが保持する情報を  3 に示す．

しかし，このユーザスロットだけでは，自然な対話を行うことができない場合がある．例えば，あるユーザが「明治村への行き方」を尋ねた後で，二人同時に「値段はいくらか」を尋ねたとする．応答は一人ずつ行なうことになっているが，この場合，片方のユーザに説明したら，その後に，別のユーザに説明する必要はない．
このような対話管理を実現するために，グローバルス
ロットと優先話者という変数を用意した．

5  4#  キャラクタ

優先話者はロボットが対応している話者であり，グロー
バルスロットには，その話者が行なっている対話の状態が保持される．グローバルスロットと同じ事柄の対話の場

ソフトウェア*") 対話管理

合は，そのまま応対がなされる．グローバルスロットと異対話管理は，状態遷移モデルに基づいている．このモデルて待たせておき，グローバルスロットの対話が一通り終では，現在の状態で文脈を表現する．

了してから応対がなされる．この間，当該ユーザのユーザなる事柄の対話の場合は，「ちょっと待っててね」と発話し状態遷移モデルによる対話処理の例を 5 9 に示す．

スロットは変化させずに保持する．

初期状態で，「明治村」という発話が入力されると，場所

このシステムはある程度，案内を説明するのに時間がかに関しては確定するが，明治村の何について聞きたいか

かる．このようなシステムの場合，応答前に沢山の入力が本システムでは「話題」と呼ぶ は確定していない．一

たまってしまう場合がある．こういった場合は，長い応答49  3# ユーザスロット
スロット名

内容

例

場所

最近の会話の対象の場所

明治村

名物

最近の会話の対象の名物

天むす

話題

最近の会話の対象の話題○○への行き方シナリオ

最後に再生したシナリオファイル

状態

現在の状態

場所確定

の後で，たまっていた入力に対する応答を行なっても何に ()* !

対する応答かわからなくなることがある．こういった応答

方#を防ぐため，応答前に一定数以上の入力がたまってしまっ+,)+-./&$  1

た場合は，応答している入力以外は破棄することとした．

*"( 応答生成

音声出力 "藤が丘までの行き画面を指しながら動くホームポジションに戻る
同期
画面表示

この例の場合，5 / に示すようなタイミングで，各応答の生成には，ある程度の単位で動作を指定するスク
リプトを用意した．そのスクリプトファイルを次々に再モダリティの出力が再生される．このように $ のコマン

生することで応答が行なわれる．シナリオファイルの例

ドで，同期を実現しており，2を次に示す．なお，はディスプレイへの表示， はロ

動作が終了するまで，次の 

ボット動作の指示， は音声出力を行なうコマンドであ

2 のうち一番最後の 1 を実行することを待つ．

り，コマンドに続けてパラメータを記述する．

 
   !
方の説明#
$
%&

画面表示
 の方向を向く
音声出力 "名古屋城への行き' &%
 ()* !
方#+,)+-.
/&巻き戻しポイント
画面表示
待機 " 秒#
音声出力 "藤が丘までの行き

$
%&
0

同期
待機 "& 秒#
割り込みポイント䊂䉞䉴䊒䊧䉟
㖸ჿ䊨䊗䉾䊃േ૞

同期
待機 "& 秒#ᤨ㑆หᦼ䉮䊙䊮䊄⊒ⴕ䉮䊙䊮䊄⊒ⴕ

䈖䈱ᤨೞ䉁䈪ᰴ䈱䊂䉞䉴䊒䊧䉟䉮䊙䊮䊄䈲⊒ⴕ䈘䉏䈭䈇

5  /# 同期の例

画面を指しながら動くホームポジションに戻る

割り込みがなされた場合には，途中で応答を中止する．
しかし，どこまで進んだかを記録する必要があるので，割り込み処理を発行するタイミングをシナリオファイルに明示的に記述することにしている．

このように，異なったモダリティの単位応答を記述する
ことで，ある程度まとまった大きさの応答を記述してい ()* !
方#+,)+-.
/&音声出力 "藤が丘までの行き画面を指しながら動くホームポジションに戻る

$
%&
0

同期
待機 "& 秒#
割り込みポイントる．このように，各モダリティは次々に駆動されるだけであり，非同期に再生される．しかし，各モダリティがバラ
バラでは，意味のある応答に見えない．そこで，ある程度の同期を可能にするためのコマンドを用意した．

 &
%

画面表示
待機 " 秒#

例えば，ロボットの動作 +,)+-. を実行中に，割り込み発話が入力された場合でも，その動作が終わ50

り，ホームポジションに戻り -. 秒待つところまでは動作た．会期中のほとんどの時間帯は，かなり混雑した状態でが行われる．また，優先話者以外は，応答の途中に割り込あったが，何を話しかければよいのかがわかっている話者

みできないようにしている．

に関しては，かなり良好な対話をおこなえた．

体験デモのユーザ発話 - 日間分，921 発話 を収録しまた，シナリオファイルはかなり長くなる場合もある

その :) を分析した 分析手法は文献 748 を参照．:)ため，言い直し場所を指定できるようにした．
「もう一度言って」というような聞き返しの発話があった場合には，の分布を 5 6 に示す．平均は -46; であり，雑音レ

最も近い割り込みポイントで再生を止め，直近の言い直

ベルは十分に低いことがわかる．

し場所から再度再生される．
各国語の音声は全て同じ名前が付いており，認識に用いられた言語と同じ言語の音声ファイルが再生されるよ
うになっている．

発話数*"* 音声認識
音響モデルは，日本語成人，日本語子供，中国語，英語男性，英語女性の / つを用意した．このモデルは，ユーザに合わせたものをあらかじめ設定しており，一旦設定したら，その後は切り替えない．
言語モデルは，文法により記述されており，日本語，中国語，英語が用意されている．また，意味 + ごとに文法

100
90
80
70
60
50
40
30
20
10
0
10

を作成してあるため，認識結果として意味 + を得ることができる．そのため，認識結果を構文解析0意味解析する

20

30
SNR [dB]

40

5  6# 万博会場ユーザ発話の :) 分布

必要はない．語彙サイズは -..， 意味 + の数は -/9 であった．
また，グローバルスロットの値から判断して，意味的にむすび

許容されない + の認識結果が得られた場合は，認識誤りであるとして無視する．これによって，ある程度の突発的複数の人間との対話を同時に行なうことができる音声対な雑音に対する誤動作も防ぐことができた．

話システムの開発，および対話システムのロボットへの組
み込みを行なった．対話の文脈や発話の意味を考慮するこ

プロトタイプロボット展とで，対話の流れを管理することが可能となっただけで

愛・地球博の * 新エネルギー・産業技術総合開発

はなく，雑音などの影響から生じる誤動作を防ぐことが可から 32 日まで に参加した．5 1

により，ロボットとの対話の際にユーザが身構えることが能となった．また，親しみやすいキャラクターとすること

機構 によるプロトタイプロボット展 -../ 年 1 月 2 日

少なくなり，ユーザに普段どおりの発話を促すことが可能となった．今後，認識語彙やシナリオを増加させることによる内容の自由度向上だけでなく，音声認識インタフェー
スの研究対象としてのロボットの活用が重要である．

謝辞 は名古屋大学とビジネスデザイン研究所が共同で開発しました．ロボットの基本ソフトウェアは <+< =  に提供していただきました．中国語音
響モデルは < )  のコーパスを利用して作成させていただきました．関係各位に感謝いたし
ます．

参考文献

738 >  ?"   <    )"@%    (    :   # :   %    ) "A ( +0):$5  1# プロトタイプ展参加風景
会場において，一般の来客を対象に体験デモを実施し51

+     %    +   )   :   -..4
7-8  )" >B  ?"     <"@<  +    %    ) "A +     :  " < "   %  "( ;" C  49 " +  4"  346934D4 -..9
748 > "  ?  " ? 5 E "   5 +  "@:)              &        
 "A ( +%::(F./" +DD3DD9" -../

52

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-9 (10/14)

ハフ変換を用いた音源音のクラスタリングとロボット用聴覚への応用
Clustering of sound-source signals using Hough transformation,
and application to omni-directional acoustic sense for robots〇鈴木 薫, 古賀 敏之, 廣川 潤子, 小川 秀樹, 松日楽 信人
株式会社 東芝 研究開発センター ヒューマンセントリックラボラトリー* Kaoru SUZUKI, Toshiyuki KOGA, Junko HIROKAWA,
Hideki OGAWA, and Nobuto MATSUHIRA
Humancentric Laboratory, Corporate Research & Development Center, Toshiba Corporation
kaoru3.suzuki＠toshiba.co.jp

Abstract— In this paper, we proposed a new method ofomni-directional acoustic sense with which a robot could
localize and recognize multiple sounds from unlimited
direction even under a noisy environment. We used
Hough transformation to detect straight lines from thefrequency phase difference space for detection and localization of sound sources. Experimental results with ourrobot, ApriAlpha were shown to verify the efficacy ofthis method.

1. はじめに筆者らは、家庭内環境で利用者と音声でインタラ
クションすることを想定したロボット『ApriAlphaTM』を開発している。家庭内環境には様々な雑音が存在する。他方で、ロボットはこれら雑音にさらされながら命令権限のある利用者の音声をどの方向からでも受け付けて個々に認識し、サービスを提供できなければならない。また、ロボットはより高度に状況を認識するために、利用者の命令音声に限らず、室内のドアの開閉音、シャワーの断続音、ガラスの破壊音などの環境音を聞き分け、その発生源の位置を特定できると都合が良い。そのため、ロボット用の聴覚システムは、（1）四方八方から到来する音声を、（2）音源毎に分離抽出して、（3）個別に定位し認識できる必要がある。本稿では、このような全方位性を持つロボット用聴覚（Fig.1）の 1 方式について報告する。

て、音源を制約せずに空間相関行列を解く方法[1]や、音源音声が調波構造を持つことを利用する方法[2]が報告されている。前者は音源数を超える数のマイクを利用する場合に優れた方式であり、後者は人間の音声を扱う場合に、より少ないマイクでマイク数以上の音源を扱える方式である。本稿で報告する方式
は上記後者のアプローチに類似しているが、音源検出に調波構造を用いる代わりに、周波数と位相差の関係に着目し、音源の数と方向の推定を周波数－位相差空間における直線検出問題に帰着させてハフ変換により解く。検出された直線を複数のマイク対について対応付けて音源候補の空間定位を行い、適応アレイ処理によって音源音を分離して認識する。
以下、本稿では、開発中の聴覚処理方式の動作原理を説明するとともに、4 話者順次発話時と 2 話者同時発話時で全方位性を確認した実験について報告する。

2. 本方式の動作原理
2.1. 音源方向φ･到達時間差ΔT･周波数毎の位相差ΔPh の関係
マイク 1 と 2 から成るマイク対を考える。音源がマイク間距離 d に比べて十分遠く、途中に障害物がないと仮定するなら、音源を発してマイク対に到達する波面はほぼ平面となっている。この平面波を観測すると、両マイクを結ぶベースラインに対する音
源方向の角度に応じて、両マイクで観測される音響
信号に所定の到達時間差ΔT が観測される。到達時
間差ΔT は±ΔTmax の範囲で変化し得る。ΔTmax
は、音速を Vs として、ΔTmax＝d/Vs として定められる到達時間差の理論上の最大値である。このとき、音源の方向φをマイク間ベースラインの中点を基点にベースライン垂直方向を 0 として式 1 を用いて計算する。なお、ΔT はマイク対を構成するマイクの一方に対する他方の到達時間差となるため符号付きの量であり、φも符号付きとなる。
φ＝sin－１(ΔT/ΔTmax)･･･（式 1）

マイク 1 とマイク 2 で到達時間差ΔT を持つ音響信
号を FFT によって周波数成分毎に分解してその位相差ΔPh を眺めると、両者に比例関係が認められる。

Fig.1 A scene of omni-directional acoustic sense
上述したような聴覚機能の代表的な研究成果とし53例えば、同一時間差ΔT に対して、周波数 f の波は在するが、原点 O から各直線に下ろした垂線の X 軸
1/2 周期、すなわちπだけの位相区間を含むとすると、 からの傾きをθ、この垂線の長さをρとして表現す
2 倍の周波数 2f の波では１周期、すなわち 2πの位
ると、１つの直線についてθとρは一意に決まり、相区間を含む。このように、同一時間差ΔT に対すある点 p(x, y)を通る直線の取り得るθとρの組は、る位相差ΔPh は周波数に比例して大きくなる。したθρ座標系上で固有の軌跡 (ρ＝x･cosθ＋y･sinθ)がって、同一音源から発せられてΔT を共通にするを描くことが知られている。このような、(x，y)座標
各周波数成分の位相差を、Fig.2 に例示するように横値からそこを通り得る直線の(θ，ρ)軌跡への変換を
軸を位相差、縦軸を周波数とする 2 次元座標系上に直線ハフ変換という。複数の点を共通に通る直線はプロットすると、各周波数成分の位相差を表す座標
各点の軌跡が 1 点で交差するため、所定の投票バッ
点が 1 本の直線上に並ぶ。ΔT が大きいほど、すな
ファに軌跡を投票することで、多数の点を通る有力
わち両マイク間で音源までの距離が異なるほど、こな直線を高得票位置に検出することができる。これの直線の傾きは大きくなる。このとき、ΔPh とΔT
をハフ投票という。なお、このとき、直線が左に傾の関係は式 2 のようになる。
いているときθは正値、垂直のとき 0、右に傾いているとき負値であるとし、また、θの定義域は{θ：－π＜θ≦π}を逸脱することはない。

Fig.2 Phase-Frequency linearity
ΔPh＝ΔT×2πf→ΔT＝ΔPh／2πf ･･･（式 2）

Fig.3 Principle of Hough transformation
2.3. 実際の音声による位相差の方向別傾向確認
Fig.4 に方向を変えた実際の音声を使って得たパワースペクトルと位相差スペクトルを例示する。図の上段の 2 つがマイク 1 と 2 による入力音声波形、中段の 2 つがマイク 1 と 2 によるパワースペクトル、
下段が位相差スペクトルである。各スペクトルの輝度はパワーの対数で計算し、位相差の色は位相角に応じた色円環上の色相で決定している。

マイク対で得られる 2 つの周波数分解データ a と bを比較して、同一周波数成分毎に両者の位相値の差を計算して ab 間位相差を求める。ある周波数成分 fの位相差ΔPh(f)は、マイク 1 における位相値 Ph1(f)とマイク 2 における位相値 Ph2(f)の差を計算し、その値が{ΔPh(f)：－π＜ΔPh(f)≦π}に収まるように 2πの剰余系として算定する。
次いで、算定されたΔPh(f)と f を 2 次元の XY 座標
系上の点(x，y)としてプロットすると、Fig.2 に示したような位相差プロット図を得ることができる。既に述べたように、同一時間差ΔT に対応する位相差
ΔPh(f)は周波数 f に比例するので、もしこのプロッ
ト図上に点群を結ぶ直線が検出できれば、この直線の傾きから式 2 で求められるΔT、すなわち式 1 で示されるφの方向に音源の存在を検出することができる。

2.2. 直線ハフ変換
本システムにおける音源の数と方向を推定する問
題は、Fig.2 のようなプロット図上で有力な直線を発見することに帰着できる。また、音源毎の周波数成Fig.4 Phase difference that has a trend according to
分を推定する問題は、検出された直線に近い位置に
sound source direction
配置された周波数成分を選別することに帰着できる。
そこで、点群から直線を検出する手段として直線ハ
図中（a）は、マイク対の右から発声したときの結フ変換[3]を用いる。
果を示したものである。位相差は周波数の高い領域に行くにつれて橙色から紫色へ変化するグラデーシ
Fig.3 に模式的に示すように、
2 次元座標上の点 p(x,y)を通り得る直線は図中に例示するごとく無数に存ョン、すなわち色円環上で一定方向への回転を示し

54

ている。
図中（b）は、マイク対の正面から発声したときの結果を表したものであり、位相差スペクトルは回転せずに 0 付近（赤色）に留まっている。
図中（c）は、マイク対の左から発声したときの結果を示したものである。位相差は周波数の高い領域に行くにつれて赤紫色から橙色へ変化するグラデー
ション、すなわち色円環上で（a）の逆方向への回転を示している。
いずれの場合も音源は移動していないため、周波数成分毎の位相差は時間軸方向でほぼ一定に安定している。すなわち、位相差スペクトルは音源の方向を知るための情報として信頼できる。そして、この位相差スペクトルの各周波数成分値ΔPh は前述の直線の傾きθから式 3 によって知ることができる。なお、位相差ΔPh が負値となるとき、θは正値となる。
そのために、θの符号を反転させている。

Fig.5 An experimental result of line detection with ρ=0 constraint in a case of single speaker

ΔPh(θ, f)＝f･tan(－θ) ･･･（式 3）2.4. ρ=0 の制約
マイク 1 と 2 の信号が同相で A/D 変換される場合、検出されるべき直線は必ずρ=0、すなわち XY 座標
系の原点を通る。したがって、音源の推定問題は、
ハフ投票バッファ上の得票分布 S(θ，ρ)でρ=0 となるθ軸上の 1 次元の得票分布 S(θ，0)からローカル
ピークを探索する問題に帰着する。
Fig.5 に実際の単独発話音声を使って直線を検出した例を示す。この例は、室内雑音環境下で 1 人の人
物がマイク対の正面約 20 度左から発話した実際の音声を用いて処理した結果である。図中にマイク 1 と 2のパワースペクトル及び位相差スペクトル（a）、図中（b）に FFT 結果から得た周波数成分毎の位相差プ
ロット図を、図中（c）に位相差プロット図から得た
ハフ投票結果を、図中（d）にρ＝0 上の得票分布を、
図中（e）に検出されたローカルピーク（直線候補）
を、図中（f）に得票 1 位のピークをプロット図上に描画した直線（赤）をそれぞれ示す。
マイク対で取得された音声は、周波数成分毎のパワー値と位相値のデータに変換される。これを受けて、周波数成分毎の位相差が求められ、その(x，y)
座標値が算出される。この座標値の集合をプロットした図を確認すると、原点から左に傾いた直線に沿う点群分布が認められる。このような分布を示している各点の(θ，ρ)軌跡がハフ投票バッファに投票されて得票分布 S(θ，ρ)を形成する。
θ軸上の得票分布 S(θ，0)を H(θ)として抜き出して棒グラフにしたものが図中（d）である。この得票
分布 H(θ)には幾つか極大部が存在している。図中（e）にローカルピークの探索結果を示す。このようにすることで十分な得票を得た直線のθを割り出すことができる。この例では、検出された 4 つのピー
クのうち、閾値処理によって 1 位のみが検出されている。

55

2.5. 位相差の循環性
ところで、両マイク間の位相差ΔPh(f)が Fig.2 に示したように全域で周波数に比例するのは、解析対象となる最低周波数から最高周波数まで通して真の位相差が±πを逸脱しない場合に限られる。この条件
はΔT が、最高周波数 Fr/2[Hz]（サンプリング周波数
Fr の半分）の 1/2 周期分の時間、すなわち 1/Fr[秒]以上とならないことである。もし、ΔT が 1/Fr 以上となる場合には、次に述べるように位相差が循環性を持つ値としてしか得られないことを考慮しなければならない。
手に入れることのできる周波数成分毎の位相値は
例えば－πからπの間というように 2πの幅でしか得ることができない。これはその周波数成分における実際の位相差が両マイク間で 1 周期以上開いていても、データとして得られる位相角からそれを知ることができないことを意味する。要するに、ΔT に起因する真の位相差は、データとして得られた位相差の±2πや、さらに±4πや±6πの値である可能性がある。これを模式的に示すと Fig.6 のようになる。
図中の○がΔT を同じくする真の位相差だが、観測されるのは左に 2π平行移動して現れる●となる。

Fig.6 Circulation of phase differenceρ=0 の制約では原点を通る直線のみを探すことになるので、このように 2πの剰余系として循環した位置に現れる点群をカウントしていない。これは傾きの大きな直線ほど得票で不利になることを意味している。そのことは Fig.5（d）に示した得票分布において、θの絶対値が大きくなる左右端付近にほとん
ど得票値のないことから見てとれる。θの全域に渡る公平な探索を実現するためには、循環して現れる
平行線群を得票分布 H(θ)に加えなければならない。
なお、平行線の間隔Δρは直線の傾きθの関数Δρ(θ)として式 4 で定義される符号付きの値となる。
Δρ(θ)＝ 2π･cosθ ：θ＞0Δρ(θ)＝－2π･cosθ ：θ＜0 ･･･（式 4）2.6. 位相差循環を考慮した直線群の検出
Fig.5 で検出した直線は XY 座標原点を通る直線である。しかし、実際には位相差の循環性によって、Fig.6 に示すように、原点を通る直線がΔρだけ平行移動して反対側から循環してくる直線もまた同じ到達時間差を表す直線である。この直線のように原点を通る直線を延長して X の値域からはみ出した部分が反対側から循環的に現れる直線を、原点を通る直線の「循環延長線」、基準となった原点を通る直線を「基準直線」とそれぞれ呼ぶことにする。
Fig.7 に位相差の循環性を考慮して直線群を検出した例を示す。この例は、Fig.5 の例と同じ音声を用いて処理した結果である。

得票で 1 位のピーク位置によって、プロット図（f）
上に平行な 2 本の直線が描かれる。
2.7. 同時発話時の直線検出
Fig.8 に、室内雑音環境下で 2 人の人物がマイク対の正面約 20 度左と約 45 度右からほぼ同時に発話した実際の音声を用いて処理したときのスペクトル（a）、FFT 結果から得た周波数成分毎の位相差プロット図（b）、位相差プロット図から得たハフ投票結果（c）、得票 H(θ)とローカルピーク検出結果（d，e）、プロット図上に描画した直線群（f）を示す。

Fig.8 An experimental result of line detection withρ=0
constraint and considering circulation of phasedifference in a case of two simultaneous speakers
得票分布 H(θ)からは図中（e）に示す 13 個のローカルピークが検出される。このうち、上位 2 つのローカルピークがマイク対の正面約 20 度左からの音声を検出した直線群と、マイク対の正面約 45 度右からの音声を検出した直線群に対応している。このようにΔρずつ離れた箇所の得票値を合計して極大位置を探索することで、角度の小さい直線から角度の大きい直線まで検出できるようになる。
Fig.7 An experimental result of line detection withρ=0
constraint and considering circulation of phasedifference in a case of single speaker

2.8. ストリーム追跡
上述した通り、直線群はハフ投票毎に時系列的に求められることになる。このとき、直線群のθは音源方向φと 1 対 1 に対応しているので、音源が静止
直線群を表す同一θについてΔρずつ離れた箇所
していても移動していても、安定な音源に対応するをハフ投票バッファ（c）上で白線表示している。こθの時間軸上の軌跡は連続しているはずである。一のとき、θ軸と白線はそれぞれΔρ(θ)の自然数 a 倍
方、検出された直線群の中には、ローカルピークので等間隔に離れている。なお、直線が循環しないθ閾値設定具合によって背景雑音に対応する直線群がの領域（中央部）には白線を描画していない。
含まれていることがある。しかしながら、このようあるθ0 の得票 H(θ0)は、θ＝θ0 の位置で縦に見な直線群の軌跡は連続していないか、連続していてたときのθ軸上と白線上の得票の合計値、すなわちも短いことが期待できる。すなわち、直線群検出周H(θ0)＝S(θ0，0)+∑{S(θ0，aΔρ(θ0))}として計期毎に求められるθの時間軸上の軌跡を追跡して長算される。この操作はθ＝θ0 となる基準直線とそのく連続するグループを検出することで、有力な音源
循環延長線の得票を合計することに相当する。このを選別することができる。このグループをストリー
得票分布 H(θ)を棒グラフにしたものが図中（d）でム、グループ分けを行う処理をストリーム追跡と呼ある。Fig.5（d）と異なり、θの絶対値が大きくなっ
ぶことにする。
ても得票がなくなっていない。これは、得票計算にFig.8 に実際の音声を使ったストリーム追跡結果の循環延長線を加えたことで全てのθについて同じ周波数帯を使うことができるようになったからである。 例を示す。横軸が時間、縦軸がθである。この例は、

56を使ったときの音源定位の概念を示した図である。
各マイク対から得られた音源方向φ1 とφ2 について
最小二乗誤差となるドーム上の仮想音源を探索する。

室内雑音環境下で 2 人の人物が異なる方向から同時発声したときのストリーム追跡結果である。0～4 番
までの 5 つのストリームが追跡により検出されている。このうち、1 番と 3 番が正解、0 番と 4 番が背景
での人の話し声、2 番が偽のストリームである。
なお、音源が大きく移動しないと仮定すれば、ストリームを構成する各時刻の直線群によるθを平均したものをストリームのθとすることができる。

Fig.9 Principle of sound source localization with φ1
and φ23. 動作確認実験
3.1. システム構成
2 章で説明した処理によって全方位聴覚を実現するシステム構成を Fig.10 に示す。

Fig.8 An experimental result of stream tracking
2.9. 成分推定とストリーム照合
以上で説明した処理は、1 つのマイク対においてそれぞれ実行される処理である。ロボットは複数のマ
イク対を実現できるので、マイク対をまたぐ処理によって、さらに音源についての情報を得ることができる。
異なるマイク対で検出されたストリームでも、同一音源に由来する限り、その継続期間と周波数成分は似ているはずである。既に述べたように、各マイク対で検出される音源の主な周波数成分は、その証拠となった直線群の近傍に分布するプロット図上の点を選別することで推定することができる。このよ
うに音源の周波数成分を粗く推定し、推定された周波数成分を例えば単純類似度法などで比較照合する
ことで、あるマイク対のある直線群が、別のマイク
対のどの直線群と似ているかを評価することができる。
ストリーム照合は、推定された音源の周波数成分と継続期間を評価することで、同時期に似た周波数成分を持っている音源をマイク対間で対応付ける処理である。対応付けられるべき相手が見つからない
ストリームはノイズとして削除される。

Fig.10 System block diagram

2.10. 音源定位
ストリーム照合によって対応付けられたストリー
ムは、各マイク対に対する音源方向φ（θから計算）
を、対応付けられたマイク対の数だけ持っている。
これをマイク対の数 n を使って表すと、音源方向情報＝{φ1…φn}となる。この集合は、ある空間位置にある音源が、それぞれのマイク対から見てどの方向にあるかを示したデータである。そこで、ロボットを中心に仮想的なドームを考え、そのドーム表面に適度な間隔で離散した仮想的な音源を配置し、各仮想音源が各マイク対のどの方向にあるかを予め計算してテーブル化しておく。Fig.9 は 2 つのマイク対

57

ロボットは Mic1～6 の 6 つのマイクを装備している。システムは 1 つの音源推定プロセスと最大 6 つの音声認識プロセスとで構成されており、プロセス間は共有メモリで結ばれている。音源推定プロセスは前述した音響信号処理を行って、各マイク対に対する音源数と方向の推定処理と、複数のマイク対を使った音源の空間定位処理を行う。音声認識プロセ
スは認識エンジンの前段に適応アレイ処理を配したプロセスであり、マイク対に対する音源の方向φを使って適応アレイの追従範囲を設定し、音源音の抽出と抽出された音声の認識を行う。音声認識プロセ
スは音源推定プロセスによって方向の異なる音源毎に処理対象を割り当てられて認識を実行する。マイクからの音響信号は新開発のメディア処理ボード（MFeP2）によって全チャンネル同期取り込みがされるため、ローカルピーク探索時には原点を通る直線群（基準直線とその循環延長線）を探索すればよい。
3.2. 処理の流れMic5-6、Mic3-5、Mic4-6 の 4 組を使用した。実験の結果、ロボットは発話開始順に話者方向を向き、その前まで移動して、発話内容に応じた応答音声を出力した。

Fig.11 にこのシステムの処理の流れを示す。音声は入力されると FFT 処理を施される。入力音声からレベルによって音声区間の始端が検出されると終端検出までの間が音声区間とされ、ハフ変換からストリーム追跡までの処理が進められる。終端が確定すると、ストリーム照合以降の処理が実行されて、認識結果が出力される。

Fig.12 Demonstration of four sequential speakers

Fig.11 Flow diagram
3.3. マイク対選択･同相化･適応アレイ処理･音声
語彙認識
音源が検出されると、音源推定プロセスがその音源方向に対して他の音源方向とかぶらないユニークなマイク対を選択し、音声認識プロセスがこのマイク対からの入力音声を認識する。音声認識プロセス
内では、選択されたマイク対からの 2ch 音響信号を同相化することで、音源があたかもマイク対の正面にあるかのような信号を生成する。このように正面向きに補正された音響信号を同じく正面向きに狭追従範囲を与えられた適応アレイで処理することで、適応アレイの設定限界に制約されることなく、どの方向からの音声も処理できるようにする。適応アレ
イ通過後の音響信号は認識エンジンで処理され、得られた認識結果は共有メモリ上に格納されて利用される。

Fig.13 Demonstration of two simultaneous speakers

4. おわりに
本稿では、家庭内で運用されるロボットにとって不可欠と思われる全方位聴覚の 1 方式を報告した。
今回は 4 話者順次発話時と 2 話者同時発話時の音
源定位と音声語彙認識における全方位性を実験によって確認するに留まったが、提案方式が機能し得ることを検証することができた。
なお、本開発は NEDO（新エネルギー･産業技術総合開発機構）次世代ロボット実用化プロジェクト（プロトタイプ開発支援事業）に採択され実施したものであり、2005 年愛地球博 NEDO プロトタイプロボット展（6/9～6/19、モリゾー･キッコロメッセ）、および常設展（8/23～9/4、ロボットステーション）で展
示実演を行った。そこで、本システムの複数話者順
次発話対応機能を実演したところ、80dB 程度の周囲雑音まで動作可能であることを確認している。

3.4. 4 話者順次発話時の全方位性の確認
以上の処理を実装して、4 人の話者が順に発話したときの音源定位･音声認識実験を行った。Fig.12 に実験の様子を示す。発話内容は 4 種類で、適応アレイの追従範囲を±15 度とし、マイクは Mic3～6 の 4 個、マイク対は Mic3-4、Mic5-6、Mic3-5、Mic4-6 の 4 組を使用した。実験の結果、ロボットは発話順に話者方向を向き、その前まで移動して、発話内容に応じた応答音声を出力した。
3.5. 2 話者同時発話時の全方位性の確認
2 人の話者がほぼ同時に発話したときの音源定位･
音声認識実験を行った。Fig.13 に実験の様子を示す。
発話内容は 2 種類で、適応アレイの追従範囲を±15度とし、マイクは Mic3～6 の 4 個、マイク対は Mic3-4、

58

参考文献
[1] 浅野太，“音を分ける”，計測と制御，第 43 巻，
第 4 号，pp.325-330，Apr.2004[2] 中臺一博他，“視聴覚情報の階層的統合による
実時間アクティブ人物追跡”，工知能学会 AI チ
ャレンジ研究会，SIG-Challenge-0113-5，pp.35-42，
Jun.2001[3] 岡崎彰夫，“はじめての画像処理”，工業調査会刊，Oct.2000

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-10 (10/14)

人間共生ロボット”EMIEW”の聴覚機能
Auditory Ability of Human-Symbiotic robots ”EMIEW”

戸上真人 天野明雄 新庄広 鴨志田亮太 ((株) 日立製作所 中央研究所)
玉本淳一 柄川索 ((株) 日立製作所 機械研究所)
Masahito TOGAMI,Akio AMANO,Hiroshi SHINJO,
Ryota KAMOSHIDA(Hitachi, Ltd., Central Research Laboratory),
Junichi TAMAMOTO,Saku Egawa(Hitachi, Ltd., Mechanical Engineering Research Laboratory){mtogami,amano,shinjo,ryota-k}@crl.hitachi.co.jp,{saku.egawa.kv,junichi.tamamoto.xs}@hitachi.com
Abstract

EMIEW は聴覚機能の他に, 人間と共に生活するために必要となる以下の機能を持っている [1]。

Sound source localization and distanttalk recognition are essential functions• 高速移動機能（人の早足に相当する時速６ｋｍ）

for human-symbiotic robots.
We describe methodology of sound source lo-• 障害物回避機能（人ごみでも人を避けて, 移動が可能）

calization based on sound sources over-• 高品位音声合成機能 [2]lap judge and adaptation method for minimum variance beam-former based on fre-

• 顔画像抽出機能

quency segregation in this paper. These
auditory functions are implemented in

本稿では,EMIEW の聴覚機能について, 音源定位機”EMIEW”(Excellent Mobility and Interactive Existence as Workmate).

能及び妨害音抑圧機能について述べる。
音源定位機能については, 複数の音源が存在する環境でも音源定位が可能である音源重複度判定に基づく修正遅延和アレイ法を提案する。従来の遅延和ア

1

はじめに

レイ法 [3] は, 複数の音源が存在する環境で高精度に音源定位することは困難であった。またロボットへの接客ロボット, 介護ロボット, 家事手伝いロボットなどの人間共生型ロボットの実現に向けて, 音声イン実装を考えた場合, ハードウェアの処理能力の制約か

ターフェースへの期待が大きくなってきている。タッら固有値計算などの重い処理を必要とする音源定位

チパネルやリモコンなどと比較し, 音声インターフェー

方式は実装が困難となる。提案する方式は, 音声のス

スは, 離れたところから, 特別な道具を使わずに情報パース性を前提にし, 方向毎に周波数成分を振り分け伝達が可能な, 簡便なユーザーインターフェースである。そして音源重複度判定に基づき複数の音源が重る。そして, 特にロボットにおいては, 音声インター

複している時間・周波数成分を判定し, 単一の音源だ

フェースの簡便さに対する期待だけでなく, 呼びかけ

けが優勢な時間・周波数成分のみを使ってパワースペ

られた方向を振り向いたり, ロボットが人間の音声をクトル計算を行うことを特徴とする。

認識し, 人間の言葉を話すという行為そのものが, 人

妨害音抑圧機能については, 修正遅延和アレイ法に間とロボットの心理的な距離を縮める効果があり, 人

基づき妨害音が優勢な帯域のみを抽出し, その帯域の間に対する親和性の良さという点でも期待が大きい。

みで計算した相関行列を用いてフィルタリングする

そのようなことから, 我々は, 来訪者の受付案内やオことを特徴とする最小分散ビームフォーマの適応方

フィスにおける物流サポートなど, 人と同じ環境で生活式を提案する。そして, 提案する適応方式の音の伝達

し人と一緒に仕事ができるロボットとして開発を進めモデルの誤差に対するロバスト性などについて評価ている,EMIEW(Excellent Mobility and Interactiveを行う。
以下,2 章では,EMIEW の聴覚機能の構成を述べる。

Existence as Workmate) の開発目標の一項目に, ロ
ボット聴覚機能の実現を挙げている。

3 章では, 前提とする入力信号のモデル化を行い,4 章

59

3.1

で音源重複度判定に基づく修正遅延和アレイ法を説明する。5 章では, 修正遅延和アレイ法に基づく最小空間伝達モデル

空間内に存在する各音源の信号は, 空間的な場所に

分散ビームフォーマの適応方式を説明する。

応じて異なった空間伝達過程でマイクに到達する。各
音源が点音源で直接音のみ考慮する場合, 空間伝達過2

EMIEW の聴覚機能の構成

程は音源とマイクまでの距離による位相遅れと減衰によってモデル化することができる。この場合, ad (f )Fig.1 に EMIEW の外観を示す。EMIEW は首周りに 6 つのマイク, 両耳に 2 つのマイクを持っている。

を音源方向 d からの空間伝達モデルとすると,

ad (f ) =

 1
rd,1

exp−i2πf τd,1 · · ·1rd,M

exp−i2πf τd,MT

(1)
ここで, rd,i は音源 d とマイク i の距離で,c を音速とすると,

τd,i =

rd,i
c

(2)

である。

3.2

入力信号のモデル

マイクロホンアレイの入力信号に短時間フーリエ変換を施した後の信号を x(τ : f ) と記述する。τ は
短時間フーリエ変換のフレームインデックスである。

N 個の音源が存在する場合, 入力信号は以下のようにモデル化することができる。

ここで,Figure 1: Appearance of EMIEW

聴覚機能の構成を Fig.2 に示す。

x(τ : f ) = A(f )S(τ : f )

(3)



A(f ) = a1 (f ) · · · aN (f ) ,

(4)

T

S(τ : f ) = s1 (τ : f ) · · · sN (τ : f )(5)であり,ai (τ : f ) は音源 i の空間伝達モデル,si (τ : f )は音源 i の原信号である。

3.3

スパース性

1990 年代後半より, 音声のスパース性と呼ばれる性質を利用した新しい妨害音抑圧手法が盛んに研究さFigure 2: Construction of Auditory Functions

れるようになってきた [4][5]。音声のスパース性とは,
短時間（数十 ms 程度）では, 音声のパワーはある一部の帯域に集中するという性質である。音声のスパー

8 つのマイクロホンの入力信号は,EMIEW の筐体内ス性は,「短時間に複数の音源が同じ周波数成分を保にある 16 ビットの AD ボードに取り込まれる。その持することは確率的に低い」と言い換えることがで後,DSP(225MHz) 上で 360 °の全方位音源定位やあるきる。この音声のスパース性に基づき, 式 (3) は, 次の方向の音のみを抽出する妨害音抑圧処理を施す。抽出

ように近似することができる。短時間フーリエ変換

された音は音声認識に渡される。音声認識結果や音のフレームサイズは, 数十 ms 程度とする。

源方向情報は, メイン制御プログラムに渡される。

3x(τ : f ) ≈ sj(τ :f ) (τ : f )aj(τ :f ) (f )入力信号のモデル
本稿で前提とする入力信号のモデルについて述べる。

ここで, j(τ : f ) は, フレーム τ に周波数 f を保持する
音源のインデックスである。

60

(6)

4

音源定位

の場合に最大となるため,j(τ : f ) は, 入力信号から次のように推定することができる。
j(τ ˆ: f ) = argmaxj∈Λ aj (f )∗ x(τ : f )提案する音源定位法は, まず時間・周波数毎に遅延和アレイの出力値から入力信号をどこか一つの角度に振り分ける。そして振り分けられた成分が, 単一のそこで, 式 (10) を次のように修正する。
⎧
  ⎨0j = j(τ ˆ: f )2.
P (j) =
⎩aj (f )∗ x(τ : f ) j = j(τ ˆ: f )τf

音源のみからなるかどうか音源重複度判定で判定する。単一の音源のみからなると判定された成分を方向毎に積み上げ, パワースペクトルを計算する。そのパワースペクトルをピークサーチすることで音源方(12)向の推定値を得ることができる。

4.1

式 (12) の方向パワースペクトルに基づく音源定位手
法を修正遅延和アレー法と呼ぶことにする。修正遅延

従来の遅延和アレイ法

和アレー法は, 遅延和アレイ法の問題点であった音源

音源方向の探索範囲を Λ とする。遅延和アレイ法

方向以外の方向へのパワースペクトルの混入問題を解は,d ∈ Λ 毎に, 式 (7) に示す方向パワースペクトルの
ピークサーチを行い, 音源方向を見つける手法である。

ad (f )∗ R(f )ad (f )P (d) =

(7)f

R(f ) は空間相関行列で,R(f ) =

x(τ : f )x(τ : f )∗


(8)

4.3

N
2
 
P (d) =ad (f )∗ ai (f )si (τ : f )

延和アレイ法は, 高い音源定位性能を示すことが予想される。しかし, 実際には, 複数の音源が重複する時(9)間・周波数成分が存在し, その時間・周波数成分につi=1

いて, 修正遅延和アレイ法は, 正しい音源方向を推定することができない。この時,j(τ ˆ: f ) がどの方向を指致度を表す係数であり, 大きさが 0 から 1 までの値をすかは, 各音源の原信号 si (τ : f ) のパワー比や空間取る。探索方向と音源方向が完全に一致した場合の伝達過程に依存して変わる。パワー比によっては, 音
源の全く存在しない方向を j(τ ˆ: f ) が指すこともあり

み,1 となる。ここで, 探索方向と音源方向が一致しない場合に,ad (f )∗ aj(τ :f ) (f ) が必ずしも 0 になるわけうる。

ではないところに注意する必要がある。つまり, サー

このようなことから, 音声のスパース性が成立しな

チ方向と音源方向が一致しない場合に, サーチ方向のい周波数では,j(τ ˆ: f ) は信頼性の低い情報であり, 音

パワースペクトルに音源方向のパワースペクトルがノ声のスパース性が成立しない周波数成分は, 音源定位

イズとして, 混入してしまう。そして, このことは, 遅延和アレーの音源定位精度を劣化させる要因となる。

修正遅延和アレイ法仮定する。この場合, 式 (9) は, 以下のように変形でそこで, 音声のスパース性が成立するかどうかを次

(14)

きる。

式 (14) の分子は,j(τ ˆ: f ) 方向にビームを向けた遅延

2
 

ad (f )∗ aj(τ :f ) (f )sj(τ :f ) (τ : f ) .
fに利用しないほうが良いと考えられる。
の式で判定することにする。
2x(τ : f ) − aj(τˆ:f ) (f )∗ x(τ : f )aj(τˆ:f ) (f )
e(τ : f ) =
.

2


aj(τˆ:f ) (f )∗ x(τ : f )aj(τˆ:f ) (f )

入力信号について, 式 (6) の近似が成立することをP (d) =

音源重複度判定

音声のスパース性が完全に成立する場合は, 修正遅となる。ad (f )∗ ai (f ) は, 探索方向と音源方向との一4.2式 (12) のパワースペクトルの対数を足し合わせた⎧ ⎨0j = j(τ ˆ: f )2.
P (j) =
⎩loga (f )∗ x(τ : f ) j = j(τ ˆ: f )
j
τ,f

(13)

が用いられる。式 (3) と式 (8) を式 (7) に代入すると,

f決することができると考えられる。本稿の実験では,

を用いる。

τ

τ

(11)

和アレイが抑圧した妨害音のパワーである。音源が重複していない場合, 遅延和アレイが抑圧した妨害音

τ

(10)

のパワーは 0 となり, 式 (14) は 0 となる。音源が重複

式 (6) の近似が成立し, 音源 j(τ : f ) のみが, 時間 τ のしている場合, 遅延和アレイが推定方向以外の到来音

周波数 f 成分を保持するのであれば, 本来 d = j(τ : f )2
以外の場合,|ad (f )∗ aj(τ :f ) (f )sj(τ :f ) (τ : f ) は 0 となを抑圧するため, 式 (14) は 0 より大きくなる。
音源重複度の指標である式 (14) を使って式 (13)で,j = j(τ ˆ: f )または 10 log e(τ : f ) ≥ Pth の時,∗るべきである。また ad (f ) aj(τ :f ) (f ) は,d = j(τ : f )1061

の中を 0 とするように改良する。Pth は音源重複度の閾値であり, 予め定める必要がある。式 (14) の音源重複度の指標を用いる修正遅延和アレイ法を音源重複度判定型修正遅延和アレイ法と呼ぶ。

4.4

音源定位の評価

提案する修正遅延和アレイ法及び音源重複判定型
修正遅延和アレイ法の音源定位性能の評価を行う。用いるマイク数は 3 つとした。また音源数を 4 つとした。音源 4 つのうち 1 つを目的音, 残りの 3 つを妨害音とする。音源の間隔は,2 度〜5 度まで 1 度おきに変化させた。音源とマイクロホンアレー中心との距離

Figure 3: Evaluation of Sound Source Localization

は 1m とした。マイク間隔は 5cm とした。評価で用いる音声試料には,ATR 音韻バランス 150 文に含まれる各話者 50 文ずつ, 男女４話者分を用いた。4 話者の

5

うちの 1 話者を目的音とし, その他の話者を妨害音とする計 4 通りの組み合わせで, 評価した。評価用デー

マ [3] は, 目的音方向の音の空間伝達モデルを与える

タは計算機上のシミュレータで作成したデータであ必要があるが, 想定している目的音方向と実際の目的る。シミュレータでは反響・残響が無いものとし, 直

音方向のずれ, 環境毎の反響・残響特性の違いなどで,接音のみ混合した。音源定位時に用いる音源重複度の実際の空間伝達過程はモデルと異なったものとなる閾値 Pth は, 予備実験より −40(db) が妥当な値であることが多い。従来の適応方法は, 目的音の伝達モデルと判断し, 設定した。また音源定位では, サーチ方向のずれが生じると, 目的音を妨害音とみなし目的音方のパワースペクトルが, 前後の方向のパワースペクト

向に死角を形成するようにフィルタを制御するといルより, 大きい場合にピークと判定する。そしてピーう問題がある。

クと判定された方向をパワースペクトルの降順で並び替え, 最初から 4 つ目までを音源方向として出力す5.1るようにした。サンプリングレートを 11025Hz とし,く, 予め周波数成分を妨害音が優勢な成分と目的音が推定した音源方向が, 真の音源方向から±１度のず優勢な成分に振り分け（周波数成分の振り分け）妨

れであれば, 正しく方向推定できたものとする。正し害音が優勢な成分のみを使ってフィルタを適応する。

く方向推定できた割り合い（音源定位正解率）を評価

周波数成分の振り分けは, 音源定位の章で述べた修正基準とした。

遅延和アレイ法を応用する。

遅延和アレイと, 式 (15) の最小分散ビームフォーマ

提案する適応方法に基づく妨害音抑圧システムの(MVBF) と比較評価を行う。
P (j) =

f

提案する適応方法

提案手法は, 全ての周波数成分で適応するのではな

フレームサイズは 512 ポイントとした。



妨害音抑圧法従来の妨害音抑圧法である最小分散ビームフォー

log 

ブロック図を Fig.4 に示す。

1

2 .

(15)

aj (f )∗ R(f )−1 aj (f )Fig.3 に評価結果を示す。

提案した音源重複判定型修正遅延和アレーが評価した
音源間隔の全ての場合で, 最も良い性能を示した。音源
間隔が 2 度の結果では, 音源重複判定型修正遅延和アレイは, 遅延和アレイに対して, 約 75%の改善,MVBF

Figure 4: Block Diagram of Supposed Noise Reduc-に対して, 約 61%の改善, 修正遅延和アレイに対して,

tion System

約 22%の改善となった。このことより, 音声のスパー
ス性に基づく遅延和アレイの修正法, 及び音源重複判

以下, 提案手法で特徴的な, 周波数振り分け, 適応処

定尺度に基づく複数の音源が重複した時間・周波数成理, 目的音方向推定について述べる。

分の判定法の有効性が示された。

62

5.1.1 周波数振り分け提案する適応方法で用いる周波数振り分け処理は,
修正遅延和アレイ法に基づく。式 (11) により, 時間・周
波数毎に音源方向の推定値である j(τ ˆ: f ) を求める。
Λ の部分集合を Λsubject とし,Λ の中で Λsubject に含まれない方向の集合を妨害音方向と定義し,Λnoise で表す。j(τ ˆ: f ) が Λnoise に含まれる場合はその成分をf

j = j(τ : f ) のときれるパワースペクトル P (j) が最大となる方向を目的
音方向とする。

妨害音が優勢な成分であると判定し,Λsubject に含ま5.2

れる場合はその成分を目的音が優勢な成分であると評価提案する適応方法に基づく妨害音抑圧法の出力信判定する。周波数振り分けの結果, 出力される妨害音

号の SNR による評価と, 実環境での遠隔音声認識性

信号は, 以下のように記述される。

n(τ : f ) =j = j(τ : f ) のとき2⎩logaj (f )∗ xt (f )

(19)Λsubject に含まれる方向 j について, 式 (19) で定義さ

目的音方向及び目的音方向周辺の音源方向を含む⎧⎨0

P (j) =⎧
 ⎨0

能の評価を行う。比較対象は, 全ての周波数成分で適

if j(τ : f ) ∈ Λsubject⎩x(τ : f ) if j(τ : f ) ∈ Λ
noise

応する従来の最小分散ビームフォーマと, 周波数振り分けの結果を使い,⎧⎨0
S(τ : f ) =⎩x(τ : f )(16)

5.1.2 適応方法
最小分散ビームフォーマの適応方法の 1 つである
SMI による直接解法 [6] では, 音源方向の情報を保持

if jτ :f ∈ Λnoise
if jτ :f ∈ Λsubject

で求めた目的音が優勢な成分 S(τ : f ) を逆 FFT する
方式 (周波数振り分け型) の 2 つとする。

するマイク間の相関行列の逆行列 (空間相関逆行列)
は, 以下の式に基づき, 入力信号から逐次更新するこ

5.2.1 SNR による評価
提案手法の目的音方向の空間伝達モデルのずれに対とが可能である。

するロバスト性及び妨害音抑圧性能について, 式 (20)を使ってフィルタ係数を算出する。空間相関逆行列で定義される SNR による評価を行う。
1−1
R(τ + 1 : f ) = R(τ : f ) −2
βt |St |
SN
R
=
10
log
(20)
10
2
(1 − β)R(τ : f )−1 x(τ + 1 : f )x(τ + 1 : f )∗ R(τ : f )−1
t |Ŝt − St |.
β 2 + β(1 − β)x(τ + 1 : f )∗ R(τ : f )−1 x(τ + 1 : f )ここで,St は目的音の原信号であり,Ŝt は目的音の推(17)
定信号である。用いるマイク数は 6 とした。音源数は提案手法では, 入力信号では無く, 式 (16) で求めた妨2 とした。2 つの音源のうち 1 つを目的音, もう 1 つ
害音信号を使い, 以下の式で空間相関逆行列を逐次更を妨音とする。本評価では, 計算機上のシミュレータ
新する。
で作成した空間伝達過程を使い目的音と妨害音を混−11合した。マイク配置は EMIEW の首周りのマイク配
R(τ : f )−1 −β置とする。目的音源の音声試料は, 孤立 10 数字発話
(1 − β)R(τ : f )−1 n(τ + 1 : f )n(τ + 1 : f )∗ R(τ : f )−1 で, 妨害音源用音声試料は, 展示会場騒音とする。目
.
β 2 + β(1 − β)n(τ + 1 : f )∗ R(τ : f )−1 n(τ + 1 : f )的音方向と妨害音方向の角度差は 30°とした。目的(18)
音源はマイクロホンアレイの正面に配置した。目的
音方向の空間伝達モデルは, 距離 1m として, 式 (1) で空間相関逆行列を用いて, 最小分散ビームフォーマ

R(τ + 1 : f )−1 =作成する。マイクロホンアレイと音源の距離は 0.5mのフィルタを,w(τ : f ) =とした。目的音方向の空間伝達モデルが距離 0.5m ず

R(τ : f )−1 asub (f )asub (f )∗ R(τ : f )−1 asub (f )れた場合のロバスト性を評価することになる。目的音の探索範囲 Λsubject は,-10 °〜+10 °までとし,10 °刻と表すことができる。ここで,asub (f ) は目的音方向推定処理で求める目的音方向の空間伝達モデルである。

みとする。妨害音の探索範囲 Λnoise は,-180 °〜-20 °及び+20 °〜+170 °とし, 同じく 10 °刻みとする。評
価結果を Fig.5 に示す。従来の最小分散ビームフォー
マの SNR に比べ, 提案法の SNR は,15db 程度上回っ

5.1.3 目的音方向推定
修正遅延和アレイ法を使いフレーム単位に目的音方向を推定する。

ている。提案法は, 目的音方向の空間伝達モデルのずれに対して, ロバストであることが分かる。また周波数振り分け型と比較しても,3db 程度上回っている。

63

60 °〜150 °までで 80%程度の認識率となり, 従来手法に対して 20%程度上回ったことから, 妨害音が優勢な成分で適応することが有効であると考えられる。
また, 音声認識は信号の歪みに敏感であるが, 本提案
手法は歪みが小さいことから, 周波数振り分け型より認識率が高いという認識結果になったと考えられる。

6

まとめ
人間共生ロボット”EMIEW”の聴覚機能について,

音源定位機能と妨害音抑圧機能について述べた。音Figure 5: Evaluation of Robustness

源定位機能としては, 複数の音源が重複している帯域を判別する音源重複度判定に基づく音源定位法を提案し, 従来手法と比べ, 音源定位正解率が向上することを確認した。妨害音抑圧機能としては, 修正遅延和
アレイの出力結果を利用し, 妨害音が優勢な成分のみで適応処理を行う最小分散ビームフォーマの適応方法を提案し, 従来手法と比べ, 空間伝達モデルのずれに対してロバストであることと, 音声認識率が向上することを確認した。
本研究は, 独立行政法人：新エネルギー・産業技術総合開発機構 (NEDO 技術開発機構)「次世代ロボット
実用化プロジェクト プロトタイプ開発支援事業」の一環として行われたものである。

Figure 6: Recording Environment

5.3

参考文献

遠隔音声認識性能の評価[1] 細田祐司他, ”人間共生ロボット”EMIEW”の開実環境での音声認識性能の評価を行う。音声試料
は, 孤立 10 数字発話とする。話者数は 80 話者, 発話

発-開発コンセプトと全体システム-” 第 23 回日

数は,800 発話とする。妨害音源は 1 つで, 方向を 30 °本ロボット学会学術講演会,2005 年 9 月〜180 °まで 30 °刻みで変化させた。目的音と妨害音[2] N.Nukaga,R.Kamoshida and K.Nagamatsu,”Unit selection using pitch synchronous

は S/N が 5db になるように調節した。３つの手法の出力信号を同一の音声認識エンジン (LPC ケプスト

cross correlation for Japanese concatenative
speech synthesis,” 5th ISCA Speech Synthesis

ラムベース) に入力し, 音声認識率を測定する。
評価データの収録環境を Fig.6 に示す。

Workshop,pp.43-48,2004

評価結果を Fig.7 に示す。提案手法は, 妨害音方向[3] 大賀寿郎, 山崎芳男, 金田豊, ”音響システムとディジタル処理,” 電子情報通信学会,1995.
[4] M.Aoki, M.Okamoto, S.Aoki, H.Matsui,
T.Sakurai, and Y.Kaneda, ”Sound source sepgregation based on estimating incident angleof each frequency component of input signals
acquired by multiple microphones,” Acoust.Sci& Tech. vol.22,no.2,pp.149-157,2001.
.Ylmaz, and S.Rickard, ”Blind Separationof Speech Mixtures via Time-Frequency Masking,” IEEE Trans.SP,Vol.52,No.7,2004.

[6] 菊間信良, ”アレーアンテナによる適応信号処理,”
科学技術出版,1998.

Figure 7: Evaluation of Speech Recognition64社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-11 (10/15)ヾ▩♼⤊⛁Ꮥ࠾ࡼぜࡒࣞ࣍ࢴࢹ⫀て㸯ࠔ⫀▩てࡡࢱ࢕ࢻ࣐ࢠࢪࠕ
Cognitive Neuroscience: The dynamics of auditory perceptionࠏ᯵㔕 ∶ኰ (᪝ᮇ㞹ಘ㞹リᰬᘟఌ♣ NTT ࢤ࣐ࣖࢼࢢ࣭ࢨࣘࣤ⛁Ꮥᇱ♇◂✪ᡜ /   ⛁Ꮥᢇ⾙ᣲ⮾ᶭᵋ ERATO ୖᱼ₧ᅹ⬳ᶭ⬗ࣈࣞࢩ࢘ࢠࢹ)* Makio KASHINO (NTT Communication Science Laboratories, NTT Corporation /   
ERATO Shimojo Implicit Brain Function Project, JST)kashino@avg.brl.ntt.co.jp

าࡡࢡ࣭ࣜࣅࣤࢡ࡞࠽࠷࡙ࡵふᐳ࡚ࡀࡾ࠿ 㸡ࡆࡆ࡚ࡢ㡚ኇ㸝VSHHHK㸞ࢅ⣪ᮞ࡛ࡌࡾ⌟㇗ࢅཱིࡽ୕ࡅࡾ㸣ࡱࡍ㸡▯࠷༟ㄊࢅ㘋㡚ࡌࡾ㸣ౚ࠻ࡣࠔࣁࢻࢻࠕ࡛ࡷ
ࡷ᪡ཾ࡚Ⓠኇࡌࡾ㸣ḗ࡞㸡ࡐࡿࢅวࡿ┘࡝ࡂ࣭ࣜࣈ
㸝ཬᚗ㸞්⏍ࡌࡾ㸣ࡌࡾ࡛㸡ࠔࣁࢻࢻࠕࡡࡢࡍ࠿㸡ࠔࢻࢴࣂࠕ࡞࡝ࡖࡒࡽ㸡ࠔࣀࢻࠕ࡞࡝ࡖࡒࡽ㸡ࡈࡼ࡞ࡢ஦ெࡡኇ࡞ฦ࠾ࡿࡒࡽ㸡ᶭ᲌Ⓩ࡝㡚࠿⪲ࡆ࠻࡙ࡀࡒࡽ࡛㸡ெ࡞ࡻࡖ࡙୯㌗ࡢࡈࡱࡉࡱࡓ࠿㸡ᬉ㏳ࡢ
ࡢࡋࡴ࡞
ฦ㛣ࡵ⪲ࡄࡣ࠾࡝ࡽࡡን໩࠿మ㥺࡚ࡀࡾ㸣ḗࠍ࡛㐢࠹හᐖ࠿⪲ࡆ࠻ࡾெࡵ࠷ࡿࡣ㸡Ẓ㍉Ⓩᑛᩐࡡ⪲ࡆ࠻ ⫀ཱི⩽࠿▩てࡌࡾ㡚ࡡୠ⏲ࡢ㸡⪝࡞ථງࡈࡿࡒ㡚᪁࠿ஹப࡞⌟ࡿࡾ࡛࠷࠹ெࡵ࠷ࡾ㸣᫤࡞ࡢධࡂరࡵ
㡢ಘྒࡡ∸⌦Ⓩ≁ᛮ࡛ࡢ༟⣟࡞ᑊᚺࡊ࡝࠷㸣୦⩽ࡡ㛣࡞ࡢ㸡⣌⤣Ⓩ࡚ࡢ࠵ࡾ࠿ࡀࢂࡴ࡙々㞟࡝㛭౿࠿࠵ን໩ࡊ࡝࠷࡛࠷࠹ெࡵ࠷ࡾ࠿㸡ื࡞␏ᖏ࡚ࡢ࡝࠷㸝ࡒࡾ㸣ࡆࡡᑊᚺ㛭౿ࢅฦᯊࡌࡿࡣ㸡⫴ᚃ࡞࠵ࡾ᝗ሒฌ
ࡓࡊ㸡ຊ㱃࡞ࡗࡿ࡙ን໩࠿㉫ࡆࡽ࡞ࡂࡂ࡝ࡾ࡛࠷࠹
⌦࣒࢜ࢼࢫ࣑࡞㛭ࡌࡾ㔔さ࡝ᡥ࠿࠾ࡽ࠿ᚋࡼࡿࡾ 㸣 ࢸ࣭ࢰࡵ࠵ࡾ㸞㸣ࡆࡡ⌟㇗⮤మࡢཿࡂ࠾ࡼ▩ࡼࡿ࡙࠷࡙㸡༟ㄊንᙟຝᯕ㸝[HUGFOWUFQVIRUPFWLRQ㸞࡛࿣ ࡆࡆ࡚Ἰ┘ࡊࡒ࠷ࡡࡢ㸡㡚㡢ಘྒ࡛⫀▩て࡛ࡡᑊࡣࡿ࡙࠷ࡾ 㸣って࡚ࡵ㸡ྜྷୌࡡๆ⃥࡞ᑊࡊ࡙ぜ࡙࠷ᚺ㛭౿ࡢᅖᏽⓏ࡝ࡵࡡ࡚ࡢ࡝ࡂ㸡ࡐࡿࡱ࡚࡞ථງࡈ
ࡾ㛣࡞▩て࠿ንࢂࡾ㸡࠷ࢂࡹࡾኣ⩇Ⓩ▩て࡛࿣ࡣࡿࡿࡒ㡚㡢ಘྒࡡᒓṌ㸝ࡌ࡝ࢂࡔ⫀ཱི⩽ࡡࠔ⤊㥺ࠕ㸞࡞ᚺࡋ࡙ࢱ࢕ࢻ࣐ࢴࢠ࡞ን໩ࡌࡾ࡛࠷࠹ࡆ࡛࡚࠵ࡾ㸣 ࡾ⌟㇗ࡢ㸡ࢾࢴ࣭࣭࢜࣬࢞ࣖࣇ㸡୦╉っ㔕㜒ண࡝࡜ࡆࡡࡻ࠹࡝ን໩࡞ࡢ㸡࣐ࣛ⛂࠾ࡼᩐฦ࢛࣭ࢱ࣭ࡡࡇ
࠷ࢀ࠷ࢀ࠵ࡾ㸣༟ㄊንᙟຝᯕࡢ㸡ࡐࡿࡼ࡛జ࡙࠷ࡾ
ࡂ▯᭿Ⓩ࡚ୌ㐛ᛮࡡࡵࡡ࠾ࡼ㸡ᩐ᪝࠾ࡼᩐᖳ࡛࠷࠹
࡛ࡆࢀࡵ࠵ࡾࡊ㸡㐢࠹࡛ࡆࢀࡵ࠵ࡾ㸣ࠔࣁࢻࢻࠕࢅ
࣭ࣜࣈࡌࡾ࡛㸡ࠔࢻࣁࢻࠕ㸡ࠔࢻࢻࣁࠕ࡝࡜㡚⟿ࡡ࢛࣭ࢱ࣭ࡡ㛏᭿Ⓩ࡚ᅖᏽⓏ࡝ࡵࡡࡱ࡚ࡈࡱࡉࡱ࡝ࡵ
ࡱ࡛ࡱࡽ᪁࡞ኣ⩇ᛮ࠿࡚ࡀࡾ࠿㸡⪲ࡆ࠻࡙ࡂࡾහᐖ
ࡡ࠿࠵ࡾ㸝ᚃ⩽ࡢࡊࡣࡊࡣྊሣᛮ࠵ࡾ࠷ࡢᏕ⩞࡛࿣ࡢࡐࡿࡻࡽࡵࣁ࢙࣭ࣛࢨࣘࣤ࠿ኣࡂ㸡ࡵ࡛ࡵ࡛ྱࡱ
ࡣࡿࡾ㸞㸣➱⩽ࡼࡢ㸡࡛ࡂ࡞๑⩽࡞ࡗ࠷࡙㸡ᚨ⌦∸⌦Ꮥ㸡♼⤊⏍⌦Ꮥ㸡⬳Ὡິゝῼ㸡ᩐ⌦࣓ࢸࣜ➴ࡡᡥࡿ࡙࠷࡝࠷㡚⣪࠿⪲ࡆ࠻ࡾࡆ࡛ࡵ⌃ࡊࡂ࡝࠷㸣Ἢࢅ⤣ྙࡌࡾࡆ࡛࡞ࡻࡖ࡙ฦᯊࡊ㸡⫀▩てࡡᙟᠺ㐛⛤ࡷ㸡ࡐࡡ♼⤊࣒࢜ࢼࢫ࣑ࡡよ᪺ࢅᅒࡖ࡙࠷ࡾ㸣ᮇ
2.2. 㘊て࡞ఔ࠹⬳Ὡິ✇࡚ࡢ㸡ࡐࡡ୯࠾ࡼ⛸㢦ࡡリ㢗ࢅ⣺௒ࡌࡾ㸣ࡥ࡛ࡗ ࡝ࡏࡆࡡࡻ࠹࡝ዃዼ࡝⌟㇗࠿⏍ࡋࡾࡡ࠾㸡ࡐࡡ࣒ࡴࡢ㸡ྜྷୌࡡ༟ㄊࢅཬᚗ⫀ཱིࡌࡾ࡛⪲ࡆ࠻᪁࠿ን໩
࢜ࢼࢫ࣑ࡢࡻࡂࢂ࠾ࡖ࡙࠷࡝࠷㸣ࡐࡡᡥ࠿࠾ࡽࢅᚋ
ࡌࡾ࡛࠷࠹㘊て࡞㛭ࡌࡾࡵࡡ࡚࠵ࡾ㸣࠵࡛ࡡࡨࡒࡗ
ࡾࡒࡴ࡞㸡➱⩽ࡼࡢ㸡ᶭ⬗Ⓩ☚Ẵභ㫾⏤ാἪ㸝I27.㸞
ࡢ㸡▩てᑊ㇗࠿ᏽనࡈࡿࡾ࡬ࡀ✭㛣Ⓩ㸡᫤㛣Ⓩᯗ⤄ࢅ⏕࠷࡙㸡ཬᚗ༟ㄊࢅ⫀ཱིࡊ࡙࠷ࡾ࡛ࡀࡡ⬳Ὡິࢅࡡን໩࡞㛭ࡌࡾࡵࡡ࡚࠵ࡾ㸣ゝῼࡊࡒ 㸣ࡆࡆ࡚⮾࿝࠿࠵ࡾࡡࡢ㸡ࠔ⪲ࡆ࠻᪁࠿ን ࡆࡿࡼࡡ⫀▩てࡡࢱ࢕ࢻ࣐ࢴࢠ࡝ን໩ࡢ㸡㡚㡢ಘ໩ࡌࡾࠕ࡛࠷࠹஥㇗࡞㛭㏻ࡊࡒ⬳Ὡິ࡚࠵ࡾ㸣༟⣟ྒ࡛▩て࡛ࡡஊ㞫㸡ࡌ࡝ࢂࡔ㘊てࢅࡵࡒࡼࡌฌ⌦ࡡ࡞㡚ࢅ⪲࠷࡙࠷ࡾࡆ࡛࡞ࡻࡾὩິࡷ㸡ࠔࣁࢻࢻࠕࡷ
࢙࣭ࣚࡡࡻ࠹࡞ᛦࢂࡿࡾ࠾ࡵ▩ࡿ࡝࠷㸣ࡊ࠾ࡊᐁࡢ㸡 ࠔࢻࢴࣂࠕ࡝࡜≁ᏽࡡ⪲ࡆ࠻᪁࡞ᑊᚺࡌࡾὩິ࡚ࡢ
⎌ሾࡷฌ⌦ࣀ࣭ࢺࢗ࢘࢓࡞⏜ᮮࡌࡾ⛸ࠍࡡโ⣑ࡡ୯࡝࠷㸣ࡐࡆ࡚㸡⪲ࡆ࠻᪁࠿ን໩ࡌࡾࡒࡦ࡞ᐁ㥺ཤຊ࡚㐲ว࡝▩てࢅᐁ⌟ࡌࡾࡒࡴࡡᕟዼ࡝ᡋ␆࡛ࡲࡾࡆ
⩽࡞࣍ࢰࣤࢅᢪࡊ࡙ࡵࡼ࠷㸡ࡐࡿ࡞㛭㏻ࡊࡒ⬳Ὡິ࡛࠿࡚ࡀࡾ㸣ࡡ㒂నࢅ᥆ᏽࡊࡒ㸣ࡈࡼ࡞㸡ᑊ↯ᐁ㥺࡛ࡊ࡙㸡ྜྷࡋཬᚗ༟ㄊ࡞ຊ࠻࡙࡛ࡀ࡜ࡀᥞ♟ࡈࡿࡾ▯࠷⣟㡚ࢅ᳠ཬᚗ༟ㄊࡡ▩てⓏን໩ฝࡊ࡙࣍ࢰࣤࢅᢪࡌ࡛࠷࠹ㄚ㢗ࢅืࡡࢬࢴࢨ࡚ࣘࣤ
2.1. ༟ㄊንᙟຝᯕ
⾔࠷㸡ࡐࡡ⬳Ὡິࡵゝῼࡊࡒ㸣⣟㡚ࡡᥞ♟ࢰ࢕࣐ࣤࢡࡢ㸡ྜྷୌࡡ⿍㥺⩽ࡡ㸡ྜྷୌཬᚗ༟ㄊࡡ⪲ࡆ࠻᪁࠿ ᭩ิ࡞⣺௒ࡌࡾࡡࡢ㸡∸⌦Ⓩ࡞ࡢྜྷୌࡡ㡚࡚࠵ࡾን໩ࡌࡾ㢎ᗐ࡞ᇱࡘ࠷࡙スᏽࡊࡒ࠿㸡⪲ࡆ࠻᪁ࡡን
ࡡ࡞㸡ཬᚗࡌࡾ࡛⪲ࡆ࠻᪁࠿࡜ࢆ࡜ࢆንࢂࡖ࡙࠷ࡂ
໩࡛ࡢྜྷ᭿ࡊ࡙࠷࡝࠷㸣࡛࠷࠹⌟㇗࡚࠵ࡾ㸣ࡆࡡࡻ࠹࡝⌟㇗ࡢ㸡༟⣟࡝㡚⣌
Abstract—Human auditory perception changes dynamically according to the history of input acoustic signals.
We have been studying the dynamics of auditory perception by integrating various approaches including psychophysics, brain imaging, neurophysiology, and mathematical modeling. Here I describe three types of perceptual phenomena we have examined, and discuss theirneural mechanisms and functional significance.

65 ᐁ㥺ࡡ⤎ᯕ㸡⪲ࡆ࠻᪁ࡡን໩ࢅ᳠ฝࡌࡾㄚ㢗࡚᭯ណ
࡝Ὡິ࠿ぜࡼࡿࡒ㒂నࡢ㸡ᕞྎ⫀て㔕㸡ᕞྎ๑㢄๑㔕
㸝5+(㸞㸡ᕞ๑㢄ⴝ⭙ഁ㒂㸝.+( ࣇ࣭ࣞ࢜㡷ᇡ㸞㸡ᕞᓞ⓮㈻㸡๑ᖈ≟⓮㈻㸝&((㸞㸡ྎ㢄㡤㛣‹㸡っᗃ๑㒂࡝࡜࡚࠵ࡾ㸝+LJ㸞ୌ᪁㸡ཬᚗ༟ㄊ୯ࡡ⣟㡚ࢅ᳠ฝࡌࡾ
ㄚ㢗࡚ࡢ㸡ᕞྎࡡ⫀て㔕࠾ࡼᚃ᪁࡞㢄㡤ⴝ࡞࠾ࡄ࡙ࡡ
㒂న㸡ᕞᓞ⓮㈻㸡っᗃ๑㒂ࡡୌ㒂࡝࡜࡞Ὡິ࠿ぜࡼࡿࡒ㸣レ⣵࡝ฦᯊࡢ┤ࡂ࠿㸡୦᮪௲࡚㢟ⴥ࡝㐢࠷࠿ぜࡼࡿࡒࡡࡢ๑㢄ⴝ࡚࠵ࡾ㸣༟ㄊንᙟຝᯕ࡞࠽ࡄࡾ▩てࡡን໩ࡢ㸡⫀て㔕ࡓࡄ࡚ࡢ࡝
ࡂ㸡๑㢄ⴝࢅ୯ᚨ࡛ࡊᗀ⠂ᅑ࡞ฦᩋࡊࡒ⬳㒂నࡡ㏻ᦘ
࡞ࡻࡖ࡙⏍ࡲฝࡈࡿ࡙࠷ࡾ
Fig. 1. Brain activity synchronized with verbal transformations (orange) and tone࡛⩻࠻ࡼࡿࡾ㸣
detection (blue) (N=12). Overlapped areas are green4).

2.3. ᶭ⬗Ⓩណ⩇࡞ሒ࿈ࡊࡒெࡡ᪁࠿ࡐ࠹࡚࡝࠷ெ࡞Ẓ࡬࡙㢟ⴥ࡚࠵ ༟ㄊንᙟຝᯕࡢ㸡ྜྷୌ༟ㄊࡡཬᚗᥞ♟࡛࠷࠹ࡀࢂ
ࡖࡒ㸝+LJ㸞㸣㐘ິ⌦ㄵࡢ௑᪝࡝࠽㈰ྫྷ୦ㄵ࠵ࡾ࠿㸡ࡴ࡙୘⮤↓࡝≟Ἓ࡚⏍ࡋࡾ㘊て࡚࠵ࡾ࠿㸡ࡐࡡ⫴ᚃ➱⩽ࡼࡡᐁ㥺⤎ᯕࡢ㸡ࡐࡡࡥ࡛ࡗࡡッᣈ࡛ゕ࠻ࡾ࠾࡞ࡢ㸡ᐁ⎌ሾ࡚ᙲ࡞❟ࡗ᝗ሒฌ⌦࣒࢜ࢼࢫ࣑࠿ぜ࠻ࡵ▩ࡿ࡝࠷㸣㝻ࡿࡌࡾ㸣ᐁ⎌ሾ࡚ࡢ㸡⪝࡞ථງࡈࡿࡾ㡚㡢ಘྒࡢ㸡 ୌ᪁㸡ḗࠍ࡞ࢹࢴࣈࢱࢗࣤࡡ஢ῼࢅ⏍ᠺࡌࡾࡓࡄ
࠷ࡗ࡚ࡵᏰධ࡚࠵ࡾ࡛ࡢ㝀ࡼ࡝࠷㸣᝗ሒࡡḖⴘࡷን࡚ࡢ㸡ථງಘྒࡡ㐲ว࡝よ㔐࡞⮫ࡾ࡛ࡢ㝀ࡼ࡝࠷㸣ᙟࡡࡒࡴ㸡ኣ⩇Ⓩ࡚࠵ࡖࡒࡽ㸡୘ฦ᪺࡚࠵ࡖࡒࡽࡌ
࣍ࢹ࣑࢓ࢴࣈࡡវて᝗ሒ࡞ࡻࡖ࡙㸡ᖏ࡞ࢹࢴࣈࢱࢗ
ࡾࡆ࡛࠿ࡊࡣࡊࡣ࠵ࡾ㸣ྜྷୌ༟ㄊࡡཬᚗᥞ♟ࡢ㸡ࡆࣤࡡ஢ῼࡡጂᙔᛮࢅ᳠ッࡌࡾࡆ࡛࠿ᚪさ࡚࠵ࡾ㸣ࡱࡡࡻ࠹࡝୘Ᏸධ࡝ථງಘྒࡡ࣓ࢸࣜ࡞࡝ࡖ࡙࠷ࡾ㸣ࡒ㸡ࢨࢪࢷ࣑ࡡᏭᏽᛮࢅಕࡗࡒࡴ࡞ࡢ㸡࠵ࡱࡽ࡞ࡵ
ࡱࡍ㸡ཬᚗ࡞ࡻࡖ࡙㡚⟿ࡡࡱ࡛ࡱࡽ᪁࠿ኣ⩇Ⓩ࡞࡝㢎⦶࡞よ㔐࠿ን໩ࡌࡾࡆ࡛ࡢ㑂ࡄ࡝ࡄࡿࡣ࡝ࡼ࡝࠷㸣ࡖ࡙࠷ࡾ㸣ࡈࡼ࡞㸡≁ᚡ᢫ฝ㐛⛤ࡡ㡨ᚺ࡞ࡻࡖ࡙វ
ࡆࡡࡻ࠹࡝㸡ࢹࢴࣈࢱࢗࣤࡡࠔᬸ㉦ࠕࢅ㜭ࡃ࣒࢜ࢼて᝗ሒ࠿᫤ࠍ็ࠍንᙟࡊ࡙࠷ࡂ㸣ࡆࡡࡻ࠹࡝ሔྙ࡞
ࡢ㸡࣍ࢹ࣑࢓ࢴࣈࡡវて᝗ሒࡓࡄ࡚ࡢ࡝ࡂ㸡⬳හ࡞⵫࠻ࡼࡿࡒ᝗ሒ࡞ᇱࡘࡂࢹࢴࣈࢱࢗࣤࡡ஢ῼ⏍ᠺ࠿㔔さ࡝ᙲ๪ࢅᯕࡒࡌࡡ࡚ࡢ࡝࠷ࡓࢀ࠹࠾㸣 ࡆࡡࡻ࠹࡝⩻࠻᪁࡞ྙ⮬ࡌࡾࢸ࣭ࢰ࠿⬳Ὡິゝῼࡡ⤎ᯕ࠾ࡼᚋࡼࡿ࡙࠷ࡾ㸣༟ㄊࡡ⪲ࡆ࠻᪁࠿ን໩ࡊ
ࡒࢰ࢕࣐ࣤࢡ࡚㸡࠷ࢂࡹࡾࣇ࣭ࣞ࢜㡷ᇡࡡὩິ࠿ぜࡼࡿࡒࡆ࡛ࡢ඙㏑ࡊࡒ㏳ࡽ࡚࠵ࡾ㸣ࣇ࣭ࣞ࢜㡷ᇡࡢ㸡ఎ⤣Ⓩ࡞㸡ゕㄊ㡚ኇࡡ⏍ᠺ࡞㛭୙ࡌࡾ࡛⩻࠻ࡼࡿ࡙ࡀࡒ㸣ࡊ࠾ࡊࡆࡡᐁ㥺ࡡㄚ㢗ࡢࡵࡖࡤࡼ▩てㄚ㢗࡚࠵ࡖ࡙㸡⏍ᠺㄚ㢗࡚ࡢ࡝࠷㸣ࡐࡆ࡚ᛦ࠷ฝࡈࡿࡾࡡ
࠿㸡ࠔ㡚ኇࡡ▩てࡢ㸡㡚㡢ಘྒ࠾ࡼ㸡ࡐࡿࢅ⏍ᠺࡊࡒⓆリ⩽ࡡㄢ㡚ࢩ࢘ࢪࢲ࣭ࣔࢅ᥆ᏽࡌࡾࡆ࡛࡞ᇱࡘ
࠷࡙࡝ࡈࡿࡾࠕ࡛࠷࠹㡚ኇ▩てࡡ㐘ິ⌦ㄵ࡚࠵ࡾ 㸣༟ㄊንᙟຝᯕ࡞࠽ࡄࡾࣇ࣭ࣞ࢜㡷ᇡࡡὩິࡢ㸡᭍ᫍ࡝㡚ኇࢅฦ⟿໩ࡌࡾ࡞࠵ࡒࡖ࡙㸡㡚ኇ⏍ᠺ࡞㛭ࡌࡾ
Fig. 2. Signal intensity in the left ACC (orange) andහ㒂࣓ࢸࣜ࡞ࡻࡾ஢ῼ࠿⏕࠷ࡼࡿ࡙࠷ࡾࡆ࡛ࢅ♟ြ
left IFC (blue) as a function of the number of perࡊ࡙࠷ࡾࡡ࡚ࡢ࡝࠷ࡓࢀ࠹࠾㸣ࡆࡡ௫ㄕࢅ⿤௛ࡄࡾ
ceptual changes for each participant 4).
ࡻ࠹࡞㸡ࣇ࣭ࣞ࢜㡷ᇡࡡὩິࡢ㸡▩てࡡን໩ࢅ㢎⦶

66ࢫ࣑ࡡᏋᅹࡵ㸡⬳Ὡິゝῼࡡࢸ࣭ࢰ࠾ࡼぜ࡙࡛ࡿࡾ㸣๑㒂ᖈ≟⓮㈻ࡡὩິࡢ㸡ࣇ࣭ࣞ࢜㡷ᇡࡡὩິ࡛㏣࡞㸡▩てࡡን໩࠿ᑛ࡝࠷ெ࡮࡜㢟ⴥ࡝ࡡ࡚࠵ࡾ㸝+LJ㸞㸣 හ㒂࣓ࢸࣜ࡞ᇱࡘࡂ஢ῼ࡛វて᝗ሒ࡞ᇱࡘࡂ᳠ッࡡࢱ࢕ࢻ࣐ࢴࢠ࡝┞பష⏕࡞ࡻࡖ࡙⫀▩て࠿ᙟᠺࡈࡿࡾ㐛⛤ࡡධㇲࢅ᪺ࡼ࠾࡞ࡌࡾ࡞ࡢ㸡ࡱࡓ᳠ッࡌ࡬ࡀⅤ࠿ኣ࠷㸣༟ㄊንᙟຝᯕࡡࡻ࠹࡝≁Ṟ࡝㘊てࢅኣみⓏ࡞ฦᯊࡌࡾࡆ࡛࡞ࡻࡖ࡙㸡ࡐࡡᡥ࠿࠾ࡽ࠿ᚋࡼ
ࡿࡾ࡛᭿ᙽࡈࡿࡾ㸣▩てⓏ✭㛣ࡡ㐲ᚺⓏን໩
3.1. ⫀てᏽనṟຝ ḗࡢ▩てᑊ㇗ࡐࡡࡵࡡࡡ≁ᛮ࡚ࡢ࡝ࡂ㸡ࡐࡿ࠿ᏽనࡈࡿࡾ✭㛣Ⓩᯗ⤄ࡲ࡞ࡗ࠷࡙ࡡリ࡚࠵ࡾ㸣∸⌦Ⓩ࡝ᡥ࠿࠾ࡽ࡛▩てࡈࡿࡾ㡚″ࡡన⨠࡛ࡡ㛭౿ࡢ㸡ᇱ
ᮇⓏ࡞༟ୌࡡ㡚″࡞ࡗ࠷࡙レ⣵࡞ㄢ࡬ࡼࡿ࡙ࡀࡒ㸣ࡊ࠾ࡊᐁ㝷ࡡ⎌ሾ࡚ࡢ㸡㡚″ࡢ࠷ࢀ࠷ࢀ࡝న⨠࡞々ᩐᏋᅹࡊ࡙࠷ࡾࡆ࡛࠿ኣ࠷㸣ࡐࡡࡻ࠹࡝ሔྙ㸡㡚″ࡡన⨠ࢅึ᩷ࡌࡾ࡛ࡀ࡞㸡࠽ப࠷࠿ᙫ㡢ࡊྙ࠹ࡆ࡛
࠿࠵ࡾ㸣➱⩽ࡼࡢ㸡࠵ࡾ୦⪝㛣᫤㛣ᕣ㸝.9)㸞ࢅᣚࡗ㡚ࢅᥞ♟ࡊࡒ├ᚃ࡞ืࡡ.9)ࢅᣚࡗ㡚ࢅᥞ♟ࡊ࡙㸡ࡐࡡᏽనࢅ⫀ཱི⩽࡞ึ᩷ࡈࡎࡾᐁ㥺ࢅ⾔ࡖࡒ㸣ࡌࡾ࡛㸡ᚃ࡞ᥞ♟ࡊࡒ㡚ࡢ㸡༟≺࡚ᥞ♟ࡊࡒሔྙ࡞Ẓ࡬࡙㸡├๑ࡡ㡚࠾ࡼ㐪ࡉ࠾ࡾ᪁ྡྷ࡞ࡍࡿ࡙▩てࡈࡿࡾࡆ࡛
࠿ࢂ࠾ࡖࡒ㸝+LJ㸞㸣ࡆࡿࢅ⫀てᏽనṟຝ࡛࿣ࡩ 㸣ࡆࡡࡍࡿࡢみᗐ࡞ᥦ⟤ࡊ࡙ᗐ࡮࡜୦⩽࠿㞫ࡿ࡙࠷ࡾ࡛ࡀ᭩ኬ࡛࡝ࡽ㸡ࡐࡡ㔖ࡢ㹳ᗐ࡞ࡵ࠽ࡻࡩ㸣ࡱࡒ㸡඙⾔㡚࡛ᚃ⤾㡚ࡡ࿔ἴᩐ࠿㎾࠷࡛ࡀ࡞ࡊ࠾ṟຝ࠿⏍ࡋ࡝࠷㸣ᚃ࡞㸡ᗀᖈᇡ㞟㡚ࢅࢪࣅ࣭࡚࢜ᥞ♟ࡊࡒሔྙ࡞ࡵ㸡୕ୖᕞྎ᪁ྡྷ࡞ྜྷᵕࡡຝᯕ࠿⏍ࡋࡾࡆ࡛࠿♟ࡈࡿࡒ 㸣࠵ࡾ㡚࠿Ꮛᅹࡌࡾࡆ࡛࡞ࡻࡖ࡙㸡▩てⓏ࡝✭㛣࠿⣌⤣Ⓩ࡞ṅࡳ࡛࠷࠹ࡆ࡛ࡵ࡚ࡀࡾ㸣ࡆࡡຝᯕࡢ㸡ᙔิࡢẒ㍉Ⓩ㛏᫤㛣ࡡ඙⾔㡚ࢅ⏕࠷࡙ふῼࡈࡿࡒ࠿㸡⛂௧ୖࡡ▯࠷඙⾔㡚࡚ࡵ⏍ࡋࡾࡆ࡛࠿ࢂ࠾ࡖ࡙࠷ࡾ 㸣
3.2. ♼⤊࣒࢜ࢼࢫ࣑ ⫀てᏽనṟຝࡢ㸡࡜ࡡࡻ࠹࡝⬳හ࣒࢜ࢼࢫ࣑࡞ࡻ
ࡖ࡙⏍ࡋ࡙࠷ࡾࡡࡓࢀ࠹࠾㸣ᠻࠍࡢ㸡㯖㓁ୖࡡࢪࢻࢾࢫ࣐ࢅ⏕࠷㸡ୖୢ࡛࿣ࡣࡿࡾ⬳ᖷࡡ㒂న࠾ࡼ♼⤊ᚺ➽ࢅオ㘋ࡌࡾ♼⤊⏍⌦ᐁ㥺ࢅ⾔ࡖࡒ 㸣ୖୢࡢ⫀て⤊㊪ࡡ୯ࡡさࡡࡻ࠹࡝㒂ฦ࡚㸡࿔ἴᩐࡷ୦⪝㛣ࡡ᫤㛣ᕣࡷࣝ࣊ࣜᕣ࡞㐽ᢝᛮࢅࡵࡗࢼ࣭ࣖࣞࣤ⩄࠿Ꮛᅹࡊ࡙࠷ࡾ㸣㡚″ᏽనࡡᡥ࠿࠾ࡽ࡛ࡊ࡙ࡢ㸡ࡱࡍ୦⪝㛣ࡡన┞ᕣ㸝.5)㸰ᐁ㥺࡞⏕࠷ࡒࡡࡢ⣟㡚ๆ⃥࡝ࡡ࡚᫤㛣ᕣ࡛➴౮㸞ࡡࡲ࡞Ἰ┘ࡊࡒ㸣ࡱࡒ㸡඙⾔㡚࡛᳠ᰕ㡚ࡡ᫤㛣㛏ࡢࡐࡿࡑࡿPV࡛PV࡛㸡ெ㛣ࡡᚨ⌦∸⌦ᐁ㥺 ࡻࡽࡢ࠾࡝ࡽ▯࠷ೋࢅ⏕࠷ࡒ㸣 ࡱࡍ㸡༟≺ࡡ⣟㡚ࡡ.5)ࢅࡈࡱࡉࡱ࡞ን࠻࡙༟ୌࡡ
ࢼ࣭ࣖࣞࣤࡡཬᚺᙁᗐ㸝༟న᫤㛣࠵ࡒࡽࡡᖲᆍࢪࣂ
࢕ࢠᩐ㸞ࢅῼᏽࡌࡾ࡛㸡඼ᆵⓏ࡞ࡢ㸡࠵ࡾ.5)࡚㟸ᖏ࡞ᙁࡂཬᚺࡊ㸡ࡐࡆ࠾ࡼ.5)࠿㞫ࡿ࡙࠷ࡂ࡛ཬᚺ࠿΅ᑛࡌࡾࡻ࠹࡝.5)㐽ᢝᛮ࠿ぜࡼࡿࡒ㸣ḗ࡞㸡඙⾔㡚ࡡ.5)ࢅࡈࡱࡉࡱ࡞ን࠻࡝࠿ࡼྜྷᵕࡡῼᏽࢅ⾔࠹࡛㸡඙67Fig. 3. The auditory localization aftereffect.5) Mean
lateralization judgments are shown as a function of
the test ITD for a trained subject when no adapter
was presented and when the adapter ITD was 0. The
localization aftereffect is the difference between thetwo conditions. Error bars indicate the standard errorof the mean.
⾔㡚࡞ࡻࡖ࡙ᚃ⤾㡚࡞ᑊࡌࡾཬᚺ࠿ぞ์Ⓩ࡞ᙫ㡢ࢅུࡄࡾࡆ࡛࠿ࢂ࠾ࡖࡒ㸣ኣࡂࡡࢼ࣭࡚ࣖࣞࣤࡢ㸡᭩ࡵᙁࡂཬᚺࡌࡾ.5)ࡡೋࡢ඙⾔㡚ࡡ᭯↋࡞ࡻࡖ࡙࡮
࡛ࢆ࡜ን໩ࡎࡍ㸡ྜྷㄢࡡ㗞ࡈࡵንࢂࡼ࡝࠾ࡖࡒ࠿㸡ཬᚺᙁᗐ࠿඙⾔㡚࡞ࡻࡖ࡙ᘽࡴࡼࡿࡾ࡛࠷࠹⌟㇗࠿ぜࡼࡿࡒ㸣ࡊ࠾ࡵ㸡඙⾔㡚ࡡ.5)࠿ࡐࡡࢼ࣭ࣖࣞࣤࡡ
ྜྷㄢࡊ࡙࠷ࡾೋ࡞㎾࠷࡮࡜㸡ཬᚺᙁᗐࡡ఩ୖ࠿ⴥࡊ
࠾ࡖࡒ㸣ୌゕ࡚ゕ࠻ࡣ㸡඙⾔㡚࡞ᑊࡌࡾཬᚺ࠿ᙁ࠷
࡮࡜㸡ᚃ⤾㡚࡞ᑊࡌࡾཬᚺ࠿ᘽࡂ࡝ࡾ㸡ࡗࡱࡽࢼࣖ
࣭ࣞࣤࡡវᗐ࠿఩ୖࡌࡾࡡ࡚࠵ࡾ㸣 ࡆࡡࡻ࠹࡝಴ࠍࡡࢼ࣭ࣖࣞࣤࡡᣪິ࡛⫀てᏽనṟຝࡡࡻ࠹࡝▩て⌟㇗࡛ࢅ⤎ࡦࡗࡄࡾ࡞ࡢ㸡ࢼ࣭ࣖࣞࣤࡡ㞗ᅆࡡᣪິࢅ⩻࠻ࡾᚪさ࠿࠵ࡾ㸣ࡐࡆ࡚ᠻࠍࡢ㸡⛸㢦ࡡ.5)➚ྒ໩࣓ࢸࣜࢅࢷࢪࢹࡊࡒ㸣ࡥ࡛ࡗࡴࡢ㸡ࡈࡱࡉࡱ࡝.5)࡞ྜྷㄢࡊࡒᩐኣࡂࡡࢼ࣭ࣖࣞࣤධమ
ࡡཬᚺࣂࢰ࣭ࣤ㸝㔔ᚨ㸞࡚.5)࠿➚ྒ໩ࡈࡿࡾ࡛࠷࠹
ࡵࡡ࡚࠵ࡾ㸝+LJ㸞㸣ࡵ࠹ࡥ࡛ࡗࡢ㸡ᕞྎ༖⌣ࡡ࠷ࡍࡿ࠾࡞⥾ࡷ࠾࡞ྜྷㄢࡊࡒࢲࣔࣤࢾࣜ㛣ࡡ⮾ዢࡡࣁ
ࣚࣤࢪ࡚.5)࠿➚ྒ໩ࡈࡿࡾ࡛࠷࠹ࡵࡡ࡚࠵ࡾ㸣 ࠷ࡍࡿࡡሔྙ࡞ࡵ㸡಴ࠍࡡࢼ࣭ࣖࣞࣤࡢ㸡඙⾔㡚ࡡᏋᅹ࡞ࡻࡖ࡙វᗐࢅን໩ࡈࡎࡾ࡛௫ᏽࡌࡾ㸣ථງ࠿ኬࡀࡄࡿࡣវᗐࢅୖࡅ㸡ᑚࡈࡄࡿࡣ㏣࡞୕ࡅࡾ࡛
࠷࠹රྙ࡚࠵ࡾ㸣ࡆࡿࡼࡡ࣓ࢸࣜ࡞㸡ᐁ㝷࡞ῼᏽࡈࡿࡒࢼ࣭ࣖࣞࣤࡡཬᚺ≁ᛮࢅ㐲⏕ࡊ࡙ゝ⟤ᶭ࡚ࢨ࣐࣭ࣖࣝࢨࣘࣤࡊ࡙ࡲࡾ࡛㸡࠷ࡍࡿࡡ࣓ࢸ࡚ࣜࡵ㸡ᚃ⤾㡚ࡡన⨠࠿඙⾔㡚࠾ࡼ㐪ࡉ࠾ࡾ᪁ྡྷ࡞⣌⤣Ⓩ࡞ࡍ
ࡿࡾ࡛࠷࠹ࣂࢰ࣭ࣤࡡ࣓ࢸࣜฝງ࠿ᚋࡼࡿࡒ㸣ࡆࡿ

Fig. 4. Illustration of the population-vector modelfor IPD (interaural phase difference) representation, and an example of population responses.9) A:
an array of units tuned to various IPDs, curves
representing the units’ IPD functions of individual
units (above) and the response strength distribution
along the best IPD axis for a given probe IPD (below). Panel represents cases without a conditioner(adapter). B: as above, but with a conditioner. C:
normalized responses of the unit array to a probewith an IPD of 90°, plotted against the unit’s best
IPD. Each open circle or asterisk represents the response of one unit in the absence of, and in thepresence of, a 0-IPD conditioner, respectively. Twoasterisks accompanied by upward-pointing arrows
indicate the data points outside the ordinate rage,
for which the normalized response values are indicated by the numbers below the symbols. Thickgray lines are drawn to guide the eye to the overall
trends, by computing running averages using a
Hanning window spanning 90° (broken line: conditioner absent; solid line: conditioner present).
Vertical dashed (conditioner absent) and solid(conditioner present) lines indicate the centroids ofthe response distribution (i.e., IPD representations).

ࡢெ㛣࡚ふῼࡈࡿࡒᏽనṟຝࡡ≁ᛮ࡛භ㏳ࡊ࡙࠷ࡾ㸣 Ⓩ࡝ណ⩇ࢅ㸡ࡵ࠹ᑛࡊレࡊࡂ⩻࠻࡙ࡲࡻ࠹㸣ୌ⯙Ⓩ⛸ࡡ㐢࠷㸡ๆ⃥ࡡ᫤㛣≁ᛮࡡ㐢࠷࡝࡜࠿࠵ࡾࡡ࡚ᛮ
࡞ゕࡖ࡙㸡಴ࠍࡡࢼ࣭ࣖࣞࣤࡢ㸡࠵ࡾ⠂ᅑහ࡚ࡢථ
᛬࡞⤎ㄵࡢ࡚ࡀ࡝࠷࠿㸡ୖୢࡡṹ㝭ࡱ࡚࡞㸡᭩⤂Ⓩງࡡೋ࠿ኬࡀࡂ࡝ࡾ࡛༟న᫤㛣࠵ࡒࡽࡡࢪࣂ࢕ࢠᩐ
࡝▩てහᐖ࡞ᑊᚺࡊࡒ♼⤊᝗ሒ࠿ࡗࡂࡽฝࡈࡿ࡙࠷
࠿ቌ࠻ࡾࡆ࡛࡞ࡻࡖ࡙ථງೋࢅ⾪⌟ࡊ࡙࠷ࡾ㸣ࡊ࠾ࡾྊ⬗ᛮ࠿࠵ࡾ㸣ࡊࡐࡡ⠂ᅑࡢ࠵ࡱࡽᗀࡂ࡝ࡂ㸡୕㝀௛㎾࡚ࡢ㣤࿰ࡊ㸡ୖ㝀௛㎾࡚ࡢ㞟㡚࡞ᇔࡵࡿࡾ㸣࡛ࡆࢀ࠿㸡ᠻࠍࡡ࣓
3.3. ᶭ⬗Ⓩណ⩇ࢸࣜࡡࡻ࠹࡞㸡ථງೋ࠿ኬࡀ࠷࡛ࡀ࡞វᗐࢅୖࡅ㸡ᑚࡈ࠷࡛ࡀ࡞୕ࡅࡾ࡛㸡ᐁຝⓏ࡞ࡢᗀ࠷⠂ᅑࡡථງ ඙⾔㡚࡞ࡻࡖ࡙ᚃ⤾㡚ࡡన⨠࠿ࡍࡿ࡙▩てࡈࡿࡾ࡞ᑊᚺࡊ࡙ࡐࡡᕣࢅ⾪⌟ࡌࡾࡆ࡛࠿ྊ⬗࡛࡝ࡾ㸣࡛࠷࠹ࡡࡢ㸡༟࡞⫀て⣌࠿୘ḿ☔ࡓ࡛࠷࠹ࡆ࡛ࢅណ
಴ࠍࡡࢼ࣭ࣖࣞࣤ࠿ࡐࡡࡻ࠹࡞ᣲࡾ⯑࠻ࡣ㸡ࡐࡡධ࿝ࡌࡾࡡࡓࢀ࠹࠾㸣మ࡛ࡊ࡙ࡢ㸡├๑ࡡථງࡡ㎾ࡂ࡚ࢂࡍ࠾࡞␏࡝ࡖࡒ ᐁࡢ㸡ࡆࡡࡻ࠹࡝ฌ⌦≁ᛮ࡞ࡢ᝗ሒฌ⌦୕ࡡฺⅤථງ࡞ᑊࡌࡾ⮾ዢࣂࢰ࣭ࣤࡡᕣ࠿ኬࡀࡂ࡝ࡽ㸡ᘒื࠿࠵ࡾ㸣ࢂࡍ࠾࡞న⨠ࡡ␏࡝ࡾࡨࡒࡗࡡ㡚ࢅᘒืࡌງ࠿ྡྷ୕ࡌࡾࡆ࡛࡞࡝ࡾ㸣ࡆࡿࡢ▩て⣌ୌ⯙࡞㐲⏕ࡾᐁ㥺ࢅ⾔࠹࡛㸡඙⾔㡚࠿࠵ࡾሔྙ࡞ࡢ㸡࡝࠷ሔྙ࡚ࡀࡾ᝗ሒฌ⌦ཋ⌦࡚࠵ࢀ࠹㸣࡞Ẓ࡬㸡඙⾔㡚ࡡ௛㎾ࡓࡄన⨠ࡡᘒืງ࠿ྡྷ୕ࡌࡾ ௧୕ࡡࡻ࠹࡞㸡⫀て࡞࠽ࡄࡾ✭㛣᝗ሒฌ⌦ࡢ㸡ࢱࡡ࡚࠵ࡾ㸣ࡐࡡ࠾ࢂࡽ㸡඙⾔㡚࠾ࡼ㞫ࡿࡒ࡛ࡆࢀ࡚

࢕ࢻ࣐ࢴࢠ࡚㐲ᚺⓏ࡝ࡵࡡ࡚࠵ࡾ㸣⫀ཱི⩽⮤㌗ࡵẴ
ࡢᘒืງࡢ఩ୖࡌࡾ
㸣඙⾔㡚ࡡ௛㎾ࡡ✭㛣࠿ఘࡘ࠾࡟࠹ࡔ࡞㸡ථງࡈࡿࡾ㡚࡞ᚺࡋ࡙࠵ࡔࡆࡔฌ⌦ࡦࡾ࡛࠷࠹ࡆ࡛ࡢ㸡ࡔࡺ࠹࡜ࡐࡆࢅ⹰╉㙶࡚ᣉኬࡊࡡ↌Ⅴࢅິ࠾ࡊ࡙㸡ຝ⋙ࡡࡻ࠷ฌ⌦ࢅᐁ⌟ࡊ࡙࠷ࡾ
࡙ぜ࡙࠷ࡾࡻ࠹࡝ࡵࡡ࡚㸡᩺ࡊ࠷㡚࡛඙⾔㡚࡛ࡡᕣࡡ࡚࠵ࡾ㸣
ฦ࡞ࡢࡀࢂࡴ࡙ᨼវ࡞࡝ࡾ㸣 ᏽనṟຝ࡞ぜࡼࡿࡾࡻ࠹࡝㐲ᚺⓏ࡝➚ྒ໩ࡡᶭ⬗68▩てⓏྜྷ᫤ᛮࡡ㐲ᚺⓏን໩
4.1. っ⫀てྜྷ᫤ᛮṟຝ ࡜ࡡវて࣓ࢱࣛࢷ࢔࡚ࡵᚉᮮ࠵
ࡱࡽ◂✪ࡈࡿ࡙ࡆ࡝࠾ࡖࡒࡆ࡛ࡓ
࠿㸡᫤㛣࡞ࡗ࠷࡙ࡵ඙⾔ๆ⃥࠿ᚃ⤾ๆ⃥࡞ᙫ㡢ࡌࡾࡆ࡛࠿᭩㎾ࢂ࠾ࡖ
࡙ࡀࡒ㸣⫀て࡚ࡵ㡚ࡡ᫤㛣㡨ᗆึ᩷࠿඙⾔㡚ࡡᙫ㡢ࢅུࡄࡾ࠿ 㸡ࡆࡆ࡚ࡢって࡛⫀て࡞ࡱࡒ࠿ࡖࡒྜྷ᫤
ᛮึ᩷࡞࠽ࡄࡾṟຝࡡౚࢅ⣺௒ࡌ
Fig. 5. The time course of the stimulus sequence used to test the effects ofࡾ 㸣
audiovisual lag adaptation on simultaneity judgments13). The left-hand box
 ってๆ⃥࡛ࡊ࡙㯦࠷⫴ᬊ୕ࡡⓉshows the configuration of the visual stimulus, and the right-hand box࠷ࣛࣤࢡ≟ࡡࣆࣚࢴࢨࣖ㸡⫀てๆ⃥shows the waveform of the auditory stimulus.
࡛ࡊ࡙▯࠷⣟㡚ࢅ⏕࠷㸡୦⩽ࢅࡈࡱࡉࡱ࡝ࢰ࢕࣐ࣤࢡ࡚ᥞ♟ࡊ࡙㸡ྜྷ᫤࠾ྫྷ࠾ࢅふᐳ⩽࡞ึ᩷ࡊ࡙ࡵࡼ࠹
㸝+LJ㸞㸣ࡆࡡ㝷㸡ࡐࡡ๑࡞ᩐฦ
㛣㸡ってๆ⃥ࡻࡽࡵ⫀てๆ⃥ࡡ᪁࠿᪡࠷࣋࢓ࢅふᐳࡌࡾ࡛㸡ってๆ⃥ࡡ᪁࠿඙࡞ᥞ♟ࡈࡿࡒ࡛ࡀ࡞ྜྷ᫤࡛
▩てࡈࡿࡾࡻ࠹࡞࡝ࡾ㸣㏣࡞⫀てๆ⃥ࡡ᪁࠿ってๆ⃥ࡻࡽࡵ᪡࠷࣋࢓ࢅふᐳࡊࡒᚃ࡚ࡢ㸡⫀てๆ⃥ࡡ᪁࠿඙࡞ᥞ♟ࡈࡿࡒ࡛ࡀ࡞ྜྷ᫤࡛▩てࡈࡿࡾࡻ࠹࡞࡝ࡾ㸣ࡆࡡࡻ࠹࡝୹ふFig. 6. The effects of audiovisual (AV) lag adaptation on simultaneity judgⓏྜྷ᫤Ⅴࡡ⛛ິࡌ࡝ࢂࡔṟຝࡡ㔖ࡢ㸡⛸ࠍࡡ᮪௲࡞ࡵࡻࡾ࠿㸡㡨ᚺࡊ
ments13). The probability of ‘simultaneous’ response is shown as a functionࡒ᫤㛣ࡍࡿࡡ⛤ᗐ࡞࡝ࡾࡆ࡛ࡵ
of the test audiovisual lag. The response probability for each lag was࠵ࡾ㸣ࡱࡒ㸡っ⫀て࠿ྜྷ᫤࡛ึ᩷ࡈ
computed for each participant, and then averaged across participants. The
ࡿࡾ᳠ᰕๆ⃥ࡡ᫤㛣ࡍࡿࡡ⠂ᅑࡵ㸡 main effect of adaptation is an increase in the probability of simultaneity on㡨ᚺๆ⃥ࡡ᫤㛣ࡍࡿࡡ᪁ྡྷ࡞ᗀ࠿
the side of adapted lag (shaded areas).
ࡾ㸝+LJ㸞㸣ࡗࡱࡽ㸡ୌᏽࡡっ⫀てࡡ᫤㛣ࡍࡿࢅ⤊㥺ࡌࡾ࡛㸡ࡐࡡࡍ㡨ᚺຝᯕࡢ㸡୹ふⓏ࡝ྜྷ᫤ᛮึ᩷ࡓࡄ࡚ࡢ࡝ࡂ㸡▩ࡿࢅᑚࡈࡂࡌࡾ᪁ྡྷ࡞ྜྷ᫤ᛮࡡึ᩷ᇱ‵࠿⛛ິࡌࡾ
て୕ࡡᶭ⬗Ⓩ࡝ྜྷ᫤ᛮ࡞ࡵᙫ㡢ࡌࡾࡆ࡛࠿ࢂ࠾ࡾ㸣ࡡ࡚࠵ࡾ㸣
 ྜྷᵕࡡṟຝࡢ㸡├᥃Ⓩ࡞っ⫀てࡡྜྷ᫤ᛮࢅึ᩷ࡊ
4.2. ᶭ⬗Ⓩណ⩇࡝࠷ㄚ㢗࡚ࡵふᐳ࡚ࡀࡾ㸣ࡱࡍ㸡ṟຝࡡㄕ᪺ࡡ๑࡞㸡 ࡆࡡࡻ࠹࡝㡨ᚺࡡᶭ⬗Ⓩណ⩇ࢅ⩻࠻ࡾ୕࡚㔔さ࡝ᇱᮇ࡛࡝ࡾっ⫀て⌟㇗ࢅㄕ᪺ࡌࡾ㸣ࡨࡒࡗࡡᑚළ࠿ࡡࡢ㸡っ⫀て᝗ሒࡡྜྷ᫤ᛮࢅึ᩷ࡌࡾࡡࡢ㸡⬳࡞࡛ᕞྎ࠾ࡼ㎾ࡘ࠷࡙ࡀ࡙㸡୯ኳ࡚ஹᕣࡌࡾ࡛࠷࠹ってࡖ࡙ࡢཋ⌦Ⓩ࡞㟸ᖏ࡞㞬ࡊ࠷᝗ሒฌ⌦ㄚ㢗ࡓ࡛࠷࠹ࣂࢰ࣭ࣤࢅᥞ♟ࡌࡾ࡛㸡࡮࡛ࢆ࡜ࡡሔྙᑚළ࠿├㐅ࡆ࡛࡚࠵ࡾ㸣➠ୌ࡞㸡ක࡛㡚࡚ࡢ✭Ẵ୯ࢅఎࢂࡾ㏷
ࡊ࡙㏳ࡽ㐛ࡁ࡙࠷ࡾࡻ࠹࡞ぜ࠻ࡾ㸣࡛ࡆࢀ࠿㸡ஹᕣࡈ࠿ධࡂ㐢࠹㸣කࡢ⛂㏷⣑୒NP㸡አ⏲ࡡ࢕࣊ࣤࢹ
ࡌࡾ█㛣࡞▯࠷㡚ࢅ㫾ࡼࡌ࡛㸡ᑚළ࠿⾢✲ࡊ࡙ᕞྎ࠾ࡼ┘࡞฽㐡ࡌࡾࡱ࡚࡞࠾࠾ࡾ᫤㛣ࡢ↋っ࡚ࡀࡾ㸣࡞ཬⓆࡊ࡙࠷ࡾࡻ࠹࡞ぜ࠻ࡾ⋙࠿㧏ࡱࡾ 㸣ࡆࡡ⌟ୌ᪁㡚ࡢ⛂㏷P⛤ᗐ࡝ࡡ࡚㸡ᑊ㇗࠿Pࡣ࠾ࡽ඙㇗ࡵ㸡௙ࡡっ⫀て⤣ྙ⌟㇗࡛ྜྷᵕ㸡▯࠷㡚ࢅ㫾ࡼࡌ࡞࠵ࡿࡣ㸡කࡻࡽࡵPV⛤ᗐ㐔ࡿ࡙⪝࡞฽㐡ࡌࡾࡆࢰ࢕࣐ࣤࢡ࡛ᑚළ࠿ஹᕣࡌࡾࢰ࢕࣐ࣤࢡ࡛࠿ྙࡖ࡙
࡛࡞࡝ࡾ㸣ࡵࡔࢀࢆ㸡ࡆࡡ᫤㛣ᕣࡢᑊ㇗ࡡ㊝㞫࡞ࡻ࠷࡝࠷࡛ຝᯕ࠿࡝ࡂ࡝ࡾ㸣ࡗࡱࡽ㸡っ⫀て᝗ሒࡡྜྷࡖ࡙ን໩ࡌࡾ㸣➠஦࡞㸡௫࡞┘࡛⪝࡞ྜྷ᫤࡞ๆ⃥࠿᫤ᛮࡢ㸡୦⩽ࢅ⤎ࡦࡗࡄࡾᙁ࠷ᡥ࠿࠾ࡽ࡛࡝ࡾ㸣ࡈᒀ࠷ࡒ࡛ࡊ࡙ࡵ㸡ࡐࡆ࠾ࡼ♼⤊ࡡὩິ࠿っ⫀てࡐࡿ࡙㸡ࡆࡆ࠾ࡼ࠿ṟຝ࡚࠵ࡾ㸣ᑚළ࠿ஹᕣࡌࡾ█㛣࡛㸡ࡑࡿࡡ⤊㊪ࢅ㏳ࡖ࡙ኬ⬳⓮㈻ࡡって㔕࡛⫀て㔕࡞฽㡚࠿㫾ࡾ█㛣࡛࠿ୌᏽ᫤㛣ࡍࡿ࡙࠷ࡾࣂࢰ࣭ࣤࢅࡊ
㐡ࡌࡾࡱ࡚ࡡ᫤㛣ࡢ↋っ࡚ࡀ࡝࠷ࡂࡼ࠷␏࡝ࡾ㸣࣏ࡣࡼࡂふᐳࡌࡾ࡛㸡ཬⓆຝᯕ࠿᭩ኬ࡛࡝ࡾっ⫀てࡡ࢜ࢠࢧࣜࡡ⬳࡞㞹ᴗࢅ᣼ථࡊ࡙ゝῼࡊࡒࢸ࣭ࢰࡷ㸡ࢰ࢕࣐ࣤࢡ࠿ࡐࡔࡼࡡ᪁ྡྷ࡞ࡍࡿࡾࡡ࡚࠵ࡾ 㸣ࡆெ㛣ࡡ⬳ἴࡷ⬳☚⏲ࡡゝῼࢸ࣭ࢰ࡞ࡻࡿࡣ㸡♼⤊Ὡࡡ࡛ࡀࡡࡍࡿࡡࣂࢰ࣭ࣤࡢ㸡୕㏑ࡊࡒ㸡ࣛࣤࢡ࡛⣟ິ࠿ኬ⬳⓮㈻࡞฽㐡ࡌࡾ᫤㛣ࡢ⫀てࡡ᪁࠿ってࡻࡽ㡚ࡡྜྷ᫤ᛮࢅ├᥃Ⓩ࡞ึ᩷ࡌࡾሔྙࡡ⤎ᯕ࡛㟸ᖏ࡞
ࡵᩐ༎PVࡵ㏷࠷㸣ࡆࡡ᫤㛣ࡢἸណࡡྡྷࡄ᪁ࡷๆ⃥ࡡࡻࡂజ࡙࠷ࡾ㸣ࡗࡱࡽ㸡っ⫀てࡡ᫤㛣ࡍࡿ࡞ᑊࡌࡾ

69

ᙁࡈ࡝࡜࡞ࡻࡖ࡙ࡵን໩ࡌࡾ㸣ࡆࡿࡼࡡ஦⛸㢦ࡡさᅄ࡞ࡻࡖ࡙㸡አ⏲ࡡ࢕࣊ࣤࢹ࠾ࡼක࡛㡚࠿ྜྷ᫤࡞Ⓠ
ࡎࡼࡿࡒ࡛ࡊ࡙ࡵ㸡⬳හ࡚ࡢ㸡っ⫀て᝗ሒࡡ㛣࡞༟⣟࡞஢ῼ࡚ࡀ࡝࠷᫤㛣ࡡࡍࡿ࠿⏍ࡋࡾࡆ࡛࡞࡝ࡾ㸣っ⫀てࡡྜྷ᫤ᛮึ᩷࠿ཋ⌦Ⓩ࡞㞬ࡊ࠷࡛࠷ࡖࡒࡡࡢ
ࡆࡡࡒࡴ࡚࠵ࡾ㸣 ࡚ࡢ㸡ࡆࡡ㞬ࡊ࠷᝗ሒฌ⌦ㄚ㢗ࢅ㸡⬳ࡢ࠷࠾࡞よỬࡊ࡙࠷ࡾࡡ࡚࠵ࢀ࠹࠾㸣ࡆࡆ࡚⣺௒ࡊࡒっ⫀てࡡ᫤㛣ࡍࡿ࡞ᑊࡌࡾ㡨ᚺຝᯕࡡណ࿝ࡌࡾ࡛ࡆࢀࡢ㸡ථງࡈࡿࡒっ⫀て᝗ሒ㛣ࡡ᫤㛣ࡡࡍࡿ࠿࠵ࡾ⛤ᗐୌᏽ࡚࠵ࡿࡣ㸡ࡐࡡࡍࡿࢅᑚࡈࡂࡌࡾ᪁ྡྷ࡞ྜྷ᫤ᛮࡡᇱ
‵࠿⛛ິࡌࡾ࡛࠷࠹ࡆ࡛࡚࠵ࡾ㸣ࡗࡱࡽ㸡⬳ࡢ㸡ᅖᏽⓏ࡝ྜྷ᫤ᛮࡡᇱ‵ࢅᣚࡖ࡙࠷ࡾࡡ࡚ࡢ࡝ࡂ㸡├㎾
࡞⤊㥺ࡊࡒវて᝗ሒࢅࡵ࡛࡞㸡ྜྷ᫤ᛮࡡᇱ‵ࢅ㐲ᚺ
Ⓩ࡞ን໩ࡈࡎ࡙࠷ࡾࡡ࡚࠵ࡾ㸣ࡆࡿ࠿㸡∸⌦Ⓩ࠽ࡻࡦ♼⤊Ⓩ࡝㟸ྜྷ᭿࡞ࡵ࠾࠾ࢂࡼࡍ㸡㐲ว࡞っ⫀て᝗ሒࡡྜྷ᫤ᛮࢅึ᩷ࡌࡾࡒࡴࡡ⬳ࡡᡋ␆࡚࠵ࡾ࡛⩻࠻ࡼࡿࡾ㸣࠽ࢂࡽ࡞ ᮇ✇࡚⣺௒ࡊࡒ⛸㢦ࡡ▩て⌟㇗ࡢ㸡▩てࡈࡿࡾᑊ㇗ࡵ㸡ࡐࡿ࠿ᏽనࡈࡿࡾ࡬ࡀ᫤㛣ࡷ✭㛣ࡡᯗ⤄ࡲࡵ㸡
∸⌦Ⓩ࡝ࡵࡡ࡛ྜྷୌ࡚ࡢ࡝ࡂ㸡├㎾ࡡ⤊㥺࡞ᇱࡘ࠷࡙⤧࠻ࡍን໩ࡊ࡙࠷ࡾࢱ࢕ࢻ࣐ࢴࢠ࡝ࡵࡡ࡚࠵ࡾࡆ
࡛ࢅዯᐁ࡞∸ㄊࡖ࡙࠷ࡾ㸣ࡆࡡᶭ⬗࠿࠵ࡾ࠿ࡹ࠻࡞㸡⎌ሾࡡን໩ࡷ▩て࣒࢜ࢼࢫ࣑࡞හᅹࡌࡾཋ⌦Ⓩᅏ㞬࡝࡜࡞࠾࠾ࢂࡼࡍ㸡㐲ว࡞᝗ሒࢅ⤣ྙࡊ㸡࿔ᅑࡡ≟Ἓᢍᥩࡷࡐࡿ࡞ᇱࡘ࠷ࡒ⾔ິࢅ⾔࠹ࡆ࡛࠿࡚ࡀࡾࡡ࡚࠵ࡾ㸣 ࡈ࡙㸡ࡆࡡࡻ࠹࡝▩ぜࡢ㸡྘⛸ࣞ࣍ࢴࢹࡡ⫀て⣌ࢅスゝࡌࡾ୕࡚㸡࡜ࡡࡻ࠹࡞ᙲ❟ࡗ࡚࠵ࢀ࠹࠾㸣⮤ᚂࣞ࣍ࢴࢹ࡞㛭ࡊ࡙ࡢ㸡ெ㛣ࡡ▩ぜ࠿├᥃ฺ⏕࡚ࡀࡾ࡛ࡢ⩻࠻࡝࠷᪁࠿ࡻ࠷㸣ࣞ࣍ࢴࢹࡡ⫀て⣌࡞ࡢ㸡ெ㛣ࡡ⫀て⣌࡛ࡢืࡡ㸡ࡐࡿࡑࡿᅖ᭯ࡡ┘Ⓩ㸡⎌ሾ㸡ࣀ࣭ࢺࢗ࢘࢓ࡡโ⣑࠿࠵ࡾࡢࡍࡓ࠾ࡼ࡚࠵ࡾ㸣ࡒࡓ㸡ெ㛣ࡡリࡵ㸡࡛ࡵ࠾ࡂ࠹ࡱࡂິషࡊ࡙࠷ࡾࡥ࡛ࡗࡡ
ౚ࡛ࡊ࡙㸡ర࠾ࡡࣃࣤࢹ࡞ࡢ࡝ࡾ࠾ࡵ▩ࡿ࡝࠷㸣 ୌ᪁㸡ெ㛣࡛ࣞ࣍ࢴࢹ࠿ୌమ࡛࡝ࡖ࡙ర࠾ࢅ⾔࠹ࡻ࠹࡝ࢨࢪࢷ࣑ࡡሔྙ࡞ࡢ㸡ゕ࠹ࡱ࡚ࡵ࡝ࡂெ㛣ࡡ࣒࢜ࢼࢫ࣑ࢅ༎ฦ⩻៎ࡊ࡝ࡄࡿࡣ࡝ࡼ࡝࠷㸣ౚ࠻ࡣ㸡㐪㝰ᆀ࡞㸡ってࢬࣤࢦ㸡⫀てࢬࣤࢦ㸡⮤ฦࡡ㌗మࡡ
ິࡀࢅཬ᫆ࡊ࡙ິࡂ࢓ࢠࢲ࢙࣭ࣖࢰࢅス⨠ࡊ࡙㸡ࢾࢴࢹ࣭࣠ࢠ⤊⏜࡚㐪㝰᧧షࡌࡾሔྙࢅ᝷ᏽࡊ࡙ࡲࡻ
࠹㸣って᝗ሒ㸡⫀て᝗ሒ㸡㐘ິ᝗ሒࡡ㛣࡞࡜ࡡ⛤ᗐ
᫤㛣Ⓩ㸡✭㛣Ⓩ࡝ࡍࡿ࠿࠵ࡾ࡛▩てࡷ⾔ິ࠿ጄࡅࡼ
ࡿࡾ࡚࠵ࢀ࠹࠾㸣᭩ิࡢ୘⮤↓࡚ࡵ㸡ࡊࡣࡼࡂమ㥺ࡊ࡙࠷ࡾ࠹ࡔ࡞⬳࠿㐲ᚺࡊ㸡ၡ㢗࡝ࡂὩິ࡚ࡀࡾࡻ
࠹࡞࡝ࡾࡓࢀ࠹࠾㸣ࣞ࣍ࢴࢹᢇ⾙࡛㏳ಘᢇ⾙ࡡⓆ㐡࡞ࡻࡖ࡙㸡⏍㌗ࡡெ㛣ࡡ㌗మ࠿ࡵࡗ᫤㛣Ⓩ㸡✭㛣Ⓩโ⣑࠾ࡼよᨲࡈࡿࡾࡆ࡛ࡵ⌟ᐁ࿝ࢅᖈࡦ࡙ࡀࡒ࠿㸡ᯕࡒࡊ࡙⬳ࡢࡐࡡࡻ࠹࡝᩺ࡊ࠷㌗మ࡞㐲ᚺࡊ㸡ࣛ࢓ࣛࢷ࢔ࢅ⋋ᚋࡌࡾࡆ࡛࠿࡚ࡀࡾ࡚࠵ࢀ࠹࠾㸣ࡆࡿࡢࡱࡈ࡞㸡▩て⣌㸡㐘ິ⣌ࡡ▯᭿Ⓩ㸡㛏᭿Ⓩ࡝ࢱ࢕ࢻ࣐ࢠࢪࡡၡ㢗࡝ࡡ࡚࠵ࡾ㸣70

ㅨ㎙⫀て࠽ࡻࡦっ⫀てࡡࢱ࢕ࢻ࣐ࢠࢪ࡞㛭ࡌࡾභྜྷ◂✪⩽࡚࠵ࡾᒱ⏛⨶ⱉ㸡Ềㆺఘ㸡Peter Davis㸡㎾⸠Ὂྍ㸡ཿᕖⱩெ㸡∶ົᘧ㸡⸠ᓧ࿰㤮㸡こ⏛┶ஒ㸡ୖᱼಘ㍔㸡ᑚᯐࡱ࠽ࡽ㸝㡨୘ྜྷ㸞ࡡ྘Ắ࡞វㅨࡊࡱࡌ㸣ཤ⩻ᩝ⊡᯵㔕 ∶ኰ (1998). ⫀て㸯⎌ሾ࡞㐲ᚺࡌࡾ↋ណㆉࡡ▩ᛮ. ᪝ᮇ㡚㡢Ꮥఌヽ 54, 508-514.
2) Okada, M., Mizutani, S., and Kashino, M. (2005). The dynamics of auditory streaming. The 27th MidWinter Meetingof ARO.
3) Warren, R.M. (1999). Auditory Perception – A new analysis and synthesis. Cambridge, UK: Cambridge University
Press.
4) Kondo, H. and Kashino, M. (2005). Distributed brain activation involved in the changes of auditory perceptual organization: an fMRI study on the verbal transformation illusion. The 27th MidWinter Meeting of ARO.
5) Liberman, A.M., Cooper, F.S., Shankweiler, D.P., andStuddert-Kennedy, M. (1967). Perception of the speechcode. Psychol. Rev. 74, 431-461.
6) Kashino, M. and Nishida, S. (1998). Adaptation in soundlocalization revealed by auditory aftereffects. J. Acoust.
Soc. Am. 103, 3597-3604.
7) Carlile, S., Hyams, S., and Delaney, S. (2001). Systematic
distortions of auditory space perception following prolonged exposure to broadband noise. J. Acoust. Soc. Am.
110, 416-424.
8) Kashino, M. (1999). Interaction in the perceived lateralization of two sounds having different interaural time differences. J. Acoust. Soc. Am. 105, 1343.
9) Furukawa, S., Maki, K. Kashino, M. and Riquimaroux, H.
(2005). Dependence of the interaural phase difference sesitivities of inferior collicular neurons on a preceding tone
and its implications in neural population coding. J. Neurophysiol. 93, 3313-3326.
10) Kashino, M. (1998). Adaptation in sound localization revealed by auditory after-effects. In A. R. Palmer, A. Rees,
A. Q. Summerfield, and R. Meddis (Eds.), Psychologicaland physiological advances in hearing. London: Whurr
Publishers, Pp. 322-328.
11) Getzmann, S. (2004). Spatial discrimination of soundsources in the horizontal plane following an adapter sound.
Hear Res. 191, 14-20.
12) Okada, M. and Kashino, M. (2003). The role of frequency-change detectors in auditory temporal order judgment. NeuroReport 14, 261-264.
13) Fujisaki, W., Shimojo, S., Kashino, M., and Nishida, S.
(2004). Recalibration of audio-visual simultaneity. Nature
Neurosci. 7, 773-778.
14) Sekuler, R., Sekuler, A. B., and Lau, R. (1997). Sound alters visual motion perception. Nature 385, 308.
1)

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-12 (10/15)

対話音声における韻律と声質の特徴を利用したパラ言語情報の抽出の検討
Using prosodic and voice quality features for paralinguistic information extraction in dialog speech○ 石井カルロス寿憲 ((株)国際電気通信基礎技術研究所 知能ロボティックス研究所)
石黒浩 ((株)国際電気通信基礎技術研究所 知能ロボティックス研究所)
萩田紀博 ((株)国際電気通信基礎技術研究所 知能ロボティックス研究所)* Carlos Toshinori ISHI, Hiroshi ISHIGURO, Norihiro HAGITA (ATR Intelligent Robotics andCommunication Laboratories)
carlos@atr.jp ishiguro@ams.eng.osaka-u.ac.jp hagita@atr.jp

徴や、声道・鼻腔での特徴的な声の質など広義で扱うことが可能だが、本稿では、狭義での声帯振動のモード（発声様式：phonation style）によって特徴付
けられる声の質のことを指す[6]。
声質は、modal (地声), breathy 及び whispery (気息
性のある声), vocal fry または creaky (基本周波数が非常に低く、パルス的な声), harsh または ventricular(雑音的で耳障りのある声), pressed (喉頭を力んだ声) 及び、これらの声質の組み合わせによって表現できる[6]。
著者の過去の研究[7,8,9,10]では、韻律及びさまざまな声質に関連する音響パラメータが提案され、本研究ではそれらのパラメータを使用し、図 1 に示すような韻律と声質の特徴を利用した構造を提案し、さまざまなパラ言語情報の抽出を試みる。

Abstract - The use of voice quality features in addition
to classical prosodic features is proposed for automatic
extraction of paralinguistic information (like speech acts,
attitudes and emotions) in dialog speech. Perceptual
experiments and acoustic analysis are conducted formonosyllabic utterances spoken in several speaking
styles, carrying a variety of paralinguistic information.
Acoustic parameters related with prosodic and voice
quality features potentially representing the variations in
speaking styles are evaluated.
Experimental results
indicate that prosodic features are effective for
identifying some groups of speech acts with specificfunctions, while voice quality features are useful for
identifying utterances with an emotional or attitudinal
expressivity.

Prosody

はじめに

人間とロボットの間で対話音声を介して円滑なコミュニケーションが成立するためには、言語情報の理解以上に、発話意図や話者の態度・感情などのパラ言語情報の理解も重要となる。人間同士の対話
では、｢えー」、｢あー」、｢うーん」などのような非語彙的な発話が、話し相手の発言に対するリアクシ
ョンとして頻繁に用いられ、何らかの行為、態度、感情などのパラ言語情報を伝達する。また、このよ
うな非語彙的な発話では音素情報が殆ど含まれていないため、パラ言語情報の表現は、韻律情報及び声質情報に多く含まれると考えられる。
これまでのパラ言語情報の抽出に関する多くの研究は、基本周波数（F0）・パワー・持続時間など、
イ ントネーシ ョンやリズ ムに関連す る韻律特徴(prosodic features)を重視して来たが、自然発話を分析した最近の研究では、声質情報の重要性も示されている[1,2,3,4]。特に表現豊かな発話音声(expressive
speech) で は 、 気 息 性 や 非 周 期 性 な ど を 含 ん だ
non-modal な声質が現れやすく、F0 さえ測定できな
い場合も多いので[5]、韻律情報以外に、声質情報を知ることは重要となる。
「声質」（“voice quality”）は、話者特有の声の特SpeechsignalVoice quality

1

F0 contour& durationTone
pattern [7]Vocal Fry
detection [8]Vocal Fry
Rate

Aperiodicity
detection [9]Aperiodicity
Rate

Aspir. noise
detection [10]Asp. Noise
Rate

Frame level orsegment level

Utterancelevel

Phonetic
information

Paralinguistic
information
extraction
speech act
attitudeemotionFig. 1 Block diagram of the proposed framework forparalinguistic information extraction.

2

音声データと知覚データ

2.1 発話行為の音声データ
ある発話が伝達可能なパラ言語情報の種類は、図1 でも考慮しているように、その発話の内容（Phonetic information）にも依存することが考えられるが、本稿では、対話音声でリアクションとして頻71

2.2 発話行為の知覚データ

繁に現れ、言い方（発話様式：Speaking style）の違いによって、伝達されるパラ言語情報が豊富な発話「え」に着目して検討する。ここで、「え」は、「ええ」、「えーー」、「え？」、「え！？」、「えっ」など、文字だけでは表現しきれないさまざまな発話様式を含んだものとする。
予備的な実験として、自然発話に現れるさまざまな発話様式の発話「え」を取り出し、それぞれが伝達するパラ言語情報をリストアップした結果、以下のようなリストにまとめられる。格好内の項目は意
味的なニュアンスが多少異なるかもしれないが、ひとまとまりのカテゴリーとして扱うには問題ないと判断した。

肯定（肯定・承諾）、同意（同意・納得）、相槌（相槌・うなずき）、考え中（考え中・時間稼ぎ）、戸惑い（戸惑い・躊躇・困惑・迷い・悩み）、同情（同情・共感）、感心、羨望、聞返し、意外、驚き（驚き・びっくり）、不満、非難（非難・否定・拒絶）、
嫌悪（嫌悪・いや）、疑い（疑い・不審）。
このリストには、行為的・機能的な役割を表すものや態度的なもの、感情的なものも含まれているが、明確な分類は難しいので、本稿ではこれらの項目を
すべて「発話行為」と呼ぶことにする。
分析用のデータとしては、自然発話音声を扱うことが望ましいが、ここではパラ言語情報の観点からバランスのよいデータを求めるために、さまざまな発話行為を表現した発話音声を新たに収録する。そのために、指定の発話行為を表現した発声を誘導するような台本を作成し(付録の A 発話を参照)、この台本を先ず話者 1 名が発声したものを収録する。各発話行為において、例文は 2 個用意した。
次に、予め収録された各“誘導”発話を被験者に聞かせ、指定の発話行為を発話「え」にて表現するよう被験者に発声してもらう。より自然な発声が得られるように、発話「え」に後続して、指定の発話行為を強めるための短い発話も考案した（付録の B 発話を参照）。ただし、「え」と後続発話の間には短いポーズを入れるよう指示する。また、「え」で表現し難い場合は「へ」と発声することを許す。その他、追加発声として、自然発話では頻繁に現れるが、このような意図した発声では現れにくい喉頭を力んだ発声[11]を「え」と「へ」で発声してもらう。
さまざまな発話行為を意図して発声した 6 名の話者(15 才から 35 才の男性 2 名、女性 4 名)の音声デー
タから、発話「え」もしくは「へ」の部分のみを切り出した総 207 発話を分析対象とする。

72

発話行為の知覚ラベルを付与する理由は二つ挙げられる。一つ目は、特定の発話行為を意図して発声された発話「え」が文脈なしでどの程度聞き手に伝わっているのかを調べることである。もう一つの理由は、文脈によって同じ発話様式でも異なった発話行為が表現可能なので、その表現性の曖昧さを調べることである。ここでは 2.1 で収録した音声デー
タから「え」または「へ」の部分のみを切り出した
発話を聞いて、どの発話行為が知覚されるのかを付与する。
切り出された 207 発話をランダムに並べ替え、訓練無されていない被験者 4 名が各発話を聞いて、（文脈無しで）その発話のみから知覚される発話行
為の項目を 2.1 で紹介した発話行為リストから選択した。ただし、文脈無しではリストの中から 1 個だ
けの発話行為が定まらない場合もあると考えられ
るし、リストの発話行為の複数の項目にも当てはまる場合も考えられるので、複数の項目を選択可能とした。4 名のうち、3 名以上が一致したものを発話
行為の知覚データとして扱う。表 1 に発声時に意図した発話行為（１番目の列）と、知覚された発話行
為との一致（2 番目の列）及び不一致（3 番目の列）の結果をまとめる。
Table 1 Matches, mismatches and ambiguities between
intended and perceived speech act (SA) items.
Total number ofintended SA

N. ofmatchesNumber of mismatches orambiguities

肯定(12)
同意(9)
相槌(12)
聞返し(12)
感心(12)
驚き(12)
考え中(10)
嫌悪(12)
不満(12)
羨望(12)
非難(12)

(12)
(9)
(8)
(11)
(10)
(10)
(8)
(8)
(7)
(5)
(5)

疑い(12)
意外(12)
戸惑い(12)
同情(12)
力んだ「え」(7)
力んだ「へ」(5)

(4)
(4)
(2)
(2)
-

同意(12) 相槌(12)肯定(9) 相槌(9)肯定(6) 同意(7)意外(1) 驚き(1)羨望(3) 驚き(2) 意外(1)
意外(6) 非難(1)戸惑(1) 不満(1) 嫌悪(1)
非難(6) 不満(2) 疑い(1)
非難(5) 疑い(4) 嫌悪(2)
不満(3) 意外(3) 驚き(2)嫌悪(3) 疑い(2) 驚き(2)意外(2)
不満(5) 非難(4) 驚き(2)
驚き(4) 聞返(2) 疑い(2)
考え中(5) 不満(6)不満(4) 感心(3) 意外(2)嫌悪 (5) 考え中(2)
感心 (5)

先ず、意図して発声した発話行為がどの程度聞き手に正しく伝わったのかを示す 2 番目の列に注目してみると、肯定、同意、相槌、聞返し、感心、驚き、

考え中は文脈なしでも正しく伝わっており、嫌悪と不満はある程度伝わっているといえる。しかし、戸惑い、同情、意外、非難、羨望においては、発話の多数が他の発話行為として知覚された。これらの項目の不一致あるいは曖昧さを 3 番目の列で見ると、戸惑いの多くは考え中、不満と知覚され、意外の多くは驚きと知覚された。意外だと感じた場合、驚いてしまうという状況は十分あり得るので、この二つの項目が同時に現れることは十分考えられる。また、戸惑いながら考える、不満を感じて戸惑うというのもあり得る。同情の場合は不満、感心、意外など、異なった種類の項目との不一致が多く、文脈無しで「え」の発話様式のみからこれらの項目を認識することは難しいと考えられる。羨望の場合は、不満、
意外・驚きと知覚され、これらも種類が異なるので、後続の発話（つまり、文脈）によって発話行為が明確になるものと考えられる。
本研究では、文脈無しの発話「え」のみからどの程度発話行為が認識できるのかという問題を重視する。従って、3 節の音響分析のターゲットとして、意図された発話行為の分類ではなく、知覚された発話行為による分類を用いる。例えば、不満を意図して発声されなかった発話も、3 名以上が不満と知覚したものは、不満のグループに入れることとする。
各発話行為が知覚された発話数を図 2 に示す。被験者間の判定の違い、または複数選択を許した結果が発話行為間の重なりとして表される。知覚の面で曖昧な分類が得られた 50 発話を除いた 157 発話を
これ以降の評価対象とする。
肯定 11 同意
1
14
2
1
相槌

13 感心
3

疑い

羨望

考え中
聞返し
12
戸惑い 13
2

1 10

8
2 意外
4

嫌悪 4

1

驚き

Table 2 Number of utterances of the perceived voice
qualities, for each perceived speech act group.

肯定・同意・相槌
考え中・戸惑い
感心・羨望
聞返し
驚き・意外
疑い
嫌悪
非難・嫌悪・不満
不満

m

ｗ, a

23
9
10
12
14
1
2
4
12

6
2
2
1
12
5
1
4
2

hw, h

pc, p

c
3

4
10
3
4
5

4

表 2 の結果から、比較的強い non-modal な声質（h,hw, a, w, pc）が知覚された発話は比較的強い感情や態度を表現する発話行為（驚き・意外、疑い、嫌悪・非難、関心・羨望）に現れることが導ける。気息性（w）にかんしては、肯定・同意・相槌でも多少（6発話）知覚されたが、これは丁寧さを表現するために生じたものと考えられる[12]。これらの結果はパ
ラ言語情報の抽出における声質情報の重要性を示
している。

3

5
3

14

不満
14

1
3

声質情報は、modal (m, 地声), whispery (w, 気息性のある声), aspirated (a, 発話末に現れる強い息盛れ),
creaky (c, 非常に低くパルス的な声), harsh (h, 雑音
的で耳障りのある声), pressed (p, 喉頭を力んだ声)
及び、これらの声質の組み合わせ（hw, pc など）によって分類した。
図 2 に示したように、知覚によって分類された発話行為の項目と、ここで知覚された声質との関係を
表 2 にまとめる。

音響パラメータによる発話行為の識別

前節では発話行為の項目と声質の関係を知覚の観点から調べた。本節では、さまざまな発話様式を表現するための韻律及び声質に関連する音響パラ
メータを紹介し、知覚された発話行為の識別性を調
べる。

非難

15

Fig. 2 Grouping of the speech act items according to theperceptual data results.

3.1 韻律に関連する音響パラメータ
2.3 声質の知覚データと発話行為との関係

韻律特徴の基本パラメータとなる F0 の抽出は、LPC 逆フィルタによる残差波形の自己相関関数の最大 ピークに基 づいた処理 を行ってい るが、特にnon-modal な区間では誤った値が抽出しやすいので、これらの誤りが後続処理への悪影響を防ぐために、
自己相関関数で F0 の sub-harmonic に対応するピー
クも、ある閾値を満たさなければならないという制約を考慮した[8]。
韻律パラメータとして、[7]で提案した F0move と発話の持続時間を用いる。F0move は、ピッチ知覚を考慮し、音節内のピッチの動き（方向と度合い）を発話様式（speaking style）は、韻律特徴及び声質
特徴の組み合わせで表現することを提案する。ここでは声質特徴の知覚データを付与し、声質と発話行
為との関係を調べることと、声質に関連する音響パ
ラメータを評価することを目的としている。
声質は知覚的には明確な分類が難しいので、ここ
では声質の分類に経験のある被験者 1 名（著者本人）
が音声を聴取し、波形やスペクトログラムを見ながら付与したものを扱う。

73

semitone 単位で表すパラメータである。具体的には
音節を 2 等分し、各区間において代表的な F0 の値を抽出し、これらの差分をとったものである。[7]では、各区間の代表的な F0 としてさまざまな候補が評価され、ここでは、ピッチ知覚に最も対応した
前半区間の平均値（F0avg2a）と後半区間のターゲ
ッ ト 値 （ F0tgt2b） を 用 い 、 F0move ＝ F0tgt2b –F0avg2a を扱う。F0 抽出法や F0 のターゲット値の具体的な求め方については、[7]をご参照ください。
持続時間に関しては、発話「え」は単音節なので、人手によって区切られた情報をそのまま使うことも可能だが、発話前後に無音区間が多少入ってしまう場合があるので、母音区間のみを抽出するためにパワー情報を利用し、発話前後のパワーが発話の最大パワーより 20 dB 落ちている位置まで、境界を自動的に矯正した。これによって得られた境界を用いて発話の持続時間（duration）を測定する。
図 3 は韻律パラメータ（F0move vs. duration）による発話行為の分布を示す。
3

肯定・同意・相槌
非難・嫌悪
考え中・戸惑い
聞返し

Duration (second)
short long very long

2.5
2

3.2.1 Vocal Fry (creaky)区間の検出
ここでは、最近提案した Vocal Fry (creaky) 区間検出アルゴリズム[8]を使用する。Vocal Fry のパルス性と非常に低い基本周波数（パルス・レート）の特徴を反映するため、“very short-term”（フレーム長 5 ms
を 2.5 ms ごとに求めた）パワー軌道からパワー･ピークを声帯パルスの候補として検出し、隣り合うピークの周期性と類似性の制約をチェックし、Vocal
Fry による声帯パルスであるかを判断するというア
ルゴリズムである（図 4 参照）。アルゴリズムは主に 3 つのパラメータに基づいている：パワー･ピー
クを検出するためのパワー(PPw: Peak Power)の閾値、
自己相関関数に基づいたフレーム内の周期性（IFP:
Intra-Frame Periodicity）の閾値、ピーク周辺の波形の相 互 相 関 に 基 づ い た パ ル ス 間 の 類 似 性 （ IPS:
Inter-Pulse Similarity）の閾値。アルゴリズムとパラ
メータの詳細については[8]をご参照ください。本研
究では、PPw > 7 dB, IFP < 0.8, IPS > 0.6 の条件を設
定した。

感心・羨望
不満
驚き・意外
疑い

Very short-term
powerBand-pass filter
100 ~ 1500 Hz

Speechsignal

1.5
1

PPw

IFP

IPS

Pick
peaks

Check
periodicity

Checksimilarity
Merge the interpulse intervals

Short-term periodicity:
sub-harmonic constraint
Frame-synchronized

Glottal pulse-synchronizedVocal frysegments

Fig. 4 Simplified block diagram of the vocal fry detection.

0.5
0
-12

fall

flat

rise

0 (semitone)
F0move12

3.2.2 非 周 期 ・ ダ ブ ル 周 期 (aperiodicity; doubleperiodicity)区間の検出

24Fig. 3 Distributions of the prosodic parameters for eachperceived speech act group.

Vocal fry 及び Harsh 発声は、声帯振動の周期性が不規則になる特徴を持っている。これらの不規則性
は、声帯パルスの非周期性またはダブル周期性として現れる。ここでは、[9]で提案した非周期・ダブル周期に関連するパラメータを使用する。これらのパラメータは本来 Creaky (Vocal Fry) 区間を検出するために提案したものであるが、Harsh 発声による非周期性・ダブル周期性も反映されることが観察されたので、3.2.1 で Vocal Fry 区間として検出されなかった区間を Harsh とみなすことを試みる。

図からは韻律特徴は、肯定・同意・相槌（短下降型）、聞返し（短上昇調）、疑い（動きの幅が広い上昇調）、考え中・戸惑いなどフィラー的な曖昧な表
現（平坦、長下降調）、それ以外の否定的または曖昧な表現（長上昇調、長平坦調）のように、主に機能的な項目を識別するのに有効であることが導ける。長上昇調ではさまざまな項目（非難・嫌悪、感心・羨望、不満、驚き･意外）が混合しており、韻律特徴のみでの識別は難しい。また、短上昇調の中でも、聞返しと驚き･意外の識別は明確ではない。
この結果から、韻律特徴のみでの発話行為の識別には限界があることを示している。

Windowed
speech signal

LPC-based
inverse filtering

Normalized
autocorrelation

Peakrelations

NACR
TLR

Fig. 5 Simplified block diagram of the parameters foraperiodicity/double-periodicity detection.

3.2 声質に関連する音響パラメータ

図 5 に簡単なブロック図を示す。パラメータは入力音声信号に声道の逆フィルタをかけて求めた音源波形の正規化自己相関関数の最初の２ピークの関係を表現する。一つ目のパラメータは、NACR(Normalized Auto-Correlation Ratio)と呼び、最初の 2

本節では、声質に関連する音響パラメータを 3.2.1〜3.2.3 で紹介し、韻律特徴のみでは識別できない発話行為の項目を声質特徴にてどの程度識別出来るのかを 3.2.4 で示す。

74

ピークの正規化自己相関値の比率である。もう一つのパラメータは、TLR (Time-Lag Ratio)と呼び、ピー
ク位置の比率を 2 で欠けたものである。 NACR > 1
または TLR ≠ 1 の場合、ダブル周期性または非周期性を表す。パラメータの詳細に関しては[9]を御参照ください。

・ Aperiodicity rate (APR)：発話全体に対し、非周期またはダブル周期が検出され、Vocal Fry とは検出されなかった区間の割合。
・ Aspiration noise rate (ANR)：発話全体に対し、息漏れ雑音が検出された区間の割合。
声質の認識の予備的な実験結果より、これらの発話レベルの声質パラメータの閾値を 0.1 と設定する。
VFR > 0.1 の発話は c (creaky)、APR > 0.1 の発話は h(harsh)、ANR > 0.1 の発話は w (whispery)、それ以外のものは m (modal)と認識した結果を発話行為ごとに分配して表 3 にまとめる。

3.2.3 息漏れ（気息性のある：aspiration noise）区
間の検出
息漏れ雑音（気息音）とは、“breathy voice”や“whispery voice”で起きる、声門での十分な狭めによって生成される気流雑音（“turbulent noise”）のことを差す。生成の面では、breathy と whispery は区別されるが[6]、音響的にも知覚的にも、カテゴリカルな
分類は難しい[13]。また、気息音は harsh 発声と共に現れる場合もある（harsh whispery voice [6]）。
気息性を検出する手法として、[10]で提案したものを使用する。手法は２つのパラメータによって息漏れ検出を行う。主なパラメータは F1F3syn (F1 andF3 band synchronization)と呼び、第 1 と第 3 フォルマ
ント(F1, F3)周辺の周波数帯域でフィルタリングした信号の同期性を定量化したものである。同期率はF1 と F3 帯域の波形振幅の相互相関関数によって求める（図 6 参照）。気息性がない場合、F1F3syn は 1に近づき、気息性がある場合は 0 に近づく。二つ目のパラメータは A1-A3 と呼び、F1 と F3 帯域のパワーの差を表し、F1F3syn の有効性を制限する役割を持つ。A1-A3 が比較的大きい場合（つまり F3 帯域のパワーが F1 帯域のパワーと比較的弱い場合）F3 帯
域の雑音は知覚されていない可能性があり、同期率を図る意味がないということを示す。
F1 帯域は 100 ~ 1500 Hz、F3 帯域は 1800 ~ 4500 Hzに固定する。本手法の詳細に関しては、[10]を参照
してください。ここでは F1F3syn < 0.4 及び A1-A3 <25 dB の条件でフレームごとに気息音を検出する。

Windowed
speech signal

F1 bandpass filter

Amplitudeenvelope
A1-A3

F3 bandpass filter

Amplitudeenvelope

Crosscorrelation

Table 3 Number of utterances of the detected voice
qualities, for each perceived speech act group.

肯定・同意・相槌
考え中・戸惑い
感心・羨望
聞返し
驚き・意外
疑い
嫌悪
非難・嫌悪・不満
不満

m

ｗ

24
11
11
12
18
2
2
6
12

4
1
2
1
12
5
1
5
2

hw, h

c
1
2
3

6
2
1
2

4

表 3 に示した結果より、強い気息性及び強い非周期性を持つ声質(w, hw, h)は、驚き、意外、嫌悪、疑いなど、比較的強い感情や態度を表す項目を検出するのに有効といえる。この結果は、表 2 に示した声質の知覚データとの結果とある程度一致しているが、h, hw の検出が不十分であることが分かる。これは、harsh 声質を正しく検出するためには、3.2.2で提案した手法が不十分であることを示しており、改善が必要である。c に関しては、強い感情を表す
感心と嫌悪では pc（力んだ creaky）であり、考え中・肯定で現れた c は柔らかい creaky であることを確認した。力みを検出するため、更なる音響特徴が必要である。また、「へ」と発声されたものは、感心・羨望として知覚される傾向が観られ、音韻情報も発話行為を識別するのに重要と示している。
また、韻律パラメータに関しても、F0 抽出には注意したが、主に harsh と creaky の区間で、F0 の抽出誤りが F0move に反映されてしまう発話が嫌悪・非難で少数現れたので、F0 抽出には更なる注意が必要である。

F1F3synFig. 6 Simplified block diagram of the parameters for
aspiration noise detection.

3.2.4 声質パラメータによる発話行為の識別以上のパラメータより、フレームごと、あるいは区間ごとの情報が得られるが、以下のものを発話ごとのパラメータとして提案する。

4

おわりに

さまざまな発話様式で発声された発話「え」を分析した結果、韻律特徴は肯定的な表現、聞返し、フィラー、否定的な表現など、機能的な発話行為を識・ Vocal fry rate (VFR)：発話全体に対し、Vocal fry(creaky)が検出された区間の割合。

75

付録：発話行為の音声収集に用いた台本

別するのに有効である一方、声質特徴（強い気息性、または強い非周期性を含んだ声）は驚き、嫌悪、疑い、感心など、比較的強い感情や態度を表す発話行
為を認識することに有効と示した。今後、評価用のデータを増やし、主に声質に関連する音響特徴を改善し、韻律特徴との適切な組み合わせで発話行為の識別を評価する予定である。

A：今日は雨かな？
B：（肯定）、雨だよ。
A：韓国料理は好き？
B：（肯定）、好きだよ。
A：今日は雨やね。
B：（同意）、そうやね。
A：お昼、ファミレス行こうか。
B：（同意）、行こう行こう。
A： 今日は雨みたい。
B：（相槌）、そうやね。
A：今日、また電車遅れてるみたいよ。
B：（相槌）、そうやってね。
A：今日は雨やし、バーベキュー中止しよっか？
B：（戸惑い）、どうしよう。
A：体の調子が悪いから、今日の予定はやめとこか？
B：（戸惑い）、じゃーどうしようかー。
A：今日は rainy だよ。
B：（聞き返し）？なんて？
A：明日の朝、7 時に出発するよ。
B：（聞き返し）？ 何時って？
A：今日は夕食の準備しておいてね。
B：（不満）、なんでよ。
A：この仕事、頼むで。
B：（不満）、なんで。
A：私の趣味は草刈だよ。
B：（意外
）、うそ！
A：私、格闘技見るの好きやねん。
B：（意外）、そうなんや！
A：私はブッシュ大統領を支持するよ。
B：（非難）、なんでまたー
A：私、蛇飼ってるんねん。
B：（非難）、なんで蛇なん！？
A：私はゴキブリが好きだよ。
B：（嫌悪）、キモー！
A：満員電車が好きやねん。
B：（嫌悪）、どこがいいん？。
A： 今日から１ヶ月間、海外旅行へ行ってきまーす！
B：（羨望）、いいなー。
A：このネックレス、昨日彼氏が買ってくれてん。
B：（羨望）、ええなー。
A：ロボビーは完璧にしゃべれるようになったよ！
B：（感心）、すごいなー！
A：あの人はどんな曲でもピアノで演奏できるんだって。
B：（感心）、すごいなー！
A：ロボビーは完璧にしゃべれるようになったよ！
B：（疑い）、ありえへん！
A：私、ポルトガル語、ペラペラやねん。
B：（疑い）、うそや〜。
A：今日抽選で当たりました。
B：（驚き）、すごい！
A：昨日空港で中島みゆきに会ってん！
B：（驚き ）、ほんまに？
A：もう３日も寝ないで仕事してるんだよ。
B：（同情）、大変やんなー。。
A：階段から落ちて、骨折してん。
B：（同情）、かわいそうやな。
A：１２８＋６３はいくつ？
B：（考え中）、。。。
A：３３０を１１で割ると？
B：（考え中）、。。。

謝辞
本研究は総務省の研究委託により実施したものである。
アドバイスもしくは機材のサポートにご協力いただいた、
榊原健一氏、パーハムモクタリ氏、北村達也氏、IRC の皆様に感謝する。音声収録及び知覚実験に協力いただいた皆様に感謝する。
参考文献
1) Erickson, D., “Expressive speech: production, perception andapplication to speech synthesis,” Acoust. Sci. & Tech., Vol. 26 (4),317-325, 2005.
2) Maekawa, K., “Production and perception of ‘Paralinguistic’
information,” Proc. Speech Prosody 2004, 367-374, 2004.
3) Klasmeyer, G., Sendlmeier, W. F., Voice and Emotional
States. In Voice Quality Measurement, Singular Thomson
Learning. Ch. 15, pp. 339-358, 2000.
4) Gobl, C., Ní Chasaide, A., The role of voice quality incommunicating emotion, mood and attitude. SpeechCommunication 40, pp. 189-212, 2003.
5) Hess, W., “Pitch Determination of Speech Signals”, Vol. 3of Springer Series of Information Sciences, Springer-Verlag,
Berlin, Heidelberg, New York, 1983.
6) Laver, J., Phonatory settings. In The phonetic description ofvoice quality. Cambridge University Press, Ch. 3, pp.
93-135, 1980.
7) Ishi, C.T., Mokhtari, P., Campbell, N., “Perceptually- related
Acoustic-Prosodic Features of Phrase Finals in Spontaneous
Speech,” Proc. Eurospeech 2003, 405-408, 2003.
8) Ishi, C.T., Ishiguro, H., Hagita, N., “Proposal of Acoustic
Measures for Automatic Detection of Vocal Fry,” Proc.
Eurospeech 2005, 481-484, 2005.
9) Ishi, C.T., “Analysis of Autocorrelation-based parameters
for Creaky Voice Detection,” Proc. Speech Prosody:643-646, 2004.
10) Ishi, C.T., “A New Acoustic Measure for Aspiration Noise
Detection,” Proc. ICSLP 2004, Vol. II, 941-944, 2004.
11) Sadanobu, T., “A Natural History of Japanese Pressed
Voice”, J. of Phonetic Society of Japan, Vol. 8 (1): 29-44,
2004.
12) Ito, M., “Politeness and voice quality – The alternative
method to measure aspiration noise,” Proc. Speech Prosody
2004, 213-216, 2004
13) Kreiman, J., Gerratt, B., Measuring Vocal Quality, In Voice
Quality Measurement, Singular Thomson Learning. Ch. 7,
pp. 73-102, 2000.

76

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-13 (10/15)

大規模マイクロホンアレイによる室内移動音源の追跡と方向推定
Sound Source Tracking with Orientation Estimation by Using A Large Scale Microphone Array中臺 一博 Ý中島 弘史 Þ山田 健太郎 Ý

長谷川 雄二 Ý中村 孝広 Ý辻野 広司 ÝKazuhiro Nakadai , Hirofumi Nakajima , Kentaro Yamada , Yuji Hasegawa , Takahiro Nakamura , Hiroshi Tsujino

Ý(株) ホンダ・リサーチ・インスティチュート・ジャパン
Honda Research Institute Japan Co., Ltd.

Þ 日東紡音響エンジニアリング (株)Nittobo Acoustic Engineering Co., Ltd.

nakadai,yamaken,yuji.hasegawa,moo,tsujino@jp.honda-ri.com, nakajima@noe.co.jp

Abstract

二つ目の制約は、主に部屋の雑音や反響に起因している。聴覚と動作を統合するアクティブ・オーディション[13] は、音源に近づくように行動することによってこの問題を解決するアプローチである。一方で、マイクから離れた人の声を認識できるような雑音に頑健なシステムが構築できるとすれば、認識の向上という意味において音源に向かって移動する必要はなくなり、ロボットの省エネ
化や処理の高速化という点で効果的である。
また、音源定位・分離・認識以外にも、日常環境で使用されるロボットが備えるべき有用な機能があろう。例
えば、正確な音源同定が可能であれば、ロボットは、音声と、非音声信号を区別したり、同じ音声であっても、実際にその場で人間が発声した音声（以後、肉声とする）なのか、テレビやラジオなどからの音声であるのかを区別したりして、状況やユーザの声を的確に認識することができよう。しかし、現状では、こうした機能の実現は難し
く、例えば、多くの音声認識システムでは、入力音が常に音声信号であることを仮定している。この仮定は、必ずしも話者の口元にマイクを設置できないような実環境では強い制約となってしまう。この問題に対し、音オントロ
ジー[15]は、様々な種類の音を扱う枠組みを提案しているが、現状では問題解決への道のりは遠い。話者同定技術を用いれば、音声と非音声を区別することはある程度可能となるが、肉声とテレビ・ラジオの音声を区別することは難しい。顔検出や唇検出といった視覚処理[8] もこの問題に対する有効な解決法となり得るが、顔検出では、テレビや写真の顔を誤検出してしまう、唇検出では、カメラの解像度の問題で、検出できる条件が限定されてしまうといったように、完全な解決を図ることは難しい。従って、肉声であるかどうかを、音響的な特徴から推定できれば、ロボットにとって有効な情報となる。

This paper addresses sound source tracking withorientation estimation by using a 64 ch microphonearray. The microphone array system localizes asound source and estimates its directivity patternbased on an weighted delay-and-sum beamforming
method. The directivity pattern estimation has two
advantages such as detection of actual human voice
by comparing the estimated directivity pattern withpre-recorded ones, and estimation of sound orientation by detecting the angle with the highest
power in the directivity pattern. The preliminary results show the effectiveness of the method in soundtracking and in orientation estimation.

1

はじめに

自然な人・ロボットコミュニケーションを実現する一つの要素研究として、「ロボット聴覚」が挙げられよう。ロボッ
ト聴覚は、実環境で実時間聴覚処理を実現することを目的とし、これまで、雑音下、残響下、かつ音響環境が動的に変化する中で、ロボットに設置した２本のマイクを用いた音源定位、分離、分離音の認識[22]等が報告されている。しかし、従来のロボット聴覚には、以下の 2 点の制約があった。

1. 水平方向に置かれた２本のマイクでは、理論的に音源の水平角しか推定できない。
2. 音源定位、分離、音声認識のパフォーマンスは話者とマイクが離れるにつれ悪化する。
一つ目の制約は、「人間とロボットの距離をロボットの聴覚処理からは得ることができない」ということを意味している。しかし、近接学[6]では、コミュニケーション
において、対人距離は、感情やコミュニケーションの方法に影響を与えることが報告されている。つまり、距離情報
は人・ロボットコミュニケーションにおいても重要な要素であると考えられ、ロボットは対人距離に応じてコミュニ
ケーションの方法を変更する必要があるといえる。このため、音源方向だけではなく、音源までの距離が推定できる手法が望まれる。

1.1

課題解決のアプローチ

これらの問題を扱う際に、以下の３つのアプローチが考えられる。

1. 精度よく音声信号を取得するため、ロボットへマイ
クロホンアレイを適用する。
2. 曖昧な聴覚情報を補完するため、視覚や動作など他のモダリティを併用する。

77

3. 人とロボットの距離に依存しない聴覚処理を行うた
め、環境へ設置したマイクロホンアレイを用いる。
最初のアプローチは、近年、移動アレイを用いた音響信号処理の研究課題として注目を浴びている。Valin らは、
8 ch のマイクロホンアレイをロボットに搭載し、 GSS に基づく実時間音源定位・分離を報告している[20]。原らは、8 ch のマイクロホンアレイをヒューマノイドに搭載し、ヒューマノイドが動作している場合の 音楽と音声の混合音からの音響ストリーム抽出を報告している [7]。
二つ目のアプローチは、情報統合によってロバスト性を向上させる考え方である。実環境では、すべてのセンサ
情報は曖昧性を含んでいるため、実環境アプリケーションを考える上で、このアプローチは本質的であるといえる。
実際、我々は、これまでに、視覚、聴覚、動作を統合し、三話者同時認識を報告することによって、情報統合の有効性を示した[14]。また、原らは、パーティクルフィルタを用いた視聴覚統合による音源追跡を報告している[7]。
最後のアプローチは、マイクロホンアレイが静止していることを仮定している。この種のマイクロホンアレイは信号処理の分野で研究が進んでおり、遅延和ビームフォー
ミング [4], 適応ビームフォーミング[5, 10]、独立成分分析(ICA) [9, 17]など様々な手法が提案されている。
最初の２つのアプローチは聴覚処理の向上という点で本質的であるが、音源がマイクから離れた場合の問題に対する解を提供していない。従って、本稿では、三つ目のアプローチに基づき屋内に設置したマイクロホンアレイを扱う。過去の研究では、環境設置型の大規模のマイクロホ
ンアレイを扱った報告も複数見られる[21, 18, 1]が、こうした研究では、音源定位・分離のみを扱っていた。本稿では、信号処理アルゴリズムを拡張し、音源の指向特性推定を可能にすることによって、音源定位・分離だけでなく、音源向きの推定、および、肉声検出への応用を報告する。

2

テレビやラジオなどスピーカから出力された声と区別したりといった応用が期待できる。
関連した研究は、筆者らの知りうる限りでは、Meuse らの研究が挙げられる[11]。彼らは、スピーカの放射パターンモデルを用いて、スピーカの大きさや向きのパラメト
リック推定を報告しているが、放射パターンモデルを仮定しているため、この手法を直接、指向特性推定や肉声検出へ適用することは難しい。
重み付き遅延和ビームフォーミング（WDS-BF）

2.1

図 1 に WDS-BF の構成図を示す。この時、システム出力スペクトルは下記のように定義できる。

  

SourceHp, 1X( ω )
position p

X1(ω )
Hp, 2

H p, N

X2(ω )XN(ω )

G1, p

G2, p

(1)

     (2)

ここで、  は、    に位置する音源 のスペク
トル、   は から 番目のマイクへの伝達関数、
  は、 番目のマイクで収音された信号のスペクト
ル、  は 番目のマイクで収音された信号からにおける信号スペクトルを推定するフィルタ関数を示す。
通 常 の 遅 延 和 ビ ー ム フォー ミ ン グ (DS-BF) で は 、  は、マイクの位置関係を利用して、音源位置でのシステム出力が、できるだけ正確に音源信号に近づく
ように計算することによって求められる。従って、マイクのレイアウトは単純な方が好まれる傾向にある。
本稿で扱う WDS-BF では、音源方向推定を行うため、
音源方向パラメータ を導入する。これは、式 (1), (2) において、位置ベクトル    を、 ¼     と置
き換えることにより実現する。
文献[12] に記述されているように、自由音場での点音源を仮定した場合、¼  は、以下のように定義できる。

マイクロホンアレイのアルゴリズム
Microphones Filter Functions
Transfer
Functions   ¼ 














 

      

(3)
(4)

ここで  ,  は、 番目のマイクロホンの ,  座標、は音速、
 は、音源の指向特性を示す。
この時、システムゲイン  は以下のように定義できる。

SystemOutputYp ( ω )GN, pFigure 1: Weighted Delay-and-Sum Beamforming
本稿では、独立成分分析や適応ビームフォーミングといった手法と比べ、比較的、計算量が少ない重み付き遅延和ビームフォーミング (WDS-BF) を用いる。WDS-BF に対して以下の２点の拡張を行った。一点目は、従来の遅延和ビームフォーミングでは、一般に線形や円形などマイク間の時間差が計算しやすいような形状のアレイを用いているのに対し、自由にマイクのレイアウトを可能にした。二点目は、音源の定位だけでなく、指向特性推定を可能にした。これにより、指向特性のピークを追跡すれば、音源位置だけでなく音源向きの追跡が可能になったり、実際の人間の声の指向特性を予め DB として蓄えておけば、

78

¼

¼ 
 ¼    ¼ ¼  
¼    (5)

ここで、 はマイク数を示す。
次に、, , を            ,            , and            と離散化し、位置インデックスを        と定義すると、式 (5) は、下記の行列演算として定義できる。


















                                                                                      

(6)

ここで  ,  ,  は、それぞれ、指向ゲイン行列、伝達関
数行列、フィルタ行列を示す。
最小ノルム重みに基づいた WDS-BF を構築する場合は、
位置インデックス  に対する フィルタ行列  は、近似フィルタ行列  として、下記の式により計算できる。

Microphone     

(7)
 
ここで   ,   は、それぞれ  の擬似逆行列とエル

 















kitchensink   (8)

       

(9)4

ここで  は、目的音源方向、  は 閾値パラメータ ( 度) で、例えば、8 方向を推定する場合は、  Æ となる。

2.2 音源定位と指向特性推定
WDS-BF を用いた音源定位のアルゴリズムは以下の通りである。

P2 (2.05,3.10)
1.3m

3

0.8m

2

(4.8,1.3)

Microphone0  

        


 

 



(11)

音源方向

 

  







¼   ! ¼   !      

 (15)

 を計算する。
(16)

8.     における推定信号に由来する 番目のマイクロホンへの入力信号   を式 (2) より計算する。残差信号を下記により計算する。

       

(12)

(17)

9. 3) から 8) までの処理を、音響信号が検出されなくなるまで繰り返す。

3(13)

マイクロホンアレイシステム

前節で述べた WDS-BF に基づく音源定位を 構築した 64 ch
マイクロホンアレイに実装した。マイクロホンアレイシス
テムを設置した部屋を図 2 に示す。部屋の大きさは 4.0 m
 7.0 m であり、内部に、キッチン、テーブルと４脚の椅子が設置されている。三方の壁は、吸音壁になっており、残りの一方は反響の大きいガラス壁となっている。

6. 選択サブバンドの位置     を下記の式により推定する。

     !    !           !    



5. 方向成分加算スペクトル強度 !     を以下の式により計算する。

!     

76

  を下式より計算

            に おけ るフィル タ出 力 ¼   を
式 (1) より、方向別スペクトル強度 ! ¼  を、下式
より、計算する。



3
5
4
Position X (m)       (10)¼

! ¼  

2

7.     における指向特性 する。

ここで  は、背景雑音の平均スペクトルを示す。

4.

1

Figure 3: Layout of Microphones

3. 背景雑音より、20 dB 以上パワーの大きいサブバンドを抽出し、              とする。信号信頼度   を下記のように定義する。


1.9m Kitchen
P3 (5.92,2.25)
sink

P1 (2.59,2.00)

1

2. 各チャネルの信号に対し、1,024 点 FFT による周波数解析を行い、パワースペクトル   に変換する。



1.0m

Table

(1.7, 2.2)0

1. サンプリングレート 16 kHz で、同時に 64 チャネル
収音を行う。

  

table

Figure 2: Actual Room with Microphone Array

Position Y (m)ミート転置行列を示す。
音源の指向特性を推定するために、  に対する および
  を下記のように定義する。

(14)

79

Position Y (m)Lateral view

Ultrasonic receiverson the grid

3m
Ultrasonic tag

7m

Plan view

1m 1m

12

P2

10

8

P3

6
4
2
0

0

1

2

3
4
5
Position X (m)67

Figure 5: Localization of Two Simultaneous Speech Signals

4m

音源追跡の評価を行うために、スピーカを P1 から P2経由で P3 まで動かした。この際、移動軌跡のリファレン
スデータを取得するため、超音波タグを用い、スピーカ移
動時にデータを収録した。
式 (3) により得られる伝達関数 ¼  から計算したフィ
ルタベクトル $ を用いて、20 ms 毎に、スピーカの位置と方向を推定した。

Figure 4: Layout of Ultrasonic Sensors

4.1
部屋の上から見た場合のマイクのレイアウトを図 3 に示す。アスタリスクがマイク位置を示している。マイクの高さは、壁に設置されているものは 1.2 m、テーブルに設置されているものは 0.7 m である。離散化の刻みは、位"、方向が  Æ である。つまり、2 節で述べた、置が , , は、それぞれ、27, 15, 8 となる。従って位置イン
デックスの総数 # は 3,240 となる。マイクのレイアウト
は、推定できる方向の数を最大にするように設計した。

4

4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0

評価実験

音源定位、指向特性推定、音源追跡の３点に関して評価を行った。
音源定位の評価については、単一音源、同時二音源の定位という２つの実験を行った。
単一音源では、スピーカ (GENELEC 1029A) から出力された白色雑音、スピーカから出力された録音音声、 2 名 (A氏, B 氏) の肉声の計 4 種類の音源を用いて、図 3 に示した
P1, P2, P3 の３点で測定を行った。測定は、各点で 150 回ずつ行い、平均定位誤差とその標準偏差計算した。なお、
フィルタベクトル  は、伝達関数         # の擬似逆行列から計算した。
同時二音源の定位では、 P2 と P3 にスピーカユニット
が、 それぞれ 270Æ 、180Æ を向くように設置した。ここで、方向は反時計回りで、(1,0) ベクトルの方向を 0Æ 方向と定義した。音源は、スピーカから出力される録音音声を用い、同時に 2 つのスピーカから出力した。
指向特性推定の評価は、スピーカから出力された白色
雑音、スピーカから出力された録音音声、A 氏の肉声の計
3 種類の音源の指向特性推定実験を通じて行った。 音源
位置は P1 で、音源方向は 180Æ とした。 3 つの実験、すべてにおいて、フィルタベクトル $ を計算するための 伝
達関数 ¼  はスピーカから出力したインパルス応答測定結果から計算したものを用いた。

80

タグ位置測定システム

マイクロホンアレイが設置されている部屋には、産総研で開発された超音波三次元タグシステム (UTDTS) [16] が設置されている。
UTDTS は、大きく、単数もしくは複数の超音波タグと複数の超音波レシーバから構成されている。UTDTS は、タグの超音波出力時刻とレシーバへの入力時刻の差分を検出し、差分情報を三角測量と同様の手法で三次元情報に変換することにより、インドア GPS 機能を実現している。
図 4 に、設置した UTDTS を示す。 28 個の超音波レシーバがグリッド状に設置されている。位置と方向が計算できるように 3 個の超音波タグをスピーカに取り付けた。
この構成では、部屋の中心では 1 – 8 cm 程度、壁の周辺
で 6 – 13 cm 程度の誤差で定位が 可能である。

4.2

実験結果

単一音源の定位結果を表 1 に示す。誤差と標準偏差の単位はメートルである。同時二発話の定位のヒストグラム
を図 5 に示す。
指向特性推定の結果を図 6 に示す。図の横軸と縦軸は音源方向（度）とそれに対するパワー比（%）となっている。細い実線は、無響室で計測した白色雑音に対して $ を用いて計算した 1 kHz における指向特性を示している。破線は、[3] に報告されている人間の肉声の指向特性に対して $ を用いて計算した 1 kHz における指向特性を示している。
太い実線は、本稿で述べた指向特性推定アルゴリズムを用いて推定した結果を示している。図 6a), b), c) はそれ
ぞれ、スピーカから出力された白色雑音、スピーカから出力された録音音声、肉声に対する指向特性推定結果を示している。
図 7a), b) に、スピーカの音源追跡結果を示す。太い実
線は、音源の軌跡を示す。矢印は、各時刻でのスピーカの向きを示す。定位結果と UTDTS の観測結果から計算された位置と向きの平均誤差と標準偏差を表 2 に示す。

Table 1: Localization Error of A Single Sound Source (m)Table 2: Tracking Error of a Moving
Speaker
Sound
P1
P2
P3
deviceSourceAvg. S.D. Avg. S.D. Avg. S.D. Sound Source (white noise)
Error
Loudspeaker White noise
0.16 0.19 0.05 0.20 0.45 0.19
Avg. S.D.
Loudspeaker Recorded voice
0.15 0.71 0.40 0.39 1.80 1.80
Localization (m)0.24 0.19
Human
Mr. A
0.09 0.47 0.53 0.50 1.69 1.79
Orientation (deg.)
9.8 94.3
Human
Mr. B
0.04 0.57 0.36 0.53 1.52 1.64
100

100
Estimated (Mean)
Speech @1kHz
Loudspeaker @1kHz

90

80

80
70

60

60

60

40

Power (%)

70

50

50
40

50
40

30

30

30

20

20

20

10

10

10

0

0

0

45

90

135 180 225
Angle (deg.)

270 315a) White noise by a loudspeaker

360

0

45

90

135 180 225
Angle (deg.)

270 315

Estimated (Mean)
Speech @1kHz
Loudspeaker @1kHz

90

70
Power (%)

Power (%)

80

100
Estimated (Mean)
Speech @1kHz
Loudspeaker @1kHz

90

360

b) Human voice played by a loudspeaker

0

0

45

90

135 180 225
Angle (deg.)

270 315360c) Real human voice of Mr.A

Figure 6: Directivity Pattern Estimation of Three Kinds of Sound Sources

4.3 考察音源定位の評価実験から、構築したマイクロホンアレイシ
ステムは、反響を考慮せず、自由音場を仮定して計算したフィルタベクトルを用いた場合でも、部屋の中央で、定位
誤差が 20 – 60 cm と比較的小さいことがわかる。しかし、壁に近い P3 では、定位誤差が大きくなる。これは、反響の影響というよりは、むしろ P1, P2 に比べ、P3 周辺では近傍のマイク数が少ないことが原因であると考えられる。
同時二音源の場合には、定位がスピーカユニット周辺に集中していることから、両音源がうまく定位されていることがわかる。ただし、ガラス壁付近では、誤定位も見受けられる。これは、主に反響の影響であると考えられる。
従って、測定した伝達関数を用いて、フィルタベクトルを導出すれば、反響の影響は軽減し、定位結果は向上すると考えられる。
指向特性推定の評価実験から、指向特性は正確に推定されていることがわかる。スピーカを用いた場合、音源の種類に依らず、スピーカの指向特性に近い指向特性が推定されている。
肉声の場合、指向特性は、スピーカの指向特性と大きく異なっており、肉声の理想的な指向特性に近い推定結果が算出されている。これにより、肉声と録音音声の区別が可能になることが期待できる。音源方向は、指向特性のパワーが最大となる方向を抽出することによって得ることができる。どの場合でも、音源方向は正確に推定されている。本稿では、この実験は伝達関数を得るためにインパルス応答を測定したが、測定には時間がかかるため、実際の使用を考えると、測定が不要な伝達関数の推定を行う必要がある。
音源追跡の評価実験では、図 7b) の追跡結果は、暴れているように見えるが、追跡の平均誤差は表 2 から、20 cm
であり、離散化の間隔が 25 cm であることを考えるとそれ81ほど悪い結果ではないと考えられる。カルマンフィルタなどの処理を加えることにより、精度の改善が期待できる。
一方、音源方向の平均誤差は、表 2 から、9.8Æ であるが、標準偏差が 90Æ を超えている。実質的に音源向きが前か後か程度の精度しか得られていない。特にガラス壁近辺の精度が悪いため、今後の課題として反響を考慮した手法の導入が必須であろう。

5

今後の課題

本稿で構築したマイクロホンアレイでは、マイクの位置
校正は手動であるので、[2] のような自動校正手法が必要であろう。本稿で述べた WDS-BF は、予めフィルタベク
トルを計算しているため、温度変化や屋内の物体の移動など環境の動的変化に対応することは難しい。MUSIC な
どの適応的手法や温度適応[19]などの導入、マイク間の位
相誤差を低減するため、サブアレイに分割して処理を行うといった手法が必要であろう。
音源定位や追跡だけでなく、音源分離や分離音の音声認識についても今後扱う予定である。また、現状はオフラ
イン処理で実装されているが、オンライン処理化および実時間処理化も今後の課題である。

6

結論

本稿では、大規模マイクロホンアレイを対象として、自由なマイクレイアウトを可能にし、音源の指向特性を推定できるような重み付き遅延和ビームフォーミングを提案した。 実際に、64 チャンネルのマイクロホンアレイシス
テムを構築し、複数音源の同時定位、指向特性推定を用いた肉声検出、音源位置と音源方向の同時追跡といった評価を通じてシステムの有効性を示した。今後は、センサが

4.0

3.5

3.5

3.0

3.0
Position Y (m)Position Y (m)

4.0

2.5
2.0
1.5

2.5
2.0
1.5

1.0

1.0

0.5

0.5

0

0

1.0

2.0

3.0
4.0
Position X (m)

5.0

6.0

0

7.0

a) Ultrasonic Three Dimensional Tag System

0

1.0

2.0

3.0
4.0
Position X (m)

5.0

6.0

7.0

b) Microphone Array System

Figure 7: Tracking of A Moving Sound Source with the Heading

埋め込まれた環境内で動作するロボットの環境理解と統合したい。

[12] P.M. Morese and K.U. Ingard. Theoretical Acoustics. McGraw-Hill,
1968.

謝辞

[13] K. Nakadai, T. Lourens, H. G. Okuno, and H. Kitano. Active audition
for humanoid. In Proceedings of 17th National Conference on Artificial
Intelligence (AAAI-2000), pages 832–839. AAAI, 2000.

本研究を進めるにあたり有益な議論・情報をいただいた
NOE 鶴秀生氏、AIST 浅野太、麻生秀樹両氏、京大奥乃博
教授、山本俊一氏に感謝する。

[14] K. Nakadai, D. Matsuura, H. G. Okuno, and H. Tsujino. Improvementof recognition of simultaneous speech signals using av integration andscattering theory for humanoid robots. Speech Communication, 44:97–
112, 2004.

参考文献[15] T. Nakatani and H. G. Okuno. Sound ontology for computational auditory scene analysis. In Proceedings of 15th National Conference on
Artificial Intelligence (AAAI-98), pages 1004–1010. AAAI, 1998.

[1]

P. Aarabi and S. Zaky. Robust sound localization using multi-source
audiovisual information fusion. Information Fusion, 2(3):209–223,
2001.

[2]

R. Biswas and S. Thrun. A passive approach to sensor network localization. In IEEE, editor, Proc. of the IEEE/RSJ Intl. Conference onIntelligent Robots and Systems (IROS 2004), pages 1544–1549, 2004.

[3]

H. K. Dunn and D. W. Farnsworth. Exploration of pressure field aroundthe human head during speech. Journal of Acoustical Society of America, 10(1):184–199, 1939.

[4]

J.L. Flanagan, D.A. Berkley, G.W. Elko, J.E. West, and M.M. Sondhi.
Autodirective microphone systes. Acustica, 73(2):58–71, 1991.

[5]

L.J. Griffiths and C.W. Jim. An alternative approach to linearly constrained adaptive beamforming. IEEE Transactions on Antennas andPropagation, AP-30(8):27–34, 1982.

[16] Y. Nishida, H. Aizawa, T. Hori, N.H. Hoffman, T. Kanade, andKakikura M. 3D ultrasonic tagging system for observing human activity. In IEEE, editor, Proceedings of the 2003 IEEE/RSJ Intl. Conference on Intelligent Robots and Systems (IROS 2003), pages 785–791,
2003.
[17] H. Saruwatari, S. Kurita, K. Takeda, F. Itakura, T. Nishikawa, andK. Shikano. Blind source separation combining independent component analysis and beamforming. EURASIP Journal on Applied Signal
Processing, 2003(11):1135–1146, 2003.
[18] H.F. Silverman, W.R. Patterson, and J.L. Flanagan. The huge microphone array. Technical report, LEMS, Brown University, 1996.

[6]

E. T. Hall. The Hidden Dimension. Anchor books doubleday, 1966.

[19] Y. Tatekura, H. Saruwatari, and K. Shikano. Sound reproduction system including adaptive compensation of temperature fluctuation effect for broad-band sound control. IEICE Trans. Fundamentals, E85A(8):1851–1860, 2002.

[7]

I. Hara, F. Asano, H. Asoh, J. Ogata, N. Ichimura, Y. Kawai, F. Kanehiro, H. Hirukawa, and K. Yamamoo. Robust speech interface basedon audio and video information fusion for humanoid hrp-2. In Proc. ofIEEE/RAS International Conference on Intelligent Robots and Systems(IROS-2004), pages 2404–2410. IEEE, 2004.

[20] J.-M. Valin, F. Michaud, B. Hadjou, and J. Rouat. Localization of simultaneous moving sound sources for mobile robot using a frequencydomain steered beamformer approach. In IEEE, editor, Proc. IEEE
International Conference on Robotics and Automation (ICRA 2004),
2004.

[8]

J. Hershey, H. Ishiguro, and J. R. Movellan. Audio vision: Using audiovisual synchrony to locate sounds. In Neural Information Processing
Systems, volume 12, pages 813 – 819. MIT Press, 2000.

[21] E. Weinstein, K. Steele, A. Agarwal, and J. Glass. Loud: A 1020-node
modular microphone array and beamformer for intelligent computing
spaces. MIT/LCS Technical Memo MIT-LCS-TM-642, 2004.

[9]

C. Jutten and J. Herault. Blind separation of sources, part I: An adaptive algorithm based on neuromimetic architecture. Signal Processing,24(1):1–10, 1991.

[22] S. Yamamoto, K. Nakadai, H. Tsujino, and H. G. Okuno. Assessment of general applicability of robot audition system by recognizing
three simultaneous speeches. In IEEE, editor, Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2004),
pages 2111–2116, 2004.

[10] Y. Kaneda and J. Ohga. Adaptive microphone-array system for noise
reduction. IEEE Transactions on Acoustics Speech Signal Processing,
ASSP-34(6):1391–1400, 1986.
[11] P.C. Meuse and H.F. Silverman. Characterization of talker radiation
pattern using a microphone-array. In Proc. of International Conferenceon Acoustics, Speech, and Signal Processing (ICASSP-94), volume II,
pages 257–260, 1994.

82

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-14 (10/15)

ヒューマノイドロボット HRP-2 におけるロバスト音声インターフェース
Robust Speech Interface for Humanoid HRP-2〇原功，浅野太，麻生英樹，緒方淳，比留川博久，金広文男 (産業技術総合研究所)
山本潔(筑波大大学院)* Isao HARA, Futoshi ASANO, Hideki ASOH, Jun OGATA, Hirohisa HIRUKAWA,
Fumio KANEHIRO (AIST Japan.), Kiyoshi YAMAMOTO(Univ. of Tsukuba)
isao-hara@aist.go.jp, f.asano@aist.go.jp, h.asoh@aist.go.jp, jun.ogata:aist.go.jp, hiro.hirukawa@aist.go.jp,
f.kanehiro@aist.go.jp, kyama@mmlab.cs.tsukuba.ac.jp

Abstract— For human-robot interaction in the real world, acommunicative function based on speech is important. To realize such a function in anyplace, it is significant for the robots to
extract target speech spoken by humans from mixture of sounds
by their own resources. Consequently we have developed arobust speech interface on the humanoid robot HRP-2 using thereal-time signal processing board and a microphone array system, applied a method of detection and separation of speech
events. Furthermore, we have implemented a dialogue based
home appliances and a humanoid control system. In this paper,
we report the robust speech interface, and an experimental resultof a dialogue based control is also described.

および(c)音声認識におけるモデル適応の 3 つのロバスト化技術を融合し，音響処理専用のハードウェア
上に実装することで，実時間の実環境音声認識を実現している．
本稿では，ヒューマノイドロボット HRP-2 に搭載したこのロバスト音声インターフェースについて述べる．また，ロボット上に実装されたロバスト音声インターフェースを用いたロボット動作制御およびネットワークに接続された情報家電機器制御を行う対話制御システムについて述べる．

1. はじめに
近年，家庭やオフィスのような生活環境においてサービスを提供する様々なロボットの開発が行われて
おり，2025 年には家庭における家事支援や高齢者の自立支援，介助・介護等の家庭環境における人間の生活を支援する次世代ロボットの実用化が期待されている1)．人間と共存した環境下でサービスを行う次世代ロボットにとって，音声を用いた自然なコミュ
ニケーションを実現する機能は，重要な知覚機能のひとつである．しかしながら，我々が活動している
生活環境のほとんどの場面では，様々な雑音源が存在するために，ロボットが知覚する音声は，雑音や反響音を含んだ混合音となる．そのため，単純にマイクロホンと従来の音声認識システムを組み合わせてロボットに搭載するだけでは，人間とロボットが自然な音声対話を実現することは難しい．これに対し，生活環境内で人間と共に動作するロボットの音
声インターフェースとして，複数のマイクロホンを使用し，混合音から音声のみを分離する機能や雑音を含んだ音響モデルによって音声認識をロバストにする機能を有する様々なシステムの研究開発が進められている2) 3) 4) 5)．我々も，さまざまな環境下で安全・安定に動作し，人間と自然なコミュニケーショ
ンが可能な人間型ロボットの実現のために，マイクロホンアレイを用いたロバスト音声インターフェー
スシステムの開発を行ってきた6) 7) 8)．このシステム
では，(a)音響情報を視覚情報との統合による発話区間の検出，(b)適応ビームフォーマを用いた音源分離

Fig.1 An overview of the robust speech interface

2. ロバスト音声インターフェース
Fig.１に HRP-2 に搭載したロバスト音声インターフェースシステムの概要を示す．このシステムでは，(a)ロボット頭部に実装した広視野カメラ（画角：約160 度）による人物位置推定情報と 8 個のマイクからなるマイクロホンアレイによる音源位置推定情報を用いた発話区間検出，(b)適応ビームフォーマによる音源分離による雑音の除去および(c)音声認識システ
ムの音響モデルを残留雑音が乗った音声に合わせることで認識制度向上を図ったモデル適応の３つの処理部から構成されている．(a)の発話区間検出では，
マイクロホンアレイによる音源位置推定情報と画像処理による人物位置検出情報から，空間上の同一位置から発生した音響情報を発話と定義することで，雑音源が存在する実環境のおける話者による発話区

83

間と非発話区間との識別を行う．次に，(b)の音源分
離では，(a)の発話区間検出で用いた話者の位置方向に対して適応ビームフォーマを用いることで，他の方向から発生した雑音等の除去を行い，混合音から
音声のみを抽出している．この(a)および(b)の２つの処理により時間領域および空間領域での雑音除去が行われるが，処理後の音響情報には，発話区間の推定誤差や残響成分などの消し残しなどから残留する雑音が存在する．このために，音声認識プロセスにおいて，(c)の音響モデルの適応処理を施すことで，残留雑音に対する適応を行う．これにより，安定した実環境音声認識を可能にしている．
この一連の処理において，マイクロホンアレイおよびカメラからの大量の情報を実時間で処理しなければならず，当初，知覚機能処理用に実装されていた計算資源(Pentium III-S 1.4GHz)では不十分であった．
そこで，多チャンネルのマイクロホンからの音響信
号処理を効率的に処理することが可能なハードウェ
ア RASP-２（Fig.2 参照）を開発し，ヒューマノイド
ロボット HRP-2 の体内への実装を行った．RASP-2
は，PCI ハーフサイズの基盤上に実装され，2 スロット分のスペースに収まるように設計されており，(i)16 チャンネルの A/D コンバータおよび 2 チャンネ
ル D/A コ ン バ ー タ か ら な る ア ナ ロ グ ボ ー ド ，(ii)PowerPC 450MHz を搭載した PrPMC タイプの汎用
CPU ボード，(iii)信号処理用 FPGA，IEEE1394，USB2，
LAN 等のインターフェースを実装した信号処理ボードから構成されている．
ロバスト音声インターフェースにおける発話区間検出および音源分離の処理は，知覚機能処理用CPUボード（人物検出等の画像処理）とRASP-2（マイクロホンアレイ信号処理）上に分散して実装され，RMCP
プロトコル 9) を介して実時間の分散処理を行っている．
次に，ロバスト音声インターフェースの 3 つのロバスト化技術の詳細について述べる．

Fig,2

The real-time signal processing board, RASP-2

84

Fig.3 Microphone array and a camera on HRP-2
2.1 視覚情報と音響情報を用いた発話区間検出
生活環境内で得られる様々な雑音や反射音を含んだ音響信号から，それのみを用いてユーザが発話した部分を正確に切り出すことは非常に困難である．そのため，広視野カメラからの画像からユーザの位置情報推定し，マイクロホンアレイを用いた音源位置推定結果と統合することでユーザの発話区間の検出を行う．Fig.3 に HRP-2 に実装したマイクロホンアレ
イと広視野カメラを示す．また，Fig,4 に，ロバスト
音声インターフェースで用いている画像情報，音響
情報および発話検出用状態表示モニタを示す．
音 源 位 置 の 推 定 に は ， サ ブ ス ペ ー ス 法 （ MUSIC:
Multiple Signal Classification）10) を空間相関行列の固有値を用いた重みつき平均により広帯域に拡張した方法を用いている． Fig.4(A)は，この手法を用いて得られた空間スペクトルである，この 空間スペクト
ルのピークを検出することで音源位置を推定することができる．Fig.4 の図では，正面（0 度）付近に音源があることを示している．
広視野カメラを用いた画像処理によるユーザの位置
推定では，肌色情報と正面の顔のテンプレートマッ
チングによる人物発見とカーネル法を用いた追跡処
理 11) を組み合わせた方法を用いている．人物発見のプロセスでは，まず，画像中の肌色矩形領域を検出し，正面顔の平均画像とのテンプレートマッチング

を行い，閾値処理を行うことで顔領域を検出する．
Fig.4(B)中の赤い矩形領域は，検出された顔領域である．この領域に対し，カーネル追跡アルゴリズムを適用し，ユーザが移動した場合にも，高速に追従することができる．この人物発見と追跡に関しては，
現在，
同時に 3 人まで検出するように設定している．
画像上で検出された顔領域の中心位置をユーザの位置としている．この処理モジュールは，知覚機能処
理用CPUボード上に実装されており，約 15fpsの実時間処理を実現している．
上記の方法で得られた音源位置とユーザ位置を比較し，両者の中で物理的に同じ位置(方向)に存在する場
合，この方向音源からの音を発話として検出する．
実際に得られる音源位置と人物位置の情報は推定誤差を含んでいるばかりか推定精度も異なっており，それぞれの位置情報が正確に重なることはほとんどない．そのため，両者の情報を柔軟かつ妥当に比較し，一致状態を推定するために，確率ネットワーク
であるベイジアンネットワークを用いている．
Fig.4(C)は，発話区間検出に用いたベイジアンネット
ワークである．上部(親ノード)のノードは，発話状態か否かを示すノードであり，下部(子ノード)の左側の
19 個のノードは，離散化された音源位置(角度)を示している．また，下部の左側の 10 個のノードは，画像上の人物位置を離散化したものである．下部の赤く表示されたノードは，それぞれ，音源の位置，人物の位置を表しており，上部ノードが赤い場合には，発話があったことを示している．
親ノードと子ノード間のそれぞれの条件付確率は，あらかじめ同システムを用いて，ユーザが単独で発話した場合の計測データにから学習したものを用いている．これによって，音響座標系と画像座標系との対応関係は，陽にキャリブレーションを行わずに異なるセンサ情報を統合することができる．

Fig.4

GUI for the robust speech interface(A) Spatial spectrum of acoustic information(B) View of a human tracking process(C) Bayesian Network to detect speech events

2.2 適応ビームフォーマによる音源分離

85

前述の発話区間の検出では，連続した音響情報から発話部分に相当する区間の検出を行うことができた．
しかしながら，テレビなどの大きな雑音源がある生活環境で得られた音響情報は，依然として音声とその背景にある雑音との混合音であり，このままでは十分な音声認識結果を得ることができない．そのために，マイクロホンアレイ処理によって得られた雑音源と話者の方向を用いることで音響信号から雑音の除去を行う．
この雑音の音源分離には，適応ビームフォーマによる分離フィルタ 12) を用いた．この分離フィルタ係数
Wは，

W =

K −1g
g H K −1 g(1)で表されたものを用いている．K は非発話区間における雑音の空間相関行列であり，ｇは話者の伝達特性を含む位置ベクトルである．生活環境のような動的な環境下で音源分離を行うためには，上記のフィルタ係数は，話者の発話がないときに K を，話者が発話しているときにはその音源位置をもとにｇを更新する必要がある．本システムでは，前述の発話区間の推定で得られた時間空間上の情報を用いて，分離フィルタ係数を更新し続けるようにしている．
式(1)の分離フィルタを用いて処理された分離音声は，
連続した発話ごとに区切られ，それぞれ 1 発話の音声信号として音声認識システムへ送られる．
2.3 音声認識におけるモデル適応
前述の発話区間検出処理と音源分離処理による時間
的・空間的な雑音除去した音声信号であっても，完
全にすべての雑音除去をすることができず，反射などの影響による残留雑音が存在することが多い．現在，われわれが用いている音声認識システムJulian 13)
では，通常，雑音のない音声情報によって音響モデルを構築し，音声認識処理を行っている．そのため，残留雑音の影響によって音声認識システムで用いる音響モデルと入力音声との間でミスマッチが発生し，音声認識の性能が著しく低下する．そこで，事前に，音声認識システムで使用する音響モデルに対し，適応処理を施す．一般に，音響モデルの適応におけるパラメータ推定方法は，MLLR14)などのようにモデル
パラメータ間での情報の共有化を利用した線形変換に基づく方法や，MAP推定 15) などのように適応学習
における事前知識を効率的に利用した方法が用いられることが多い．本システムでは，MLLR-MAP 16) による音響モデル適応を行った．これは，MLLRによりモデルパラメータの変換を行った後に，それを事前情報としてMAP推定を行ったものである．現在の本

Fig.5The dialogue system for the humanoid HRP-2システムでは，3 人分の 20 単語を雑音源がある状態で録音したデータを基に音響モデルの適応処理を行ったものを使用している．これらの処理により音声認識システムの性能の向上を図っている．

3. HRP-2 における音声対話制御
上で述べたロバスト音声インターフェースを用いてヒューマノイドロボット HRP-2 の音声対話制御シス
テムの実装を行った．Fig.5 にロバスト音声インター
フェースを含めた HRP-2 の音声対話システム全体の概要を示す．情報家電コントローラを除いて，ロボット内部に実装した音響処理ハードウェア(RASP-2)
および知覚機能処理用 CPU ボード(Vision Processor)
上に実装されている．各モジュールは，独立した実行モジュールであり，ロバスト音声インターフェース部では RMCP を介して，その他のモジュール間では TCP ソケットを介して接続されている．これによって，適用するタスクやロボット内の計算資源に応じて，柔軟に分散処理を行うことが可能になっており，必要に応じてロボット体外のネットワーク上の計算資源を利用することも可能になっている．また，
このような比較的疎なモジュール間の結合を用いる
ことで，容易にシステムの拡張を行うことができる．
現在，本システムで実装されている対話制御モジュールでは，ロボットやネットワークに接続された情報家電の制御することを対象としているために，音声コマンドと制御コマンドの対応付けを基本にしている．また，音声コマンドとして，孤立単語や比較的短い単文を想定し，制御対象機器の拡張などを用意にするために，音声認識システム Julian のサーバ
ーモードの機能を利用し，対話制御モジュールから，
音声認識用の辞書等を動的にロードし，動的辞書切換が可能になっている．これによって，制御対象に応じて認識モードを設定することができ，認識語彙の限定や辞書の切換による音声認識精度の向上を図86ることができる．
音声認識結果からロボットや外部情報家電を制御するためのコマンドへの対応づけにおいては，音声コ
マンドへの柔軟性を持たせるために，音声認識結果
を正規表現または認識結果の列挙という形で記述することとし，対話コマンドの記述の大幅な削減と可読性を高めている． Fig.6 に，対話制御モジュール
で用いているコマンド記述フォーマットを示す．この例からわかるように，対話制御のスクリプトは，XML 形式で記述し，<rule>タグの部分が 1 つの音声
コマンドのセットとなっており，<key>タグに音声認識された結果および<command>タグによる対応する制御コマンドセットの形式で記述する．1 つの音声認識結果に対する機器制御コマンドに関しては，複数記述することが可能になっており，属性を指定することで TCP ソケットを用いた制御エージェントへのコマンド発行，音声認識辞書の切換等の内部関数
呼び出しおよびスクリプト言語 Python インタプリタ
呼び出しによる動的な制御コマンドの発行を行うことが可能になっている．

<rule><key>音声認識結果１(正規表現)</key><key>音声認識結果２(正規表現)</key><command type=”func”>

音声認識辞書切替（内部関数呼び出し）</command><command type=”net”>制御コマンド</command><command type=”script”>

Python スクリプト</command></rule>Fig.6 A script of the rule on the dialogue system

4. 音声対話制御実験
HRP-2 に実装したロバスト音声インターフェースの有効性を確認するために，Fig.7 に示すように雑音源としてテレビがある状況下でHRP-2 の動作制御，テレビのチャンネル等制御および家電コントローラであるPC上のWindows Media Playerを制御する対話制
御実験を行った．Fig.7 に実験を行ったHRP-2,雑音源であるテレビおよび話者のそれぞれの配置を示す．
テレビの雑音は，ロボット頭部のマイクロホンアレ
イ付近でS/Nが概ね 0dBになるように調整している．
音声認識システムで用いる音響モデルとしては，連続音声認識コンソーシアムソフトウェア 2003 年度版のPTM(Phonetic Tied Mixture)型tri-phoneモデル17) を用い，前述した事前に教師ありの適応を行っている．
Fig.8 に実験で使用した発話シナリオを示す．HRP-2の動作実験中もテレビの雑音がある状態で行ったが，ほぼ 9 割近くの認識率で音声による対話制御を行うことができた．本実験中で音声認識が失敗に終わる
もののほとんどは，「音量を上げて」と「音量を下げて」など 1 語しか違いがないものや数字を含んだ文のときであった．これに対しては，言い方を変更
や音声認識用の辞書の変更等で，より認識率を向上させることが期待できる．

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.

こんにちは
1 歩前進
テレビの操作
電源を入れて音量を上げて音量を下げてNHK 教育
日本テレビ
NHK
テレビ朝日
ビデオの操作
2 番目を再生
早送り
停止
巻き戻し
再生
ロボットの操作
右手を上げて左手を上げて左手を下げて右を見てこっちを向いて比留川さんにこれを届けて
ありがとう
さようなら

Fig.8 A list of speeches on the experiment

5. おわりにFig.7

本稿では，マイクロホンアレイを用いたロバスト音
声インターフェースをヒューマノイド HRP-2 に実装を行い，ロボット本体の動作制御，外部の情報家電
機器制御を行う音声対話システムの実装を行った．
ロボット本体という限られたスペース内で音声対話機能を実現するために，実時間音響処理用ハードウ
ェア RASP-2 を開発し，音響センシング，画像セン
シングおよび対話機能をモジュール化し，それらを分散配置することで，ロボット内の計算資源でほぼ対話システムを実装することができた．情報統合による発話検出，適応ビームフォーマによる音源分離
および音響モデル適応の 3 つのロバスト化技術を融合させることで，S/N がほぼ 0dB のような高雑音化の環境においても，安定した音声によるロボット制
御や情報家電制御のタスクが実行することができた．
これによって，これらのロバスト化技術がロボットの実世界音声インターフェースとして有効であることが確認された．
しかしながら，今回実現したロボットの対話機能は，

The arrangement on the experiment87

ロボットと一人の話者との対話を前提としたものであり，対話制御の対象としたものは，ロボット本体の簡単な動作と情報家電の制御であった．しかしながら，我々の日常生活環境では，複数のユーザとロボットとの対話のような場面が用意に考えられ，そのような場面では，ユーザ同士の会話にロボットが反応し，誤動作を起こす可能性がある．今後は，現在使用している画像処理部分に，ユーザの視線や顔の方向検出を導入し，より詳細な対話制御を行うよ
うに，ロボット内の計算資源の拡張を含めたシステ
ムの拡張をおこなう．また，音声認識の失敗による誤動作を修正するために，緊急時対応の音声コマン
ドの導入を進めていく予定である．

Intelligence, 25, 5, pp. 564-575,2003.
12) D. H. Johnson and D. E. Dudgeon,: Array Signal Processing ,Prentice Hall, 1993.
13) 河原達也, 李晃伸:”連続音声認識ソフトウエア Julius”,
人工知能学会誌, Vol.20, No.1, pp.41-49, 2005.
14) C.J. Leggetter and P. C. Woodland, “Maximum likelihood
linear regression for speaker adaptation of continuous density hidden Markov models", Computer Speech and Language, 9, 2, pp. 171-185 ,1995.
15) J. L. Gauvain and C. H. Lee, “Maximum a posteriori estimation for multivariate Gaussian mixture observations ofMarkov chains", IEEE Transactions on Speech and Audio
Processing, 2, 2, pp. 291-298.1994.
16) E. Thelen, X. Aubert and P. Beyerlein: “SpeakerAdapta-

参考文献
1) http://www.nedo.go.jp/roadmap/index.html

tion in the Philips System for Large Vocabulary Continu-

2)1035-1038 ,1997.

ous Speech Recognition", Proc. of ICASSP '97, pp.

K.Nakadai,K.Hidai,H.Mizoguchi, H.G.Okuno and
H.Kitano, “Real-Time Auditory and Visual Mutiple-Object

17) 河原達也, 武田一哉,伊藤克亘, 李晃伸, 鹿野清宏, 山Tracking for Humanoid”, Proc of IJCAI2001, pp1424-1432,

田篤:”連続音声認識コンソーシアムの活動報告及び最2001.

終版ソフトウェアの概要", SP2003-169, NLC2003-1063)http://www.incx.nec.co.jp/robot/(SLP-49-57), 電子情報通信学会技術研究報告, 2003.

4)

松日楽信人,小川英樹,吉見卓,”人と共存する生活ロボ

5)

http://www.hqrt.hitachi.co.jp/merl/robot/

6)

F. Asano, K. Yamamoto, I. Hara, J. Ogata, T. Yoshimura,ット”,東芝レビュー, Vol.60,No.7, pp112-115,2005

Y. Motomura, N. Ichimura and H. Asoh,: “Detection and
Separation of Speech EventUsing Audio and Video Information Fusion and Its Application to Robust Speech Interface", Eurasip Journal on Applied Signal Processing, 2004,
11, pp.1727-1738 ,2004.
7)

I. Hara, F. Asano, H. Asoh, J. Ogata, N. Ichimura, Y.
Kawai, F. Kanehiro, H. Hirukawa and K. Yamamoto:“Robust Speech Interface Based on Audioand Video Information Fusion for Humanoid HRP-2",Proc. of IROS
2004, pp. 2404-2410. 2004.

8)

K. Yamamoto, F. Asano, I. Hara, J. Ogata, M. Goto, H.
Furukawa, T. Kamashima and N. Kitawaki,: “Real-time
Implementation and Evaluation of Speech Event Detectionand SeparationBased on the Fusion of Audio and Video
Information", Proc.s of

9)

GSPx 2004 , 2004.

M. Goto, R. Neyama and Y. Muraoka,: “RMCP:Remote
Music Control Protocol | Design and Applications |", Proc.
of the 1997 Int. Computer Music Conference, pp.
446-449 ,1997.

10) F. Asano, Y. Motomura, H. Asoh, T. Yoshimura,N. Ichimura and S. Nakamura: “Fusion of Audio and Video Information for Detecting Speech Event", Proce. of Fusion
2003, pp. 386-393, 2003.
11) D. Comaniciu, V. Ramesh and P. Meer: “Kernel-based object tracking", IEEE Trans. on Pattern Analysis Machine88社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-15 (10/15)

ロボット頭部に設置したマイクロホンによる環境変動に頑健な音源定位
Sound Source Localization robust to variations of environments
using microphones mounted to head of robot

久保 俊明, 持木 南生也, 小川 哲司, 小林 哲則
Toshiaki Kubo Naoya Mochiki Tetsuji Ogawa

Tetsunori Kobayashi

早稲田大学 理工学部
Department of Computer Science, Waseda University

Abstract

頭部に設置し，頭部による回折波の影響を積極的に利用する手法を提案してきた [1][2][3]．マイクロホン間のスペ

A sound source localization method using sta-

クトル強度比は，回折波の影響により原音声の周波数特

tistical pattern recognition is extended so that

性に依らず，音源の方向ごとに特徴的なパターンを示す．

it works robustly in various environments．

提案手法では，この音源方向毎の時系列パターンを統計的In our previous work, we proposed new types ofsound source localization methods using robot

パターン認識を用いることで識別し，音源定位を実現す

mounting microphones, which are free fromHRTF (Head Related Transfer Function) esti-

実際の動作環境との差異が問題となる．前報 [3] において

mation. This method is performed with statistical pattern recognition which employs theからの少量のデータを用いて，MLLR によりモデルの適る．このような方法においては，統計モデルの学習環境とは，この差を補正するために，動作環境で得られた数方位応を行なうことで定位の誤りを削減できることを示した．

ratio of spectra amplitude obtained for pairs of
microphones as feature parameters. It works

しかし，ロボットの移動に伴い環境は随時変動するため，

well whatever the sound source is, because thefeature is completely sound-source-invariant.

本稿では，HLDA (Heteroscedastic Linear Discriminant

However, it is slightly sensitive to the variationsof environments．

などの環境情報を削除することで，環境が異なる場合にもその度に適応を行うのは実質的には困難である．そこでAnalysis) [5] を用いて特徴量から識別に寄与しない残響
ロバストに動作可能な音源定位手法について検討を行う．
以下，2．で音源定位手法について述べ，3．で HLDA

In order to solove this problem, HLDA (Heteroscedastic Linear Discriminant Analysis) isを利用した環境の変動にロバストな音源定位手法について述べる．さらに 4．で音源定位実験について述べ，5．でapplied to extract environment-invariant features．Experimental results show perfect per-

まとめとする．

formance of the proposed method with HLDA
feature extraction.

2

音源定位手法

本節では，基本となる音源定位手法の概要を説明する．

1

はじめに

2.1

マイクロフォンの設置

ロボット上での実装に適した音源定位手法を，環境変動

ロボットには，両側面に 2 個づつ，計 4 個の指向性マイクに対し頑健な形で実現する．

ロホンを Figure 1 のように設置した．以下，ロボットの正音源定位は自由空間上に設置されたマイクロホンにお面を向く方向のマイクロホンをそれぞれ，RF-Mic(Right-

いて，位相差情報を利用することが一般的である．しかし，これらの手法をロボットに適用しても，ロボット頭部

Front-Microphone)，LF-Mic(Left-Front-Microphone) と呼び，ロボットの側面に対して垂直な方向のマイクロホに設置したマイクロホンは，ロボット頭部による回折波のンをそれぞれ，RR-Mic(Right-Right-Microphone)，LL-

影響を受けるため，正常な動作を見込めない．我々はこのMic(Left-Left-Microphone) と呼ぶ．尚，以下の実験では問題を解決するために，4 つのマイクロホンをロボットの指向性マイクロホンとして，Audiotechnica ATM15a を

89

RF

（Left Front Mic）

位に関する関数になっているので，マイク間のスペクト

20.0 cm

LF（Right Front Mic）

ル強度比も方向に関する関数になっていることがわかる

5.1 cm
7.6 cm17.8 ｃｍ(Figure 2)．

9.6 cm

3.8 cm

17.4 ｃｍ

RR（Right Right Mic）

2.3

LL
（Left Left Mic）

(a)

特徴量抽出

前節で述べたスペクトル強度比の性質を利用した h 音源
方向識別用の特徴量は以下の処理によって求める．処理

Front view(b)Side view

は単語を単位として行う．マイクロホン i の入力信号に対して DFT を施したスペクトルを Xi (w, t) とする．w は

Figure 1: Setting of microphones

離散周波数，t はフレームのインデックスを表す．このとき，得られた Xi (w, t) に対して，マイクロホン RF から得られるスペクトル XRF (w, t) で正規化を行う．

LL-Mic/ RF-MicNi (w, t) =LF-Mic|Xi (w, t)|(i = LL, RR, LF )|XRF (w, t)|/ RF-Mic次に，1 単語の全フレームのデータを用いて，平均スペクトルを算出する．

RR-Mic/ RF-Mic

Left

Front

Right

(-60deg)(0deg)(60deg)Yi (w) =1 Ni (w, t) (t = 1, · · · , T )T t

この平均スペクトル Yi (w) をフィルタバンクを用いて圧Figure 2: Example of Ratios of Amplitude Spectra

縮する．フィルタバンクは，L 個の窓を周波数軸上に等間隔に配置する等間隔三角窓を使用する．単語単位の特

使用した．

2.2

徴量 C は以下のように求められる．

マイクロホン間のスペクトル強度比の性質

各マイクロホンへの入力信号を用いて，マイクロホン間の強度比を求める．入力信号 X(ω) は，頭部伝達関数 G(ω)

hici (l) =と原音声 S(ω) の積でそれぞれ表すことができる．ここでW (w; l) · log Ni (w) (l = 1, · · · , L)

w=lo

は，ω は角周波数を表す．


W (w; l)|XLL (ω)| = |GLL (ω)| · |S(ω)|=|XRR (ω)| = |GRR (ω)| · |S(ω)|

w−wlo (l)wc (l)−wlo (l)whi (l)−w
whi (l)−wc (l){wlo (l) ≤ w ≤ wc (l)}{wc (l) ≤ w ≤ whi (l)}|XLF (ω)| = |GLF (ω)| · |S(ω)|

ただし，wlo (l)，wc (l)，whi (l) はそれぞれの l 番目のフィ|XRF (ω)| = |GRF (ω)| · |S(ω)|

ルタの下限，中心，上限のスペクトルチャネル番号である．この処理により，単語単位の特徴量 C は，3 × L 次

ここで，XRF (ω) を基準とし，正規化を行う．

元に圧縮される．

2.4|GLL (ω)||XLL (ω)|=|XRF (ω)||GRF (ω)||GRR (ω)||XRR (ω)|=|XRF (ω)||GRF (ω)||GLF (ω)||XLF (ω)|=|XRF (ω)||GRF (ω)|

音源定位

前節の述べた特徴量を用いて，統計的パターン認識の枠組で音源定位を行う．即ち，識別対象とする方位を定め，方位毎に特徴量の分布のモデルを用意する．予め，学習データを収集し 2.3 の方法で特徴量を求め，これを用いて分布を学習する．定位時には，人力された単語から特徴量

原音声 S(ω) に依らず，マイク間のスペクトル強度比を抽出し，各方位のモデルに対し尤度計算を行い，最大のは，伝達関数の強度比で表すことができる．伝達関数は方尤度を与えるモデルの方位を音源方向とする．

90

3

HLDA を利用した環境の変動にロバスト
な音源定位

5.9 m

Y

上述の音源定位手法はパターン認識の枠組みを用いてい

4.2 m

るため，ロボットが動作する部屋の残響やロボットの位
置など，モデルを学習した環境と実際に認識を行う環境

Position 1

Xの違いにより性能が劣化する可能性がある．我々はこれ

Position 2までに，残響の異なる環境でも頑健な定位を行うために，
1m

実際にロボットが動作する環境で得られた数方位からの

2.3 m

1.1 m

少量のデータを用いて，MLLR によりモデルを適応する手法を用いてきた [3]．しかし，ロボットが移動すること

curtainで環境が随時変動することを考えると，その度に適応のための音声データを採取するのは実質的には困難であり，

4.2 m

1m

2.8 m

2.2 m

1.4 m

このようにモデルを適応する方法は現実的ではない．
そこで，特徴量から残響などの環境情報を削除し，識別Figure 3: Recording enveiromentに寄与する情報のみを抽出することを試みる．本稿では，これを識別情報抽出 (Useful Information Extraction; UIE)と呼ぶ．識別情報抽出では，座標変換を行なうことによっ

g
de
10

て，特徴量を識別に有効な識別情報 (useful dimension) と0deg● LoudSpeaker Position■ Robot Position

残響や位置の情報など，本質的には識別に寄与しない環境
情報 (nuisance dimension) に分離する．このように，識別に寄与する情報のみを特徴量として用いることで，環

forward

境の変動にロバストな音源定位が実現できる．本稿では，座標変換の手法として HLDA[5] を用いる．

30deg

HLDA では，useful dimension に対する平均と分散は全てのクラスで違う値，nuisance dimension に対する平-90deg

均と分散は全てのクラスで共通の値を持つという拘束条+90degFigure 4: Direction of arrival to be recognized

件の下で，座標変換後のモデルに対する尤度 (式 (1)) を最大にするように変換行列を求める．
配置 3 位置: P2 ，方向: Y 軸方向を向く．
また，残響時間に関しては，部屋のカーテンの開閉にL(xi |μj ，
Σj ，
θ)より 10 通り (226ms，232ms，237ms，238ms，246ms，

1 T
T
=−
{(θ xi − μg(i) )T Σ−1g(i) (θ xi − μg(i) )2 i=1N+ log((2π)n |Σg(i) |)} + log |θ|267ms，282ms，318ms，326ms，395ms) の環境で収録を行った．したがって，配置が 3 通り，残響が 10 通りの計

(1)

30 通りの収録パターンがある．
方 位 に 関 し て は ，Figure 4 に 示 す よ う に ，11 方θ は変換行列を示し ，μj ，Σj はクラス j の平均と分散

位 (−90deg，−60deg，−30deg，−20deg，−10deg，0deg，を示す．また，g(i) はデータ xi がクラス g(i) に属して

10deg，20deg，30deg，60deg，90deg) に対して収録を行った．このとき，ロボットから見て正面を 0 deg とし，右方ることを意味する．

4

向を正，左方向を負として角度を定義した．

音源定位実験

4.2

本手法の有効性を示すために，音源定位実験を行った.

4.1

音声データ

ATR 音素バランス単語 10 単語を男性 10 人が発話したもの (計 100 単語) をスピーカから再生し，各方位に対し

収録環境

収録環境を Figure 3 に示す．ここでは，以下に示す 3 通て収録を行った．収録に用いた音声は全て，32 kHz で標りにロボットを配置し収録を行った．

本化，16bit で量子化されている．このとき，各方位に対して学習データを 90 単語，評価データを 10 単語とし，配置 1 位置: P1 ，方向: X 軸方向を向く．

組合せをかえて 10 通りの実験を行う．よって，評価デー

配置 2 位置: P1 ，方向: Y 軸方向を向く．

タは計 100 単語から成る．このとき，学習データと評価

91

Recognition
Data

FeatureVectorExtraction

FeatureVectorTraining
Data

Recognition

Feature Vector

Model
Training

Extraction

FeatureVectorFeatureVectorExtraction

MLLR
Model
Feature Adaptation

100
SourceDirection
Decision

97

%94
tea
rt 91
ce
rr 88
o
C85

Base
Model
Model

Base Model

Adaptation
Data

(a)

Adaptation Model82

Vector79

Baseline system and MLLR-based system

FeatureVectorFeatureVectorRecognition Extraction
Data

UsefulInformation
Extraction

BM

Training
Data

FeatureVectorExtraction

FeatureVector(b)

UIEM

SourceDirection
DecisionTransformation
matrixUsefulInformation
Extraction

AM2

Figure 6: Experimental results of DOA estimation

Recognition

適応モデル (Adaptaion Model; AM)

4.3.2
HLDA

AM1

Model

実際にロボットが動作する環境において得られた少量

UsefulInformation
Extraction
Model

データから，ベースモデルを MLLR により適応を行う．
適応データは，3 方位 (60 deg，0 deg，−60 deg) から学

Model
Training

習データと同じ話者 1 人，同じ音声 5 単語 (計 15 単語)を用いた．評価データと同一の残響，異なる配置のデー

HLDA-based system

タを用いて適応したモデルを AM1，残響，配置ともに評Figure 5: System diagram

価データと同一のデータを用いて適応したモデルを AM2と呼ぶ．AM1 は部屋の残響のみに対する適応であり，同データは異なる話者，発話内容になるように組み合わせ

じ部屋である限り一度適応を行えば良い．また，ロボットを選択し，評価を行った．

が移動することで環境が随時変動する場合，その度に適特徴量を抽出する際の分析条件はフレーム長 128 ms，

現困難である．

フレームシフト 32 ms，窓関数はハニング窓とした．フィ
ルタバンクに関しては，バンク数を 8，周波数のレンジは識別情報抽出モデル (UIE Model; UIEM)

4.3.3

0 ∼ 4000 [Hz] とした．マイク数が N = 4，フィルタバンHLDA を用いた識別情報抽出によって構築したモデル

ク数が L = 8 なので，2.4 で述べた通り特徴量は 24 次元

を UIEM と呼ぶ．ここでは，ベースモデルの学習データと

になる．

4.3

応を行うという AM2 に基づくシステムは実際的には実同じデータを用いて変換行列を求めた．useful dimensionを固定し，その際に得られる変換行列を用いて同データ

統計モデルを変換してモデルを作成した．モデルはベースモデル，適統計モデルは，4.2 で述べた 24 次元特徴量を用いて作成

応モデルと同様，単一ガウス分布，全共分散行列とした．

される単一ガウス分布を基礎とする (ベースモデル)．こ

このように，UIEM は変換行列の推定において評価環境のベースモデルに対し，実際にロボットが動作する環境の情報を全く用いておらず，この点が適応モデルとは異のデータを用いて適応を行った適応モデルと，3 で述べた

なる．

識別情報抽出により変換された特徴量を用いて作成され音源定位結果た識別情報抽出モデルについて評価を行う．各々の統計モ

4.4

デルを用いた実験のダイアグラムを Figure 5 に示す．

Figure 6 に 11 方位の音源定位結果を示す．BM は 86.5%，
AM1 は 92.0%，AM2 は 95.9%，UIEM は 95.3% の性

4.3.1

ベースモデル (Base Model; BM)

能を示した．これより，AM2 が最高の性能を与えること

配置 2 種類，残響時間 2 種類 (238ms，318ms) の 4 環がわかる．しかし AM2 に基づくシステムでは，環境が境で収録したデータを用いてモデルを構築した．これを随時変化する度に適応データを取得する必要があり，現実

ベースモデルとする．収録した 3 種類の配置のうち，2 種

的とは言えない．それに対し，同一の部屋であれば一度類を学習環境，残り 1 種類を評価環境とし，組み合わせ

適応データを取得すれば良い AM1 の性能は BM に対しを変えて評価を行った．このとき，モデルは単一ガウス分

若干の向上するに留まり，AM2 には及ばない．したがっ布，全共分散行列とした．

て，ロボットが移動する場合，時々刻々適応を行う必要が92

Class 10deg

Class 20deg

Class 10deg
Class 20deg
Class 30deg

Class 30deg

Figure 7: Data distribution before HLDA

Figure 8: Data distribution after HLDA

あることがわかる．一方，UIEM は環境の情報を用いるの変動に対してもロバストな定位性能が得られることをことなく，AM2 と同等の性能を与える．ここでは，useful

示した．

dimension は 14 次元の場合の性能を示した．結果として

参考文献

UIEM は BM に対して 65% の誤りを削減した．
り，様々な環境に対してデータを収集する必要なしに，ロ[1] 持木南生也，関矢俊之，小川哲司，小林哲則，“ロボット頭部に設置した 4 系統指向性マイクロフォンによるバストに動作する音源定位システムが構築可能であるこ

音源定位および混合音声認識,” 人工知能学会研究会とが示された．

資料，SIG-Challenge-0420-4，pp.21-27，Dec.2004.

このように，HLDA に基づく座標変換を行うことによ

HLDA の効果として，HLDA を施す前と後の異なる環
境に対する座標空間上におけるデータの分布の変化を調べ[2] N.Mochiki, T.Sekiya, T.Ogawa and T.Kobayashi,

た．HLDA を施す前のデータを Figure 7 に示す．Figure“Recognition of Three Simultaneous Utteranceof Speech by Four-line Directivity Microphone

7 における各プロットは，横軸の値が座標変換を施さない

Mounted on Head of Robot,” Proc.ICSLP, pp.821-

空間における特徴量の 17 次元目，縦軸の値が 18 次元目

824,2004.

を示している．また，HLDA を施した後のデータ分布を[3] 持木 南生也，関矢 俊之，小川 哲司，小林 哲則，“
ロボット頭部に設置した 4 系統指向性マイクロホン

Figure 8 に示す．Figure 8 における各プロットは，横軸の値が座標変換後の特徴量の 1 次元目，縦軸の値が 2 次による音源定位,” 日本音響学会春季発表会講演論文

元目を示している．

集, pp.821-824, 2005.

HLDA を施さない空間上のデータにおいては，部屋の残響の変化に伴いデータが変動しており，それが識別に影[4] K.Nakadai，D.Matusura，H.G.Okuno，H.Kitano,

響を及ぼす方向に対するものである．それに対し，HLDA“Applying Scattering Theory to Robot Audition
System,” Proc.IROS, pp.1147-1152, Oct.2003.

による座標変換後の空間では，部屋の残響が変化しても，識別に影響が少ない方向にデータが変動している．これ[5] N.Kumar, “Investigation of silicon-auditory models

は，環境に依存しない，真に識別に寄与する情報の抽出に

and generalizationof linear discriminant analysis for
improved speech recognition,” Ph.D. dissertation,

対して，HLDA に基づく座標変換が有効に機能することの裏づけとなる．

5

Johns Hopkins Univ., Baltimore, MD, 1997.

まとめ[6] M.J.Hunt and C.Lefebre, “A comparison of several
acoustic representations for speech recognition withマイクロホン間のスペクトル強度比を用いた統計的パター

degraded and undegraded speech,” Proc.ICASSP,
pp.262-265, 1989.

ン認識に基づく音源定位手法の改善を試みた．学習環境と実際に定位を行なう環境が異なるときに性能が劣化する問題に対し，HLDA を利用することで，環境の違いを[7] P.Brown, “The acoustic-modeling problem in auto-

考慮しない場合の誤りを 65% 削減することができ，環境

matic speech recognition,” Ph.D. dissertation, IBM

93

T.J.Watson Res.Center, Yorktown Heights, NY,
1987.

94

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-16 (10/15)

384ch 壁面・天井スピーカアレイによる複数音焦点形成
Sound Spots Forming with the 384ch Wall and Ceiling Speaker Array〇石井 最澄 1,2，佐々木 洋子 1,2，大友 佑紀 1，加賀美 聡 2,3,1，溝口 博 1,2* Yoshizumi Ishii1,2, Yoko Sasaki1,2, Yuuki Ootomo1, Satoshi Kagami2,1,3,and Hiroshi Mizoguchi1,2
11

東京理科大学，2 産業技術総合研究所，3 科学技術振興機構

Tokyo Univ. of Science, 2Digital Human Research Center, AIST, 3JST
j7505015@ed.noda.tus.ac.jp

アレイが形成する，個々のスポットの音声は独立で別々である．以下 2 節では，サウンドスポット形成法に関し，スピーカの配置とアレイ要素の選択的利用法について述べる．3 節では原理に基づいたシミュ
レーションを実施し，複数焦点の形成と周波数依存性，アレイ要素選択的利用の効果を示す．4 節では構築したスピーカアレイシステムの実現技術について述べる．5 節では構築したスピーカアレイシステムの評価実験を行う．

Abstract—The paper describes 384 channel wall andceiling speaker array which forms multiple sound spots.
The panel-shaped arrangement of speakers gives lower
side lobes and obtains high sound pressure difference
between the sound spot and other points. The measurement shows the system makes possible about 15dB insound pressure difference. We also considered signal
output method well-suited for multiple sound spots generation by using beam forming simulation and devised
split-up output. It proved sound pressure difference in thespace and formed multiple sound spots efficiently.

1. はじめに
著者らは人と機械が音声を用い，相互にやり取りできる機械を目指し，特定の人又は場所に音を聞かせる研究を行っている．
音に指向性を持たせるための研究開発としては，
これまでに，スピーカを平面状に多数並べた装置 1,2)や遅延和 (Delay and Sum Beam Forming: DSBF) 法を用いて指向性を実現したもの 3),4)が開発されている．
また，ＪＲ東海と三菱電機エンジニアリングは共同で超音波を利用した「超指向性音響システム」を開発した．このシステムの原理は，人の耳には聞こえない超音波を搬送波として用い，壁や床などに反射させることで可聴音に変化させ，音を聞かせる 5)ものである．
著者らは，これまでに２軸，３軸の直線上にスピーカをならべたスピーカアレイを構築し，遅延和法
を用いて対象とする複数の人の頭部周辺にそれぞれスポット状の高音圧領域「サウンドスポット」を作り出した 6 ,7)．しかし，2 軸，3 軸スピーカアレイでは，高い音圧差が得られない，サイドローブができるなどの欠点があった．
そこで今回，音圧差の向上とサイドローブの低減を目的とした，大規模壁面スピーカアレイを構築した．スピーカの数を大幅に増やす(384ch)ことで，一つ一つのスピーカからの出力を小さくすることができ結果，音圧差の向上が期待される．Fig.1 にサウンドスポット形成の様子を示す．大規模壁面スピーカ

95

Fig. 1 Wall and ceiling speaker arraygenerating three sound spots

2. サウンドスポット形成
遅延和法を用いて，サウンドスポット形成を行う．
各スピーカから，焦点までの距離差を使い，音の位
相と振幅が焦点でそろうようにする．
2.1 スピーカの配置
縦に 8 つ，横に 8 つ，計 64 個のスピーカを１つのパネルとして(Fig.2)，壁面 3 枚，天井 3 枚の計 6 枚のパネルを Fig.3 のように配置し，遅延和法を用いた．
直線状スピーカアレイでの焦点形成では，高音圧のビームを２次元でしか制御できなという制約がある．
そこで，多チャンネルのスピーカを２次元平面上に配置することで，高音圧のビームを３次元で制御することを可能とした．さらに平面アレイを，天井及び壁面に配置することで，３次元音響焦点(スポット)を形成することを可能とした．スピーカの間隔は，
Fig.2 のとおり縦 140[mm]，横 140[mm]とした．これについては，第 3 節で詳しく述べる．

3. 焦点形成のシミュレーション
スピーカアレイシステムにおいて遅延和法を用いた場合，スピーカの間隔，個数，出力周波数に応じてビームフォーミングの指向特性は変化する．そこ
で，本節では，実際にスピーカアレイを構築する前に，３次元ビームフォーミングと３次元的な局所的高音圧領域形成の可能性を調べる．そして，最適な指向特性の高音圧領域を形成できる条件を求めるた
めに，様々な条件でシミュレーションを行う．また，焦点での収束具合，焦点とそれ以外の点での音圧差を比較する．
なお，シミュレーションでは，焦点での音圧を基準(0dB)とし，パネルの中心に焦点を作った．また，議論を簡単にするため，スピーカは点音源とみなした．1000[Hz]の正弦波の波長は 340[mm]なのでスピー
カの外形サイズ(66.4×107[mm])より，波長は十分大きく，スピーカの大きさによる音場への影響は無視できると仮定する．

Fig. 2 One panel arrangement

3.1 音圧分布の算出式
スピーカアレイ付近の点 C の座標を(x, y)，点 C から i 番目のスピーカまでの距離をＲi，振幅を１，正弦波の周波数をω,音速をＶ，i 番目のスピーカから焦点までの距離をＬi とする．この時，点 C での合成波Qc は次式で表すことができる．

⎛ ⎛ L + R i − Li ⎞ ⎞Liisin⎜⎜ ω ⎜ t + max⎟ ⎟⎟V
i =1 Ri i⎠⎠⎝ ⎝N

Qc (t ) = ∑(1)

Fig. 3 System outlook
3.2 シミュレーション範囲
2.2 空間分離出力法
従来のシステムでは，すべてのスピーカからそれぞれの焦点に信号を出力していた．これは以下，合成法と呼ぶ．しかし，今回はスピーカを壁面状に大規模に並べるため，焦点とスピーカ間の最大距離が従来よりもはるかに長くなる．遅延和法においては，焦点で位相と振幅をそろえるため，焦点から遠い位置にあるスピーカは，焦点に近いスピーカよりも，距離差に比例した分だけ，大きな音を出さなければならない．結果，その大きな音が焦点以外の場所でも影響を与える．
以上を踏まえて，焦点に対し，焦点付近のスピー
カからのみ信号を出力する方法(以下，空間分離法と呼ぶ)を提案する．式を用いた詳しい説明は次節で行う．以上の二つの方法について本論文では，シミュレーションと実測を行う．そして，シミュレーショ
ンと実測との比較から，提案手法を評価する．

96

Fig.4 Simulation range and coordinates
Fig.4 に構築したスピーカアレイのシミュレーション
範囲をしめす．Z 軸 1500[mm](焦点の高さ)で X 軸方
向に 2400[mm]，Y 軸方向に 1200[mm]の長方形の範囲内で，焦点位置を(600, 600, 1500[mm]), (1800, 600,
1500[mm])として，シミュレーションを行う(Fig.4 の赤い長方形内)．以下にシミュレーション結果を示す． た天井パネルと壁面パネルを一組として，その焦点の信号を出力する．(1)式より，各スピーカから焦点までの距離の最大値が，合成法では約 Li=1900mm で3.3 シミュレーション結果
あるのに対し，空間分離法をとることで，約a) 合成法
Fig.5 に音圧分布のシミュレーション結果を示す． Li=224mm となり，焦点以外での音圧の影響を少なくすることができる．その結果，指向特性があがり，焦点位置は黒×で示す．シミュレーションには，500,
焦点で効果的に音声を聞かせることができる．Fig.6
1000, 1500, 2000, 2500, 3000[Hz]の正弦波を用いた．
にシミュレーション結果を示す．

Fig.6 Simulation result : Proposed methodwith specially segmented speakers

Fig.5 Simulation result: Original method

Fig.5 から 1000～2000[Hz]においてはサウンドスポ
Fig.6 から，500Hz 以下の低周波数帯域においては，ットが効果的に現れていることがわかる．500Hz 以
下の低周波帯域の音では波長が長いために収束せず， 高音圧領域が大きく広がっているものの，Fig.5 と比較すると，空間分離法では焦点で効果的にサウンド
高音圧の領域が広がってしまっている．また 2000Hz
以上の高周波帯域ではスポットが小さくなりすぎる． スポットができていることが確認できる．
さらに，焦点以外のところでもある程度の強さの音が聞こえている．これでは，「特定の人にのみ聞かせる」という目的に対しては不十分である．そこ
で以下の空間分離法を適用する．

4. 構築したスピーカアレイシステムb) 空間分離法
前節の焦点形成の方法は，式(1)より距離によらず全てのスピーカから，各焦点にスポットを作るための音をだしていた．しかし，ここでは，焦点とそれ以外の場所での音圧差を大きくするために，隣接し4.1 スピーカアレイシステムの構成

97

Top View
Bottom viewFig. 9 PCI 128ch D/A board

Fig. 7 System component
構築したスピーカアレイシステムのブロック図を
Fig.7 に示す．制御には実時間 OS である ART-Linux8)と 128 チャンネル同時出力 D/A ボードを搭載した PCを用いた．PC とスピーカアレイの間にはデジタルア
ンプを介している．

4.4 デジタルアンプ
本シシステムで使用するスピーカにはアンプが内蔵されていないため，デジタルアンプを用いてシステムを構築した．デジタルアンプは，アナログアン
プに比べて，少スペースであり，また消費電力が少ないという特長を持つ．本システムのアンプ回路
10),11)では PWM 信号発生回路や D 級出力段を内蔵している米国トライパス社の TA2024 というデジタル
オーディオアンプ IC を使用した 12,13,14) ．

4.2 超薄型平面スピーカ
本システムではスピーカに Fig.8 に示す FPS 社の超薄型平面スピーカ「FPS0304N3R1」を採用した．

5. スピーカアレイの評価実験

Fig.8 Thin-model speaker
スピーカ間隔は Fig. 2 に示すように 140[mm]である．
これは，1000～2000[Hz]の周波数帯でシミュレーシ
ョンを行った結果，スピーカの間隔 140[mm]以下の場合に，焦点において高音圧領域が効果的に収束したためである．
4.3 128 チャンネル同時出力 D/A ボード
スピーカアレイを実現するためには,各スピーカを
μs オーダで同期させ，等周期で制御する必要がある．
そこで，多チャンネル高速同時サンプリング用に開発された PCI 128ch D/A ボード 9)を 3 枚使用した(Fig.9)．この D/A ボードは，128ch 14bit 分のデータ
を 5μs 程度の時間内に DMA(Direct Memory Access)
転送することができる．実時間 OS の ART-Linux を用いた等周期ループにより，本システムでは 22[kHz]のサンプリングレートが実現できている．

98

5.1 計測パベック電子社のマイクロフォン MC-105，同社の16chA/D 変換装置，同社のマイクロフォンアンプ
MA-2016 を組み合わせて計測用マイクロホンアレイを構成した．この装置を用いてｘ軸方向 0～
2400[mm]，ｙ軸方向 0～1200[mm]，ｚ軸方向 940～
2140[mm] ま で の 範 囲 を 100[mm] 間 隔 で 測 定 す る(Fig.10)．

Fig.10 Experimental set up and dimensions

ットを形成しているが，実測の方は，y 軸方向に長い
楕円に近いスポットを形成している．また，合成法，
空間分離法のどちらにおいても，シミュレーションのほうが，焦点とそれ以外の場所の音圧差が大きい．
これは，シミュレーションが反射の影響を考えていない等の原因が考えられる．
そこで，著者らは反射がどの程度スポット形成に影響を及ぼしているのかを確かめるために計測範囲の壁面及びスピーカアレイ外周を吸音材で覆い音圧分布の再測定を行った．Fig. 14 に結果を示す．

5.2 音場計測結果(dB SPL)(dB SPL)

Fig.12. Simulation result: Original method(dB SPL)

Fig.14 Measurement with sound-absorption materialFig.13 Simulation result: Proposed methodwith specially segmented speakers

Fig.12 に合成法によって焦点形成した場合の，Fig.13 に空間分離法による場合の測定結果を示す．
焦点は(600,600,1500)[mm], (1800,600,1500)[mm]の位置に形成した．音源には 1000[Hz]の正弦波を用いた．
Fig.12，Fig.13 は，床面からの高さ z=1500[mm]での水平面(Fig.4 の赤い長方形の内側)上の音圧分布である．合成法による音圧分布図(Fig.12)では，焦点付近に高い音圧の領域がある．しかし，焦点でスポット状の高音圧領域は形成していないことより，サウン
ドスポットを形成しているとはいい難い．一方，空間分離法では，スポットを作っているとはいえないが，焦点で高い音圧分布をしている．以上より，空間分離法のほうが合成法より効果的に高音圧領域を形成することができる．(注： Fig.12 の左側は測定ミスのため，焦点付近で音圧が非常に弱い状態になっている．このため右半分だけ参照されたい．)
シミュレーション結果と比較すると，合成法の実測結果では，ｙ＞600mm において高音圧領域を形成している．この点を除けば，同じような音圧分布をしているといえる．合成法の実測とシミュレーショ
ンを比較すると，シミュレーションの方は丸いスポ

99

Fig.14 とＦig.13 を比較すると Fig.14 の方が，焦点とそれ以外の点での音圧差が大きい．また，図に示される音圧のビーム形状を比較すると，Fig.14 の方が,ビームが鋭いことが分かる．シミュレーションと比較すると，Fig.14 の方が，シミュレーションに近い
音圧分布図になっている．このことよりスピーカア
レイシステムは環境に依存することが分かる．今後は環境に依存しないようなスピーカアレイシステムを構築する必要がある．具体的には，スピーカにマイクを追加して，音を集音し，環境の伝達関数を求め，スピーカから環境の伝達関数を考慮した，出力を行うなどが上げられる．

6. 考察
今回構築した 384ch 壁面スピーカアレイの音圧測
定実験では，シミュレーションにおいて最適な効果を確認することができた正弦波を用いた．現状の方法では，低周波では音が広がりすぎてしまい(Fig.15)．
一方 3000Hz 以上の高周波では，収束範囲が狭すぎるという欠点をもつ(Fig.15)．

超多チャンネルスピーカアレイによるサウンドスポッ
ト形成の動特性評価，日本機械学会ロボティクス・メ
カトロニクス講演会‘04 講演論文集
pp.1P1-H-58(1)-(4)(2004)．
7) 雨宮豊，玉井裕樹，加賀美聡，溝口博，長島功一，高野太刀雄：超多チャンネルマイクアレイによる生活環
境下での２次元音源定位，日本機械学会ロボティク
ス・メカトロニクス講演会‘04 講演論文集
pp.1P1-H-58(1)-(4)(2004)．
8) 石綿

陽一，松井俊浩，國吉

康夫：，高度な実時間処理機能を持つ Linux の開発，第 16 回日本ロボット学

Fig.15 Sound spots on low frequency

会学術講演会予稿集，p335-356(1998).

人の声などを出力する時は，低周波数帯域の信号を除いても内容を理解することができるので，ハイパスフィルタで低周波信号成分を取り除くなどが考えられる．

9) 雨宮豊，玉井裕樹，溝口博，加賀美聡，長島功一，高野太刀雄：超多チャンネルマイクアレイによる生活環
境下での 2 次元音源定位，日本機械学会ロボティクス・
メカトロニクス講演会‘04 講演論文集
pp.1P1-H-58(1)-(4) (2004)．

7. おわりに10)中島平太郎：デジタルオーディオ読本，オーム社，(1991).

シミュレーションと実測から，スピーカを平面に
11)坂巻佳壽美：デジタル信号処理，工業調査会(1998)．
並べることで，音をビーム状ではなくスポット状に12)臼井支郎，船田哲男，梅崎太造，戸田尚宏，萩原克行，
近い形(楕円状)に制御できることを確認した．また，
横田康成，輿水大和:インターユニバーシティー 信号
今回スピーカの数を大幅に増やしたことで，焦点位解析，オーム社(1991)．
置とそのほかの位置で 15dB の音圧差を形成すること
13)石田義久，鎌田弘之： デジタル信号処理のポイント，ができた．しかし，低周波数帯域では音が収束せず，
産業図書(1989)．
明確にサウンドスポットを作ることができなかった．
高周波数帯域(今回のシステムでは 2000Hz 以上)では， 14)足立修一：MATLAB によるデジタル信号とシステム，東
音源間隔に比べて波長が小さくなることから，焦点
京電気大学出版局(2002)．
以外でも高音圧の領域が現れた．今後は，高周波数帯域と低周波数帯域の音場の制御を工夫することが課題である．
謝辞
東京理科大学の雨宮豊氏と玉井裕樹氏，産業技術総合研究所の高野太刀雄氏，R-Lab 社の長嶋功一氏と椛澤光隆氏は，本論文で述べたスピーカアレイの開発に多大な貢献をした．東京理科大学の酒谷広太，大嶋聖人，林宏樹，三竹伸
生各氏は音圧測定に貢献をした．本研究の一部は科学技術振興機構さきがけ研究 21 の，一部は文部科学省科学研究費補助金の支援により行われた．記して謝意を表す．
参考文献
1) 吉川茂，藤田肇；基礎音響学，講談社サイエンティフ
ィック(2002)．
2) HARRY F．OLSON，PHD．Acoustic Sound

翻訳

西巻正

朗，森司，古川誠二郎，近藤巌，横山巧:無線従事者教育協会(1959).
3) 城戸健一，曽根敏夫，柴山幹夫，山口公典，中鉢憲賢:
日本音響学会講座①

基礎音響工学，コロナ社(1977)．

4) 二村田忠元，奥田襄介，城戸健一，曽根敏夫：電気音
響工学，オーム社(1963)．
5) 中村健太郎：音の仕組み，ナツメ社(1999)．
6) 玉井裕樹，加賀美聡，溝口博，長島功一，高野太刀雄：

100社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会
JSAI Technical Report
SIG-CHallege-0522-17 (10/15)

ミッシングフィーチャ理論を適用した
同時発話認識システムの同時発話文による評価
Evaluation of Missing Feature Theory Based Automatic Speech Recognition
for Simultaneous Speech Sentences

山本 俊一 1 Jean-Marc Valin2 中臺 一博 3 中野 幹生 3 辻野 広司 3
駒谷 和範 1 尾形 哲也 1 奥乃 博 1
Shunichi YAMAMOTO1 , Jean-Marc VALIN2 , Kazuhiro NAKADAI3 , Hiroshi TSUJINO3 ,Kazunori KOMATANI1 , Tetsuya OGATA1 , and Hiroshi G. OKUNO1
1

京都大学大学院情報学研究科知能情報学専攻, Graduate School of Informatics, Kyoto University2

3

Dept. of Electrical Engineering and Computer Engineering, Université de Sherbrooke(株) ホンダ・リサーチ・インスティチュート・ジャパン, Honda Research Institute Japan, Co., Ltd.
{shunichi,komatani,ogata,okuno}@kuis.kyoto-u.ac.jp, jean-marc.valin@usherbrooke.ca,{nakadai,nakano,tsujino}@jp.honda-ri.com

Abstract

る．こうした状況に対応する一般的な手法として，雑音を含んだ音声に対して HMM パラメータを学習するマル
チコンディション学習が挙げられる [3, 4]．この手法で得A robot in the real world usually hears mixturesof sounds. To achieve such a robot audition system, the integrtion of sound source separation(SSS) and automatic speech recognition (ASR)
is necessary. We propose to use the missing
feature theory (MFT) as an interface with highinteroperability for the integration. The main
advantage of this approach resides in the factthat the ASR with a clean acoustic model canadapt the distortion of separated speech by consulting a missing feature mask (MFM). In our
MFT-based robot audition system, we developed a microphone array SSS system to output
separated speech with a MFM generated without any prior knowledge, and we used Multiband Julius, which supported stochastic language models and recognized speech fast, for
the MFT-based ASR to recognize the separated speech by using the MFM. We evaluate
the robot audition system working with the humanoid SIG2. As a result, we showed the improvement in word correct rates and processing
speed through speech recognition of the mixtures of three sentences as well as those of threeisolated words.

1

られた音響モデルには，特定条件下の雑音が反映されているため，想定範囲内の雑音には効果的であり，実際に，カーナビや電話サービスといった音声認識アプリケーショ
ンで用いられている．
一方，実環境では音声に音声雑音が混在している混合
音を扱わなければならない場合もある．このような問題を扱う研究としては，音源分離に重点を置いた手法や分離音の認識に重点を置いた手法がこれまでに報告されてきた．前者としては、澤田らの 8 ch のマイクロホンアレイ
を用いた手法 [5] が挙げられる．澤田らは，ビームフォー
ミングと多段階の後処理を組合せて高精度な同時発話音
声を分離を行い，音響モデル適応のみを用いて分離音声を精度よく認識できる手法を報告している．後者としては，中臺らのマルチコンディション学習を同時発話認識に応用した研究 [6] が挙げられる．中臺らは，ヒューマノイ
ドの耳部に備えた 2 本のマイクを用いて方向通過型フィルタによる音源分離を提案しているが，この手法は高速である反面，分離性能が主に音源方向によって変ってしまうという特徴を持っている．そこで，このように音源分離

はじめにに多少の歪みがある場合でも話者・方向依存の音響モデル

ヒューマノイドが人間と自然なインタラクションを行う上を構築し，各音響モデルを用いた音声認識結果を統合す

で，音声認識は重要な機能の一つである．実環境では，通ることによって認識精度を向上させる，アンサンブルシ

常，単一音源からの音ではなく，複数の音が混在した混合

ステムを報告している．

音が聞こえる．つまり，実環境において混合音を認識する

我々は，実際に実環境で耐えうる混合音の認識を行う

ことはヒューマノイドの基本的な聴覚機能であると言えためには，音源分離と音声認識を個別に研究するのではな

る．音声に非音声雑音が混在している混合音については，
AURORA プロジェクト [1, 2]などで，研究が行われていく，お互いの欠点を補い合えるような有機的な統合を可能

101にする親和性の高いインタフェースが必要であると考えている．このようなインタフェースを実現するものとして，

従 来か ら 利用 して き た音 声認 識エ ン ジン CASA
Toolkit (CTK) [10] は，MFT を利用できるが，低速雑音によって歪んでしまった部分（ミッシングフィーチャ）を抽出し、マスクすることによって認識向上を図るミッシ
ングフィーチャ理論（Missing Feature Theory, MFT）[7,

MFT を利用でき，実時間動作が可能な音声認識エン

8] に着目し研究を進めている．実際に，これまでに，2 本

ジンを用いる必要があると共に，孤立単語認識以外のマイクを用いた混合音声分離，およびクリーン音声を先への有効性の検証を行う必要がある．

であり，孤立単語認識しかサポートしていなかった．

見情報として用いたミッシングフィーチャマスク（Missing

以下，上記 3 点に関して，詳細，および本稿におけるFeature Mask, MFM）生成により孤立単語の分離音声認

解決のアプローチについて説明する．

識の実装・評価を行い， 音声雑音のような非定常性雑音に対しても，ミッシングフィーチャ理論が，音源分離と音3

声認識のインタフェースとして有効に働くことを示した[9]．その反面，雑音によって歪んでしまった部分を先見

本稿で扱う MFT ベースの音声認識システムでは音声認情報を用いずにどのように抽出するのか，孤立単語認識

識の特徴量として，MFCC ではなく，スペクトル特徴量[11]を用いる．MFCC は入力音声がクリーンな場合は有以外にも有効であるか未確認であったといった問題点が音声認識特徴量効であるが，入力スペクトルに歪みがあると，たとえそあった．そこで，本稿では，8 本のマイクを用いたマイクれが特定の周波数領域での歪みであっても， MFCC の全

ロフォンアレイ音源分離と音源分離からの情報を利用し係数に影響を与えてしまい，ロバスト性が低下する．また MFM 自動生成を提案し，複数同時発話の連続音声認

た，本手法の音源分離の後処理に利用する多チャンネル識に適用する．

post-filter は，周波数領域で背景雑音推定や，他の音源か

2

音源分離と音声認識の統合における課題

らの干渉成分のスペクトル推定を行っている．従って，これらの 2 つの理由から，MFM を自動生成するには周波音源分離と音声認識はそれぞれ別個な技術として独立に数領域の特徴量である方が適している．

研究されてきた．例えば，音源分離では，分離音を出力す

以下に，MFCC の計算で用いられるのと同様の正規化るだけで，分離歪みの情報を利用できるような形で音声を行ったメル周波数対数スペクトル特徴量の導出の手順

認識に提供するような報告はほとんどない．また，MFTを示す．

を用いた音声認識では，ミッシングフィーチャを自動的に検出する手法に関する報告は，非音声雑音が重畳された
単一話者の音声を対象としたものがほとんどであった [7]．

(1) 音響信号を 16 ビット，16 kHz でサンプリングし，窓
幅 25 ms，シフト幅 10 ms の FFT を行う．

このため，MFT を用いて音源分離と音声認識を統合す(2) メル周波数領域で等間隔に配置した 24 個の三角形窓

る際には，以下のような課題を解決する必要がある．

によりフィルタバンク分析を行う．

1. 適切な音声認識特徴量の検討(3) 24 個のフィルタバンクの出力の対数を取り，メル周

一般に音声認識の特徴量として，メル周波数ケプス

波数対数スペクトルを得る．

トラム係数（Mel-Frequency Cepstral Coef- ficient,

MFCC）が用いられる．これに対し，歪みの検出は，(4) 対数スペクトルを離散コサイン変換する．

一般にスペクトル領域で行う方が好ましい．そこで，(5) ケプストラム係数の 0, 13-23 次の項を 0 にする．

MFT を利用する場合は，音源分離によって歪んだ音声に適した特徴量を音声認識で利用できるよう検討(6) ケプストラム平均除去（Cepstral Mean Subtraction,
CMS）を行う．

する必要がある．

2. MFM の自動生成
これまで，クリーン音声を先見情報として MFM 生(7) 逆離散コサイン変換を行ってスペクトル領域に戻す．
(8) 各次元毎に一次微分を計算する．

成に利用してきたが，実環境で，こうした先見情報を利用することは難しい．MFM 自動生成は，前述(9) 微分値と合わせて，計 48 次元の特徴量として抽出し，メル周波数対数スペクトル特徴量を得る．

したように非音声雑音が重畳された単一話者の音声を対象としたものがほとんどであったが，混合音の4場合，チャネル間のクロストークなども考慮して音源分離で，MFM 自動生成の手がかりとなる情報を

ミッシングフィーチャマスク自動生成

MFM 自動生成には，分離音声から抽出したメル周波数対数スペクトルのうち，どの周波数帯域が歪んでいるかと推定する必要がある．

3. 高速かつ MFT に基づく音声認識を行える音声認識

いう情報が必要である．周波数帯域の歪みを検出するた

102a) 左 90 度話者の分離音スペクトログラムb) 左 90 度話者の分離音用 MFMc) 中央話者の分離音スペクトログラムd) 中央話者の分離音用 MFMe) 右 90 度話者の分離音スペクトログラムf) 右 90 度話者の分離音用 MFM

Figure 2: 自動生成された MFM の例の干渉成分のスペクトル推定を行っている．最終的に，定S^m(k,l)Xn(k,l)Geometric
sourceseparation

常性雑音推定と非定常性雑音推定を統合することにより，Ym(k,l)雑音推定を行っている．なお，Figure 1 において，Xn (k, i)Attenuation
rule

は n 番目のマイクから GSS への入力，Ym (k, i) は GSS

Interference λ leak(k,l)
mleakestimation
SNR & speech+probatility
Stationary
estimationnoise
estimation λmstat.(k,l)λ (k,l)で分離された m 番目の音源の信号、Ŝm (k, i) は多チャンネ
ル post-filter 処理後の m 番目の音源の分離信号を表している。Gm (k, i) は重み関数で Ŝm (k, i) = Gm (k, i)Ym (k, i)と定義される。

MFM のうち，微分値でない特徴量（i = 1, · · · , N2 ）にm対応するマスク M (k, i) は，メル周波数帯域のフレーム

Figure 1: 多チャンネル post-filter の概要

k における多チャンネル post-filter の入力を Y (k, i)，出めに，先見的情報は仮定せずに音源分離処理から得られ雑音を N (k, i) とした場合， 以下のように 2 値のマスク

力を. Ŝ(k, i)，多チャンネル post-filter で推定された背景
るデータのうち，多チャンネル post-filter の入力および， （信頼できるとき 1，信頼できないとき 0）として定義する．また，閾値 T は実験的に求め，0.25 とした．
出力音響信号，推定された背景雑音のスペクトルを利用



する．
1,
Ŝ(k, i) + N (k, i) /Y (k, i) > T
M (k, i) =多チャンネル post-filter [12]は，幾何学的音源分離（Ge0, otherwise
ometric Source Separation, GSS）の post-filter 処理[13]を複数音源を扱えるように拡張した手法である．Figure 1

このように，推定された背景雑音を利用するのは，背に示すように，この手法は，GSS のチャンネル出力雑音を景雑音が大部分を占める周波数帯域は信頼度が高くなる

定常性雑音と非定常性雑音に分けて推定を行っている．定ようにするためである．つまり音声認識から見ると，背景

常性雑音は，主に背景雑音であるとし，背景雑音推定を行

雑音しか存在しなかった周波数帯域は，無音であることう．非定常性雑音は，GSS の過程で他のチャンネルから漏が「信頼できる」領域であるとするということである．
また，MFM のうち，特徴量の一次微分（i =洩したものであると仮定して，適応的に他チャンネルから

103

N
2

+

1, · · · , N ）に対するマスク M (k, i) は，以下のように定義する．この場合も，2 値のマスクとなる．
2

M (k, i) =j=−2,j=iN
M k + j, i −2

特徴量とその一次微分に対応したマスクからなる MFMの次元数は，スペクトル特徴量と同じ N = 48 となる．生成された MFM の例を Figure 2 に示す．Figure 2 の a)，

Figure 3: システムの概要c)，e) はそれぞれ，「あらゆる現実をすべて自分の方へね
じまげたのだ」，「一週間ばかりニューヨークを取材した」，

音素 HMM の尤度が相対的に低くなるのを防ぐことがで「テレビゲームやパソコンでゲームをして遊ぶ」という三きる．

話者同時発話を分離した音声のスペクトログラムである．
された MFM である．これらの図は，横軸は時間を表し，

MFT に基づく音声認識エンジンの実装として，これまで利用していた CTK の代わりにマルチバンド版 Julius[11]を利用した．CTK は HMM のデコードアルゴリズム

また，b)，d)，f) はそれぞれ，a)，c)，e) に対して生成
縦軸は周波数（MFM の図ではメル周波数）を表していとして Viterbi アルゴリズムを用いており，音響モデルとる。また， MFM の図では，白い部分は信頼できる特徴

してモノフォンとトライフォンを，言語モデルとして有量を，黒い部分は信頼できない特徴量を表している．

限状態文法をサポートしていた．一方，マルチバンド版
Julius は大語彙音声認識エンジン Julius [14]を MFT に

5

音声認識エンジン

基づく音声認識が行えるように改良したもので，単純なMFT に基づく音声認識は一般の音声認識と同様に，隠れモノフォンやトライフォンだけでなく，状態を共有したトマルコフモデル（Hidden Markov Model，HMM）に基づ

ライフォンや，分布を共有したモデルなどをサポートしいている．一般の音声認識システムでは，状態遷移確率とている．言語モデルとしても，有限状態文法だけではな

出力確率から与えられた信号系列を最も高い確率で出力

く N-gram の統計言語モデルもサポートしている．また，する状態遷移系列を求めるが，MFT に基づく音声認識シJulius は 2 パスによる HMM のデコードを行い，リアル

ステムでは，このうち出力確率の計算方法が一般の音声認

タイムで音声認識ができるように実装されている．マル識とは異なっている．特徴ベクトル x，状態 Sj の時の正チバンド版 Julius も速度の低下はあるものの CTK より

規分布の確率密度関数を f (x|Sj )，L を混合正規分布の混高速に動作する．

合数，P (l|Sj ) を混合係数，N を特徴量の次元数とする．
このとき，通常の連続分布型 HMM では出力確率は以下6のように定義される．

混合音声認識システムは以下の 4 つの処理部から構成さ

bj (x) = f (x|Sj ) =L

同時発話認識システム

れている（Figure 3）．

P (l|Sj )f (x|l, Sj )(1) GSS の一種として実装されているビームフォーマ

l−1(2) 多チャンネル post-filter

しかし，MFT に基づく音声認識では，出力確率 bj (x)は信頼できる特徴量ほど出力確率に大きく貢献し，信頼(3) MFM 自動生成

できない特徴量ほど出力確率に貢献しないように設計す(4) MFM を利用した MFT による分離音声認識

る．つまり，信頼できる特徴だけが出力確率の計算に用いられ，信頼できない特徴による影響を除去しなければな

音源分離は，GSS に基づく線形音源分離法を用い，さらない．これを実現するために，特徴量の各成分に対する信頼度を表す MFM ベクトル M (i) を用いて以下のよう

らに，確率的勾配法を適用し，推定に利用する時間幅を短くすることによって高速化したものを利用する[12]．音源に定義する．

分離で利用するマイクロフォンアレイはヒューマノイドに

bj (x) =Ll−1

P (l|Sj ) exp

N

設置された 8 本の無指向性マイクで構成されている．

M (i) log f (x(i)|l, Sj )多チャンネル post-filter では，前節で説明したように，

i−1

GSS による分離音の目的音源を強調し，分離音だけではなく，post-filter 処理の際に推定した背景雑音スペクトル

この式によると，信頼できない特徴量に対するすべての音素 HMM の尤度が等しくなるので認識には影響しなを出力する．

い．さらに，正解の音素 HMM の尤度を低下させるよう

MFM 自動生成では，多チャンネル post-filter の入出力

な信頼度の低い特徴量をマスクすることにより，正解のと推定した背景雑音スペクトルを元に MFM を生成する．

104

(3) メル周波数対数ペクトル特徴量を用いて MFT に基づく Julius によって分離音声を認識
7.1

音響モデル

実験では，HMM に基づく音響モデルとして，クリーン音声で学習した単一のトライフォンを利用した．この音響モデルは 3 状態 4 混合の HMM である．学習データとして，日本音響学会の新聞記事読み上げ音声コーパスを利用した．このコーパスは，毎日新聞記事と ATR 音素バラ

Figure 4: SIG2
文
音素

ンス 503 文を 306 人の話者（男女それぞれ 153 名）が読

Figure 5: 実験風景

み上げたデータである．話者 1 名あたり約 150 文，コー

Table 1: ATR 音素バランス文の例
あらゆる/げんじつ/を/すべて/じぶん/の/パス全体では約 45,000 文の発話が含まれている．

ほう/へ/ねじまげ/た/の/だ/。

7.2

arayuru/geNjitsu/o/subete/jibuN/no/

言語モデルは，新聞記事コーパスと ATR 音素バランス文

ho:/e/nejimage/ta/no/da/
文から学習した統計言語モデルを利用した．実際に実験に用

いっ/しゅうかん/ばかり/ニューヨーク/を/いたのは次の 2 つの言語モデルである．一つ目は，ATR

しゅざい/し/た/。
音素

iq/shu:kaN/bakari/nyu:yo:ku/o/shuzai/shi/ta/

文

テレビ/ゲーム/や/パソコン/で/ゲーム/を/し/音素バランス文 50 文で学習した言語モデルであり，語彙
サイズは約 400 語彙である．二つ目は，ATR 音素バラン
ス文による言語モデルと毎日新聞記事による言語モデルを融合したもので，語彙サイズは約 2 万語彙である．このて/あそぶ/。
音素

毎日新聞記事による言語モデルは連続音声認識コンソー

terebi/ge:mu/ya/pasokoN/de/ge:mu/o/shi/

シアム（CSRC）によって配布されているものである．

te/asobu/

7.3
MFT に基づく音声認識では，分離音の特徴量と自動生成された MFM を利用して音声認識を行なう．

7

言語モデル

実験結果と考察

三話者同時発話認識結果の単語正解率を Figure 6 a)，b)に示す．全ての場合において，提案手法の単語正解率は通常の音声認識を行う場合よりも向上している．ATR 音素

実験

バランス文による言語モデルの場合の単語正解率は，ス
ピーカ間隔が 30 度の場合で，平均が 53.3%，右方向の場

システムの評価を行うためにヒューマノイド SIG2 に 8 本合が最大で 59.5%，スピーカ間隔が 60 度の場合で，平均のマイクを取り付け（Figure 4），三話者同時発話認識実が 53.6%，右方向の場合が最大で 65.0%，スピーカ間隔験を行った．実験を行った部屋（Figure 5）は 4 m×5 m のが 90 度の場合で，平均が 66.2%，右方向の場合が最大で大きさで，残響時間は 0.3 – 0.4 秒 (RT20) である．SIG2

73.5%であった．単語正解率が最大となったのは，右 90 度の場合で 73.5%であった．毎日新聞記事と ATR 音素バラとスピーカの距離は 2 m で，スピーカの間隔は 30 度，60
度，90 度間隔の場合の 3 パターンで録音した．実験に用

ンス文による言語モデルの場合の単語正解率は，スピーカ

いた音声は ATR 音素バランス文 50 文で，3 体のスピー間隔が 30 度の場合で，平均が 38.1%，右方向の場合が最大カから異なる組み合わせで文を出力し，三話者同時発話

で 41.8%，スピーカ間隔が 60 度の場合で，平均が 37.8%，の音声認識実験を行った．音素バランス文の例を Table 1

中央の場合が最大で 48.6%，スピーカ間隔が 90 度の場合に示す．

で，平均が 47.1%，右方向の場合が最大で 52.8%であった．

提案手法と比較するために，特徴量として MFCC を用

単語正解率が最大となったのは，右 90 度の場合で 52.8%でいた場合の実験も行い，以下のような場合の三話者同時あった．これらは，ヒューマノイド上での音声認識におい

発話認識実験を行った．なお，音源分離に必要となる音源て MFCC に基づく通常の音声認識よりも，提案手法の方

定位結果は所与であるとした．

が適していることを示している．
処理速度に関しては，Pentium 4 (2.53 GHz) の Linux(1) 特徴量 MFCC を用いて Julius によって分離音声を

PC において，MFT に基づく Julius は 315 秒の分離音声認識を処理するのに 373 秒かかり，通常の Julius では 314 秒(2) メル周波数対数ペクトル特徴量を用いて Julius によって分離音声を認識かかった MFT に基づく Julius は通常の Julius の 84%の速度であった．

105

謝辞

100
Julius + MFCC
Julius + LSMS
Multiband Julius + LSMS + MFT

90
Word correct (%)

80

本研究の一部は，科学研究費補助金基盤研究 (A)，特定領70

域研究「情報学」，京都大学 21 世紀 COE，(財) 電気通信

60

普及財団の研究補助を受けている．また，マルチバンド

50

版 Julian の利用を許可していただいた，東京工業大学の40

古井研究室と東京大学の西村義隆氏に感謝する．御討論

30いただいた京都大学奥乃研究室の面々，Sherbrooke 大学

20の Rouat 教授，Michaud 教授に感謝する．

10
0left center rightleft center rightleft center right

30 deg.

60 deg.
Directions

90 deg.

参考文献[1]a) ATR 音素バランス文による言語モデル（約 400 語）
100
Julius + MFCC
Julius + LSMS
Multiband Julius + LSMS + MFT

90
Word correct (%)

80
70
60
50
40
30
20
10
0

left center rightleft center rightleft center right

30 deg.

60 deg.
Directions

90 deg.

b) 毎日新聞記事と ATR 音素バランス文による言語モデル（約 20,000 語）
Figure 6: 三話者同時発話認識結果の単語正解率

8

おわりに

音声に音声雑音が混在しているような混合音も扱うことができる音声認識を目指し，音源分離と音声認識の統合を可能にする親和性の高いインタフェースとして，ミッシン
グフィーチャ理論に着目し，1) MFT を用いる場合の適切な音声認識特徴量としてスペクトル特徴量の提案，2) マ
イクロフォンアレイによる音源分離から得られるチャネル
間リーク情報を利用した MFM の自動生成，3) MFT に基づく高速な連続音声認識システムとしてマルチバンド
版 Julius の利用の提案を行った．実験では三話者同時発
話文の連続音声認識を行い，結果として，提案手法の有効性を通常の音声認識に対する単語正解率の向上により確認した．しかし，今回の実験で得られた単語正解率は60% 弱であり，十分高いとは言えない．今後，音源分離
性能，MFM 自動生成に更なる改善を行う予定である．また，移動音源への対応や，ヒューマノイドが動く場合への対応，また音源とヒューマノイドが同時に動く場合への対応についても検討する予定である．

106

AURORA. http://www.elda.fr/proj/aurora1.html”“http://www.elda.fr/proj/aurora2.html.
[2] D. Pearce. Developing the ETSI AURORA advanced
distributed speech recognition front-end & what next.
Proc. of Eurospeech-2001. ESCA, 2001.
[3] M. Blanchet, J. Boudy, and P. Lockwood. Environmentadaptation for speech recognition in noise. Proc. of
EUSIPCO-92, pp.391–394, 1992.
[4] R. P. Lippmann, E. A. Martin, and D. B. Paul. Multistyletraining for robust isolated-word speech recognition. Proc. of IEEE ICASSP-87, pp.705–708, 1987.
[5] 澤田知寛, 関矢俊介, 小川哲司, 小林哲則. 階層的音源分離に基づく混合音声の認識. 第 18 回 AI チャレンジ研究会報
告, pp.27–32, 2003.
[6] K. Nakadai, D. Matasuura, H.G. Okuno, and H. Tsujino. Improvement of recognition of simultaneous speech
signals using av integration and scattering theory for humanoid robots. Speech Communication, 44(1-4):97–112,
October 2004.
[7] J. Barker, M. Cooke, and P. Green. Robust ASR basedon clean speech models: An evaluation of missing datatechniques for connected digit recognition in noise. Proc.
of Eurospeech-2001, pp.213–216.
[8] P. Renevey, R. Vetter, and J. Kraus. Robust speech
recognition using missing feature theory and vector
quantization. Proc. of Eurospeech-2001, volume 2, pages
1107–1110. ESCA, 2001.
[9] 山本俊一, 中臺一博, 辻野広司, 奥乃 博. ロボット聴覚シス
テムの音源分離と音声認識のインターフェースへのミッシ
ングフィーチャー理論の適用. 日本ロボット学会誌, Vol.23,
No.6, pp.743–751, 2005.
[10] CASA Toolkit.
http://www.dcs.shef.ac.uk/ jon/ctk.html.
[11] 西村 義隆, 篠崎 隆宏, 岩野 公司, 古井 貞煕. 周波数帯域ごとの重みつき尤度を用いた音声認識の検討. In 日本音響学会 2004 年春季研究発表会講演論文集, volume 1, pages
117–118, 2004.
[12] J.-M. Valin, J. Rouat, and F. Michaud. Enhanced robot
audition based on microphone array source separation
with post-filter. Proc. of IEEE/RSJ IROS 2004, 2004.
[13] I. Cohen and B. Berdugo. Microphone array postfiltering for non-stationary noise suppression. Proc. of
ICASSP-2002, pp.901–904, 2002.
[14] T. Kawahara and A. Lee. Free software toolkit forjapanese large vocabulary continuous speech recognition. Proc. of ICSLP-2000, pp.476–479, 2000.