人工知能学会研究会資料

JSAI Technical Report
SIG-Challenge-0216

ＡＩチャレンジ研究会 (第１６回)

Proceedings of the 16th Meeting of Special Interest Group on AI Challenges
CONTENTS
5 ヒューマノイド・ロボットの技術とその展望 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
高西 淳夫 (早稲田大学理工学部・ヒューマノイド研究所)

5 身体動作に基づく人ロボット対話の解析 { 主観的評価・性格との関係 { : : : : : : : : : : : : : : : : : : : : : : : : 6

An analysis of body movement on human-robot interaction
神田 崇行，石黒 浩，今井 倫太，小野 哲雄 (ATR 知能ロボティクス研究所)

5 ロボット対話における自然な新規語彙の獲得 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13

New word acquisition in the dialogue with Robot
小川 浩明 (ソニー (株) デジタルクリーチャーズラボラトリ)

5 A technology of intelligence on ASIMO and a system introduction : : : : : : : : : : : : : : 19
アシモの知能化技術とシステムの紹介

Yoshiaki Sakagami (Honda R&D Co. Ltd.)
5 アクティブオーディションによる複数音源の定位・分離・認識 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25

Speech localization, separation and recognition by active audition for humanoid中臺 一博，奥乃 博，北野 宏明 (科学技術振興事業団北野共生システムプロジェクト)

5 状況検知を利用したロボット用音声認識インタフェースの一手法とその評価 : : : : : : : : : : : : : : : : : : : : 33

A speech recognition interface for robots using noti cation of ill-suited conditions
岩沢 透，大中 慎一，藤田 善弘 (NEC マルチメディア研究所)

5 視聴覚定位能力を同時に獲得するロボットヘッドの構築 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 39

Construction of a robot head which aquires audiovisual localization ability simultaneously
中島 弘道 (理化学研究所)，大西 昇 (名古屋大学)，向井 利春 (理化学研究所)

5 頭部の３次元運動に追従するダミーヘッドシステム { テレヘッド (TeleHead) { : : : : : : : : : : : : : 45

The TeleHead : A dummy head that tracks 3D head movement
平原 達也，戸嶋 巌樹，植松 尚 (NTT コミュニケーション科学基礎研究所)

5 パワーパターンとピーク時周波数パターンを利用した環境音認識方法 : : : : : : : : : : : : : : : : : : : : : : : : : : 53
豊田 義之，黄 捷， Yong Liu (会津大学コンピュータ理工学部)

5 ETSI AURORA プロジェクトの動向と雑音下音声認識評価ワーキンググループの活動報告 : : : 57

X

Progress report for current status of ETSI AURORA Project and SLP Working
Group for noisy speech recognition
中村 哲 (ATR-SLT)，西浦 敬信 (和歌山大学)，
武田 一哉 (名古屋大学)，黒岩 眞吾 (徳島大学)，山田 武志 (筑波大学)，北岡 教英 (豊橋技術科学
大学)，山本 一公 (信州大学)，藤本 雅清 (龍谷大学)，水町 光徳 (ATR-SLT)

日時

2002 年 11 月 22 日

Waseda University, Nov. 22, 2002
場所

早稲田大学理工学部

62W 号館 1 階 大会議室

社団法人 人工知能学会
Japanese Society for Arti cial Intelligence社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG‑Challenge‑0216‑11

ヒューマノイド・ロボットの技術とその展望
高西淳夫
早稲田大学理工学部・ヒューマノイド研究所
概要：
今，日本の製造業の中心的存在としてその牽引役を果たしてきた大企業が，一般家庭への普及をも視野に入れた人間あるいは生物の形をした非製造業用のロボットを続々と開発し，国内だけでなく世界的にも大きな社会的インパクトを与えている．産業用ロボットの市場規模に比べるとまだまだ小さいものの，ロボット産業全体のマーケットの方向にも徐々に変化が起こりつつある兆ではないかと思われる．
このような時代背景のなかで，筆者らは人間型ロボットを用いた人間のメカニズム解明とその応用機器開発，ならびに将来のパーソナル・ロボットとしての人間型ロボットの基礎研究という視点でロボットの開発を行っている．本稿では，筆者らが現在開発中の様々なロボットを中心に紹介しながら，ロボット技術の現状および将来について展望を試みる．

１．はじめに最近，多くの大学や研究機関でヒューマノイド・ロボット（以下，単に「ヒューマノイド」と呼ぶ）の研究が近年盛んに行われるようになってきた．企業でも，ソニーのペット・ロボットの AIBO とヒューマノイドの SDR-3X・4X，テムザックの遠隔操縦式人間型ロボットの T-4 や三洋電機と共同開発の警備用４足ロボットの番竜，ホンダの ASIMO，オムロンの猫型ペット・ロボットのネコロなどが発売・発表され，工業用一辺倒だった日本のロボット業界に大きな異変が起こっている．これらはマスコミで大々的に報じられ，国内だけでなく世界的にも大きな社会的インパクトを与えている．
一方，早稲田大学では，故加藤一郎教授（1994 年他界）が 1960 年代前半より世界でも最初のヒューマノイドの研究に着手して以来，40 年近くに渡って研究が続けられている．現在は，早稲田大学ヒューマノイド研究所が設立され，８名の専任教員と国内外の６名の客員研究者を擁し，１０数社の企業とともにヒューマノイド・コンソーシアムを組織・運営し，ヒューマノイドの基盤・周辺技術に関する研究が続けられている．
今や過熱気味とも思われるブームになっているヒューマノイドだが，ロボットが人間社会の中で充分に役に立つほどのレベルに達するまでには，まだまだ，多くの時間と経験を要するというのが筆者の実感である．特に人間に対する安全性という観点からは，乗り越えなければならないハードルは何段もある．では何故，ヒューマノイド研究なのか，筆者は以下の２つの視点から研究を行っている．ひとつは，人間の形態と機能を模したロボットを設計・製作し，これを用いて人間の行動や機能を再現することで，構成論的に人間の工学モデルを構築するという視点である．すなわちヒューマノイドを道具として用いて人間を科学する「ロボット工学的人間科学(Robotic Human Science)」とでも呼べるものである．もうひとつは，そうして得られた人間の工学モデルを従来の基盤工学における各種モデル群と統合し，これと並行して人間のための様々なロボットや機器・装置の開発の実践を通して，人間に関わるロボットやシステムに関する演繹的設計論の構築を目指す「人間モデル規範型ロボット工学」とでも呼べるものである．以下，筆者らの研究を中心にその具体例を紹介する．

1２．２足歩行ロボット
現在，
WABIAN と呼ぶ２足人間型ロボットと WL-15 と呼ぶ２足歩行ロコモータの開発を行っている．
２．１ WABIAN
まず WABIAN(WAseda BIpedal humANoid)の全体写真を右図に示す．その身長は直立静止状態で 1.9[m]総重量は約 130[kg]ある．アクチュエータは下肢では片脚に 6 軸，体幹に 3 軸，上肢では片腕に 7
軸，手にも各 3 軸，首部に４軸あり，全身合計で 43 の自由度を有している．このロボットでは，M.Vukobratovich によって提案された
ZMP(Zero Moment Point)の概念を用いて，２足歩行ならびに全身運動における軌道計画と安定化制御の問題に取り組んでいる．
この研究で構築された歩行に関する工学モデルは，ソニーのヒューマノイドの SDR シリーズだけでなく，
最近始まった日立との歩行障害者用支援機の性能評価用ヒューマノイドの開発やテムザックとの（車椅子では不可能な）階段昇降も可能な歩行障害者乗用２足歩行ロボットの開発にも応用されている．
２．２ WL-15
近年，多くの企業や研究機関でヒューマノイドが開発されているが，その移動機構には車輪やクローラを用いているものが，まだ圧倒的多数を占めている．その理由は，まずロボットによる２足歩行技術が未だ発展途上である上に，従来の２足歩行ロボット自体が，車輪やクローラのように，その上部に負荷や搬送物を搭載して移動するための独立した移動機構として設計・開発されていないところにある．
しかし一方で，車輪やクローラを人間の住環境で使うには，そのための様々なインフラの整備を必要とし，結果的に普及の弊害となる．そこで，現環境の変更・修正を必要としない移動機構が必要とされ，筆者らは「ロボットの移動用モジュールとしての２足ロコモータ」という発想から研究を開始した．これは下半身のみで自立歩行が可能な２足ロコモータを開発し，階段や斜面を昇降できる歩行障害者用の移動椅子等を開発できるようにするというものである．その結果，剛性の高いパラレルリンク機構を用いた
脚と腰部のみで構成され，樹脂材料を多用することにより小型・軽量で，しかも電池駆動により自立性の高い歩行あるいは移動が可能な WL-15（Waseda Leg No.15）を開発した．
（左図）
３．デンタル・ロボット
筆者らが「デンタル・ロボティクス」と呼び，「ヒトの顎構造を模したロボットを開発し，これを用いて咀嚼運動を再現することで，ヒトの咀嚼に関する工学モデルを構築すること」を目的とした咀嚼ロボットに関する研究，さらに，そこで得られたヒトの咀嚼モデルをもとに設計・製作された顎運動障害患者用の顎開閉口治療ロボットなどの開発を行っている．

2

３．１ 咀嚼ロボット
咀嚼ロボットを用いてヒトの咀嚼メカニズ
ムに関する工学モデルの構築を目指している．
右図に示す最新のロボットはオキノ工業と共同開発した WOJ-1R (Waseda-Okino Jaw No.1
Refined)である．
ヒトの筋特性をシミュレートするため，非線形粘弾性機構および DC サー
ボ・モータとプーリ巻き上げ式のワイヤ機構
を用いて下顎を駆動する合計 11 の自由度を有する．咀嚼生理学的視点から１咀嚼サイク
ルを４つの相に分け，それぞれの相の特徴と目的に合った顎運動パターンと制御パラメー
タを切り替える状態遷移型の制御を行うこと
で，ヒトの咀嚼運動を再現する．この研究で得られた顎運動の工学モデルは，山梨医大と共同で開発中の顎運動障害者用の開閉口訓練ロボットの臨床治療，ならびに和洋女子大と共同で開発中の食物物性測定用ロボットなどに応用されている．
３．２ 顎開閉口訓練ロボット
山梨医科大学および工学院大学と共同で，マスター・スレーブ方式と呼ぶロボットの制御・構成技術を用いることで，従来の手動式開口器に比べて多角的で高精度かつ定量性の高い顎運動障害患者の開閉
口訓練・治療ができるロボットの開発を行っている．
現在は下図に示すように，直動型アクチュエータによる６自由度の並列駆動機構を有する WY(Waseda
Yamanashi)-5R(Refined)の開発と，山梨医大に設置し患者への適用を行う実用プロトタイプ WY-6 の製作を完了している．WY-5R
では仮想コンプライアン
ス制御と呼ぶ制御方式を導入している．各アクチ
ュエータの位置ならびに６軸力センサにより患者の顎に加わる３軸力と３軸モーメントを計測，これと座標変換マトリックスを用いたリアルタイム
演算により６個のアクチ
ュエータの速度目標値をフィードバック制御する．これにより，あたかも全運動軸を回転中心とした開閉口方向にのみ強制力を発生し，それ以外の方向へは外力に応じて浮遊する仮想的な機構が存在しているかのようにロボットが動く．したがって，患者個々に異なる様々な顎運動経路へのロボットの自動適応動作が実現し，顎関節に余分な力をかけることなく安全な開閉口訓練が行える．また，マスター（術者）側とスレーブ（患者）側のロボットを ISDN 回線により接続することで，両者がお互い遠隔地にいても訓練・治療が可能となっている．さらに，熟練した術者の治療中における操作量（マスター側のレ
バーの変位と力）を記憶し，後でそれら（レバーの変位と力）を同時に入門者が感じることができる治3

療術教育用のマスター・ロボットも開発している．
４．フルート演奏ロボット
人間のフルート演奏は人体各部の巧みな協調動作により実現している．筆者らは，楽器演奏時の人体各器官の働きを機械モデルにより再現し，フルート演奏のメカニズムを工学的視点から解明することを目指し，現在は右図に示す
人間形フルート演奏ロボット WF-3RIX（Waseda Flutist No.3
Refined version IX）の開発を行っている．ハードウェアとしては，呼気吸気を行う肺部, フルート歌口との相対位置
決め用姿勢制御装置, トリル演奏のできる指部, 口唇部,
ダブルタンギング機構, ヴィブラート発生装置，MIDI 伴奏
同期システムにより構成されている．ソフトウェアとしてはヒューマン・インタフェース機能の向上を図ったロボッ
ト制御用ソフトウェア，フルートの安定した吹鳴と楽曲の演奏，また音質評価パラメータを用いた無音状態からの吹鳴音探索，口唇部を固定してすべての音を吹鳴できる「ジェネラルポジション」の探索, さらに FFT を用いたリアルタイム吹鳴音評価システムを有している．それらを統合したロボット・システムにより，ジェネラルポジション決定後の口唇部パラメータの自律探索を実現し，さらに現在は人間とロボットの合奏する際, ロボットの演奏にリアルタイムなインタラク
ション性を持たせる研究を行っている．
５．表情ロボット
筆者らは，数年前から早稲田大学の心理学教室と連携し，ヒトの体幹と頭部を模した構造で，感情を表出することが可能なロボット WE シリーズを開発し，ヒトの心理に関する工学モデルの構築を試みている．
左図に示す最新の WE-4（Waseda Eye No.4）は合計で29 自由度を持ち，感覚としては人間の五感のうち視覚，
聴覚，嗅覚および皮膚感覚（触覚と温覚）の４つを有している．WE-4 は覚醒・不覚醒，快・不快，確信・不確信の３軸で構成される３次元の心理ベクトル空間を持ち，この中に，外部刺激ならびに内部状態を強制項として持つ２階の線形および非線形の常微分方程式
群（情動方程式）と，その解としての情動ベクトルとムード・ベクトルが定義されている．この心理空間はまた，「幸せ」や「驚き」などの心理用語に対応する７つの領域に区分され，刻々と動き回る情動ベクトルが通過中の区分領域に対応した感情が，そのときのロボットの感情として一意に決定される．

4

６．発話ロボット
人が社会生活を営むとき，社会を構成している個人間には頻繁な意思の交流が必要であり，これがなくては社会を維持していくことは困難である．社会における意思の伝達には通常，音声言語 (言葉)が用いられ，それ以外に身振り・文字・絵などによる伝達方法があるが，伝達効率から考えると音声言語が最も優れたものであるといえる．音声言語の生成，つまり発声に関してはこれまでに多くの研究がなされているが，未だ脳における発声の運動計画処理機構から運動器官における音声生成の運動までを包括的に研究された例はなく，また人の発声動作は十分に解明されていないのが現状である．
筆者らは，文科省 CREST プロジェクトの一環として
NTT を中心としたグループとの共同研究において，発声器官 (肺，声帯) と調音器官 (舌，唇，歯，鼻腔) を持つ発話ロボットを開発し，これを用いてヒトの発声メカニズムの解明を目指している．また，
これによって発声の訓練や外国語習得の有効な手段を提案できるものと考えられる．
上図に示すものが，最新の機構を有する発話ロボット WT-2(Waseda Talker No.2)である．WT-2 は全体で 15 の自由度有し，声帯から口唇までの声道長さは 175[mm]と，成人男性と同程度である．まだ不自然さは残るものの，WT-2
は日本語の 50 音全て，濁音および半濁音の子音までの発声が可能となっている．
７．まとめ
本稿では，筆者らの研究室で開発しているロボットの具体例を紹介しながら，人間の形態と機能を模したロボットを設計・製作し，これを用いて人間の行動や機能を再現することで，構成論的に人間の工学モデルを構築する「ロボット工学的人間科学(Robotic Human Science)」と，そうして得られた人間の工学モデルを従来の基盤工学における各種モデル群と統合し，これと並行して人間のための様々なロボッ
トや機器・装置の開発の実践を通して，人間に関わるロボットやシステムに関する演繹的設計論の構築を目指す「人間モデル規範型ロボット工学」について述べた．
本稿が同分野に関する理解の一助になれば，存外の喜びである．

参考文献：(1) 早稲田大学ヒューマノイドプロジェクト編著， 人間型ロボットのはなし， 日刊工業新聞社，
東京，1999 年(2) 高西淳夫， デンタル・ロボティクス， 日本歯科医師会雑誌，vol.53，no.3，June 2000．
(3) 三輪洋靖，高西淳夫，他， ヒューマノイドロボット用心理モデルの構築 -学習システム・気分
ベクトル・2 次情動方程式の導入-， 第 20 回日本ロボット学会学術講演会予稿集，Sep. 2002．
(4) 西川員史，高西淳夫，他， 人間に近い発声を目的とした新形発話ロボットの開発， 第 20 回
日本ロボット学会学術講演会予稿集，Sep. 2002．

5

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑2

社団法人 人工知能学会

Japanese Society for
Artificial Intelligence

身体動作に基づく人ロボット対話の解析−主観的評価・性格との関係−
An analysis of body movement on human-robot interaction
神田崇行

石黒浩

今井倫太

小野哲雄

Takayuki Kanda

Hiroshi Ishiguro

Michita Imai

Tetsuo Ono

ATR 知能ロボティクス研究所
ATR Intelligent Robotics and Communication Laboratories
kanda@atr.co.jp

Abstract
Toward an ideal human-robot communication, we
created an interactive humanoid robot that complexly
behaves and autonomously interacts with humans by
speaking and taking gesture. This is a testbed for
embodied communication. Our approach is to precisely
measure the interaction represented as body movements
between the robot and humans to identify the essential
embodimentandbehavior.

We

performed

anexperiment about the interaction. The body movements
is measured by a motion capture system, and thencompared with subjective evaluation about the robot
and personality of the subjects. It reveals the importantrole of the body movements. As the result, we have

Figure１１:

verified effect of the well-coordinated behaviors on thesubjective evaluation, and found how important toりにおける腕や身体の向き[4]、顔の表情[5]などの研究が行

measure

われている。

thebodymovementsforevaluating

human-robot interaction.

1

Robovie

このように、これまでにロボットの身体の個別の機能（視線や腕のゼスチャ）の有効性は確かめられている。我々はむ

はじめにしろ身体機能を組み合わせた総合的なロボットにおける個

我々は、ロボットが人間似の身体を持つことの意味はコミュ

別の機能の役割に関心を持つ。このために、日常的会話を行

ニケーションにあると考えている。つまり、将来的にヒューうインタラクティブロボットを作り、相互作用を解析する中マノイドロボット([1][2]など)は自らの身体性を活用して、コ

で、人とロボットの身体や身体動作の相互の関わり合いを見

ミュニケーションのための新しいメディアとして、人間社会

いだす。特に、ロボットが人間に何かする一方的な関係ではと情報社会のインターフェース的役割を果たすことが期待なく、ロボットと人が協調的に動作するような、コミュニケ

されている。

ーションにおける協創的関係に関して調査する。

2

これまでにも、身体を用いたロボットと人間のコミュニケ

コミュニケーションロボットの開発

ーションに関する研究が行われてきた。身体の中でも非常に効果があると考えられているのが視線である。たとえば、視2.1

線を対話相手に向けてアイコンタクトを行うことで、ロボッ

ハードウェア構成

図 1,2 に我々の開発したロボット Robovie を示す．Robovie

トは自らのコミュニケーション意図を人に伝え、人間と自然

は人間とコミュニケーションするために人間に類似した上に対話することが可能になる。これまでにも音声と視覚によ半身を持つヒューマノイドロボットである。人間が視覚・触る人物追従[3]など多くの研究が行われた。このほか、身振覚・聴覚をもつようにカメラ、マイク、接触センサなどの様々なセンサを持つ．このような人間に類似した身体とセンサを

6

Figure３
３: Situated moduleと定義することが出来る．状況依存モジュールは前提条件部（precondition）、提示部(indication)、認識部(recognition)からなる。前提条件部は、現在の状況がこの状況依存モジュールが実行可能な状況かどうかを判断する。たとえば、インター
Figure 2: interactive behaviors

ネットに接続して明日の天気について話すモジュールは、イ
ンターネットに接続できない場合には実行できない。また、

用いて，Robovie は人間とのコミュニケーションに必要な握手を求めるモジュールはロボットの前方に人（と想定され様々な音声とゼスチャを交えた対話的行動を生成することる近距離の物体）がない場合には実行されない。

ができる．また、Robovie はすべての必要な制御機器を内蔵

提示部は人間に働きかけを行う。これはコミュニケーティ

している．本体下部に搭載されている Pentium III 850MHz

ブユニットを組み合わせ，また不足する行動（特定の発話，の PC を用いて，音声認識や画像処理を行うとともに，すべある地点に移動する，等）を直接実装することで実現される．

てのモータおよびセンサを制御している．

たとえば握手モジュールは、アイコンタクトを行い、適切な2.2

位置関係をとり、そして「握手してね」といって人間に手を自律対話行動のためのソフトウェア

差し出す。このロボットの行動は、アイコンタクトや位置関

ロボットの身体を活用するためにこれまでに行われた認知係に関するコミュニカティブユニットに、特定の発話を追加

科学的実験に基づき、我々は自律的に人間の行動に反応してすることで実現される。

動作するコミュニケーションロボットのソフトウェアを考認識部は提示部でロボットが行った行動に対する様々な案し、Robovie 上に実装した。このソフトウェアは、状況に人間の反応的な行動を認識するように設計される。これは、応じて動作するシンプルな個々の行動モジュール（状況依存

人間の行動の予期を行うことを意味する。状況依存モジュー

モジュールと名付けられる）を大量に用意し、このモジュー

ルは実行する状況を限定するのみでなく、モジュール自身がル間の関係をシンプルなルールによって記述することから

特定の状況を作り出し、そしてこの特定の状況下において人なる。このようにシンプルな構造から複雑な自律システムの間の複雑な行動を認識する。たとえば「握手しよう」といっ挙動が生じることがこのソフトウェアの特徴である。[6]て手を差し出した時に、手先が触れられれば、それは人間の2.2.1

握手行動である。また、「どこから来たの」とのロボットのコミュニカティブユニット

これまでにヒューマノイドロボットの視線や腕の動作に関問いかけに対しては、地名の返答を期待して音声認識を行うする研究が行われてきた。コミュニカティブユニット

ことが出来る。

(Communicative unit)は，このようなコミュニケーションにおロボットシステムは逐次的に常に１つの状況依存モジュ

ける身体の活用に関する知見に基づき、身体を利用したコミ

ールロボット実行することにより自律行動を実現する．このュニケーションのために必要な基本要素行動である．具体的モジュールの実行が終了すると、状態遷移モデルと同様に、には，視線を合わせる，物の方を見る，物を指さすといった状況依存モジュールの実行結果に応じて、あらかじめ決めら

コミュニケーションの基礎となる要素行動である（図３

れた遷移を行い、次に実行する状況依存モジュールが決まる。

Indication 内の Communicative Unit）．

2.2.3

2.2.2

このようなアーキテクチャに基づいて，人間と日常的なコミ

状況依存モジュール

自律行動の動作例

状況依存モジュール(Situated module)はこのソフトウェアのュニケーション行動をする自律行動を実装した．このような基礎となる行動モジュールである．これは，インタラクション機能は将来日常生活の場で活動するロボ

特定の限られた状況で，ロボットにある特定の動作をさ
特定の限られた状況で，ロボットにある特定の動作をさ

ットには欠かせないものである．自律インタラクション機能せる行動モジュールの実験のために，「抱擁」「握手」「簡単な会話」「物の指7Figure 4: example of situated module transition
さし」といった 80 種類程度の人間との遊び行動および，「頭Adjective-pairsをかく」「腕組みする」といった 20 種類程度の待機行動，
パトロールの真似をする等の環境を移動する 10 程度の行動を実装した．ロボットシステムは、人間からの働きかけがな

Mean

Std. Dev.

Good

Bad

4.88

0.95

Kind

Cruel

4.85

1.29

いときは待機行動や移動行動を実行し、人間からの働きかけ

Pretty

Ugly

5.08

0.93

があった場合には、働きかけがある限り遊び行動を続けるよ

Exciting

Dull

4.46

1.61

うに設計されている（図４）。

LikableDislikeable

4.77

1.03

3

Evaluation score

4.81

0.92

相互作用の数値解析実験

3.1

Table 1: The used adjective-pairs for subjective evaluation, and themean and standard deviation as the result

実験設定

本実験では、個々の被験者は前章で述べた自律的に動作する

Mean

ロボットを 10 分間観察した。被験者は 26 名であり、平均年
齢 19.9 歳の大学生である。観察前に、被験者はあらかじめロボットとのコミュニケーションの見本を示された。実験は7.5 m x 10 m の部屋で行われた。
また、被験者とロボットはモーションキャプチャシステ

Std. Dev.

Distance (m)

0.547

0.103

Eye contact (s)

328

61.8

Eye height (m)

1.55

0.124

Moved distance (m)

35.2

17.0

ムの動作計測用のマーカーを取り付けて実験を行った。このMoved distance of hands (m)

108

29.5

身体的動作の数値的結果と、被験者のロボットに関する主観

Synchronized movements (s)

7.95

6.58

的印象（実験に用いた形容詞対を表 1 に示す）、被験者の性Touch (num. of times)

54.9

20.8

Table 2: The result about the body movement

格テストの結果を分析することで、人ロボット相互作用を数値的に解析することを試みる。
3.2

モーションキャプチャシステムを用いた身体動作の数値化

位置を計算する。用いたシステムの時間分解能は 120Hz, 空
間分解能は実験環境において約 1mm である。
図５に示すように、このマーカーを取り付けた。取り付け実験に用いたモーションキャプチャシステム[7]は、部屋の位置は、頭部(人間はマーカーが取り付けられた帽子をかぶ

外周に沿って取り付けられた１２台の赤外線照射装置付き

る)、肩、首の付け根、腕の各関節である。このようにロボの赤外線カメラと、赤外線を反射するマーカーから構成されットと人の双方に類似の位置に取り付けることで、人とロボる。モーションキャプチャシステムはすべてのカメラ画像上ットの身体動作の相互作用を分析する。頭部の３点のマーカ

での各マーカーの２次元位置をもとに各マーカーの３次元ーにより視線の高さや向き（アイコンタクト）を検出する。
また、肩と首の付け根のマーカーにより、対ロボット距離および移動距離を測定する。また、腕のマーカーにより、手先の運動量（体に対する手先の相対位置の移動量）や、腕の同調的動作(ここでは、人とロボットの間で、体に対する手先の相対位置の３秒間の相関値が高い時間領域、と定義する)の検出を試みる。なお、接触行動の分析はロボットの内部ロ
グを用いた。
3.3

実験結果

相互作用の際の身体的動作の数値的解析の実験結果を示す。実験の結果、主観的評価が被験者の身体動作と相関を示
Figure 5: モーションキャプチャシステムによる相互作用解析

8

Evaluation Dist.

E. H.

E. C.

M. D.

M.D.H. S. M.

Touch

Dist.

-0.04

1.00

E. C.

0.57

-0.47

E.H.

0.08

-0.39

0.29

1.00

M. D.

-0.32

0.20

-0.43

0.02

1.00

M.D.H.

0.01

-0.04

-0.21

-0.09

0.49

1.00

S. M.

0.54

-0.05

0.28

-0.05

0.15

0.61

1.00

0.21

-0.45

0.49

-0.07

-0.15

0.35

0.41

Touch

1.00

1.00

Table 3: The correlation between body movements and subjective evaluation（E.C. : eye contact, E.H. : eye height, M. D. : moved distance, M.D.H.: moved distance of hands, S.M.: synchronized movements）

Eval.

Dist.

E. C.

M. D.

M.D.H. E. H.

S. M.

Touch

Depression

-0.35

-0.25

-0.29

0.33

0.02

-0.07

-0.36

-0.08

Cyclic Tendency

0.02

-0.03

-0.12

0.21

-0.03

-0.21

-0.10

0.24

Inferiority

0.08

-0.22

0.10

0.18

0.09

-0.19

-0.10

0.20

Nervousness

-0.13

-0.24

-0.03

0.15

-0.07

-0.10

-0.25

0.23

Lack of Objectivity

0.21

0.15

0.01

0.21

0.18

-0.39

0.17

0.17

Lack of Cooperativeness

-0.27

-0.08

-0.13

0.20

-0.19

0.23

-0.41

-0.10

Lack of Agreeableness

0.15

-0.07

0.19

-0.04

-0.27

0.47

0.00

-0.06

General Activity

0.13

-0.25

0.06

0.01

0.11

0.42

0.20

0.17

Rhathymia

0.23

-0.21

0.15

0.28

0.04

-0.03

0.14

0.21

Thinking Extroversion

0.23

0.26

0.18

-0.08

-0.20

-0.33

0.12

0.14

Ascendance

0.28

0.03

0.34

-0.19

-0.11

0.38

0.25

0.12

Social Extroversion

0.51

-0.01

0.32

-0.43

-0.05

0.25

0.26

0.09

Table 4: The subjects’ personality and their correlation with the subjective evaluation and body movements（E.C. : eye contact, E.H. : eye height, M. D. : moved distance, M.D.H.: moved distance of hands, S.M.: synchronized movements）

した。つまり、コミュニケーションの際にコミュニケーショ

さらに、表 1 に示した形容詞対を基に計算された評価性得

ンをどのように感じているかが身体動作に表出する、と考え

点と、表 2 の身体動作との相関を計算した。この結果を表 3られる。また、主観的評価と強い相関を示したのは人とロボにしめす。被験者数が 26 であるので、相関値の絶対値がットが協調的に振る舞った結果生じる動作であったことは0.3297 以上が有意な相関である（表中に太字で示す）。分析

たいへん興味深い。

の結果、アイコンタクトと同調が主観的評価と比較的強い相

3.3.1

関を示した。一方で、身体動作の間での相関をみると、アイ

SD 法に基づく印象の主観的評価

７段階の SD 法を用いてロボットの印象の主観的評価をコンタクト-距離、アイコンタクト-移動量、同調-指先移動量、行った。表 1 に用いた形容詞対と、２６人の実験結果の平均

同調-接触といった項目で相関がみられるものの、距離・移値と標準偏差を示す。実験に用いた形容詞対は、従来研究[8]動量・指先移動量・接触は主観的評価とあまり相関が見られにおける因子分析で見いだされた第一因子である評価性因なかった。つまり、単にロボットに近づき、指先を活発に動子に負荷を持つ形容詞を選択した。また、これらの５つの形

かしたり、ロボットに触れたり、という活発なインタラクシ

容詞対への評価を平均することにより、ロボットの印象に関ョン行動が良い印象につながるわけではなく、むしろロボッ

する評価性得点を計算した。

トとの間にアイコンタクトや同調的動作という協調的な関3.3.2

係を築き上げた被験者がロボットに良い印象を持ったこと

主観的評価と身体的動作の相関

表 2 に身体動作に関する数値的解析結果を示す。アイコンがわかる。

タクトの平均時間は 328(sec.)であり、実験時間の半数を上回

3.3.3

性格の影響

った。ロボットの視線の高さは 1.13(m)であることから、一さらに、我々はこのような身体動作と被験者の personality

部の被験者は若干かがんで時にロボットと視線の高さを合の関連を見るために被験者の性格テストを行った。テストにわせたことが分かる。また、一部の被験者に、ロボットの体は YG 法検査（矢田部-ギルフォード法）を用いた。YG 法は操などの腕の動きを真似する同調行動が見られた。

1949 年 に 開 発 さ れ た Guilford-Zimmerman Temperament
Survey（10 factor scale が用いられる）を元に、1958 年に矢9Coefficient

Value

Distance

α dist0.173

Eye contact

α ec

0.476

Eye height

α eh

0.019

Moved distance

α md-0.228

Moved distance of hands

α mdh-0.029Synchronized movements

α sm

0.535

Touch

α touch-0.186

Table 5: the standardized partial regression coefficientsobtained by the multiple linear regression analysis
Figure 6: A model of forming evaluation through the interaction of
the body movements15

田部が日本人向けに翻訳したものである。被験者は 120 の質

10問(3-point rating scale)に回答することにより、12 factor にE関する性格・気質の傾向が明らかになる[9]。

5

E(t)

この性格テストの結果と印象、身体動作の相関を調べた（表 4）。この結果、評価には抑鬱性と社会的外向が相関を0300

示し、身体動作には表中の太字に示すように多くの項目が相関を示した。たとえば、協調性の欠ける(Cooperativeness)-5

被験者は同調的動作と負の相関を示した。つまり、協調的でない被験者ほど、同調的動作をしなかった。また、抑鬱性15（Depression:厭世的気分を表している病的な精神状態）の高い被験者も同調的動作をせず、かつロボットを高く評価し10なかった。支配的(Ascendance)な被験者はアイコンタクトEをしがちであった。社会的外向(Social Extroversion)の大き5

い被験者は対話の際にあまり歩き回らず、またロボットを高く評価した。
3.4

600 (sec.)

E(t)

0

300

重回帰分析による身体動作間の関係の検証

600 (sec.)-5

実験結果から、主観的印象と身体動作の間には相関関係が見られた。そこで、重回帰分析により印象に関する評価性得点

Figure 7: illustration of the entrainment scoreをこのような身体的動作から推定することを試みる。このよ(upper: about the subject who treated the robot as if it was

うな分析から身体動作間の主観的印象における関係を見いhumans child, lower : about the subject who embarrassed withだす。

interacting with it)

このため、身体動作と評価性得点に関して重回帰分析を行い 、 表 5 に 示 す 標 準 化 偏 回 帰 係 数 (standardized partial

離が近く、移動距離が大きく、または接触行動が多い被験者

regression coefficient)を得た。得られた重回帰式を(1)に示すはロボットへの評価が低くなることが分かる。

(DIST, EC, EH, MD, MDH, SM, TOUCH はそれぞれ各身体動

ここで、この回帰式の各項目は瞬間毎に測定可能な値であ作の測定値を正規化したものである)。なお、E は 7 段階評ることから、式(2)のように瞬間毎の評価の推定値を計算す

定のスコアの平均値であることから値域は 1 から 7 である。

ることができる（DIST(t)などは時刻 t における身体動作の測この回帰式の重相関係数は 0.77 であることから、評価性得定値を意味する）。このような瞬間毎のインタラクションの点の 59％がこの式から説明されることが分かる。なお、この重回帰式に関する有意性を分散分析により検証したとこ

評価値を引き込み感得点と名付ける。
E (t ) = α dist • DIST (t ) + α ec • EC (t ) + α eh • EH (t ) + α md • MD(t )+ α mdh • MDH (t ) + α sm • SM (t ) + α touch • TOUCH (t ) + α const(2)

ろ、F(7,18)=3.71, P<0.05 で有意であった。
E = α dist • DIST + α ec • EC + α eh • EH + α md • MD
+ α mdh • MDH + α sm • SM + α touch • TOUCH + α const

また、当然 E と E(t)には次の関係がなりたつ。

分析の結果、偏回帰係数が示すように、ロボットの評価性得

実際にこの瞬間値に基づき実験データをグラフ化した。被験点について、アイコンタクトと同調的動作が多い被験者ほど者１は実験後に「目の動きが本当に子供に見上げられて見つロボットへの評価が高くなったことが分かる。一方、単に距

められている気分になった。本当に人間の子で無邪気な人格∫

E = E (t )

10

(3)

ID

Contents

Evaluation

TICKLE

Tickle-2.09

APOLOGIZE

Apologize-1.96

Say, “I’m busy”, and refuse

NOT_TURN

to play together-0.51

SLEEP_POSE

A pose of sleeping-0.42

FULLY_FED

A pose of fully fed

0.32

Table 6: the worst 5 situated modules based on the average of theentrainment scores

ID

Contents

Evaluation

EXERCISE

Exercise

5.75

ASK_SINGCONDUCTOR
WHERE_FROM
LET’S_PLAY

Ask humans, “May I sing asong?”A imitating pose of conductor
Ask humans, “Where are you
from?”
Say, “Let’s play, touch me”

5.59
4.85
4.55
4.24

Table 7: the best 5 situated modules based on the average of theentrainment scoresであるかのように錯覚しそうになった。」とコメントし、ロ
ボットと上手く遊んだ被験者である。図６にこの被験者の引と言ったインタラクティブ性が高く、人間をロボットとの対

き込み感の時間遷移を示す。グラフ中の実線は引き込み感を話に引き込むようなモジュールであった。

示し、塗りつぶされた領域は時刻 t までの E(t)の積分値であ

このように、引き込み感を利用することが、ロボットのインる。また、被験者２は対照的に、ロボットと上手く相互作用

タラクティブな行動の設計に利用できることが示された。同が出来なかった被験者の例である。両者のグラフを比較する

時に、この方法による引き込み感推定の正しさを示すものでと、被験者１のグラフは引き込み感が 5 付近で推移し、時にある。このように身体動作から推定される引き込み感を利用

大きな値を示していることが分かる。被験者 1 はロボットのすることで、例えば相互作用行動の学習や内界センサを用い近くでロボットと目を合わせながら子供に話しかけるようた引き込み感センシングなど、同様のインタラクティブなロに対話を続けた。時刻 200[s]付近での大きな値は、被験者がボットに一般的に応用可能であると考える。

ロボットの体操する腕の動きを真似たことから生じた。これ

4に対して、被験者２のグラフはしばしば 0 以下の値を示し、特に実験の終盤では非常に不安定に低い値を示している。実

考察

4.1

際に、被験者２は実験の終盤にロボットの目を隠し、苛立つ

身体動作に基づく協創対話

ようにロボットの接触センサを触り、ロボットから遠ざかる分析の結果、インタラクションの評価には、人の協調的行動

ような動きを見せた。

（アイコンタクトや同調行動）が深く関わることが見いださ

3.5

引き込み感に基づくインタラクティブロボットの行動開発れた。つまり、ロボットの行動に対して協調的に振る舞う人ほどロボットのことを高く評価する。一方で、ロボットに対する協調的な振る舞いと、人の性格との間にはそれほど相関

ここまでの引き込み感評価は、ロボットの開発アプローチと関係が見られない。ここから考察されるのは、人はロボット

は独立であり、どのような相互作用型ロボットにも適用可能との相互作用の間に、ロボットとの協調的な関係を築き上げ、である。ここでは、さらに我々の状況依存の行動モジュール

このような関係を上手く構築できた人はロボットと上手くと単純なルールに基づく開発手法の上で、この評価方法を利インタラクションし、ロボットを高く評価する、という仮説

用することを考える。これは、同時に引き込み感がインタラである。近年、相互作用における引き込み(Entrainment)現象

クションの瞬間的評価を表していることの検証にもつながに関する研究が行われるようになってきたが（[5][10]など）、

る。

このような引き込み現象の概念に基づくと、ロボットが多様

我々は、すべての被験者の実験データに関して、ロボットがな身体的動作を行うことで、人間の身体動作の引き込み現象

実行したモジュール毎に、そのモジュールが実行されていたを生じさせて、ロボットへの協調的な関係を生じさせている間の瞬間毎の評価値を計算し、引き込み感（entrainmentと言える。

score）と名付けた。表７、表８はこの評価値が最も低かっ

4.2

た５モジュールと、最も高かった５モジュールを示す。評価

主観的評価と性格、身体動作の関係値が低かったモジュールはあまりインタラクティブなモジ

性格テストと身体動作の関係に関する実験結果は、我々にはュールではなかった。例えば、SLEEP_POSE, FULLY_FED

理解がしやすい。たとえば協調的でない被験者は同調的な動は人間の行動に反応せず 寝たふり などを行うモジュール

作を行わなかった。つまり、被験者の身体動作は性格によりであり、NOT_TURN は、このような人間の行動に反応しな

異なったものとなると考えられる。一方で、主観的評価は被いモジュールを実行している際に人間がロボットの肩をた験者の性格だけでなく、むしろ協創的な身体動作からも形成

たいて遊ぶように呼びかけた際に、人の手を振り払って 忙される。このような主観的評価形成のモデルを図６に示す。

しい と言うモジュールである。これに対して評価が高かっ

このモデルはまた、身体動作の観察から主観的評価を推定たのは体操や指揮の真似といった、人間がロボットの身体動できる可能性を示唆する。実験結果に関して、重回帰分析に作を真似しがちなモジュールや、問いかけや遊びの呼びかけ

より 60%の主観的評価が身体動作から説明された。これは言語的内容にかかわらずに行われたにも関わらず大きな値11である。ロボットは、音声認識により小さい子供程度の能力ではあるが人間と会話することができる。実験においても、被験者は時にロボットに話しかけた。発話の内容は、主にロボットに対する要求的な内容であった（特にロボットが前に実行した行動を再び要求するものが多い）。このような呼びかけに対して、ロボットは時に正しく反応し、あるいは誤って反応した。このような発話内容の分析は会話分析などにより可能ではあるが、どちらかと言えばこれらの手法は主観的であり、また主に探索的に事象を見いだすことに用いられることが多い。むしろ、本稿にて報告した身体動作による評価
は、客観的な尺度 文脈と独立に数値的に得られた身体動作により行われたものであり、この客観性から様々な応用可能性があると考えられる。
本研究では被験者の性格が相互作用におよぼす影響を分析した。一方、これまでにも[11]のようにロボットの性格を変化させる研究が行われている。両者のアプローチを組み合
わせ、同時にロボットの性格も考慮することで、性格に関する相互作用が生じることが考えられる。このような性格レベ[6] T. Kanda, H. Ishiguro, M. Imai, T. Ono and K. Mase, An
approach for developing interactive humanoid robots, IEEE/RSJ
International Conference on Intelligent Robots and Systems,
2002.
[7]Vicon Motion Capture System. http://www.vicon.com/[8] 神田崇行,石黒浩,小野哲雄,今井倫太,中津良平, ``人間と相互作用する自律型ロボット Robovie の評価,'' 日本ロボット学会誌, Vol.20, No.3, pp.315-323, 2002.
[9]竹井機器工業, ``YG 性格検査’’
http://www03.u-page.so-net.ne.jp/ta2/tkk/YG/YG.htm[10]渡辺富夫, 大久保雅史, 小川浩基: 発話音声に基づく身体的インタラクションロボットシステム，
日本機械学会
論文集(Ｃ編)，66 巻 648 号，pp.251-258, 2000.
[11] H. G. Okuno, K. Nakadai, and H. Kitano: ”Realizing
Audio-Visually Triggered ELIZA-Like Non-verbal Behaviors,”
PRICAI2002, LNAI 2417, Lecture Notes in Artificial Intelligence,
Springer-Verlag, pp.552-562, 2002.
[12]今井倫太，小野哲雄，石黒浩:``身体表現を用いたロボッ
トの発話生成,’’ 第 13 回人工知能学会 AI チャレンジ研究会
資料(JSAI SIG-Challenge-0113), pp.9-16, 2001.

ルのインタラクションに関して本手法を適用することは興味深い将来課題のひとつである。

5

おわりに
本稿では、モーションキャプチャシステムを利用した相互作用の数値解析について報告した。我々の開発したロボット
は自律的に人間とコミュニケーションを行う。特に、アイコンタクトや同調的行動といった人間とロボットが協調的にふるまう身体行動が主観的評価に大きく貢献した。この結果は、人間とロボットとのコミュニケーションは単にロボット
が人間に何かを提示するのみでなく、人間とロボットが協調的関係を築き上げることの重要性を示していると考えられる。また、我々の相互作用の数値解析アプローチの可能性は大きい。今後、本手法を人-ロボットのみでなく、人同士の相互作用にも適用することで、コミュニケーションにおける身体動作の役割の解明を進めたい。

参考文献[1] K. Hirai, M. Hirose, Y. Haikawa, and T. Takenaka. The
development of honda humanoid robot. IEEE Int. Conference on
Robotics and Automation, 1998.
[2] 橋本周司, 成田誠之助, 白井克彦, 小林哲則, 高西淳夫,
菅野重樹, 笠原博徳, ``ヒューマノイド -人間型高度情報処
理ロボット-,''情報処理, Vol.38, No.11, pp.959-969, 1997.
[3] K. Nakadai, K. Hidai, H. Mizoguchi, H. G. Okuno, and H.
Kitano: “Real-Time Auditory and Visual Multiple-Object
Tracking for Robots,” Proc. Int. Joint Conf. on Artificial
Intelligence, pp.1425-1432, 2001.
[4] C. Breazeal, B. Scassellati: ``A context-dependent attention
system for a social robot.” Proc. Int. Joint Conf. on Artificial
Intelligence, pp.1146-1151. 1999.
[5] 小野哲雄, 今井倫太, 石黒浩, 中津良平：身体表現を用いた人とロボットの共創対話, 情報処理学会論文誌, Vol.42，
No.6, pp.1348-1358, (2001)12社団法人 人工知能学会

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑3

Japanese Society for
Artificial Intelligence

NMKLUWHEFJRTGSPQXIOVNew word acquisition in the dialogue with Robot

8; -C

Hiroaki OGAWA

89   88 
Digital creatures laboratory, SONY Corporation
ogawa@pdp.crl.sony.co.jp

Abstract>©Ú5 ìo`LPm3ý2,#ì§«ù,í"îm3CENd
ì>©Ú5  $fðQÿ êz5-ú í4-m7ñÁ 2 dÎèo`LP
SDR-4X ìm3Çþ*W >©Ú5 ÿ« íÕÐîìm3ÇÖ$ï!- >©Ú5°Í °`ÑÒ¾Çúçþ8,í
1 !#

ñÁo`LPýúìL¨õ%#ìiðB
4rI[6ðEù,íÓù´L¨ì*­5- Ú5C 1: SDR-4X
v§ú02Á2úí! ìÿgtÚ¨ Ç
Ò' N-gram ÚÿP£¿0êúú, $ì ìHêý)ìL¨êÚ57 8,4ì
2Á2þ tÚ"*9 ÍtÚ¨Ç -*0êú Öþ2'ìm3ÿ«,í! ì8
%sº0¯ 8í4 $iðBÿ °L8,* Ã0êú BÅµBÅÜV0¨Ú57¤!-úÚ5ò Out-of-vocaburaly: OOV ó¨ò  0-iðBìq0JeðD0çü, [1]í7þ7 BÜì}Ü×
åÜ980*¤$,4¸8ñ¤ù+ì \.U 51 *eLGðD0ü"1*þmüÿ»ì,í
°3ÿ«,í8Ã0êú Ål¨4ãr0Æ8,ÑÒ7ì°3¤!-, OOV Z"ì/ -ì½¢0D7 Û88,ÑÒÿu5-ú, [2, 3, 4]í
\ff&1 BÂ 0 53 "7þ7ìOOV ¢9)ûÀìÔë1 ù,
7ì%ù,ÿì×åÜ9 Ç2#ìzÙ087 ÅlÁ2*- ×åÜ90êú 6%ì%júí«,í5*ìo`LPú¸ÿ«ù
7 ÿ OOV 0tÛ88,1ì>©Ú5 -ì7+ï#4ÿ %î-ìo`LP?chS\4aðF :LMaðF 0)">ðCjrÿq01áÿ,4ÿ¦n5-, [5, 6]íüü
o`LP@ÜV'o`LPiðBÜV0L o`LPúlÜVÁ20èû4%%î
ÉÕæÇ£¢ ¦Òå£ãÈ¬ÅÄà×¦«,ìêµyÿq01áÿ,í
1

13

OOV 0 8,ÑÒ7ìOOV 0 8, $

correctscore¡ËfðQ0Q2ìiðB÷Ú917%*ûÑ
wordÒÿù,í4-t(ÑÒù,ÿìo`LPÜ1' Good correct
word
correctiðBÜVïê¿ÿë1#ìÚ0¢ú1
word§ú8,y7åÞù,í7rIðN4erPo
OOV
REGION`LP AIBO ERS-210  -vêClðFìoDESIRABLE OOV SCORE`LPÜV1 $fðQ0êz7 í1Øì
incorrect
iðBÆà0ÜV AIBO 0Ö4ÿ0,
word)û,í
7þ7ì¡ËfðQ),Ú51ù,²Þì¡Ë^ú0iðBì±8,í! ì15-, Bad
UtteranceÚ5û0a5 )û8,^ú5*Äÿ
*6,0üúíC 2: OOV ½¢°ÍÑÒßC
4-*ãr0Æ8,ÑÒ7ìL¨m4ÇÖ$ï!- OOV  ÿçü*-,íüüì
2 D<$:> OOV (' )7\b <OOV> 8í"úû°3 <OOV> ÂÆ°0 %î-ìb 2.1 OOV }zbjgertfúû9N@lµ OOV 0 8,4ÿ0 OOV Ê%JtÚÁç5-,E?2ìÀJtÚÁç5-,E?2ò0ïê7è/-,íOOV
,íéì
½¢ÜÏE?20JtÚE?2)+s1ÀJt\ab <OOV> )í"
ÚE?2)+øúE?2 I8,4ì¨Ú5\4p`k <OOV> )í"¤!-9ÀJ,½¢0 OOV ½¢7¨)ð
9N@lf8, OOV 0W 8,4 °Í8,4ÿ0,íßC0C 2 8í
ÿ%î,íL¨ OOV ½¢ÜÏm7ìC 2 5ÿgL OOV 0>©Ú57 8, $ì ,)ûOE?20çü,4ÿ%î-ìÀJtÚþ/+ OOV ÿtÚÜÏ72,í
 OOV ½¢
4 OOV ½¢E?20±$,ÑÒ7ìú/(, ¨| OOV °
garbage model 0êú,ÑÒ [2, 3] ìA\pðQÃý0êÿ»ì,í 5- OOV 0½ù,úìHL ú,ÑÒ [4, 7, 8, 9] ÿu5-ú,í
Garbage model 0êú,ÑÒìLX´m7ïê8, $ìøúE?20%ú8,ºfOm(Garbage model) ìH $ OOV °
0êz7ì4ºfOm %ú8,E?20 OOV ÿ5*»ì,í
E?27ïê8,í! ì5*t`XL¨ $° ìOOV ½¢m8 ºfOm%ú8,E?2É»{0ïê8,4
,¨twýìüüYý0±$-ì¨ÿ« %%î,í,í
A\pðQÃý0êú,ÑÒì8L¨v
4.ÿììHL $° ì¨ê ìLbLK8,õA\pðQÃý0±$ì
 7 YÃý0ïê8,4%%î,ÿì³ê A\pðQ - -çü*- E?2þ* OOV ½¢
Text-to-Speech 0ïê8, $Ün^mÇ E?20±$,í8ìA\pðQÃýþ* *- E?
ýÿù,4ÿÓ!7úí! ì³ê Text-to-Speech 2ÿgtÚ¨þ* *-,E?2)+%øúÀßÿ
Pg)+ì 7 Ú2<GrPÁç ù,2 í4 $ìA\pðQÃýþ* *- E?2§«%¦n0,íXhðlEN3L<_RmN3ðÿÁç5-,í
SDR-4X ì5ª 3  OOV  §«0`7 í Garbage model 0êú,ÑÒ`ÿè{Å1ù%vRì!9ÿgL OOV Ê%ÑÒìý) .518#²ÞìOOV ½¢v9Ðÿ *-9ì°¨îìH $ OOV ° úSÝ8  0Ëèû»ìÿù,íÑA\pðQÃý0,ígúìSDR-4X `5- OOV  G« êú,ÑÒÿgtÚ¨4Zÿ»ìù+Å1ù%úÎÇ çþ07ìãrðØ+±¸¿·Íé¥âÎëÜÖäÔ§©ªèÃÌÜ
Z"ú',í
º´³À°Ï£«§214

q01,ÿìOOV ½¢ m8,½¢TIME°¨%èû4ÿ%î,í! ì¼*ÿæ¹è ÎìGarbage model 0êú, OOV ½
Subword Search¢D)+%ìA\pðQÃý0êú, OOV ½¢D
Estimated ScoreÑÿG«ÿëþ í4 $ìSDR-4X A\pðQof the <OOV>Ãý0êú, OOV E?2lr=0öê7 í<OOV>
2.2 ijmq
OOV ½¢E?20Þòø1±$, $ [4] ì
viterbiword search8ÿgtÚ¨ÊýLm8,A\pðQÃsearchfor eachýD0èúì Ç)+ *-,E?208
hyp. wordL¨ïê7ú,í4ÑÒì8L¨ÂÆAðKE_ðEáÿ+¢óìÅ1?EPA\pðQÃýE?2ÿ *-,ïÿù,í
Word
Hypothesis[9] ÇÒ[O?ðJÍ7)+ì8
L¨ÿ7 OOV ½¢m8,ÂÆA\
pðQÃý¨%èúì5ªXhðlEN3L<
C 4: ¥AðK ¢£¿ìE?2£¿xh7ú¨0Ó7ú,ÿì`{5ìèÞòþ*¼* [4] éA\pðQÃýAð () Çþ* *-,E?20êú,ítÚýAðKÇ *-,tÚýtÚ¶KÿÿgtÚ¨Êý8,ãH0 í
C 3 L¨CENdì08íÿgtÚ¨ íìA\pðQýAðKÇ *-,A\pðQý $EIL<AðKÁO?ðJìOOV ½¢E  ¢¶»97%7úíüü¨Çÿ?2°0D8, $ ¢¦ÁA\pðQOword1 <OOV> word2?ðJðÿÊýú7ú,í§úLþ*±$*º¡ùºfOmµ7÷O?ðJð´ 0ì<OOV> ÍtÚ¶C 5 8)û
tÚ¶A\pðQ¶Àÿ°L8,í4
³5-,íÔÚfOm (LM) },Å0êú,íìCüìsyl4; syl7  OOV ¤!-,0þûþ±x8,»ìÿù,í 4ì¨ ö C 6 5-,)ûTLPpð<0úH7ì§úLm
7âÿõq,õtÚA\pðQÃý0±$ í
SPEECH
INPUT

FeatureExtraction

OOV Score
Estimation bycontinuous sub-wordrecognition(One pass decoder)

Score of the <OOV>SEARCHRESULTLM
for
OOV

Subword sequenceAM

Syl1 Syl2 Syl3 Syl4 Syl5 Syl6

Syl7

Syl8

Continuous word
recognition(Stack decoder)

LM: Language Model
AM: Acoustic Model

word1

LM

<OOV>

word2

Word sequence

C 3: L¨CENdìC 5: tÚ¶A\pðQ¶d{ch`lC 4 ¨ AðKA"ÑE?2´³£¿0
7ú,íA\pðQAðKÿgtÚ¨)+%¢TA$*-ìÿgtÚ¨ $E
IL<AðKÂÆS08,ø8tÚm7*þ* *- YÃý0êú Viterbi Að
K0èúì<OOV> m7A\pðQAðK
2.3 OOV

Syl4

word1

Syl7

Syl5

Syl6

word2

C 6: A\pðQ¶Æ $TLPpð<
15

][_

½ 1: tab:exp-condition!16bit 16KHz 9G?CG8!=E"@VK 10msec!=E"@\ 25msec!12 U. MFCC &30 0 U'4 12 U2+. MFCC .$UJLNW (25 UO)
HMA:D 16mixture, 1000 tied-state HMM
QRA:D 9>F"<;B78B@
Cut-o trigram 5, bigram 5
Trigram 6 25% -SP½ 2: OOV 0¤#/¤!úLtÚ¨KÇÒOOV 7 OOV ù+
NEPL OOV 7 89.4
89.4
OOV ù+ 88.5
91.5
pðQ¨K 72:1% 0

í4 SDR-4X 5
Real-time-factor (RTF)  0.2 ù í
4.2 OOV bx
3 @4/9 # A$ &?
¾7 A\pðQÃýAðK0êú OOV 
A\pðQ tw7ìR [10, 4, 11] ' ìfðk VR
Ê%Î0è í¾OðI7 8 Ü (z+ 4 Ü)(ý) fðkÿó)[9] ìÿ êú*-ú,í5*ì
8,¥+?ðWE (OOV 0¤!úÇ2÷øõ5- A\pðQiSLP),G«ß5%Ð ÿÇ°3ì
OOV 0¤#Ç2 10 Ç) 0êú íOOV 0¤#Ç2
î5-ú, [7, 12]íðA\pðQtwìText-to-  OOV 7BÜ (Ü ) 0êúìÜ 0¤1
Speech fDhðmÿ »ì8,ÜÇ ýbLZr
5 Ç9 10 Ç°37 í=ÿ tA\pðQ Ú5Eÿ¶/1,R Ç20
°3L1ú SDR-4X(Nþó ;ý) Rÿó3 0êú ío) 0êú í4 $ ìSDR-4X 8ðO38Ã¡G! ìRÃýÔÚFä7ìRPk4=k 'ìó ;o0~ 8, $2<Kh7ðIðU4d0êú íRtwPk4=kdIE<xh7 F%L¤!-ú,íPnðSr=0èûëúG«08úûÐî [11] ÔÚfOm7ìÚ5E 165 Wð]n;CN3ð 3.9
ÿù+ìï%æ¹Î¨7ú,4 ÿìðá åÕ;oÇÒ0êú¨7 í iÎ:È³êïê0ªýú %ù,ìqù> ½ 1 7 íV'7
A\pðQ¨KétÈ?ðWERPk4=kd!0è íÚ¨K01%7½ 2 8í44ìô OOV ù+ õ
ÇÒì
4 5+
(T 1( &5 )[. (^Y ^)] / <OOV> (+) *4.1 hos`n~bh`l
3 ,%%2))12 Ü (z+ 6 Ü) õèQe4r 5  752 °3 (1 Bù+ 63 !  62 °3) 0êúìA\pðQÃýAð mðm0¤#m7ìô OOV 7õÇÒ
<OOV> ÂÆ0 ì
KÂÆG«0¾7 íG«A\pðQ¨K(XIZR 1 XIZR 2 XIZR 3 XIZR 4#)
Acc = NC N0 NI~7 í
8í44ìN; NC ; NI  - -_A\pðQEì ô
OOV ù+ õÇÒìOOV ÂÆ ¨Ç7
JEì]§Û+E08í
<OOV>õ0%ú7ìtÚ¨KÅ1ø 1 t
Î:È0½ 1 8í314 ûRý)Rÿó ô
95rP7 í0A\pðQ 7êú íÔÚfOm¦Ä>È 6 © Úô7
?
ðWE OOV ù+öÇÒ OOV ù+õ OOV
Æ?ðWE!7 A\pðQ Pk4=kd0ê Ê%ò 90%
ÿì10% Û+ 8 Çûô?ð
ú í! ìPk4=kd0·5-,efl0ûÑ8, WE OOV ù+öÇÒ OOV 7õJ71¨%î
$ì7rPoZð¥1ûÑÒ [13] 0êú %£/*9 OOV
Ê%0­7ú Ç2 3 Ç
Pk4=kdA4F0 25% ûÑ7 íO?ðJ 2ù í4zÙ
J71¨0,°30 OOV Êð°7 ¢¦ÁprWEY ðdAðK [14] 0ê %8,Ê%ò 96% ,í! ìfalse alarm  0%ú í íSDR-4X 5 CPU ý) efl0·ù0%î,
7Ê%5- ½¢É»A\pðQ¨K
2 üìY ðdWkeðI0 I7 Ç ìA\  OOV
48:5%  í3×A\pðQ¨K0½ 3 
3 ÊÚ¥§¤ÁÐ ¦Ú¤ÃÙ¡ËÓ«
8í
4 çÏÆê¥·»­À 95% ¬Â«ÃÙßÑØÝ¬Þ
5 ¹µ½¥³®´¯­À¨¾²¶¼À ¥Ûá£¢C 7  OOV ÂÆ¨Çü07 í
j

j

j

j

j

j

16

j

j

]§Û+qÃaÿù í~Û+£7ì
RPk4=kd!>È?ðWE0êú ÿkù þìôÊ8,»ìÿù,í]§Û+£7
74.3 48.2 62.9 60.0ì¡ðÎêú OOV  3ñ4 RvútÚù,ìOOV ½¢¶ 1 R]§îû3 m01 m02 m03 m04,Û+ÿ¨q0º0çü çü*-,í! ì
40.7 62.9 16.7 22.2
½ 3 5- +ìOOV ÂÆR¨K3)q0úÿ% í3× OOV 7°37
3 f013 m01
ú,Ú5ÿ},Ú5º%çü*-,í¨ÇJ¨Ç J 5- °KÿÉ»úÚ5%J
<oA; <oIK Xo7 lU4¼úÚ5ÿ
*-,7ì%ù,íüüC 7 ô<oA<oA; 8oA Xo7 lq4;õm8,ô<oA;õ'ìôcRcUõm8,ôS
<oA; oA; Xo7 lq7RcUõù,í4 40bü,4ÿ%î
<oA; oA; Xo7 Xo4-ìOOV  úûá0sH8,4ÿ0,í
<oA; <oA; Xo7 4o 4
9 F c 9 F c c R c U 4 S R l U 4ãr0!ãr7bü-ì!ÑÒ
9 F c 9 M S c R c U 4 c R c U q01¥Æ2,4ÿ%î,íÑô¸5ù+õ!ù,íLm34rIð
9Fc 9Fc cRcU SRcU
[64E0êúiðBP¨0èû4)+ìs
9Fc 9Mc<OOV> Ê%­ú°0¬,7ìiðB¨§ °0P
9Fc 9Ec<OOV> Ê%­8,84ÿ0,í
C 7: <OOV> ÂÆA\pðQý¨ÇJý%ûÑô¸57õìiðB¸7JOðI0 8,í[15]  ÑÒÿ5-
5 .1
ú,í 7ìOOV PkrE<l]CjrÉ»G«ÿ¸8ú7ì'ìOOV ½¢Ê%Û+ÿ°
false alarm  0% ì!+ OOV 7NEPLìÇ
Û+Ó-ú,7ììz7Ê80
Ò \<OOV>" ÿ¤!-,î¤!-ú£/*9¨ ù.ûí
òÌÿþ íOOV Ê%ò false alarm ìAðK OOV SE?2çü,_RmN3ð Õæ OOV ° K0ìJRý¶)PnðQ8[5-,£¿ù,ÿìðêú _ þ*­7 í7þ7ìño`LPÿüüiðB
RmN3ð{ìOOV 0¤#L2õ5- ÜV0ü°8,)û2]l>ðCjr0\8ú,ì4 false alarm Îêú ¨IE< ,ì»97%JRýÕ*úío`LP N;EPLìHþ*° *- ÿìiðBøG«úü,íØdú1%*
OOV  HÝ7 ú
4Çìðêú *îÇÒÿ.©ß%ù ü,í4zÙì¡¾0êúG«c%#+ì°3VØ£¿þ* <OOV> %Óÿ·1æc0
7!û $çü*-,íOOV Ê%òÿ 90% ¸ ìçü*-,í
8ëú%ìÇÒFäÿq01éË7ú,çü 6 "#0, %=*-,íÇÒFä 2 OOV Ê%òþ£7ù OOV Ê%ÑÒ° úìSDR-4X Êèúúÿì<OOV> 0¤#ÇÒmðm' ÓÑÒ0=S7ìt OOV  IE<GÚ5Vl7ðCjr0j17ú1 OOV Ê%òÿ «0  íÚ5E 165 Wð]n;CN3ð 3.9 ÇÒ°eþ7ú1Àßÿ"* í4 $ìÓy 0êú 7ì false alarm 0%ìOOV Ê%ò 90% ÇÒFä0qÃ $,ñ¤ù,æ\5-,í ù í! ì4  OOV R¨Køú3
7 ÿìÓyo`LPm32]l>ð  74:3% sú3 16:7%ìÉ» 48:5%  í4
CjrìÇÒOpü0êúìÚ50 8 ÎÇìøïê $iðBð4rIð[64,0;¹¶.©ß OOV  êÇÒÿ3/-, Eúçþ7 í)ûFÙ8,®ôÿ»ì,íâ, OOV ½¢Ê%Kß5 $¨tÚR¨K 72:1% m7ìOOV ÂÆR¨ <ïê [16, 17] 'ìOOV PkrE<l]Cjr
K 48:5% þ+þ7ú,í¨Ç03÷ Kß5 $A\pðQiSLPõ [7, 12] Í,ìOOV ½¢Ç2Xlm7~Û+ì £7ìïCENdåÞG¨0èú½ 3: 3× OOV ½¢A\pðQ¨K
3 f01 f02 f03 f04

17úí! ì)+³êÇÒ' N-gram ÔÚfOm5- OOV ïêý)ìOOV  G«£7
5*Ê0A$ úí

63[9] .¾ åÝ, qM àº, 0Õ ¯4, and ® Ò0.

A\pðQfOm0êú Ú1Ú¨ÞòuýÒ.  yw, 43(7):2082{2090, July
2002.

[10] Ô Ì¥, äÐ 6-, and ?Ï 7. ÿgL¨ý
2,Ú|Ú)ð. In v|ywu, pages
93{94, March 1991.

Õæ¼ù ì«#?erP0Ej1ú ìHSðODIm<lðKgðFk`kPlÕ7
[11] Issam Bazzi and James R. Glass. Modeling out-of7!8í
vocabulary words for robust speech recognition. In

2.B*[1] Lin Lawrance Chase. Error-responsive Feedback
mechanisms for speech recognizers. PhD thesis,
Carnegie Melon University, April 1997.
[2] J.G.Wilpon, L.R.Rabiner, C-H. Lee, and E.R. Goldman. Automatic recognition of keywords in unconstrained speech using hidden Markov models. IEEE
Trans. ASSP, 38(11):1870{1878, 1990.
[3] Ayman Asadi, Richard Schwartz, and John
Makhoul. Automatic detection of new words in alarge vocabulary continuous speech recognition system. In Proc. of ICASSP, pages 125{128, Albuquerque, 1990.
[4] Atsuhiko Kai and Seiichi Nakagawa. 6ÚîÔúProc. of ICSLP2000, pages 433{436, Beijing, Octo-

ber 2000.

[12] Issam Bazzi and James Glass. Learning units fordomain-independent out-of-vocabulary word modelling. In Proc. of EUROSPEECH2001, pages 61{
64, Aalborg, September 2001.

[13] íÉ. ÂoYtw n-gram fOm ãt$£8,Ì². Master's thesis, £øTw¬&qq, March 1998.
[14] Herman Ney and Stefan Ortmanns. Dynamic programming search for continuous speech recognition. IEEE Signal Processing Magazine, 16(5):64{
83, 1999.

70¤#°3 $Ú|Ú)ð0êú L¨CENd¶¾. yw,[15] Helmut Lucke and Masanori Omote. Automaticword acquisition from continuous speech. In Proc.
of EUROSPEECH2001, pages 2667{2670, Aalborg,
September 2001.

[5] F. Kaplan and P-Y. Oudeyer. A method for teaching actions to an autonomous robot. In Proc. ofSony Research Forum 2001, December 2001.

[16] Aruna Bayya. Rejection in speech recognition systems with limited training. In Proc. of ICLSP1998,
pages 572{575, Sydney, December 1998.

[6] F. Kaplan. Talking AIBO: First experimentation ofverbal interactions with an autonomous for-legged
robot. In Learning to Behave: Interacting agents[17] Timothy J. Hazen and Issam Bazzi. A comparison and combination of methods for OOV word detection and word con dence scoring. In Proc. of
ICASSP2001, pages 397{340, Salt Lake City, May
2001.

J80-D-II(10):2615{2625, Octber 1997.

CELE-TWENTE Workshop on Language Technology, pages 57{63, October 2000.

[7] Dietrich Klakow, Greg Rose, and Xavier Aubert.
OOV-detection in large vocabulary system using
automatically de ned word-fragments as llers. In
Proc. of EUROSPEECH1999, volume 1, pages 49{
52, Budapest, September 1999.
[8] Issam Bazzi and James Glass. A multi-class approach for modelling out-of-vocaburary words. In
Proc. of ICSLP2002, pages 1613{1616, Denver,
September 2002.
18

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑4

A technology of intelligence on ASIMO and a system introduction
Yoshiaki Sakagami
Honda R&D Co.Ltd.
1-4-1 Chuo Wako-shi Saitama, Japansakagami@f.rd.honda.co.jp

Abstract
We present the intelligent function on ASIMO andintegration of the system for autonomous robot.
In this paper, we introduce a technology ofintelligence of ASIMO that used sub system ofvision, auditory and external. The vision system andthe auditory system are useful for interaction withhuman to obtain a timing of attention and leadvisual intention. The planning agent handle withseveral type of data from sub systems concurently.
We also discuss the external online database systemthat can be accessed using internet to retrieve
desired information. We show an experimental
results using intelligent function.

1.Introduction
Humanoid robots are especially desirable in human society
as they can work well in indoor environments that havebeen designed for humans. Having a human form makes it
easier for people to identify as compared to other forms.
Humanoid robots like ASIMO can potentially assist
humans in their daily tasks, bringing additional value to thehuman society.
Currently, however, humanoid robots are not skilled
enough to perform many tasks that humans routinely do.
This is because their sensory system is poor compared tohumans. Robots have to process several types of raw
sensory data such as orientation obtained by a gyro sensor,
forces obtained by force sensors, image pixel data obtainedby cameras and sound signals obtained by microphones.
Then there is filtered intermediate level data such as
velocity, acceleration, optical flow, edges and color. Finally
there is high-level identifiable data like human face, gesture,
posture, staircase, door, and natural language sentences.
We have developed a sensory system that processes
multiple types and levels of data on ASIMO. We have also
developed functions to understand human intentions tointeract with them and to perform various tasks.

2.Related work
We have developed biped walking robots, humanoid
robots like P1, P2, P3 and ASIMO over the past 16 years.
Our initial goal was to realize a biped walk control to walkand turn in any direction, as well as for going up or down
stairs in ordinary indoor human environments [1].
In this paper, we focus on the vision and auditory system
for human interaction on ASIMO.
Various vision and auditory systems have been developed
for robot intelligence. Applications vary from robustnavigation in uncertain environments to identification ofhumans and interaction with them using gestures and voice.
The humanoid robot Cog [2] realized humanlike
intelligence by distributed computer systems outside therobot body. SDR-4X [3] is a small stand-alone humanoid
entertainment robot. This robot has a vision system so as torecognize a human face, avoid obstacle and keep balanceon slanted boad. Flo [4] is wheel type robot to serve elderly
people, providing healthcare and other information related
to activities of daily living. In this system, map basednavigation as well as human interaction using voice, facedetection and tracking were used. Robovie [5] is a wheel
type robot for interacting with people by generating speechbased on joint attention. This system is able to draw theperson’s attention to the same sensor information as therobot and omit words that are clear from the context.
There are various approaches for robot intelligence.
Artificial intelligence techniques for simulating humanthinking include symbolic processing, cognitive modelingbased on brain mechanism, and emerging new logics suchas in artificial life. Our approach is to model the
relationship between sensory information and behavior
directly.
In section 3, we describe the system hardware and software
structure. In section 4, we describe the vision and auditory
sensing system, navigation and human interaction. In
section 5, we explain the planning behavior basedarchitecture. Sections 6, 7, and 8 contain discussions on
external database system, demonstrations and conclusions,
respectively.

3.System structure
The current experimental model of ASIMO is a highly
autonomous system compared to our first version that used
external computation for planning and action selection by
GUI. A vision and auditory system has been installed on
ASIMO for navigation in ordinary environments and for

19

ASIMO server

Microphones

Sound (DSP)

GlobalMap

232C

Reservation
systemFace
data

Notification

Personal
Information

DialoguemanagerInternet

ASIMO

Frame Grabber
Stereo camera

Ethernet

VisionVoice
Communication
Unit
Control/Planning

Move to indicated pos
Move on fixed route
Move around obstacle
Following a person

PCI
bus

Movement & Tasks

Radio LAN

Dialogue
News/weather
GazingInteraction Manager

Optimize
Trajectory
generation

Visionbumper

PCI
bus

Command by gestureInteract individual person
Make gesture with talking

2D/3D
PostureFace
recognition

Voice
recognition

Extract moving objects

Face
Detection

Sound source
position

2D
GestureAP
Local map
Obstacle
Avoidance

ASIMO sever
Figure 1: ASIMO computational structure

Control of arm, handControl of Leg

human interaction. The intelligence system consists of aframe grabber, a PC for image processing, a PC for speech
recognition and synthesis, a processor for control andplanning, a radio communication network controller unit
for communication with the external system and DSP board
for detecting sound sources (Figure 1).
Two board color cameras are installed on head unit toobtain stereo images which are processed to compute depth.
A frame grabber connects the vision computer with the PCI
bus for high speed data transfer. The vision system isseparated from the processor group of control and planning.
Two microphones for sound detection system are installedon the front side of head.
In the external system of ASIMO, we have developed a
map management system for navigation and specification oftasks in man-made environments such as offices, museums,
and hospitals. This system is able to send commands to therobot and allows selection of tasks for execution at
specified locations (such as recognition and speech
dialogue). There is also a database of face images ofdifferent people used to identify people and recognize themat subsequent meetings.
The experimental model of ASIMO uses several different
operating systems, and a message board for asynchronousinternal communication to achieve tasks and motions. The
control system needs fast processing to perform actions.
Vision processing is slower compared to control processing.
The planning system has to handle both fast (e.g. obstacle
avoidance) and slow situations (e.g. route trace moving).
A communication server manages socket port numbers forcommunication among vision and planning processes. The
planning system is an agent-based distributed architecture
system. The planning system is event driven with no central
control to handle unforeseen situations. The construction ofvarious functions and software of ASIMO is shown infigure 2.

Microphone

Stereo, color, b/w

Control of head(eye)Figure 2: Function and software

4.Sensory system
4.1 Camera system and image capture
The vision system of ASIMO runs on a PC. The stereo
method is based on SAD (Sum of Absolute values ofDifferences). It computes a depth map from two CCD
cameras with b/w images, and does calibration for lensdistortion and rectification (Table 2). The cameras in thehead are located on top of the robot body with manydegrees of freedom. To calculate camera pose, image
capture is synchronized with all joint angles. The frame
grabber has several types of I/O signals and captured
images are synchronized with body motion (Table 3).
The vision system for navigation and interaction takes
images from the frame grabber and processes them toextract 3D objects and moving objects (Figure 3).
Table 2: Specification of stereo system
Base line length
Imaging sensor
Picture elements
Focal length
CPU
Disparity image size
Disparity range
Stereo frame rate
Software processing

74mm
1/3"Color CCD x 2768(H)x480(V)4mm
Mobile Pentium III-M 1.2GHz
320(H) x 240(V)32 pixels
20fps
Correction of lens distortion and rectification

Table 3: Specification of frame grabber
bus interface
input signal
input channel
Sampling
sync.
LUT
frame memory
sync. Pulse
async. Pulse
time code
Shutter
Transferhost OS

20

CompactPCI
S-Video/RS-170A
2ｃｈ（S-VIDEO），2ｃｈ（b/w）
NTSC 4fsc(14.31818MHz)
VS, HD, VD
Y 8bit→16bit, CrCb16bit→16bit
256Mbyte（90frame ring buffer)
0～16msec/field. Delay;５ＶTTL
ON/OFF range;0～16msec
sync pulse stamp on frame
SONY XC-ES alternate
64bit DMA
WindowsNT 4.0

Left / Right images, Right image(t+1)
Low Level Image Processing(Stereo, Edge, Skin Color, Subtracting)

Joint
angle

Moving Objects
Extraction

3D Objects
Extraction
Local map &vision bumper

Parts Extraction

Face Detection& Recognition

Gesture & Posture
Recognition
Objects Integration

Figure 5: Image and top view of surroundings.

Interaction management agent
Eye Control agent

White region is robot’s view. Purple rectangles are obstacle. Bluecone patterns are range of vision bumper.

Movement agent
Walk agent

time sequence. Obstacles are modeled using their boundingbox. ASIMO can turn its head horizontally from +/-83
degrees, and can therefore make a wider local map covering+/-113 degrees.

Figure 3: Vision system software configuration
4.2 Speech system and sound localization
For speech recognition and synthesis, we use acommercial voice recognition engine and speech synthesis
product. However, the audio quality and intonation of voiceneed more work and they are not yet satisfactory for use on
the robot. We control sentence and words tags for smoothspeech. The sound and speech are important to get humanintention under an ordinary environment. Sound source
detection is able to identify human voice tones and step
sounds. The shape of envelope of sound signal and the
direction of the sound is computed from the volume andtime difference of the signals at two microphones. The
sound detection resolution is able to detect 1 degree by
estimation (Figure 4). When someone calls ASIMO, it turns
its head to face the person. When something falls on floor,
it turns its head to gaze what happened.

4.4.Human and gesture recognition for interaction
Interaction is important for any kind of robot to performtasks in human society like carrying luggage, pushing a cart,
serving drinks, taking tools from the table and so on. The
robot has to understand human’s high-level task
requirements by using its low-level sensory modules suchas eyes, ears and tactile sensors .
Human tracking algorithm is able to track humans and theiractions. An optical flow based algorithm extracts theforeground from the image even when robot head and bodyare in motion. Snake algorithm extracts contours of humanshapes and can separate multiple people in the scene.
Human head position is estimated at the top of the contour.
Face detection makes use of a model of skin color to
extract face contours. Face recognition is based on the
Eigenvector Method [6] (Figure 6).

degree

90
80
70
60
50
40
30
20
10
0

1

2m

3m

S/N 15.3[dB 10.3[dB 8.3[dB

0

1

2

3

4

5

6

70

8

90

degreeFigure 6: Extraction of humans in the scene.
Each color region is human position, point in contour is thehuman contour center. Numbers describe the direction andlength of human from robot. Oval on face signifies
recognized person.

Figure 4: Sound direction
Horizontal axis: Real sound direction, Vertical axis: Estimatedsound direction

4.3. Obstacle detection for navigation
Many autonomous robots perform navigation under an
ordinary environment using vision, sonar, infrared sensor
and range finders. ASIMO makes an in memory local map
using vision. It reconstructs a map of the neighborhood
surrounding the robot and uses it to move to the point ofinterest on a pre-defined route. The vision bumper handles
obstacle surrounding the robot with simple 8 bit patternfrom the local map data (Figure 5). Obstacles detected fromstereo depth map data are updated frame by frame in

Our 2D gesture recognition algorithm detects the positionof the hand and estimates the action using a Bayes
statistical model. It is able to identify hand, face and sideand front profiles of body. Recognized gestures include
handshake, hand circling, bye-bye, hand swing, high-handand come here call. Human gesture computation is doneusing the robot front view image (Figure 7).

21

Table 4: Functions of planning agents
1) Agents in Deliberative Layer
Movement
Agent

Interaction
management
agent
Dialogue
Agent

Figure 7: Handshake gesture recognition.

Getting route data from Global map.
Calculating direction towards sub goal and approach
there.
Obstacle avoidance by potential method.
Issue command for task.
Switching scenario of task.
Selecting a dialogue depending on task.
Selecting an action using posture/gesture recognition
result and voice recognition.
Switching dialogue based on voice recognition.
Switching a dialogue to speech with action
Retrieving and making dialogue form Internet.

2) Agents in Reactive Layer

Our 3D gesture recognition algorithm can recognize
pointed hand gesture based on the head and hand position
relationship using depth map data from stereo (Figure 8).

Walk
Agent
Eye control
AgentSound source
detection
Agent
Robot control
interface agent

Making a step command for walk depends onsurrounding objects.
Obstacle avoidance by vision bumper.
Attention a moving object.
Attention and gazing sound.
Gaze by command.
Sleeping./ look around as no any input.
Detecting a position of sound source.
Evaluation of human voice tone.
Walk command, action command accepted from otheragent.
Broadcast a latest state of robot.
Movement agent(Deliberative)

Figure 8: Pointing gesture recognition (blue bar).

5.Planning system
5.1 Software architecture
Many models of autonomous robot architecture fornavigation and interaction have been proposed. RHINO [7]gave tours in museum for visitors. The system wasorganized in hierarchical modules to control a robot.
The ASIMO planning architecture is behavior-based andhas deliberative and reactive layers. Behavior-basedarchitecture [8] combines deliberative planning like highlevel human commands and reactive behavior control fornavigation in a rapidly changing environment. Behavior
agents use distributed processing, are event driven, use
asynchronous communication, and have no supervisor ineach layer. The behavior agents in our system are listed intable 4.
Each agent handles data from the vision system, auditory
system and other agents. The cycle time of deliberative
agents is larger than that of reactive agents. For example,
Movement agent makes a route every 500 ms. to avoid
static obstacles. Static obstacles are detected by a potential
method using a local map data that is updated by the visionsystem every 120 ms. Object avoidance in Walk agent has a
33 ms. cycle. Walk agent can stop and turn the robot whenan obstacle suddenly appears. It uses the sensory behavior
space generated by reward and penalty based learning on asimulator to decide motion direction. It is updated underreal environment, if a robot was able to avoid obstacles ornot(Figures 9,10,11).

Globalmap

Calculate
Desire direction
for next sub goal

Local
map

Making Local Pathfrom obstacles
map

VisionbumperSensory-Behaviorspace

Walk agent(Reactive)
Chose a local
behavior
selector

ASIMO

data
commandFigure 9: Obstacle avoidance mechanism

Figure 10: New route for obstacle avoidance.
Red rectangles show generated local path. Blue oval are
obsatcles.
180dgree00255-180dgree

Figure 11: Sensory-behavior space.
Vertical dots; a case of vision bumper pattern (256).
Horizontal dot;safe direction to move (5 degrees/dot).
Black; not safe to move, White; safe to move. Gray; no
data.

22

5.2 Integration
All agents run simultaneously and handle minimallynecessary input data. Once the condition for agent
invocation is satisfied, the agents become active and workon achieving their tasks. In case of conflicting behaviors,
agents negotiate with each other by sending commands.
Agents receiving commands inhibit or modify their
behaviors by updating parameters for acting behavior. For
example, when Interaction management agent gets a
command from a known person, it forwards the samecommand, frame number of image, and other information to
Dialogue agent, Move agent and Eye control agent.
Dialogue agent selects and executes appropriate speechsynthesis. Move agent inhibits motion behavior toward sub
goal. Eye control agent receives data of a moving object
with frame number at every cycle and selects the object togaze. The default eyes (head pan/tilt) moving are based on
stimuli of processing of vision and auditory. When somestimuli received a human position data from a vision system,
then gaze human face. When some stimuli received ahuman voice from an auditory system, then gaze a direction.
A time of gazing depends on volume of sound and a kind ofsound. When a pan/tilt command received simply fromdeliberative agents, then gaze that position.
For multi processor communication, we use a message
board based communication in real time operating system
and a socket based communication between real timesystem and non real time system. Vision and auditory
systems are part of non real time system. A name server
mechanism is used to manage port numbers to establish
communication among agents automatically. Agents canstart or terminate a process any time.

6.External system
6.1 Database of individual information
To recognize known people, the face recognition algorithm
uses eigenvector algorithms on face and eye image data.
Known people’s face image database is kept on the ASIMO
server. When the robot system initializes, the algorithm
takes the stored eigenvector data from server. Other
information like names, company names, address andhobbies is also available.
Processes in vision and planning system can refer to theexternal database via the network.
6.2 Reservation system
The example of task of ASIMO receptionist is to guide avisitor to a meeting room or a waiting place and to call acompany representative to notify him about the visitor. The
reservation system allows company people expecting
visitors to choose meeting place and time and obtain visitor
details in a web GUI. When a visitor approaches ASIMO,
the moving human shape is extracted, and face is detected
and recognized. Then the interaction manager confirms theschedule of meeting with the reservation system and sends a
notification command to client program on user PC. Oncethe company user replies to the notification, ASIMO guides
the visitor to the meeting place specified in the web GUI.

Figure 12: A GUI of Global Map system
6.3 Global map system
The Global map system GUI is shown in figure 12. It
supports the following functions:
1) Loading, saving, updating and scaling a map data.
2) Playing an object at any position on map, changing its
characteristics and manipulating it.
3) Making a route and sub-goal.
4) Selecting a route with minimum cost.
5) Switching a route from planning agents.
6) Setting a task (e.g. talking, action, image processing) at
sub-goal.
7) Deciding a region for walking.
8) Sending a command (start, stop, home, pause) toplanning.
9) Monitoring robot behavior state.

7. Demonstrations
The intelligent ASIMO can perform reception work
autonomously in the following basic order (Video 1)
1) Detect an approaching visitor.
2) Find and track a visitor’s face.
3) Verbally greet the visitor with a gesture.
4) Recognize the individual and confirm.
5) Check appointment meeting time, place and people.
6) Notify the visitor’s arrival.
7) Guide visitor to meeting place.
The functions for navigation are as follows (Video 2):
1) Walking on a route specified in the GUI of Global
map system, and performing pre-specified tasks at sub-goal.
2) Detecting obstacles.
3) Stopping if an obstacle is encountered.
The other interaction functions are as follows:
1) It is possible to call the robot. This is useful when callingperson is far, and/or the voice command has too much noise.
The robot first finds the direction of calling person bysound source detection and tries to find a call sign gesture.
If a call sign is identified, the robot approaches the calling23

person and follows him/her. The robot can also be stopped
by gesture. (Video 3)2) The robot knows handshake gesture of people. This is agood and basic action at first meeting.
3) Sometime, we want ASIMO to wait at the some location.
3D hand gesture can be used to point a location to the robot
where it should go and wait. (Video 4)
ASIMO can inform a latest news source from pre-loaded
file. It is also easy to retrieve from internet directory.
(Figure 13, Video 5)

8. Conclusion
We have integrated autonomous functions for navigationand interaction in ASIMO. A stereo camera, frame grabberand a computer image processing have been added to thecurrent rental model. Equipped with the vision system, therobot can not only navigate in an ordinary environment, butalso understand human requirements. Our auditory system
is useful for interacting with people and understanding
commands from a distant location. The deliberative andreactive architecture can perform high level planning andrapid response. The vision, auditory, and planning systems
also use information from the external database system.
In the future we plan to develop a more robust sensory andplanning system to realize highly autonomous functions on
ASIMO. Our goal is to demonstrate a personal robot thatcan perform helpful tasks to support human daily activities.

Figure 13: Inform a News/Topics[7] Burgard, W., Cremers, B. A., Fox, D., Hahnel, D., Lakemeyer,G., Schulz, D., Steiner, W., Thrun, S., ì Experiences with aninteractive museum tour-guide robot.î , Artificial Intelligence 114,
pp.3-55, 1999.
[8] Arkin, R.C., Behavior-based Robotics, MIT press, 1998.

References[1] Hirai, K.,Hirose, M., Haikawa, Y., Takenaka, T., ì The
Development of Honda Humanoid Robotî , Proc. of the 1998
IEEE International Conference on Robotics & Automation,
pp.1321-1326, 1998.
[2] Brooks, R., Breazeal, C., Marjanovic, M., Scassellati, B.,
Williamson, M., ì The Cog Project: Building a Humanoid Robot, ,Computation for Metaphors, Analogy and Agents, Vol. 1562 of
Springer Lecture Notes in Artificial Intelligence, Springer-Verlag,
1998.
[3] Kuroki, Y., ì A Small Biped Entertainment Robot and its
Attractive Applicationsî , Proc. of the 2002 IEEE/RSJ
International Conference on Intelligent Robots and Systems,
Plenary talk, 2002.
[4] Galtus, G., Fox, D., Gemperle, F., Goetz, J., Hirsch, T.,
Magaritis, D., Montemerolo, M., Pineau, J., Roy, N., Schulte, J.,
Thrun, S., ì Towards Personal Service Robots for the Elderly.î ,Computer Science and Robotics, Carnegie Mellon University,
1998.
[5] Imai, M., Ono, T., Ishiguro, H., î Physical Relation andExpression: Joint Attention for Human-Robot Interactionî ,Proc. of 10th IEEE International Workshop on Robot and Human
Communication, 2001.
[6] Turk, M., Pentland, A., ì Eigenfaces for Recognitionî , Journalof Cognitive Neuroscience, Vol.3, No.1, pp.71-86, 1991.

24

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑5

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

アクティブオーディションによる複数音源の定位・分離・認識                

中臺 一博 Ý 奥乃 博 £ Ý 北野 宏明 ÝÝ          

科学技術振興事業団  北野共生システムプロジェクト£
京都大学大学院情報学研究科

          !  "#                                                                         !                                                                      "       
                                     #        #                                          $               
 $  % &      ' 
(     $                   Æ                                 
はじめに近年 ヒューマノイドを代表とするロボットは ) のテス

トベッドなど研究目的としての利用にとどまらず 人間と知的なソーシャルインタラクションを行い 将来ロボット

が *人間のパートナー+ となることが期待されている このような人間とのソーシャルインタラクションでは 人間のコミュニケーションの多くが音声に依存していることか

ら明らかなように 聴覚は最も重要な機能の一つである

そうした状況では ロボットは複数のイベントを同時に聞き分け 他の音声や自分自身が作り出すモータノイズを抑制して 混合音をうまく扱えるように音源分離機能を備える必要がある この機能は 音源分離をフロントエンド処
理とした音声認識にも有効である 音源分離問題について

は音環境理解      &,! の分野で 様々なアプローチが取り組まれてきた
しかし 心理学的知見を利用した音源分離-.. ./0 マイ
クロホンアレーを用いたビームフォーミング-1 .20 独立
成分分析       )&! -.330 視聴覚統合による音源分離-.40 など そのほとんどはシミュレーション環境で行われており 実環境・実時間処理への配慮があまりされていない 実時間処理に関しては
5 本のマイク間の強度差と位相差を利用した音声強調-50が報告されているが 環境が既知であること マイクや音源が静止していることが前提であり ロボットへの適用は難しい また ロボットでの音声認識については ロボット
自身が動作時に発するノイズ問題から 動作中の音声認識は難しく , )6' のように *  + 原理に従わざるを得ないか 部屋やロボット自身の影響による音声の伝達歪みや他の音源からのノイズの影響で ロボッ
トではなく話者の口元にマイクを設置している
アクティブオーディションはこれらの問題に対する解決の糸口を与える-.70 これは 人間や動物を見習って ア
クティブな動作を積極的に利用してロボット聴覚を向上させるもので ロボット動作時に問題となるノイズをキャンセルすることにより これまで 実時間・実環境での音
源定位・追跡、分離を報告してきた-.7 .1 .%0

本稿では 音源定位・分離だけでなく 分離音の認識までを対象として アクティブオーディションを利用したロ

ボット聴覚システムを提案する システムは 視聴覚を統合し正確に複数人物を定位・追跡する実時間人物追跡シ

ステム フィルタの通過帯域を音源方向に応じてアクティブに制御し 分離精度を向上できるアク ティブ方向通過型フィルタ 

25       ! 分離Each Subband

DFT

Frequency
AnalysisLeft Channel

Calculation of
IPD and IID

IPD

90
60
30
0
-30
-60
-90

Right Channel
Frequency

IID

IID
Real-Time Human Tracking System Stream
Direction( SIG
StereoVisiondeg.
coordinates)
Face localization
Sound Source
localizationt
Tracking

Pass-subband Detection
Filteringby Combining IPD and IID
90 −+ δ(90)+90 − δ(90)60 −+ δ(60)60 −+ δ(60)+ δ(30)30−+
30 − δ(30)0 −+ δ(0)0 −+ δ(0)+ δ(−30)-30−-30 −+ δ(−30)-60 −+ δ(−60)+ δ(−90)-60 −+ δ(−60)-90−-90 −+ δ(−90)

90
60
30
0
-30
-60
-90

Separated
Sounds
90
60

IDFT

IPD

Matching-90

δ(θ) : Pass Range

Auditory
EpipolarGeometry

IPD

0

90
60
30
0
-30
-60
-90

-90

HRTF
IID

90
60
30
0
-30
-60
-90

IPD

θ

Self-VoiceSuppression

90

Pass Range
Function
Obtained From
Sensitivity

90
60
30
0
-30
-60
-90

Automatic
SpeechRecognition
SpeechRecognition

Active Direction-Pass Filter

DialogControl
SpeechSynthesis?

!

Dialog  .8        9    , 
音声に対し 複数の音響モデルを用いた音声認識結果を統合して認識率を向上できる音声認識システムからなっている また 実際にシステムを 5 本のマイクを搭載したロボットに実装し その評価を行う

以降 5 章ではロボット聴覚システムについて述べる

1 7 % 章では ロボット聴覚システムを構成する実時間複
数人物追跡システムによる音源定位・追跡 アクティブ方
向通過型フィルタによる音源分離 および複数の音響モデルを利用した 音声認識をそれぞれ説明する 4 章でシステムを評価し / 章でまとめる



組は 主にロボット自身のモータによって発生する内部ノイズをキャンセルするために使用している-.70 音源定位・分離には 外界からの音響信号を収音するよう  の左右の耳部に設置されているもう一組のマイクを利用している



視聴覚統合による実時間複数人物追跡
Association

Active direction
pass filter

Separated
Soundsムを$% ヒューマノイドプラットホーム& '

研究のテストベッドとして 上半身のヒューマノイド 

を使用している  は 7 自由度を有し 各モータには
ポテンショメータによって 位置制御 速度制御が可能な

& モータを用いている また 音響的にロボットの内外を区別できるよう設計された 9 製の外装を備えている
カメラには 左右の目の位置に一組の && カメラ ,:;)<5=! を マイクには 計 7 本の無指向性マイク ,:&>//,! を使用している 7 本のマイクは 外装を挟んで一組ずつ取り付けられており 内部に設置されている一Streamlayer

Streamchart

Focus of attention
control
Planning

アクティブオーディションを利用したロボット聴覚システ

 . に示す システムは ロボット ! のカメラ
マイク入力から 音源が複数ありかつ動作している場合でも ロボット自身のアクティブな動作 視聴覚の統合により これらを定位・分離・認識することが可能である シ
ステムは大きく 1 つのサブシステム「視聴覚を統合した
実時間複数人物追跡」 「アクティブ方向通過型フィルタ
以後  ! による音源分離」 「複数の音響モデルを使用した音声認識」からなる 以下にヒューマノイド 
を紹介し 次章以降で各サブシステムを説明する

Association /deassociation
Rader
chart

ロボット聴覚システム

Association stream

ViewerMotor control

Stereo vision stream

Auditory stream

World coordinate conversion
Stereovision

Sound

Face

Motor event

Stereo event

Robot
direction

ObjectlocationMotor
control

Objectextraction

PWM
AD
control conversion

Disparity
map creation

MotorsPotentiometers

Face stream

Face event
Facelocation

Face ID

Face
Face
localization identification
Face
detection

CamerasFace DB

Pitch

Auditory event

Event
layer

Sound source
direction

Feature
layer

Sound
Sound
sourcesourceseparation localization

Processlayer

Peakextraction

Microphones

SIG
Devicelayer  58      9  ?   , 
. の実時間複数人物追跡システムの詳細な構成を
5 に示す このシステムは  のカメラやマイクなどから得られるセンサ情報を統合して 複数の人物の位置を把握し これを追跡することができる 本稿では このシステムで認識される正確でロバストな音源方向情報を
アクティブ方向通過型フィルタへの入力としている シス

テムは 音源定位 顔認識・定位 ステレオビジョン アソ
シエーション アテンション制御 モータ制御 ビューワの / モジュールから構成されている なお 以降ではモジュール名はボールド体で表す

26

モジュール内のサブモジュールや情報は % 階層に分けられる  のカメラ マイク モータシステムなどのセンサデバイスは  デバイス層に属している

プロセス層 特徴層 イベント層では  デバイス層から得られるセンサ情報から 位置 名前情報といった特徴を抽出し これらに時間情報を付加して 特徴の種類に

実装上は これらのモジュールをギガビットイーサ ファ

ストイーサの 5 つのインタフェースを備えた % 台の @ (ノード    ))) .<?! に分散させている ギガビッ
トイーサは トラフィックが多く 通信量も大きいモジュー

ル間通信用に ファストイーサは 同期信号などの通信用に使い分けている 結果として 5== のレイテンシ お

拠らない透過的な表現であるイベントに変換し ストリー

よび .==であるため イベントも非同期に発生する これらの処理

フィルタを予測に利用することで補っており これによりム層に出力する 各センサ情報の観測タイミングは非同期

は 音源定位 顔認識・定位 ステレオビジョン モータ制
御といったイベント抽出モジュールで行われる 具体的には 音源定位では マイク入力から ピッチ 音高! を抽出し 倍音の調波構造を利用したグルーピングを行い 複数の音源が同時に存在する場合でも それらを定位し 音イ
ベントを生成する 顔認識・定位では 顔画像の認識と定位を行い 顔の ) と位置情報を含んだ顔イベントを生成する 顔認識では まず 肌色抽出と相関演算に基づくパターンマッチングにより 顔領域抽出を行う-/0 次に 抽

出顔領域に対し オンデマンド更新が可能で最適な判別空間を生成できるオンライン判別分析 @!-20 を適用して顔認識を行う 顔定位は 抽出した顔の大きさに一定の仮定をおくことで 顔の 1 次元定位を行う ステレオビジョ

ンは 高速な視差マップ生成法-.=0を用いて 人物のように縦に長い物体を抽出・定位し 人物位置情報を含んだス

テレオイベントを生成する 横を向くなど顔が見えない場

合にも人物の位置情報を得ることができるため システムのロバスト性を向上することができる モータ制御では
モータのポテンショメータから得られるロボットの姿勢情報をもとに モータイベントを生成する

ストリーム層では イベントを種類ごとに時間方向に接続し ストリームを形成する ストリームとイベントの接 以下の精度のノード間同期を実現している

レイテンシについては ストリーム生成で用いた A
リアルタイム動作を可能としているアクティブ方向通過型フィルタによる音源
分離 . の網掛け部分がアクティブ方向通過型フィルタの構成に対応する アクティブ方向通過型フィルタへの入力
は 7 つあり 入力のスペクトル 入力スペクトルから計算される ) と )) および 実時間人物追跡システムから得られる音源方向情報である 出力は 入力方向に対する分離音響信号である
アクティブ方向通過型フィルタでは 方向通過型フィル
タに対し 聴覚中心窩に基づくアクティブな通過帯域制御とロボットの伝達関数を利用した仮説生成により 実環境
での高速な音源抽出を可能にしている ここで ロボットの伝達関数は 部屋の伝達関数 ロボット頭部による音の歪みなどを考慮して 特定方向の ) および )) を推定するための関数である 以下では アクティブ方向通過型
フィルタのアルゴリズムの詳細について説明する

(% アクティブ方向通過型フィルタのアルゴリズム

アクティブ方向通過型フィルタのアルゴリズムは以下の 4ステップで構成される

続には A フィルタを用いて 観測誤差・処理誤差に. 入力音のスペクトルから 各サブバンドの ) Cと )) C を計算する ここで    は それぞ

ロバストな処理を実現している-.%0 このようにして生成されたストリームうち 複数のストリームが同じ人物に由

れある時刻に左右のマイク入力信号から得られたス

来すると判断すると これらを一つに束ねアソシエーショ

ペクトルである



 0
 0
C D   - 0   - 0 .!


 

5!
C D 5= ½¼  

ンストリームを生成することにより センサ情報の統合を行っている これらの処理は アソシエーションで行われる アクティブ方向通過型フィルタの入力は 音ストリー











ム および音情報を含んでいるアソシエーションストリー

ムの方向情報である 送出されるストリーム方向情報には

5 抽出すべき音源の方向を  とする  は 1 節で述べる実時間人物追跡システムから ロボット座標系での水平角として得られる

時間情報およびストリーム ) が含まれているため データの同期および複数音源分離が可能である

また 注意制御はストリームの状態に応じて  の動作を決定し ビューワはストリームの状態を レーダチャー1 通過帯域関数に従って  に対応するアクティブ方
向通過型フィルタの通過帯域 Æ  ! が選択される 通
過帯域関数は 聴覚中心窩に基づき ロボットの正面
方向で最小となり 周辺部で大きな値をとる関数である 詳細は 755 節で述べる 選択された通過帯域
ト ストリームチャートとして可視化するためのモジュー

ルである モータ制御は 注意制御からの信号をもとに

B>  B  >  ! 信号を生成し & モー
タを駆動するためにも使われている

27



















するのがアクティブ方向通過型フィルタの基本的な動作である

7  と  に対する ) )) を推定する これらの推定には ロボットの伝達関数を利用する% 音源方向  に対して ロボットの伝達関数を利用して 入力スペクトルから以下の条件を満たすサブバン
ドを選択する   8 C  !  C  C  !
   8 C  !  C  C  !
C ! C ! は それぞれロボットの伝達関数から推定される ) )) である  は フィルタリ
ングの判断基準に ) と )) のどちらを用いるかを決める閾値である 一般に 低周波数域では )
高周波数域では )) が大きく影響し この閾値はマ
イク間距離に依存する 我々のロボットでは 理論的にも 実験的にも  として .%== ? が妥当である
ことが報告されている-.%0






















人間の聴覚においても 水平方向の音源定位の精度は正面方向で最も高く 周辺部に行くに従い低くなることは
古くから知られている-%0 耳に 5 つのマイクを備えたロボットによる音源定位でも 人間と同様の傾向が見られる 1 は 1 節で説明した 実時間人物追跡システム-.10における 1 つの定位モジュール音源定位 顔定位 ステレオ
物体定位による定位結果の平均値  7 は 音源定位による定位結果の分布を表している
Average of Estimated Direction (deg.)Æ ! を用いて  D   Æ  !  D  E Æ  ! と定義すると  から  の範囲にある音響信号を抽出



音源を抽出し続ける際には 時間方向の連続性を考慮する必要がある 本稿では 1 節に述べる実時間人物追跡シス

テムから音源方向を得ることでこれを解決している 実時

間人物追跡システムでは すべての情報をストリームという時間的な流れを考慮した表現を用いて表しているので

同時に複数の音源が存在したり 音源や自分自身が移動す現している

($ 聴覚中心窩による通過帯域制御($% 聴覚中心窩とは霊長類の視覚は 中心窩と呼ばれる解像度が高い部分が中心部に存在し 周辺部では解像度が低くなる代わりに

広範囲な視野を得ている このような構造を用いれば 対象物を中心窩で捕らえることにより 高解像度の情報を取得することができる つまり 広い視野と高い解像度を併せ持ち かつ脳の情報処理量を劇的に削減できる効率的な構造を有している ロボットでも 同様の構造により計算量を削減できることから 中心窩を利用した視覚処理はア  ! -.0の典型的な例として
しばしば利用されている-.5 550
クティブビジョン 

50
40
30

Sound
Face
Stereo Vision
Ideal

20
10
0

0

10

20 30 40 50 60 70 80
Sound Source Direction (deg.)

90

0

10 20 30 40 50 60 70 80 90
Sound Source Direction (deg.)  78     ,    

る場合でも 一つのストリームに注目することによっており これにより 視覚情報による音源定位精度向上を実

60

Estimated Direction (deg.)の関数であるため 特定

た ストリームは視聴覚情報を統合するためにも使用して

70

90
80
70
60
50
40
30
20
10
0
-10

4 選択されたサブバンドから 音響信号を再合成し 該
当範囲にある音響信号を抽出する

特定音源からの方向情報を連続的に得ることができる ま80  18 @         

実際には 音源方向  は時間

90

 1 から 音源定位による定位誤差は 正面方向から
5=
 /=Æ 付近までは 4Æ 程度で一定だが それ以降は大きく悪化し 3=Æ では .%Æ 以上になる
また  7 から 正面方向のばらつきは少なく 正面から離れるにつれ ばらつきが目立ち 分散が大きくなる このように定位結果の平均 分散は ともに正面方向で音源
定位の精度が高くなることを示しているので 本現象をロボットにおける聴覚中心窩と呼ぶ
なお 神経行動学   ! では ドップラー効果によるエコー音の周波数変化を抽出するため キクガシ
Æ 付近まで増加した後

ラコウモリの蝸牛殻で特定の周波数に対する感度が高くなっている部分を聴覚中心窩と呼んでいる -510 選択的注意という広義の意味では 両者は似ているが 本稿では

ロボット頭部の正面方向で感度が高いという意味で聴覚中心窩という言葉を使用する 1 では ステレオビジョンによる定位誤差は .Æ 顔28

定位による誤差は 5Æ 程度と 聴覚処理よりも正確である

帯域が .=Æ 程度で元波形を抽出できているが 音源方向が利用できる場合では 高精度の視覚情報によって 聴覚出するために 広い通過帯域を必要とし 音源方向が 3=Æ

ことがわかる これは 音源方向が正面に近く 視覚情報の精度不足を補うことが可能であることを示している

これらから 音源定位では 視覚の中心窩と同様に 聴

覚中心窩を利用して音源に正対するようなアクティブな動作を行えばシステムの精度の向上が期待できる さらにが正面から離れるに従い 元の波形に含まれるパワーを抽の場合には 最低でも 1%Æ 程度の通過帯域が必要である
音源数が . の場合には 通過帯域が広ければ広いほど

,FG 比の高い信号を抽出することができるが 実環境では 背景雑音を含め 複数の音源を考慮する必要があるた

正面方向で視覚情報が利用できれば 視聴覚統合によりシめ なるべく通過帯域を狭くとることが望ましい そこで($$ 通過帯域制御

域を音源方向ごとに抽出し

ステムのロバスト性を向上できると考えられる

方向情報を利用した音源の分離抽出を考えた場合 正面

方向の音源であれば 正確な音源方向を利用することができるが 音源方向が正面から離れるにつれ 方向情報に精度を期待できなくなるため 音源方向によってフィルタの通過帯域を制御する必要がある

従来の方向通過型フィルタ-5=0はスペクトルの各サブバ

ンドで 両耳間位相差       )!

と 両耳間強度差    

  ))! に対する仮説推論を行うことによって特定方向の音を抽出するものであるが フィルタの通過帯域が音源方向によらず一定であることが 十分な精度が得られない一因であった

 % から ほぼ元波形が抽出でき かつ極力狭い通過帯
 4 のように通過帯域関数を導出した 通過帯域は正面方向では狭く 周辺部では広くなっていることがわかる これは 音源定位と同様に

音源分離でも聴覚中心窩を利用することが可能であることを示している アクティブ方向通過型フィルタでは このような通過帯域制御を行って 正面方向では ,FG 比の高い音響信号を抽出し 正面方向から離れた音源に対しては帯域を広く取り 背景雑音の混入により ,FG 比は多少落ちるものの 必要な情報をできるだけ抑制せずに 特定の音源の強調を行う 正面方向から離れた音源を精度よく抽出する必要がある場合は 聴覚中心窩を利用できるように 音源方向を向くような制御を行う

実際の利用では 他の音源の音を極力抽出したくない場

そこで アクティブ方向通過型フィルタでは最適な通過帯域を求めるために 音源数 . の場合に音源方向や通過帯

合 単なる音響信号の強調として利用したい場合など 状域を様々に変化させて 抽出精度の違いを調べた 音源に況に応じたチューニングが必要な場合もあると考えられは スピーカから出力される音声信号を用いた スピーカ

利用するものとする

とロボットの距離 は . とし スピーカの水平方向を ロ

るが 以後の実験では

ボットの正面から =Æ 〜3=Æ まで .=Æ おきに変化させた

Direction (
deg
Soure
und
o
0 -10 -20 .)
10
S
20
-30
30
-40
40
-50
50
-60
60
-70
70
-80
80
90
-90 (deg.)
+
+
+
30
40
+
20
10
Pass Range (deg.)

また 音源を抽出する際には スピーカ方向は既知である
ものとし 方向通過フィルタの通過帯域を %Æ 〜3=Æ まで %Æ 単位で変化させて音源を抽出し ,FG 比による比較を行った

Extraction Ratio (dB)5  48  9  

0
-5
-10
-15

 4 に示された通過帯域関数をSound Direction
0o
10o
20o
30o
40o
50o
60o
70o
80o
90o

-20
0 +
-10 +
-20 +
-30 +
-40 +
-50 +
-60 +
-70 +
-80 +
-90
Pass Range (degree)() ロボットの伝達関数

一般に ロボットの伝達関数は計測によって求める 本稿
では 無響室で水平方向について %Æ 刻みでインパルス応

答を計測して得られた計測伝達関数を用いている

しかし 部屋の音響環境の変化に動的に対応するためには 音響環境が変わるたびに部屋の伝達関数 もしくはロ  %8 :(     , ,  ,  

ボットの伝達関数の再計測が必要となるなど残響や動的 % に結果を示す 実験では 背景雑音は無視できる程度に小さかったため 音源数が . の場合は ,FG 比 が= となった時に 元波形が完全に抽出できたと解釈する 音源方向が =Æ 〜1=Æ と正面方向に近い場合には 通過

向からの測定が必要であるため 測定にも時間がかかるとな音響環境の変化に追従させることが難しい また 各方
いった欠点を抱えている

そこで ) については 水平角から計算的に ) を推定する手法である聴覚用エピポーラ幾何 29    !-.70 を利用している これは ステレオビ
ジョンで利用されるエピポーラ幾何-40と同様の概念を 5
本のマイクによる定位に当てはめたものである 音源とロボット間の距離が %=  以上では無限遠の音源を仮定できるので-.%0 頭部形状による影響を考慮すると 式 1! として表すことができる
C D 5     E  !
1!
ここで C   は それぞれ ) 音源方向 周波数音速を示す また  はロボット頭部を球形とみなした場合の半径である

最終的に ロボットの伝達関数として )) については

計測した伝達関数 ) については 式 1! を用いている)) について計測によらない手法が望まれるが これは今後の課題である

分離音の音声認識

音声認識の分野では マルチコンディショニングやミッシ
ングデータなどノイズにロバストな音声認識へのアプローチが行われている-7 5.0 しかし これらは ,FG 比が小さい場合は有効ではない このような場合には音声認識のフ

ロントエンドとして音源分離が必要である また ,FG 比が大きい場合も有効である フロントエンドとして を使用し 複数の音響モデルを使った音声認識を提案する*% 音響モデル

音声認識エンジンには 京大で開発された *H +-570を利用している 本稿では 音声データは 男性 5 名 女性 .

名の計 1 名 の発話による 色 数字 食べ物といった .%=語を使用している

音響モデル用の音声データとして まず 11 の部

屋で  から . の距離にスピーカを置き その音を のマイクで録音した スピーカは  から = 4=Æ の位置におき それぞれの方向について すべてのデータを録音した また = 4=Æ の 5 箇所から同時に音声を出力する場合 1 箇所から同時に音声を出力する場合についてもすべての組合せについて録音を行った 次に 音源方向を既知として  による音声抽出を行った 抽出した

音声を話者 発話方向ごとに整理し 音響モデルのトレー

ニングセットとした 音響モデルにはトライフォンを用い 各トレーニングセットごとに ?

 > >  ? A! を用いて作成した したがって 本稿では
1 話者 1 方向の組合せで 3 種類の音響モデルを使用している*$ 複数の音響モデルを利用した音声認識

Se

Rs

tor

(Ju

Mr
.A

lia

n)

HM
Ms

.B

Ms
Mr
.C

Recognition
Result

o

-60

0o
60o
Separated Speeches  /8 ,  9    >       > る音響モデルを用いる セレクタはすべての音声認識結果を統合し 最も信頼性が高いと判断される結果を出力する
統合のアルゴリズムを定義するために 特定話者の音響モデルに対する単語認識率を調べた  2 に示した結果から 話者よりも方向の違いによる認識率の低下が少ない
ことがわかる また 話者も方向もあっている場合は 2=I以上の認識率であることがわかる この結果を踏まえ 音
声認識の際には 音源方向は既知であることを利用し セ
レクタは 式 7! に示すコスト関数を統合のために使用し
ている



  ! D  !    ! E !   !
   !    !7!
 ! D .   ! D   !=   ! D   !ここで  !  ! は 話者  方向 の音響モデ
























ルを使用した場合の 単語認識率と入力音声に対する認識
結果を示している また

は実時間人物追跡システムから得られた音源方向であり  は 評価対象の人物である   ! は顔認識モジュールで生成される確率であり 顔認識ができない場合は 常に .= となる 最終的に

セレクタは最も大きな   ! を持つ人物  と認識結果  ! を出力する  ! の最大値が .= 以下もしくは 5 番目に大きい値
と近い場合は  は認識が失敗もしくは 一つの候補に絞りきれなかったと判断して 音源方向を向き該当の人物に再度尋ねなおす このように 複数の音響モデルを利用して 分離音と話者の認識を行う また 顔認識が利用可

能であれば 人物名がわかるためロバスト性を向上できる

実験と評価
同時 1 話者発話のシナリオを通じてロボット聴覚システ
ムを評価した シナリオの内容を以下に示す

. ロボットから . の距離に 4= 度間隔  から見て=Æ  4=Æ! で 1 名の人間が並んでいる

音声認識では 並列に 3 つの音声認識プロセスが実行される 各音声認識は

AS

lec

 / に示されるようにそれぞれ異な

30

80

other speech(Ms.B and Mr.C)

60
40
20
0
-60

o

o

o

0
60
Sound Direction (deg)

80

100

self speech(Mr.A)

Word Recognition Rate(%)

100

self speech(Mr.A)

Word Recognition Rate(%)

Word Recognition Rate(%)

100

other speech(Ms.B and Mr.C)

60
40
20
0

-60o

self speech(Mr.A)

80

other speech(Ms.B and Mr.C)

60
40
20

0o
60o
Sound Direction (deg)

0

o

-60

o

o

0
60
Sound Direction (deg)!        >  =Æ !        >  4=Æ !        >  4=Æ  28 9   9        >   >! ,)<   J   ! :     ! ,)< $ $ ! ,)<Æ $ $ ! ,)< $$      4= $    4=Æ     38 ,    ,    ,  9  

5  は1 名に質問をする

結果では 1 話者の認識がすべて成功しており 同時発

1 各話者は 1 人同時に質問に対する回答を行う

話の場合でもロボット自身のマイクを使った音声の定位・7  は 1 話者の混合音声の定位・分離・認識を行う

とができた しかし% 最終的に は各話者に向きながら 向いた方向の人が誰で何を言ったかを答えていく4 音声認識に失敗したと判断した場合は 該当話者の方向を向いた時に再び尋ねなおす
本稿では 実際の人間の代わりにスピーカとその前面に貼られた写真を用いている スピーカは音響モデル作成時に使用したスピーカと同じものである 各スピーカから流れる音声は そのスピーカに貼られた写真と同じ人物のものである 以下にこのシナリオの典型的な結果を 5 例示す.  が好きな数字に関する質問をする   3!!
5 各スピーカから . から .= までの互いに異なる数字が同時に流れる ただし 数字の組合せはトレーニング
セットに含まれる組合せと同じものである   3!!
1  は各音声を実時間人物追跡システムを利用して定位する定位情報を利用して  がその方向の音声を抽出する 各分離音に対し 3 つの音声認識プロセスが同時に実行され 結果を統合し 最も適合のよい話者名 認識結果を求める
7  は各話者に向きながら 求めた話者名 認識結果を答える   3 !!!

分離・認識を行うロボット聴覚システムの有効性を示すこ

 2 に見られるように 各分離音
声の認識率は高々2=I程度である 音声認識に失敗する場
合は 対象音源の方向を向き 聴覚中心窩をうまく利用し

曖昧性を解消するように訊き返すようなアクティブオー

ディションを用いて解決することができる また 事前に顔認識によって顔の名前がわかっているときには 音声認識で使用する音響モデルの数を削減することができるので 高速で正確な認識が可能であるという結果も得られて

いる

!

結論

本稿では ロボットへ搭載してアクティブオーディションに基づき音源の定位・分離・認識を行うロボット聴覚シス

テムを提案・評価し その有効性を示した システムは
聴覚中心窩に基づき音源方向に応じたアクティブな通過
帯域制御と音源方向を向くというアクティブな動作を行い 高速で高精度な音源定位・分離・認識を実現した こ

れは アクティブオーディションの有効性を示しており
ロボット聴覚では アクティブな動作による知覚向上が本質的であることを示している 音源方向を向くという動

作は ロボット聴覚の向上だけではなく 人間とのフレン
ドリーなインタラクションを実現したり テレイグジス

タンスによる会議では 相手の注意を向けさせるという31意味でも重要であろう しかし より制約の少ない環境での利用に耐えうる音声分離・認識には 多くの課題がある これには よりロバストで高精度な音源分離も必要であろうが 音声認識エンジン にも 

や   など分離データの性質を考慮した改良-7
5.0が必要であろう
謝辞











%


@%

 ! %

!



11

%

@

B"$





#

 "

-
0

 

    %





& 

  



"

&



3  
"





"

 

 4

% ": $$"

+,-./0! " &$&& )  )$*"

*"$ '  
.

"$

9! 4 "$



7





!

#

&$!

 ;4$)!$6&"
)



 ?











$





&

 %&

&

#



% % 

%

 


  ($



6

$

888

!

 















  











"





 




111

&

&



(



 $$(0/71
'

$

&

888



2



 !

"



 % @# %$''

 B

!

$

$">$
"

5(



.



 ! #>$ 4. -  

 35


" 





&

0

32





"


(



 $$    "

 # @

  

 







"

9



'

$

 33 4. # B"$

"

"

& "$  





&

&(



 

&

/

 ! %> >(  " $(    

9

11


& )"$ $ 

" 





 :

%$"  5'"   !  





&

&

1/1 8

  %"

  

2/
"$  )$ 

"

 2

 (

 

 " #$% &

 

9

11

  5'"  $(     $,  "









$$  

 

& 

4

$



 5) E$ 5"&"C 

&

11

 

2/.

""$ "



&   % @ &&  

  811'  &$

; 5



11

 D 

 !$



&




& $





&







$

  %(8C

 $

 ! %



 $&

(

!



"$

    8   "  " 4.
0/0  @ !4 "






../



  

$   - ) '   "(  

$

 #$ $"  !.2/.2  

&$&







 ! %

6!4 "

111

!

 

888

)



9 $&   01 233
&' 

2
#

2(

   6 

&

"$

'" $

/2/2% 



 ! 4 "

" 

$



:9
1

   0  1     


 

# @ "$





2/2.

 $

 2  => & "# @$ *" 6

"   6&

$&2/    / /    



4

&



7/0 

5'"  )  < 5 $&

'$   $"' $' >  '$111

("! 4 "   



 



-%&  (!$ 6>


&

$



 11    $, + --+-- 







"

%

=""

  $%

$  '

1

 #  +$ -*.






!

  "  "  233 '



!



"

+2(.,-1/ 5'"   $ '  "

6&"'$&

%

 



4

33



 



9 * #  # ;$  & #  # ;$

%

"



    < 3"&$ 





11

: "$

&



5( 

12/17 8

 & $& )

  )  

 !   $&)$ 

9



 (

$

&$&

" - 7 8 

$

" #$% &0!2/2  @&> "$'    "    6&% @

11



*"

#



7

    

&

 !    

   ! )$ "

  

 

 



"$ 6

      26&"& )$ $'   7 - )

)$ "$ 

.2  # ;$



参考文献



!

 5("$ )  

3-    6  

教授の助言に感謝する また 北野共生システムプロジェ

 

 

 $$ $ .+0,-00/1'A $

豊橋科学技術大学の中川聖一教授と京都大学の河原達也助

 9 

$


2

.

クトのメンバに感謝する

@ %$*"  
$& 

888

 

< $$)$$ ""F"  )G&  $%3!

 4 ;
 $(

+$./0.

 )$*") $  ' - "



鹿野 清宏 伊藤 克亘 河原 達也 武田 一哉   山本 幹雄 音声認識システム オーム社 11

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑6

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

状況検知を利用したロボット用音声認識インタフェースの一手法とその評価
A Speech Recognition Interface for Robots using Notification of Ill-Suited Conditions.

岩沢 透

大中 慎一

藤田 善弘

Toru IWASAWA

Shin’ichi OHNAKA

Yoshihiro FUJITA

NEC マルチメディア研究所
Multimedia Res. Labs., NEC Laboratories

t-iwasawa@bp.jp.nec.com

Abstractを行ってきた [7]．PaPeRo の目指す音声認識インタフェー
スは，家庭環境において利用可能でかつ利用者の身体的自This paper describes a speech recognition interface

由度の高いインタフェースである．利用者の身体的自由度

for robots which uses notiﬁcation of ill-suited con-という観点では，ハンズフリーでかつ発話距離に融通性を

dition for speech recognition. Because our hope of持つディスタンスフリーな音声認識インタフェースの構築

speech recognition interface for robot is hands-freeを目標としている．

and ﬂexible for distance, it is sensitive for the con-

このような実環境での使用を前提としたハンズフリー，

dition such as noise and utterance power. To re-

ディスタンスフリーな音声認識インタフェースの構築に

duce the inﬂuence of ill-suited conditions for speech

は 2 つの大きな問題がある．一つは周囲雑音を音声認識語

recognition, we tried to detect these conditions and彙と誤認識してしまうことによる誤動作の問題，もう一つ

made them notiﬁed by robot. There are two ways

は利用者の発話に何らかの問題が混入することによる音声

of notiﬁcation method from robot, one is active

認識精度劣化の問題である．このうち前者の誤動作の問題

method that the robot actively improve the condi-

に対し，PaPeRo では棄却辞書を利用した不要音声棄却を

tion, another is passive method that the robot asks

行っている [7]．本稿では，後者の音声認識精度劣化の改善

a person to improve. We implemented the passive策について述べる．

method on mobile robot PaPeRo, and evaluated theeﬀect.

音声認識精度劣化の問題は，利用者の発話に関する問題と環境の問題に大別できる．利用者の発話の問題としては，
発声のパワー，明瞭さ，タイミングといった発声方法の問

1

はじめに

題とシステム側で受理不能な未知語発話の問題がある．これに対し環境の問題は，物音などの環境音，周囲会話，シロボットの研究開発は，主に工場を対象とした産業用ロ

ステム内部雑音と言った利用者とは別の因子により音声認

ボットの分野から人とのインタラクションをテーマとした識を阻害する雑音が混入する問題である．家庭環境での使パートナー型ロボットの分野へと徐々にシフトしてきてい用を想定した音声認識に対しては，学習データを実環境のる．人とロボットのインタラクション手段としては，人が音響空間に適応させるよう変換させ実環境での認識精度を

ロボットを撫でたり叩いたりする身体的インタラクション向上させる方法などが提案されている [8]．しかしながら，の他に音声を利用したコミュニケーションが重要な役割を先に述べた利用者側の発話の問題や雑音が含まれる音声を果たすものと考えられる．このようなコミュニケーション

正確に認識させることは難しい．また環境面の問題点に対の手段として，音声認識を利用し人と対話することを目的

しては，マイクロフォンアレイを利用し雑音を除去する技としたロボットの研究開発が実用化を目指し進められてい術が研究されているが [5],[9]，実環境において発話音声にる [1]-[6]．筆者らは人と対話する自律移動型パーソナルロ

重畳される未知で非定常な雑音を除去することは極めて難

ボット PaPeRo の研究開発を行っており，家庭環境での利しい．
そこで本研究では，このような発話面や環境面の問題が用を想定した離散単語音声認識インタフェースの研究開発

33

Figure 2: 理想的な音声の例

Figure 1: 状況検知を利用した音声認識システムの動作図

発生する状況を抑える方法として，利用者とシステム双方が音声認識エンジンの弱点をカバーするよう適応することを考えた．そして，問題状況の発生を抑える改善策とFigure 3: 周囲雑音の影響を受けた音声の例

して，音声認識を行う上で問題となる要因やシステムの利
用状況（音声認識エンジンが雑音の影響を受けているかどうかなど）を推定する状況検知の手法を検討した．本稿で声の前後に 200〜300ms 程度の無音区間が付与されておりは，状況検知を利用した音声認識インタフェースと状況検発話全体が網羅されるよう理想的に切り出されている．次知の利用方法について述べる．状況検知のフィードバックに問題状況における音声の例として継続的な周囲雑音が重に対するロボット側の対処行動としては，能動的に対処す

畳される例を図 3 に示す．この例の音声は，子供の足音やる Active な対処行動と，利用者に対処を依頼する Passive

笑い声に続く形で発話がなされ，さらにその後に周囲会話な対処行動が考えられるが，今回は主に Passive な対処行が続くなど切り出し音声に様々な音声が 10 秒以上に渡り動を PaPeRo に実装し評価したのでその結果についても述含まれている状況である．次に発話タイミングの問題に伴べる．

う頭切れ音声の例を図 4 に示す．この例では，音声認識エンジンが動作開始する前に発話が始まっているため，音声

2

状況検知を利用した音声認識インタフェース

データの先頭部分から発話音声が出現している．次に声量（パワー）に問題があり誤認識したとみられる音声の例を図

始めに，状況検知を利用した音声認識インタフェースを組
み込んだ音声認識システムの動作について説明する．状況
検知は，音声認識時にマイクから入力される音声を解析し音声認識精度の劣化につながる問題状況を抽出することにより行われる．図 1 に状況検知を利用した音声認識システ
ムの動作の流れを示す．利用者が発話した音声は，音声認識エンジンで認識され音声認識結果を返すと同時に状況検知部において問題状況が推定され状況検知結果として動作選択部へ出力される．動作選択部では，音声認識結果と状況検知結果をもとにシステム側の応答動作が選択される．

5 に示す．上が声量不足で下が声量過多である．パワー不足の音声は，殆ど静環境における無音区間と変わらないよ
うな波形データである．このような音声は，利用者とマイクの距離が離れすぎている場合や発話自体が怠け発話の場
合によく発生する．一方で，パワー過多の波形データは音
声がクリッピングされ音声がひずんでいる．このようなパワー過多によるひずみ音声は，マイクの近傍で怒鳴り気味に発声することにより多く発生する．また，図 5 中の 2 つの音声比較から利用者，使用環境，マイク距離の違いにより入力される音声に大きな差が出ることが分かる．

応答動作の選択は，音声認識結果が音声認識語彙かリジェ
クトかといった情報と状況検知結果の種類などに応じなさ

このような問題状況における音声は一概に全て誤認識するという訳ではないが，誤認識となる場合が多い．

れ，状況検知動作が選択された場合に状況検知結果が利用者にフィードバックされる．

状況検知結果に対する応答動作としては，次に示す Ac-

tive な応答動作と Passive な応答動作の 2 つが考えられる．

次に状況検知の対象となる問題状況の例を波形データを利用し説明する．波形データは，家庭環境で PaPeRo に入Active な応答動作： 問題状況に対しシステム側が能動的力された音声に対し音声認識エンジンで音声区間を切り出に対処行動を行う動作方法．例としては，入力音声がした音声（以後，切り出し音声と呼ぶ）である．まず，理小さい場合にマイクを人間に近づける（人に近づく）

想的な音声データを図 2 に示す．図 2 の音声データは，音方法，周囲雑音の影響を検知した場合にマイクの感度34

Figure 4: 発声タイミング不具合のある音声の例

Figure 6: PaPeRo に実装した状況検知の動作を利用した．音声認識辞書には，PaPeRo の認識語彙に加え，文献 [7] に記載の棄却辞書を搭載し棄却辞書へのヒッ
トをリジェクトと判定した．PaPeRo に実装した状況検知の動作図を図 6 に示す．
状況検知部には以下の 3 つのコンポーネントを実装した．
環境推定コンポーネント：

主に周囲雑音の影響を検知す

Figure 5: 声量の不具合がある音声の例（上がパるコンポーネント．定常もしくは非定常な雑音が継ワー不足，下がパワー過多）

続的に発生する状況を検知する周囲雑音検知を実装した．

を調整したり利用者の方向へビームフォーミングなど

発話検知コンポーネント：

入力音声中に発話音声の有無を行い音声入力のフォーカスをあてる方法などが考えを検出するコンポーネント．発話音声の検出には入力られる．

音声の調波構造を示す特徴量を利用した．

Passive な応答動作： 利用者に対しシステム側から問題

発話特性分析コンポーネント：

発話音声に含まれる問題

状況の存在を警告し対処行動を依頼する動作方法．利

状況を検出するコンポーネント．入力音声の始端に発用者に対し大きい声で明瞭に発話するよう警告した話らしい音声の有無を検出する頭切れ検知と入力音声

り周囲雑音を抑制するように警告する方法が考えらのパワーが特定の閾値条件を満たす状況を検知するパれる．

ワー不足検知とパワー過多検知を実装した．なお，声量の不具合に関しては，問題あり，やや問題ありの 2

今回は，状況検知結果に対し Passive な応答動作を行う

段階の閾値を与えそれぞれパワー不足（過多），パワー

音声認識インタフェースを PaPeRo に実装した．次章にお不足（過多）気味のように分類し検知するようにした．

いて，PaPeRo に実装した状況検知と動作選択の方法及び応答動作について述べる．

3

パーソナルロボット PaPeRo への実装

PaPeRo の音声認識は，不特定話者の離散単語音声認識で

なお，状況検知の際に用いる諸々の閾値や検知条件のチュー
ニング，状況検知結果を利用した動作選択方針の決定には，
実環境（家庭環境）において PaPeRo を動作させ収集した音声データを学習データとして利用した．

あり，対話メインモードにおける音声認識語彙数は約 650

各状況検知コンポーネントが返す検知結果は，表 1 に示である．音声認識インタフェースは，ハンズフリーでマイす状況検知結果選択表に基づき評価され最終的な状況検知

ク間距離 0.5m〜2m の発話音声の認識を想定しマイクの入結果が決定される．表中の「−」は結果に非依存であるこ力を調整していることを特徴とする．マイクの指向性につとを意味する．表 1 において，環境推定コンポーネントのいては，対話中の移動動作に伴う床のすべりなどの影響を検知結果が継続雑音検知を返した場合は，最優先で環境推考慮し側面から背面にかけての入力レベルが低下する程度

定コンポーネントの結果が状況検知結果として返される．

の単一指向性マイクを利用している．

環境推定コンポーネントの検知結果が「なし」の場合は，次PaPeRo への実装にあたっては，状況検知部に入力させに発話検知の有無を調べ，発話ありの場合は発話特性分析

る音声データに音声認識エンジンで使用した切り出し音声

コンポーネントの返す結果を，発話なしの場合は「非発話」

35

Table 1: 状況検知結果選択表
環境推定

発話検知

発話特性分析

検知結果

周囲雑音

−
なし
あり

−
−
なし
頭切れ
パワー不足気味
パワー不足
パワー過多気味
パワー過多

周囲雑音検知
非発話
通常発話
頭切れ
パワー不足気味
パワー不足
パワー過多気味
パワー過多

なし

Table 3: 具体的な反応動作

対応動作
無視
通常動作
通常棄却動作
周囲雑音警告

頭切れ警告
パワー不足警告

Table 2: 音声認識結果と状況検知結果を統合した動作選択表

音声認識結果

状況検知結果対応動作−

周囲雑音検知
非発話
頭切れ
パワー不足
パワー過多
通常発話
パワー不足気味
パワー過多気味
通常発話
パワー不足気味
パワー過多気味周囲雑音警告無視
頭切れ警告
無視
パワー過多警告
通常動作
通常動作
通常動作
通常棄却動作パワー不足警告
パワー過多警告

認識語彙

リジェクト

パワー過多警告

動作内容
何もしない
認識語彙に対応した動作（あいさつする，ダンスするなど）
通常棄却反応（「うんうん」とうな
づく，「えっ何？」と聞き返すなど）「周りがうるさい」「みんなで同時にしゃべらないで」「あまりいろい
ろなこといわないで」などの警告
発話タイミング教示（「しゃべるのは耳が光ってからにして」）
声量不足警告（「もう少し大きい声
でしゃべってみて」「もう少し近くでしゃべってみて」）
声量過多警告（「もう少し小さい声
でしゃべってみて」「もう少し離れてしゃべってみて」）の場合は音声認識語彙に関連付けられた動作を，「通常棄却動作」の場合は，「うんうん」とうなづいたり「えっ何」と聞き返すといった棄却反応動作を行う．周囲雑音警告に関しては，周囲が騒がしい旨警告ガイダンスを行う．頭切れとパワー不足とパワー過多に関しては，各々発話方法の改善を促す警告ガイダンスを行う．頭切れ警告の「しゃべるのは耳が光ってからにして」という警告は，PaPeRo がを検知結果として返す．発話ありで発話特性分析コンポー

耳が光っている時にのみ音声認識をしていることの教示でネントの検知結果がない場合は「通常発話」を検知結果と

ある．

して返す．

4

次に音声認識結果と状況検知結果を利用した動作選択に評価

ついて表 2 を利用し説明する．状況検知結果が「周囲雑音

PaPeRo の実環境評価の一環として，実際の家庭環境にお

検知」
「非発話」
「頭切れ」
「パワー不足」「パワー過多」のいて PaPeRo を動作させ得られた入力音声の収集とその場合は，状況検知結果が音声認識結果より優先され警告や分析を行っている．ここでは，実環境評価の音声を利用し無視といった動作選択がなされる．なお，極端なパワー不た状況検知の評価について述べる．状況検知の評価対象に

足音声に対しては，周囲雑音と混同しやすいためパワーがは，周囲雑音，頭切れ，パワー不足，パワー過多といった一定の閾値（＝パワー不足とパワー不足気味の境界の閾値）

特定の警告ガイダンスを行う場合（以後特定状況検知と呼を下回る場合は無視することとした．本来話しかけに対すぶ）を利用する．なお，パワー不足警告に関しては，警告る無視は好ましい反応ではないが，パワー不足音声に限っを行わない「パワー不足」検知は対象から除き，状況検知ては周囲会話との混同が多い点と無視された後の声量が必

結果が「パワー不足気味」の時のみを対象とした．

然的に増加し問題状況が回避されやすいとの予測に基づき無視することとした．また，状況検知結果が「パワー不足
気味」「パワー過多気味」「通常発話」の場合は，音声認識
結果の種別に応じ対応動作が異なる．すなわち，音声認識
結果が認識語彙がである場合は認識語彙に対応した動作を行い，リジェクトである場合には問題状況の警告ガイダン
スもしくは通常棄却動作を行う．
最後に，表 2 の対応動作の各項目に対する具体的な反応
動作を表 3 を利用し説明する．まず対応動作が「無視」の場合は何もせず再び音声認識待ち状態になる．
「通常動作」

4.1

家庭環境評価の概要

家庭環境での評価は，PaPeRo を家庭内で 2 週間程度継続使用してもらい収集された音声データを利用している．評
価の前には事前に代表者に簡単な使用方法の説明を行っており受理可能な認識語彙や発話のコツをガイダンスしている．
このようにして収集された音声データを利用し次の 2 項
目の評価を行った．
経過日数に対する状況検知への適応度合：36

特定状況検知Figure 8: 状況検知フィードバックを返した場合と返さなかった場合の直後発話に対する音声認識率（状況検知フィードバックを返した場合の認識

Figure 7: 使用日数の経過に伴う特定状況検知の発生頻度（初日を 100 とした相対数値）の発生頻度の使用日数の経過に対する変化を評価した．発生頻度は，使用日ごと話しかけ総数に対する状声（未知語発話は除く）に対する認識率改善について説明する．ここでは，周囲雑音とパワー不足に対する状況検知
フィードバックのケースを対象とし，状況検知フィード

況検知の発生比率として計算した．
状況検知フィードバックの音声認識への寄与：率から返さなかった場合の認識率を引いた差分）

特定状況

検知のフィードバックが利用者の次発話に与える音
声認識率への寄与を評価した．評価方法は，状況検知
フィードバックを的確に返した場合と返さない場合の直後発話に対する音声認識率差分で比較した．

バックを返した場合と返さなかった場合の次発話の音声認識率を評価した．周囲雑音とパワー不足両者の状況検知
フィードバックは，前者が利用者が周囲環境に働きかけ適応する必要があるものであり，後者が利用者の矯正で適応可能なものである点で質的に異なっている．
評価は，同じ家庭の被験者に対し状況検知フィードバッ

なお，一日あたりの起動時間には制約を設けていないため，

クを返した場合と返さない場合を一定の条件のもとに制御

家庭ごとに慣れの進行度合いにはばらつきがある．これをし両者の比較を行った．図 8 に状況検知フィードバックを考慮し，状況検知の評価には使用開始から 3 日目までの使返した場合と返さなかった場合の直後発話認識率の差分を用時間にばらつきの少ない 5 家庭を抽出し利用した．

示す．パワー不足検知はフィードバックを行う方が次発話の音声認識率が 10 ％以上高いのに対し，周囲雑音検知は

4.2

結果

使用日数の経過に伴う状況検知の発生頻度の変化に関して，フィードバックを行うことによる音声認識率の改善がわずかであった．

初日の発生頻度を 100 として正規化したグラフを図 7 に示す．図 7 より，周囲雑音，頭切れ，パワー過多検知は使用日

4.3

考察と検討

数の経過と共に特定状況検知の頻度が減少するのに対し，

図 7 に示した経過日数と状況検知の発生頻度の関係から，

パワー不足は減少しないことが分かる．検知頻度が使用日

パワー不足以外の特定状況検知に対しては，問題状況の数の経過に伴い減少したものに関しては，頭切れ警告とパフィードバック効果により利用者が問題状況を発生させな

ワー過多警告が日数の経過と共に順調に減少している．特いよう適応していると考えられる．一方で，パワー不足検に頭切れ警告は頻度が大きく減少し，使用 3 日目の段階で知だけは検知頻度が使用日数の経過と共に減少せず利用者

初日に比べ頻度が 20 ％程度まで減少している．一方で，周が適応していないという結果が得られた．この結果には利囲雑音警告は 2 日目以降の減少が小さく 3 日目以降も初日

用者の慣れが関係していると考えられる．実際に，PaPeRoの 40 ％程度の頻度で発生していることが分かる．なお，検の使用開始時には利用者は PaPeRo の近傍かつ正面に座り

知頻度の減少がみられないパワー不足検知の音声を試聴しはっきりとした声で話しかけるが，時間の経過と共に離れてみた所，遠距離発声と思われる反響音の強い発話音声やた位置からもしくは怠け気味に発話するように変化してい怠け気味の発話音声が多かった．

く使用例が確認されており，慣れと発話の因果関係は存在

次に，特定状況検知フィードバック直後の話しかけ音

しているもの思われる．一方で，パワー不足警告は，状況37

検知フィードバックを行うことにより次発話の音声認識率が大きく上昇している．このデータは慣れに伴い発生する

5

おわりに

問題が状況検知フィードバックによりその都度矯正され，

本稿では，状況検知を利用した音声認識インタフェースの次発話の正確な認識につながっていることを裏付けるもの

一手法と状況検知に対する Passive な対応動作をパーソナである．このことから，パワー不足警告は利用者の慣れにルロボット PaPeRo へ実装し評価した結果について述べ起因する発話の問題を定期的に矯正する効果を持っている

た．問題状況の警告ガイダンスを利用者に対して行うことものと考えられる．

により，使用時間の経過に伴う問題状況検知の頻度減少や特定状況検知の音声認識への寄与に関しては，上記の通パワー不足警告に対する検知後発話の音声認識精度改善のりパワー不足警告に主な改善が見られた．一方で，周囲雑効果が見られた．一方で，周囲雑音検知のような利用者が音検知に関しては，経過日数に伴う発生頻度が 2 日目以

周囲環境に働きかけ問題を改善させる必要があるものに関降ほぼ横ばいであまり減少していない結果と検知フィード

しては，利用者側で適応することの難しさが見受けられた．

バックの効果がわずかであることから，利用者が周囲環境

今後は，状況検知の精度向上を図ると共に，画像やセンへ改善を働きかけることの難しさが現れているものと考え

サ情報を統合し状況検知ガイダンスの適切化やロボット側

られる．周囲会話などの雑音に対しては，PaPeRo 側で話で問題状況の改善を図る Active な適応についてさらに検者を識別し近づく，話者の方向にビームフォーミングする討を進める予定である．

などの Active な応答動作を行い問題状況に適応させることが望まれる．
最後に，インタフェースの観点から状況検知を利用した

参考文献[1] 藤田. , “パーソナルロボット R100”, 日本ロボット学
会誌 Vol.18 No.2, pp.40-41, (2000).

音声認識インタフェースを考察してみる．一般的に音声認
識の性能は人間の聴覚には及ばないため，利用者の側から[2] 藤田. , “NEC におけるパーソナルロボットの開発”,

見るといつ，どういう環境で，どのような声量で話しかけ

日本ロボット学会誌 Vol.20 No.7, pp.676-679, (2002).

れば正しく認識できるのか分からないという問題がある．

[3] Perzanowski D, Schultz A C, Adams W, Marsh

今回実装した利用者に問題状況をフィードバックする状

E, Bugajska M., “Building a Multimodal Human-況検知は，利用者に対しシステム状態の透過性を高める役

Robot Interface”, IEEE Intelligent Systems, pp. 16-割を持つものと考えられる．一方で，利用者に対しロボッ

21, (2001).

ト側から適応を求めることは，利用者にとっては負担とな[4] Chong S, Kuno Y, Shimada N, Shirai Y., “Human-

る．実際，今回の家庭環境評価の被験者からは「ロボットRobot Interface Based on Speech Understandingに命令されているようで違和感がある」との声が聞かれた．

Assisted by Vision.”, Lecture Notes in Computer

この点については，今回実装した Passive な応答動作に加Science, pp.16-23, (2000).

え Active な応答動作を取り入れ，利用者の負担を軽減す[5] 松井, 麻生, J.Fly, 浅野, 本村, 原, 栗田, 速水, 山崎., “るような音声認識インタフェースを構築していく必要があ

オフィス移動ロボット Jijo-2 の音声対話システム”, 日るものと考えられる．このように，Active な応答動作と本ロボット学会誌 Vol.18 No.2, pp.300-307, (2000).

Passive な応答動作を状況に応じ使い分けていくことで，人[6] 松坂, 東条, 小林., “グループ会話に参与する対話ロ

間とロボットが共同で適応する双方向適応型の音声認識イ

ボットの構築”, 電子情報通信学会論文誌 Vol.J84-D-

ンタフェースを構築していくことが望ましいと考えられる．

II，No.6，pp.898-908 (2001)．

また，ガイダンスの的確性という点に関しても改善の余[7] 岩沢., “パーソナルロボット PaPeRo の音声認識イン

地がある．例えば，パワー不足の警告ガイダンスを行う場

タフェース”, 人工知能学会 AI チャレンジ研究会論文

合に「もう少し大きい声でしゃべって」と「もう少し近く

集, Vol.13, pp.17-23, (2001).

でしゃべって」の 2 つの質が異なるガイダンスがある．こ[8] Stahl V, Fischer A, Bippus R., “Acoustic Synthe-

れら 2 つのガイダンスは，話者との距離を画像やセンサの

sis of Training Data for Speech Recognition in Liv-

情報を利用し取得することにより状況依存で使い分けるこ

ing Room Environment.”, Proc ICASSP, pp.21-24,とが可能であると考えられる．

(2001).
[9] 中村.,“外乱に強い音声認識を目指して”, 日本音響学
会誌, Vol.57, No.10, pp.662-667, (2001).

38

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑7

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

視聴覚定位能力を同時に獲得するロボットヘッドの構築

Construction of a Robot Head which Acquires Audiovisual Localization Ability Simultaneously
中島 弘道

Hiromichi NAKASHIMA
理化学研究所 BMC
RIKEN BMC
nakas@bmc.riken.go.jp

大西 昇

向井 利春

Noboru OHNISHI
名古屋大学

Nagoya University
ohnishi@ohnishi.nuie.nagoya-u.ac.jp

Abstract
A robot system which acquires sound source
localization ability in self-organization throughrepetition of movement and perception was
built. A robot consists of one set of two microphones (hearing : ear) and a video camera(vision : only an eye and a right eye use) , anda rotation stand (movement : head). Moreover, a learning model consists of two modules
by neural network. One is a visual module andanother is a auditory module. The system canbe learned without the external explicit supervision. As a result, it becomes possible after
learning to catch a sound source in the centerof a view by rotating the head in the directionof a sound source.

Toshiharu MUKAI
理化学研究所 BMC
RIKEN BMC
tosh@bmc.riken.go.jp

Mics

CameraRed Marker(Sound Source)

Figure 1: 音源定位ロボット
幾何的関係も知らない． また生体は成長等により身体パラメータが変化する．それにもかかわらず，生体は左右の耳での音の違い（到達時間差や音圧差など）を基にして，音源の方向を推定することが出来る[寺西 et al., 1969][吉田 and 亀田, 1980]．メンフクロウを用いた実験から，こ1 はじめにの音源定位能力は，視覚情報を手がかりにして獲得され生体の持つ優れた感覚情報処理能力と運動制御能力を模ことから，繰り返しの知覚と運動によって得られた視聴

倣し，柔軟かつ統合的な機能を実現するための多くの研覚情報等を用いて，音源定位能力は獲得されていると考究がなされている．知覚及び運動能力獲得の基本となる

えられる．

による学習である．目や耳など感覚器による知覚と，そ筋の情報から腕の姿勢を学習するモデル[Kuperstein, 1988]のが，知覚と運動の繰り返し（知覚循環）[Neisser, 1976]

れに基づく環境への働きかけ，つまり身体の運動を通して情報を収集し，その情報を用いて知覚および運動を学習する．つまり，生体は環境からの明示的な教師なしで，運動制御や感覚能力を獲得していると考えられる．

ていると考えられる[Knudsen and Knudsen, 1985]．この

知覚と運動の繰り返しによる学習の研究には，視覚と眼や，首と両眼を持つ冗長なシステムでの物体追跡学習[Ku-niyoshi and Berthouze, 1998]，音源定位学習モデル[Irie,
1990] [浅井 et al., 2000]などがある．
本論文では，図 1 に示されるような２本のマイク（聴音源定位もこのような学習によって獲得される能力の覚：耳），ビデオカメラ（視覚：目），ロボット（運動：一つであると考えられる．音源定位とは，音源が発する音首）からなる人間の頭部に似せたロボットが，音源定位能からその音源物体の位置を判定することである．もし，音力を自己組織的に獲得するシステムを構築し，ロボットとの早さと左右の耳の距離が与えられれば，我々は時間差か実音源を用いた実験によってその有効性を示す．さらに，

ら音源の方向を簡単に計算することが出来る．しかし，生精度及び汎用性を向上させる為の拡張について述べ，シ体はそのようなパラメータは知らないし，時間差と角度のミュレーションによってその有効性を検証する．

39

x
ÏÎÅ

Þás ·¦

Ùîo

Á©

sV

t
¸1ÔZ.Å lás ·¦

s

V
Z

A

Z

U

Ùîoÿ
è´è.éN

ÍW RU Í[

U

Ùîo

V

ó`L";^èIè.é

Figure 2: 音源定位モデル
本システムは，教師なしで学習が可能で，学習後にはFigure 3: 視覚・聴覚モジュールのネットワーク構成

音のする方向に首を回転させて，視野の中央に音源を捕らえる事が可能となる．また，外部環境やマイクやカメラ等の配置が変化しても，自己組織的に再学習され音源定習モデルは，音源定位以外の学習機能を持った工学的シ
ステム (ロボット) に応用できると考えられる．

音源をランダムな位置に配置
音源が視野外にある場合

2 音源定位学習モデル

音源が視野内にある場合位が可能である．このような柔軟性のある能力をもつ学

2.1 前提条件

聴覚モジュール
により回転音源が視野外にある場合

聴覚モジュールの学習
視覚モジュール 制御値
音源が視野内により回転にある場合定位を行う音源は静止しており，周囲の環境においてただ1 つであるとする．また，それが目で見て，音源であるという判断はすでにできるものとする． 知覚される情報は，視覚モジュールの学習

Figure 4: 学習の流れ

聴覚からは音の両耳間時間差（1t），視覚からは視野中

央から音源物体までの水平距離（1x）である．制御対象

到達時間差を求める

離，耳，目，首の配置などの幾何学的情報及び，音速など

3 に示す．それぞれのモジュールは，入力空間 W と出力
空間 S の 2 つの空間を持つ．入力空間の参照ベクトル wkの環境情報は未知とする．

は，出力空間の制御値 sk に一対一で写像される．時間差

2.2 音源定位モデル

い参照ベクトルが選択され，それに対応する制御値 s がは，制御値（s）によって首が回転する． さらに両耳間距1t（又は位置誤差 1x）が入力されると，その値と最も近図 2 に音源定位モデルを示す．このシステムは，視覚モ

最も大きく出力される．視覚モジュールは，直接逆モデリ構成される．システムへの入力は視覚からの位置誤差 1x

た聴覚モジュールは，視覚モジュールからの出力値を用いジュール，聴覚モジュール及び制御対象 (首の回転) からと聴覚からの時間差 1t である．また，システムからの出

ング[Miller et al., 1990]によって入出力関係を学習し，まて学習がなされる．以下に学習の流れを示す．
（図 4）

力は，水平面上の頭の角度  である．システムは，入力の 1x と 1t をもとに頭を回転させて，音源を視野の中央にもってくる．

視覚モジュールは，その入力 1x から制御値 sV を計算する．また，聴覚モジュールは，入力 1t から制御値 sAを計算する．システムの出力である頭の角度  は，制御値 sV または sA によって決まる．システムは運動と感覚のインタラクションによって教師なしで，時間差 1t (位置誤差 1x) と制御値 sA (sV ) の関係を獲得する．

2.3 学習アルゴリズム

 学習の流れStep 1 音源をランダムな位置に提示1 し，その音のマイクへの到達時間差 1t が聴覚モジュールに入力される．

Step 2 聴覚モジュールから制御値 sA が式（3）を用いて出力され，制御対象の首を回転する．
（図 3）
Step 3 もし音源が視野内にないときは，Step 1 にもどる．
Step 4 音源が視野内にある時，視覚モジュールに 1x が入力され，式（4）から得られた制御値 sV で首を回転する．

視覚モジュール，聴覚モジュールは，自己組織特徴マップ
により構成される．モジュールのネットワーク構成を，図1 実環境において，音源の位置と首の向きはさまざまに変化する．その状況を再現する為に音源をランダムな位置に繰り返し提示する．

40

Step 5 聴覚モジュールの参照ベクトル wA と制御値 sA を
式（1）を用いて更新する．
Step 6 音源が視野内にある場合，ランダムな制御値 srand

^¦z
Ç÷z

f¤

によって首を回転させ，その結果音源が視野内にある場合，網膜上での移動距離 1xrand を求める．
Step 7 視覚モジュールの参照ベクトル wrV と制御値 sVr を式（2）を用いて更新する．

pa®·eh|·

_jStep 8 Step 1 にもどる．

p··z·zn®¨·¤ö

聴覚モジュール，視覚モジュールそれぞれのパラメータtn® ·z

8 A
A
A A
A
>> wr
wr + 1 1 gr (k ) 1 (1t 0 wr )
< sAr
A
A A
V
sr + 2 1 gr (k ) 1 s(1)A>> grA(k) = e0 (r0k):k
8 V = argV min8Vr kwrV 0 1tkV>> wr
wr + 1 1 gr (k ) 1 (1xrand 0 wr )
< sVr
V
V
V
V
sr + 2 1 gr (k ) 1 (srand 0 sr )(2)V>> grV (k) = e0 (r0k):である参照ベクトル及び制御値の更新則を以下に示す．

Figure 5: システム構成図

2

G

2

k

6RXQG
VRXUFHð= arg min8r kwr 0 1xk

ここで  は，学習速度係数であり， は学習の影響する範&DPHUD

囲を表す係数である．

FP

G

式 (1)(2) の 1 つ目の式は，Kohonen の自己組織特徴マッ
プの学習則であり，学習が進むと wA ; w V は，1t; 1x の特徴マップを形成する．聴覚モジュールの制御値 sA は，
式 (1) の 2 つ目の式によって視覚モジュールから出力される制御値 sV の方向に修正がなされる．もし視覚モジュー

G

0LF

Figure 6: 実験環境

3 音源定位学習

ルが十分な学習がされていて，正しい出力値が出力されるとすると，聴覚モジュールの制御値は，徐々に音源を視野の中央に回転させることが出来る制御値に近づいてゆくことになる．よって学習は，視覚モジュールが先に行われ，その後，徐々に聴覚モジュールの学習がなされる．視覚モ

ジュールの制御値の更新は式 (2) の２つめの式でなされ，制御値は値 srand に徐々に近づいてゆくことになる．これによって，視覚モジュールへの入力値 1xrand に対応した

3.1 システム構成
図 5 にシステム構成を示す．ロボット，コンピュータ，およびいくつかのサポート機器によって構成される．図 1 がロボット及び音源として用いたスピーカの写真である．ロ

ボットには２本の無指向性マイクと CCD カメラ（視野角

出力値 srand のマッピングが形成される．また式 (1)(2) の43 °）が搭載されている．ロボットはサーボモータによっ

3 つ目の式は，ベル型のガウス関数であり，4 つ目の式から求められる選択されたニューロン k の近傍領域にも影て垂直軸回りに回転する．CCD カメラは，１台のみを使響を与える為に用いる．

用し水平方向に向けられている．また，左右のマイク間距
離は 30cm で，その中点はほぼ回転軸上にある．

各モジュールの出力値は，以下の式のように出力空間の制御値を"winning neuron" からの距離で重み付け平均

本研究の目的は画像処理ではないため，音源には赤のしたものを用いた．これは入力が連続値を取るので，出力値も離散値ではなく連続値とする為である．
n01 A
0A (wAi 01t)2Ai=0 si 3 es=
n01 0A (wA
i 01t)2i=0 e
n01 V
0V (wiV 01x)2V =i=0 si 3 es
n01 0V (wiV 01x)2
i=0 e

P
P
P
P

マーカーを付け，他に赤色物体はないものとして，視覚的

位置 1x の検出処理を簡略化した．時間差の計算方法は，(3)

左右の音データをシフトさせて相互相関係数値を求め，その値が最大となるポイント数を時間差として用いる．また音源位置の計算方法は，キャプチャされた RGB 画像を(4)

ホストコンピュータ内で HSV 変換及び閾値処理によって赤色ピクセルだけを抽出した後，その画素の重心座標を
音源位置として用いる．

41

カメラ

位置誤差 視覚モジュール
Δx
制御値 s
回転
制御値 s
追加
左右の音圧差Δi
聴覚モジュール
マイク
音の到達時間差ΔtV

A

Figure 8: 変更された音源定位モデル
因は，時間差 1t の分解能が粗いことによるものである．

Figure 7: 聴覚モジュールの定位能力の推移 (横軸:音源の位置，縦軸:首の回転角，iter：音源提示回数，iterA：聴覚モジュールの学習回数)．図中の右上に伸びる直線は，音サンプリングポイント数で表される時間差 1t は 642 の範囲の値を取るが，60 °では 39，75 °では 41，90 °では

42 となり，両端ではかなり粗いものとなってしまう．こ源方向の角度と首の回転角が一致する理想値である．

の為，割り当てられるニューロン数が少なくなってしま

3.2 実験環境

い，十分な精度が得られないと考えられる．

たスピーカを用いて，拍手の音を録音したものを間欠的に

4.1 音圧差情報の利用

4 定位能力の向上

図 6 に実験環境を示す．音源として赤色のマーカーを付け発生させる．スピーカはビデオカメラを含む水平面上にある．ロボット上に 1 つのカメラ（右のカメラのみ使用）と 2 本のマイクがあり，水平面上で回転する．音源は半径

聴覚モジュールの入力に，時間差情報のみを用いた場合，分解能が低い為定位精度が悪い事が実験により明らかと50cm の半円上にランダムに配置し， の範囲は 690 度でなった．また両耳間到達時間差の情報のみでは，音源までの距離が変化する場合には，時間差と回転角度の関係がある．また，視覚・聴覚モジュールに使用した特徴マップの数は，参照ベクトルと制御値それぞれ 40 個，参照ベク

１対１とはならない為，学習が行えない．そこで，聴覚トル w の初期値にはランダムな値を，制御値 s の初期値

モジュールの入力として，左右の音圧差の情報を追加し，にはランダムな小さな値を用いた．

定位能力を向上させる改良を行った．

3.3 結果と考察

4.2 モデルの変更
聴覚モジュールの入力に音圧差を加えたモデルを図 8 に

学習過程における，音源の方向とシステムの回転角の関係の推移を図 7 に示す．800 回の音源提示後，この 2 つの示す．マイクから得られた情報から音圧差を求めて，その角がほぼ等しい値となり，システムは音源を正確に視野の値を聴覚モジュールへ入力する．入力として用いる音圧

中央に位置させることが可能になっていることがわかる．
また，図からシステムがはじめは視野内の音源の定位能差 (1i) の導出には，式 (5) を用いることとする．
音圧差 = log (力を獲得し，徐々に視野外の定位能力を獲得してゆくことがわかる．聴覚モジュールの学習回数 (図 7 内の iterA )を見ても，音源提示回数 100 回での聴覚モジュールの学

右の音の振幅の 2 乗和)
左の音の振幅の 2 乗和

(5)また，聴覚モジュールへの入力が 1 次元から 2 次元に習回数は 25 回であり，音源提示回数の 25% しか学習が増えた事に伴い，モジュールのネットーワーク構成及び学なされていない．これは，カメラの視野が約 43 °であり習則も変更する必要がある．変更されたネットーワーク

音源の提示範囲が 180 °である為，およそ 25%しか音源がを図 9 に示す．また，学習則は式 (6) のように変更した．

視野に入らない事によるものである．しかし，音源提示回

8 t
t
t 0t (p0k) 1 (1t 0 wt )>> wp
wp +  1 e
pi (q0l)ii
0
i>< wqiwq +  1 e
1 (1i 0 wq )AA
A 0t (p0k) 0i (q0l) 1 sV (6)spq
spq +  1 e>>>: k = arg min8p kwpit 0 1tkl= arg min8q kwq 0 1ik
2

数 500 回では聴覚モジュールの学習回数は音源提示回数

2のおよそ半分程度になっており，学習が進むにつれて音源

2を視野内に捉えられる割合が増えている事が分かる．

また，図 7 の 800 回の音源提示後のグラフから，660 °を超えた部分において精度が悪いことがわかる．この原

42

2

wtk

5000

Δ

t

時間差のみ
時間差＋音圧差

4000

参照ベクトルＷ(到達時間差をマッピング)

3000
差
誤2000

t

Δ

Sk,l

1000

制御値Ｓ

i

wil

0

参照ベクトルＷ(音圧差をマッピング)

0

100

i

Figure 9: 聴覚モジュールのネットワーク構成

200
300
距離(cm)

400

500

Figure 11: 誤差分布の比較（横軸:音源からロボットの回転中心までの距離 (cm)，縦軸:音源方向と回転角度の誤差の 2 乗和）5 視聴覚情報の統合

5.1 感覚系と運動系の分離
現在のモデルでは，視聴覚情報を同時にシステムに入力する事が出来ない．さらに，視聴覚の感覚情報からダイレクトに制御値の計算を行っている．生体が音源定位を行う場合において，感覚系と運動系の問題を一度にまとFigure 10: 聴覚モジュールによる定位結果 (a) 時間差のみ(b) 時間差＋音圧差（横軸:音源の位置，縦軸:首の回転角，Dst:音源からロボットの回転中心までの距離 (cm)，Err:
音源方向と回転角度の誤差の 2 乗和）

めて解いているとは考えにくい．また工学的にも，感覚系と運動系を別々に分けたモデルの方が有利である．なぜなら，例えば左右のマイクの距離が変化した場合には，感覚系のみを再学習すればよいからである．

これらの理由から，音源方向を表すような内部表現[入江 and 川人, 1990]を用いて，モデルを感覚処理部と運動

4.3 マイク-音源間距離が一定の場合処理部に分割し，さらに視聴覚情報を統合するシステム

まず，精度の向上を調べる為のシミュレーションを行った．

に変更を行う．このような感覚情報の統合は，聴覚情報か

図 10 に，音源からロボットまでの距離を 2m に固定して

ら視覚情報の推定や，さらにその他の感覚情報とのイン学習を行った結果を示す．図の左が聴覚モジュールの入力

タラクションにも有効であると考えられる．

に時間差のみを用いた場合，右が時間差と音圧差２つの5.2 学習モデルの変更

入力を用いた場合の定位結果を示している．入力が時間差のみの場合には，獲得される入力値の不連続性から定変更されたモデルのネットワーク構成を図 12 に示す．前差と音圧差を用いた場合には，定位結果はほぼ理想値とワーク構成を持つ制御モジュールが追加されている．視聴一致し，誤差もかなり小さくなっていることがわかる．

覚モジュールからの出力を内部表現（中間コード）とし，4.4 マイク-音源間距離が可変の場合その値を制御モジュールへの入力とする．制御モジュール

位結果も不連続となり誤差 (図中:Err) も大きいが，時間のモデル (図 2) に図 3 の視聴覚モジュールと同様のネットにロバストになる事を調べる為のシミュレーション実験をからの出力は，聴覚モジュールからの中間コード (Ia ) に対応した参照ベクトル (was ) と視覚モジュールからの中間
コード (Iv ) に対応した参照ベクトル (wvs ) の中央のニュー行った．実験は，入力が時間差のみの場合と，時間差＋音ロンに対応した制御値 s となる．

次に，音圧差を加える事によって，音源までの距離の変化

圧差の場合それぞれについて４回行った．また，音源までの距離は 50cm〜500cm までランダムに変化させた．

図 11 に学習後の誤差の分布を示す．入力が時間差のみの場合には，距離が 100cm 以内の近い所で誤差が大きく

学習は，2.3 で述べたのと同様の方法を用いる．すなわ

ち，視覚系からの情報 (Iv ; sv ) を用いて聴覚系のパラメー

タ (Ia ; sa ) の学習を行う．但し，Iv 及び Ia は教師として特定の値が与えられないので，それぞれの最大値・最小値なっているが，音圧差を加えた場合には，誤差は距離に依に対して，教師をそれぞれ 5,-5 として学習を行って，値らずほぼ一定であることが分かる．

の範囲の拡大操作を行う．

43

加することにより，精度の向上及び音源距離の変化へ対視覚モジュール
Iv

応した．また，視聴覚情報の統合についても検討を行い，制御モジュール

中間コード

wA

Iv

シミュレーションによって内部表現が獲得されることを示した．

Δ

現在のシステムでは，上下方向の音源定位は行う事がxs

聴覚モジュール

wvS

中間コード

Ia

waS

wS

Ia

wV

Δ

出来ないので，今後は，聴覚モジュールへの入力を検討
し，上下左右の音源定位を可能とするようなシステムへの拡張を行いたい．さらに，本システムを移動ロボットに搭載し，音源を追跡ロボットの構築も行っていきたい．

t

参考文献

Figure 12: ネットワーク構成

Figure 13: 中間コードの学習による推移

5.3 シミュレーション変更されたモデルの検証を行う為に，シミュレーションを行った．実験環境は 3.2 と同様とし，視覚・聴覚・制御モ

ジュールのニューロン数はそれぞれ 80 個とした．

シミュレーションの結果，前のモデルと同程度の音源
定位能力は獲得された．視聴覚モジュールの出力である

中間コードの学習課程を図 13 に示す．学習初期には，視覚モジュールの出力と聴覚モジュールの出力は異なっているが，学習が進むにつれて一致するようになっている．また，音源角度と１対１の関係が徐々に獲得されて行っていることがわかる．

6 まとめ
音源定位能力を学習するシステムを構築し，モデルの有効性を示す為の実験を行い，さらに能力を向上させる為のモデルの拡張についての検討を行った．実験結果から，
システムはカメラやマイク，音源までの距離等の環境に関する情報及び，外部からの明示的な教師信号もなしで，自ら動作する事によって獲得した感覚情報を用いて学習を行い，音源定位能力及び視覚定位能力を獲得出来る事が示された．さらに，聴覚モジュールへの入力に音圧差を追[Irie, 1990] Robert E. Irie. Multimodal Sensory Integration for Localization in a Humanoid Robot. In
IJCAI-97, pages 55{59, 1990.
[Knudsen and Knudsen, 1985] Eric I. Knudsen andPhyllis F. Knudsen. Vision Guides the Adjustment
of Auditory Localization in Young Barn Owls. SCIENCE, 230:545{548, 1985.
[Kuniyoshi and Berthouze, 1998] Yasuo Kuniyoshi and
Luc Berthouze. Neural learning of embodied interaction dynamics. Neural Networks, 11:1261{1276,
1998.
[Kuperstein, 1988] Michael Kuperstein. Neural Modelof Adaptive Hand-Eye Coodination for Single Postures. SCIENCE, 239:1308{1311, 1988.
[Miller et al., 1990] W. Thomas Miller, Richard S. Sutton, and Paul J. Werbos. Neural Networks for Control. Mit Press, 1990.
[Neisser, 1976] Neisser. Cognition and reality: Principles and implications of cognitive psychology.
W.H.Freeman, 1976.
[浅井 et al., 2000] 浅井 恭行, 中島 弘道, 山村 毅, 黄 捷,
and 大西 昇. 運動を介した視聴覚による物体定位能力の獲得. 電気情報通信学会論文誌, J83-DII(7):1676{
1684, 2000.
[吉田 and 亀田, 1980] 吉田 登美男 and 亀田 和夫. 新版
聴覚と音声, pages 73{240. 電子情報通信学会, 1980.
[入江 and 川人, 1990] 入江 文平 and 川人 光男. 多層パー
セプトロンによる内部表現の獲得. 電子情報通信学会論文誌, J73-DII(8):1173{1178, 1990.
[寺西 et al., 1969] 寺西 立年, 竹川 忠男, and 中田 和男.
感覚・知覚心理学ハンドブック, pages 684{724. 誠
信書房, 1969.
44

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑8

頭部の３次元運動に追従するダミーヘッドシステム − テレヘッド −The TeleHead : A dummy head that tracks 3D head movement
平原達也、戸嶋巌樹、植松 尚 *Tatsuya HIRAHARA, Iwaki TOSHIMA, Hisashi UEMATSU *日本電信電話株式会社

NTT コミュニケーション科学基礎研究所

NTT Communication Science Laboratories,

NTT Corporation

hirahara@idea.brl.ntt.co.jp, toshima@avg.brl.ntt.co.jp, uematsu.hisashi@lab.ntt.co.jp
Abstract
Auditory functions are closely related to head size and head
movement. To seek a comprehensive understanding of thenature of the auditory information processing mechanisms
including head size and head movement, we are developing a
remote dummy head which tracks 3- dimensional human head
movement in real-time, named "TeleHead". This paper
describes design concept and architecture of the TeleHead.
The tracking and acoustic characteristics of the TeleHead-I
are also described.

１．はじめに感覚系の役割は、いわゆる五感センサーを通じて外界から取り込んだ信号の断片から、自分の周りの状況を把握したり相手が伝えようとしている
メッセージを解読するための脳内情報を、その場の状況とつじつまが合うように頑健かつ迅速に創りだし、自分が次に取るべき行動を決める一助とすることにある。そして、この脳内情報は、自らが生活する世界の物理的な環境と自らの身体という物理的な形状とその運動と密接な関係を持つ。
聴覚系は、音を通じて身に迫る危険を察知して回避行動を起こしたり、餌を見つけたり、異性を誘引して繁殖のためのプロトコルを確認したりするために発達してきた遠方感覚系である。聴覚系の仕事としてよく知られているのは、音がどの方向から来たのかを判断する音源定位機能と、それが何の音であるかを判断する音源識別機能の二つである。しかし、聴覚系はこの他にも、コミュニ
ケーション音を処理・制御する機能、新奇な物音に対して自動的に注意を向ける早期警報機能、そして情動系の賦活機能を持つ[1][2]。これら聴覚系の諸機能も、頭部という身体形状とその運動と無縁ではない。
聴覚系は、音の時間差と音圧差とスペクトル差を元にして、音の到来方向を計算している[3]。左右の耳が受ける音信号の差は両耳の間にある頭部と耳介の形状によって形成されるため、音源定位の処理系は、自分の頭部と耳介の形状にチューンされている。身体の形状は個体ごとに微妙に異なるために、他人の頭部と耳介を使うことを強いられると、しばらくの間は混乱をきたすであろう。
また、自前のものと全く異なる形状の頭部と耳介、例えば象のような大きな頭部と耳介あるいはネズ
ミのような小さな頭部と耳介を使うことを強いられると、音源定位はできなくなるであろう。このように、聴覚は身体の形状と密接な関係を持つ。
私たちは、実環境の中で音の到来方向を探る場
合に頭部や体を動かすし、小型哺乳類の多くは頭部だけでなく耳介を動かして捕食者や餌が出す音の到来方向を探る。小型哺乳類の多くでは、聴覚系の２次ニューロンである蝸牛神経核背側核（DCN: Dosal Cochlear Nucleus）に耳介の体性感覚ニューロンが投射されていて、高域にあるスペ
クトルの谷を検出して耳介の向きを補正している[4][5]。耳介を随意に動かせないヒトではこのDCNの神経回路は退化している[6]。
頭部運動と音源定位機能の関係についてはH.
Wallach (1939)[7]以来いくつかの報告があり、頭部回転は水平面内の音像定位精度を上げることが知られている[8]-[14]。我々も、仮想音源呈示シ
ステムを用いた音像定位実験を行い[15][16]、自発的な頭部運動が音像定位精度の向上に貢献することを確認するとともに、自発的な頭部運動を許すとHRTFのスペクトルを鈍らせても音像定位精度は低下しないが、強制的な頭部運動は音像定位精度を低下させることを明らかにした。さらに、我々は、聴覚系には音像の位置だけでなく音像の移動
速度の知覚が順応の影響を受けること、すなわち
速度残効が存在することを発見し、音像の移動速度を処理するモジュールが聴覚系に存在することも明らかにした[17]。このように、聴覚は身体の運動とも密接な関係を持つ。

45

場合には致命的である。第二に、受聴者の各方向のHRTFをあらかじめ計測しておかなければならない。例えば、方位・高さ方向共に5度間隔で有効な位置全てのHRTFを用意しようとすると、1945組ものHRTFが必要となる。第三に、受聴者ごとに頭部と耳介の形状は異なるために、各人のHRTFを用意しておかなければならない。他人のHRTFを用いると、音像の位置がずれて、定位精度が落ちる。第四に、音像の遠近は主として音圧の差でしか表せないために、近くで鳴る小さな音と遠くで鳴る大
きな音の区別をつけにくく、距離の制御が困難である。HRTF をコンパクトに表現する方法[22]、HRTFの個人差を解消する方法[23]、HRTFを頭部形状から算出する方法[24]、距離感を制御する方法[25]などが検討されてはいるが、いずれも未解決問題として残されている。

そこで、人間と同等もしくは人間を超える聴覚機能を機械に与えたり、聴覚が本来持つ諸機能を有効に利用できる情報通信技術を創り出すためには、頭部形状と頭部運動を含めた聴覚系の総合的な理解が必要となってくる。本稿では、このような聴覚系の総合的な理解を深めるための道具として、現在作成しつつある、頭部の３次元運動に追従するダミーヘッドシステム− テレヘッド(TeleHead) − について述べる。
2．頭部形状と頭部運動を伝える方法
頭部形状を折り込み頭部運動を聴こえに反映させる方法としては、HRTF技術を利用するバーチャルリアリティ方式とバイノーラル技術を利用するテレロボティクス方式とが考えられる。本章では両方式の長所と短所について比較する。
2.1 バーチャルリアリティ方式
バーチャルリアリティ（ＶＲ）方式とは、所望する音場を頭部の周囲に物理的に再現してそこで頭部を自由に動かすことができるようにしたり、所望する音場を物理的に再現せずに頭部運動を反映させた音の聴こえを刻々と創りだす方式である。
すなわち、信号処理技術を駆使して受聴者の頭部の動きに応じて音源の方向と頭部の位置関係を計算し、マイクロフォンで拾った音響信号に刻々と適切なHRTFを畳み込んで受聴者に呈示する方法である（図１）。E.Wenzelらは1988年代後半にＶＲシ
ステム用の３次元音響ディスプレイとして、頭部運動に同期させてHRTFをリアルタイムで変化させるシステムを開発している[18]。その後、様々な方式の３次元音響ディスプレイや音場再生技術の研究が行われている[19][20][21]。
HRTF技術を利用したＶＲ方式は、受聴者側で全ての処理を電子的に行えるという利点があるが、HRTFにかかわる諸問題から逃れられない。第一に、あらかじめ音源の方向が分かっていないと畳み込
むHRTFを選択することができない。そのため、複数の音源がありそれらが動いている状況では処理が複雑になる。この問題は、人工的な音環境を生成する場合はともかくとして、実環境を再現する

図１

ヴァーチャルリアリティ方式の一例

2.2 テレロボティクス方式
テレロボティクス方式とは、可動な頭部を含めた耳を所望する音場に置く方法である。即ち、受聴者の頭部運動に追従するダミーヘッドで収録した音響信号を、バイノーラル技術[19][26][27]を用いて受聴者の耳に呈示する方式である(図２)。
この方法は、ダミーヘッドという実体を作成し遠隔操作で動かす必要があり、駆動に伴う騒音や駆動系の時間遅れなど物理的な機械系の問題がある。
しかし、ダミーヘッドという実体を用いること
により、上述したHRTFにかかわる諸問題から逃れることができる。つまり、ダミーヘッドの形状と駆動系そして音響信号伝達系を適切に設計することにより、ＶＲ方式より容易に、ダミーヘッドを置いた場所の音響空間を受聴者の耳に再現できる。
また、１章で述べたように、頭部を自発的に動かせる場合には頭部伝達関数を精密に再現しなくとも音像定位精度が悪化しない。つまり、受聴者の頭部形状と一致していないダミーヘッドを用いても、受聴者の頭部運動に追従させられれば、ダミーヘッドが置かれた場所の音響空間を受聴者の耳に再現できる可能性もある。
以下の章では、このテレロボティクス方式を用いたテレヘッドの実現を目指していくつかの点を
検討する。

図２

46

テレロボティクス方式の一例

3. 人間の頭部運動
本章では、人間の頭部運動機構を概説するとともに、頭部の可動範囲と頭部の運動速度を計測した結果について述べる。
3.1 頭部の回旋運動機構
人間の首は上位頚椎と下位頚椎の２つから成っている。上位頚椎は 3 軸 3 自由度で下位頚椎の動きを補償し，目標となる運動を生成するための調整を行う。下位頚椎は屈曲・伸展運動及び，回旋運動を行うが、回旋によって側屈は一意に決定されるため屈曲・伸展とあわせて 2 自由度をもつ。
それぞれの頚椎には複数の筋肉が接続されている。椎椎の前部にある筋群は，様々な角度で斜めに頚椎の各骨を引っぱるように筋が配置されている。これらの筋が同時に収縮すると屈曲が起こり，片側だけ収縮するとそちらの方向に側屈が起こる。
一方、頚椎の後部にある筋群は下内側後方へ伸びており、伸展・側屈・回旋の複合運動を行う。一部の筋は頚椎に巻きついており、これらの収縮に
よって回旋運動が起こる。[28]3.2 頭部の可動範囲
頚椎の可動域については、屈曲・伸展(Pitch)方向は 130°、側屈方向(Roll)は片側 45°、回旋(Yaw)方向は片側 80°程度と言われている。
実際に、被験者４名（20-30 歳代の男女各2名）
で頭部の最大回転角度をヘッドトラッカー(Polhemus FASTRAK)を用いて計測した結果、屈曲方向は47°(σ=8.7°) 伸展方向は63°(σ=17°)
合わせて110°、側屈方向は44°(σ=7.3°) 回旋
方向は片側69°(σ=12°)であった。

図３

人間の首の機構と頭部運動の範囲

3.4 頭部運動機構に関する考察
このように、人間の頭部運動を実現しているメカニズムは巧妙であり、動作音を発生せずに、重い頭部を高速に運動させることができる。特に、頭部回転運動に伴う動作音が発生しない点は、驚嘆に値する。
また、3.1 では触れなかったが、人間は頭部を回旋させずに前後・左右・上下に移動させることもできるが、多くの場合、肩や胴の運動を伴う。さ
らに、頭部回旋運動の中心は、運動に伴って移動すると思われる。
4. 頭部形状を再現するダミーヘッド
本章では、テレヘッドに不可欠な頭部形状を精密に再現するダミーヘッドについて述べる[29]。
市販のダミーヘッドは音響計測やバイノーラル録
音を目的として、多数の頭部形状の平均値に基づいて作成されているし、運動させるには重すぎる。
テレヘッドに求められるダミーヘッドは受聴者の頭部形状の再現であり、可動性である。

3.3 頭部運動速度
頭部の運動速度に関する既存のデータが見つからなかったために、ヘッドトラッカーを用いて頭部の水平回旋運動速度を計測した。まず、被験者は椅子に座り、正面に置かれた LED に顔を向ける。
正面の LED が 0.5 s 点灯の後、被験者正面から右60°あるいは左 60°に置かれた LED が点灯し、正面の LED は消灯する。被験者には、点灯した LED が顔の正面となるように、かつ、できるだけ早く頭部を回転するよう教示した。
20〜30歳代の男性3名、女性2名に対して左右方向それぞれについて10回計測した。その結果、正面から左右60°方向へ水平回旋運動を行う際の最大
回旋運動速度は382°/s (σ=72°/s)、加速度は5644°/s2 (σ=1180°/s2)であった。別途、通常の音像定位を行う際の頭部運動速度も予備的に計測したが、その値は100°/s〜200°/sであった。

4.1 ダミーヘッドの構造と作成方法
男性1名、女性1名について、型取りをすることによって頭部の形状を精密に再現するダミーヘッドを作成した。このダミーヘッドは3層構造になっている。すなわち、FRP樹脂で作成した中空の骨格相当部分に発砲ポリウレタンを約2cm緩衝材として付着させ、その上に厚さ1 mmの軟質ウレタンの表面形状を張り付けてある。この頭部の表面形状
は、石膏を用いて取った型に軟質ウレタン樹脂を流し込んで再現した。また、凹凸の多い耳介部分については別途石膏による型取りを行い、塩化ビ

47ニルゾル素材で成型し、頭部に装着した。ダミー
ヘッドの重量は約1kgである。
4.2 頭部形状の再現精度作成したダミーヘッドの精度を評価するために、３次元形状計測用レンジファインダ（Danae-R,NEC）を用いて、実頭とダミーヘッドの形状比較を行った。３次元の位置計測における計測密度は1.3mm、計測精度は0.5mm、計測点数は15万点（300×500点）である。
図4に示す男性の実頭とダミーヘッドの形状の差を比較すると、目元付近に4mm程度、両耳前方のもみあげ付近で7mm程度の差違があった。また後頭部に大きな差異が認められたが、これは頭髪の影響である。耳介部分は概ね数mm以内の差異に収まっているが、部分的に5mmを越える差異がある箇所もあった。また、窪み部分は光計測ができないた
めに比較もできなかった。さらに、ダミーヘッドの耳介は実頭の耳介よりも立っていて、その部分の差異は17mm以上もあった。女性のダミーヘッド
についても同様の結果であった。
4.3 頭部形状の再現に関する考察
このように、作成したダミーヘッドの形状と実頭の形状とは最大で17mm相違した。型取りを行ったにも係わらず、このような形状の差異が生じた
原因としては、型取り精度、ダミーヘッドの工作
精度、頭髪の影響、などが考えられる。石膏や印象材を顔面に付着させると、重力の影響で柔らかな皮膚の部分が変形する。また、頭髪の部分はストッキングや薄いゴム膜で押さえつけて型取りをしなくてはならないので、その部分が盛り上がることは避けられない。光学的な３次元計測法を用いる場合でも、頭髪部分の計測は困難である。
頭部形状の計測方法としてはMRIを用いる方法もある。、ただし、多くのMRIでは横臥してヘッドバンドによって額部分を固定して撮像を行う。そのために、重力の影響が立位と異なり、測定した

図４

頭部形状は光学的な３次元計測結果と異なってくる。
なお、頭部形状を再現するダミーヘッドの作成方法としては、MRIや光計測をして得られた３次元形状データを元にして、光造形などの手法を用いて成型する方法もある。
このように、頭部の３次元形状を精度よく再現するためには更なるアイディアが必要である。また、ダミーヘッドにどの程度の再現精度が必要かということについては、知覚的な観点からの精査が必要である。
5. 実頭と疑似頭の頭部伝達関数
5.1 HRTFの測定方法
ダミーヘッドとそのモデルとなった被験者のHRTF を無響室（4.8 m×5.4 m×4.7 m）内で測定した。被験者は無響室内の椅子に座った状態で測定し、疑似頭を B&K のヘッドアンドトルソーの首から下の部分に装着して、衣服を着せ、椅子に置いた状態で測定した。
頭部の中心位置から音源までの距離は 1.5 m とした。測定点は、水平方向には全周を 10゜間隔、仰角方向には–40゜から 80゜までを 10゜間隔、合計 468 点である。音源は最適化時間引き延ばしパルス[30][31]を用い、各測定点について標本化周
波数 48 kHz、512 点のインパルス応答を求めた。
ダミーヘッドの HRTF 測定に用いたマイクロホン
は ECM-77B (SONY)で、実頭の HRTF 測定には UC-92H(RION)を用いた。それぞれの HRTF は、別途測定したマイクロホンの周波数特性の逆特性を用いて補正した。ダミーヘッドにおけるマイクロホンの設
置位置は、外耳道入り口から 2 mm 奥で、外耳道はマイクロホンによって完全に塞がれている。一方、実頭におけるマイクロホンの設置位置は外耳道入り口から 2 mm 奥であるが、マイクロホンの外径が外耳道の外径より小さいため、外耳道は完全には塞がれていない。

モデル（左）とその頭部形状を再現したダミーヘッド（中）の一例。右はダミーヘッドの内部構造。FRP

樹脂の骨格部分と発砲ポリウレタンの緩衝材と軟質ウレタンの表面の三層構造を成す。下の方に見えるのは、駆動機構との接続治具である。

48

5.2 HRTF の比較結果
右耳の仰角 0゜で前方 0゜40゜80゜と後方 180゜,
220゜, 260゜の HRTF の周波数特性を図５に示す。
左列は男性、右列は女性のデータで、濃い細線はダミーヘッド、薄い太線は実頭の HRTF を示す。
前方の HRTF については、いずれの被験者でも、
概ね 1.5 kHz までは、伝達関数の相対的なレベル差は±5dB 以内で類似したものとなっていた。それ以上の帯域では、実頭の結果に認められる 6kHz の
ピークは再現されているが、さらに高域のピーク
やディップの位置と深さが異なっていた。一方、後方の HRTF では、3 kHz 以上の帯域のピーク・ディップの位置が異なり、伝達関数の相対レベルも大きく異なった。特に、女性のダミーヘッドでは
実頭の HRTF に認められる 2kHz, 3.8 kHz, 5 kHzのディップがダミーヘッドでは再現されていない。

まず、型取りしたにも係わらず、でき上がった
ダミーヘッドの形状が、被験者自身のものと多少異なっていたことがあげられる。特に、前述したように、ダミーヘッドの耳介が実頭よりも立っている。また、耳甲介腔（コンチャ）の形状もダミーヘッドと実耳とでは異なっている。
次に、HRTF 測定時のマイクロホンの設置条件の違いがあげられる。つまり、マイクロホンが外耳道を塞いでいるか否かの差であり、実頭ではマイクロフォンから後ろ側の音響インピーダンスが含まれている。
さらに、軟質ウレタンでできているダミーヘッ
ド表面と皮膚の音響インピーダンスの違いや、首から下の胴の形状の差も可能性としてあげられる。
これらが HRTF の周波数特性に及ぼす影響については、更なる検討が必要である。

5.3 HRTF の差異の原因
実頭とその形状を模擬したダミーヘッドでこのような HRTF の差異が生じた原因としては、以下のようなことが考えられる。

0-20

0 [deg.]

-40

0
-20

40 [deg.]

前Relative Level [dB]

-40

0
-20
-40

0
-20
-40

80 [deg.]

180 [deg.]

後0
220 [deg.]
-20
-40

0

-20
-40

260 [deg.]

1k
図５

2k

5k

10k

Frequency [Hz]

1k

2k

5k

10k

ダミーヘッドと被験者の実頭で測定した HRTF の周波数特性。左列は男性、右列は女性のデータ。
濃い細線はダミーヘッド、薄い太線は被験者の実頭の HRTF をそれぞれ示す。

49

6. テレヘッド 1 号機の駆動機構と諸特性
テレヘッドは、頭部姿勢検出部、ダミーヘッド
部とその３次元運動駆動部、音響信号伝達部で構成される。その概要を図６に示す。本章では、前述したダミーヘッドを人間の頭部の３次元運動に追従させるための駆動機構とその追従特性、および動作騒音特性について述べる [32] 。

図７

図６

テレヘッド１号機の運動追従特性

6.3 頭部運動追従特性
テレヘッド 1 号機を人間の頭部運動に追従させた場合の追従特性の一例を図７に示す。左列は回旋（Yaw）、中列は側屈（Roll）、右列は屈曲・伸展（Pitch）運動である。それぞれ、上段は最大速度
が 100[deg/s]から 200[deg/s]程度の遅い運動、下段は同じく 300[deg/s]から 500[deg/s]の速い運動を示す。図中の太線は人間の動作、細線がダミー
ヘッドの追従動作を表している。
遅い運動に対しては 200ms 程度の遅延はあるものの、いずれの方向の運動も比較的良好な追従運動が実現されている。一方、速い運動に対しては、屈曲・伸展方向と側屈方向では遅延が大きく、回旋方向の運動では目標に対して最大 70%程度オー
バーシュートする。これは屈曲・伸展・側屈方向と回旋方向とでは駆動系が異なるために生じた差異と考えられる。駆動系の遅延および運動の動特性については満足の行くものではなく、改善が必要である。

テレヘッド 1 号機の概略

6.1 頭部姿勢検出部
頭部の姿勢は，頭頂に装着した 3 次元位置姿勢
センサーFASTRAK（Polhmus）を用いてサンプリン
グ周波数 120Hz で検出する。そして、この頭頂の姿勢（オイラー角）は RS232C を通じて PＣに取り込み、駆動部へと送られる。
6.2 ３次元運動駆動部
ダミーヘッドは球面関節に取り付け、屈曲・伸展(Pitch)方向と側屈(Roll)方向はそれぞれ AC サーボモータ（400W）を用いてワイヤーとプーリで駆動する。駆動に伴う機械的な雑音の発生を抑えるために、ギヤは使用していない。回旋(Yaw)方向については、ダミーヘッドと屈曲・伸展方向と側屈方向の駆動機構を含めた全体を、DD サーボモー
タ（トルク 2.1Nm，120rpm 時）で、上部の機構全体を直接駆動する。
ダミーヘッドの可動域は，屈曲方向 54°、伸展方向 26°、側屈方向片側 30°、回旋方向片側 90°とした。回旋方向を除いて人間の可動域よりも狭いが、これは機構上の制約による。また、人間の頭部運動の回転中心は運動によって移動するが、今回は、ダミーヘッド内部に固定した。なお、駆動機構部分は防音のため着脱式のウレタンフォー
ムの胴体で覆ってある。

6.4 音響信号伝達部
ダミーヘッドには 2 つのマイクロフォン ECM77B（Sony）が内蔵されており、ダミーヘッドの外耳道入り口から 2mm 奥での音を拾う。音響信号はオーディオアンプを経てヘッドフォンを介して受聴者の耳に導かれる。このヘッドフォンは、何を使ってもいいわけではなく、受音点での音響条件を再現する必要がある。今回は、挿入型イヤフォン
ER4 (Etymotic Research) と密閉型の耳覆い型ヘッドホン HDA200 (Sennheiser)[33]を使用したが、ヘッドホンを通じてバイノーラル信号を忠実に再生するためには、受音点からヘッドホンを見込んだ音響インピーダンスがヘッドホンを装着していない場合とどれだけ近いかが重要といわれている[34][35]。

50

以外の人々でも、テレヘッドを頭部運動に追従させた場合には、静止時には聞き分けられなかった
近接した２つの音源位置をはっきりと分離できる
ようになることを確認している。テレヘッドの知覚的な性能評価に関しては今後の課題である。

6.5 動作騒音特性
図８にテレヘッド 1 号機の前方 0.5ｍにおける外部放射騒音特性を示す。破線は防音室の暗騒音レ
ベル、細線は静止時の騒音レベル、太線は動作時の騒音レベルである。同図に示されるように、動作時に 1kHz 近傍の騒音レベルが増加するが、最大でも 40dBSPL 程度であり、外部放射騒音レベルは
低く抑えられている。なお，防音カバーを外すと2-4kHz の騒音レベルは 10-15dB ほど増加する。
図９にダミーヘッドに装着したマイクロフォン
へのライン混入騒音特性を示す。混入騒音レベル
は 、 マ イ ク ロ フ ォ ン か ら ヘ ッ ド フ ォ ン HDA200（Sennheiser）(5)までの音響系のゲインを 1kHz の音圧で校正した後に、ヘッドフォンを IEC カップ
ラに装着して測定した。ダミーヘッドの頭部運動追従動作に伴って 0.3 - 2kHz の帯域の音圧レベルが増加し，ラインに混入する騒音音圧は 0.2kHz で
70dBSPL にも達している。これは，AC サーボモー
タの振動とプーリの回転に伴う振動が、ダミーヘッドに装着したマイクロフォンのダイヤフラムを振動させているものと考えられる。機械的な振動の低減と、マイクロフォンの取り付け方などの根本的な振動と騒音の低減対策が必要である。

7. おわりに
本稿では、頭部形状と頭部運動を含めた聴覚系の総合的な理解を深めるための道具として作成しつつある、頭部３次元運動に追従するダミーヘッ
ドシステム− テレヘッド− について述べてきた。
今回紹介したテレヘッド 1 号機は、いわば問題を洗い出すためのテストベッドであり、各章で述べてきたように改善すべき点が多々ある。今後は、これらの解決に向けた諸検討を進め、次期テレヘッドの設計指針を明確にする予定である。
また、情報通信技術の進展により、高速・広帯
域ネットワークが張り巡らされ、誰もが容易に利用できるようになりつつある。つまり、これまでのテレコミュニケーション技術を束縛していた帯域の制約は緩くなり、脳が産み出し処理することができる「情報」を制約せずに遠方とやり取りする環境が整ってきた。その場合、利用可能な帯域が広くなるからといって音や影像のベースバンドの伝送帯域を単純に拡張したり、複数のメディア
を無節操に組み合わせて送り込もうとするのではなく、私たちの脳の情報処理の仕組みと処理特性のツボを押さえた帯域の利用を考える必要がある。
たとえば、これまで見過ごされてきた頭部運動情報をどのように伝え合うかは重要な観点であろう。
参考文献[1] 平原達也 (2002): 音を通じて世界を伺う聴覚の仕組み、日本バーチャルリアリティ学会誌 7 (1),23-29
[2] 平原達也 (1994): 聴覚のメカニズム, 視聴覚情報
科学, ATR視聴覚機構研究所 編, （オーム社, 東京,1994） pp.145-200[3] Yin,T.C.T. (2002), "Neural Mechanisms of
Encoding Binaural Localization Cues in the
Auditory Brainstem," in Integrateve Functions in
the Mammalian Auditory Pathway, D.Oertel,
R.R.Fay and A.N.Popper Eds., Springer-verlag New
York, pp.99-159[4] Young E.D. et al (1992) : Neural organization andresponses to complex stimuli in the dosal
cochlear nucleus, Processing of Complex Sounds
by the Auditory System, Carlyon, R.P. and Darwin,
C.J. & Russel, I.J. Eds, Clarendon Press, Oxford,
pp.113-119[5] Young E.D. and Davis K. (2002) Circuitry and

図８：外部放射騒音特性

図９：ライン混入騒音特性

6.6 テレヘッドを通じた聴こえ
テレヘッドを用いた実環境での聴こえ方については予備実験的に確認したに留まっている。ダミーヘッドのモデルは、これまでにない音場のリア
ルさがあるとの内観報告している。また、モデル

51

Function of the Dosal Cochlear Nucleus, inIntegrateve Functions in the Mammalian Auditory
Pathway, D.Oertel, R.R.Fay and A.N.Popper Eds.,
Springer-verlag New York, pp.160-206[6] Moore J.K. (1987) : The human auditory brain stem:
A comparative view, Hearing Research, 29, 1-32
[7] Wallach H. (1939) : “On sound localization,” J.
Acoust. Soc. Am. 10, 270-274[8] Wallach H. (1940): "The role of head movements
and vestibular and visual cues in soundlocalization," J.Exp.Psychol., 27, 339-368[9] Thrlow W.R. and Runge P.S. (1967) : “Effect of
induced head movement in localization of
direction of sound”, J. Acoust. Soc. Am., 42,
480-488[10] Thrlow W.R. and Runge P.S. (1967): “Headmovements during sound localization”, J. Acoust.
Soc. Am., 42, 489[11] Freedman S.J. and Fisher H.G. (1968): “The roleof the pinna in auditory localization,” inNeuropsychology of Spatially Oriented Behavior
Freedman S.J.Ed. (Dorsey Press Illinios, 1968)[12] Perrett S. and Noble W. (1997): “The effect ofhead rotations on vertical plan soundlocali-zation”
J. Acoust. Soc. Am. 102,2325-2332[13] Perrett S. andNoble W. (1997): “Thecontri-bution of head motion cues tolocalization of low-pass noise”. Perception &Psychophysics, 59 (7), 1018[14] Wightman F. and Kistler D.J. (1999): “Resolutionof front-back ambiguity in spatial hearing bylistener and source movement,” J. Acoust. Soc.
Am., 105, 2841-2853[15] 植松尚,柏野牧夫,平原達也, (2001.10): “頭外音
像定位における自発的な頭部回転の影響,” 日
本音響学会講演論文集, 501-502.
[16] 加藤正晴,植松尚,柏野牧夫,平原達也, (2001.10) :“頭部回転運動の種類が音像定位の精度に及ぼす影
響,” 日本音響学会講演論文集, 505-506.
[17] 植松尚,柏野牧夫,平原達也, (2001.10) : “聴覚系に お け る 速 度 残 効 ,” 日 本 音 響 学 会 講 演 論 文 集 ,503-504.

[18] Wenzel E. M. (1992): "Localization in
virtual acoustic displays," Presence, 1,80-107.
[19]三好正人 (1996) : "音場を創る", 日本音響学会誌 52(6), 466-469[20]伊勢史郎 (2001) : "音場制御におけるコンピュータシミュレーションの応用," 日本音響学会誌, 57(7), 457-462

システム",日本バーチャルリアリティ学会論文誌,
5 (3), 957-964,[22] 西野隆典、梶田将司、武田一哉、板倉文忠(2001):"水平方向及び仰角方向に関する頭部伝達関数の補完, " 日本音響学会誌 57, 685-692[23] 西野隆典、梶田将司、武田一哉、板倉文忠(2001):"重回帰分析に基づく頭部伝達関数の推定, " 電子
情報通信学会論文誌 J84-A, 260-268[24] 大谷真、伊勢史郎 (2002.10): "境界要素法により求めた頭部伝達関数の妥当性及び計算の高速化に関する検討," 日本音響学会講演論文集, 585-586[25] 金海永, 鈴木陽一, 高根昭一, 小澤賢司, 曽根敏
夫 (1999): "絶対判断と相対判断による音像距離知覚の比較," 日本バーチャルリアリティ学会論文誌,
4 (2), 455-460.

[26] Møller H. (1992): "Fundamentals ofbinaural technology," Applied Acoustics, 36,
171-218.
[27] 稲永潔文、山田祐司、小泉博司 (1995) "頭部運動による動的頭部伝達関数を模擬したヘッドホンシ
ステム," 信学技報 EA-94-94[28] I.A.Kapandji 著，荻島監訳，（1986）"カパンディ
関節の生理学Ⅲ体幹・脊柱"，医歯薬出版, 東京[29] 植松尚,平原達也 (2002.04): ”頭部形状を精密に模擬したダミーヘッドの頭部伝達関数”, 日本音響学会講演論文集, 467-468[30] 鈴木陽一、浅野太、曽根敏夫 (1989): 音響系の伝達関数の模擬を巡って（その２）,日本音響学会誌,
45 (1), 44-50[31] Suzuki Y., Asano F, Kim H-Y., and Sone T.
(1995): “An optimum computer-generated pulse
signal suitable for the measurement of very long
impulse responses,” J. Acoust. Soc. Am., 97,

1119-1123[32] 戸嶋巌樹, 植松尚,平原達也 (2002.10): ”頭部運動に追従するダミーヘッド”, 日本音響学会講演論文集, 467-468[33]平原達也(1997):”聴覚実験に用いられるヘッドホンの物理特性”， 日本音響学会誌, 53 (10), 798-806[34] Møller H., Hammershøi D., Jensen C.B. andSørensenM.
F.
(1995):"Tranfercharacte-ristics of headphones measured onhuman ears," J. Audio Eng. Soc., 43 (4),203-217.
[35] Møller H., Hammershøi D., Jensen C.B. andSørensen M.F. (1995), "Design criteria forheadphones," J. Audio Eng. Soc., 43 (4),218-232.

* 植松 尚の現所属は NTT サイバースペース研究所* Hisashi UEMATSU is currently working for NTT
Cyber Space Laboratories.

[21] 神沼 充伸, 伊勢 史郎, 鹿野 清宏 (2000): "受聴者の頭部の動きを考慮した多チャンネル音場再現

52

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑9

パワーパターンとピーク時周波数パターンを利用した環境音認識 

豊田 義之、黄 捷、
会津大学、コンピュータ理工学部       をおさめている概要。

これらの方法で、瞬時スペクトルによる方法は時
環境音認識は知能ロボットにとって環境を認識す

間のパターンが使われないので、繰り返し音など、るための重要な機能の１つである。今まで行われた音の特徴が長時間に渡る音は認識できない。また、

環境音認識の数少ない試みは音声認識の技術をそのによる方法は音声認識で養われた技術を使う

まま環境音認識に適用したものと言える。しかし、利点はあるが、入力データとして音のスペクトログ

環境音の特徴は音声に比べて、遥かに長い時間スパラムが必要であるから、処理量は増える。一方、環ンで捕らえる必要がある一方、周波数の変動は音声

境音は、例えば物体の衝突音、ドアのノックの音なと比べて緩やかなものである。我々は音の長時間パ

どは物体の振動に起因するものが多く、その周波数

ワーパターンとピーク時の周波数パターンを組み合

パターンは時間と共に減衰はするが、大きな変動は

わせて、一次元の特徴ベクトルを使うことによって、見られないのが一般的である。このような特徴を利

環境音の時間周波数特徴を捕らえることを試みた。

用して、計算量の少ない認識方法が実現できないか

なお、環境音の認識方法としてはニューラルネットと考えたのが我々の研究動機である。

ワークによる学習方法を用いた。

本研究では、音の特徴としてのパワーパターンと周波数パターンを別々に扱うことによって入力デー
タの量を減らし、また、音の認識には多層ニューラ

はじめに

ルネットワーク（以降では、と略す）を利用する方法を試みる。実験ではニューラルネットワーク

環境音認識は人が周囲状況を把握し、危険を回避の組み合わせにより２種類の認識実験を行い、環境する上で不可欠な機能である。例えば室内にいなが音認識に対する本提案手法の有効性を示す。

ら雨音で雨が降り出した事が分かるし、夜道で後ろから来る足音で危険を感じることができる。また、
ドアをノックする音で誰かが訪ねて来たことがわか 環境音のデータ収集と前処理

るなど視覚情報だけでは把握できない多くの有益な

情報を環境音認識から得ることが出来る。ロボットにおいても同様で、パトロールロボットやお手伝い
ロボットの様に実環境で作動するロボットには必要

環境音データベース
環境音は音声（広義的には音声も環境音の一種類な機能であると言える 。

であるが）とは違って、その種類が無限にある。前述  プロジェクトとして、環境音データベース

環境音認識は近年その重要性が次第に認知され、が作成されているが、今回は我々のロボットの活音声認識で蓄積された技術を使った環境音認識の研

究がいくつか試みられた。 プロジェクトで研動範囲を想定して、既成のデータベースを使う代り

究開発用の環境音データベースが作成され、瞬時スに、我々のターゲットとする環境音を選定し、デーペクトルによる認識法が提案された  。また、音タベースを作成した。

を使った認識法が作成したデータベースには、環境音認識システム

提案され、 環境音データを使った実験で成果を搭載予定のロボットの行動範囲から考えて、ドア

声認識の技術の応用として

53

の開閉音、ノック、金属衝撃音、電話の着信音など

時間パターンに区間の長さが違う  種類のデータをの環境音  種類、日本語の母音５種類を各  個ず用意し（図  と図  参照）、

つ録音し、データベースとして収録した。録音環境
1

は多少のノイズのある大学の実験室という一般環境
0.9

で、収録装置はマイクから  のデジタルマル
0.8

チチャンネルレコーダー （その  チャンネルを利用）に録音し、サンプリング周波数



0.7

の

0.6

ファイルで  枚に記録されている。
power





0.5

0.4

表  データベース収録音

0.3

音の種類

0.2

ボールと床の衝突音

0.1

金属音

0

キーボード（単音）

0

100

200

300

400

500

600

700

800

time[ms]

キーボード（繰り返し音）
ドアが閉まる音図  環境音の長時間パワーパターン

ドアを開ける音
施錠
ノック

1

照明のスイッチ

0.9

電話の着信音

0.8

母音

0.7

power

0.6

0.5

0.4

 前処理
一般的に

0.3

0.2

や時間遅延

（

）  に0.1

よる音声認識は音のスペクトログラムを必要とする。

0

0

50

しかし環境音の特徴は音声とは異なり、単発で指数

100

150

200

250

300

time[ms]

減衰する音もあれば、単音が複数回繰り返される音

図  環境音の短時間パワーパターンもあり、認識には長い時間区間を必要とする。したがって音声認識のように入力にスペクトルグラムを用いるとデータサイズが大きくなってしまう。一方、階層

により、予め繰り返し音であるかどうか

環境音の周波数は音声に比べて変動が少ない。これを判断し、そして次の層で前の層の結果に基づいて、らの環境音の特徴から、本研究では音の時系列変動

音の種類を判断するという方法を採用した（図 ）。

と周波数特徴を別々に抽出して組み合わせ、一次元

この場合、長時間範囲のパワーパターンからは音のの特徴ベクトルを作成する手法を提案する。時系列

種類を単発衝突音、繰り返し衝突音、連続音の３種

パワー変動は短区間 によって、周波数特性類に分類する。また、例えばノックはドアを数回たは求められたパワーパターンからピークを検出し、たくので、短い区間だけで見るとドアに何かがぶつピーク時の周波数をＦＦＴにより抽出する（中間処

かった音と識別されてしまい、ノックという意味が理での音のサンプリング周波数はまでおとし失われてしまいます。逆にキーボードをタイプするて処理した）。この時、認識の効率をあげるために、

音などは１回でも複数回でも意味は同じなので、こ

 



!

54

の場合はむしろまとめて単音として識別する方が無駄がないといえる。

図


図 



第二層に用いる単体モデル

実験１
実験１では単発衝突音の識別をすべて一つのの階層モデルで行う。入力は以下に示す  種類でトレーニングに

個、テストに  個のデータを用いて実験を行った。ただし、第二層での音声データの認識は外した。



実験環境は ニューラルネットワークの構成

が 
語は

が

の '%()
* #$%&


、メモリ

!

を使用しプログラミング言を用い、トレーニングには約  時間を要した。表  に第一層の認識結果、表  に第二層提案手法で環境音の識別を行うために、階層型
ニューラルネットワーク（"の認識結果を示す。それぞれ平均で &+）を使用した。第一層の入力は長い時間範囲のパワーパターンを用いて入力信号を単発衝突音、繰り返し衝突音、連続音の３

表  実験１結果 第一層認識率
認識率 入力
認識率

つのグループに分類する。第二層では分類された音入力のグループから音の種類識別を行う。認識方法とし

ボール

,

キーボード１

,てパワーパターンとピーク時の周波数パターンを一

金属音

,

キーボード２,

度に入力できるを用いることにした。

は３

ドア

,

スイッチ

,

層パーセプトロンを用いた（図 ）。入力層の数は

施錠

,

ノック

&,

で、その内  個にパワーパターンを、残りの  個

音声

&&,

着信音

,

には周波数パターンを入力として与える。隠れ層のニューロン数は  で、出力層はトレーニングに用い入力るデータの種類と同じ数のニューロンを用いた。



認識実験と結果
実験は第二層のの構造を変えて二種類の実験

を行った。

55

表  実験１結果 第二層認識率
認識率 入力
認識率

ボール

,

キーボード１

,

金属音

&,

キーボード２

,

ドア

,

スイッチ

,

施錠

,

ノック

&,

音声

-,

着信音

,

 実験２

 まとめ
本研究では音の時間パターンと周波数特性合わせた  次元のデータを用いてニューラルネットワーク
による環境音認識の手法の提案を行い、平均認識率は約



本手法は時間遅延ニューラルネットワーク

による方法やによる方法よりも処理時間は速く、ロボット本体に搭載する目的には適していると言える。しかし、環境音認識は範囲が無限に広いことから、これからもデータベースの作成やそれぞれの方法の比較検討が必要と考える。

参考文献
 /

01%2

 3#%'#' 1%(

 402'

*0'$('%215 65 57 40%( $81$'!1'% 1%( 9151:

図  第二層

  

'%

の構成



 . ;+<

&&+

実験２は実験１と同様に二層構造の

を使用す
 4

るが、それぞれの種類の音に対して１個ずつの専用 @%(

を用意する。例えば入力信号が金属衝撃音かど
うかと、一種類の音に対する識別を行う

11=051>

'?1%

1%

1%(

40%( 8% (11 8$$8'% '% 51$

180'81$ %A'5%=%

を並列



   .;< &&&

に組み合わせたものを使用する。結果は最も強い出力を返したものの出力とする。入力は以下に示す 

種類でトレーニングに  個、テストに  個のデー

比屋根一雄 1%( 飯尾淳 マイクロホンアレーを用いた非音声認識 @4  A$+

タを用いて実験を行った。実験２では音声 .母音５種類）が入力された場合は全て音声と識別させたため==

トレーニングに用いた入力は各母音ごとに  個ずつ
+

三木 一浩 西浦 敬信 中村 哲 1%( 鹿野 清宏個用いた。実験環境は実験１と同様です。トレー

ニングには約  時間半を要した。

による環境音識別の評価 日本音響学会

年春季大会論文集  : :  > / 1%2  1'7$ 1%( B @'%% 

'=:($1? %051$ %)5 158#'805 65 ':入力

表  実験結果２ 第二層
認識率 入力
認識率

ボール

+,

キーボード１

,

金属音

,

キーボード２

,

ドア

,

スイッチ

,

施錠

,

ノック

&,

音声

,

着信音



$1( )5$( 582%''%



そして一つの音の対して一つの < &&

実験２は結果１よりも平均認識率が改善され、平均   

を用いる

ために新たな音の追加でも他の音の認識率に影響することなく柔軟に対処出来るなどのメリットがある
と言える。

56

今井 聖 音声認識 共立出版株式会社 &&社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG‑Challenge‑0216‑10

ETSI AURORA プロジェクトの動向と雑音下音声認識評価ワーキンググループの活動報告
Progress Report for Current Status of ETSI AURORA Project and SLP Working Groupfor Noisy Speech Recognition
中村 哲 (ATR-SLT)1

西浦敬信 (和歌山大学)2 武田一哉 (名古屋大学)3 黒岩眞吾 (徳島大学)4

Satoshi NAKAMURA Takanobu NISHIURA Kazuya TAKEDA Shingo KUROIWA
山田武志 (筑波大学)5 北岡教英 (豊橋技科大学)6

山本一公 (信州大学)7

Takeshi YAMADA Norihide KITAOKA Kazumasa YAMAMOTO
藤本雅清 (龍谷大学)8

水町光徳 (ATR-SLT)1

Masakiyo FUJIMOTO Mitsunori MIZUMACHI

Abstract
This paper reports current status of the IPSJ-SLP working group (IPSJ: Information Processing Society ofJapan, SLP: Spoken Language Processing) establised in October 2001 on the noisy speech recognition andcurrent Europian ETSI AURORA evaluation projects. This working group aims to develop standards, common corpus, and noisy speech recognition system in conjunction with Europian ETSI AURORA evaluation
projects.

1

はじめに

学習データとして集められるデータの量は，限られているためこのような場合，十分な性能を獲得することは難音声認識においては，隠れマルコフモデルと確率言語モ

しい．特に，本稿では雑音の混入による音声の認識性能のデル，および大量の学習データの収集により，学習データ

劣化について述べる．

と同一の性質のテストデータに対しては，非常に高い認識性能が得られるようになった．しかしながら，実際に本稿では，2001 年 10 月に情報処理学会 音声言語情報認識装置を利用する状況での音声は，種々のバリエーショ

処理研究会内に設立した雑音下音声認識の評価に関するンが生じて，学習データとは異なったものが生じてくる．

ワーキンググループの活動状況の報告を行う．このワーキ

このバリエーションとしては，大きなものとして加法性，

ンググループは，特に EUROSPEECH2001 における欧州

乗法性雑音の混入，発話スタイルの変化がある．しかし，の AURORA セッションに刺激を受けて発足したものである．この欧州の AURORA プロジェクトというのは，携1 ATR 音声言語コミュニケーション研究所 (ATR Spoken Language

Translation Research Laboratories, Kyoto),{satoshi.nakamura, mitsunori.mizumachi}@atr.co.jp
2 和歌山大学 (Wakayama University, Wakayama),
nishiura@sys.wakayama-u.ac.jp
3 名古屋大学 (Nagoya University, Aichi),takeda@nuee.nagoya-u.ac.jp
4 徳島大学 (Tokushima University),kuroiwa@is.tokushima-u.ac.jp
5 筑波大学 (University of Tsukuba, Ibaraki),takeshi@is.tsukuba.ac.jp
6 豊橋技科大学 (Toyohashi University of Technology， Aichi),kitaoka@slp.ics.tut.ac.jp
7 信州大学 (Shinshu University, Nagano),kyama@sp.shinshu-u.ac.jp
8 龍谷大学 (Ryukoku University, Shiga),
masa@arikilab.elec.ryukoku.ac.jp

帯電話などとネットワークを利用した場合の音声認識サー
ビスを実現する際に，音声認識の前処理部を標準化しようという試みであり，標準化においては，十分利用環境において高い性能を期待できる音声認識前処理が必要ということである．このネットワークで利用する音声認識は分散型音声認識 (DSR:Distributed Speech Recognition) と呼ばれている．この標準化は実際には，ETSI の DSR 標
準化に加わっている主として企業が具体的な要求基準，技術開発，評価を進めているが，それと平行して評価データ
を ELRA(European Language Resources Association) から一般の研究者に配布し，主に ISCA の EUROSPEECH,

57

• アドバイザリーメンバー：
古井貞煕 （東京工業大学）

ICSLP において評価結果を発表する AURORA スペシャ
ルセッションが開催されている．本ワーキンググループ
では，この AURORA スペシャルセッションに関連して，

松本

日本において，並列に同様の雑音下音声認識の評価のた

新田恒雄（豊橋技術科学大学）

めのデータ収集，評価法の検討，性能評価のための仕組み

鹿野清宏（奈良先端科学技術大学院大学）の検討，AURORA スペシャルセッションへのコミットメ

有木康雄（龍谷大学）

ント，日本からの参加者のプロモーションなどを活動の趣

中川聖一（豊橋技術科学大学）

旨としている．

小林哲則（早稲田大学）以下，第 2 章でワーキンググループ提案概要，第 3 章
で AURORA スペシャルセッションの評価の方法，内容などを述べ，第 4 章でワーキンググループの活動経過とその内容を述べる．

3

弘（信州大学）AURORA スペシャルセッション

この欧州 AURORA プロジェクト[1]は，ETSI の DSR(Distributed Speech Recognition) の標準化活動[2]に同期
して進められているもので，雑音に強い音声認識の前処理

2

ワーキンググループ提案概要

EUROSPEECH2001 において，AURORA2 という Special Session が ETSI，ISCA 共同で企画され，雑音下音声認識のための性能比較が行われた．比較対象となっているを開発し，標準化することを目的としている．米国で行われている DARPA の SPINE プロジェクトなどに比べて，雑音処理のみに焦点を当てるため比較的小さな TI-DIGITSの数字認識をタスクとしている[3].

AURORA2 データベースの入手方法のは，音声認識の前処理の信号処理部分である．ある程度

3.1の種類の雑音と符号化方式に頑健な前処理方式が確立できれば，携帯電話などの分散型の音声認識の特徴抽出方

AURORA2 の 音 声 デ ー タ が TIDIGITS で あ る た め ，TIDIGITS のライセンスを LDC から入手する．実際に式として標準化される可能性もある．実際，ETSI は ITU

は，TIDIGITS を LDC から入手するのと同様であるの配下の組織であり，学会での評価活動と平行して実際に

1. 下記サイトを基に LDC ライセンスを入手．

標準化の活動も進められていると聞いている．本 WG 提

http://www.ldc.upenn.edu/Catalog/LDC93S10.html

案は，このような活動を日本でも並行して進め，問題を明確化しさらに必要な研究のフォーカスを定める，日本語技術の利用可能性を探る，日本の技術レベルを積極的に

93 年度会員の方は，ライセンスの依頼のメールをLDC に送るだけ利用可能である．また会員でない方アピールすることを目的としている．

は，$250 を支払えば利用可能である．

での評価を行って言語依存性を調査する，研究レベルの2. 下記サイトを基に ELRA から配布されている AU2.1

雑音下音声認識評価ワーキンググループ構成員

RORA2 のデータを入手．
http://www.icp.grenet.fr/ELRA/aurora2.html

現在，本ワーキンググループは下記メンバーにより構成されている．今後，企業の研究者に対しても積極的に本250 ユーロを支払えば，入手できる．AURORA2 のワーキンググループへの参加を呼びかける予定である．

データ CD の中に音響モデルの学習等に関する HTK

• 主査：
中村

スクリプトが含まれている．
哲（ATR 音声言語コミュニケーション研）• コアメンバー：
武田一哉（名古屋大学）黒岩眞吾（徳島大学）

山田武志（筑波大学）

北岡教英（豊橋技術科学大学）

山本一公（信州大学）

西浦敬信（和歌山大学）

水町光徳（ATR 音声言語コミュニケーション研)

藤本雅清（龍谷大学)AURORA2 タスク

3.2

2001 年 の EUROSPEECH で 扱 わ れ た も の が 英 語 のTIMIT 連続数字データ (LDC から公開済み) を対象としたタスクである．

3.2.1

配布物

• Training Set– Clean-condition training:
8440 発話の Clean（雑音重畳のない）TIMIT データ– Multi-condition training:
上記データに種々の雑音を種々の SNR で混入させ58

Multicondition training, multicondition testing
A
Clean
20 dB
15 dB
10 dB
5 dB
0 dB
-5dB
Average

B

C

Subway Babble
Car
Exhibition Average RestaurantStreet
AirportStationAverage Subway M Street M Average Average
98.59
98.67
98.57
98.83
98.67
98.59
98.67
98.57
98.83
98.67
98.62
98.67
98.65
98.66
97.82
97.94
98.24
97.47
97.87
97.73
97.61
97.61
97.66
97.65
97.67
97.58
97.63
97.73
96.65
97.43
97.70
96.88
97.17
96.16
96.67
96.60
96.27
96.43
96.50
96.31
96.41
96.72
94.38
95.47
96.18
94.11
95.04
92.94
94.86
93.71
93.92
93.86
93.83
93.92
93.88
94.33
89.01
88.21
87.53
87.60
88.09
85.05
86.58
87.53
85.16
86.08
83.11
84.16
83.64
86.39
67.85
63.18
54.10
63.71
62.21
60.88
63.06
66.27
58.07
62.07
46.21
56.35
51.28
59.97
26.56
27.33
20.22
23.63
24.44
27.11
27.66
29.91
21.75
26.61
19.22
24.73
21.98
24.81
89.14
88.45
86.75
87.95
88.07
86.55
87.76
88.34
86.22
87.22
83.46
85.66
84.56
87.03

Clean training, multicondition testing
A
Clean
20 dB
15 dB
10 dB
5 dB
0 dB
-5dB
Average

B

C

Subway Babble
Car
Exhibition Average RestaurantStreet
AirportStationAverage Subway M Street M Average Average
98.89
99.03
99.05
99.26
99.06
98.89
99.03
99.05
99.26
99.06
99.17
99.09
99.13
99.07
96.75
90.54
97.08
96.20
95.14
90.14
95.86
89.95
94.79
92.69
93.37
95.13
94.25
93.98
91.53
72.19
88.55
90.03
85.58
74.52
88.15
73.84
81.24
79.44
86.03
89.09
87.56
83.52
75.53
47.61
63.53
72.29
64.74
51.89
66.05
49.27
55.20
55.60
71.94
75.03
73.49
62.83
47.34
22.91
30.75
39.08
35.02
26.80
36.28
24.60
24.96
28.16
50.63
50.57
50.60
35.39
22.44
5.53
10.71
14.25
13.23
7.12
17.35
10.50
9.50
11.12
24.53
23.64
24.09
14.56
10.65
0.12
6.83
6.85
6.11
0.95
8.62
5.28
6.14
5.25
12.90
11.19
12.05
6.95
66.72
47.76
58.12
62.37
58.74
50.09
60.74
49.63
53.14
53.40
65.30
66.69
66.00
58.06

Figure 1: Baseline results for clean- and multi-condition training.

∗ 無音モデル (sil):

たもの．

∗ 雑音：
subway, babble, car, exhibition

3-states，6-mixtures∗ sp モデル:
sil の第 2 状態と tied

∗ SNR:
5dB, 10dB, 15dB, 20dB, Clean– 評価モード∗ Clean-condition test:
Clean 学習データで学習し，テストセット A-C• Test Set– Set A
学習データと同一種の雑音で評価∗ Multi-condition test:
Multi-condition 学習データで学習し，テストセ（subway, babble, car, exhibition）– Set Bット A-C で評価

学習データと異なる雑音∗ 評価は共通の Excel spread sheet で平均の性能，（restaurant, street, airport, station）

ベースラインからの改善率で評価．

– Set C
Figure 1 に上記分析条件に於けるベースライン結果を音響特性が異なるもの（subway, street に MIRS 特性を付与したもの）– Test set SNR-5dB, 0dB, 5dB, 10dB, 15dB, 20dB, Clean

あげておく．参加者はこのベースライン結果に対し前処理や適応化処理を行い性能改善率を競うことになる．全体の性能改善率は，改善率の平均として与えられる．

AURORA は，次に示すように，さらに自動車内で実収録した数字，コマンドデータの認識評価，さらには，雑音• HTK スクリプト– 分析条件∗ Sampling frequency 8kHz
∗ フレーム周期

10msec∗ フレーム長

25msec∗ Pre-emphasis

0.97∗ Feature: 12MFCC+pow+∆+(∆∆)

下における大語彙連続音声認識評価へと継続，発展していく予定である[4]．

3.3

AURORA3 タスク

雑音を加算するのではなく実際に雑音下で収録した音声を用いて評価を行うことを目的としている．SpeechDat-Car
プロジェクトで収録した自動車内発話音声を評価に用い– HMMる．対象言語もフィンランド語，イタリア語，スペイン∗ Unit:語，ドイツ語，デンマーク語を対象にして，言語による差

数字 Whole Word Model 16-states, 3-mixturesを確認することができる．また，実環境で遭遇する可能性

59

のある次の 3 つの状況を設定し評価項目としている．

1. Well matched training and testing:
ハンズフリーマイクロホンで種々のスピードで走行した場合の音声で学習，テストを行う．

2. Moderate mismatch training and testing:
中程度のミスマッチがある条件，例えば，ハンズフ
リーマイクロホンを用いて低速走行中音声で学習し，高速走行中音声でテストを行う．

3. High mismatch training and testing:

したほか，これまでの論文のサーベイなどもＷＧのメンバーで行い，調査活動も共同で行った．ICSLP2002 の AU-

RORA セッションは，主として AURORA3 の自動車内音
声データの評価を中心に行うこととなったが，ＷＧとしては AURORA2 の評価結果を投稿することとした．AURORA2 関連で約 3 件[8, 9, 10]，AURORA3 に 1 件[11]の投稿を行い，すべて採録された．下記に，現在 AURORA
プロジェクトに参加している海外の主な研究グループを列挙しておく．

非常に学習とテストが異なる条件，例えば，近接マイ

1. AT&T
2. UCLA

クロホンで収録した音声で学習し，種々の速度で走行中の音声をハンズフリーマイクロホンで収録したも3. Philips Phicos
4. Alcatel ＋ France Telecom

のでテストを行う．

3.4

5. Siemens
6. Maribor Univ.

AURORA4 タスク

Noisy WSJ-large vocabulary evaluation: Wall Street

7. Motorola

Journal データベースに雑音とフィルタ特性を付加した
大語彙データベースを用いて評価を行う[5]．評価条件は，
次の 4 つの平均性能である．

8. Nijmegen Univ. + FT + Alcat
9. Granada Univ.

• 8kHz clean training

10. Lucent Bell Labs
11. ICSI + OGI + Qualcomm• 8kHz multi-condition training

12. Sheﬃeld Univ.
13. IBM• 16kHz clean training• 16kHz multi-condition training
この評価のためのスクリプトはミシシッピ大学により準備されつつある[6]．

14. UPC
15. Columbia Univ.
4.2

評価データの設計について

現在の AURORA タスクは，日本語が含まれていない．前処理なので，言語依存性は低いと言われているが，AU-

4

WG の活動内容

WG 設立以来，AURORA 性能評価に参加するグループの啓蒙，雑音下音声認識を評価するための評価法，データ設計，スクリプト，それらの短期，長期の計画などについ

RORA3 の 4 言語でも相当な認識性能の隔たりがあるので，日本語の評価データを作る必要がある．現在，次のようなデータ収録を計画している．

[AURORA2J ]て，下記に示す 7 回の会合を通して議論を進めてきた．

1. 2001 年 12 月 20 日
2. 2002 年 3 月 8 日

東京工業大学

AURORA2 の日本語版である．TIDIGIT の数字を日本語にして，AURORA2 と同一の雑音，伝達特性を名古屋大学付与したものを作成する．

3. 2002 年 3 月 19 日
4. 2002 年 4 月 26 日

神奈川大学付近

すでに WG では，AURORA2 に含まれるている雑機械振興会館

音データを入手した．現在，TIDIGIT の数字を日本

5. 2002 年 7 月 19 日
ン研究所

ATR 音声言語コミュニケーショ

語にしたものを収録中である．なお話者数や語彙数

6. 2002 年 9 月 26 日
7. 2002 年 11 月 19 日

秋田大学付近しだい雑音と伝達特性の付与作業に取り掛かる予定

名古屋大学

である．

も AURORA2 と同様にする予定である．収録が終了

これまでの活動のまとめを以下に述べる．また最新情報などは[7]を参照のこと．

4.1[AURORA2.5J ]AURORA2J の単語を AURORA2 の雑音再生下で発話する．雑音の加算と実際の環境での発話の違いを

ICSLP2002 AURORA セッション

考察できる．
現在，雑音の加算と実環境での発話の認識性能の

ICSLP の AURORA セッションについては，Organizing

違いなどについて調査を進めている状況である．

Committee にメンバーの一人が入り，情報の流れをよく

60

進めていく．WG としては，本活動が雑音下音声認識に於ける評価の枠組みの確立の一助になればと考えている．

[AURORA3J ]AURORA3 と同様に自動車内発話の音声を収録する．

[謝辞] 本研究の一部は，通信・放送機構の研究委託により実施したものである.

発話内容は，孤立単語，バランス文を収録する．現在，自動車内発話の音声は名古屋大学にて収録中で

参考文献

ある．

[1] http://eurospeech2001.org/ese/
NoiseRobust/index.html,
http://www.elda.fr/proj/aurora1.html,[AURORA4J ]http://www.elda.fr/proj/aurora2.html

大語彙の雑音下音声認識を中心としたタスクとする
か，よりアプリケーションに近い環境での発話にするか，単語でなく自由発話にするかなど現在検討中
である．

[2] ETSI standard document, “Speech processing,transmission and quality aspects (STQ); Distributed speech recognition; Front-end feature extraction algorithm; Compression algorithm”, ETSI

[雑音 DB ]これまで，電子協の雑音 DB[12], Noisex92[13], RWCDB[14]などが収録されてきたが，未だ不十分であり，種々多様な評価を行う際に基準となるような雑音デー

ES 201 108 v1.1.2 (2000-04), 2000
[3] H.G.Hirsh, D.Pearce, “The AURORA experimental framework for the performance evaluations ofspeech recognition systems under noisy conditions”,

タベースが必要である．そこで現在，本 WG では新
たな雑音 DB の構築に向けて現在検討中である．

ISCA ITRW ASR2000, september, 2000
4.3

評価ツールの設計

本ＷＧでは，AURORA と同様にデータの配布とともに評価のため，HTK のスクリプトと評価のための Spread

Sheet を配布する．また，より一般性のある評価基準を確立することを目指して，種々の共通ツールの作成を目指[4] D.Pearce, “Developing the ETSI AURORA advanced distributed speech recognition front-end &What next”, Proc. EUROSPEECH2001, 2001
[5] Aurora document no. AU/337/01, “Experimental

している．ツールには，SNR 測定プログラムなどが含ま

framework for the performance evaluation of speech
recognition fron-ends on a large vocabulary task:

れる．

4.4

Version 1.0”, Ericsson, June 2001

アンケート

雑音 DB， AURORA4J に関連して，雑音環境として，ど[6] Aurora document no. AU/345/01, “Large vocabu-のような環境の雑音，残響を考慮すべきかは，非常に重要でかつ設定するのが困難な課題である．WG としては，

lary evaluation of front-ends- baseline recognition
system description”, Mississippi State University,

実際の音声認識装置の開発者，利用者，利用想定者にアン

Aug 2001

ケートを行い，雑音環境の洗い出しを行いたいと考えている．

5[7] http://www.slt.atr.co.jp/〜nakamura/
SLPWG2001/ Noise-WG.html

今後の計画とまとめ

雑音下音声認識評価に関する SLP-WG の活動の内容と現[8] Masaki Ida, and Satoshi Nakamura, “HMM
Composition-Based Rapid Model Adaptation Us-状および ETSI AURORA プロジェクトについて報告を行った．音声認識の雑音環境に於ける頑健性の問題は，今ing a Priori Noise GMM Adaptation Evaluation on
Aurora2 Corpus,” Proc. ICSLP2002, pp. 437–440,

日では非常に重要な課題である．WG 設立以来，AURORA

Sept. 2002.

の評価プロジェクトと平行して活動を進めてきた．今後，

AURORA については，ICSLP のセッションに参加し情報交換をするとともに，日本語データの収録が終了した[9] Masakiyo Fujimoto, Yasuo Ariki, “Evaluation of
Noisy Speech Recognition Based on Noise Reduc-

際には，AURORA の評価 DB に日本語 DB を公開することなどを計画している．また，上述の日本語のデータ収集

tion and Acoustic Model Adaptation on the Aurora2 Tasks,” Proc. ICSLP2002, pp. 465–468, Sept.

計画の議論を継続するとともに，評価手法などの検討を

2002.

61

[10] Norihide Kitaoka, Seiichi Nakagawa, “Evaluation ofSpectral Subtraction with Smoothing of Time Direction on the Aurora 2 Task,” Proc. ICSLP2002,
pp. 477–480, Sept. 2002.
[11] Kaisheng Yao, Dong-Lai Zhu, Satoshi Nakamura,“Evaluation of a Noise Adaptive Speech Recognition System on the Aurora 3 Database,” Proc. ICSLP2002, pp. 457–460, Sept. 2002.
[12] http://www.milab.is.tsukuba.ac.jp/
corpus/noise db.html[13] http://www.speech.cs.cmu.edu/comp.speech/ Section1/Data/noisex.html[14] http://tosa.mri.co.jp/sounddb/index.htm

62

c 2002

Special Interest Group on AI Challenges
Japanese Society for Arti cial Intelligence

社団法人 人工知能学会 ＡＩチャレンジ研究会〒 162 東京都新宿区津久戸町 4-7 OS ビル 402 号室 03-5261-3401 Fax: 03-5261-3402(本研究会についてのお問い合わせは下記にお願いします.)

ＡＩチャレンジ研究会
主 査
奥乃 博
京都大学 大学院 情報学研究科 知能情報学専攻

Executive Committee
Chair
Hiroshi G. Okuno

Dept.

of Intelligence Science and〒 606-8501 京都市左京区吉田本町
工学部 10 号館

Technology,

075-753-5376

Kyoto University

Fax: 075-753-5977

okuno@i.kyoto-u.ac.jp

幹 事
浅田 稔

Gradulate School of Informatics
Sakyo, Kyoto 606-8501 JAPAN

Secretary
Minoru Asada

Dept. of Information and Intelligent

大阪大学大学院 工学研究科
知能・機能創成工学専攻

Engineering

asada@robotics.ccm.eng.osaka-u.ac.jp

Osaka University

武田 英明

Graduate School of Engineering

Hideaki Takeda

国立情報学研究所 知能システム研究系
takeda@nii.ac.jp

National Institute of Informatics

樋口 哲也
独立行政法人 産業技術総合研究所

National Institute of Advanced

t.higuchi@aist.go.jp, suzuki.a@aist.go.jp

Tetsuya Higuchi

Industrial Science and Technology

Satoshi Tadokoro

田所 諭

Dept. of Information and Intelligent

神戸大学 工学部 情報知能工学科
tadokoro@octopus.cs.kobe-u.ac.jp

Engineering
Kobe University

SIG-AI-Challenges home page (WWW): http://www.symbio.jst.go.jp/SIG-Challenge/