人工知能学会研究会資料

JSAI Technical Report
SIG-Challenge-046

ＡＩチャレンジ研究会 (第４６回)
Proceedings of the 46th Meeting of Special Interest Group on AI Challenges
CONTENTS⋄ 【招待講演】ノンパラメトリックベイズと深層学習に基づく音声データからの教師なし語彙獲得〜記号創発
ロボティクスによる知能と言語へのアプローチ〜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
谷口 忠大（立命館大学）⋄ 量子化 Deep Neural Network のための有界重みモデルに基づく音響モデル学習 . . . . . . . . . . . . . . . . 2
武田 龍（大阪大学），中臺 一博（HRI-JP），駒谷 和範（大阪大学）⋄ 部分共有アーキテクチャを用いた深層学習ベースの音源同定の検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
森戸 隆之（東京工業大学），杉山 治（京都大学），小島 諒介（東京工業大学），中臺 一博（東京工業大学，

HRI-JP）⋄ ウグイスに対するプレイバック実験におけるマイクロホンアレイを用いたさえずりの方向分布分析 . . . 18
炭谷 晋司（名古屋大学），松林 志保（名古屋大学），鈴木 麗璽（名古屋大学）⋄ 空間情報を用いた鳥の歌分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
小島 諒介（東京工業大学），杉山 治（東京工業大学），干場 功太郎（東京工業大学），鈴木 麗璽（名古屋大学），中臺 一博（東京工業大学）⋄ UAV 搭載マイクアレイを用いた高雑音環境下における音イベント検出・識別の並列最適化 . . . . . . . . . 32
杉山 治（京都大学），小島諒介（東京工業大学），中臺一博（HRI-JP，東京工業大学）⋄ 言語情報を用いた談話機能推定及びロボット頭部動作生成への応用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
劉超然（ATR/HIL），石井カルロス（ATR/HIL），石黒浩（ATR/HIL）⋄ Sequential Deep Learning for Dancing Motion Generation . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Nelson Yalta (Waseda University), Tetsuya Ogata (Waseda University) and Kazuhiro
Nakadai (HRI-JP)⋄ Using utterance timing to generate gaze pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Jani Even (ATR/HIL), Carlos Ishi (ATR/HIL), and Hiroshi Ishiguro (ATR/HIL)
日時

2016 年 11 月 9 日

場

所

慶應義塾大学 日吉キャンパス 来往舎

大会議室

Keio University, Kanagawa, Nov. 9, 2016

社団法人 人工知能学会
Japanese Society for Artificial Intelligence一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-01 (11/09)

ノンパラメトリックベイズと深層学習に基づく音声データからの教師なし語彙獲得～記号創発ロボティクスによる知能と言語へのアプローチ～
Unsupervised word discovery from speech signals
based on Bayesian nonparametrics and deep learning--Symbol emergence in robotics towards understanding cognition and language-谷口忠大
Tadahiro TANIGUCHI立命館大学
Ritsumeikan University
taniguchi@ci.ritsumei.ac.jp
記号創発ロボティクスは人間のコミュニケーショ
る．また，深層学習は多段のニューラルネットワー
ンを成立させている諸要素をロボットを用いて構成
クを用いることで高い特徴抽出能力を持つことが知論的にモデル化することで，人間の知能理解をすすられており，近年，画像認識や音声認識，自然言語
めること，実世界の系において人間を支援し活動す処理で活用されている．
るロボットを構築することを目指す学術領域である． 本発表では，筆者らが取り組んできたノンパラメト
筆者は，記号創発ロボティクスとは記号創発システ
リックベイズに基づく教師なし語彙獲得の機械学習
ムへの構成論的アプローチであると定義している．
手法について紹介しながら，深層学習を用いた性能
記号創発ロボティクスは様々なチャレンジを抱える改善についても併せて紹介する．具体的には階層デが，その一つはロボットによる言語獲得である．
ィリクレ過程隠れ言語モデル (Hierarchical Dirichlet
人間の幼児は生まれた時点で特定の言語に関わる
Process-Hidden Language Model)とそれを用いたノン
語彙や音素に関する知識を持たないところから学習
パラメトリックベイズ二重分節解析器について説明をはじめていく．その幼児が親や他の存在から得る
し，また，マルチモーダル情報を用いた語彙獲得の音声情報にもとづいて，音素に関する知識を得て，手法に関しても概説する．また，記号創発ロボティ
また，語彙に関する知識を得ていく．このような発クスによる知能と言語へのアプローチについて展望
達過程を計算論的にモデル化し，ロボットに持たせを述べる．
ることは，人工知能研究においても認知発達ロボテ
参考文献
ィクスの研究においても大きなチャレンジであると[Taniguchi 16] Tadahiro Taniguchi, Ryo Nakashima,
言える．
Hailong Liu and Shogo Nagasaka, Double Articulation
従来，ロボットが用いる音声認識システムは，大量
Analyzer with Deep Sparse Autoencoder for Unsuperのラベル付き教師データを人手により準備し，教師
vised Word Discovery from Speech Signals, Advanced
あり学習を通じてモデルをトレーニングすることでRobotics, Vol.30, (11-12) pp. 770-783. (2016)
構築することが一般的であった．しかし，幼児にと[Taniguchi 16] Tadahiro Taniguchi, Takayuki Nagai,っても，人間と自然な環境でインタラクションしつ
Tomoaki Nakamura, Naoto Iwahashi, Tetsuya Ogata,and Hideki Asoh, Symbol Emergence in Robotics: A
づけるロボットにとっても，このラベル付き教師デSurvey, Advanced Robotics, Vol.30, (11-12) pp.
ータを取得することは出来ない．幼児がそのような706-728. (2016)
明示的にラベル付けされた音声データではなく，自[Taniguchi 16] Tadahiro Taniguchi, Shogo Nagasaka,
らの感覚運動器から得られる感覚運動情報とラベル
Ryo Nakashima, Nonparametric Bayesian Double Ar付けされない音声データに基づいて語彙獲得していticulation Analyzer for Direct Language Acquisition
ることは明らかである．このような過程を計算論的from Continuous Speech Signals, IEEE Transactionsに表現するためには，教師なし学習にもとづいて語
on Cognitive and Developmental Systems, Vol.8 (3),
彙獲得のプロセスを表現する必要がある．
pp. 171-185. (2016)[中村 15] 中村友昭，長井隆行，船越孝太郎，谷口忠
ノンパラメトリックベイズはベイズ理論の一部で
大，岩橋直人，金子正秀, マルチモーダル LDA とあり，ディリクレ過程やベータ過程を活用すること
NPYLM を用いたロボットによる物体概念と言語
で，隠れ状態数に関して柔軟な機械学習手法を構築
モ デルの相互学習, 人工知能学会論文誌, Vol.30
することが出来る．例えば，ディリクレ過程を混合(3), pp. 498-509. (2015)
率の事前分布としたディリクレ過程混合ガウス分布[谷口
14] 谷口忠大, 記号創発ロボティクス ―知能
では理論的に混合するガウス分布の数を無限個としのメカニズム入門,
講談社. (2014)
た上で，推論を行うことで，用いるガウス分布の混合数を事前に固定することなく学習させる事ができ1

一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-02 (11/09)

量子化 Deep Neural Network のための有界重みモデルに基づく音響モデル学習
Acoustic Model Training based on Weight Boundary Model for Discrete Deep Neural Networks

武田 龍 ∗1 , 中臺一博 ∗2 , 駒谷和範 ∗1
Ryu TAKEDA∗1 , Kazuhiro NAKADAI∗2 , Kazunori KOMATANI∗1

大阪大学 産業科学研究所 ∗1 , (株) ホンダ・リサーチ・インスティチュート・ジャパン ∗2
The Institute of Scientiﬁc and Industrial Research, Osaka University∗1
Honda Research Institute Japan Co., Ltd.∗2

rtakeda@sanken.osaka-u.ac.jp, nakadai@jp.honda-ri.com, komatani@sanken.osaka-u.ac.jp
Abstract

DNN 計算を可能とする．Fixed-point DNN は，重みやバ
イアスパラメータ，中間層の入力変数を n ビット固定小数

本研究では，Deep Neural Network (DNN) に点で表現しており，Very Large Scale Integration(VLSI)基づく音響モデルの省メモリ化と高速化のため，実装や CPU 上の Supplemental Streaming SIMD Exten-

パラメータを数ビットに量子化した DNN の構

sions 3 (SSSE3) 命令を用いた実装により，DNN の高速

築を目指す．それには，1) 量子化に伴う認識誤処理を実現した [7, 8]．Fixed-point DNN のパラメータりの低減と，2) 高速演算が可能な実装方法の開は，n ビットへの量子化と誤差逆伝播法を繰り返すことで発，が必要である．1) に対しては，DNN の重学習される [7, 9]．しかし，最適な量子化ビット数 n の選

みパラメータの正規化を，層単位ではなくノー択は経験的であり，多くの実験を必要とする．また，上記

ド単位に行う有界重みモデルに基づく学習アルの実装は CPU の特殊命令セットや特殊なデバイスを活用

ゴリズムを提案する．2) に対しては，量子化ししている．CPU のみを搭載した小型計算機上や CPU をた重みパラメータを索引に用いるルックアップ

伴った FPGA への実装では，特殊な命令セットを前提とテーブルを用いた実装方法を提案する．これらしない DNN の方が適用しやすい1 .

により，少ないビット数でのパラメータ表現がルックアップテーブル（LUT）は DNN の高速計算に可能となり，また，複数変数の高速な積和演算

有効な方法の 1 つであり，重みパラメータからなる値をが実現できる．評価実験により，単語正解精度

LUT の索引として用いる．例えば，一般的な CPU 上でもキャッシュメモリを活用することで，LUT を用いた DNNの低下を抑えて重みパラメータを 2-bit まで量子化でき，DNN のフォワード計算を 40% 高速

は SSSE3 命令と同等の高速処理が可能である．もちろん，化できることを確認した．

1

はじめに

1.1

背景

LUT 技術はハードウェア実装にも適用できる．我々は，これまで重み有界モデルと境界収縮に基づいた学習アルゴリ
ズムを提案していた [10]．このモデルでは，各層の重みの値はある範囲内に制限されており（層単位の有界重みモデ

Deep neural network (DNN) は，高い識別精度によりル），層単位で重みを正規化する機能を持つ．学習された

Gaussian mixture model (GMM) に代わって音声認識の音響モデルに広く使われている [1, 2, 3, 4]．一方，その膨重みは一様分布またはベルヌーイ分布に従っているため，大なパラメータ数により，使用メモリ量と計算コストは高彙音声認識実験により，単語正解精度を落とすことなく，く，DNN を適用可能な計算機はまだ限られている．GPU

パラメータを 4 ビットまで量子化可能なことを確認した．

や分散処理を用いた実装 [5, 6] は，DNN の処理速度向上

一方，4 ビット量子化における致命的な問題は，高速計算に効果的だが，リソースが制限されたシステムには適用のために必要な巨大な LUT サイズにある．その LUT サが難しい．例えば，通常の CPU を備えた小型計算機や組イズは 32M バイトを超えており，CPU のキャッシュメモ

み込みシステムなどがある．それゆえ，計算コストとメモリを有効活用できず，高速計算のネックとなっていた．そリ量の観点で軽量な DNN が必要である．

のため，より少ないビット数，たとえば 2 ビットで量子化

学習の後に一度だけ量子化するだけでよい．また，大語

量子化 DNN は，パラメータを量子化することで，GPU

1 http://www.xilinx.com/products/silicon-devices/soc/zynqultrascale-mpsoc.html

や分散処理がなくとも合理的な計算コストとメモリ量で2

Type of NNs

Discrete NNs (Ours)
Binary NNsが必要で，元の DNN パラメータ（例えば，ノード数）がPrecision Actual performance Applicable operations

Continuous NNs

32 bit
4 bit
3 bit
2 bit
1 bit

High (Upper limit)

Floating operation

冗長だと，相対的な圧縮率は高くなるからである．

Integer operation
Look-up table(constant value load)
Unknown

最初の手法は，特異値分解（Singular value decompo-

sition; SVD）[14] や行列分解 [15] を用いて重みパラメー
タ数を削減する方法で，音声認識実験で評価されている．

Bit operation

図 1: Properties of neural networks

Xue らは，SVD を中間層の重み行列に適用することで，認識精度の低下なく，使用メモリ量を 80% 削減している

した DNN が，高速計算に実現に必要である．

[14]．削減率は，重み行列を近似する際に用いる特異値の数に依存し，256 や 196 などが使われている．次の方法

本稿では，2 ビット量子化 DNN を達成するため，新たは，ノード削減 [16, 17] や模倣学習 [18] であり，音声認識にノード単位の有界重みモデルに基づく学習アルゴリズ

タスクで評価されている．He らは，重みの値に基づいて

ムと計算機上での実装手法を提案する．2 ビット量子化のノードの重要度を定義し，不要なノードを削除すること

キーは，従来研究では層単位で正規化をして量子化を行っで，中間層のノード数を約 62% 削減している [16]．Li らていた点にある．実際，各ノードで重みの分布とダイナは，元の DNN を模倣する小さな DNN を学習する方法を

ミックレンジが異なるので，層単位の正規化は量子化誤差

提案しているが，精度向上にはより多くの学習データが必を増加する．それゆえ，各ノードに適した重みの範囲で正要となる [18]．３番目の方法は，特殊なネットワーク構造

規化することで，量子化誤差の低減が期待される．ノードに基づくコンパクトな DNN[19] である．彼らは Toeplitz

単位の有界重みモデルに基づた学習アルゴリズムにより，上記の正規化に適した重みパラメータを学習できる．まや Vandermonde 行列といった，特殊な行列を重み行列の表現として用いている．これらの行列構造は，行列・た，本稿では，LUT に適した重みのエンコード・デコー

ベクトル積といった線形演算の高速化を可能にしている．

ド方法を 2 種類提案するが，そのうち 1 つは LUT サイズ

最後の方法は，ノード削減と量子化の組み合わせにより，
Convolutional NN (CNN) と DNN の高い圧縮率を達成

を大きく削減できる．提案した学習アルゴリズムと実装
方法を，大語彙音声認識実験および DNN フォワード計算

しており，画像認識タスクで評価している [20]．彼らは，の real-time factor (RTF) で検証する．

4 または 5 ビットで量子化しており，また，SVD による量子化 DNN の利点としては，量子化ビット数を調整す

圧縮は量子化とノード削減と比べて効果的でないことをることで，必要な性能で多くのタスクに適応可能な点が挙示している．

げられる（図 1）．量子化 DNN は，バイナリ DNN と通常

効率的な量子化方法の追求は，他の手法と組み合わせるの（連続）DNN の中間的な位置付けである [11, 12]．バ

場合でも，軽量な DNN を達成する上で重要であり，Han

イナリ DNN では，すべてのパラメータがバイナリ {0, 1}

らによる実験でも示唆されている [20]．もちろん，ノードで表現されており，最小の量子化 DNN と言える．一方，著者の知る限り，音声認識でのパフォーマンスは評価され削除や DNN の構造も重要であるが，ビットとノードに関する冗長性の性質はやや異なる．例えば，ノード数を最適ていない．Wang らは，DNN の重みパラメータをベクト化した後でも，パラメータの量子化ビット数はある程度

ル量子化し，軽量な音響モデルを構築している [13] ．音の最適化は可能である．本稿では，提案する DNN 量子化

声認識精度を維持し，使用メモリサイズを 90% 削減しての効果を明らかにするため，同じ音声認識タスクにおいいるが，実際の処理速度の改善は CPU キャッシュのためて SVD およびノード削減手法との性能も比較する．

に課題とされている．

1.2

2

関連研究

音声認識や画像処理分野では，軽量な DNN を達成可能な層単位の有界重みモデルに基づく量子化
DNN

量子化以外の方法が提案されており， 1) 重み行列の低ラ

本章では最初に，層単位の正規化をほどこした量子化 DNN

ンク近似，2) ノード削減，3) 特殊なネットワーク構造，のフォワードモデルについて説明する．次に，有界重みモ

および，4) ノード削除と量子化の組み合わせ，に基づく

デルと収縮写像に基づくパラメータ学習を説明する．最手法がある．これらの手法は，使用メモリ量の高い削減率

後に，より小さいビット数へ量子化する際の問題点を説と高速な DNN 計算を実現している．主として，標準的な明する．図 2 に，量子化 DNN の学習手順の概要を示す．

学習手順で構築した DNN に対してパラメータ圧縮処理をフォワードモデル

施し，圧縮後の DNN パラメータを再学習する流れとなっ2.1ている．これらの DNN を比較する場合，同じタスクの条
件下でメモリ量や速度の相対および絶対的な改善量を比DNN のフォワード計算は層 l に関して再帰的に定義される．入力ベクトル xl = [xl,1 , ..., xl,Nl ]T ∈ RNl はアフィン

較する必要がある．特に，圧縮前の DNN サイズには注意

変換され，活性化関数 hl : RMl → RNl+1 が適用される．

3

Boundarycontraction mapping

Pre-training

Tuning based onboundary model(several epochs)

Fine-tuning

すでにファインチューニングされた DNN のものだと仮定
WeightDiscretization

する．
量子化に適したパラメータを学習するために，式（3）に類似した重みの制約を導入する．潜在的なパラメータ
行列 Vl = (vl,ij ) ∈ RMl ×Nl を用いて，フォワード計算を

図 2: Training process of discrete NNs

次のように表現する．

ここで，·T は転置を，Nl と Ml は l 番目の層への入力ベ

zl

クトル xl と中間ベクトル zl = [zl,1 , ..., zl,Ml ]T の次元を

= αl gl (Vl )xl + bl ,(4)

ここで，gl (x) = (gl (xij )) は， tanh(x) のような値域が表す．最終層 L の出力は，初期入力ベクトル x0 が与え[−1, 1] であるような，要素毎の有界な関数行列である．まられた元で，層 l = 0, ..., L − 1 に関する再帰的な計算でた， tanh(x) の導関数は 1 − tanh2 (x) であり， yl,ij =

得られる．

zl

=

Wl xl + bl

(1)

gl (vl,ij ) を満たす．
パラメータは通常の NN の学習と同様に，コスト関数 E

xl+1

=

hl (zl )(2)と教師信号 r = [r1 , ..., rNL ]T ∈ RNL に基づく逆誤差伝播

ここで，行列 Wl = (wl,ij ) ∈ RMl ×Nl とベクトル bl =法に基づいて最適化される．本稿では，E としてクロスエ
ントロピーを使う．初期誤差ベクトル L = ∂E
∂x (r, xL )[bl,1 , ..., bl,Ml ]T ∈ RMl は，第 l 層目の重みとバイアスパを計算した後，次のように l = L − 1, ..., 0 に対する各パラメータである．シグモイド関数とソフトマックス関数

ラメータを更新する:
 T

∂hl
(zl ) l+1 ,δl =∂zが活性化関数 hl として用いられる．音響モデルにおいては，入力ベクトル x0 が音声特徴量，出力ベクトル xL が

Hidden Markov Model (HMM) の状態に関する音響尤度lに対応する [3]．

=αl g(Vl )T δl ,αl − ηδlT gl (Vl )xl ,量子化 DNN のフォワード計算は，DNN の重みと中間αl←

入力ベクトルが数ビットに量子化された状態で定義され

Vl

←

bl

←

る．この式は，学習時ではなく，認識時のフォーワード計
算に用いられる．第 l 層の中間ベクトル zl の i 番目の要素は，層単位の正規化に基づき，次のように計算される．

zl,i

= αl

N
l −1


F (Qy [yl,ij ], Qx [xl,j ]) + bl,i

(5)
(6)


∂gl
(Vl ) ◦ αl δl xTl ,Vl − η
∂V
bl − ηδl ,


(7)
(8)
(9)

ここで， ◦ は行列の要素毎の積を表す演算子であり，η は学習の速度と精度を制御する学習係数である．l は逆誤差

(3)伝播のための第 l 層における誤差ベクトルである．なお，

j=0

我々の有界重みモデル [10] は，Kim らが議論したバイナ

ここで，Qy と Qx は，正規化された重み Yl = (yl,ij ) ∈リ NN の学習モデルの一部と類似している [12]．

RMl ×Nl (i.e. yl,ij = wl,ij / maxi,j |wl,ij |) と第 l 層の入力ベクトル xl,j をバイナリや整数にエンコードする関数でク毎に次の境界収縮写像を行う．これは過去の実験から得ある．F (a, b) は，２つのバイナリ値 a と b のデコードとられた次の事実によって導入している．1) 小さな αl は式

正規化パラメータ αl を小さくするため，適当なエポッ

積演算を行う関数である．αl は第 l 層の重みの正規化パラメータであり，Yl , Qy , Qx 及び F の定義に依存する．
式 (3) における複数の F と加算演算は，目的の計算機（3）の量子化誤差を減少させる，2) 学習後の重み wl,ij の分布が非ガウス分布，特に線形量子化 Qy に有効に働く
ベルヌーイ分布に近くなる．

の構造に応じていくつか実現方法がある．例えば，Qy , Qx
が n ビット整数に線形量子化する演算，F が単純な整数

αl←max |wl,ij |,(10)

積演算であるとする．もし，SSSE3 のような特殊命令を

vl,ij

←

wl,ij / max |wl,ij |,(11)用いると，8 変数の積和は 3 命令で実現できる．他にも

i,j

i,j

LUT を用いれば，重みと入力ベクトルを結合した索引に

ここで，Wl = αl gl (Vl ) である．g に tanh を用いるのよって，予め計算された複数変数の積和結果を読み出す

で，この操作で αl は単調に減少する．

だけでよい．

2.2

2.3

パラメータ学習

問題点

層単位の有界重みモデルに基づく学習は，音声認識精度

量子化 DNN の学習は，連続領域で次の 2 ステップを何を下げることなく 4 ビットの量子化 DNN まで実現でき回か繰り返して行われる．1) 逆誤差伝播法 [21]，2) 重み

た．しかし，LUT を用いたフォワード計算の高速化は非境界の収縮．これ以降，登場するパラメータの初期値は，現実的であった．なぜなら，4 ビット量子化では LUT に4

必要なメモリ量が 32M バイトとなり，一般的な CPU の縮は同様に修正され，キャッシュメモリサイズを大きく超えているからである．
キャッシュメモリを活用するには，より小さなビット数での量子化が不可欠である．
実際の重みのダイナミックレンジと分布はノード毎に

λl,i

←

max |wl,ij |,

(18)

vl,ij

←

wl,ij / max |wl,ij |.

(19)

j

j

となる．

異なっている．そのため，層単位で重みを正規化すると情ルックアップテーブルを用いた実装方法

報損失が大きくなり，小さなビット数では量子化誤差が増

3.2

大する．その改善には，学習と認識において，ノード毎にLUT の実装方法は，エンコード関数 Qx がバイナリ値{0, 1} を出力するか否かで 2 種類に分けられる．初めに，異なる重みのダイナミックレンジを考慮する必要がある．

3

一般的なモデルで LUT のエンコード・デコード方法を説

ノード単位の有界重みモデルに基づく量子化 DNN

明する．そのあと，特別なバイナリモデルの場合について議論する．

本研究では，重みのダイナミックレンジと分布を均一化可

3.2.1

一般モデル

能な，ノード単位の有界重みモデルに基づく学習アルゴリ

説明のため，まず，重みの行ベクトルと入力ベクトルをズムと実装方法を提案する．はじめに，フォワード計算にいくつかのグループに分け，各グループで D 個の要素をおけるノード単位での重みの正規化と，学習のためのノー持っていると仮定する．それらを用いたバイナリコード

ド単位での有界重みモデルを説明する．次に，任意の計算をそれぞれ次のように記述する．

機構造で適用可能な LUT を用いた実装方法に関しても議ȳ(l,i,k)論する．最後に，量子化対象の層に関して議論を行う．

x̄(l,k)3.1

フォワードモデルとパラメータ学習[λl,1 , ..., λl,Ml ]T を導入する．ノード単位の正規化は次式で表現される．

(21)

Nl /D

zl,i

F (Qy [yl,ij ], Qx [xl,j ]) + bl,i . (12)= λl,iT [ȳ(l,i,k) x̄(l,k) ] + bl,i .

(22)

k=0

加算回数は明らかに 1/D に削減されている．

LUT は事前にすべてのバイナリコードのパターンを予め計算することで構築する．ā, b̄ のすべてのパターン, 例

正規化パラメータの対角行列表記 Λl = diag(λl,1 , ..., λl,Ml )を用いることで，ノード単位の有界モデルは次のように

えば, 0 から 2n − 1 を具体的に列挙して構築する．

表現できる．

= Λl gl (Vl )xl + bl .

(20)

ワード計算は次のように表現できる．

j=0

zl

,

[010, 101] の場合，LUT のインデックスはバイナリ表現で[110101010101] となる．式（12）から，量子化後のフォ代わりに，ノード毎に異なる正規化パラメータ λl == λl,i=D(k+1)−1{Qx [xl,i ]}i=Dk.

参照される．例えば，ȳ(l,i,k) = [110, 101] と x̄(l,k) =ナミックレンジをより適切に設定する．そのため，αl のzl,i{Qy [yl,ij ]}j=Dk

LUT，T ，は，以上のバイナリコードの組み合わせで本研究では，層単位ではなく，ノード単位で重みのダイ

N
l −1


D(k+1)−1=

T [āb̄] =

(13)

D−1


F (aj , bj ) =

j=0

D−1


−1
Q−1
y [aj ]Qx [bj ]

(23)

j=0

各パラメータは確率勾配に基づき逆誤差伝播法で学習

ここで，aj と bj は ā と b̄ に対応する第 j 要素を表現すされる．新たに導入したパラメータに関する更新則は次

−1
る．Q−1
y と Qx は，Qy と Qx に対応するデコード関数のように導出される．

であり，バイナリパターンの連続値表現を返す．




∂hTl
(zl ) l+1 ,
∂z

δl

=

l

=

λl

← λl − ηδl ◦ (gl (Vl )xl ) ,∂gl(Vl ) ◦ Λl δl xTl .
← Vl − η∂VVl

Λg(Vl )T δl ,gl (x) = tanh(x) で，hl (x) = 1/(1 + exp(−x)) である(14)

場合には, n ビットの各デコード・エンコード演算は次の(15)ように定義される．

(16)

Qx [x](17)以上の式より，式 (7) では 1 つの αl に集約していた伝播
していることがわかる．Wl = Λl gl (Vl ) における境界収

ﬂoor[(2n − 1)x + 0.5],nﬂoor[(2 − 1)(y + 1)/2 + 0.5],

(25)

Q−1
x [x]

x/(2n − 1),

(26)

=
=

n

2y/(2 − 1) − 1.

なお，本稿では LUT 自体の最適化は扱わない．

5

(24)

Qy [y] =Q−1y [y]誤差ベクトル δl が，それぞれの正規化パラメータに影響

=

(27)

表 1: Memory requirement per layer in bytes
32-bit float
8-bit SSSE
4-bit general LUT
3-bit general LUT
3-bit-bin binary LUT
2-bit general LUT
1-bit general LUT

for weights
4Nl MlNl Ml
Nl Ml /2
Nl Ml 3/8
Nl Ml 3/8
Nl Ml /4
Nl Ml /8

表 2: Conﬁguration

for LUT
–
–
28D
26D
23D
24D
22D

Item
Audio data
STFT analysis
Features for GMM
Features for DNN
Language model
GMM-HMM

3.2.2

バイナリモデル# of DNN layer (L)もし，xl にバイナリ量子化を採用するなら，テーブル

DNN network size

サイズはビットマスク演算により半分にできる．例えば，

Training setȳ(l,i,k) = [110, 101] と x̄(l,k) = [0, 1] の場合，T のイン
デックスは通常は [11010101] となる．デコード関数がTest set−1−1
Q−1
y [000] = 0, Qx [0] = 0 かつ Qx [1] = 1 を満たす

限り，ȳ(l,i,k) のビットを x̄(l,k) でマスクすることで，バValue
16 bits, 16 kHz samplinghamming window: 25 ms, shift: 10 ms
MFCC 39 dim.
[13+ Δ 13 + ΔΔ 13]FBANK 825 dim.
[(25+ Δ 25 + ΔΔ 25) × 11 frames]
3-gram statistical
65000 words
3-state tri-phone4000 tied-states
32 mixtures
7
input layer: 1024 × 825
middle layer: 1024 × 1024
output layer: 4000 × 1024
clean speech 223 hours(799 males and 168 females)clean speech 3.5 hours(15 males and 5 females)

イナリモデルの LUT, Tb , のインデックスは [000101] とすべての層の重みを量子化していた．最終層の出力は識できる．これは次式により理解できる．

別に用いられるので，本稿では最終層の重みも量子化を行わず浮動小数点で表現する．

−1
−1
−1
T [11010101]= Q−1
y [110]Qx [0] + Qy [101]Qx [1](28)=0 + Q−1y [101]

(29)

4

評価実験

=

−1
Q−1
y [000] + Qy [101]

(30)

4.1

実験設定

=

Tb [000101].

(31)

日本語話し言葉コーパス（CSJ）[22] を用いた連続音声認識実験により，ノード単位の有界重みモデルに基づく

なお，このバイナリモデルにおける Qy と Q−1
y の定義は，

音響モデルを評価した．まず，n ビット量子化における式 (25) と (27) から適切に変更する．使用メモリ量は削

ノード単位・層単位モデルの単語正解精度（WA）を比較

減できるが，量子化誤差の増加と音声認識率の低下を招する．この時，学習フェーズ (Eq.(4) or Eq.(13)) と，認識く可能性があるため，その効果は実験的に確認する必要

フェーズ (Eq.(3) or Eq.(12)) のそれぞれにおいて，ノーがある．

ド単位・層単位のモデルの各組み合わせにおける正解精3.2.3

度を調査する．正規化した重みの平均量子化誤差, |y −使用メモリ量の比較

Q−1
y [Qy [y]]| と，ノード単位の重み統計量として正規化尖度 E[(x − E[x])4 ]/E[(x − E[x])2 ]2 − 3 に関しても議論す

表 1 に，各実装方法における DNN 重みと LUT のメモ
リ使用量を示す．32-bit float と 8-bit SSSE は，通常の浮動小数点の積和演算と SSSE3 命令セットによる方法で，

LUT 自体を必要としない．3-bit-bin (binary LUT) はバる．E は期待値演算を表す．LUT の一般・バイナリモデ
ルの各実装におけるフォワード計算のリアルタイムファク
タ (RTF) も比較した．RTF は次式で定義される．

イナリモデルの LUT を意味し，その他の項目は一般モデ
ルの LUT の結果を示している．32-bit float では 4Nl Ml

RTF = (processing time)/(data duration).

(32)のメモリが重みに必要であるが，他の方法ではそれの 1/8
以下のメモリ量で済む．なお，LUT のサイズはパラメー

ノード削減 DNN [16] と SVD-DNN[14] の WA，RTF お

タ D にも依存する．全体のメモリ使用量は，実際の CPU

よびメモリ使用量も調査した．

キャッシュサイズを考えると，1, 2 M バイト以下が理想

DNN 音響モデルの学習用データとして，約 223 時間分の学術講演音声を用いた．評価用データは，CSJ テスト

的である．

セット 1 および 2 の約 3.5 時間分，男性 15 名・女性 5 名

3.3

量子化対象の層の選択分の音声である．言語モデルの学習データは，評価用デー

本研究では，量子化したフォワード計算はすべての層にタを除いた CSJ に含まれるすべての書き起こしテキスト適用しない．というのは，少なくとも入力層への入力はを用いた．語彙サイズは 65000 であり，トライグラム言語[0, 1] の範囲に収まっていないからである [8, 10]．また，重みを量子化する層を選択することで，音声認識性能を改

モデルを用いた．音声認識器は Julius (ver. 4.3.1) [23] を善できる可能性はある．以前の報告では，入力層を除いたある 8 と −2 に設定した. また，ビーム幅は 4000 にした．

用い, 言語モデル重みと挿入ペナルティはデフォルト値で6

表 3: Word accuracy (WA) vs. quantization bits for clean speech task
Applied model
Training
NormalTraining
Baseline

Proposed

P0
P1
P2
P3
P4

Recog.

–
layer-wise–layer-wise–node-wise–
node-wise
layer-wise layer-wiselayer-wise node-wisenode-wise
layer-wisenode-wise
node-wise
re-train. (2-bit quan.)Discretelayer l
1-6
1-5
1-6
1-5
1-5
1-5
1-5
1-5
1-5

2-bit
-bin
–
–
–
0.69
–
41.17
–
58.45
–

1-bit
–
1.10
–
1.07
2.98
2.73
2.06
1.45
–

DNN 音響モデルは，GMM-HMM を用いたラベル付与

Word accuracy (%)
3-bit
2-bit
3-bit
-bin
-2.24
–
-1.16
2.17
–
2.80
2.13
–
57.47
2.17
1.33 62.35
77.78
–
80.07
77.55
59.45
80.82
44.35
–
66.13
79.37 61.40 81.05
80.15
–
–

4-bit

8-bit

-3.35
49.54
79.07
79.83
81.07
81.47
80.14
81.10
–

80.63
81.74
81.82
81.82
81.32
81.36
81.52
81.52
–

32-bit
ﬂoat
81.86

81.33
81.53

従来研究と同様，性能改善のため，ノード削除と SVD を適用した後に，DNN パラメータを再学習した．

とフレーム単位での識別に基づき学習した．初めに，混合数 32・共有状態数 4000 のトライフォン GMM-HMM
を HTK (Hidden Markov Model Toolkit) 2 を用いて学習

4.2

した．音声特徴量は，13 次元の Mel-frequency cepstral

4.2.1

coeﬃcients (MFCCs)，その 1 次差分および 2 次差分の計
39 次元である．音声データのサンプリング周波数は 16kHz

実験結果
単語正解精度

表 3 に，異なる量子化ビット数に対する WA を示す．

Normal Training の行は，有界重みモデルではなく，通であり，窓長 25 ミリ秒・シフト長 10 ミリ秒で短時間フー常の DNN モデルで学習したパラメータでの認識結果をリエ解析を行った．また，発話単位毎に平均・分散正規化を表す．Discrete layer の列は，量子化対象の層を表してい行っている．DNN-HMM は，GMM-HMM と同じ HMM

る．2-bit-bin と 3-bit-bin は，重みは 2・3 ビットに量子化

パラメータを利用し， DNN の中間層のノード数は 1024

し，中間層への入力ベクトルを 1 ビットに量子化した場合

で，L = 7 とした．出力ノードの次元は，HMM の状態の結果を示す．2-bit などの他の表記では，重みと中間層を識別するため 4000 に設定した．DNN への入力特徴量

への入力ベクトルの量子化ビット数は同じである．32-bit

は，基本特徴量における中心フレームと前後 5 フレーム

float は量子化していない浮動小数点で表現された重みをを連結した計 11 フレームの 825 次元となっている．その意味する．なお，GMM-HMM の単語正解精度は 75.8 %基本特徴量は，25 次元の対数メルフィルタバンク係数と1 次差分，2 次差分で構成される．平均・分散正規化を同様に適用した．これらの設定を表 2 にまとめる．最後に，であった．
まず，量子化ビット数と各手法の WA の関係に関して述べる．8 ビット量子化ではすべての手法はほぼ同程度

GMM-HMM に基づくビタビアライメントにより得られた状態ラベルを用いて，DNN パラメータを学習した．プの性能であり，より小さいビット数では性能差が明確に

レトレーニングは段階的に識別学習を行う方法を用い [3]，なっている．表中の Normal Training に着目すると，通常モデルで学習し，認識時に層単位の正規化を行った場

学習係数の半自動調整を行うため AdaGrad [24] を用い合（Recog.），4 ビット量子化以下では認識に失敗していた．ミニバッチサイズは 64 に設定した．ファインチュー

ることがわかる．認識時にノード単位の正規化を適用す

ニングの後，有界モデルを用いた学習を行った．重みの量

るだけで，WA は大きく改善しており，ノード単位の正規子化後，入力層などの量子化を行わなかった層のパラメー化の重要性が示唆される．量子化対象の層を制限すると，
3 ビットのようなシビアなビット数においても WA を改

タの再学習も検討した．ドロップアウト [25] も DNN の絶対的な性能を改善する可能性があるが，Kim らが議論善している．これ以降は，層 l = 1, ..., 5 における重みにしているように [7]，その有無で手法間の相対的な差には量子化を行った結果を比較する．

致命的な影響を及ぼさないと考えている．

次に，ノード単位での有界重みモデルと各 LUT の実装

ノード削減 DNN と SVD-DNN においても，初期値にを用いた場合の WA に着目する．ノード単位モデルの WA

用いる DNN のパラメータ値，構造，特徴量などは提案

は，P2 のミスマッチ状況を除き，2・3 ビットの量子化に法の場合と同様にした．ノード削減 DNN は，出力重みノ

おいて，ベースラインの WA を最大 1.8 ポイント上回っ

ルム基準 [16] によって行い，中間層のノード削減率は 10,ている．特に，P3 では 2 ビット量子化においても十分に

20, 40, 60, 80% に設定した．SVD-DNN [14] も，SVD は中間層の重み Wl (l = 1, ..., 5) に対して適用し，用いる

高い精度を保っており，通常の DNN と比較して 2 ポイン

特異値数は 32, 64, 128, 256, 512 および 768 に設定した．
2 http://htk.eng.cam.ac.uk/

トしか WA は低下していない．P3 から量子化を行っていない層のパラメータ再学習することで，少し性能は改善している (P4)．2-bit-bin および 3-bit-bin の WA は，中7表 4: Quantization error (QE) vs. quantization bits. Discrete layers were 1-5 in all cases for clean speech task.

Normal training
Baseline
Proposed

P0
P1
P2
P3, P4

Applied model
Training
Recognition–
layer-wise–node-wise
layer-wiselayer-wiselayer-wisenode-wise
node-wise
layer-wisenode-wise
node-wise

1-bit
9.13E-01
8.31E-01
3.10E-01
2.26E-01
7.24E-01
2.92E-01

Quantization error
2-bit
3-bit
2.50E-01
8.42E-02
1.98E-01 7.25E-02
1.89E-01
8.16E-02
1.27E-01 7.25E-02
1.38E-01
6.83E-02
1.52E-01
7.85E-02

4-bit
3.43E-02
3.33E-02
3.29E-02
3.58E-02
3.35E-02
3.44E-02

8-bit
1.96E-03
1.96E-03
1.97E-03
1.96E-03
1.96E-03
1.96E-03

度低下を招いたと推察される．ノード単位の有界重みモ
表 5: Computer speciﬁcations for forward calculation
OS
CPU
MemoryCache

デルに基づく学習は，各ノードの重みの分布を均一にし，Ubuntu 14.04.2 LTSIntel Core i5-4690 3.50GHz
32GB
6M

連続値と量子化した値の隔たりを埋め，そのような状況を避けられたと考えられる．
最後に，層単位およびノード単位モデルの実際の重み分
布を図 4 に示す．通常学習 (normal training) の重み分布

間層への入力ベクトルを {0, 1} に量子化したにも関わらはガウス分布に似ているが，有界モデルを用いた学習されず 50% 以上となった．2-bit-bin では，層単位モデルからた重みの分布はベルヌーイ分布に近くなっている．−1 と約 16 ポイント WA が改善しており，ノード単位モデルに基づく学習の優位性を示している．しかし，1 ビットに重1 付近にある 2 つのピークは，正規化パラメータ αl , λl,iが小さくなるにつれて，外側へ移動する傾向にある．それ

みを量子化する（1-bit ）と全く認識されず，2 ビットと 1ゆえ，それらは分布の形状を制御していると考えられる．

ビット量子化の間に大きな隔たりがある．1 ビット量子化

4.2.3

DNN を実現するには，より精度を保てるパラメータ学習

LUT を用いたフォワード計算の RTF

LUT における一般的モデル（general model）とバイナと量子化方法が必要となる．

リモデル（binary model）の２つの実装方法を用いて，量4.2.2

量子化誤差および重み分布

子化 DNN のフォワード計算の速度向上率を明らかにす

量子化誤差 (QE) と WA の関係を理解するため，各る．また，重みと LUT の使用メモリ量も同時に示す．計

ビット数における平均量子化誤差を表 4 に示す．normal

算機のスペックは表 5 に示す通りである．CPU のキャッtraining と baseline (P0) の QE は，認識時でノード単位の正規化を行うことで減少している．しかし，低い量子シュサイズと周波数は LUT を用いた計算に十分な値で化誤差が必ずしも高い WA に繋がっているとは限らない．

RTF と LUT・重みに必要なメモリ量の関係を表 6 に

例えば，P1 における QE は P0 と比較して改善している

示す．表中では 2 つの RTF が示されているおり，1 つはが，それらの WA は同じ程度である．

中間層 (l = 1, ..., 5) に対する RTF(partial)，もう一つはある．

次に，通常学習，層単位およびノード単位の有界重み

DNN 処理全体 (l = 0, ..., 6) に対する RTF(all) である．

モデルに基づく学習の違いを分析するため，重みに対する

これは，量子化が中間層の重みに対して適用されており，ノード単位の尖度の分布に注目 s する．ガウス分布，一様

実質的な速度改善はこれらの層（l = 1, ..., 5）に限られる

分布，ベルヌーイ分布の尖度はそれぞれ 0, −1 および −2からである．32-bit float は，LUT や特殊命令セットを用である．図 3 に，学習後における normal training，P0

いない通常の積和実装を表し，8-bit SSSE は [8] で提案(baseline, layer-wise) および P3 (node-wise) の尖度の分された SSSE 命令セットを用いた実装である. baseline は布を示す．normal training の尖度は 0 以上であるため，

4 ビットの量子化 DNN の結果であり，層単位モデルの限重みはガウス分布やよりスパースな分布をしていること界値である．表中の D は，式 (22) において同時に計算さがわかる．一方，baseline と提案モデルの重み分布はベルれる変数の数を意味する．

ヌーイ分布に近い．というのは，ほとんどの尖度が −1 よD = 3, 4 において，一般・バイナリの両実装モデルにりも小さいからである．また，baseline の尖度分布には提対する RTF(all) は，baseline と比較して約 30〜40% の案モデルの方にはない複数のピークが見られる．この内，処理速度向上を達成し，SSSE 命令を用いた実装に近い処

比較的尖度が大きいピークは，量子化 DNN の中間出力に理速度となっている．さらに，3-bit-bin で D = 7 の RTF

おける誤差を増大させ，その誤差の範囲や分布も各ノード

は，WA は十分ではないものの，SSSE と同等の処理速度で異なると考えられる．このような誤差が途中で打ち消となっている．しかし，3 ビットの量子化では 4M バイト

し合うこともなく蓄積していき，HMM や言語モデルで平の LUT を必要とする．もし，2 ビット量子化かつバイナ滑化可能な範囲を超え，層単位での正規化方法の認識精

リモデルを適用し，D = 8 に設定すると，SSSE と同等

8

1.4E+05

800

normal training
baseline
proposed

1.0E+05
Frequency

Frequency

600

normal training
baseline
proposed

1.2E+05400

8.0E+04
6.0E+04
4.0E+04200

2.0E+04

0
-2

0

6

4

2

0.0E+00-1

図 3: Kurtosis distributions

-0.5

0

0.5

1

図 4: Weight distributions

表 6: Real-time factor of forward calculation and memory usage on single CPU
Methods
Standard
Baseline

ProposedSpecial32-bit ﬂoat
4-bit (general LUT)
4-bit (general LUT)
3-bit (general LUT)
3-bit-bin (binary LUT)
2-bit (general LUT)
1-bit (general LUT)
8-bit SSSE

RTF (partial)(l = 1, ...., 5)
0.435
0.653
0.220
0.255
0.096
0.111
0.084
0.092

RTF (all)(l = 0, ..., 6)
0.841
1.060
0.641
0.661
0.501
0.517
0.489
0.498

D
1
3
2
3
7
4
8
8

Memory usage (bytes)
total weights
LUT(l = 1, ..., 5)
–
20 M
32 M
2.5 M
128 K
2.5 M
512 K
1.85 M
4M
1.85 M
128 K
1.25 M
128 K
640 K
–
5M

の処理速度を達成しつつ，LUT サイズは 512K バイトにらにノード削減率を高くする必要があり，使用する特異値抑えられる．1 ビット量子化 DNN は 8-bit SSSE の処理数も極端に減らす必要がある．例えば，これまで報告さ速度を上回っているので，その WA の改善が期待される．

れているような 80% の圧縮率を達成するためには，ノー中間層だけの RTF(partial) に注目すると，DNN の量子ド削減率では 60% 程度必要であり，特異値数では 64 に化ビット数に比例して，RTF が改善していることがわか設定する必要がある．しかし，それらの設定での WA はる．例えば，2 ビット実装の RTF(partial) は，32 ビット

80% を下回っている．この結果は，本研究での用いた中実装から約 75% 処理速度の向上がみられる．ハードウェ

間層におけるノード数が他の報告で用いられている数，例

ア上での論理回路を用いた実装では，さらなる RTF の改

えば 2048，よりも相対的に小さい点が一因している．以

善が期待される

上より，使用メモリ量の削減において，量子化の効果は大4.2.4

きいと言える．

ノード削減 DNN と SVD-DNN との比較

次に，各手法の RTF に注目する．ノード削減法は，通表 7 と表 8 に，ノード削減 DNN と SVD-DNN の WA,

常多くのノードを含む出力層の重み行列の次元を大きくメモリ使用量および RTF を示す．これらの表でも 2 種類

削減可能なので，RTF(all) は量子化 DNN と比較するとの RTF が示されており，1 つは中間層 (l = 1, ..., 5) に対す

大きく改善している．量子化ビット数は，DNN のノード

る RTF(partial)，もう一つは DNN 処理全体 (l = 0, ..., 6)

数を最適化した後でも，最適化するとは可能であるため，での RTF(all) である．再学習を行わない場合の WA は，
すべての設定において元の DNN よりも低くなっている．

SVD-DNN での性能低下はノード削減 DNN よりも深刻

ノード削除と量子化の組み合わせは，DNN の構造を改善する効率的な戦略であるといえる [20]．そのような場合でも，量子化の方法は重みの圧縮率と認識性能に影響を与でない．これは，SVD は元の重み行列の値を保つようなえるため，量子化アルゴリズムの改善は不可欠である．

次元圧縮方法だからである．多くの場合，再学習の後でWA は 81% まで改善している．

5

まず，各手法の使用メモリ量と WA の関係について比較する．量子化 DNN では約 1.4M バイトの使用メモリ量議論

実験結果から，WA，量子化誤差および重みの統計量に関で WA 80% を達成していたが，ノード削減 DNN および

して，1) 量子化誤差と WA の関係と 2) 重みの正規化のSVD-DNN では，3M のような少ない使用メモリ量の場
合，WA は 80% 未満となっている．量子化 DNN と同等効果に関する事実を得た．前者は，DNN のパラメータ学の使用メモリ量および RTF(partial) を達成するには，さ改善するわけではないので，パラメータ学習のコストに習の戦略に影響を与える．QE は必ずしも直接的に WA を9

表 7: The Performance of Node-pruning: word accuracy, memory usage, and RTF
Pruning-ratio
80%
60%
40%
20%
10%

Word Accuracy (%)
w/o retrain
w/ retrain
0
74.48
0
78.29
0.56
80.28
1.35
81.29
58.06
81.64

Memory usage (bytes)(l = 1, ..., 5)
0.8 M
3.2 M
7.2 M
12.8 M
16.2 M

RTF (partial)(l = 1, ...., 5)
0.018
0.070
0.155
0.274
0.346

RTF (all)(l = 0, ...., 6)
0.101
0.233
0.397
0.592
0.702

表 8: The Performance of SVD-DNN: word accuracy, memory usage, and RTF
SVD dim.
32
64
128
256
512
768

Word Accuracy (%)
w/o retrain
w/ retrain
4.35
48.81
3.35
79.74
2.96
80.52
11.41
81.78
79.36
81.81
81.62
82.01

Memory usage (bytes)(l = 1, ..., 5)
1.25 M
2.5 M
5.0 M
10.0 M
20.0 M
30.0 M

RTF (partial)(l = 1, ...., 5)
0.034
0.056
0.111
0.215
0.421
0.628

RTF (all)(l = 0, ...., 6)
0.431
0.456
0.508
0.611
0.817
1.024

QE を最小化するような制約を加えるだけでは，効果的で含むような，入力データのパターン数が増加する場合，そないと考えられる．後者は，量子化 DNN に対する他の重れらを記憶または識別するためのより多くの「記憶容量」

み制約の可能性を示唆している．もし，WA を改善するたが必要である．そのため，ヘテロなデータを扱う場合に，めにこの事実を直接的に用いるのであれば，ノード単位のクリーン音声用に設計された DNN 構造を流用すると，少重みの尖度の平均を最小化するアプローチもある．LUT

ないビット数での量子化はより難しくなると考えられる．

の最適化や，重みの非線形量子化なども，1 ビット量子化

使用メモリ量と計算効率の観点でより一般的に最適化をを含む低ビット量子化 DNN の WA 改善に効果的である．

行うには，入力データと演算の実装方法に合わせた DNN

また， sequence training も WA の向上に効果があると推構造の適応（ノード削減など）と量子化を同時に扱う枠組察される．なぜなら，HMM と言語モデルによるフィルタ

みが不可欠である．

効果により，量子化誤差の影響は小さくなるからである．
量子化後のフレーム単位での状態識別率はとても低い，と6いう事実もこの仮説を支持している．

結論

バイナリモデル LUT に基づく実装も改善の余地があり，その実現可能性は残されている．提案したノード単位の本研究の目的は，省メモリ・低計算コストな音響モデル

モデルは，中間層への入力ベクトルの量子化を考慮してのための量子化 DNN の開発である．4 ビットの量子化でいないため，その影響を学習に組み込むことで性能改善

は LUT サイズが巨大となるので，使用メモリ量の観点でが可能だと考えられる．理想的には，そのベクトルの要素

2 ビットでの量子化が必要となった．2 ビット量子化のカもベルヌーイ分布に従っていることである．そのようなギは，重みパラメータのバラつきの正規化方法にあった．

分布の形成に適した制約を，発見または開発することが本研究では，層単位ではなく，ノード単位の有界重みモデ必要である．これは，単に活性化関数で用いられるシグモルに基づいてパラメータを学習するアルゴリズムを開発

イド関数などのスケールパラメータを調整するだけで十した．このアルゴリズムは，ノード単位で重み分布のバ分な可能性もある．以上の課題を解決すれば，2 ビット重ラつきを均一化し，量子化に有効な重みの学習を可能にみ量子化とバイナリモデル LUT に基づいた実装が実現でした．また，量子化 DNN の実装として，メモリ使用量がきる．

異なる，一般的な LUT およびバイナリ LUT に基づくの
2 種類の実装方法を提案した．2 ビット量子化 DNN の評

最後に，DNN の本質的な「記憶」力も，より進んだ研価実験では，高い単語正解精度を保ちつつ，DNN のフォ究を行うために考慮すべきである．例えば，もし，巨大なワード計算の計算速度を約 40% 向上した．

ネットワークを中間層に用いると，従来研究 [9] でも述べられているように，重みの量子化はより簡単になると予残された主な課題は，メモリ量と処理速度を改善する

想される．彼らの研究では，10 種の数字画像の識別精度ために，ノード削減法との組み合わせや中間層への入力を，より多くの中間層のノード数を用いることで改善でベクトルの 1 ビット量子化である．そのカギとなるアプ

きたと報告している．そのため，ノード数と重み表現に必

ローチは sequence training，重みの非線形量子化などが要なビット数，必要なメモリ量および演算効率などの関係あり，これらの技術を用いてより省メモリかつ低計算コスをより詳細に調べる必要がある．また，雑音や残響音声をトな DNN 構築を目指す予定である．

10

謝辞
本研究は JSPS 科研費 15K16051 の助成を受けたものです．

[16] T. He, Y. Fan, Y. Qian, T. Tan, and K. Yu, “Reshaping deepneural network for fast decoding by node-pruning,” in Proceedings of the IEEE International Conference on Acoustics,
Speech and Signal Processing, 2014, pp. 245–249.
[17] S. Han, J. Pool, J. Tran, and W. Dally, “Learning bothweights and connections for eﬃcient neural network,” in Advances in Neural Information Processing Systems, 2015.

参考文献[1] G. E. Dahl, D. Yu, L. Deng, and A. Acero, “Contextdependent pre-trained deep neural networks for largevocaburary speech recognition,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 20, no. 6, pp. 82–
97, 2012.

[18] J. Li, R. Zhao, J.-T. Huang, and Y. Gong, “Learning smallsize DNN with output-distribution-based criteria.,” in Proceedings of Interspeech, 2014, pp. 1910–1914.
[19] V. Sindhwani, T. Sainath, and S. Kumar, “Structured transforms for small-footprint deep learning,” in Advances in Neural Information Processing Systems, 2015.

[2] G. Hinton, L. Deng, D. Yu, G. E. Geroge, A. Mohamed, N.
Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. N. Sainath,and othres, “Deep neural networks for acuostic modelling inspeech recognition,” Signal Processing Magazine, vol. 29, no.
6, pp. 82–97, 2012.

[20] S. Han, H. Mao, and W.J Dally, “Deep compression: Compressing deep neural network with pruning, trained quantization and huﬀman coding,” in ICLR, 2015.

[3] F. Seide, G. Li, , and X. Chen D. Yu, “Feature engineeringin context-dependent deep neural networks for conversational
speech transaction,” in Proceedings of the IEEE Workshop
on Automatic Speech Recognition and Understanding, 2011,
pp. 24–29.

[21] D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning
representations by back-propagating erros,” Nature, pp. 533–
536, 1986.

[4] F. Seide, G. Li, and D. Yu, “Conversational speech transcription using contex-dependent deep neural network,” inProceedings of the Interspeech 2011, 2011, pp. 437–440.

[22] K. Maekawa, “Corpus of spontaneous Japanese: Its design and evaluation,” in Inproceedings of the ISCA & IEEE
Workshop on Spontaneous Speech Processing and Recognition, 2003.

[5] R. Raina, A. Madhavan, and A. Y. Ng, “Large-scale deep
unsupervised learning using graphics processors,” in Proceedings of the 26th Annual International Conference on Machine
Learning, 2009, pp. 873–880.

[23] A. Lee and T. Kawahara, “Recent development of opensource speech recognition engine Julius,” in Proceedings of
the Asia-Paciﬁc Signal and Information Processing Association, Annual Summit and Conference, 2009, pp. 131–137.

[6] J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, Q. Le,
M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, andA. Ng, “Large scale distributed deep neural networks,” inAdvances in Neural Information Processing Systems, 2012,
pp. 1223–1231.

[24] J. Duchi, Elad. Hazan, and Y. Singer, “Adaptive subgradientmethods for online learning and stochastic optimization,” The
Journal of Machine Learning Research, vol. 12, pp. 2121–
2159, 2011.
[25] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and
R. Salakhutdinov, “Dropout: A simple way to prevent neuralnetworks from overﬁtting,” The Journal of Machine Learning
Research, vol. 15, no. 1, pp. 1929–1958, 2014.

[7] J. Kim, K. Hwang, and W. Sung, “X1000 real-time phoneme
recognition VLSI using feed-forward deep neural networks,”
in Proceedings of the IEEE International Conference on
Acoustics, Speech and Signal Processing, 2014, pp. 7510–
7514.
[8] V. Vanhouche, A. Senior, and M. Z. Mao, “Improving
the speed of neural networks on CPUs,” in Proceedings ofthe Deep Learning and Unsupervised Feature Learning NIPS
Workshop, 2011, vol. 1.
[9] C. Z. Tang and H. K. Kwang, “Multilayer feedforward neuralnetworks with single powers-of-two weights,” IEEE Transactions on Signal Processing, vol. 41, no. 8, pp. 2724–2727,
1993.
[10] R. Takeda, N. Kanda, and N. Nukaga, “Boundary contraction training for acoustic model based on discrete deep neuralnetworks,” in Proceedings of the Interspeech, 2014, pp. 1063–
1067.
[11] D. Soudry, I. Hubara, and R. Meir, “Expectation backpropagation: Parameter-free training of multilayer neural networks
with continuous or discrete weights,” in Advances in Neural
Information Processing Systems, 2014.
[12] M. Kim and P. Smaragdis, “Bitwise neural networks,” in Proceedings of the ICML Workshop on Resource-Eﬃcient Machine Learning, 2015.
[13] Y. Wang, J. Li, and Y. Gong,“Small-footprint highperformance deep neural network-based speech recognition
using split-vq,” in Proceedings of the IEEE International
Conference on Acoustics, Speech and Signal Processing, 2015,
pp. 4984–4988.
[14] J. Xue, J. Li, and Y. Gong, “Restructuring of deep neuralnetwork acoustic models with singular value decomposition.,”in Proceedings of Interspeech, 2013, pp. 2365–2369.
[15] T.N Sainath, B. Kingsbury, V. Sindhwani, E. Arisoy, and
B. Ramabhadran, “Low-rank matrix factorization for deepneural network training with high-dimensional output targets,” in Proceedings of the IEEE International Conferenceon Acoustics, Speech and Signal Processing, 2013, pp. 6655–
6659.

11

一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-03 (11/09)

部分共有アーキテクチャを用いた深層学習ベースの音源同定の検討
Sound Source Identification based on Deep Learning with Partially-Shared Architecture

森戸隆之 ∗1 ，杉山治 ∗2 ，小島諒介 ∗1 ，中臺一博 ∗1,3
Takayuki MORITO∗1 , Osamu SUGIYAMA∗2 , Ryosuke KOJIMA∗1 , Kazuhiro NAKADAI∗1,3

東京工業大学 ∗1 ，京都大学 ∗2 ，(株) ホンダ・リサーチ・インスティチュート・ジャパン ∗3
Tokyo Institute of Technology∗1 , Kyoto University∗2 , Honda Research Institute Japan Co., Ltd.∗3

morito@cyb.mei.titech.ac.jp, sugiyama@kuhp.kyoto-u.ac.jp,
kojima@cyb.mei.titech.ac.jp, nakadai@jp.honda-ri.com
Abstractと区間検出を行い，音源分離手法である Geometric High-

災害地における要救助者の捜索を音源同定でorder Decorrelation-based Source Separation (GHDSS)[Nakajima 10] を用いて SN 比の低い多チャネル音から信実現するために，Partially Shared Deep Neu-

号成分のモノラル音を分離し，この分離音の種類を Con-ral Network (PS-DNN) およびこの拡張版であvolutional Neural Network (CNN) [Lawrence 97] で識別る Partially Shared Convolutional Neural Net-する手法 [Uemura 15] を提案した．しかし，この手法でwork (PS-CNN) を提案し，これで音源同定器を学習する手法を提案する．通常の深層学習にはは音源分離が識別器の最適化とは独立しているため，多大量のデータにラベルを付与する作業が必要でで識別に有用な情報までもが失われる可能性がある．明あるが，提案手法は音源同定器の学習にラベル

示的にノイズ抑圧等の処理を行わず，大規模な DNN を用が付与されていないデータを有効に利用するこ

いて原信号から直接識別する手法 [Hannun 14] も提案さとで，ラベルが付与されたデータのみで学習しれているが，大規模な DNN の学習には大量の学習データた場合と比べて高い同定精度が得られることをが必要である．実環境音を収録して学習データセットを検証した．

構築する場合，何の音がどの区間で鳴っているのかを示

チャネル音からの音源分離という大幅な低次元化の過程

すラベルデータを付与する作業（アノテーション）を人力1で行う必要があるり，データ量が多くなれば膨大な工数が

序論

発生する．

地震等の災害現場では，寸断された道路や散乱した瓦礫

本稿では，全収録音の一部しかアノテーションされてが要救助者の捜索活動の大きな妨げとなる．クアドロコ

いないデータセットを用いて音源同定器を効率的に学習プタを始めとする Unmanned Aerial Vehicle (UAV) で捜する手法を提案し，これを実際に DNN，および CNN に索すれば移動の問題は解消されるが，要救助者が瓦礫に適用してその有効性を検証する．一般的な深層学習は学埋もれている場合，カメラやレンジファインダ等の視覚習に教師データ，つまり入力とそれに対応する望ましい出的なセンサでの探知は困難である．このため，我々はセン力の組み合わせが必要であるため，アノテーションされサとしてマイクロホンアレイを用い，災害現場で発生すていないデータは学習に使用できない．提案手法はラベる音の種類と発生位置を同定することで要救助者を探知ルデータに加え，信号処理的な音源分離手法で自動生成する方法を研究している．

できる分離音を学習データとして用いることで，音源同クアドロコプタにマイクロホンアレイを搭載する場合，定器の学習を効率的に行いつつ未アノテーションデータ

風切り音やプロペラが発する雑音によって Signal-to-Noise

を有効に利用することができる．

(SN) 比が低下する．このような低 SN 比環境下で音源同定を行う手法として，我々はこれまでに多チャネル音

2

響信号を元にした音源定位手法である MUltiple SIgnal

本節では，Multi-Task Learning (MTL) [Caruana 97] のClassification based on incremental Generalized Singular

一種である Partially Shared Deep Neural Network (PS-

Value Decomposition (iGSVD-MUSIC) [Ohata 14] を用いてマイクロホンアレイの収録音から同定対象の音の定位

DNN) およびこれを CNN に拡張した Partially Shared
Convolutional Neural Network (PS-CNN) の構造につい12

部分共有型ニューラルネットワーク

図 3: A convolution-pooling layer in PS-CNN
非共有部分の出力はもう一方のサブネットワークの上層

図 1: Partially Shared Deep Neural Networkには影響を与えず，パラメータは一種類の教師データのみを用いて学習される．これは，音源同定と音源分離にはそれぞれに固有の処理も必要であるという予想に基づいている．この構造により，音源同定と音源分離に共通する処理を二種類の教師データを用いて効果的に学習しつつ，音源分離に固有の処理が音源同定の学習に悪影響を与えることを抑制することが期待される．

2.2

Partially Shared Convolutional Neural
Network

PS-CNN は，CNN の畳み込み層に PS-DNN の構造を取

図 2: A hidden layer of PS-DNN

り入れたものである．なお，本稿では CNN で音響信号をて述べ，多チャネル音響信号を元に音源同定を行う方法

扱う際，1 チャネル分の音響特徴量ベクトルを時間方向にを説明する．

並べた 2 次元の配列を 1 枚の画像とみなす．つまり，一般

2.1

的なカラー画像認識を行う CNN の入力は画素値を表す 2

Partially Shared Deep Neural Network

次元配列を RGB の 3 チャネル分並べたものであるが，本

PS-DNN の構造を図 1 に示す．PS-DNN は二つのサブネッ

稿で扱う CNN の入力は上述の 2 次元配列をマイク数分並

トワークから成るニューラルネットワークであり，本稿でべたものである．1

は片方はラベルデータを出力する音源同定器，もう片方

PS-CNN の畳み込み・プーリング層の構造を Fig. 3 に示す．PS-DNN では各層の出力ベクトルの要素を共有部

は分離音を出力する音源分離器である．サブネットワー
ク間で入力層と隠れ層の一部が共有されており，共有され分と非共有部分に分けたのに対し，PS-CNN ではチャネル

た隠れ層は二種類の教師データを用いて学習される．

を共有チャネルと非共有チャネルに分ける．つまり，一般

入力層と最初の隠れ層の間は全結合であるが，隠れ層的な CNN では一つのフィルタは前の層の全てのチャネル

間は全結合ではなく，y i1 , y i2 , y i3 を図 2 における第 i 層のを入力とするのに対し，PS-CNN では各サブネットワーク

上側，中央の共有部分，下側の隠れ層の出力とすると，第に固有のチャネルおよび共有チャネルのみを入力とする．

i+1
i+1
i + 1 層の出力 y i+1は次の式 (1) で計算される．
1 , y2 , y3 i 
 i+1 W i11 W i12
0
y1
y1

 i 
 i+1 iW 22
0   y2 
 y 2  = σ  0

y i+1
3



0
W i32


i

W i33

y i3

b1
 i +  b2 

この構造により，PS-DNN と同様に二種類の教師データを有効に利用しつつ，CNN の構造を取り入れることができる．プーリング層は一般的な CNN と同様にチャネルごとにプーリングを行う．出力層の前の全結合層の構造は

PS-DNN と同様である．
第 i 層の出力の，一つ目のサブネットワークに固有のチャ(1)

ネルの数を Ki,1 ，共有チャネルの数を Ki,2 ，二つ目のサブ

bi3

ネットワークに固有のチャネル数を Ki,3 とする．第 i 層の出(i,1)(i,Ki,3 ), · · · , X3

(i,1)

(i,1)

(i,1)

= [x1,1,1 , · · · , x1,V,H ]，ここで W ijk は y ik から y i+1への重み行列，bij はバイアj

力を [X 1

スベクトル，σ(·) は要素ごとの活性化関数である．

第 i + 1 層の第 j チャネルの出力のサイズを V × H ，出力共有された隠れ層の出力は上層の全ネットワークに影響を与える．この構造は，音源同定と音源分離はある程
度共通の処理で行えるという予想に基づいている．一方，

13

]，X 1

1 CNN で音響信号を扱う別の方法として，音響特徴量ベクトルの次元数をチャネル数とし，音響特徴量ベクトルの要素をマイク数，フレー
ム数分並べた 2 次元配列を 1 枚の画像とみなす方法も考えられる．この方法の検討は今後の課題とする．

(i+1,j)(i+1,j)(i+1,j), · · · , cv,h , · · · , cV,H ] とすると，(i+1,j)cv,hは第 j チャネルが一つ目のサブネットワークに固有のチャネルである場合は式 2 で，共有チャネルである場
を C (i+1,j) = [c1,1合は式 3 で，二つ目のサブネットワークに固有のチャネルである場合は式 4 で求められる．
(i+1,j)cv,h=σKi,1 m n
∑ ∑∑

(

(i,k)

wk,s,t x1,v+s,h+t

k=1 s=1 t=1+

Ki,2 m n∑ ∑∑図 4: The layout of the microphones and the sound(i,k)

wk,s,t x2,v+s,h+t

sourcek=1 s=1 t=1
(i,j)

+b

(i+1,j)

cv,h

=σ

(

)

Ki,2 m n
∑ ∑∑

(2)

(i,k)

wk,s,t x2,v+s,h+t

k=1 s=1 t=1
(i,j)

+b

(i+1,j)

cv,h

=σ

(

)

Ki,2 m n
∑ ∑∑

(3)

(i,k)

wk,s,t x2,v+s,h+t

k=1 s=1 t=1+

Ki,3 m n
∑ ∑∑

(i,k)

wk,s,t x3,v+s,h+t

k=1 s=1 t=1
(i,j)

+b

)

(4)
図 5: UAV (Parrot Bebop Drone)

ここで m, n はフィルタサイズ，wk,s,t は重み，b

(i,j)

はバ

イアス，σ(·) は活性化関数である．

3

3.1

評価実験

音響信号の合成実験に使用した多チャネル音響信号は数値シミュレーショ
ンで合成した．まず，コーパスの収録音を元にマイクロホ提案手法の有効性を示すため，各手法で音源同定器を構ンアレイと音源の位置関係が図に示す通りであるときの成し，同定精度を比較した．同定精度はフレームごとの正8 チャネルの音を合成した．その後，図 5 に示すクアドロ
コプタで実際に収録したノイズを適当な重みを付けて足解率とした．各ネットワークは Python のライブラリである TensorFlow version 0.8.0 [Abadi 15] で実装した．

し合わせることで，一定の SN 比の多チャネル音響信号を音源同定器は 4 つの手法で構成し，それぞれ DNN, PS-生成した．なお，本実験で使用したデータセットは場面認

DNN, CNN, PS-CNN と表記する．DNN, CNN はそれ

識のベンチマーク用のものであるため，収録されている

ぞれ典型的なフルコネクテッド，畳み込みニューラルネッ

音は既に様々なノイズを含んでいるが，SN 比を計算するトワークで構成した音源同定器で，PS-DNN と PS-CNN
は第 2 節で述べた学習手法で構成した音源同定器である．

際は純信号として扱った．
本稿で使用した SN 比の計算式を式 5 に示す．SN 比はDNN, CNN では学習用データセットの内アノテーション済みのものしか学習に使用しないが，PS-DNN, PS-CNN

0 dB に統一した．

では未アノテーションデータも音源分離器の学習に使用する．

SN R = 20 log(Sp /Np )(5)

学習・評価用の音源として，DCASE2016 [Mesaros 16]の Acoustic scene classification に収録されている 15 種類

ここで Sp , Np はそれぞれ信号成分の最大振幅，雑音成分

合計 35100 秒分の音データを用いた．5 分割交差検証を行の最大振幅である．SN 比は信号のエネルギの比率で計算

うために合計 1170 個の Wave ファイルを 5 つのグループ

されることもあるが，このような計算方法では有音区間に分け，3.1-3.2 に示す手順で合計約 465 万個のデータベの定め方によって求められる SN 比が大きく変化する場合

クトルを生成した．

があるため，本稿では最大振幅で定義した．

14

表 1: Dimensions for the DNN
Hidden layer Units

1

2000

2

1000

3

400

表 4: Dimensions for the PS-CNN
Hidden
layer
1
2
3
4
5

Type
Conv
Pool
Conv
Pool
Full

Identify
40
40
80
80
400

Channels
Shared Separate
40
40
40
40
40
80
40
80
0
800

Size
20×20
10×10
10×10
5×5
1×1

表 2: Dimensions for the PS-DNN
Hidden
layer
1
2
3

3.2

Identify
1500
800
400

Units
Shared1500
4000

表 5: Accuracy of Sound Source Identification

Separate
1500
800
800

100%

Avg.
S.E.
Avg.
S.E.
Avg.
S.E.
Avg.
S.E.

75%
50%

音響特徴量の算出

各学習器への入力としてメルフィルタバンク特徴量を使用

25%

した．各音のサンプリングレートは 16 kHz に統一し，フ

DNN
55.88
0.675654.07
0.659951.63
0.578647.84
0.6477

PS-DNN56.27
0.574254.57
0.658451.91
0.652548.04
0.6526CNN
55.79
0.534854.36
0.505551.95
0.533248.35
0.5566

PS-CNN
56.75
0.527555.09
0.326852.71
0.535748.74
0.5898レーム幅 512 sample (32 ms)，フレームシフト 120 sam-ple (7.5 ms) でフレーム化し，窓関数として複素窓を掛け全ての場合で 5 × 5 とし，zero padding を使用した．プーて短時間フーリエ変換で複素スペクトルを求めた．これ

リング層では 2 × 2 の範囲で最大値プーリングを行った．

の絶対値から，下限周波数 63 Hz, 上限周波数 8 kHz, 次全ての場合でバッチサイズは 100 とし，学習は 10 epoch

元数 20 のメルフィルタバンク特徴量を算出した．以上の行った．

処理は，ロボット聴覚ソフトウェア Honda Research In-

3.4

stitute Japan Audition for Robots with Kyoro University

実験結果を表 5 および図 6-9 に示す．識別精度はフレーム(HARK) [Nakadai 10] で実装した．

ごとの識別正解率とし，5 分割交差検証の平均値 (Avg.)

各学習器への入力は，20 次元の音響特徴量を 8 チャネと標本標準誤差 (S.E.) を求めた．5 分割されたデータセッ

ル各 20 フレーム分並べた，合計 3200 次元のベクトルである．また，PS-DNN, PS-CNN の音源分離側の出力は，多チャネル音の合成に使用したモノラル音から同様に算トの内 4 つを学習に用い，その 4 つの内の所定の数についてはラベルデータを使用しないことで，アノテーション
率が 100%, 75%, 50%, 25%の場合の実験を行った．

出した 400 次元のベクトルである．

3.3

実験結果

表 5 より，識別精度はアノテーション率に依らず DNN

学習器の条件< PS-DNN，また CNN < PS-CNN となった．いくつかの場合で両側 t 検定の検定の p 値が p > 0.05 で有意な差

各学習器の層構成を表 1-4 に示す．全ての場合で入力は 3.2があった．

で述べた 3200 次元のベクトルである．音源同定器の出力層識別精度に大きな差が出なかったのは，実験で用いた音は 15 次元のソフトマックス層であり，PS-DNN, PS-CNNの音源分離側の出力層は 400 次元の全結合層である．各
パラメータは 0 に近い正の値で初期化し，pre-training を行わずに Adam で学習した．隠れ層に対しては Dropout
を使用し，drop rate は畳み込み層で 0.2，プーリング層
で 0，その他の層で 0.4 とした．畳み込み層のフィルタは

表 3: Dimensions for the CNN
Hidden layer Type Channels
Size

1

Conv

40

20×20

2

Pool

40

10×10

3

Conv

80

10×10

4

Pool

80

5×5

5

Full

400

1×1

図 6: Trained with 100% annotated data15

図 7: Trained with 75% annotated data

図 9: Trained with 25% annotated data
比環境下での音源同定器の学習手法について述べた．多チャネル音響信号を入力とする音源同定器に，音源分離の処理を積極的に学習させる手法を提案した．提案手法
は一般的な DNN, CNN と比べて若干高い同定精度を実現した．今後は，別のデータセットを用いた提案手法の有効性の検証を行う予定である．

謝辞
本研究は JSPS 科研費 24220006, 16H02884, 16K00294
および，JST ImPACT タフロボティクスチャレンジの助成を受けた．
図 8: Trained with 50% annotated data

参考文献

源分離の教師データに雑音が始めから含まれてしまって[Abadi 15] Abadi, M., et al.: TensorFlow: LargeScale Machine Learning on Heterogeneous Systems,
http://tensorflow.org/ (2015)

いたことが一因であろう．本稿で提案した手法は，低 SN
比環境下で音源同定を行うニューラルネットワークは雑音抑圧の処理を学習しているという推測の下，音源同定器に
雑音抑圧の処理を効率的に学習させることを意図してい[Caruana 97] Caruana, R., et al.: Multitask learning,
Machine Learning, vol.28, no. 1, pp. 41-75 (1997)

る．しかし，本実験で用いたコーパスである DCASE2016の Acoustic scene classification 用のデータセットは，音を収録した場所（公園，レストラン，電車等）の識別を行[Mesaros 16] Mesaros, A., et al.: TUT database forうベンチマークデータセットであり，収録されている音はデータとして用いたため，学習された音源分離器はクア

acoustic scene classification and sound event detection, 24th Acoustic Scene Classification Workshop
2016 European Signal Processing Conference (EU-

ドロコプタ由来の音以外を除去せず，むしろその他の雑音

SIPCO) (2016)

様々な雑音を元々含んでいる．実験ではこの収録音を教師を積極的に残していたと考えられる．残りの雑音の抑圧
は識別器側の共有されていない部分のみを用いて学習す[Hannun 14] Hannun, A., et al.: Deepspeech: Scaling

ることになるため，識別精度が大きく向上しなかったと

up end-to-end speech recognition, arXiv preprint
arXiv:1412.5567 (2014)

考えている．

4[Lawrence 97] Lawrence, S., et al.: Face recognition:
A convolutional neural-network approach, IEEE

結論

本稿では，マイクロホンアレイを搭載したクアドロコプ

Transactions on Neural Networks, vol. 8, no. 1, pp.
98-113 (1997)

タによる災害地での要救助者の捜索を目的とした，低 SN

16

[Nakadai 10] Nakadai, K., et al.: Design and Implementation of Robot Audition System “HARK”, Advanced Robotics, vol. 24, pp. 739-761 (2010)[Nakajima 10] Nakajima, H., et al.: Correlation matrix
estimation by an optimally controlled recursive average method and its application to blind source
separation, Acoustical Science and Technology, vol.
31, no. 3, pp. 205212 (2010)[Ohata 14] Ohata, T., et al.: Inprovement in outdoor
sound source detection using a quadrotor-embedded
microphone array, IEEE/RSJ International Conference on Intelligent Robots and Systems (2014).
[Uemura 15] Uemura, S., et al.: Outdoor acoustic event
identification using sound source separation anddeep learning with a quadrotor-embedded microphone array, The 6th International Conference on
Advanced Mechatronics (2015)17一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-04 (11/09)

ウグイスに対するプレイバック実験におけるマイクロホンアレイを用いたさえずりの方向分布分析
An analysis on a directional distribution of songs of Japanese Bush-Warbler
in playback experiments using a microphone array

炭谷晋司 ∗1 松林志保 ∗2 鈴木麗璽 ∗2Shinji SUMITANI∗1 , Shiho MATSUBAYASHI∗2 , Reiji SUZUKI∗2

名古屋大学 情報文化学部 ∗1 , 名古屋大学 大学院情報科学研究科 ∗2School of Informatics and Sciences, Nagoya University∗1
Graduate School of Information Science, Nagoya University∗2の歌行動のタイミング，方向，および，音源の自動抽出を

Abstract

試行している [2, 3]．このシステムでは，従来の単一のマ
本稿では，マイクロホンアレイとロボット聴覚イクロホンを用いた録音では得られなかった空間的な情

ソフトウェア HARK を用いた野鳥の歌行動観測報が取得できるため，生態理解への大きな貢献が期待さシステム HARKBird の更なる活用可能性の検討れる．

として，大学演習林におけるウグイス 1 個体のこれまで，我々のグループでは HARKBird システムの縄張り内に，同種の歌をスピーカで再生可能に定位精度などの基本的な検討を行ってきた．本研究では，したシステムを用いてプレイバック実験を行っを抽出した．また，対象個体のさえずりに対し

HARK の野鳥観測への更なる活用の可能性の検討として，
HARK の拡張性と実時間処理を活用した野鳥の歌行動の詳細な方向的・時間的ダイナミクスの計測を試みた．

て鳴き返すインタラクティブ実験も行った．実

具体的には，大学演習林におけるウグイス 1 個体の縄張験の結果，本システムは対象個体のさえずりをり内に，同種の歌をスピーカで再生可能にした HARKBird

よく定位できることを確認した．また，再生音システムを用いてプレイバック実験を行った際の，対象個の有無が対象個体のさえずりと移動のパターン

体のさえずりの種類とその方向を抽出した．また，HARKに大きく影響することなどが明らかになった．

の特徴の一つである実時間処理を活用し，対象個体のさた際の，対象個体のさえずりの種類とその方向

えずりに対して鳴き返すインタラクティブ実験も行った．

1

はじめに

1.1

背景

また，自然環境と人工システムとの相互作用の理解の観点から，ボーカロイド初音ミクによるウグイスの真似歌を用いた実験も行った．これらの結果から，HARKBird

野鳥の生態の理解においては，録音機材の進歩や低価格を用いた野鳥の歌行動のより詳細な計測と理解への応用化に伴って録音に基づく行動観測データが容易に得られの可能性を検討する．

るようになった．しかし，単一のマイクロホンを用いた録

1.2

音では，位置情報等を記録できないために個体識別が容HARKBird

HARKBird は，フィールドにおいて安価で容易に利用可
能なシステムを目指した，野鳥の歌行動観測のためのノー
ト PC と USB マイクロホンアレイを用いた観測・分析シ
ステムである（Figure 1）．このシステムは，マイクロホ
ンアレイでの録音の開始，終了をはじめ，HARK の機能を用いた音源定位と分離や，分析結果の可視化がノート
PC 上の GUI で実行可能な Python をベースとしたスクリプト集である．詳細は，Web ページ1 や [2, 3] を参照されたい．

易でないなど，個体間で生じる動的な相互作用の分析に問題が生じる場合がある．一方，近年では複数のマイクで構成されるマイクロホンアレイを用いて音源の方向や位置を定位したり，定位した音源を分離したりする技術がロ
ボット工学分野等において発展している．
我々のグループでは，この音声処理技術を野鳥の生態観測に活用することを目的として，ロボット聴覚オープンソー
スソフトウェアである HARK（Honda Research InstituteJapan Audition for Robots with Kyoto University）[1]と，市販の会議などに用いられるマイクロホンアレイを用いた簡易なシステムである HARKBird を構築し，野鳥

本研究では，HARKBird 内で用いる音源定位・分離の1 http://www.alife.cs.is.nagoya-u.ac.jp/˜reiji/HARKBird/

18

ためのネットワークを拡張し，録音中に一定の時間間隔

た USB 接続マイクロホンアレイ（8 チャネルマイクロホン

で音声ファイルを再生したり，実時間での音源定位に応じ

アレイ TAMAGO（システムインフロンティア社製2 ））をて再生ができるようにした．また，実験後に得られた音声

配置し，スピーカ（サンワサプライ社製 MM-SPBTBK）

ファイルの分析にも HARKBird を用いた．

および PC はマイクロホンアレイを原点として真東の方角に 5m 離れた地点に配置した．このとき，スピーカは指向性を考慮して上向きに設置した．この周辺は，ある１個体のウグイスの縄張りであり，このウグイスを今回のプレ
イバック実験の対象個体とした．実験中，対象個体がさえずるソングポストは，マイクロホンアレイ周辺からそれほど大きな差のない距離の木々にあり，方向を計測することで個体の移動パターンをおおよそ把握することができるので，ここを実験場所とした．

Figure 1: 実験システム

2

手法

2.1

対象種：ウグイス

多くの小鳥（鳴禽類）のオスは，春から夏にかけての繁殖期になると比較的長い音声を繰り返し発するさえずり（歌）を行う．さえずりには，主に他のオスに向けての縄張りの主張と自分の存在をメスにアピールする２つの役割があるといわれている．
百瀬は，本研究で対象とするウグイスのオスのさえずりには，ホーホケキョと聞こえる高いピッチで歌う H 型

Figure 2: 実験フィールドとホーホホホケキョなどとホーの部分が断続する低いピッチで歌う L 型があることなどを，スピーカから同種の鳴

今回の実験では，再生音源として注目するウグイスにき声を再生するプレイバック実験を行って示した [4]．この実験では，スピーカから同種のさえずりの再生を一定ついて事前に録音した H 型，L 型のさえずり，昨年の調期間行い，その間に行われた注目個体のさえずり回数と査で周辺において録音した同種他個体の H 型，L 型のさえずり，ボーカロイド初音ミクを用いてウグイスのさえず

その種類の計測を行った．結果，スピーカからさえずりをりを模した L 型の音を使用した．各再生音源は，正規化再生している間は再生を行っていない間と比べ H 型の頻度が減少し，L 型の割合が増加することを示唆している．

することによって最大音量を統一した．

この結果から，L 型のさえずりには近隣個体への威嚇の意

さえずりの再生方法として，数秒毎に再生音を繰り返味があると考えられることを示した．また，同時に探索飛して周期的に再生する方法と，対象個体のさえずりに対し行といわれる，他個体を探索するために行う飛行回数もて応答して数秒後に再生する２つの方法を採用した．周

測定し，再生音がある場合は探索飛行の回数が増加する

期的な再生では，8 秒毎，12 秒毎にスピーカから音源を結果を示した．

再生し，さえずりに応じて再生する場合には，HARK で
リアルタイムに音源を定位した 3 秒後にスピーカからさ

本研究では，プレイバック実験中に音源定位を行い，再えずりを再生するように設定を行った．

生音がウグイスの移動とさえずりの種類に与える影響を

各実験中に同時に行った録音に対し，ウグイスの鳴き調べた．

声をよく定位するように HARKBird のパラメータを適宜

2.2

実験方法

調整し，音源定位を行った．音源定位結果は，Figure 3 の実験は，2016 年 5 月 21，22 日に名古屋大学大学院生命農可視化した音源定位結果が示すように，対象個体の歌行

学研究科付属フィールド科学教育研究センター稲武フィー

動の時刻と方向をうまく記録することができた．この出ルド（愛知県豊田市稲武町）の森林で行われた．Figure 2

力結果を修正し，対象個体のさえずりの時刻，方向，およに示す，周囲を木々に囲まれた開けた場所に三脚に固定し2 http://www.sifi.co.jp/system/modules/pico/index.php?content id=39

19

び，応答実験におけるシステムの再生時刻のデータを作成した．さえずりの種類に関しては，出力結果を元に手作業で集計した．応答実験における注目個体以外の音で反応した場合もスピーカの再生回数として集計した．

Figure 3: 音源測定結果（注目個体 H 型，応答実験）
Figure 4: 方向分布（録音のみ）

3

実験結果

3.1

さえずりの種類と方向の分布りを行う傾向があるようである．
これに対して，再生音のある場合においては，いずれ各条件での実験 500 秒間における注目個体が行ったさえの条件でも再生音のない場合と比較してさえずり回数がずりの種類と方向の分布について報告する．ここでの 500減少した．H 型でのさえずり回数の減少がみられる一方

秒間は，注目個体がスピーカ周辺から離れた場所へ移動

で（全再生音平均 11 回，27 回減），L 型のさえずりに関したなどの理由で長時間鳴いていなかった期間を省いた

しては増加傾向はあったが，H 型ほど変化はみられなかっ時間である．

た（全再生音平均 22 回，2 回増）．また，移動に関して

まず，Figure 4 のプレイバックなし，録音のみの結果

は，定位方向の大きく変わる移動が増加する傾向がみられを例に図を説明する．赤色と青色の丸は H 型あるいは L

た．さえずり方向の分散をみても，ほぼ全ての条件におい型のさえずりをマイクから見てその方向で歌ったことをて再生音のない対応する条件より高い値を示しており (録意味し，方向は 0 度が北（磁北）を指す．さえずり同士

音のみ 0.464 全再生音平均 0.876，0.412 増)，個体は同じを繋ぐ矢印は，定位したさえずりを順に繋いだものであ場所に留まらず，あちこち動き回るような傾向があった．

り，さえずり前後での移動を簡易的に示したものである．

これらのことから，ウグイスは H 型のさえずりを減らし，ヒストグラムは，方向を 30 度ごとに区切った各範囲内でL 型の比を高め，周囲を飛び回ることで強い警戒を示していることが考えられる．

の H 型，L 型の各さえずりの回数を示す．

Figure 5 は，各条件における結果を Figure 4 と同様な

3.1.2

方法で示したものであり，Figure 1 はその結果に関する定量的な値を示したものである．これらの図と表を元に，

プレイバック間隔・応答の影響

次に，プレイバックの間隔の影響について考える．プレイバック間隔の違いは，さえずりの頻度や動きに影響を全体的な傾向や個別の条件の影響について論ずる．

与えることが明らかとなった．まず，8 秒間隔と 12 秒間

3.1.1

再生音の有無の影響

隔それぞれの H 型のさえずり回数を比較すると，8 秒のまず，プレイバックを行わず，録音のみ行った場合は，場合平均 9 回，12 秒の場合平均 19 回であり，全ての再生

南東方向でほとんどのさえずりが定位されているように，

音において H 型のさえずり回数が 8 秒間隔で再生を行っ

ほぼ定位置で頻繁にさえずる傾向があった．さえずりのた際に少なくなる傾向がみられた．また，移動に関して

種類は，L 型のさえずりも用いる（58 回中 20 回）が，Hも，8 秒間隔では分散は平均 0.916 であるに対して，12 秒

型のさえずりをより多く歌うこと（58 回中 38 回）が明ら間隔では，平均 0.798 であるように，大きな移動の頻度がかとなった．また，移動に関しては，近隣の木々を少しず

8 秒間隔において高い傾向にあった．一方，L 型に関して
は，さえずり頻度が 8 秒の場合に大きくなるものの影響は小さかった（12 秒平均 22 回 8 秒平均 23 回）．これより，頻繁な再生は注目個体に対して強い警戒を生じさせ，つ移動する様子がみられるが，定位方向が大きく変化す
るような移動はあまり行わない傾向があった．他個体のいない環境においては，定位置に留まって頻繁にさえず

20

注目個体 H 型

注目個体 L 型

同種他個体 H 型

同種他個体 L 型

90°

90°

90°

90°

８秒周期

135°

45°

0 5

10 15

135°

20 25

180°

0 5
0°

225°

315°

135°

20 25

0 5
0°

225°

45°

90°

315°

225°

１２秒周期

0 5

10

25
15 20

180°

0 5
0°

225°

10

315°

225°

90°

180°

225°

45°

315°

応答

0 5

10 15

45°

20 25

180°

0 5
0°

315°

10 15

180°

225°

315°

10 15

180°

225°

315°

270°

90°

10 15

45°

20 25

180°

0 5
0°

225°

315°

135°

315°
270°

Figure 5: さえずりの種類と方向の分布と推移

Table 1: 各条件におけるさえずり回数と方向分散，スピーカからの再生数

21

0°

225°

45°

0 5

270°

20 25

270°

135°

0°

10 15

180°

90°

0 5
0°

0 5

315°

20 25

45°

25
15 20
0°

225°

45°

20 25

10

135°

270°

135°

315°

90°

180°

90°

135°

0°

225°

45°

0 5

270°

20 25

270°

135°

0°

90°

135°

10

10 15

180°

90°

0 5

315°

0 5

315°

25
15 20

45°

20 25
0°

225°

45°

270°

135°

270°

135°

0°

10 15

180°

315°

25
15 20

180°

270°

0 5

90°
45°

45°

20 25

270°

135°

90°

135°

0°

90°
45°

10 15

180°

270°

135°

270°

10 15

180°

270°

225°

45°

ミク真似音 L 型

10 15

20 25

180°

0°

225°

315°
270°

H 型のさえずり頻度を減らし，移動頻度を増加させることが示唆される．

ような移動がほとんどみらなかったり，他の再生音を用いこれらに対し，対象個体のさえずりの 3 秒後に再生す

えずり方向の分散も低い値を示すなど，異なった傾向がる応答実験では，対象個体のさえずり回数はさらに少なみられた．これは，自分（注目個体）の縄張り内に他個体くなることがわかった（H 型平均 6 回，L 型平均 20 回，が侵入し，縄張りの主張として H 型をさえずるという状

合計 26 回）．特に H 型のさえずりは 8 秒周期と同程度、

況に，対象個体が呼応してさえずりの頻度を高めたので

あるいはそれを超えるほどの抑制がみられた．このとき，はないかと推測される．

た実験に比べて H 型のさえずり回数の減少が少なく，さ全体としてスピーカによるシステムからの応答回数は平

さらに，初音ミクの真似音 L 型に関して，先ほど述べ

均 27 回であり，他の条件（8 秒周期平均 60 回，12 秒周

たように本物のウグイスの録音を用いた他の再生実験と期平均 40 回）と比べて少ない傾向があった．

同様な傾向がみられていることから，注目個体は初音ミ

以上から，周期的なプレイバック実験の結果ではスピークの真似音に関しても同種の個体であると認識している

カからの再生回数が多いほど注目個体の H 型でのさえずことが考えられる．

り回数は抑制されていたが，応答実験ではその傾向とは

以上のように，注目個体は，再生音の違いによって異異なり，少ない頻度でも大きな抑制の効果があったといえなった挙動をみせた．人間には判断の難しいわずかなさる．これは，注目個体が応答によるスピーカからの再生音

えずりの違いでも，ウグイスは認識し，その状況に応じてを，単純なプレイバックと比べてより自分自身に向けら

歌と移動のパターンを変化させているということが示唆れたもとのとして意識し，警戒を強めた可能性を示唆しされる．

ている．8 秒間隔の実験でのスピーカからの再生回数は，3.2

応答実験での再生回数の倍近くあることと，また 8 秒間

さえずりの種類と移動の関係

隔と 12 秒間隔にある差を考慮すれば，注目個体のさえずりに与える影響の度合いとしては，再生間隔よりも，再生のタイミングによる影響が強いことが示唆される．観測とプレイバック実験において個体の鳴き声による反応が異なることは知られているが [5]，この結果は，単純なプ
レイバック実験とインタラクティブ実験においても異なる反応が得られうることを示唆している．

3.1.3

再生音の種類による影響

再生音の種類によっても，さえずりや動きに変化がみられた．再生音のある場合，定位方向が大きく変化する移動が増加したと述べたが，その移動は大まかに，スピー
カ上近くを通過するように２つのソングポスト間を繰り返し行き来する移動と，スピーカ周りの移動を繰り返し，
周りからスピーカの様子をうかがう移動の 2 種類が確認できた．
前者の移動は，注目個体の H 型，L 型，同種他個体のL 型，ミクの真似音 L 型を再生した場合に多くみられた．
この移動は，Figure 5 に示す方向グラフの中央付近（270度方向）にスピーカがあり，その周辺を矢印が横切っていることから確認できる．特に，注目個体の H 型を再生した場合，分散も高く（0.960-1.000），図からも様々な場所へ移動してあらゆる方向でさえずりを行っていることが確認できた．また，他の実験に比べてスピーカ上近くを通過する回数が多いことから (約 10 回程，他の実験では5-7 回程度)，注目個体は注目個体 H 型の再生音に対して，より強い警戒を示したことが示唆される．

Figure 6: さえずりの方向と種類の推移．上：録音のみ，
下：注目個体 H 型の録音を 12 秒周期で再生した場合．
次に，注目個体の移動と歌の種類の関係について，分析で得られた結果を報告する．Figure 6 は，録音のみと注目個体 H 型の録音を 12 秒周期で再生した場合のさえずりの方向と種類の推移を示したものである．このグラフから，注目個体は定位位置が大きく変化する移動を行った

また，後者の移動は，同種他個体の H 型，L 型を再生後，最初にさえずる歌の種類として L 型を用いる確率がした場合に多く確認できた．特に，同種他個体 L 型を再非常に高いことが確認できる．Table 2 は，各条件におけ生した場合に多くみられ，またスピーカ上近くを通過する

る，定位位置の変化回数 と，その変化後の最初のさえず

22

移動情報を伴う録音データを分析することによって得ら

Table 2: さえずりの種類と移動の関係れたものであり，実験と同時に調査を行うことなく分析が可能な点もマイクロホンアレイを用いた録音のメリットでもある．
また，応答実験では，周期的な再生による実験と異なる結果が得られた．これは，ウグイスが他個体のさえずりと相互作用しうることを意味しており，実時間での処理によるインタラクティブ実験の有用性を示唆している．
今回の実験では，単に音源定位の３秒後というタイミング
で再生音を流したが，様々に拡張しうる．例えば，注目個体のさえずりの間隔に合わせて再生したり，再生を行う，行わない，あるいは再生音にバリエーションを持たせるなどの変化を加えることで，従来研究では確認できなかった新たな挙動も確認できる可能性がある．

りの種類を示した表である．定位位置の変化回数は，さえずり前後で 30 度以上の定位角度の変化があるときを移

一方で，本実験の課題もいくつか存在した．今回の実動と考え，その回数を集計した．表からわかるように，す験では，ノイズや近隣個体のさえずりによる応答実験でべての条件において，定位位置の大きく変化するようなのプレイバックの誤動作などの不具合も確認された．音移動を行った後の最初のさえずりは，L 型を用いる傾向が源の定位は，環境に大きく依存するため，場所ごとにパラあった．再生音の種類，有無に関わらず，この傾向がみら

メータを変更する必要性がある．応答実験では，そういっれることから，注目個体の行動として移動後は L 型のさた問題も考慮しつつ，注目した個体のさえずりにのみ反

えずりを行う傾向があることが示唆される．

応するといった方法も考えていかなければならない．

例えば，現在地点から遠方で移動し，最初に H 型でさ再生音の選定に関しても課題がある．例えば，注目個体

えずりを行った場合，移動先に他個体がいたとすれば，他のさえずりは，注目個体自身がどのように捉えているか、個体はすぐさま攻撃してくる可能性がある．しかし，L 型

同種他個体のさえずりは同じフィールドで得た録音であを最初にさえずることにより，移動先に他個体がいたとるが，近隣個体として捉えているのか，あるいは全く知しても，他個体は自分の存在が気付かれていると認識し，らない個体として捉えているかなど，不明な点があった．

攻撃を行ってこないかもしれない．そういったリスクを排

この問題は，他の再生音を用いて実験を行うことで解決除するために，移動直後に L 型のさえずりを行っているできると考えられる．
さらに，今回の実験では 1 個体のみを実験対象としたことは考えうる．いずれにしても，ウグイスにとって何らため，実験結果に個体特有の特徴が現れている可能性がかの意味ある行動であることが強く示唆される．

示唆されること，実験の順番や実施時間，注目個体の再生

4

議論音に対する慣れの影響など，考慮すべきことがいくつかあった．今回の結果を踏まえ，より信頼できるデータが得

我々の実験で得られた結果において，周期的なプレイバッ

られる実験を行うことも今度の課題となる．

クとさえずり頻度の関係については，先行研究 [5] の結果とよく一致した．従来のモノラルマイクによる実験方法で5は，多くの場合，歌の種類やタイミングは録音から手作業おわりにで抽出することが多い．また，探索行動などの個体の動き

本稿では，マイクロホンアレイを用いたロボット聴覚ソフを観測する場合も，対象とする野鳥は小さく素早く動くた

トウェア HARK に基づく野鳥歌行動解析システム HARK-

め，その場で目視で確認するのが一般的であり，どちらのBird を拡張し，ウグイスに対して行ったプレイバック実
験におけるさえずりの時間的・方向的ダイナミクスの分析結果を報告した．本システムは対象個体のさえずりをよく定位した．録音のみ行った場合，定位置で縄張りを主張する H 型のさえずりを多く歌う一方，プレイバックを行った場合，H 型のさえずりの頻度が減少して敵を警戒する L 型のさえずりの割合が増加したり，ソングポスト
間をより頻繁に移動するなど，注目個体はスピーカからの再生音を警戒する傾向がみられた．その傾向は，再生音によって異なることも確認された．また，ソングポストの意味でも時間や作業のコストが掛かる．一方，我々の行ったマイクロホンアレイを用いた録音での観測は，どちらに関しても，容易に様々なデータを得ることができるだけでなく，より正確なデータを得られることが期待できる．
その結果，今回の実験では，従来研究と同様な結果に加えて，スピーカ上を通過する，スピーカ周りを移動するなどのように，探索飛行の詳しい挙動も確認できたり，更には移動後におけるさえずりの特徴など，これまで確認されていなかった挙動もみることができた．この結果は，

23

移動直後は L 型の歌を歌う傾向があるという，歌行動と移動の複合的なパターンを抽出することができた．以上の分析は HARKBird を用いることによって容易に可能であり，野鳥の生態観測への活用の可能性が示された．

謝辞
高部直紀氏（名古屋大学）の調査協力，クリプトン・フュー
チャー・メディア株式会社関係各氏のボーカロイド音声作成協力に謝意を表する．本研究の一部は JSPS 科研費

15K00335，16K00294，24220006 の助成を受けたもので
ある．

参考文献
[1] K. Nakadai, T. Takahashi, H. G. Okuno, H. Nakajima, Y. Hasegawa and H. Tsujino: Design and implementation of robot audition system ’HARK’ Opensource software for listening to three simultaneous speakers, Advanced Robotics, 24. 739-761(2010).
[2] R. Suzuki, S. Matsubayashi, R. Hedley, K. Nakadai
and H. G. Okuno: HARKBird: Exploring acoustic interactions in bird communities using a microphone array, Journal of Robotics and Mechatronics(accepted).
[3] R. Suzuki, S. Matsubayashi, K. Nakadai and H. G.
Okuno: Localizing bird songs using an open source
robot audition system with a microphone array,
Proc. of 2016 International Conference on Spoken
Language Processing (Interspeech 2016), 2626-2630(2016).
[4] 百瀬博：音声コミュニケーションによるなわばりの維持機能. 山岸哲（編）. 鳥類の繁殖戦略（下）,127-157,
東海大学出版会, 東京 (1986).
[5] D. F. Maynard, K. A. A. Ward, S. M. Doucet and D.
J. Mennill: Calling in an acoustically competitiveenvironment: duetting male long-tailed manakins
avoid overlapping neighbours but not playbacksimulated rivals, Animal Behavior, 84(3): 563-573(2012).

24

一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-05 (11/09)

ۭؒ৘ใΛ༻͍ͨௗͷՎ෼ੳখౡ ྒհ 1 , ਿࢁɹ࣏ 2 , ‫ׯ‬৔ɹޭଠ࿠ 1 , ླ໦ɹྷ࣑ 2 , தᢕ Ұത 1,3
Ryosuke KOJIMA1 , Osamu SUGIYAMA2 , Kotaro HOSHIBA1 , Reiji SUZUKI3 , Kazuhiro NAKADAI1,4

1. ౦‫ۀ޻ژ‬େֶ, 2. ‫౎ژ‬େֶ, 3. ໊‫ݹ‬԰େֶ,
4. ʢ‫ג‬ʣϗϯμɾϦαʔνɾΠϯεςΟνϡʔτɾδϟύϯ
1. Graduate School of Information Science and Engineering, Tokyo Institute of Technology,
2. Graduate School of Information Science, Nagoya University,
3. Honda Research Institute Japan Co., Ltd.

kojima@cyb.mei.titech.ac.jp, sugiyama@kuhp.kyoto-u.ac.jp,
hoshiba@cyb.mei.titech.ac.jp, reiji@nagoya-u.jp, nakadai@jp.honda-ri.com
AbstractຊߘͰ͸ௗͷՎͷࣗಈ෼ੳγεςϜͷߏஙΛ໨తͱ͠ɼͦͷͨΊͷۭؒ৘ใΛߟྀͨ͠Ի‫ݯ‬ಉఆϞσϧఏҊ͢ΔɽௗͷՎΛ෼ੳ͠ɼ͍ͭͲ͜Ͱ
Կͷௗ͕໐͍͍ͯΔ͔Λࣗಈతʹൃ‫͢ݟ‬ΔγεςϜ͸໺ௗ‫ڀݚ‬΍ಈ෺ߦಈֶ‫͍͓ͯʹڀݚ‬ɼ‫؍‬ଌͷޮ཰Խɾେ‫ن‬໛Խͱ͍ͬͨ఺͔Β‫ظ‬଴͞Ε͍ͯΔɽ͔͠͠ɼ͜ͷΑ͏ͳγεςϜ͸ɼҟͳΔ஍఺Ͱಉ࣌ʹෳ਺ͷ໺ௗ͕໐͍͍ͯΔͱ͍ͬͨঢ়‫ʹگ‬ରԠ͢Δඞཁ͕͋Δͱ͍ͬͨࠔ೉͕͋Δɽզʑ͸ɼԻ‫ݕݯ‬ग़ɾఆҐɾ෼཭ɾಉఆͱ͍ͬͨɼϩϘοτௌ֮ͷٕज़Λར༻͢Δ͜ͱͰɼௗͷՎ෼ੳϑϨʔϜϫʔΫͷߏஙΛ໨ࢦ͍ͯ͠ΔɽຊߘͰ͸ɼҐஔ৘ใʹ஫໨͢Δ͜ͱͰɼ͜ΕΒͷ౷߹ΛՄೳʹ͢Δ֬཰Ϟσϧɹ Spatial-Cue-Based

Probabilistic Model (SCBPM) ΛఏҊ͢Δɽ͞ΒʹɼఏҊϞσϧΛ༻͍ͨΞϊςʔγϣϯิॿγεςϜΛߏங͠ɼ࣮σʔλΛ༻͍ͨධՁ࣮‫ݧ‬Λߦͬͨɽͦͷ݁ՌɼௗͷՎࣝผͷλεΫʹ͓͍ͯɼैདྷ๏ΑΓ࠷େͰ 5%ͷࣝผ཰޲্͕֬ೝ
Ͱ͖ͨɽ·ͨɼఏҊϞσϧ͕༗ޮͰͳ͍ঢ়‫ʹگ‬ఆٛ͠ɼ‫ڀݚ‬Λߦ͍ͬͯΔɽ͜ΕΒ 5W1H ͷ͏ͪɼ͸͡
Ίͷ 4W ͸Ի‫ڥ؀‬தͰͷΠϕϯτʹؔ͢Δॏཁͳ৘ใͰ
͋ΔͨΊɼಛʹɼԻ‫ݕݯ‬ग़ʢWhenʣɼԻ‫ݯ‬ఆҐʢWhereʣɼԻ‫ݯ‬෼཭ʢWhatʣɼ࿩ऀೝࣝɾԻ‫ݯ‬ಉఆʢWhoʣͱͯ͠औΓ૊·Ε͍ͯΔɽ͜Ε·Ͱͷ 4W ৘ใநग़͸ͦΕͧΕͷ৘ใʹؔͯ͠‫ݸ‬ผʹநग़͢Δ΋ͷͰ͋Γɼ 4W ͢΂ͯͷ৘ใΛநग़͢Δ୯७ͳख๏͸͜ΕΒΛΧεέʔυతʹ࣮ߦ͢Δ͜ͱͰ͋Δɽͭ·Γɼऩ࿥ͨ͠Ի͔ΒԻ‫ݯ‬Λ‫ݕ‬ग़ɾఆҐ͠ɼෳ਺Ի‫͕͋ݯ‬Δ৔߹ʹ͸ͦΕͧΕ෼཭͠ɼಉ
ఆΛߦ͏ख๏Ͱ͋Δɽ͜ͷΞϓϩʔνʹ͸ೋͭͷܽ఺͕
͋ΔɽҰͭ͸ɼॲཧ͕ଟஈʹͳΔͨΊɼ‫͕ࠩޡ‬஝ੵͯ͠͠
·͏͜ͱͰ͋Δɽ΋͏Ұͭ͸ɼԻ‫ݯ‬ͷҐஔͱछྨͷؔ܎
ੑͳͲ 4W ؒͷ૬‫ޓ‬ґଘΛߟྀ͍ͯ͠ͳ͍఺Ͱ͋Δɽ͜
͏͍ͬͨ՝୊Λѻ͏ͨΊɼԻ‫ݯ‬ఆҐͱԻ‫ݯ‬෼཭Λಉ࣌ʹߦ͏ख๏ͱͯ͠ BNP-MAP ๏ [Otsuka 14] ͕ఏҊ͞Ε͍ͯΔɽ·ͨɼ‫ڥ؀‬ཧղҎ֎Ͱ΋૬‫ʹޓ‬ґଘͨ͠৘ใΛѻ͏Ϟσϧ͸‫͞ڀݚ‬Ε͓ͯΓɼྫ͑͹ɼؔ܎σʔλΛѻ͏Stochastic Block Model ʢSBMʣ ͸ωοτϫʔΫ෼ੳ΍ؔ܎ΫϥελϦϯάͰར༻͞Ε͍ͯΔ [Holland 83]ɽؔ܎
ΫϥελϦϯά͸ɼೋͭҎ্ͷର৅ͷؔ܎Λ༻͍ͯΫϥελϦϯά͢Δख๏Ͱ͋Γɼಉ࣌ʹෳ਺ͷԻ͕ଘࡏ͢Δ৔߹ͷ૬‫ޓ‬ґଘؔ܎Λѻ͏໰୊ͱ΋ؔ܎͕ਂ͍ɽ

͓͍ͯ΋ɼैདྷ๏ͱมΘΒͳ͍ੑೳ͕ୡ੒Ͱ͖
Δ͜ͱ͕֬ೝͰ͖ͨɽ

1

͸͡Ίʹ

·ͨɼఆҐͱಉఆͷ૬‫ޓ‬ґଘੑɼಛʹɼ͍ͭͲ͜Ͱ୭͕࿩͍ͯ͠Δ͔ͱ͍͏໰୊͸࿩ऀμΠΞϥΠθʔγϣϯͱͯ͠޿͘‫͞ڀݚ‬Ε͍ͯΔɽྫ͑͹ɼϚΠΫϩϗϯΞϨΠΛ༻͍ͯ౸ୡ࣌ؒࠩΛಛ௃ྔͱͯ͠ิॿతʹར༻͢Δ͜ͱͰԻ‫ڥ؀‬ཧղ͸ɼ‫ڥ؀‬தͷԻʹ஫໨͢Δ͜ͱͰɼը૾ͳͲͷ࿩ऀͷηάϝϯςʔγϣϯਫ਼౓͕޲্Ͱ͖Δ͜ͱ͕஌Β৘ใ͔ΒͰ͸ಘΔ͜ͱ͕೉͍͠৘ใ΍ো֐෺͕ଟ͘ΦΫΕ͍ͯΔ [Pardo 06]ɽ͜ΕΒͷ࿩ऀμΠΞϥΠθʔγϣϯϧʔδϣϯ͕໰୊ͱͳΔΑ͏ͳ‫Ͱڥ؀‬େ͖ͳखॿ͚ͱͳ

ͷख๏͸ձٞࣨͳͲͷࣨ಺Ͱɼਓͷ੠Λର৅ʹ͍ͯ͠Δɽ

Δ͜ͱ͔Βɼ‫ڥ؀‬ϞχλϦϯά΍ϩϘοτͳͲͷ෼໺ͰɼຊߘͰ͸ɼఆҐͱಉఆͷ૬‫ޓ‬ґଘੑΛऔΓѻ͏ͨΊʹɼ஫໨͞Ε͍ͯΔɽԻ‫ڥ؀‬ཧղʹ͓͚Δओͳࠔ೉ͷҰͭ͸ɼௗͷՎ෼ੳΛର৅ʹͨ͠ɽௗͷՎͷԻ‫ݯ‬ಉఆ͸Ի‫ݯ‬ͷҐஔ‫ڥ؀‬தʹ͋Δࠞ߹Իͷத͔Β༗༻ͳ৘ใΛநग़͢Δ͜ͱ

৘ใͱਂ݁͘ͼ͍ͭͨλεΫͷҰͭͰ͋ΔɽͳͥͳΒ͹ɼ

Ͱ͋Δɽզʑ͸Ի‫͔ڥ؀‬Β 5W1H ৘ใ (When, Where,໺ௗ͸ࣗ෼ͷೄுΓΛ͓࣋ͬͯΓɼۙ͘ͷ‫ݸ‬ମ͸ಉҰͷ‫ݸ‬

What, Who, Why, How) Λநग़͢Δ͜ͱΛԻ‫ڥ؀‬ཧղͱ

ମͰ͋Δͱ͍ͬͨ͜ΕΒͷ৘ใΛߟྀͭͭ͠ɼো֐෺ͷ25ଟ͍৿ྛͳͲͷ‫͍͓ͯʹڥ؀‬ɼԻ‫ݯ‬ಉఆΛߦ͏λεΫ͸

2. Ի‫ݯ‬ఆҐ৘ใΛߟྀͨ͠Ϟσϧύϥϝʔλͷֶश๏‫ڥ؀‬ϞχλϦϯάͱͯ͠΋௅ઓతͳλεΫͷҰͭͰ͋Δɽ

3. ෦෼తͳΞϊςʔγϣϯΛߟֶྀͨ͠श๏

·ͨɼௗ‫͍͓ͯʹڀݚ‬΋ɼௗͷՎ͸ೄுΓͷओு΍‫ٻ‬ѪͳͲͷ໾ׂΛ࣋ͭ͜ͱ͔Β‫ڵ‬ຯਂ͍ର৅ͷҰͭͰ͋Δ

Ұͭ໨ͷ՝୊͸ɼ໺ௗ‫؍‬ଌΛߦ͏Α͏ͳ৿ྛ΍԰֎Ͱ

[Catchpole 03]ɽௗͷՎ‫ʹڀݚ‬͸ೋͭͷํ๏͕͋ΓɼҰͭ͸ɼ໦ʑͳͲͷো֐෺΍஍‫ʹܗ‬ΑΔӨ‫ʹڹ‬ΑΓɼԻ‫ݯ‬෼཭͸Α͘ίϯτϩʔϧ͞Εͨ‫Ͱڥ؀‬ͷ‫؍‬ଌͰɼ΋͏Ұͭ͸͕े෼ͳੑೳΛൃ‫ʹͱ͍͜ͳ͖Ͱش‬༝དྷ͍ͯ͠Δɽ࣮ࡍ

࣮ࡍͷϑΟʔϧυʹ͓͚Δ‫؍‬ଌͰ͋Δɽલऀ͸৚݅Λίʹ෼཭ԻʹଞԻ‫͔ݯ‬ΒͷԻʢಉ࣌ʹ໐͍͍ͯΔଞͷௗͷϯτϩʔϧͨ͠ௗͷՎͷੑ࣭ͷ‫͕ڀݚ‬ՄೳͰ͋ΓɼෆཁͳՎͳͲʣ͕࿙Εͯ͠·͍ɼࣝผ͕͏·͍͔͘ͳ͍৔߹͕ଟ

৚݅Λഉআ࣮ͯ͠‫ݧ‬Λߦ͏͜ͱ͕Ͱ͖ΔɽຊߘͰ͸‫ऀޙ‬͘ଘࡏͨ͠ɽҰํͰɼMUSIC ๏ [Schmidt 86] ΍ͦͷ֦ுʹओ‫؟‬Λ͓͍͓ͯΓɼ͜ͷํ๏Ͱ͸ɼ࣮ࡍͷ‫ڥ؀‬ԼͰௗ͕ख๏͸ɼ԰֎ͷ૽Ի‫ڥ؀‬΍໺ௗ͕ॅॲʹ͢ΔΑ͏ͳ৿ྛͲͷΑ͏ʹ‫׆‬ಈ͍ͯ͠Δ͔Λ௚઀‫؍‬ଌ͢Δ͜ͱ͕Ͱ͖Δ

Ͱ͋ͬͯ΋ɼ͋Δఔ౓ͷԻ‫ݯ‬ͷ౸དྷํ޲ΛਪఆͰ͖Δͨ͜Ίɼ஫໨͞Ε͍ͯΔํ๏Ͱ͋Δɽ

ͱ͕ใࠂ͞Ε͍ͯΔ [দྛ 15, Uemura 15]ɽͦ͜Ͱɼ෼཭

ௗͷՎͷಉఆ͸‫ػ‬ցֶश෼໺Ͱ΋஫໨͞Ε͓ͯΓɼ͍Ի͔Βͷ৘ใΛิॿ͢ΔͨΊʹɼ౸དྷํ޲Λ‫ؚ‬Ίͨ֬཰͔ͭ͘ͷίϯϖςΟγϣϯͰऔΓ্͛ΒΕ͓ͯΓɼ༷ʑͳϞσϧΛఏҊ͢ΔɽఏҊϞσϧ͸ɼ෼཭Իʹؔ͢Δ֬཰෼

ख๏͕ఏҊ͞Ε͍ͯΔ [Briggs 13, Goëau 16]ɽ͜ΕΒͷ෍ͱ౸དྷํ޲ʹؔ͢Δ֬཰෼෍ͷ̎ͭͷ෼෍͔Βߏ੒͞ίϯϖςΟγϣϯͰ༻͍ΒΕ͍ͯΔσʔλ͸ 1 ΋͘͠͸ 2

ΕΔɽ෼཭Իʹؔ͢Δ෼෍ͱͯ͠͸ɼԻ‫ݯ‬ಉఆͷϞσϧͱνϟϯωϧͷϚΠΫϩϑΥϯͰऩ࿥͞ΕͨԻͰ͋Δɽ3 ͭͯ͠Α͘஌ΒΕ͍ͯΔ ࠞ߹Ψ΢ε෼෍ (GMM: GaussianҎ্ͷϚΠΫϩϑΥϯͰߏ੒͞ΕͨϚΠΫϩϑΥϯΞϨ

Mixture Model) Λ༻͍ɼ౸དྷํ޲ʹؔ͢Δ෼෍ʹ͸ํ޲ΠΛ༻͍ͨऩ࿥͸ɼఆҐ΍෼཭ͷੑೳ޲্ͷͨΊʹௗͷ౷‫Ͱֶܭ‬Α͘༻͍ΒΕΔ von Mises ෼෍Λ༻͍Δɽ

Վʹར༻Ͱ͖Δ͜ͱ͕ใࠂ͞Ε͍ͯΔ [Suzuki 16]ɽԻ‫ݯ‬ೋͭ໨͸ɼߏஙͨ͠ϞσϧͷύϥϝʔλͷֶशΛ͍͔ಉఆʹ͍ͭͯ΋ɼఆҐ΍෼཭ͱਂ݁͘ͼ͍͍ͭͯΔͨΊɼʹߦ͏͔ͱ͍͏՝୊Ͱ͋ΔɽఏҊϞσϧͰ͸ɼಉ࣌ࠁͷ෼ϚΠΫϩϑΥϯΞϨΠΛ༻͍Δ͜ͱ͕༗ޮͰ͋Δͱ‫ظ‬଴཭Ի͸ఆҐ৘ใΛ௨ͯ͠૬‫ʹޓ‬ґଘ͍ͯ͠ΔɽఏҊϞσϧ

Ͱ͖Δ͕ɼͦͷੑೳධՁʹ͍ͭͯ͸े෼͞Ε͍ͯͳ͍ɽ

͸ɼӅΕม਺Λ࣋ͭ֬཰ϞσϧͰ͋ΔͨΊɼExpectationઌߦ‫ڀݚ‬ɹ [খౡ 15] ɹͱͯ͠ɼԻ‫ݯ‬ҐஔΛߟྀͨ͠ಉMaximization (EM) ΞϧΰϦζϜͰֶश͢Δ͜ͱ͕ߟ͑

ఆϞσϧ͕ఏҊ͞Ε͍ͯΔɽ͜ͷख๏͸ɼԻ‫ݯ‬ಉఆΛߦ͏ΒΕΔ͕ɼ෼཭Իؒͷ૬‫ޓ‬ґଘੑΛߟֶྀͯ͠श͢ΔඞͨΊͷԻ‫ڹ‬ϞσϧΛ෼཭Ի͝ͱʹಠཱͳϞσϧͱֶͯ͠

ཁ͕͋Δɽͦ͜ͰɼຊߘͰ͸৽ͨʹఏҊϞσϧ্Ͱͷ EMशͨ͠‫ޙ‬ɼԻ‫ݯ‬ҐஔΛߟྀͨؔ͠਺Λ༻͍ͯͦΕΒͷϞΞϧΰϦζϜΛಋग़͠ɼ͜ͷ՝୊ͷղܾΛਤΔɽ

σϧΛ݁߹͢Δͱ͍͏ΞϓϩʔνΛऔ͍ͬͯͨɽ͔͠͠ɼ

ࡾͭ໨ʹσʔλͷΞϊςʔγϣϯʹؔ͢Δ՝୊Ͱ͋Δɽ

͜ͷΞϓϩʔν͸ɼ෼཭Ի͝ͱʹಠཱʹֶशΛߦ͏ͨΊɼఏҊϞσϧͷֶशͷͨΊʹ͸Ξϊςʔγϣϯ͕ඞཁͰ͋

Ի‫ݯ‬ҐஔΛԻ‫ڹ‬Ϟσϧʹ൓өͰ͖ͳ͔ͬͨɽ͜ΕΛղܾ

Δ͕ɼ͢΂ͯͷσʔλʹର͠ਓखͰ͜ΕΛߦ͏͸࿑ྗ͕

͢ΔͨΊʹɼEM ΞϧΰϦζϜʹΑΔ૬‫ޓ‬ґଘͷֶशΛՄ͔͔Δɽͦ͜ͰɼҰ෦ͷσʔλʹਓखͰΞϊςʔγϣϯΛೳʹͨ͠Ϟσϧ΋ఏҊ͞Ε͍ͯΔ [খౡ 16]ɽ͔͠͠ɼ͜

͠ɼ࢒ΓΛਪఆ͢Δͷ͕ଥ౰Ͱ͋Δɽ͢ΔͱɼΞϊςʔͷख๏Ͱ͸Ұ෦ͷύϥϝʔλʹؔ͢ΔύϥϝʔλֶशΛγϣϯͷਪఆ͸େྔͷΞϊςʔγϣϯ͞Ε͍ͯͳ͍σʔλߦ͓ͬͯΒͣɼ·ͨɼ[Kojima 16] Ͱ͸࣮‫ݧ‬΋Ұ‫ڥ؀‬ͷΈͱগ਺ͷΞϊςʔγϣϯσʔλ͔Βࣝผ‫ث‬Λߏ੒͢Δ໰୊ͷ‫ݶ‬ఆతͳ΋ͷͰ͋ͬͨɽຊߘͰ͸ɼ͜ΕΒͷύϥϝʔλͱͳΓɼ͜Ε͸൒‫͋ࢣڭ‬Γֶश໰୊ͱͯ͠஌ΒΕ͍ͯΔɽ

ʹ͍ͭͯͷֶशΛՄೳʹ͠ɼҟͳΔ‫Ͱڥ؀‬ͷ࣮‫ݧ‬Λߦ͍ɼಛʹɼ্ड़ͷ EM ΞϧΰϦζϜͰύϥϝʔλֶशΛ͢Δ

ϞσϧΛධՁͨ͠ɽ

৔߹ʹ͸ɼΞϊςʔγϣϯ͞Ε͍ͯͳ͍σʔλΛܽଛ஋ͱΈͳ͢͜ͱʹΑΓɼࣗવʹ൒‫͋ࢣڭ‬Γֶश΁ͱ֦ு͢Δ

2

՝୊ͱΞϓϩʔνզʑ͸ɼϚΠΫϩϑΥϯΞϨΠΛ༻͍ͯऩ࿥ͨ͠ௗͷՎΛࣗಈతʹ෼ੳ͠ɼௗͷ‫ڀݚ‬Λิॿ͢ΔγεςϜͷߏங͜ͱ͕Ͱ͖Δ [Nigam 00]ɽ3Χεέʔυ๏

Λ໨ࢦ͢ɽຊߘͰ͸Ի‫ݕݯ‬ग़ɾఆҐɾ෼཭ɾಉఆΛλʔ͜͜Ͱ͸ɼऩ࿥ͨ͠Ի͔ΒԻ‫ݯ‬Λ‫ݕ‬ग़ɾఆҐɾ෼཭ɾಉఆ

ήοτʹ͠ɼԻ‫ݯ‬ಉఆʹ͓͍ͯ͜ΕΒΛ౷߹͢ΔϞσϧͷͨΊͷ୯७ͳΧεέʔυख๏Λઆ໌͢Δɽਤ 1 ͸ɼϚ

Spatial-Cue-Based Probabilistic Model (SCBPM) ΛఏҊΠΫϩϑΥϯΞϨΠͰऩ࿥ͨ͠ԻΛ‫ݕ‬ग़ɾఆҐɾ෼཭ɾಉ

͢Δɽఆͷॱʹ࣮ߦͯ͠෼ੳ͢ΔΧεέʔυख๏Λ͍ࣔͯ͠Δɽ

Ϟσϧͷߏஙʹ͋ΓҎԼͷ̏ͭͷ՝୊͕‫͛ڍ‬ΒΕΔɽ

͜ͷख๏Ͱ͸ͦΕͧΓͷॲཧ͸ಠཱͯ͠ߦΘΕΔɽ͜ͷઅͷҎ߱Ͱ͸͜ΕΒͷॲཧʹ͍ͭͯͷৄࡉΛड़΂Δɽ

1. Ի‫ݯ‬ఆҐ৘ใΛ༻͍ͨԻ‫ݯ‬ಉఆͷϞσϧԽԻ‫ݕݯ‬ग़ɾఆҐͰ͸ɼԻ‫਺ݯ‬ɼԻ‫ݯ‬ͷҐஔɼԻ‫͕ݯ‬ΞΫ

26

検出・定位分離

同定

K 個の分離音

K 個のラベル

M ch の収録音

c

c’

s

s’
d

分離音１

ਤ 1: Ի‫ݕݯ‬ग़ɾఆҐɾ෼཭ɾಉఆͷΧεέʔυ๏
分離音２๏Λ༻͍ͯୡ੒͞ΕΔɽMUSIC ๏Ͱ͸ͦΕͧΕͷํ޲ θϫʔΛ‫͢ࢉܭ‬Δɽ

周波数 (Hz)時間 (sec)ςΟϒʹͳ͍ͬͯΔ۠ؒͷਪఆΛߦ͏ɽ͜ΕΒ͸ MUSIC͝ͱʹ MUSIC ύϫʔ P (θ) ͱ‫ݺ‬͹ΕΔ৴߸෦෼ۭؒͷύx’

周波数 (Hz)x

時間 (sec)ਤ 2: ఏҊϞσϧͷϕΠδΞϯωοτϫʔΫද‫ݱ‬ʢಉ࣌ࠁͷԻ‫͕ݯ‬ೋͭͷ৔߹ʣ:‫؍‬ଌม਺ xɼx ͸ಉ࣌ࠁͷผͷ෼||aH (θ)a(θ)||

P (θ) = M

H
i=L+1 ||a (θ)ei ||ͨͩ͠ɼa(θ) ͸༧Ί‫ܭ‬ଌ͓ͯ͘͠εςΞϦϯάϕΫτϧɼei ͸ϚΠΫϩϑΥϯΞϨΠͷνϟωϧؒͷ૬ؔߦྻΛ‫ݻ‬཭Ի͔Β‫͞ࢉܭ‬ΕΔԻ‫ڹ‬ಛ௃ྔͰ͋Γɼ‫؍‬ଌม਺ d ͸ͦΕΒͷ౸དྷํ޲ͷϕΫτϧɽԼͷࠞ߹Ψ΢ε෼෍ʹै͏͜ͱͱͳΔɽ

༗஋ల։͠ɼ‫ݻ‬༗஋ͷେ͖͍΋ͷॱʹฒ΂ͨ‫ݻ‬༗ϕΫτϧp(x, scj , c) = Ncj (x)p(scj | C = c)p(C = c)ͱͦͷΠϯσοΫε i Ͱ͋Δ. L ͸ MUSIC ๏ͷύϥϝʔλͰ͋ΓɼԻ‫ิީݯ‬ͷ਺ɼM ͸ϚΠΫϩϑΥϯͷ਺Ͱ͋
ΔɽMUSIC ๏Ͱ͸৴߸෦෼ۭ͕ؒࡶԻ෦෼ۭؒͱ௚ަ͢
Δ͜ͱΛར༻͓ͯ͠ΓɼԻ‫ݯ‬ͷ͋Δํ޲Ͱ P (θ) ͸ߴ͍஋ͨͩ͠ɼscj ͸Ի‫ ݯ‬c ͷ j ൪໨ͷαϒΫϥε (j p(scj |C = c) = 1)ɼN (·) ͸ଟมྔΨ΢ε෼෍Ͱ͋Δɽ͜͜ͰɼԻ‫ݯ‬ͷछྨ C Λ֬཰ม਺ͱ͓͖ɼΞϊςʔγϣϯࡁ

ͱͳΔɽ͜ͷ࣌ɼεϨογϣϧυΛ௒͑Δ΋ͷͷΈΛ‫ݕ‬ग़Έσʔλͷ৔߹ʹ͸‫ݻ‬ఆ஋ͱ͢Δ͜ͱͰɼEM ΞϧΰϦζ

͠ɼͦͷϐʔΫ஋Λ‫͚ͭݟ‬Δ͜ͱʹΑΓɼԻ‫ݯ‬ͷํ޲ΛਪϜʹΑΓ൒‫͋ࢣڭ‬ΓֶशΛߦ͏ɽ·ͨɼϞσϧͷߏங‫ޙ‬͸ఆ͢Δɽ·ͨɼ֤࣌ؒϑϨʔϜ͝ͱʹํ޲Λਪఆ͠ɼϑ

MAP(Maximum A Postriori) ਪఆʹΑΓɼԻ‫ݯ‬ͷಉఆΛϨʔϜؒͰͷํ޲ͷ͕ࠩ͋Δᮢ஋ҎԼͰ͋Ε͹ಉҰͷԻߦ͏͜ͱ͕Ͱ͖Δɽ‫ͱݯ‬Έͳ͠ɼ࣌ؒతʹԻ‫ݯ‬Λ௥੻͢Δ͜ͱͰɼԻ‫͕ݯ‬ΞΫςΟϒʹͳ͍ͬͯΔ۠ؒΛਪఆ͢Δ͜ͱ͕Ͱ͖Δɽ͜ΕΒͷεϨογϣϧυͷ஋΋ MUSIC ๏ͷύϥϝʔλͰ͋Δɽ4ఏҊ๏Ի‫ݯ‬෼཭Ͱ͸ࠞ߹Ի͔Β໨తͷԻ‫ݯ‬ͷԻΛநग़͢ΔɽԻલઅͷԻ‫ݯ‬ಉఆͷϞσϧͰ͸Ի‫ݯ‬Ґஔʹؔ͢Δ͜ͱ͸ߟ‫ݯ‬෼཭ͷख๏ͱͯ͠͸ϏʔϜϑΥʔϛϯά๏ͳͲ͕Α͘஌ྀ͞Ε͍ͯͳ͔ͬͨɽ͜͜Ͱ͸Ի‫ݯ‬ҐஔΛར༻Ͱ͖ΔΑ

ΒΕ͍ͯΔɽGHDSS(geometric highorder decorrelation-͏ʹϞσϧΛ֦ு͠ʢ4.1 અʣɼͦͷϞσϧͷύϥϝʔλbased source separation) ๏͸෼཭Իؒͷߴ࣍ແ૬ؔੑΛߟྀͯ͠ϏʔϜϑΥʔϛϯάΛ֦ுͨ͠ख๏Ͱ͋Γɼํ޲ֶशʹ͍ͭͯड़΂Δʢ4.2 અʣɽੑϊΠζʹ‫͍ڧ‬ɽզʑ͸ɼ԰֎ͷ༷ʑͳํ޲ੑϊΠζ͔Β

4.1

໺ௗͷՎΛ෼཭͢ΔͨΊɼGHDSS ๏Λ༻͍ͨɽલड़ͷ GMM ʹΑΔԻ‫ڹ‬ϞσϧͰ͸෼཭Ի͝ͱಠཱʹϞఏҊϞσϧԻ‫ݯ‬ಉఆͰ͸ GMM Λ༻͍ͨԻ‫ڹ‬ϞσϧΛར༻͢Δɽ

σϧԽ͍ͯͨ͠ɽ͕ͨͬͯ͠ɼ࣌ࠁ tɼ෼཭Ի kt ͝ͱʹಠ͜ͷϞσϧͰ͸ɼҰͭͷԻ‫ݯ‬Ϋϥε͸ෳ਺ͷαϒΫϥε

ཱͰ͋ͬͨɽఏҊϞσϧ͸֤෼཭ԻؒͷґଘੑΛಋೖ͠ɼΛ࣋ͪɼ֤࣌ࠁͰͷ͋ΔԻ‫͔ݯ‬ΒͷԻ͸ɼͦΕΒͷத͔Β͜ΕΛ֦ுͨ͠΋ͷʹͳ͍ͬͯΔɽఏҊϞσϧͷϕΠδΞ

֬཰తʹબ୒͞ΕΔͱԾఆ͢ΔɽΑΓ۩ମతʹ͸ɼप೾਺ϯωοτϫʔΫද‫ݱ‬Λਤ 2 ʹࣔ͢ɽ͜͜Ͱɼ࣌ࠁ t ͷԻεϖΫτϧ͔Β‫ͨ͠ࢉܭ‬Ի‫ڹ‬ಛ௃ྔ͕ଟมྔΨ΢ε෼෍‫ ݯ‬kt ͷํ޲ dt = dt,1 , dt,2 , ..., dt,kt , ..., dt,Kt (0 ≤ dt,kt <ʹै͏ͱ͠ɼҰͭͷԻ‫ݯ‬ΫϥεͰ͋ͬͯ΋αϒΫϥεͷ਺

2π, 1 ≤ kt ≤ Kt ) ͸ MUSIC ๏Λ༻͍ͯ‫͖Ͱࢉܭ‬Δɽ͜

͚ͩप೾਺εϖΫτϧͷύλʔϯΛද‫͖Ͱݱ‬Δɽຊ‫ڀݚ‬ͷ࣌ɼ3 અͰड़΂ͨΑ͏ʹ࣌ࠁ t ͷԻ‫ ਺ݯ‬Kt ΋ܾఆ͢Δ.

Ͱ͸ɼप೾਺εϖΫτϧΛ࣌ؒํ޲ʹओ੒෼෼ੳʢPCAʣ

·ͨɼ֤෼཭ԻͷԻ‫ڹ‬ಛ௃ྔ xkt ͸ GHDSS ๏Λ༻͍ͯʹΑΓ࣍‫ݩ‬ѹॖΛͨ͠ϕΫτϧΛԻ‫ڹ‬ಛ௃ྔͱͨ͠ɽ

‫͖Ͱࢉܭ‬ΔɽͦͷͨΊɼਤ 2 Ͱ͸͜ΕΒΛ‫؍‬ଌͱͯ͠ද

͜ͷΑ͏ʹϞσϧԽ͢ΔͱɼೖྗͷԻ‫ڹ‬ಛ௃ྔ x ͸Ҏ‫͍ͯ͠ݱ‬ΔɽҎԼͰ͸ɼ࣌ࠁ t ͸؆୯ͷͨΊʹ

27ͨͩ͠ɼst,kt ͸࣌ࠁ t ͷԻ‫ ݯ‬kt ʹؔ͢ΔαϒΫϥεΛද۩ମతʹ͸ɼҎԼͷΑ͏ʹ‫ه‬ड़͞ΕΔɽ

p(x, d, s, c) =p(d | c)

K

k=1

Nsck (xk )p(sck | ck )p(ck )(1)p(d | c) =֬͢཰ม਺ͱ͠ɼX ͸࣌ࠁ t ͷԻ‫ڹ‬ಛ௃ྔશͯͷू߹ͱ͖ͳ͍ɽ۩ମతʹɼp(st,kt = s, X, d) Λ‫͢ࢉܭ‬Δํ๏Λ

ci =cj ,i=jp(di , dj | ci = cj )ͷੑ࣭͔Βɼp(st,kt = s, X, d) ͸Ի‫ ݯ‬kt ͚ͩͰͳ͘ɼ࣌
ࠁ t ʹ͓͚Δͦͷ΄͔ͷԻ‫ͱݯ‬ಠཱʹܾఆ͢Δ͜ͱ͸Ͱp(di , dj | ci = cj )͢Δ. p(st,kt = s, X, d) ͸ఏҊϞσϧ্Ͱ‫͢ࢉܭ‬Δ͜ͱ
͕Ͱ͖Δɽ ͨͩ͠ɼਤ 2 ΑΓɼϕΠδΞϯωοτϫʔΫ(2)

ࣔ͢ɽ·ͣɼ͜͜Ͱ͸؆୯ͷͨΊ࣌ࠁ t ʹ 2 ͭͷԻ‫ݯ‬ͷΈ͕͋Δͱͯ͠ɼͦΕͧΕɼԻ‫ ݯ‬kt ɼkt ɼԻ‫ڹ‬ಛ௃ྔ x,ci =cj ,i=jp(di , dj | ci = cj ) =f (di − dj ; κ1 )(3)

ͱ xʢX ʹ {x, x }ʣɼԻ‫ ޲ํݯ‬d ͱ d ͕༩͑ΒΕͨ৔߹p(di , dj | ci = cj ) =f (di − dj + π; κ2 )(4)Λߟ͑Δɽ͢ΔͱɼԻ‫ ݯ‬kt ͷαϒΫϥε s ʹؔ͢Δ֬཰
p(s, X, d) ͸ҎԼͷΑ͏ʹද‫͞ݱ‬ΕΔɽ

f (d; κ) =exp(κ cos(d))
2πI0 (κ)(5)
p(s, X, d)=p(d, d |c, c )p(x|s)p(s|c)p(c)p(x |c )p(c )ͨͩ͠ɼ f (d; κ) ͸ von Mises ෼෍Ͱ͋ΓɼI0 (κ) ͸ 0࣍ͷม‫ܗ‬ϕοηϧؔ਺Ͱ͋Δɽ·ͨɼκ ͸෼෍ͷूத౓Λද͢ύϥϝʔλͰ͋Δ (κ ≥ 0)ɽࣜ (3) Ͱఆٛ͞ΕΔp(di , dj | ci = cj ) ɹʹ஫໨͢Δͱɼ͜ͷ֬཰஋͸ೋͭͷԻ‫ݯ‬ͷҐஔ͕ۙ͘ɼ͔ͭɼೋͭͷԻ‫͕ݯ‬ಉ͡Ϋϥεʹଐ͠

(8)

c,c

ͨͩ͠ɼ p(x |c ) =



 
 

s p(x |s )p(s |c )p(c ) ͱ͢ΔɽೋͭҎ্ͷԻ‫͕͋ݯ‬Δ৔߹ɼp(x|c) ΛԿ౓΋‫͢ࢉܭ‬Δඞཁ͕͍͋ͯΔ࣌ʹߴ͍஋ΛͱΔɽҰํɼࣜ (4) Ͱఆٛ͞ΕΔɹ

ΔͨΊɼ༧Ίґଘ͍ͯ͠ΔϑϨʔϜશͯʹରͯ͠ p(x|c)

p(di , dj | ci = cj ) ʹ஫໨͢Δͱɼ͜ͷ֬཰஋͸ೋͭͷԻ‫ݯ‬ͷҐஔ͕ԕ͘ɼ͔ͭɼೋͭͷԻ‫͕ݯ‬ҟͳΔΫϥεʹଐ͠Λ‫͠ࢉܭ‬ɼςʔϒϧΛ࡞͓ͬͯ͘͜ͱͰɼߴ଎ʹ‫͢ࢉܭ‬Δ
͜ͱ͕Ͱ͖Δɽ·ͨɼ p(s|x) ͸ s ʹؔ͢ΔଟมྔΨ΢ε

͍ͯΔ࣌ʹߴ͍஋ΛͱΔɽಉ࣌ࠁʹೋͭҎ্ͷԻ‫͕͋ݯ‬෼෍ͱͳΓɼͦΕҎ֎ͷ֬཰͸ఆٛΑΓ༩͑ΒΕΔɽ

Δ৔߹ (Kt > 2) Λߟྀ͢ΔͨΊʹɼp(d | c) ͸ࣜ (2) ͷvon Mises ෼෍ͷύϥϝʔλ κ1 , κ2 ʹ͍ͭͯ΋ EM ΞϧΰϦζϜͰܾఆՄೳͰ͋Δɽ͜ΕΒͷύϥϝʔλͷߋ৽Α͏ʹ͢΂ͯͷԻ‫ؒݯ‬ͷ૊Έ߹ΘͤʹΑͬͯఆٛ͞Εͯࣜ͸ɼࠞ߹ von Mises ෼෍ͷύϥϝʔλਪఆ [Banerjee 05]

͍Δɽ͜ͷϞσϧΛ༻͍ͯԻ‫ݯ‬ͷΫϥεΛਪఆ͢Δͱ͖ʹ͸ɼಉ࣌ࠁͷଞͷԻ‫ݯ‬ͷΫϥεΛߟྀ͢Δඞཁ͕͋Δɽͨ͠

(new)ͱྨࣅͨ͠΋ͷʹͳΔɽκ1 ͷߋ৽஋ κ1ҎԼͷΑ͏ʹͳΔɽ

͕ͬͯɼԻ‫ݯ‬Ϋϥεͷ MAP ਪఆ͸ҎԼͷΑ͏ʹͳΔɽc∗ = argmax p(x | c)p(d | c)p(c)c4.2

Uc=c =

 
t

(6)

Vc=c =
(new)આ໌͢Δɽ·ͣɼԻ‫ڹ‬ಛ௃ྔ x ʹରԠ͢ΔΫϥε c ͕༩͑ΒΕͨ৔߹ɼͭ·Γ‫͋ࢣڭ‬Γֶशͷ৔߹ɼਤ 2 ΑΓɼϕΠδΞϯωοτϫʔΫͷੑ࣭͔Βɼc ͸ଞͷԻ‫ݯ‬Ϋϥε c ͱಠཱʹ‫͢ࢉܭ‬Δ͜ͱ͕Ͱ͖ɼैདྷͷ GMM ʹΑΔԻ‫ڹ‬Ϟ

κ1



Uc=c
Vc=c


ɹ

Πϕϯτʹ͍ͭͯ c = c , x = x Մೳͳ૊Έ߹ΘͤΛ‫ࢉܭ‬
͢ΔɽA(x) ͸ҎԼͷΑ͏ʹఆٛ͞ΕΔɽ

A(x) =

͔͠͠ɼ෦෼తͳΞϊςʔγϣϯͷ৔߹ɼͭ·Γɼ൒‫ࢣڭ‬ͱʹಠཱʹֶश͢Δ͜ͱ΋Ͱ͖ͳ͍ɽҎԼͰ͸Ϋϥε cɼ

x,x c=cp(c | d, xt )p(c | d , xt ) ɹ͜͜ͰɼUc=c ͱ Vc=c ͸Ϟσϧ্Ͱ͢΂ͯͷಉ࣌ࠁͷԻσϧͷύϥϝʔλֶशͱಉ༷ʹֶशΛߦ͏͜ͱ͕Ͱ͖Δɽ͋ΓֶशΛߦ͏৔߹ʹ͸ɼc ͱ c ͕ಠཱͱ͸ͳΒͣɼx ͝=A−1

cos(d − d )p(c | d, xt )p(c | d , xt ) ɹx,x c=c tఏҊϞσϧͷύϥϝʔλֶशຊઅͰ͸ఏҊϞσϧʹ͓͚Δ EM ΞϧΰϦζϜʹ͍ͭͯΛܾΊΔࣜ͸

I1 (x)I0 (x)

ͨͩ͠ɼI0 (x) ͱ I1 (x) ͸ͦΕͧΕ 0 ࣍ͱ 1 ࣍ͷม‫ܗ‬ϕοc ͕Ξϊςʔγϣϯ͞Ε͍ͯͳ͍৔߹ʹ͍ͭͯઆ໌͢Δɽ

ηϧؔ਺ͱ͢Δ. A(x) ͷ‫ ਺ؔٯ‬A−1 (x) ͸ҎԼͷۙࣅࣜEM ΞϧΰϦζϜʹ͓͍ͯ͸ɼσʔληοτதͷαϒΫϥε s ͷग़‫཰֬ݱ‬ͷ‫ظ‬଴஋Λ‫͢ࢉܭ‬Δඞཁ͕͋ΓɼҎԼͷͰ‫ࢉܭ‬ՄೳͰ͋Δ [Sra 12]ɽA−1 (x) ≈Α͏ʹද‫͞ݱ‬ΕΔɽ

Ns =


t

kt

p(st,kt = s, X, d)(7)x(2 − x2 )1 − x2κ2 ͷߋ৽ࣜ΋ c = c Λ c = c ͱ͢Δ͜ͱʹΑΓɼಉ༷ʹ‫ࢉܭ‬ՄೳͰ͋Δɽ

28

バックエンド
検出・定位

分離
K 個の分離音M ch の収録音同定
K 個のラベルਤ 4: ऩ࿥γεςϜද 1: σʔληοτ (A): ϥϕϧͱΠϕϯτͷ਺ɼ ৭͸ਤ収録

アノテーション
インターフェース

6 ͱରԠɽώϤυϦʢAʣͱώϤυϦʢBʣ͸ҟͳΔ‫ݸ‬ମͷώϤυϦͰɼՎ͍ํͷಛ௃͕ҟͳΔͨΊɼผϥϕϧͱͨ͠ɽϥϕϧΠϕϯτ਺ ৭ΩϏλΩϝδϩ

フロントエンドώϤυϦ (A)ώϤυϦ (B)ਤ 3: ఏҊϞσϧΛ༻͍ͨϓϩτλΠϓγεςϜ

5

ͦͷଞ

red
cyan
blue

13
17

yellowgreenϓϩτλΠϓγεςϜ

ఏҊϞσϧΛධՁ͢ΔͨΊͷϓϩτλΠϓγεςϜΛߏஙͨ͠ɽ͜ͷγεςϜ͸ਤ 3 ʹࣔͨ͠Α͏ʹόοΫΤϯ
υͱϑϩϯτΤϯυ͔ΒͳΔɽόοΫΤϯυ͸Ի‫ݕݯ‬ग़ɾఆҐɾ෼཭ɾಉఆΛߦ͍ɽԻ‫ݕݯ‬ग़ɾఆҐʢMUSIC ๏ʣɾ෼཭ʢGHDSS ๏ʣʹ͸ HARK1 [Ԟ೫ 10] Λ΋͍ͪͨɽϑϩϯτΤϯυ͸ɼऩ࿥ͱΞϊςʔγϣϯ͔ΒͳΓɼϚΠΫϩϑΥϯΞϨΠʹ͸ 7 ͭͷϚΠΫϩϑΥϯ͔ΒͳΔ

Microcone 2 Λ༻͍ͨɽऩ࿥͸ਤ 4 ʹࣔ͢Α͏ʹɼࡾ‫ʹ٭‬‫ݻ‬ఆ͠ɼϥοϓτοϓ PC ʹ઀ଓͯ͠ऩ࿥ΛߦͬͨɽΞϊςʔγϣϯΠϯλʔϑΣʔεͰ͸ɼਤ 4 ɹʹࣔ͢Α͏ʹॎ࣠ʹԻ‫޲ํݯ‬ɼԣ࣠ʹ࣌ؒɼ৭͕Ξϊςʔγϣϯͨ͠ϥϕϧΛද͢΋ͷͱͨ͠ɽຊγεςϜͰ͸Ұ෦ʹϥϕϧΛ

σʔληοτ (A) ͸ 2013 ೥ 5 ݄ 5 ೔ͷேʢ੖ఱʣʹѪ஌‫ࢢ౎ݝ‬෦ͷެԂͰऩ࿥ͨ͠ [Suzuki 15]ɽ͜ͷ̍෼ؒͷσʔλΛର৅ͱͯ͠ɼ3 અ Ͱड़΂ͨ MUSIC ๏Λద༻͢
Δ͜ͱͰɼ 54 ͷΠϕϯτ͕நग़͞Εͨʢਤ 6ʣɽ͜ͷ࣌ɼ

MUSIC ๏ͷύϥϝʔλ͸ɼҰͭͷΠϕϯτ͕ௗͷՎͷҰϑϨʔζʹͳΔΑ͏ʹબ୒ͨ͠ɽ͜ΕΒͷΠϕϯτʹର͠ɼ෼཭ԻΛखֻ͔Γʹɼද 1 ͷϥϕϧΛ༻͍ͯɼਓख
ͰΞϊςʔγϣϯΛߦͬͨ΋ͷΛਖ਼ղͱͯ͠ɼσʔληοτΛ࡞੒ͨ͠ɽσʔληοτ (B) ͸ 2013 ೥ 5 ݄ 9 ೔ͷேʢ੖ఱʣʹΞϝϦΧͷΧϦϑΥϧχΞभͷ਑༿थͱφϥͷࠞ߹थྛͰऩ࿥ͨ͠ɽऩ࿥ͨ͠ 4 ෼ؒʹ 140 ͷΠϕϯτ
Λநग़ͨ͠ʢਤ 7 ʣɽσʔληοτ͸ද 2 ʹࣔͨ͠ 8 ͭͷϥϕϧΛ༻͍ͨɽ

͚ͭΔͱ࢒Γͷϥϕϧʹࣗಈతʹϥϕϧͷީิ͕൒ಁ໌
Ͱண৭͞ΕΔΑ͏ʹͳ͓ͬͯΓɼΞϊςʔλ͸༧ଌ͞Εͨϥϕϧ͕ਖ਼͍͔͠Ͳ͏͔Λ֬ೝɾमਖ਼͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳ͍ͬͯΔɽ

6

5
7
12

ධՁ࣮‫ݧ‬

ਤ 5 ͱ ਤ 8 ͸ͦΕͧΕσʔληοτ (A)(B) ʹؔͯ͠ɼΧεέʔυ๏ͱ SCBPM Λ༻͍ͨఏҊγεςϜͰͷ݁ՌΛൺֱͨ͠΋ͷͰ͋Δɽ͜Ε͸ɼऩ࿥࣌ؒΛ 10 ౳෼͠ɼϥϕϧ͋Γͷ۠ؒͱϥϕϧͳ͠ͷ۠ؒʹ෼͚ͯɼϥϕϧͳ͠ͷ۠ؒͷΠϕϯτΛ༧ଌͨ͠ࡍͷਖ਼౴཰ͰධՁΛߦͬͨɽ͜ΕΒͷάϥϑͷԣ࣠ʢΞϊςʔγϣϯ཰ʣ͸શମͷ

SCBPM ΛධՁ͢ΔͨΊʹɼσʔληοτ (A)(B) ͷೋͭ͏ͪͷϥϕϧ͋Γͷ۠ؒͷׂ߹Ͱ͋ΔɽͷҟͳΔσʔληοτΛ༻ҙͨ͠ɽ
1 Honda Research Institute Japan Audition for Robots with Ky-

oto University
2 http://www.dev-audio.com/

͜͜Ͱ༻͍ͨɼԻ‫ڹ‬ಛ௃ྔɾϞσϧύϥϝʔλ͸ҎԼͷΑ͏ʹઃఆͨ͠ɽ·ͣɼ16-bit 16kHz αϯϓϦϯάͷ෼཭Ի͔Β૭෯ 80ʢΦʔόʔϥοϓ͸ 40 αϯϓϧʣͱͯ͠29

Direction (deg)

0.5

0.45

0.4

正答率

0.35

Time (sec)

0.3

ਤ 7: σʔληοτ (B) ͷΠϕϯτɽϥϕϧ͸ද 2 ͱରԠɽ

0.25
0.8

0.2

SCBPM

0.75

カスケード法

0.15

0.7

0.1
0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9
0.65

正答率

アノテーション率ਤ 5: σʔληοτ (A) ʹؔ͢Δਖ਼౴཰ͷൺֱ

0.6

0.55

Direction (deg)

0.5

SCBPM
0.45

カスケード法0.4
0.1

ϑϨʔϜͷεςοϓ෯Ͱ 100 ϑϨʔϜ෼Λ 1 ϒϩοΫ 4100
࣍‫ݩ‬ͷϕΫτϧͱΈͳ͠ɼPCA ʹΑΓ 32 ࣍‫ݩ࣍ͱ΁ݩ‬࡟‫͠ݮ‬ɼར༻ͨ͠ɽ·ͨɼ͜ͷ 1 ϒϩοΫ͝ͱʹΫϥεΛ
ਪఆ͠ɼ࠷ऴతʹΠϕϯτ಺ͷશͯͷϒϩοΫͷଟ਺ܾʹΑͬͯͦͷΠϕϯτͷΫϥεΛܾఆͨ͠ɽGMM ͷࠞ߹਺͸ 30 ͱͨ͠ɽ൒‫͋ࢣڭ‬ΓֶशͰ͸ϥϕϧ͋ΓσʔλͷॏΈΛͱϥϕϧͳ͠σʔλͷॏΈΛઃఆͨ͠ [Nigam 00].
ϥϕϧ͋ΓσʔλͷॏΈΛ 1.0 ͱ͠ɼϥϕϧͳ͠σʔλͷॏΈ͸σʔληοτ (A) ʹؔͯ͠͸ 0.1ɼσʔληοτ(B) ʹؔͯ͠͸ 0.001 ͱͨ͠ɽ
ਤ 5 ͱ ਤ 8 ͔Β͜ͷਤ͔ΒશͯͷΞϊςʔγϣϯ཰ʹ͓͍ͯɼSCBPM ͕ྑ͍ਖ਼౴཰Ͱ͋Δ͜ͱ͕Θ͔Δɽ·ͨɼσʔληοτ (B) ʹൺ΂σʔληοτ (A) ͷਖ਼౴཰͕Χεέʔυ๏ɼSCBPM ͱ΋ʹ௿͍͜ͱ͕Θ͔Δɽ͜Ε͸σʔληοτ (A) ͷ΄͏͕ಉ࣌ʹՎ͍ͬͯΔௗͷ਺͕ଟ͘ʢਤ 6ʣɼ‫׬‬શͳ෼཭͕ࠔ೉Ͱ͋ͬͨͨΊͱߟ͑ΒΕΔɽఏҊ๏͸ɼಛʹɼ͜ͷΑ͏ͳ෼཭ͷੑೳ͕௿͍৔߹ʹ͓͍ͯɼൺֱతྑ͍ੑೳͰ͋Γɼ࠷େͰ͓Αͦ 5%ͷ͕ࠩ֬ೝͰ͖ͨɽҰํɼσʔληοτ (B) Ͱ͸ಉ࣌ʹՎ͍ͬͯΔௗͷ਺͕গͳ͘ʢਤ 7ʣɼ͍͔ͭ͘ͷΠϕϯτʹ͍ͭͯ͸ଞͷௗͷํ޲ͱॏෳͯ͠͠·͍ͬͯΔɽ͜ͷΑ͏ͳঢ়‫Ͱگ‬͸ఏҊ๏͕͋·ΓΑ͘ಇ͔ͳ͍͕ɼͦͷΑ͏ͳ৔߹
3 ͜ΕΒͷύϥϝʔλ͸ਓ͕ؒɽௗͷՎΛࣝผ͢ΔࡍʹΑ͘ར༻͢Δ

ύϥϝʔληοτͷҰͭͱಉ͡΋ͷΛ༻͍ͨɽ

0.3

0.4

0.5

0.6

0.7

0.8

0.9

ਤ 8: σʔληοτ (B) ʹؔ͢Δਖ਼౴཰ͷൺֱਤ 6: σʔληοτ (A) ͷΠϕϯτɽϥϕϧ͸ද 1 ͱରԠɽSTFT ʹΑΓप೾਺εϖΫτϧΛ‫ ͨ͠ࢉܭ‬3 ɽ͞Βʹɼ10

0.2

アノテーション率Time (sec)Ͱ΋ैདྷ๏ͱಉ౳ͷੑೳ͕֬ೝͰ͖ͨɽ

7·ͱΊఆҐ৘ใΛར༻ͨ͠Ի‫ݯ‬ಉఆϞσϧͰ͋Δ SCBPM ΛఏҊ͠ɼϞσϧύϥϝʔλΛ෼཭ԻؒͷґଘੑΛߟྀͭ͠
ֶͭश͢Δ EM ΞϧΰϦζϜΛಋೖͨ͠ɽ·ͨɼͦͷϞσϧΛ༻͍ͯԻ‫ݕݯ‬ग़ɾఆҐɾ෼཭ɾಉఆΛߦ͏ΞϊςʔγϣϯγεςϜͷϓϩτλΠϓΛߏங͠ɼ࣮ࡍͷϑΟʔϧυʹ͓͚ΔௗͷՎͷσʔλΛ༻͍ͯఏҊ๏ͷ༗ޮੑΛࣔͨ͠ɽࠓ‫ޙ‬͸ɼΑΓେ‫ن‬໛ͳσʔλΛ༻͍ͨύϥϝʔλֶशΛߦ͍ɼԻ‫ݯ‬ಉఆͷਖ਼౴཰Λ্ঢͤ͞Δ͜ͱ΍ຊγεςϜͷεέʔϥϏϦςΟΛධՁ͢Δ͜ͱ͕՝୊Ͱ͋Δɽ
·ͨɼઐ໳ՈʹௗͷՎͷ෼ੳγεςϜΛར༻ͯ͠΋Β͍ɼධՁΛಘΔ͜ͱͰ৽ͨͳ՝୊ͷநग़Λߦ͍͍ͨͱߟ͑ͯ
͍Δɽँࣙຊ‫͚͓ʹڀݚ‬ΔϑΟʔϧυͰͷऩ࿥खॱ΍‫ݱ‬ঢ়ʹ͍ͭͯॿ‫ݴ‬Λ௖໊͍ͨ‫ݹ‬԰େֶͷদྛࢤอࢯʹ‫͢ँײ‬Δɽຊ ‫ ڀ ݚ‬͸ ɺJSPS Պ ‫ ݚ‬අ 24220006, 16H02884,
16K00294 ͓ΑͼɼJST ImPACT λϑϩϘςΟΫενϟ
Ϩϯδͷॿ੒Λ͏͚ͨɽࢀߟจ‫ݙ‬[Banerjee 05] Banerjee, A., Dhillon, I. S., Ghosh, J., and Sra, S.:
Clustering on the unit hypersphere using von Mises-Fisher distributions, Journal of Machine Learning Research, Vol. 6, No.
Sep, pp. 1345–1382 (2005)

30

Sound Source Separation and Deep Learning with a QuadrotorEmbedded Microphone Array, in ICAM2015, pp. 329–330,
JSME (2015)ද 2: σʔληοτ (B): ϥϕϧͱΠϕϯτͷ਺ɽ৭͸ਤ

7 ͱରԠɽ
ϥϕϧ

Πϕϯτ਺

৭

Paciﬁc-Slope Flycatcher
Spotted Towhee
Nashville Warbler

7
8
12

green
red
blue

Black-Headed Grosbeak
Orange-Crowned Warbler

10
4

cyan
yellow

Cassin’s Vireo
Unknown bird song
Others90
63

magentadark green
dark red[খౡ 15] খౡ ྒհ, ਿࢁ ࣏, ླ໦ ྷ࣑, தᢕ ҰതɿԻ‫ݯ‬ΞϊςʔγϣϯิॿͷͨΊͷԻ‫ݯ‬ҐஔΛߟྀͨ͠ಉఆϞσϧ, in RSJ2015, ೔ຊϩϘοτֶձ (2015)[খౡ 16] খౡ ྒհ, ਿࢁ ࣏, ླ໦ ྷ࣑, தᢕ ҰതɿԻ‫ݯ‬ҐஔΛߟྀͨ͠Ի‫ݯ‬ಉఆͷͨΊͷ֬཰Ϟσϧͱͦͷֶश, in RSJ2016, ೔ຊϩϘοτֶձ (2016)[Ԟ೫ 10] Ԟ೫ ത, தᢕ ҰതɿϩϘοτௌ֮Φʔϓϯιʔειϑτ΢Τ
Ξ HARK, ೔ຊϩϘοτֶձࢽ, Vol. 28, No. 1, pp. 6–9 (2010)[দྛ 15] দྛ ࢤอ, ླ໦ ྷ࣑, খౡ ྒհ, தᢕ Ұതɿෳ਺ͷϚΠΫϩ
ϑΥϯΞϨΠͱϩϘοτௌ֮ιϑτ΢ΣΞ HARK Λ༻͍ͨ໺ௗͷҐஔ‫؍‬ଌਫ਼౓ͷ‫ݕ‬౼, ୈ 43 ճ AI-Challenge ‫ڀݚ‬ձ, pp. 54–59, ਓ޻஌ೳֶձ (2015)[Briggs 13] Briggs, F., Raich, R., Eftaxias, K., Lei, Z., and
Huang, Y.: The ninth annual MLSP competition: overview,in IEEE International workshop on machine learning for signal processing, Southampton, United Kingdom., Sept, pp. 22–25(2013)[Catchpole 03] Catchpole, C. K. and Slater, P. J.: Bird song:
biological themes and variations, Cambridge University Press(2003)[Goëau 16] Goëau, H., Glotin, H., Vellinga, W.-P., Planqué, R.,
and Joly, A.: LifeCLEF Bird Identiﬁcation Task 2016, in CLEF
working notes 2016 (2016)[Holland 83] Holland, P. W., Laskey, K. B., and Leinhardt, S.:
Stochastic blockmodels: First steps, Social networks, Vol. 5,
No. 2, pp. 109–137 (1983)[Kojima 16] Kojima, R., Sugiyama, O., Suzuki, R., Nakadai, K.,
and Taylor, E. C.: Semi-Automatic Bird Song Analysis by
Spatial-Cue-Based Integration of Sound Source Detection, Localization, Separation, and Identiﬁcation, in Intelligent Robots
and Systems (IROS), 2016 IEEE/RSJ International Conference onIEEE (2016)[Nigam 00] Nigam, K., McCallum, A. K., Thrun, S., andMitchell, T.: Text classiﬁcation from labeled and unlabeled documents using EM, Machine learning, Vol. 39, No. 2-3, pp. 103–134 (2000)[Otsuka 14] Otsuka, T., Ishiguro, K., Sawada, H., andOkuno, H. G.: Bayesian nonparametrics for microphone arrayprocessing, T-ASLP, Vol. 22, No. 2, pp. 493–504 (2014)[Pardo 06] Pardo, J. M., Anguera, X., and Wooters, C.: Speakerdiarization for multiple distant microphone meetings: mixing
acoustic features and inter-channel time diﬀerences, Proceedings of the Ninth International Conference on Spoken Language
Processing, pp. 2194–2197 (2006)[Schmidt 86] Schmidt, R. O.: Multiple emitter location and signal parameter estimation, IEEE Transactions on Antennas andPropagation, Vol. 34, No. 3, pp. 276–280 (1986)[Sra 12] Sra, S.: A short note on parameter approximation for vonMises-Fisher distributions: and a fast implementation of I s (x),Computational Statistics, Vol. 27, No. 1, pp. 177–190 (2012)[Suzuki 15] Suzuki, R. and Cody, M. L.: Complex systems approaches to temporal soundspace partitioning in bird communities as a self-organizing phenomenon based on behavioral plasticity, in Proc. of the 20th International Symposium on Artiﬁcial Life and Robotics, pp. 11–15 (2015)[Suzuki 16] Suzuki, R., Matsubayashi, S., Nakadai, K., and Hiroshi, O. G.: Localizing bird songs using an open source robot
audition system with a microphone array, in Proceedings of Interspeech 2016, pp. 2026–2030 (2016)[Uemura 15] Uemura, S., Sugiyama, O., Kojima, R., andNakadai, K.: Outdoor Acoustic Event Identiﬁcation using31一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-06 (11/09)

UAV 搭載マイクアレイを用いた
高雑音環境下における音イベント検出・識別の並列最適化
杉山治 1∗, 小島 諒介 1 , 中臺 一博 1,3

Osamu SUGIYAMA1 , Ryosuke KOJIMA1 , Kazuhiro NAKADAI1,2

1. 東京工業大学 大学院 情報理工学研究科, 2. （株）ホンダ・リサーチ・インスティチュート・ジャパン
1. Graduate School of Information Science and Engineering, Tokyo Institute of Technology,
2. Honda Research Institute Japan Co., Ltd.

sugiyama@kuhp.kyoto-u.ac.jp, kojima@cyb.mei.titech.ac.jp,
nakadai@jp.honda-ri.com
Abstract2

音源検出と音源識別を同時に行う際に現れる特有の課題無人航空機 (UAV) に搭載したマイクアレイは,近くにノイズを発生するローターがあるため, 常に高雑音環境にさらされる. 本稿では, このような UAV に搭載したマイクアレイを用いて音源検出・音源識別をする際に現れる特有の課題に触れ, それらを解決するための並列最適化手法を提案する. 提案システムでは，定位と識別に異なるパラメータセットを用いた並列処理機構を持ち，さらに識別に用いる畳み込みニューラル
ネットワークのソフトマックス層から得られる
確信度によって識別するフレームを取捨選択することで，定位と識別を同時最適化する．また，UAV 搭載マイクアレイによって収集した音声を用いた実験を通じて，提案システムの有効性を
示した．

1

はじめに

本稿では，無人航空機 (Unmanned Aerial Vehicle, UAV) を用
いた屋外音環境理解に取り組む．UAV に搭載したマイクアレイを用い収集した音を通じて「いつ」「どこで」「なに」といった
5W1H の情報を理解することができれば，例えば，災害時に人が立ち入ることが困難な場所においても UAV で空から被災者の探索を支援することができる．このように我々は屋外環境で音源を検出し, その位置や種類を推定する技術を「屋外音環境理解」とし，屋外音環境理解のための技術を確立するための研究を行っている. UAV に搭載したマイクアレイは，近くにローター
音や風切り音などのノイズを発生するローターがあるため，常に高雑音環境にさらされる．本稿では，このような UAV に搭載したマイクアレイを用いて音源検出・音源識別をするときの特有の課題に触れ，それらを解決するためのフレームワークを設計・提案する．
∗
現在，京都大学医学部附属病院勤務

UAV にマイクアレイを搭載する場合の大きな課題の一つとして，UAV 自身のローター音や風切り音などのノイズに常にさらされることが挙げられる．このローター音は，UAV の飛行状態にある場合に強くなり，遠方から到来する本来識別したい音イ
ベントの音声信号の大きさはローター音と比較して小さいことが多い．結果として，UAV に搭載したマイクアレイに入力される音声信号は，常に SN 比が悪い状態で収録されることとなる．さらに，そこに環境のノイズが加わるため，UAV に搭載したマイクアレイから収録される多チャネル音声信号を用いた音
源定位と音源識別手法は高雑音環境下においてもロバストに動作する必要がある．このような高雑音環境下においては，音源検出と音源識別のパラメータ最適化を同時に行うことが難しい．
音源定位をする場合，音源全体を漏れなく検出するために，音のパワーが強い部分だけでなく，その前後の SN 比が低い部分も検出する必要がある．対して，音源識別をする場合には，SN比が良い部分のみを用いた方が識別精度が高くなる．したがって，音源定位・音源識別それぞれに特化した最適化を行う必要がある．
これまでも UAV 搭載のマイクアレイを用い，音源定位，分離，識別の研究を行ってきた [1, 2, 3]．音源検出と音源定位については，マイクアレイの音源定位手法である Multiple Signal Classiﬁcation based on incremental Generalized Singular Value Decomposition with Correlation Matrix Scaling(iGSVD-MUSIC-CMS) 法 [4] を提案し，10-20 [m] 程度離れた場所の音源でも UAV 搭載マイクアレイから音源の定位および検出ができることを示した. この手法に加え，これまでに音源分離手法として，マイクアレイを用いた音源分離法として高性能であることが報告されている Geometric High-order
Dicorrelation-based Source Separation with Adaptive Stepsize control (GHDSS-AS) 法 [5] と，深層学習の一つである畳み込みニューラルネットワーク (Convolutional Neural Network,
CNN) [6] を組み合わせることで高雑音環境下でロバストに動作する音源識別手法を提案した [7]．CNN は元来，画像の識別に特化したニューラルネットワークであるが，入力として，縦軸を周波数成分，横軸を時間成分にとったスペクトログラムを画
像的特徴量を用いることで，音イベント識別でも有効に作用する．本稿では，これまで個々に検証されてきた音源定位・検出・分離・識別を一つのフレームワークとして統合し，フレームワー
ク全体として高雑音環境下においても音源定位・識別性能を同時最適化する仕組みを提案する.

32

! ! 
         !   

源区間情報を組み合わせて，音イベント毎の識別結果を求める(図 1, Voting for Event)．識別部の構成については，3.1 節でより詳細に述べる．また，前述したとおり，高雑音環境下においては，音源検出と音源識別において，同じパラメータで性能を最適化することが困難であるため，図 1 中破線で囲んだ領域のように音源追跡と分離に関しては，2 つの異なるパラメータを用いて並列的に区間検出用，識別用のデータを切り出す．この処理については，3.2 節でより詳細に述べる．最後に，音イベ
ントの区間情報と，識別結果をどのように投合するかについて，
3.3 節で述べる．

3.1

な識別

! ! $      
! !
!"! !
% 
!"# 

% #      

! !%         "      !  
 "
図 1: フレームワークの概要

音源分離と深層学習を組み合わせた雑音ロバスト

UAV 搭載のマイクアレイから得られる多チャネル音声信号は，ロータの雑音が常に入ってくるため，SN 比の悪い状態で収録される．このように SN 比の悪い音声信号をそのまま既存の GMMのような識別器にかけても，雑音の方が主要な成分となり，識別することができない．そこで，本稿では課題を分割し，予め音源分離を行うことで，雑音抑圧された分離音を抽出し，その分離音を識別するというアプローチをとる．ここで，音源分離手法としては，前述した GHDSS-AS 法を用いる．GHDSS-AS
法はビームフォーミングとブラインド音源分離の 2 つのコスト関数を組み合わせて分離を行うため，方向性のあるスパースな音声信号（つまり，本稿で対象とする人の発話や救助を求める人
工的な音声）を効率よく分離できるものと考えられる．また，識別手法としては，CNN を用いた．CNN は画像の識別に特化した識別手法であり，本稿では，縦軸を周波数成分，横軸を時間成分にとったスペクトログラムを画像的特徴量とみなして，CNNに用いる．フィードフォワード型のフルコネクションのニュー
ラルネットワークと異なり，CNN は全結合されていないため，
音声信号の識別で重要であると考えられる時間成分を明に考慮できるものと考えられる．
使用した CNN の構成を図 2 に示す．入力はログフィルタバ
ンク特徴量 20 次元を 20 フレーム分連ねた 20 × 20 のスペクト
ログラムとし，畳み込み層 (32 カーネル)，プーリング層（最大値プーリング）を 2 層ずつ連ねた後，出力層で統合し，識別学習を行った．学習には，識別用に調整された分離音を用い，人の発話や，救助を求めるときに人が出すと考えられるホイッス
ルなどの音に加え，災害現場で検出されそうな救急車の音声などを交え，8 クラスの識別タスクを学習した．最終層の softmax
層の出力は，識別学習だけでなく，3.3 節の音イベントの識別（Voting for Event）にも用いられる．

3.2

定位と識別を同時最適化するための区間検出の並
列処理

3

高雑音環境下で音源検出と音源識別を同時最適化するフレームワーク

本稿で提案する高雑音環境下で音源検出と音源識別を行うフレー
ムワークの概要を図 1 に示す．システムは大きく分けて，音イ
ベント検出部 (Acoustic Event Detection, AED) と音イベント
識別部 (Acoustic Event Identiﬁcation, AEI) に分かれ，それぞれに音源定位・検出・分離・識別・統合の仕組みを内包する．
音イベント検出部（図 1，AED) では，短時間フーリエ変換(STFT) を用い，各チャネルの音声信号を周波数領域に変換する．次に iGSVD-MUSIC-CMS 法を用いて，雑音を抑圧しながら音源定位を行い，MUSIC 空間スペクトログラムを得る．得
られた MUSIC 空間スペクトログラムを用いて，音イベントを追跡し，音源区間を音イベント識別部 (図 1，AEI) に出力する．
音イベント識別部では，まず，得られた音源区間情報と 16 chのスペクトラムを利用し，分離音を抽出する．次に，その分離
音を CNN を用いて識別し，フレーム別の識別結果を得る．これらフレーム別の識別結果と音イベント検出部から得られた音

高雑音環境下で音源検出と音源識別をする場合，区間検出において同じパラメータで性能を同時最適化することが困難である．
そこで，本稿では，音源検出と音源識別においてパラメータの異なる 2 つの区間検出処理を並列で動かすことで検出と識別の同時最適化を図る．
音源定位と音源識別で最適な音源区間の概要を図 3 に示す．図3 に示す通り，音源区間検出では，図中の a) T h, b1) pre-margin,b2) post-margin の各パラメータを用いて，音源区間を検出す
る．T h は音源と雑音を分ける閾値を，pre-margin は音の開始地点のパワーが低い部分が何ミリ秒続くかを，post-margin は
音の終了地点のパワーが低い部分が何ミリ秒続くかをそれぞれ表す．音源定位に最適な区間検出を考える場合，音イベントの開始・終了時点の音源のパワーは低いため，SN 比の低い区間を含んで検出する必要がある．したがって，検出音源の性質に合わせて，pre-margin, post-margin を適切に設定する必要があり，また音源と雑音をわける閾値 T h も音源全体を検出できる
ように低めに設定する必要がある（図 2，下部の閾値設定参照）．
一方，音源識別に最適な区間検出を考える場合，SN 比が大きい
音イベントの特徴がよく現れたフレームを用いて識別したほう33   
 

図 2: 識別学習に用いた CNN                        

図 4: 実験で試用した UAV とマイクアレイ

図 3: 音源定位と音源識別で最適な音源区間

4が良いため，pre-margin, post-margin はなるべく小さい方がよく，閾値 T h も高めに設定する必要がある（図 3，上部の閾値設定参照)．
本稿では，これらの 2 つの条件には矛盾があるため同じパラメータを用いた最適化は不可能であると考え，定位用・識別用の 2 つのパラメータセット T h, post-margin, pre-margin によって，並列に定位用・識別用の区間検出を行う．

3.3

確信度が高いフレームを用いた区間識別の最適化

定位用・識別用，2 つのパラメータセットを用いた並列区間検出は最終的に図 1 の音イベント識別部 (Voting for Event) で統合される．この際，音イベント識別のための CNN は SN 比が高い音声信号に合わせて学習しているため，検知したイベントから抽出された音声特徴量全てを対象とするのではなく，図 3で示した音の特徴を良く表現しているフレームを選択し識別を行うことが望ましい．しかしながら，観測時にはその音声信号の SN 比は未知であり，また，図 3 のモデルで示すように観測区間の中心が必ずしも SN 比が良い区間とも限らない．そこで，
本研究では，SN 比の代わりに CNN の最終層であるソフトマッ
クス層の出力のうち，argmax で選ばれたノードの値を確信度とみなし，この確信度が一定値以上のフレームのみを用いて，識別を行うこととする．CNN の畳み込み層のカーネルが各音イベントの特徴を正しく学習しているのであれば，ソフトマックス
層から得られる確信度は音の特徴をよく表すフレームで高くなるものと考えられる．本研究では，実験を通して，この仮説を検証した（5.3 節参照）．

UAV 搭載マイクアレイによる音環境理解システム

提案したフレームワークに基づき，UAV 搭載のマイクアレイ
を用いた音環境理解システムを構築した．図 4 に示すように，
UAV には，Asctech 社のクアドロコプタ Pelican を用いた．この機体の外周上に等間隔にマイクロホンを 16 個配置しマイクアレイとした．各マイクロホンは，黒い毛状の風防で覆うこと
で風切り音の低減を図った．これらのマイクロホンの信号は 16[bit], 16 [kHz] で同期収録される．マイクアレイで収録した音
声信号は，ロボット聴覚のオープンソースソフトウェア HARK
(Honda Research Institute Japan Audition for Robots with
Kyoto University) [8] を用いて，音源定位，音源追跡，音源分離を行い，得られた分離音を入力として Python の深層学習パッ
ケージである chainer1 で実装した CNN で識別学習を行った．

5

実験

本実験の目的は，提案したフレームワークの有効性を検証することである．本稿では，5.2 節で、提案した並列処理が有効に動作しているかどうかの検討，5.3 節で，CNN のソフトマックス
層から得られた確信度を用いた音イベント識別において，識別率が向上するかどうかの検討をそれぞれ詳細に述べる．

5.1

データ収集

実験には，RWCP 実環境音声・音響データベースと電子協騒音
データべースに含まれる計 8 種類の音源を用い，音声 1 種類 (男性の呼び声) と非音声 7 種類（携帯, 救急車, 拍手, 目覚まし時
1 http://chainer.org/

34                  

図 5: 定位再現率と識別適合率のヒートマップ
計, シンバル, ホーン, カラスの鳴声) から構成される．音源はス
ピーカから 3.0-4.0 秒音源を，その後に無音区間を 3.0 - 4.0 秒それぞれ出力し，それを 1 単位として 15 回繰り返して収録を行った．収録は，屋外にて UAV をプロペラを回転させた状態で固定，UAV の中心から 45 [ °] 方向，距離 3.0 [m] 地点に音源を設置し収録した. 音源定位は, 各周波数ビンでは, 同時に存在する音
源数は高々ひとつであるという仮定の下, iGSVD-MUSIC-CMSを実行した (ただし, 周波数方向に統合を行ったブロードバンド
空間スペクトルを用いること, および音源追跡時に一定の音源
生存期間 (500 [ms]) が仮定されることから，検出結果には同時に複数の音源が含まれる可能性がある). 音源識別は, 全データの8 割を学習に，残りの 2 割を評価に用いて，8 種類の音源を識別する 8 クラス識別タスクを行い，K-分割交差検証 (K=5) を
行った．

5.2

並列区間検出の性能評価

並 列 区 間 検 出 の 性 能 評 価 で は ，3.2
節で述べたT h, pre-margin, post-margin を 変 化 さ せ ，フ レ ー ム ベ ースの定位再現率，フレームベースの識別適合率から最適なパラメータ群を探索的に求めた．T h は, 事前検討において音源定位
時に最も定位数が変化した 23.0 から 23.18 までを 0.02 刻み
で変化させた．一方で，pre-margin, post-margin に関しては，
100 [ms] 刻みで，100 [ms] から 500 [ms] まで変化させ，定位
再現率，識別適合率の推移を検証した．そして，a) 定位用のパラメータを用いた場合，b) 提案システムで 2 つの区間検出を組み合わせた場合の識別適合率を比較し，提案手法の有効性を検討した．
実験結果を図 5 に示す．図 5 は，縦軸を閾値 T h，横軸を
pre-margin, post-margin とした時の定位再現率，識別適合率の推移をヒートマップとして表したものである．ヒートマップは各値の推移を見るために，数値の高い部分ほど色が濃く，数値の低い部分ほど薄くなるように図示したもので，直感的に値の推移を読み取ることができる．図を見ると，定位再現率は，T hが低く，pre-margin, post-margin が高くなるにつれて向上するのに対し，識別適合率は，T h が高く，pre-margin, post-margin
共に低くなるにつれて向上することが示された．このことから，定位と識別を単独で最適化するパラメータセットは真逆の設定になることが示された．
次に，2 つのパラメータセットを組み合わせてシステム全
体の識別性能を最大化したときの識別率の比較を図 6 に示す．

図 6: 識別性能の比較

パラメータセットは，T h を 23.0 から 23.18 まで 0.02 ずつ，post-margin, pre-margin を 100 から 500 [msec] まで変化させて，音源定位と音源識別をおこなうのに最適な組み合わせを探索し，定位：T h, post-margin, pre-margin = 23.0, 100, 100，識別：T h, post-margin, pre-margin = 23.10, 100, 100 を得た．
図 6 はで左から求めたパラメータセットのうち定位用のパラ
メータセットで学習した学習器を用いた識別適合率，定位と識別を異なるパラメータセットで同時最適化したときの識別適合率をそれぞれ表す．図 6 を見ると分かる通り，同時最適化した識別適合率は，定位用のパラメータセットを用いた識別適合率
よりわずかながら優れた識別性能を示すことがわかる．したがって，本稿で提案する定位と識別の同時最適化機構が機能することが示唆された．一方で，思うよりも識別性能が延びていない
ことから，単純に定位された区間のフレームを全て用いた場合，含まれる雑音成分によって，識別性能の向上が阻害されていることが予想される．次節でより効率的な音イベント識別について詳細に述べる．

35

6

図 7: 確信度のヒストグラム

おわりに

本稿では，UAV 搭載マイクアレイを用いた音イベント検出・識別のためのフレームワークを設計・実装した．UAV に搭載されたマイクアレイはローター音や風切り音が混入するため，常に高雑音環境下での音源の検出と識別を行う必要がある．このような環境下でも，高精度な音イベント検出と識別を同時におこなうため，本稿では，音源分離と音源識別を組み合わせた識別
手法と，音源定位から識別までを組み合わせた統一的なフレー
ムワークを提案した．識別手法としては，雑音ロバストな定位手法である GHDSS-AS 法と CNN を組み合わせ，統合フレー
ムワークにおいては，区間検出のパラメータとしてイベント検出と識別時に異なる値を用い，並列に処理する機構を導入した．
UAV 屋外飛行実験で収集した実録音のデータを用いて実験した
結果，仮説どおり，定位と識別には異なる閾値設定が必要であること，これらの異なる閾値設定を用いて，並列に定位と識別用の区間検出を行うことで，識別適合率を向上することができることを示した．また，同時に学習した CNN のソフトマック
ス層の出力から得られる確信度を用いることで，音イベントの特徴を表すフレームを取捨選択することができ，識別性能の向上に寄与できることを示した．
今後の課題としては様々な環境音下で学習データを作成し，雑
音ロバスト性の向上を図ること，オンタイム処理を行うシステ
ムに組み込むことなどが挙げられる．

謝辞
本研究は、JSPS 科研費 24220006,16H02884,16K00294 および,
JST ImPACT タフロボティクスチャレンジの助成をうけた.

参考文献[1] H. Nakajima et al., Blind Source Separation with PrameterFree Adaptive Step-Size Method for Robot Audition, IEEE
Trans. ASLP, 18(6), pp. 1476-1484.
[2] 上村 他，クアドロコプタ搭載マイクロホンアレイを用いた音源分
離と深層学習による音源識別, 第 33 回日本ロボット学会学術講演会, 2015.
[3] K. Okutani, T. Yoshida, K. Nakamura, and K. Nakadai. Outdoor auditory scene analysis using a moving microphone array embedded in a quadrocopter. In IEEE/RSJ IROS, pp.
3288–3293, 2012.

図 8: 確信度に基づいたフレームの取捨選択を行ったときの正答率の推移

5.3[4] 大畑他, 相関行列スケーリングを用いた iGSVD-MUSIC 法による屋外環境音源探索の向上 第 32 回日本ロボット学会学術講演会,
2014

確信度を用いた最良識別区間の選択と識別[5] 中村 他, Latent Dirichlet Allocation と Nested Pitman-Yor
Process に基づく雑音に頑健な音響イベント同定の検討, 第 31 回
日本ロボット学会学術講演会, 2013.

次に上述の検討から得られた 2 つのパラメータセットを用いて学習した CNN と定位・区間検出した音イベントのデータセッ
トを用いて，CNN のソフトマックス層の中で選択されたノードの値を確信度とみなしたとき，確信度の高さを閾値として最良の識別区間を選択できるのかを検証した．図 7 にデータセット
を CNN に入力することで得られた確信度のヒストグラムを示す．図 7 を見るとわかるように，50%以上のデータの確信度が0.80 を超える値を示しており，これらの区間のみを用いること
で，よりよい識別性能を得ることができると考えられる．本実験
では，選択区間が全体のデータセットの 90%, 80%, 70%, 60%,
50%となるように確信度の閾値（順番に 0.45, 0.52, 0.60, 0.76,0.84）を設定し，それぞれの閾値で CNN の識別性能がどのように変化するのかを調べた．図 8 に，確信度の閾値と得られた識別性能の推移を示す．図 8 を見るとわかるように，確信度の閾値を上げていくことで，識別性能も向上していくことが示せ
た．したがって，本研究の仮説が検証できたものと考えられる．
なお、識別性能が最も高くなるのは，確信度の閾値が 0.84 のと
きだが，この際，50%以上のフレームが信頼できないフレームとして棄却されるため、区間が短い音イベントなどの識別が困難になる可能性がある．確信度の閾値は，どの程度の精度の音
源定位・区間検出を行いたいのかを考慮に入れつつ，調整する必要がある．

[6] S. Lawrence et al., (1997). Face recognition: A convolutional
neural-network approach. Neural Networks, IEEE Transactions on, 8(1), 98-113.
[7] 上村 他，クアドロコプタ搭載マイクロホンアレイを用いた深層学
習による音声識別, 第 15 回計測自動制御学会システムインテグ
レーション部門講演会, 2014.
[8] K. Nakadai et al. Design and Implementation of Robot Audition System “HARK”, Advanced Robotics, vol.24, pp.739-761(2010).

36

一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-07 (11/09)

言語情報を用いた談話機能推定及びロボット頭部動作生成への応用
Dialog utterance classification and nod generation for humanoid robot
劉超然 1，カルロス石井 1，石黒浩 1
Chaoran LIU, Carlos ISHI, Hiroshi ISHIGURO

国際電気通信基礎技術研究所
1

石黒特別研究所
1

ATR/HIL

chaoran.liu@atr.jp, carlos@atr.jp, ishiguro@sys.es.osaka-u.ac.jp

Abstract

介した遠隔会話に置いた相槌や肯定などの意図を表す際，動作を伴わず音声のみで伝える傾向が見られコミュニケーション中の頭部動作は話者・聴者双方た．単純な動作マッピングは対面対話時と違った動に置いて，会話を円滑化する役割を果たしている．
作をロボットに再現してしまう恐れがある．更に操遠隔操作ロボットを介した会話では，操作者側の環
作者が環境に反応した不意な動作も遠隔地に伝わる境と遠隔地一致しないなどの原因で，操作者の頭部
べきではない．故に，本稿では操作者の発話に着目
動作をロボットにマッピングするのは不十分である． し，音声から動作を生成するモデルを提案した．
本稿では，発話機能を架け橋とし，発話音声から頷きを生成するモデルを提案・評価した．話者の音声
2 関連研究発話はまず自動音声認識システムによりテキストに変換され，複数の分類器の分類結果投票によって発発話音声の基本周波数やパワーなどの韻律特徴と話機能を推定した．各発話機能クラスに置いた頷き
話者頭部動作の相関関係は，多数の研究により報告の生起確率し従い，頷き動作パターンの分布から動されている[Yehia 2002] [Sargin 2006] [Munhall 2004]．例え
作特徴を選出し，生成した動作コマンドを音声と合ば，英語話者の頭部６自由度の回転と基本周波数 F0
わせてロボットに送る．評価者実験では，提案手法の相関係数は 0.39 から 0.52 の間に対し，日本語話者により生成した動作をアンドロイドロボット ERICAに置いて，この相関係数は 0.22 から 0.30 区間になる．
（図 1）で再生し，自然さ・人間らしさを評価した．
従って，F0 と頭部動作の相関性は言語に依存しており，F0 周波数のみで頭部動作を生成するのに不充分だと言える．
しかしながら，韻律情報から頭部動作動作を生成する試みも複数あった．Busso らは HMM ベースのア
ルゴリズムで，韻律情報から話者の感情を推定し，頭部動作を生成するモデルを提案した[Busso 2007]．渡Figure 1. Android robot ERICA used in this work.
辺らは，音声の ON-OFF 情報を入力とした頷き生成
モデルを考案し，CG イージェントやヒューマノイド
ロボットに応用した[Watanabe 2004]．
1 はじめに
複数の言語において，頭部動作と発話音声の関連性が報告されている．英語において，言葉を強調す
談話中に見られる発話に伴う頭部動作は，話者とるとき，上昇調を使う傾向がある[Graf 202]．スウエー
聴者にとって重要な役割を果たしている．動作の表
デン語において，強調アクセントに伴う表情や頭部出は話者に心理的な影響を与える．身体動作によっ動作が非強調時より多く見られる[Beskow 2006]．日本て，話者の内部で話が整理でき，条理的な会話に貢語において，発話権の変更や相槌などを考慮した以献する．聴者にとって，話者の動作をコミュニケー
下のような談話機能リストが提案され[Ishi 2010]，頭部
ションチャンネルとして，相手の意図や感情を把握
動作と談話機能の関連関係が報告された．
することができる．このように，頭部動作は発話内• k (keep)：話者が発話権を保持．ポーズないしはっ容と強く関連している．コミュニケーションロボッ
きりしたピッチのリセットが伴う(明瞭な句境界)
トを経由した遠隔談話において，動作の理解や自然•
k2(keep)：発話文の中にある不鮮明な句境界(発話な動作の生成は談話を深め，対話者間のコネクショ権の保持)
ンを強くすることができる．
• k3 (keep)：話者が発話末の音節を伸ばし，考えてい遠隔操作コミュニケーションロボットに置いて，ることや発話の途中であることを表現(発話権の保最もシンプルな動作生成は操作者の動作を計測し，持)ロボットにマッピングする手法である．しかし，先•f(filler)：「えっとー」「あのー」など，考え中で行研究[Tamaki 2011]で報告されたように，メディアをある ことを表現する感動詞37• f2 (conjunctions)：「じゃ」などの接続詞(文末を伸ばしていない短いフィラーとして捉えられる)• g (give)：当話者の発話が終了し，発話権を対話者への譲渡• q (question)：対話者に確認するなど応答を求める場
合(発話権の譲渡)• bc (backchannels)：「うん」「はい」などの相槌を表現する感動詞• su (backchannels)：「うん」「はい」などの相槌を表現する感動詞• dn (denial)：「いいえ」「ううん」などの否定を表現する感動詞この談話機能リストを用いて頭部動作を生成するモデルが提案された[Liu 2012]．本研究は，[Liu 2012]の延長線上に位置する．一部の談話機能を融合し，大きく三つのクラスに分けた．機械学習によって 談話
機能クラスを推定し，頷き動作生成モデルを提案した．

セットでも訓練データにオーヴァーフィットする傾向が少ない．
LDA モデルを用いたことによって，発話フレーズ
をトピックの確率分布として表現することが可能になり，特徴ベクトルの次元数は Bag-of-words（BOW）
表現時の辞書の長さからトピックの数まで減らすことができる．本研究では，BOW ベクトルを tf-idf[Salton 1983]によって重み付けし，LDA トピックに変換した．ハイパーパラメータの設定は先行研究[Hoffman 2010]に参考した．トピック数は 200 に設定した．
3. 2

3 発話機能分類
本研究では，発話プレーズを三つのクラスに分類する．一つは明瞭な句境界を有するフレーズ（上述のタグリスト中の‘k’，‘g’，‘q’に該当する），
以降このクラスを‘kg’と表記する．一つは相槌で，‘bc’と表記する．最後はその他の‘o’クラス．ここで句境界を言語構造上完了した文と後続文の境界を指す．ポーズか明確なピッチリセットを伴うものが多数占めしている．クラス‘kg’と‘bc’に分類されたフレーズに頷きを生成する．
相槌を独立したクラスに分ける理由として，相槌に使われる語彙，韻律特徴及び相槌に伴う頷きにユ
ニークなパターンが見られるためである．また，自動会話システムとして，ユーザの発話が相槌か割り込み発話かを識別する必要があり，ユーザ発話の種類に対応した発話を生成しなければならない．この研究では，ロボットが発話時の動作生成に注目し，ユーザ発話への対応は今後の研究課題として残す．
3. 1

テキストのベクトル化

発話フレーズのテキストを分類器の入力として使うため，ベクトルに変換するプロセスが必要である．
本研究では Latent Dirichlet Allocation (LDA) [Blei 2003]
トピック用いて言語情報を表現し，分類を試みた．
LDA モデルは生成確率モデルの一種で，階層的構
造を持つベーズモデルである．データセット中の文章をハイパーパラメータで決まる有限個数のトッピ
クの確率分布の形で表現することができる．文章中の各単語が，ランダムに選択されたトピックによって，一定の分布に従って生成された，という基本的な仮説を持つ教師なし学習手法である．LDA モデルの特徴として， トピックセットが Dirichlet 事前分布を有することを前提とし，比較的に小規模なデータ

38

SVM分 類

サポートベクトルマシン(SVM)[Shawe-Taylor 2000]を用いて発話機能の分類を行なった．SVM は広く研究されていた教師あり学習アルゴリズムで， 分類性能の優れたモデルとして知られている．SVM の学習プ
ロセスは，訓練データの特徴空間に，クラス間のマージンが最大になる超平面を探すプロセスになる．
発話データの中，分類ターゲットとなる三つのクラスに属するサンプルの数が一様ではない．その他‘o’クラスに属するサンプルは全データの半分以上に占めしており，相槌‘kg’に属するサンプルは全体の 2 割に過ぎない．このようなアンバランスデー
タ対し，分類誤りを最小化した結果，サンプルの少ないクラスに対する分類パフォーマンスは期待できない．極端な場合，少数クラスのサンプルを全て多数クラスとして分類しても，全体の分類精度が大きく下がらない故である．この問題点を解決するため，
分 類 器 を 訓 練 す る 前 に ， 訓 練 デ ー タ を
cost-proportionate rejection sampling 法[Zadrozny 2003]を用いてダウンサンプリングを行ない，三つのバランスが取れたサブセットを作った．これらのサブセッ
トを用いて，三つの SVM 分類器を訓練した．
本研究で扱う頷きクラス分類問題にとって，適合性が重要な指標となっている．先行研究[Ishi 2010]に報告されたように，頷きがよく見られる発話機能クラス‘k’，‘g’と‘bc’においての頷きの出現確率
はそれぞれ 49.3%，47.1%と 84.2%である．言い換えると，比較的に低い再現率でも人の頷き傾向を再現するのに問題にならないのに対し，頷くべきではな
い発話フレーズで，頷きを生成すると，不自然だと評価される可能性が高い．従って，少数クラスに対する適合率と多数クラスに対する再現率が望ましい
分類結果となる．その為，最終的分類結果は一般的に採用された多数投票ではなく，合意投票の結果を用いた．少数クラスである‘kg’と‘bc’クラスに対し，一つの SVM が‘false’と出力すれば，分類結
果は‘false’になる（‘o’クラスに属する）．

4 動作分析及び頷き生成
本セクションでは，発話に伴う動作の分析及びその結果に基づいた頷き生成モデルを説明する．
4. 1

動作データ

本研究で使われている談話データセットに，発話
音声と話者の頭部動作が含まれている．動作の計測にはモーションキャプチャシステムを利用した．マーカーの配置は図 2 に示す．
Figure 3. Averages of nod angles and frequencies. Error bars denotestandard deviations‘kg’クラスに見られた‘nd’と‘mnd’の周波数の平均値はそれぞれ 1.48Hz と 2.03Hz で，‘bc’クラスの平均値は 1.86Hz と 2.18Hz である．全体的に‘bc’
クラスに見られた頷きは‘kg’クラスより速く，‘mnd’
は‘nd’より速い傾向である．頷きの角度に関して
は，周波数と相反した傾向が見られた．
全データにある頷き周波数のヒストグラム及び周波数と最大角度の分布を下図に示す．

Figure 2. Motion capture marker set.

計測したマーカーの三次元位置時系列データに対し，頭部位置及びピッチ，ロール，ヨー三軸回転角度への変換を施した．ラベラーにより，頷きの区間が付与されている．
発話と動作の関連関係を分析するため，人工的に書き起こしたテキスト及び発話フレーズの分類（分類器を訓練する際の正解データ）を用いた．
4. 1. 1

データ前処理頭部の三軸回転データの大部分は話者の頭部回転を反映しているが，上半身を移動する際，頭部の向き付随的に変わってしまう．データの前処理ではこの部分の動きを取り除く．
上半身の移動による頭部の回転は頭部動作に比べると遅くて比較的に長時間に渡るという性質を持っている．そのため短い時間で見ると，この部分の動きを線形的なトレンドと見なすことができる．各頷
き区間に対し，線形回帰を施し，得られた線形成分
を上半身移動と見なす．時系列回転角度からこれらの線形成分を除き，余剰成分を頭部の回転とした．
4. 1. 2

Figure 4. Histogram of nod frequencies and co-occurrence pattern

頷きの分析

between frequency and amplitude.

頷きの種類を大きく二つに分けた．一つは正弦波で近似すると一周期以内のもので，‘nd’と表記する．
もう一つは複数周期を含むもので，‘mnd’と表記する．データセットの中，4199 の‘nd’と 1482 の‘mnd’が含まれている．
頷きの周期を計算するため，回転角度に対し，離散フーリエ変換を施した．クラス‘kg’と‘bc’の発話に見られた頷きの周波数と角度の平均分散を図3 に示す．

39

4. 1. 1
音声との関連
発話音声の持続時間，発話スピード，相対振幅，
パワー変化率などの音響特徴と動作の相関関係を調べたが，大多数の特徴量に関して，強い相関関係が見られない．一つだけ動作周波数と正の相関関係が確認できたのは，‘bc’クラスにおいた音声パワー変化率である．図 5 に‘kg’と‘bc’両クラスの音声
パワー変化率と頷き周波数の分布を示す．

頷きの動作を生成する．具体的な流れは以下に説明する．
発話機能分類の結果はクラス‘bc’の場合，音声パワーの変化率𝑓! を利用し，頷きの周波数𝑓!" を決める．
図 5 で示した分布を正規雑音が載った線形回帰モデ
ルで近似する．𝑓!" は正規分布𝒩(𝜇!" , 𝜎)からサンプリン
グする．この中，𝜇!" 以下のように決める．
(1)𝜇!" = (𝑭! ! 𝑭! )!! 𝑭! ! 𝑭!" ×𝑓!
𝑭! と 𝑭!" は観測データ中の音声パワー変化率と頷き周波数を表す．線形回帰モデルから正規分布𝒩(𝜇!" , 𝜎)の期待値と分散が得られる．
又，発話機能分類の結果はクラス‘kg’の場合，
図 5 に示したように，頷き動作の特徴と音声特徴に強い相関関係見られないため，頷きの周波数𝑓!" を図4 に示した全体分布からサンプリングする．この分布をガンマ分布𝛤(𝛼, 𝛽)で近似する．正規分布ではなくガンマを選んだ理由は，データ分布の形及び周波数パ
Figure 5. Co-occurrence pattern of nod motion frequency andラメータが非負である必要があるため．
speech energy contour frequency for classes ‘bc’ and ‘kg’.
頷きの動作を生成するのに，周波数と動作角度が‘kg’クラスにおいて，音声パワーの変化率と動必要であるため，上記の手法で動作周波数𝑓!" を決め
作周波数の分布は一様分布に類似したのに対し，‘bc’ てから動作角度を抽出する．各周波数に対応した角クラスにおいて，特に低周波区間で強い相関が見ら度の期待値は図 4 で分かるように，線形回帰を使っれた．この相関は相槌時繰り返した言葉（“はいはいて求めることが可能である．具体的には，角度をガ
はい”や“うんうん”など）と共起した頷きだと考ンマ分布𝛤! (𝛼! , 𝛽! )からサンプリングする．𝛼! と𝛽! は以えられる．
下のように決める．
𝛼(2)= 𝑘! 𝑓!" + 𝜁!
4. 3 頷 き 生 成𝛽𝛽 ∝ 𝑓!"

対話・頷きデータの分析結果を利用し，発話時の頷き生成モデルを提案した．当モデルは発話音声を入力とし，頷き動作を出力する．全体の処理の流れをブロック図に示す．

(3)𝑘! と𝜁! は線形回帰で得られるパラメータである．

最後に，頷きの動作を上記の周波数と振幅を持つ
正弦波で近似する．人の頷きは下方への回転量が上方より大きいため，正弦波開始位相をπ⁄4 とする．

5 評価実験
生成した頷き動作の自然さを評価するため，被験者実験を行った．先行研究で提案された正解談話機
能ラベルに基づく頷き生成モデルを比較対象として用いた．
5. 1 実 験 設 定
発話の違いによるバイアスを排除するため，実際の対話ではなく，収録した発話を使って，動作生成を行った．9 の発話フレーズをランダムにデータベー
スから抽出した．比べ安いように，各フレーズの長さは 15 秒から 30 秒に制限した．
一つの発話に対し，四つの動作を生成した．二つは先行研究で提案された頷きタイミング制御モデル
によって生成された．頷き動作は一般的に見られた

Figure 6. Block diagram of the proposed model.

まず発話音声を音声認識エンジンに送り，テキス
トに変換する．その後セクション 3 に説明した分類
器により，発話機能クラスを推定する．分類結果は
クラス‘o’の場合，動作を出力せず，次のフレーズに移行する．分類結果は‘kg’及び‘bc’の場合，40

人の頷きサンプルを使用した．動作角度を図 7 に示す．その中一つは先行研究のように正解ラベルを利用し，動作の生成を行った．もう一つはセクション 3で説明した分類結果を用いた．

5. 1 実 験 結 果

Figure 7. Fixed nod example used in previous work.

残りの二つの動作は本研究で提案した手法によって生成された．頷きの周波数，長さ，振幅は確率分
布からサンプリングするので，具体的な動作は生成するたびに変わるため，同様な手法で二つの動作を作成し，検証した．正規分布からサンプリングする
際，確率が低いものの，マイナスな値が得られる場合がある．そのようなサンプルはリジェクトして，
再サンプリングする．また動作の周波数や角度がロボットの可動範囲を超えたようなサンプルもリジェクトする．
発話音声をテキストに変えるため，Google speech
api v2 を利用した．9 の音声サンプルの認識精度は単語ベースで 64.2%であった．これらのテキストをセクション 3 で説明した 200 次元 LDA トピックに変換され，三つの分類器に送った．分類精度は 68.1%であった．分類実験時の精度より低い理由は，音声認
識エラーの影響があると思われる．
生成された動作はロボットのアクチュエータコマ
ンドに変換され，20ms 間隔でロボットに送られる．
本実験ではアンドロイドロボット ERICA を使った．
アクチュエータ配置は図 8 に示す．発話時の口唇動
作は「」で提案された手法を用いた．

Figure 8. Actuator map for android robot ERICA.

図 9 に四つの動作タイプに対した主観評価結果を表す．左から一つ目は先行研究で提案された正解ラベルに基づいた頷き生成モデルで，‘fixed-gt’と表記する．二つ目は同じく図 7 に示した頷き動作を利用したもので，‘fixed’と表記した．正解ラベルの代わりに分類器の推定結果を用いた．発話機能分類
時，頷きクラス（‘㎏’，‘bc’）に対して，適合率を重視したため，一部の頷きクラスの発話が頷かないクラスに分類される傾向がある．その為，‘fixed’
動作タイプに含まれる頷きの回数は‘fixed-gt’より少ない．三つ目と四つ目は本研究で提案したモデルによって，生成された動作で，‘sampled1’と‘sampled2’と表記する．

Figure 9. Perceived naturalness for each motion type.

評価結果に対し，有意水準を 0.05 に設定した被験者内一要因分散分析を施した結果，各条件間に有意差が見られた（𝐹 3,20 = 5.18, 𝑝 = 0.003）．
多重比較の結果，同提案手法によって生成された‘sampled1’と‘sampled2’に有意差が見られない（p=0.89）．この結果は平均と分散からも容易に見られる．‘fixed-gt’と‘fixed’の間有意差が見られな
いが，推定結果を使った‘fixed’は正解ラベルを用いた‘fixed-gt’より高い評価平均値が得られた．人の対話データに，‘㎏’と‘bc’クラスの発話に頷
き生起確率は約 50%と 80%だったため，正解ラベルを使ってすべての頷きクラスの発話に頷きを生成す
ると，頷きすぎでかえて不自然になる可能性がある．
最後に提案手法の評価結果はこの二つの動作より有意 に 高 い （ 𝑣. 𝑠 !𝐹 𝑖𝑥𝑒𝑑 − 𝑔𝑡 ! : 𝑝 = 0.012 ，, 𝑣. 𝑠 !𝐹 𝑖𝑥𝑒𝑑 ! : 𝑝 = 0.039）．
不完全な音声認識結果を用いても，本研究で提案した頷き生成モデルを使って，自然な頷き動作とタイミングを制御することが可能であること，この評
価実験の結果が示した．

5 おわりに9 の発話サンプル毎に 4 の動作タイプを生成し，ロボットで再現し，ビデオを収録した．21 人の被験者に発話毎にシャッフルしたビデオを呈示し，動作の自然さを 7 段階で評価した．‘1’は最も不自然で‘7’は最も自然を表す．

発話に付随した頭部動作は，対話者間の感情や意図の伝達に重要な役割を担っている．又，遠隔地にいる人のアバターとしてのヒューマノイドロボット
にとって，自然な動作はスムーズな会話に強く影響

41

U. Narayanan, S. 2007. Rigid Head Motion in Expresする．本研究では発話音声を入力とした自然な頷き
sive Speech Animation: Analysis and Synthesis. IEEE
動作を生成するモデルを提案した．
Trans. on Audio, Speech and Language Processing,
人の対話データから，頷きが主に発話文のクリア
March 2007.
な句境界や相槌フレーズに生起することが分かった．
[Watanabe 2004] Watanabe, T. Okubo, M. Nakashige, M.
この発見に基づいて，発話フレーズを句境界文・相Danbara, R. InterActor: Speech-Driven Embodied In槌・その他三つのクラスに分類した．収集した対話
teractive Actor, International Journal of Huデータからサンプリングしたサブセットを用いて，
man-Computer Interaction 17 (1) (2004) 43–60.
複数の SVM 分類器を訓練した．言語情報は LDA ト[Graf 202] Graf, H.P. Cosatto, E. Strom, V. Huang, F.J.
2002. Visual prosody: Facial movements accompanyピックの確率分布を利用してベクトライズし，SVM
ing speech. In proc. IEEE Int. Conf. on Automatic Faceの特徴ベクトルとして使った．複数の SVM 出力の合and Gesture Recognition (FGR’02), 2002.
意投票によって，最終的なクラス分類結果を決める．
[Beskow 2006] Beskow, J. Granstrom, B. House, D. 2006.
人の頷き動作の周波数分布は，ガンマ分布で近似
Visual correlates to prominence in several expressive
することが可能であり，各周波数に対応した頷きのmodes. In proc. Interspeech 2006 – ICSLP, pp.
振幅（最高点から最低点の角度）もガンマ分布に見1272-1275, 2006.
なせることが，人の対話データから分かる．又，相[Ishi 2010] Ishi, C.T. Liu, C. Ishiguro, H. Hagita, N. 2010.
Head motion during dialogue speech and nod timing
槌の場合，発話音声のパワー変化周波数が低い発話
control in humanoid robots. In proc. of IEEE/RSJ Huにおいて，頷き周波数とパワー変化周波数に強い相man Robot Interaction (HRI 2010), 293-300, 2010.
関が見られた．これらの結果より，発話音声の特徴[Liu2012] Liu, C. Ishi, C. T. Ishiguro, H. Hagita, N.
によって，ガンマ分布若しくは正規分布から頷きのGeneration of nodding, head tilting and eye gazing forパラメータをサンプリングして，正弦波で頷きを近human-robot dialogue interaction. In Proc. of HRI
似する手法を提案した．
2012, pp. 285-292, Boston, March, 2012.
提案法の有効性を検証するため，被験者実験を行[Blei 2003] Blei, David M. Ng, Andrew Y. Jordan, Miった．実験結果は，提案の頷き生成モデルは、先行
chael I (January 2003). Lafferty, John, ed. "Latent Dirichlet Allocation". Journal of Machine Learning Re研究の人工的に付与した正解ラベルを使ったモデル
search 3 (4–5): pp. 993–1022. 2003.
より自然な動作を生成できることを示した．
[Salton 1983] Salton, G. and McGill, M. editors. Intro今後の課題として，発話音声から他の動作パター
duction to Modern Information Retrieval.
ンを生成するや，発話と動作の同期メカニズムを探
McGraw-Hill, 1983.
究することが予定している．
[Hoffman 2010] Hoffman, M., Bach, F. R., Blei, D. M.
Online learning for latent dirichlet allocation. Advanc謝辞
es in neural information processing systems. p.
この研究は JST，ERATO，石黒共生ヒューマンロボ
856-864. 2010.
[Shawe-Taylor 2000] Shawe-Taylor, J., Cristianini, N.
ットインタラクションプロジェクトの一環として行
Support vector machines and other kernel-based learnわれたものです．この研究の一部は JSPS KAKENHI
ing methods. Cambridge University Press, 2000.
(25220004)の助成を受けたものです．
[Zadrozny 2003] Zadrozny, B., Langford, J., Abe, N.
Cost-sensitive learning by cost-proportionate example
weighting. In Proc. Of the Third IEEE International
Conf. on Data Mining. 435-442, 2003.

参考文献[Tamaki 2011] Tamaki, H., Higashino, S., Kobayashi, M.,
Ihara, M. Reducing Speech Contention in Web Conferences. Applications and the Internet. 75-81. 2011.
[Yehia 2002] Yehia, H.C. Kuratate, T. Vatikiotis-Bateson,
E. 2002. Linking facial animation, head motion andspeech acoustics. J. of Phonetics, Vol. 30, pp. 555-568,
2002.
[Sargin 2006] Sargin, M.E. Aran, O. Karpov, A. Ofli, F.
Yasinnik, Y. Wilson, S. Erzin, E. Yemez, Y. Tekalp.
A.M. 2006. Combined Gesture-Speech Analysis andSpeech Driven Gesture Synthesis. In proc. IEEE International Conference on Multimedia, 2006.
[Munhall 2004] Munhall, K.G. Jones, J.A. Callan, D.E.
Kuratate, T. Vatikiotis-Bateson, E. 2004. Visual prosody and speech intelligibility – Head movement improves auditory speech perception. Psychological Science, Vol. 15, No. 2, pp. 133-137, 2004.
[Busso 2007] Busso, C. Deng, Z. Grimm, M. Neumann,42一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-08 (11/09)

Sequential Deep Learning for Dancing Motion Generation

Nelson Yalta∗1 , Tetsuya Ogata∗1 , Kazuhiro Nakadai∗2
Waseda University∗1 , Honda Research Institute Japan Co., Ltd.∗2{nelson.yalta@ruri., ogata@}waseda.jp, nakadai@jp.honda-ri.com

Abstract
In recently years, robots have invaded our life
in many activities such as manufacture process or social activities as dance. In dancing,robots have shown a good performance following the rhythm of a music using beat-tracking
algorithm. In this work, we show an implementation of a deep learning based on sequential
learning model for dancing robots. The modelis trained without middle states mixing audio
information and captured motion from a person, and it can substitute a beat-tracking algorithm. The model generates quasi-realistic
dance pattern motion without constraints fromthe music information and its start position,and following the rhythm beat from a multiple
sound source music.

1

Introduction

During last decades, robots have been involved and become part of humans everyday life, possible to perform dangerous tasks instead of humans, or appearing in the media. As robots becomes part of humans everyday life, the should interact constantly withhumans. Thus in order to improve this interaction,
dance presents as a bound between humans and robots[Oliveira 2015], and for dance performing they shouldbe able to listen with its own ears live sounds. Whilerobots perform a dance, they follow the rhythm on areal-environment robustly responding to music, and generating continuous movements. Some techniques whichallows robots to dance, are based on beat-tracking implemented for real time execution. Beat tracking systems are implemented to track the beat timing of musicpieces and synchronize movements of a dancing robot
with it. Real-time application [Oliveira 2015], allows
to track the beat timing, but it also overcome withnoise problems and obtain the desired audio information from multiple sound sources, implementing a robust general framework. Beat tracking systems allow

robots to perform dance, but also to play instruments[Itohara 2012]. Through a multimodal system, whichuses audio and video information, allows robots to play
an instrument e.g. a guitar. Also, a method which
can generate automatic choreographies by music content analysis was introduced at [Fukayama 2015]. They
proposed a probabilistic framework which generate automatic choreography without constraints, and which
can satisfy both music content and motion connectivity.
These implementations synchronize with the beat timing, a motion that is previously generated and stacked
in a database. In this paper, we implemented a system based on deep learning to generate motion positions for dancing robots, directly from an audio information. Deep learning (DL) based models called
deep neural networks (DNN) and deep convolutional
neural networks (DCNN) have shown successful performance on many signal processing ﬁelds such as computer
vision [Krizhevsky 2012, Clevert 2015], speech recognition [Sainath 2015a], and natural language processing[Sutskever 2014, Venugopalan 2015]. DL based models
implemented for natural language processing task has
shown a remarkable performance, demonstrating that
can translate correctly long sentences [Sutskever 2014]
on translation task, using deep Long-short term memory (LSTM) models. Or also being able to extract information converting video to text [Venugopalan 2015],
mixing a DCNN with a deep LSTM (DLSTM) for thetask. Generating smooth realistic dance motion shows
as a constraint for implementations which only use theaudio information. It should be able to track thebeat timing, and at a same time separate the desired
sound information from a multiple audio input. Thus,
we focus on implementing a DL model taking advantage of the sequence-to-sequence model introduced at[Venugopalan 2015]. Implementing a model for video-totext requires a previous pre-trained DCNN model, which
increase the training time i.e. learning cost. For implementing, we remark that is possible to replace a beattracking system with an end-to-end trained DL model,
which uses the audio information as input and mixing
with the current position, generates the next position.

43

The DL model generates a quasi-realistic motion pattern
without constraints, separating from a multiple soundsource audio, the beat timing performed by drums.

2

Proposed Method

DL models have shown an outstanding achievement in diﬀerent tasks which have been involved, and sound signal processing task suchas speech recognition, they showed outstanding
performance[Abdel-hamid 2012, Sainath 2015b].
DL
models trained without middle states i.e. end-to-end
training, has become the state-of-art in multiple signal
processing areas. They can process information fromthe same ﬁeld, but also in multimodal ﬁelds such asvideo-to-text task. Thus, we replaced a beat tracking
system that synchronize the beat timing and a stacked
motion pattern, with a DL model trained end-to-end.
The motion pattern of the task is a combined vectorof the normalized spatial position of a dancer, and thejoint rotations expressed in quaternions obtained froma kinect device. A mixed model which a deep LSTM
network is connected after the plain DCNN but notconnecting it in a sequential mode, generated random
movements from the audio information. However, themotion patterns are not linked with each other and thegenerated motions are rough. Then, we replaced it witha similar structure implemented at [Venugopalan 2015],
and modiﬁed the activation functions. Finally, we
trained it end-to-end using the audio as input and asequential motion pattern as the target.
2.1

DL on diﬀerent tasks. DL frameworks such as Chainer[Tokui 2015], allows to implement ﬂexible DCNN andtrained it with multiple optimization algorithm such as
Batch Normalization, ADAM optimization or adding
noise to the gradient during the training.
2.2

Nonlinearities Activation Functions

Recently researches has shown that the performance of a
DCNN also depends on the type of nonlinearity functionused in the model. Novel nonlinear activation functions(Figure 1) has been introduced [Clevert 2015, He 2015],
improving the accuracy and performance of DCNN. Rectiﬁer neurons e.g. Rectiﬁed Linear Unit (ReLU) nonlinearity have shown successfully performance on visioncomputer [Krizhevsky 2012], but also for sound tasks.
The ReLU activation function is deﬁned by:
f (x) =

(1)

ReLU activation outputs are non-negative, thus themean activation is larger than zero, and because of
not be zero-centered it can speed down the learning.
Then, a nonlinearity called Parametric Rectiﬁed Linear Unit (PReLU) was introduced at [He 2015], which
thus the implementation of a negative part activation it
can speed up the learning. Later, Exponential Linear
Unit (ELU) introduced at [Clevert 2015], was showed asa non-linearity that can improve learning characteristics
compared to other linear activation functions. ELU deﬁned as:Deep Learning

Recently, factors such as the development of improved
optimization algorithms, the availability of open-source
DL libraries and so on, have made the employment of
DL possible for classiﬁcation or recognition problems.
DL based models as DNN and DCNN approaches, has
shown that can surpass even humans performance. Optimization algorithm which become part of the modelsuch as batch normalization, or training algorithm suchas ADAM, or adding noise to the gradients has allowed
to improve the performance of DL task on diﬀerent signal processing ﬁelds. Batch normalization introduced
at [Ioﬀe 2015] is a mechanism that allows training withhigher learning rates without fast overﬁtting risk andalso can accelerate the training as makes possible to train
deeper models. Adaptive moment estimation i.e. ADAM
optimization was introduced at [Kingma 2014]. This optimization method allows to implement a robust optimization with a little memory requirement. As ADAM
is an algorithm for ﬁrst-order gradient-based optimization, this method is straightforward to implement andcan be used on machine learning problems where it isused large datasets or with high-dimensional parameters models. Adding gradient noise in very deep models[Neelakantan 2016] improves its learning, but it helps
generalization and training on complicated neural networks, as it also improves the learning from a poor initialization with almost a zero computational cost. Opensource DL frameworks has allowed researchers to use

x if x ≥ 0,
0 if x < 0

f (x) =x
if x ≥ 0,a(exp(x) − 1) if x < 0(2)

Where a is a ﬁxed value, and controls the saturation
for negative inputs, and exp is the exponential function of e. It was showed that networks implemented
with ELU activations can speed up learning as bringrobust generalization performance compared to ReLUs
and PReLUs.
2.3

Sequential Learning

Sequential Learning models i.e. sequence-to-sequence(SEQ2SEQ) model (Figure 2) has been applied for

Figure 1: Nonlinearities Activation Functions

44

natural language processing task such as foreign language translation task [Sutskever 2014] or video-totext task [Venugopalan 2015], and speech recognition[Graves 2014]. DL models has shown remarkable performance in diﬀerent task such as speech recognition, wherea DNN with Convolutional Neural Networks (CNN),
LSTM and fully connected layers has better performance
than LSTM models to perform the task [Sainath 2015a].
However, sequential problems such as speech recognition or machine translation are best expressed on sequence with unknown length, and DNN could present
limitations due to the ﬁxed dimensionality of its input and targets outputs. SEQ2SEQ models basedon LSTM, was introduced as an architecture that cansolve general sequential problems. SEQ2SEQ introduced at [Cho 2014] was implemented with Recurrent
Neural Networks (RNN) to solve these problems. Despite of RNN based models theoretically can be applied
for sequential problems, their performance gets reduced
due to the long-term dependency on larger sequences.
However, SEQ2SEQ implemented with LSTM models[Graves 2014] have shown better performance in many
sequential tasks. LSTM cell unit (Figure 3) is deﬁned
as:it = σ(Wxi xt + Whi ht−1 + bi )(3)

ft = σ(Wxf xt + Whf ht−1 + bf )(4)

ct = ft ⊗ct−1 +it ⊗tanh(Wxc xt +Whc ht−1 +bc )(5)ot = σ(Wxo xt + Who ht−1 + bo )(6)ht = ot ⊗ tanh(ct )(7)

At a time t, the LSTM computes a hidden state ht
and a memory cell state ct , for an input xt . σ is the
sigmoid function, and i, f and o are respectively the
input, forget and output gate vectors. c is the cell activator vector and W is the weight matrix which corresponds to each vector. In applications, such as machinetranslation, two LSTM layers are used. One LSTM layer
is connected to the input and obtains a ﬁxed representation on a time step. Then, the second LSTM layer,
which is conditioned to the output of the ﬁrst, is a recurrent neural network language model. At the sametime, it is shown that deep LSTM has signiﬁcantly performance than shallow LSTM [Sutskever 2014], where
each one LSTM layer is replaced by a four LSTM layers. Sequence-to-sequence models has been also tested
on information extraction task, they can generate captions from videos [Venugopalan 2015]. Regarding to use
only a DLSTM for the task, a DCNN model previously
trained, sequentially obtains the features from the frame
image of a video, and then the DLSTM generates sequential words. The model learns to associate a sequence ofwords with the temporal structure of the frames, allowing to handle variable-length inputs and outputs.
2.4

Model Architecture

Beat tracking system can be replaced by DL models for
movement generation and synchronization. However, aDL model based on a sequential learning can improve

Figure 2: Sequential Learning. The thick line shows theinformation ﬂow.

Figure 3: LSTM Cell

the performance and generate smooth motion pattern
while it separates the beat information from a multiple
sound source audio piece. So we implemented a DCNN+DLSTM model based on [Venugopalan 2015]. The audio has only one input channel. After the input, we connected four Convolutional Layers each one with 33 × 2
dimension of kernel size. The size of the kernel is empirically set up. After each convolutional layer, a batch normalization and the activation function is implemented.
ELU, TanH, and ReLU has been evaluated as activation
function of the DCNN part. After the fourth layer, theoutput has a dimension of 65 × 1, and this become theinput for the DLSTM section. Each block of the sequential section has three LSTM layers with 500 units. LSTM
layers with 250 and 1000 units has been also tested. After each LSTM block, a fully connected layer is stacked.
Diﬀerent activation functions have been also tested on
the fully connected layer. Each block is connected asshowed in Figure 4, where the output of the current last
fully connected layer is concatenated with the output of
the next ﬁrst block and it becomes the input of the next
second block.

3

Experiments

3.1

Data Preparation

For training and evaluating, we used diﬀerent latin music
genre such as salsa, cumbia, etc. For training, the music
tracks are combined with only drum, instrumental andwith singer tracks. For visualizing the generated motion
pattern, we used a 3D model implemented on a simulator. For preparing the training dataset, we obtained theposition information using a Kinect from a person, andsynchronized with the music. The position is sampled45

Table 1: Models architecture conﬁgurations
layer nameoutput size

input

129 × 512 layers

conv1

97 × 433, 16 channels (TanH, ReLU, ELU)

conv2

65 × 333, 32 channels (TanH, ReLU, ELU)

conv3

33 × 233, 64 channels (TanH, ReLU, ELU)

conv4

1×1

33, 65 channels (TanH, ReLU, ELU)

1×1

250 dims

LSTM1
LSTM2

500 dims

1000 dims

LSTM3
fc1

1×1

65 dims fc (TanH, ReLU, ELU)

concatenate

1×1

65 dims fc1 & 65 dims fromprevious step

LSTM4
LSTM5

1×1

250 dims

1×1

33, 64 channels (TanH, ReLU, ELU)

500 dims

1000 dims

LSTM6
fc2

Figure 4: Model Architecturewith a frequency of 30 frames per second (FPS) and themusic has a sampling frequency of 16KHz. To synchronize the music with the position, we used a slice of theaudio corresponding to the same time of the position.
We prepared the input data of the network using shottime fourier transform (STFT) on the audio slice andthe normalized position was used as target. As for the
input, we pre-processed according the following steps:• To synchronize the audio with the positions, we extracted a slice with length of 534 samples (33ms),
which corresponds to its position. This extracted
slice is converted on H STFT frames of 160 (10ms)
samples with a hop of 80 samples (5ms).
• From the STFT, we used the power information,
which is normalized between 0.1 and 0.9 on the W
frequency bin axis.
• We stacked the H frames, thus the input of the network becomes a 1 × W × H dimensional input ﬁle.
As for the output, we prepared the position vector target
as following:• Using a Kinect device, we capture the D positions
angles of a person. From the position angles, we
obtain the spatial information of 3 body parts in avector (x, y, z) on meters. And 14 rotations vector
in quaternions with denotation (qx , qy , qz , qw ).
• For each vector component, we normalized it using
the maximum value of each component, between arange of −0.9 and 0.9.
• Then, the target becomes a vector of 65 dimensions.
3.2

Training Process

For our experiments, we prepared multiple training ﬁlesusing the STFT from around 15 music pieces as input,

and a corresponding sequence motion as target. For
training, each sequence step has an input of 1 channel
audio × 129 frequency bins × 5 frames, and to predict
we set the next corresponding vector position as target.
We trained diﬀerent end-to-end networks (Table 1) using
ADAM solver [Kingma 2014], and Mean Squared Error
is set as loss function. No ﬁne-tune or previous training
was used for the experiments. We tested diﬀerent parameters during the training such as the activation function,
the training sequence, the units of each LSTM layer, andthe number of frames using on the input. ELU, ReLU
and TanH nonlinearities are evaluated as activation functions. A sequence of 150 steps is set for the trainings.
However, we also evaluated 50 and 100 steps conﬁguration. We used 500 units for each LSTM layer, but wealso tested with 250 and 1000 units. As for the input,
we used a model to predict the next position using only
the previous audio slice. The initial alpha for the solver
was set to 10−4 , and the target vector was set 45 dimensions. We added noise to the gradient. We compared thetraining of the models (Table 1) mixing diﬀerent genres
and one same genre on the training dataset. We trained
the models for 10 epochs, using a sequential minibatchwith a size of 50 ﬁles. Each training took approximately
20 hours using a GPU NVIDIA Tesla K80.

4Results

We analyzed the performance of the model for motion generation. Each model is trained with a shallow
dataset, but the models can generalize the information
for the audio input and can keep the motion pattern for
trained information.
4.1

Training Process

After training for ﬁve epochs, we evaluated the use of
diﬀerent activation function and the performance on the
training process. We used the structure described at part
3 Setting a minibatch to 150 sequences and the LSTM

46

layers to 500 units, we trained models with TanH, ReLU
and ELU activation functions at the convolutional section. Figure 5 shows the training loss of each model. We
see that despite of training a model from the scratch, themodels have a fast convergence on the ﬁrst iterations.
The optimization process can backpropagate the error
to the deepest layer; making possible a training without
middle states. Regardless the activation function, thetraining process has the almost same convergence behavior. However, in Table 2 we show that, at the same
number of iterations, ELU activation has a lightly lower
learning cost compared to ReLU, TanH activations.
4.2

Motion Pattern Generation

For evaluating the performance of each model trained for
ﬁve epochs, we calculate the Symmetric Mean Absolute
Percentage Error (SMAPE) of the dancer’s motion pattern, and the motion pattern generated by the models.
The SMAPE is deﬁned as:n

SM AP E =1  |Ft − At |n t=1 |At | + |Ft |(8)

where Ft is the output pattern from the models, and At
is the pattern obtain from a real world dancer. Here,we compared that the model can keep and generate themotion pattern using the audio frame information andthe previous calculated position. Music pieces used fortraining have multiple instruments, some pieces containvoices from the singer or the crowd. The dance motion
generated has the shape of a wave, thus the movements
keeps the beat timing of the music piece and are synchronized with the drum of each music piece. Figure 6
show pattern generated by the models and the comparison with the pattern from a real dancer. Table 3, 4
and 5 show the performance of using diﬀerent parameters on the training for the motion pattern generation.
We compared the motion generated resetting the LSTM
each sequence period and following the pattern from the
beginning. Also, we compared the evaluation of the processing time for the data forwarding using a GPU GTX
Titan X. The default structure was set to ELU activa-

Figure 5: Training graph

Figure 6: Dance Generated Pattern. Dotted Red: RealWorld Dancer, Blue; DL Models

tions, with a LSTM of 500 units, and sequence lengthof 150 steps. In Table 3, we compare the generation
error using same training parameters but with diﬀerent
activation functions. We see that ELU activation has alower error compared to the other functions. However,its processing time is quite higher. Table 4 shows thecomparison of using diﬀerent unit length at the LSTMs
layers. The models were trained using ELU activationand the same sequence training number. We see that,using a larger unit length can improve the performancefor the motion generation. However, both the time processing and its learning cost are quite higher. Also, using few LSTM units can increase the error of the motion
generation. However, the learning cost is lower as its
processing time.
Table 5 shows the comparison of using diﬀerent length
sequence on the training. Using the same model, wetrained it changing the length sequence used on the
training process. We see that the sequence aﬀects thelearning cost and the pattern generation error. Training a model with larger sequence improve the performance of the network. Due to the length of the sequence,
the learning cost is also aﬀected, increasing the training
time. However, due to the models have the same parameters of dimensions and activation function, the processing time for real world application is not aﬀected.
Having a larger dataset for the training can lower the47

Table 3: Evaluation of activation functions
SMAPE

SMAPE

Training(%)
with resetTime(mins)

Average

Activation(%)
without

TanH

19.73

20.34

1182.79

ReLU

19.67

20.27

1152.02

8.54

ELU

18.57

19.2

1139.81

10.94

reset

Frame
Forwarding
Time (ms)9.16

Table 4: LSTM units evaluation
AverageFrame

without
reset

SMAPE
(%)

TrainingTimewith reset(mins)

Forwarding
Time (ms)

250

19.76

20.28

663.99

10.16

500

18.57

19.2

1139.81

10.94

1000

17.81

18.53

1305.85

14.97

LSTM
units

Figure 7: Generated dance pattern at silence input

SMAPE
(%)

Table 2: Comparison of Learning cost of activation functions
activation

Training Time(minutes)

TanH

1182.79

ReLU

1152.02

ELU

1139.81

performance of the models. For some tasks it is requiredlarger dataset. However, we see that since the generated
pattern is related with the music, a larger dataset with
diﬀerent motion pattern can aﬀect these motion generator models. This becomes a noisy output for the motion(Figure 6).

4.3

Sound dependency

The models generate motion patterns from the previous motion step, but also it is required the sound information. Figure 7 shows the motion generated when
the sound is stopped and became silence. We stopped
the audio input at the middle of the song, thus the
STFT input became blanked. At silence input, the
DCNN feature outputs have a same pattern for all thesilence frame. This features have been self-learned due
to end-to-end training. Therefore, the motion output
is stopped. However, after this silence space the soundis restored. The model restarted its pattern generationand generated the pattern from the corresponding audio input frame matching the generated motion with thetrained one. Thus, the model can generate pattern fromthe audio input, but also can continue the generation on
non-continues audio inputs.

5

Conclusion

We proposed a method for motion generation using Deep
Sequential Learning which can be trained end-to-end.
We showed that the models can generate correlated motion pattern and due to the low forwarding time, they
could be used for real robot tasks. The models have a low
learning cost and also can be trained from the scratch,
avoiding the use of other process such as auto encoding. The proposed model shows reliable performance formotion generation. However, the motion pattern is also
aﬀected by the diversity of the training patterns.

References[Oliveira 2015] J. L. Oliveira, G. Ince, K. Nakamura, K.
Nakadai, H. G. Okuno, F. Gouyon, and L. P. Reis,
Beat Tracking for Interactive Dancing Robots, Int.
J. Humanoid Robot., vol. 12, no. 04, p. 1550023,
2015.
[Itohara 2012] T. Itohara, T. Otsuka, T. Mizumoto, A.
Lim, T. Ogata, and H. G. Okuno, A multimodal
tempo and beat-tracking system based on audiovisual information from live guitar performances,
EURASIP J. Audio, Speech, Music Process., vol.
2012, no. 1, pp. 117, 2012.
[Fukayama 2015] S. Fukayama and M. Goto, Music Content Driven Automated Choreography with Beatwise Motion Connectivity Constraints, in Proceedings of SMC, 2015.
[Krizhevsky 2012] A. Krizhevsky, I. Sutskever, and H.
Geoﬀrey E., ImageNet Classiﬁcation with Deep
Convolutional Neural Networks, Adv. Neural Inf.
Process. Syst. 25, pp. 19, 2012.

48

Encoder-Decoder for Statistical Machine Translation, Proc. 2014 Conf. Empir. Methods Nat. Lang.
Process., pp. 17241734, 2014.

Table 5: Sequence length evaluation

Training
sequence

SMAPE(%)
without
reset

SMAPE
(%)
with reset

TrainingTime(mins)

Average
Frame
Forwarding
Time (ms)

50

22.99

23.73

247.19

10.94

100

19.16

20.01

774.75

10.94

150

18.57

19.2

1139.81

10.94[Clevert 2015] D.-A. Clevert, T. Unterthiner, and S.
Hochreiter, Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs), Under
Rev. ICLR2016, no. 1997, pp. 113, 2015.

[Sainath 2015b] T. N. Sainath, B. Kingsbury, G. Saon,
H. Soltau, A. rahman Mohamed, G. Dahl, and
B. Ramabhadran, Deep Convolutional Neural Networks for Large-scale Speech Tasks, Neural Networks, vol. 64, pp. 3948, 2015.
[Abdel-hamid 2012] O. Abdel-hamid, H. Jiang, and G.
Penn, Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition, Acoust. Speech Signal Process. (ICASSP),
2012 IEEE Int. Conf., pp. 42774280, 2012.

[Sainath 2015a] T. N. Sainath, O. Vinyals, A. Senior, and H. Sak, Convolutional, Long Short-Term
Memory, fully connected Deep Neural Networks,
ICASSP, IEEE Int. Conf. Acoust. Speech Signal
Process. - Proc., vol. 2015-Augus, pp. 45804584,
2015.
[Sutskever 2014] I. Sutskever, O. Vinyals, and Q. V. Le,
Sequence to Sequence Learning with Neural Networks, Nips, p. 9, 2014.
[Venugopalan 2015] S. Venugopalan, M. Rohrbach, J.
Donahue, R. Mooney, T. Darrell, and K. Saenko,
Sequence to Sequence - Video to Text, Proc. IEEE
Int. Conf. Comput. Vis., pp. 45344542, 2015.
[Ioﬀe 2015] S. Ioﬀe and C. Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, arXiv, 2015.
[Kingma 2014] D. Kingma and J. Ba, Adam: A Method
for Stochastic Optimization, arXiv1412.6980 [cs],pp. 115, 2014.
[Neelakantan 2016] A. Neelakantan, L. Vilnis, Q. V. Le,
I. Sutskever, L. Kaiser, K. Kurach, and J. Martens,
Adding Gradient Noise Improves Learning for Very
Deep Networks, Iclr, pp. 111, 2016.
[Tokui 2015] S. Tokui, Introduction to Chainer: A Flexible Framework for Deep Learning. 2015.
[He 2015] K. He, X. Zhang, S. Ren, and J. Sun, Delving
Deep into Rectiﬁers: Surpassing Human-Level Performance on ImageNet Classiﬁcation, arXiv Prepr.,
pp. 111, 2015.
[Graves 2014] A. Graves and N. Jaitly, Towards EndTo-End Speech Recognition with Recurrent Neural
Networks, JMLR Workshop Conf. Proc., vol. 32, no.
1, pp. 17641772, 2014.
[Cho 2014] K. Cho, B. van Merrienboer, C. Gulcehre, D.
Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, Learning Phrase Representations using RNN

49

一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-09 (11/09)

Using utterance timing to generate gaze pattern∗

Jani Even, Carlos Toshinori Ishi, Hiroshi Ishiguro
Hiroshi Ishiguro Laboratories, Advanced Telecommunications Research Institute International, Japan.
even@atr.jp ∗Abstract
This paper presents a method for generating
the gaze pattern of a robot while it is talking. The goal is to prevent the robot’s conversational partner from interrupting the robot
at inappropriate moments. The proposed approach has two steps: First, the robot’s utterance are split into meaningful parts. Then,for each of these parts, the robot performs or
avoids eyes contact with the partner. The generated gaze pattern indicates the conversational
partner that the robot has finished talking or
not. To measure the efficiency of the approach,we propose to use speech overlap during conversations and average response time. Preliminary
results showed that setting a gaze pattern fora robot with a very human-like appearance is
not straight forward as we did not find satisfying parameters.

1

Figure 1: Close-up of Erica.
frequent that the human interrupts the robot because
she or he did not understand that the robot intended tocontinue speaking.
Using gaze to signal the turn taking is also expected to
avoid undesired pauses caused by the listener not taking
it’s turn fast enough.
In addition to provide the adequate signaling, the gaze
pattern should not be unnatural. The implementationof a human-like solution to the problem of unwanted
interruption is all the more important as we work with anandroid robot developed to look very similar to human.
This appearance similarity amplifies the sensitivity tounnatural behaviors.
For this reason, the proposed gaze pattern should also
display the same habit as human to avert gaze during
utterance formulation [5]. Humans tend to avert theirgaze during formulation to reduce the cognitive load.
This a natural phenomenon we are used to witness during a conversation. Thus, in addition to the turn taking
signal, the proposed gaze pattern generation also tries toreproduce the aversion that occurs during formulation.

INTRODUCTION

During social interaction, the gaze has important regulatory functions [1, 2]. Early work [1, 3] tried to search asystematic relation between gaze and turn-taking. Morerecent work [4] underlines the collaborative nature of thegaze in turn-taking. The authors in [4] show that ”thetiming of the listener response is collaborative process,accomplished by joint action”. Consequently, a robot
holding a conversation with a human should participate
in this ”collaborative process” in order to have a smoothinteraction.
This paper presents an approach to robot gaze control
during conversation that take into account this collaborative process. The goal is to make the conversation
flow smoother by providing the human with the expectedgaze signals that occur during turn-taking.
An expected outcome is to reduce the risk that the listener interrupts the robot. Without signaling, it is quite

2

RELATED WORKThe use of gaze by social robot during interaction havebeen investigated by several authors with different per-∗ Research supported by the JST ERATO Ishiguro Symbiotic
Human-Robot Interaction Project.

50

Eyes yaw
Eyes pitch
Neck pitch
Neck roll
Neck yaw

Waist pitch

Figure 2: Example of possible sensor network configuration.
Waist yaw

spectives. In particular, in [6], the authors recorded
human-human conversations in order to estimate statistics from the gaze patterns. Then, these statistics wereused to implement the gaze control of a NAO robot.
The NOA robot was judged by participants to be morethoughtful and it was able to manage the conversation
floor. In this paper, we would like to achieve similar results using a robot that is more human-like than NAO.

3

Figure 3: Kinematic chain for the gaze.

However, the current implementation does not use theneck roll.
Pneumatic actuators are used to move the joints.
These actuators are controlled by on board PID controllers. The commands are sent to the robot at a frequency of 20 Hz. The robot provides a feedback measured by potentiometers also at the frequency of 20 Hz.
The on board PID are tuned to favor smoother movements which results in a lesser control accuracy. Consequently, it is necessary to rely on the feedback to get theachieved positioning.
Using the specifications of Erica, a computer modelof the kinematic chain was implemented. The postureof the model is updated when the feedback from theactuators is received. Namely, the model provides anestimate of the current posture of Erica.
The kinematic model provides the current gaze direction of Erica’s eyes. The goal of the gaze control is tosend command to move the joints of Erica in order toalign Erica’s gaze direction to the desired gaze direction.
Only the eyes are controlled in a closed loop because theaccuracy on the eye movement is greater than on thewaist and neck.
Erica is able to track a moving person walking in frontof her using the gaze control. This is illustrated in Fig.4.
The top of Fig.4 shows the yaw of the focus direction(solid line) and the yaw of the gaze direction given by thekinematic model (dashed line). The three other graphs
are showing the command values (solid lines) and thepotentiometer values (dashed lines) for the control of thewaist, neck and eyes yaw. We can note a slight delay,
which is expected, and some overshoots. However, thegraph for the neck control shows some large errors andthe one for the waist some small errors. Then, we can see
on the graph for the eyes that the command is different

ROBOT GAZE CONTROLThe proposed gaze pattern generation is designed for
Erica [7], a robot that was designed to have a realistic
human like appearance, see Fig.1.
The components of Erica that are involved in the gazecontrol are:• a sensor network,• a kinematic model,• and a closed-loop controller.
The sensor network main role is to track human[8, 9, 10] and determine who is talking [11, 12]. For
this purpose a human tracking system is combined witha sound localization system. Figure 2 shows one example of configuration with four laser range finders (LRFs)
for tracking humans and two microphone arrays for performing sound localization. During the experiments, thehuman tracker system was not using LRFs but RGB-D
cameras attached to the ceiling of the room [13]. Using the sound localization (the red arrows in Fig.2) it ispossible to determine who is talking.
Figure 3 shows the joints involved in the gaze control.
The kinematic chain controlling the eyes direction has 7
degrees of freedom (DOF):• yaw and pitch for the eyes,• yaw pitch and roll for the neck,• yaw and pitch for the waist.

51

100
50
0
-50
-100
-150
160

t

140
120
100

Gaze aversion

80

Eye contact60
250

Figure 6: Gaze pattern for two consecutive utterances.

200
150
100
50

C

0
250

B

F

200
150
100
50
0
0

10

20

30

40

50

60

t

Figure 4: Close-up of the axis command (dashed) andpotentiometer feedback (solid) for the yaw.
Figure 7: The three utterance phases.
over. During this phase, the turn taking signal issent to the conversation partner. If the speakerwants to give the turn, eye contact is sought. But,on the contrary, if the speaker intends to continue
talking the gaze is averted.

t
Figure 5: Robot utterance and voice activity (red).

• The body phase, denoted by B, is the duration between the end of the cognition phase and the beginning of the final phase. During this phase, a
succession of short gaze aversions and eye contacts
occurs.

and it compensated for the error as expected.

4

ROBOT GAZE PATTERN

In order to produce the gaze pattern, it is necessary
to anticipate the start of the utterance to be able toperform the aversion of the cognitive phase and the endof the utterance to be able to start signaling the turntaking in advance.
The sequence of actions that results in the robot
speaking is indicated on the time line of by Fig. 8:

Previous section showed that Erica is able to look relatively precisely to a given direction. In this section, we
will discuss the gaze pattern during interaction. In particular, the focus is on the gaze pattern when the robot
is talking.
4.1

Gaze pattern timing

Figure 5 shows a typical utterance of the robot. It is
possible to have a precise voice activity detection for the
robot speech from the text to speech (TTS) module.
The goal is to produce a gaze pattern that presents
the adequate cognition and turn taking cues. Such agaze pattern is illustrated in Fig. 6. The gaze pattern isa succession of gaze aversion and eye contact that havetimed in a specific manner.
In particular, if a single utterance is considered, as inFig. 7, it is split in different phases:• a speak request is sent at time S to the TTS module,• the synthesized speech is ready at time T,• the lip synchronization commands are sent to therobot at time C,• The lip movement and the sound production startat time V.
The delay d between speech request and actual speech
production is due to the necessity to synchronize thespeech sound with the lip motion. Because of the pneumatic actuation, the shortest possible delay is 500 ms.
The expected end of the utterance is known in advance as
the duration D of the utterance is deduced from the synthesized speech. Thus, it is possible to access in advancethe voice activity of the robot and all the timing information necessary to create the gaze pattern are readily• The cognition phase, denoted by C, starts before theutterance and overlaps the beginning of the utterance. This phase corresponds to the duration during
which gaze aversion is expected as the talking would
be formulating her or his utterance.
• The final phase, denoted by F, starts before the endof the utterance and persists after the utterance is

52

d

D

UP
t

ST C

V

E

Left

Figure 8: Sequence of events during an utterance production.

Right
Down

C

B

F

Figure 10: Sampling gaze directions from Gaussian distributions in the four ”general directions”.

tFigure 9: Sampling phase boundaries from Gaussian distributions.
available. Note that to generate a cognition phase longer
than 500 ms, it is necessary to add a pre-delay.
In order to have a more natural gaze pattern, it isimportant to introduce some variability in the different phase durations. In the current implementation, thestart time and end time of the different phases are sampled from Gaussian distributions. Figure 9 shows thatthe phases are determined by four distributions.
In the body phase, the gaze pattern is composed ofshort aversions and eye contacts. This is done by sampling the aversion duration and the duration between
successive aversions from two Gaussian distributions.
Note that when the robot is listening, the gaze pattern is also a succession of aversions and eye contacts.
However, the duration of the aversions and the intervals
between them are shorter. These patterns are generated
this way as humans also tends to do shorter and lessfrequent aversion when listening than when talking [1].
4.2

Figure 11: Speech overlap caused by missing the signal
indicating a short pause.
”left” or ”right”. Then, the magnitude of the aversion is
sampled from Gaussian distributions, see Fig. 10.

5

EXPERIMENTAL SYSTEM

To asses the effect of the gaze pattern on the conversation, it is necessary to define a measure of performance.
For this purpose, a conversation monitoring system isused. Using the microphone arrays of the sensor network, the speech activity of the subject conversing with
Erica is logged. The utterance timing and the gaze pattern information are also recorded at the same time.
Figure 11 shows an overlap situation. The subject did
not understand that Erica was just making a short pause
and took the talking turn. Even if the subject voice is
detected it is usually too late to avoid a slight overlap
as the robot commands are sent in advance. This is atypical case where the robot should use gaze aversion tosignal the turn is not over. Thus, a measure of performance is the duration of the overlap (the blue region in
Fig. 11).

Gaze pattern direction

The eye contact is performed by having the robot look at
the human that is detected by the sensor network. The
sensor network gives the position of the person in theroom and the height of that person (the top of the head).
In the current implementation, the gaze controller set the
robot to look at a fixed offset of 0.15 meters from the topof the head.
During gaze aversion, an offset is added to the gazecontroller that results in the eyes of the robot being
averted from the person. The gaze aversion offset is characterized by two angles θ in the horizontal plane and φin the vertical plane.
To introduce randomness in the gaze aversion, firstthe ”general direction” is selected among ”up”, ”down”,

53are only computed one time and stored. Then, it is possible to compare the same realization of the gaze patternby replaying the stored version to each subjects.
Preliminary experiments have showed that creating
the gaze pattern using Gaussian distribution is notstraight forward. The first attempts used the means andstandard deviations that were estimated from humanhuman conversation in [6]. However, the generated gaze
patterns were not satisfying. In particular, the cognition and final phase tended to be too long for the robot
utterances. The reason is maybe that the subjects in[6] were familiar with each others and had conversations
composed of rather long utterances. In comparison, therobot-subject utterances tend to be shorter. Anotherpossible explanation is cultural difference as the results
reported in [6] are for English whereas we conducted ourexperiments in Japanese. It is also possible that we are
more sensitive to the gaze pattern mismatch as Erica ismore human-like than NAO.

Figure 12: Speech overlap caused by missing the signal
indicating the robot is about to talk.

6

CONCLUSIONSIn this paper, we motivated the need for a gaze patterngeneration that helps the robot to have a smoother conversation. We presented the architecture of the systemand explained the concept of the gaze pattern generation. However, the implementation and testing of thesystem was not done yet as preliminary results showedthat finding a reasonable set of parameters for our robot
is not as simple as expected. Thus, the focus now is on
adapting the gaze pattern statistics to our specific robot
in order to proceed with the evaluation. A possibility is
to generate the statistics by taking into account the duration of the utterance when creating the gaze pattern.

References[1] Kendon A., “Some functions of gaze-direction insocial interaction,” Acta Psychol., vol. 26, no. 1,
pp. 22–63, 1967.

Figure 13: Example of delayed answer.

[2] M. Argyle and M. Cook, Gaze and mutual gaze,
Cambridge University Press, 1976.

Another overlap situation is the one when the subject
could not anticipate that the robot was about to talk.
Then, the subject starts talking just before the robot resulting in an overlap. In this case, illustrated in Fig. 12,
not signaling the cognition phase by a gaze aversion resulted in the overlap (in blue).
In addition to speech overlaps, the conversation is not
smooth when the subject takes much time to answer tothe robot because the robot did not signal properly theend of turn. Thus, measuring the response time of thesubject, the blue duration in Fig. 13 is another good
indication of performance.
For a given conversation between a subject and therobot, it is possible to calculate the total speech overlap and the average response time. These two values areused as the measure of performance for the generated
gaze pattern. Namely, between two candidate gaze patterns the one that results in less speech overlap and asmaller average response time is considered better.
In order to compare different gaze patterns for different subjects, the random generation of the phase timing[3] S. D. Jr. Duncan, “Some signals and rules for taking
speaking turns in conversation,” Journal of Personality and Social Psychology, vol. 23, no. 2, pp.
283–292, 1972.
[4] J. B. Bavelas, L. Coates, and T. Johnson, “Listenerresponses as a collaborative process: The role ofgaze,” Journal of Communication, vol. 52, no. 3,
pp. 566–580, 2002.
[5] A.M. Glenberg, J.L. Schroeder, and D.A. Robertson, “Averting the gaze disengages the environment
and facilitates remembering,” Memory and Cognition, vol. 26, pp. 651–658, 1998.
[6] Sean Andrist, Xiang Zhi Tan, Michael Gleicher,and Bilge Mutlu, “Conversational gaze aversion
for humanlike robots,” in Proceedings of the 2014
ACM/IEEE International Conference on Humanrobot Interaction, 2014, pp. 25–32.

54

[7] Hiroshi Ishiguro et al., “Erato ishiguro symbiotic
human-robot interaction project,” http://www.
jst.go.jp/erato/ishiguro/en/index.html,
2015.
[8] Jae Hoon Lee, T Tsubouchi, K Yamamoto, andS Egawa, “People tracking using a robot in motion with laser range finder,” 2006, pp. 2936–2942,
Ieee.
[9] D.F. Glas et al., “Laser tracking of human body motion using adaptive shape modeling,” Proceedings of2007 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 602–608, 2007.
[10] L. Spinello and K. O. Arras, “People detection in
rgb-d data.,” in Proc. of The International Conference on Intelligent Robots and Systems (IROS),
2011.
[11] C.T. Ishi et al., “Evaluation of a music-based realtime sound localization of multiple sound sourcesin real noisy environments,” Proceedings of 2009
IEEE/RSJ International Conference on Intelligent
Robots and Systems, pp. 2027–2032, 2009.
[12] C.T. Ishi, J. Even, and N. Hagita, “Using multiple
microphone arrays and reflections for 3d localizationof sound sources,” Proceedings of 2013 IEEE/RSJ
International Conference on Intelligent Robots andSystems, pp. 3937–3942, 2013.
[13] D. Brscic, T. Kanda, T. Ikeda, and T. Miyashita,“Person tracking in large public spaces using 3-drange sensors,” Human-Machine Systems, IEEE
Transactions on, vol. 43, no. 6, pp. 522–534, 2013.

55

c 2016⃝

Special Interest Group on AI Challenges
Japanese Society for Artificial Intelligence
社団法人 人工知能学会 ＡＩチャレンジ研究会〒162 東京都新宿区津久戸町 4-7 OS ビル 402 号室 03-5261-3401 Fax: 03-5261-3402(本研究会についてのお問い合わせは下記にお願いします.)

ＡＩチャレンジ研究会

Executive Committee

主 査

Chair

光永 法明

Noriaki Mitsunaga

大阪教育大学 教員養成課程 技術教育講座

Department of Technology Education,
Osaka Kyoiku University

主 幹 事Secretary中臺 一博

Kazuhiro Nakadai(株) ホンダ・リサーチ・インスティチュート

Honda Research Institute Japan Co., Ltd./・ジャパン / 東京工業大学 工学院

Department of Systems and Control

システム制御系

Engineering,Tokyo Institute of Technology

幹 事
植村 渉

Wataru Uemura

龍谷大学 理工学部 電子情報学科

Department of Electronics and Informatics, Faculty of Science and Technology,
Ryukoku University

公文 誠

Makoto Kumon

熊本大学 大学院 先端科学研究部

Faculty of Advanced Science andTechnology,
Kumamoto University

中村 圭佑

Keisuke Nakamura(株) ホンダ・リサーチ・インスティチュート

Honda Research Institute Japan Co., Ltd.

・ジャパン

SIG-AI-Challenges home page (WWW): http://www.osaka-kyoiku.ac.jp/~challeng/