論 文
ビッグデータの利活用によるロボットの音声コミュニケーション基盤構築
杉浦 孔明†

Analysis on Large-Scale Human-Robot Dialogues Collected by Cloud Platform
Komei SUGIURA†

あらまし スマートフォンを始めとする種々のデバイスに音声インタフェースの機能が導入され，広く一般に認知されるようになってきた．今後，ネットワークに接続されるロボットや IoT デバイスが増加するに従い，それらの機器を対象としたクラウドサービスも増加すると考えられる．一方，ロボットの音声認識・合成機能の開発は依然高コストであり，この問題を解決するためにクラウドサービスを提供することの意義は大きいと考えられる．本稿では，我々が構築した音声コミュニケーション機能を対象としたクラウドロボティクス基盤 rospeexを紹介し，長期実証実験の解析結果について報告する．
キーワード

クラウドロボティクス，音声対話システム，非モノローグ音声合成，サービスロボット

1. は じ め にスマートフォンへの音声インタフェース機能の導入
は，音声言語処理機能を広く一般に認知させた．2013

改善が可能であるため，クラウドサービス提供者にもメリットがある．音声認識分野においても，クラウドサービスの提供と大規模ログコーパスを用いた精度改善が行われている [3]．

年の音声認識分野の市場規模は世界全体で約 880 億円

今後，ネットワークに接続されるロボットや IoT デであり，2018 年には 1700 億円程度へと増加すると予バイスが増加するに従い，それらの機器を対象とした測されている [1]．このような伸びの背景には，機械クラウドサービスも増加すると考えられる．実際に，学習手法の進展とその大規模データへの適用とともに，クラウドロボティクス分野においては，物体認識や軌音声認識機能がクラウドサービス化され，非力な端末道計画などの応用について研究が始まりつつある（例でも高品質なサービスを利用できるようになったこと

えば [4]）．一方，人と共存するロボットにおいては音がある．

声対話機能の構築が高コストであり，現状では高品質

一方，クラウド基盤のログとして収集される大規模なサービスが難しい．この問題を解決するためにクラなデータを用いてサービスの品質を向上することは，ウドロボティクス基盤を構築することはコミュニティ

音声認識分野に限らず一般的に行われてきた．例えへの貢献は大きいと考えられる．ただし，このようなば，ユーザの購買情報から推薦精度を向上させたり，基盤構築は，音声認識・合成についての基礎技術からクリック数から検索精度を向上させるなどの応用は幅

クラウド基盤の構築・運用やロボットへの適用に至る広く行われている [2]．これらは，検索・推薦・認識等までの包括的な技術開発が必要であり，簡単な課題でについて高機能なサービスを行うと同時に，多く利用はない．

されることでさらに性能改善を行うものである．つま上記の背景から，音声対話向けクラウドロボティク

り，クラウドサービスを提供することでスパイラル的

ス基盤 rospeex を我々は構築し，2013 年 9 月から運用してきた [5, 6]（注 1）．現在，4 か国語（日英中韓）の音†

国立研究開発法人 情報通信研究機構 ユニバーサルコミュニケーション研究所

声認識・合成に対応しており，学術研究目的に限り無Universal Communication Research Institute, National Institute of Informationand Communications Technology（注 1）：2016 年 1 月までに 3 万ユニークユーザに利用されている．

電子情報通信学会論文誌 X Vol. Jxx–X No. xx pp. 1–5c （社）電子情報通信学会 xxxx
⃝1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

償・登録不要で公開している．図 1 に，rospeex のユースケースの例およびユニークユーザの分布を示す．
本稿では，rospeex の構築と長期実証実験について

3. 音声コミュニケーションのためのクラウ
ドロボティクス基盤 rospeex

紹介する．本稿の構成は以下の通りである．まず，第以下では，rospeex の特徴のひとつでである非モノ

2 節で関連研究について述べ，次に第 3 節においてローグ音声合成手法 [5] について概説したのち，長期rospeex を紹介する．第 4 節でクラウドロボティクス

実証実験の結果得られた結果を音声認識および音声合基盤を運用して得られた知見について述べたのち，第成の面から紹介する．

5 節で結論を述べる．

2. 関 連 研 究

3. 1 非モノローグ音声合成表現力の高い合成音声の研究開発は，音声合成分野を始めとして，音声合成の応用先である音声対話シ

ロボットのコミュニケーション機能開発においては，ステムやロボティクスなどの分野で研究がなされてき無償あるいは有償のツールを用いたスタンドアロンシた（例えば [16]）．我々の手法の新規性は，声優によステムを用いるアプローチが主流であった．したがっる非モノローグ収録（掛け合いで対話を行わせて収録て，ロボットに搭載された計算機で処理が行われるたを行う）を行った点である．また，我々が構築した非め，CPU やメモリの制限を受ける場合がある．また，モノローグコーパスは 1 名あたり 466 分であり，[16]技術的には多言語対応が可能なツールが多いものの，の約 10 倍の規模である．本コーパスの利用例として言語モデルの置換等が必要とされるため，実際に取りは，[17] が挙げられる．

組むロボット開発者は少ない．

音声合成手法として隠れマルコフモデル（HMM）

一方，スタンドアロンのシステムではなく，音声検に基づく方式を用いた．詳細については，[18] を参照

索，質問応答，雑談対話，音源定位・音源分離 [7] なされたい．HMM に基づく音声合成では，分析合成方どの機能をクラウドサービスとして提供する企業や研式（注 2）と異なり，任意のテキストを入力として学習済

究機関も多い．代表的なサービスとしては，Google，

みの HMM から最尤の特徴量系列を生成する．ロボ

Microsoft，NTT docomo，Nuance などによるものが挙ティクスにおいては，動作の生成に HMM を用いる試げられる．

みもある [19]．

また，音声以外の機能で広くネットワーク機能を

図 2 に，読み上げタスク（左）およびサービスロボッ

利用したロボットの事例は 1990 年代から開始されトタスク（右）において合成音声に対する品質評価をている [8, 9]．また，ネットワークロボット分野では，行った結果を示す．評価尺度として，標準的な Mean

環境中のカメラや無線タグと連携して，ロボット単

Opinion Score (MOS) 値を用いた．モノローグ音声合体では不可能な機能を達成するアプローチとして注成（ベースライン）と非モノローグ音声合成手法に対目を集めた [10]．近年では Kuffner によりクラウドして，同じ量の学習データを用いた場合の結果を比較ロボティクスが提唱され，研究が盛んに行われていするために，(1) と (2) を用意した．また，(0) は分析

る [11, 12]．クラウドロボティクス研究の代表事例と合成音（理論上の上限）であり，(3)(4) はそれぞれ (2)しては，UNR-PF [10]，RoboEarth [13]，Rapyuta [14]，の 1.85 倍，2.46 倍の学習セットを用いた場合の非モ

RoboBrain [15] などがある．

ノローグ音声合成手法の結果である．**および***は，P < .01 および P < .001 を示す．
図 2 より，非モノローグ音声合成とベースラインの差は読み上げタスクにおいて統計的有意でなく，非モノローグ音声合成を使用することに品質上のデメリットはないことがわかる．また，サービスロボットタス
クにおいて，非モノローグ音声合成の MOS 値はベースラインと比べて高く，顕著に有効であることがわ
図 1 rospeex の使用例および利用者分布．左：rospeex を用いた対話の例．右：rospeex 利用者の IP アドレスの分布．

2（注 2）：分析合成方式では，音声波形を入力として，特徴量系列を直接求め，人間の発生機構を模した音源・フィルタモデルを用いて特徴量を音声波形に変換する．

論文／ビッグデータの利活用によるロボットの音声コミュニケーション基盤構築

図 2 読み上げタスク（左）およびサービスロボットタス
ク（右）における合成音声品質評価．(1) と (2) の比較より，非モノローグ音声合成は読み上げタスクではベースラインと同等であり，サービスロボットタ
スクでは顕著に優れるといえる．

かった．

3. 2 音声認識ログの解析

る．一方，(c)-(f) の指示関連発話はロボットごとに機2014/1/1 から 2014/11/28 までのアクセス記録をもとに，実際の利用における音声認識ログを解析した [6]．
ログに含まれる発話の音声認識結果の総数は，44960であった．ただし，無音など明らかに発話が含まれないものは取り除いた．このうち，頻度が 3 以上のものを分析対象として発話を分類した結果を表 1 に示す．
音声認識結果を以下のカテゴリに分類した．

(a) 挨拶・雑談: 日常会話（例：こんにちは）(b) 一問一答型質問: 対話履歴を必要としない情報源への問い合わせ（例：今何時）

能を実装する必要がある．
「その他」カテゴリに分類された発話も多いため，音声認識精度の向上や対話履歴の解析は今後の課題である．

3. 3 音声合成に関する個人依存性
これまでロボティクスにおいてはスタンドアロンアプローチが採られてきたため，ロボット開発者が求める音声処理機能の性質について，多様かつ多人数のユーザを扱った定量的な解析が困難であった．クラウ
ドロボティクス基盤を構築することで，ロボット対話開発における個人依存性を調査することが初めて可能(c) 移動・把持: 移動や把持に関連する動作指示
発話（例：止まれ）になる [20]．
いま，あるユーザ ui の音声合成リクエスト履歴全(d) 家電操作: 音声リモコンのように家電を操作する発話（例：テレビを消して）体を文集合 Si と定義する．Si に含まれる文の種類を Nuniq とすると，Si 中でキャッシュを利用できる(e) 認識・学習: センサ入力の学習または認識を指示する発話（例：ここはどこ）

リクエスト数 Nc は，Nc = ||Si || − Nuniq と表すことができる．ここで，擬似キャッシュヒット率 rp を(f) 一般的な指示: (c)-(e) 以外でロボットの行動を指示する発話（例：手を上げろ）

Ncと定義する．rp が高いユーザは，同じ言い
rp = ||Si ||回しを繰り返し使っていると考えられる．

(g) その他（検索・回答，判別不能）: (a)-(f) 以外の発話．主に，質問への応答，音声認識誤りまたは判別不能な発話を含む．

2014/1/1 から 2015/5/31 までの rospeex のユーザのうち，10 回以上合成リクエストを行ったユーザを抽出した．そのうち，上位 15 ユーザについて解析した結表 1 より，約半数の発話は挨拶・雑談や一問一答型の質問であったことがわかる．これらの発話に対しては，一般的に提供されている質問応答や雑談対話のクラウドサービスを用いることが有効であると考えられ
表 1 発話の分類
カテゴリ
発話数
挨拶・雑談
1894
一問一答型質問
1153
移動・把持
258
家電操作229
認識・学習
215
一般的な指示41
その他（検索・回答，判別不能）
2205
合計5995

図 3 上位 15 ユーザにおける (a)Nuniq および (b)Nc ．上
位ユーザは 100〜200 種類の文を繰り返し使っているといえる．

割合 [%]
31.59
19.23
4.30
3.82
3.59
0.68
36.78
100

果を図 3 に示す．図において，(a) は文の種類 Nuniq ，(b) は Nc を表す．Nuniq は Nc に比べて小さく，上位ユーザは 100〜200 種類の文を繰り返し使っていることがわかる．実験の詳細については，[20] を参照されたい．

4. クラウドロボティクス基盤運用に関する留意点
4. 1 クラウドサービス提供者のメリット・デメリット
社会展開の手段としてソフトウェアの公開は広く行われているが，データセットや学習済みのモデルが知3電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

財として高い価値を持つ場合，それらが無償で公開されることは稀である．一方，クラウドサービスであれば，データセットを公開する必要なく社会展開が可能が詳しい．

5. お わ り にである．また，ソフトウェアの影響を計測したい場合，クラウドロボティクス技術は屋内レベルから屋外，ダウンロード数では実際に使用したユーザ数を反映し都市に至るまで多岐に亘る応用を持つ．代表的な応用ていない可能性がある．一方，クラウドサービスでは対象としては，スマートホームデバイス，ドローン，プサーバ上へのアクセス数からユーザが使用した回数をローブカーなどが挙げられる．本稿では，主にサービ計測することができる．

スロボットの音声コミュニケーション機能を対象とし一方，クラウドサービス提供にはデメリットも存在する．クラウドサービスの知名度が高くなると，サービスそのものやウェブサイトが攻撃や不正利用の対象たクラウドロボティクス基盤 rospeex について述べた．
本研究に関する動画や，rospeex のインストール方法は http://rospeex.org を参照されたい．
文になりやすい．また，ロボットの機能が全てクラウド化されるべきなのではなく，リアルタイムの衝突回避[1]など，クラウド化が容認されにくい機能も存在するの[2]で，全てのクラウドサービスがユーザを獲得できるわ[3]

けではない．ユーザ数の増加が見込めないようであれ
ば，クラウドサービス化以外の方法が費用対効果の面で有利になる場合もある．

4. 2 データの共有[4]

1. 節で述べたように，情報検索や推薦分野では研究

Advanced Robotics, vol.29, no.7, pp.449–456, 2015.
[6]

6160, 2015.
[7]

水本武志，中臺一博，“Hark saas:ロボット聴覚ソフトウェ
ア hark のクラウドサービスの設計と開発,” 人工知能学会
研究会資料，pp.60–65，2015．

[8]

M. Inaba, “Remote-Brained Robotics: Interfacing Al with Realので，認識結果の文字列マッチングで不適切な発話をWorld Behaviors,” Proc. of the 6th Int. Symp. of Robotics,て問題がないか人手で確認する作業が必要になる．
ユーザからの視点としては，サービス利用で得られpp.335–344, 1993.
[9]

スマートフォンにおいて位置情報等のプライバシー情報の利用許諾が事前に設定できるようになっている仕Proc. IEEE ICRA, pp.654–659, 1995.
[10]

tomation Science and Engineering, vol.12, no.2, pp.398–409,
2015.
[13]

edge about Actions, Objects, and Environments,” Proc. ICRA,全てのケースでこのような機能を導入することは実際

4

M. Tenorth, A.C. Perzylo, R. Lafrenz, and M. Beetz, “TheRoboEarth Language: Representing and Exchanging Knowl-

ビス開始時からこの機能が提供されていた訳ではなく，ネットワークロボット技術の法的側面については [21]B. Kehoe, S. Patil, P. Abbeel, and K. Goldberg, “A survey of research on cloud robotics and automation,” IEEE Trans. on Au-

Google のサービスではユーザ ID と紐付けられた音声には難しい点に注意が必要である．音声に限定しない

J. Kuffner, “Cloud-Enabled Robots,” Proc. Humanoids, pp.••–••, 2010.

[12]

る機能を用意するなどの対策が考えられる．実際に，をユーザ自身が確認し消去可能である．ただし，サーK. Kamei, S. Nishio, N. Hagita, and M. Sato, “Cloud NetworkedRobotics,” Network, IEEE, vol.26, no.3, pp.28–34, 2012.

[11]

組みと同様である．そのためには，クラウドへアップロード済みのデータについても，ユーザが消去でき

K. Goldberg, M. Mascha, S. Gentner, N. Rothenberg, C. Sutter,
and J. Wiegley, “Desktop teleoperation via the world wide web,”

る便益とのバランスによりプライバシー情報を提供するかどうかを決定できることが重要である．これは，K. Sugiura and K. Zettsu, “Rospeex: A cloud robotics platform forhuman-robot spoken dialogues,” Proc. IEEE/RSJ IROS, pp.6155–

は零ではない．さらに，認識結果には誤りが含まれる
除外することも難しい．すなわち，全ての発話についK. Sugiura, Y. Shiga, H. Kawai, T. Misu, and C. Hori, “A Cloud
Robotics Approach towards Dialogue-Oriented Robot Speech,”

クラウド型音声検索サービスを利用したユーザが「暗証番号は xxxx です」という発話を入力する可能性

D. Berenson, P. Abbeel, and K. Goldberg, “A robot path planning3678, 2012.

[5]

集されたデータをコミュニティで共有するためには，どのような議論点が存在するのであろうか？

D. Jannach，M. Zanker，A. Felfernig, and G. Friedrich, 情報推薦システム入門 -理論と実践-，共立出版，2012．
松田繁樹，林輝昭，葦苅豊，志賀芳則，柏岡秀紀，安田圭志，大熊英男，内山将夫，隅田英一郎，河井恒，中村哲，“多言語音声翻訳システム VoiceTra の構築と実運用による大規模実証実験,” 電子情報通信学会論文誌，vol.J96-D，no.10，pp.2549–2561，2013．
framework that learns from experience,” IEEE ICRA, pp.3671–

促進を目的として，購買履歴等のデータセットが公開されている．同様に，クラウドロボティクス基盤で収献NEDO 技術戦略研究センター，“Tsc foresight vol. 8,” 2015.

pp.1284–1289, 2012.
[14]

G. Mohanarajah, D. Hunziker, R. D’Andrea, and M. Waibel,“Rapyuta: A cloud robotics platform,” IEEE Trans. Automation

論文／ビッグデータの利活用によるロボットの音声コミュニケーション基盤構築
Science and Engineering, vol.12, no.2, pp.481–493, 2015.
[15]

A. Saxena, A. Jain, O. Sener, A. Jami, D.K. Misra, and H.S.
Koppula, “Robobrain: Large-scale knowledge engine for robots,”
2014.

[16]

K. Iwata and T. Kobayashi, “Conversational Speech Synthesis
System with Communication Situation Dependent HMMs,” Proc.
of the Paralinguistic Information and its Integration in Spoken Dialogue Systems Workshop, pp.113–123, 2011.

[17]

T. Nose, Y. Arao, T. Kobayashi, K. Sugiura, Y. Shiga, and A.
Ito, “Entropy-based sentence selection for speech synthesis usingphonetic and prosodic contexts,” Proc. INTERSPEECH, pp.3491–3495, 2015.

志賀芳則，河井恒，“多言語音声合成システム,” 情報通信研究機構季報，vol.58，no.3，pp.19–24，2012．
[19] K. Sugiura, N. Iwahashi, and H. Kashioka, “Motion Generationby Reference-Point-Dependent Trajectory HMMs,” Proc. IROS,pp.350–356, 2011.
[20] 杉浦孔明，是津耕司，“クラウドロボティクス基盤 rospeex の[18]長期実証実験と大規模ロボット対話データの解析,” 第 33 回
日本ロボット学会学術講演会資料集，pp.RSJ2015AC3D1–03，2015．
[21] 土井美和子，小林正啓，萩田紀博，ユビキタス技術 ネット
ワークロボット - 技術と法的問題，オーム社，2007．
（平成 xx 年 xx 月 xx 日受付）

杉浦孔明

2002 年京大・工・電気電子工学科卒．2007
年同大学院・博士課程了．日本学術振興会特別研究員，ATR 音声言語コミュニケーション研究所研究員を経て，現在，情報通信研
究機構ユニバーサルコミュニケーション研

究所主任研究員．サービスロボット，機械学習，クラウドロボティクス，音声対話システム，情報検索，推薦システムなどの研究に従事．計測自動制御学会，情報処理学会，人工知能学会，日本ロボット学会，IEEE などの会員．

5