DEIM Forum 2017 F4-1

簡単化された実行履歴に基づく
音声対話コンテンツ編集システム
山口 大介†

堤修平†

山本 大介†

高橋直久†† 名古屋工業大学大学院工学研究科情報工学専攻 〒 466-8555 愛知県名古屋市昭和区御器所町
E-mail: †yamaguchi@moss.elcom.nitech.ac.jp, ††{tsutsumi.shuhei,yamamoto.daisuke,naohisa}@nitech.ac.jp
あらまし 我々の研究室では，音声対話システム構築ツールキット MMDAgent を Android 向けに移植した Android
版 MMDAgent の研究を行なっている．Android 版 MMDAgent は，FST 形式で記述された対話スクリプトを読み込ませることで対話内容を自由にカスタマイズすることができる．FST ファイルはパソコン上のテキストエディタなどによって編集することができる．しかし，Android 版 MMDAgent の FST ファイルは Android 端末をパソコンに接続しなければ，カスタマイズすることが煩わしいと感じる場合が多く，記述された対話内容の量が多いほど，後から編集したいと感じた箇所を探すことや，適切な編集をすることが困難となってくる．Android 端末上で使用するアプリの簡単なカスタマイズは，使用する端末上で完結する方が好ましいと考えられるので，本稿では MMDAgent の対話の元となっている FST ファイルを Android 端末単体でカスタマイズすることのできるシステムを提案し，その提案システムに基づいて実装したプロトタイプシステムについて述べる．さらに，プロトタイプシステムを用いた評価実験から，提案システムの有用性を評価する．
キーワード

音声対話システム，マルチメディア，編集インタフェース

1. は じ め に

MMDAgent は，名古屋工業大学正門前にも設置されている
双方向音声案内デジタルサイネージ [5] にも用いられており，上

近年，Apple の Siri [1] や，NTT ドコモのしゃべってコン記の音声対話システムとは異なった音声対話を実現している．

シェル [2] など，スマートフォン向けの音声対話システムが普MMDAgent はネットワークを介さない対話が可能となってい及しつつある．これらの音声対話システムでは，ユーザは仮想るため，より人間に近い，遅延の少ない対話が実現されている．の秘書エージェントとの音声対話を通じて，経路案内や天気予

MMDAgent はネットワークを介した対話を行なわない代わり報などの情報を得ることができると同時に，簡単な雑談などもに，FST ファイルと呼ばれる対話スクリプトで記述されたファ行なうことができる．我々の研究室では音声対話システム構築

イルを読み込むことで，そのファイル内に記述されているキーツールキット MMDAgent [3] を Android 端末向けに移植したワードに関する対話だけを実行する．この FST ファイルを編

Android 版 MMDAgent [4] に関する研究を行なっている．以

集することで MMDAgent の対話内容をカスタマイズすること

下の図 1 に Android 版 MMDAgent の画面を示す．

ができ，FST ファイルの編集はパソコンのテキストエディタなどを使用することで編集ができる．Android 版 MMDAgent はパソコンとのデータ転送を必要としたカスタマイズがほとんどとなっており，Android 端末単体で完結するものはごく少数となっている．また，FST ファイルでは特定のコマンドを用いた記述をする必要がある．そのため，専門知識が無い者では FSTファイルの編集が困難であると感じる場合がある．

2. MMDAgent
2. 1 MMDAgent の特徴
MMDAgent は音声対話のための高度な機能を備えたツールキットであり，音声認識，音声合成，3D モデルの描画や物理演算などを統合したシステムである．音声認識エンジンとして

Julius [6] を，音声合成エンジンとして OpenJTalk を [7]，3Dモデルとして MikuMikuDance 形式 [8] を，物理演算エンジンとして Bullet Physics [9] を採用している．また，MMDAgent
図 1 Android 版 MMDAgent

は音声対話を記述するためのスクリプト言語に基づいて音声対話の処理を実行する．スクリプト言語は後述する FST(FiniteState Transducer) 形式に基づいており，音声認識による特定こることがある．他にも，誤字などの記述ミスが起こることものキーワードの認識や，センサーによるユーザの検出などをト挙げられる．FST ファイル内にコマンドの誤字があると，そのリガーとして，次の状態に遷移する有限オートマトン形式を記行は無効となってしまうため，書いたつもりの処理がされない述可能である．

等の問題が生じる．

Android 版 MMDAgent の FST ファイルを編集する場合，2. 2 FST 形式の特徴
MMDAgent は FST 形式で記述されたテキストファイル (以Android 端末上で編集するには画面サイズの小ささや，エディ

降 FST ファイルと呼ぶ) を読み込むことで，音声対話を実現しタがパソコンに比べて不便であるなどの理由により困難と感ている．FST 形式とは，状態番号，次状態番号，条件，出力のじる場合がある．そのため，Android 版 MMDAgent の FST順に並ぶ対話スクリプトである．

ファイルを編集する場合，パソコン上で FST ファイルを編集以下に，MMDAgent が「こんにちは」と認識した際に，お辞してから，使用する Android 端末に保存するという方法が主で儀をしながら「こんにちは」と返答するように記述された部分ある．

を含む FST ファイルの一部と，その「こんにちは」の処理における状態遷移図をそれぞれ図 2,3 に示す．

また，図 2 で示した通り，FST ファイルでは条件や出力をコマンドを用いた記述を行う．そのため，FST ファイルに関して知識の無いユーザが編集を行おうとすると，編集したい個所が見つけられない，どのようなコマンドを記述すれば意図した出力が得られるのか分からないといった問題が生じてしまうため，編集が困難であると感じる．

図 2 FST ファイル

3. 課題と解決方法
提案手法では，従来の FST 書式で発生していた編集における問題点を解決する．まず，従来システムでの FST ファイルの編集手順を以下に示す．
（ 1 ） FST ファイルをテキストエディタで開き，編集したいと感じた部分を探す（ 2 ） 元のコマンドを消去し，変更したいコマンドを記述

図3

状態遷移図

図 2 中の番号が”1”のような状態を初期状態 (又は待機状態)と呼ぶ．MMDAgent が何もしていない時は，基本的にこの初期状態にある．そして，MMDAgent が初期状態にあるときに音声認識によって「こんにちは」と認識すると，次の状態，例
えば図 2 中の番号”10”の状態へ遷移する．番号”10”の状態は，
図 2 中の 3 行目の状態となっており，出力は「お辞儀をする」となっているので，MMDAgent がお辞儀をする．また，図 2中の 3 行目の条件を見ると<eps>となっている．これは，「条件無しで次の状態へ遷移する」という条件なので，すぐに図 2 中の番号”11”の状態へと遷移する．番号”11”の状態の条件は，番号”10”の状態と同じなので，番号”12”の状態へと遷移し，出力は，「こんにちはと返答する」となっている．図 2 中の番号”12”の状態は，条件が「音声合成が終わった時」となっている．これは，「こんにちはと返答する」などの音声合成の出力が終了すると遷移するという条件である．出力はないので，音声合成が終わると初期状態に遷移するという遷移である．これらの状態遷移を状態遷移図で表したのが，図 3 である．

2. 3 FST ファイルの編集における問題点
FST ファイルを編集する際によく起こる問題として，状態番号の意図しない重複が挙げられる．同一 FST ファイル上で状態番号が重複してしまうと，FST ファイル中の，同じ状態番号の上に書かれた行だけが実行され，下に書かれた行は実行されないなどの FST ファイルを記述した者の意図しない動作が起する（ 3 ） FST ファイルを保存し，再度 MMDAgent を起動して動作を確認する
以上の手順から，従来の FST 書式での編集における問題点は以下のものが挙げられる．

•

FST ファイルに膨大なシナリオが記述されていると編集したい個所を探すのが困難•

FST 書式では，決まったコマンドのみが有効となるため正しくコマンドを記述しないと思い通りの出力がされない
これらの問題点を解決するために，FST ファイルを編集するための機能を二つ MMDAgent に追加した．
まず，一つ目の問題点を解決するために，MMDAgent に実行履歴を表示する機能を追加した．本論文で用いる実行履歴は，MMDAgent が実際に認識したキーワードや，出力した動作などが保存されたテキストファイルである．
そもそも，FST ファイルを編集したいと感じるときとは，MMDAgent を実際に動かしているときである．この考えを基に，実行履歴を Android 画面上に表示する機能を追加した．この機能により，MMDAgent が実行したコマンドが逐次 Android画面上に表示されるため，編集したいと感じたときに直ちに編集個所を見つけることができるようになる．
また，表示する実行履歴を FST ファイル内で用いるコマンドではなく，コマンドを分かりやすく日本語を用いて表示することで，深い専門知識が無い者でも変更したい個所を見つけることができるようにした．

二つ目の問題点を解決するために，FST ファイルの編集を記述式ではなく選択式に変更した．
本システムでは，変更したいコマンドが Android 画面上に一覧で表示され，その中から編集したい内容を選択するだけでFST ファイルが編集されるため，コマンドの勘違いやタイプミス等が起きない．よって，より快適に FST ファイルを編集できるようになる．
また，これらの機能はすべて Android 版 MMDAgent に追加された機能であるため，確認のために再度 MMDAgent を起動する手間が省けるため動作の確認も容易になる．

図 5 モーションの一覧

4. プロトタイブシステム
ため，それらを配列に代入し，文字列として処理することで編提案システムは Java [10] 及び C++を用いて開発した．開発環境は AndroidStudio [11] を採用した．

4. 1 実行履歴表示機能
実行履歴表示機能は，ユーザが表示したいときに画面上に実集内容を反映させる．以下に，「こんにちは」と認識したときに「こんにちは」と返答しながら「お辞儀」をするように変更する編集の例を図 6 に示す．

行履歴を表示する機能である．実際の画面の一部を以下の図 4に示す．

図 6 FST ファイルの編集手順
図4

実行履歴

図 4 は，MMDAgent のコマンドである”MOTION ADD”や”RECOG EVENT STOP”等を日本語化して表示している．
実行履歴の一行はそれぞれが独立しているため，変更したいと思った一行を選択するだけで変更箇所を指定できる．従来の編集手法では，エディタを用いて FST ファイルを開き編集したい個所を FST ファイル全体を見て探す必要があるため提案システムを用いた編集手法の方が変更が容易になる．
また，実行履歴を用いて変更箇所を指定すると，変更内容を選択する画面に遷移する．例えば，「こんにちは」と認識したときに「こんにちは」と返答しながらお辞儀をさせたいと感じた
ときは，実行履歴中の『”ANGER”の動作を実行』を選択する．
選択すると MMDAgent が実行することのできるモーションの一覧が実行履歴と同様に一覧で表示される．以下の図 5 にモーションの一覧を表示した画面を示す．
表示された一覧の中からお辞儀を選択することで変更後の内容が決定される．
変更箇所と変更内容が決定すると後述する FST ファイル編集機能によって実際に Android 端末内に保存されている FSTファイルに自動的に反映される．

4. 2 FST ファイル編集機能
FST ファイル編集機能では，選択式で決定した編集内容を実際に反映させるための機能である．実行履歴表示機能によって，FST ファイル内の編集したい行，編集後の内容が決定している．FST ファイルは一行が四つの要素から成り立っている

図 6 で示すように，編集したい一行を四つに分割する．その後，元々記述されている内容と編集後の内容を照らし合わせ，一致していない部分の編集内容を反映させ，再度保存するという流れになっている．一行を四つに分割した理由は，FST ファ
イルを編集したいと感じた時，実際に編集する部分は，上手く遷移しない状態番号を編集するか，入力か出力が気に入らない時が多いと考えたためである．

4. 3 実行履歴簡単化機能
FST ファイルでは，”MOTION ADD”や”RECOG EVENT STOP”などコマンド毎に用途がはっきりと分かれている．そのため，これらのコマンドを条件に合わせて簡単な日本語で表示することで深い知識の無いユーザでも手軽に FST ファイルの編集を行うことができるようにした．例えば，”MOTION ADD”
ならば「そのコマンドの後ろに記述されているモーションファイルの動作を行う」というコマンドであり，その後ろのファイル名がどのような動作を行うかを決定する．なので，その後ろのファイル名を解析し，「お辞儀のモーションをする」というように実行履歴を表示する際に簡単化を行う．
以下の図 7，8 に FST ファイルのコマンドをそのまま表示した実行履歴の場合の MMDAgent の画面と，同じ内容の実行履歴を簡単化して表示した場合の画面を示す．

5. 3 実験結果と考察
それぞれの編集手法でかかった時間の計測結果を以下の表 1に示す．また，計測結果およびアンケート結果をグラフ化したものを以下の図に示す．
表1
被験者番号

図 7 FST ファイルの編集手順

編集にかかった時間の計測結果

従来手法 [秒] 中間手法 [秒] 提案手法

1189160932202

167

1083

214

17798

4

221

172

89

5197

132926171

14479

平均

199.0

158.793.2

図 8 FST ファイルの編集手順

5. 評 価 実 験
5. 1 目的

実際にプロトタイブシステムを用いて FST ファイルを編集してもらい，編集にかかった時間を測定する．同じ編集内容を従来の編集手順で編集してもらい，どのくらい編集にかかる時間が短縮されるかを比較することで提案システムを用いた FSTファイルの編集がどれだけ楽になったかを評価する．また，アンケートを用いてユーザが実行履歴を使った編集が楽と感じるか等を評価する．

5. 2 実 験 方 法

図 9 一つ当たりのキーワードの編集にかかる時間

Android 端末内に保存されている FST ファイルにおいて，MMDAgent が反応する特定のキーワードを（ 1 ） パソコンを使った従来手法（ 2 ） パソコンを使って実行履歴編集を模した画面を見ながら編集してもらう中間手法（ 3 ） 簡単化された実行履歴を用いて Android 上で編集してもらう提案手法の 3 つの編集を行ってもらう．評価実験を行う際に用いる

FST ファイルは，評価実験用に用意したものを使用する．このFST ファイルは行数約 380 行，状態数は約 200 である．編集時間を計算しやすくするために，それぞれの場合において，三つのキーワードで編集を行ってもらう．三つのキーワード全ての編集が終わるまでの時間を測定し，平均を取って 3 つの編集手法で比較する．
図 10

編集にかかった総時間[秒]図 11 より Android 画面上の実行履歴は読みやすいと感じましたかという質問に対して高い評価が得られた．また，実行履
歴を用いた 2 つの編集手法では Android 端末上での編集の方が編集しやすいと回答した者が多かった．これらの結果から，提案手法が FST ファイルの編集をより楽にしていると言える．
パソコンを用いた 2 つの編集手法を比べてみても，実行履歴があった方が編集しやすいと回答した者が多かったことから，

FST ファイルの編集において実行履歴は有用であることが言える．これらのアンケート結果から比べると，パソコンでの編集においてデータの転送が面倒と回答した者は少なかった．この図 11 アンケート結果

ことから，ユーザは FST ファイルの転送が面倒なのではなく，実験結果から従来手法によって FST ファイル内の 1 行を 3 回

FST ファイルの編集自体が面倒であると感じることが多いと編集するのにかかる時間はおよそ 199 秒であるのに対し，実行考えられる．そのため，Android 端末上で FST が編集できな履歴を用いてパソコンで編集するのにかかる時間はおよそ 158

かったとしても，実行履歴を用いれば FST ファイルの編集に秒となっており，およそ 2 割の編集時間の短縮が実現されていおけるユーザの負担を軽減することができるのではないかと考る．この結果より，実行履歴を用いた編集では編集時間の短縮えられる．よって，今後はパソコン上で Android 端末に実装しが可能であると考えられる．今回パソコンでの編集において用た実行履歴を用いた編集手法を実現し，提案手法と比較する必いた実行履歴は，FST ファイル内の編集したい個所が FST 内要があると考えられる．の何行目にあるかだけを表示していた．そのため，Android 端

6. お わ り に末上の実行履歴のように，クリックしただけで FST ファイルの編集したい個所に直接リンク等がないにも関わらずこれだけ

本論文では，Android 端末上の FST ファイルを編集する際の編集時間の短縮が行えたため，パソコン上で実行履歴を実装に感じていた，編集のしづらさを原因毎に分析し，それらの解すればより編集時間の削減が可能であると考えられる．よって，決策を考えるとともに実際に新しい編集手法を提案，実装し実行履歴を用いることは編集時間を短縮する上で有用であるとた．また，実装したプロトタイブシステムにおいてその有用性言える．また，従来手法と提案手法を比べてみると，提案手法を評価実験により評価した．評価実験では，編集時間は半分以を用いた編集ではおよそ 5 割の編集時間が短縮されている．こ下に短縮され，アンケートでは編集しやすいと回答した者が多

れは，実行履歴を用いた編集の方が従来手法と比べて，編集のかった．ただし，今回の評価実験では，Android 端末上で全て手間が極めて減少しているからであると言える．実行履歴を用の編集を行う方が編集しやすいかどうかについて疑問が残っていていることで，FST ファイル内の編集したい個所を探す時間しまった．今後の課題として，この問題を解決するとともに，が短縮されているだけではなく，FST ファイルをキーボードにその結果次第では，実行履歴や，選択式といったもの以外に新よる文字の打ち込みが殆ど無く，タップ操作だけで FST ファ

たな編集の簡単化を図る必要があると考えられる．

イルを編集できるためであると考えられる．よって，FST ファ

7. 関 連 研 究

イルの編集を Android 端末上で行う方が，ユーザの負担が減っていると言える．また以下の表 2 に編集個所を見つけるまでに

7. 1 タブレット端末のための複合状態を用いた音声対話コンテンツ編集手法

かかった時間の計測結果の平均を示す．

タブレット端末のための複合状態を用いた音声対話コンテン
表 2 編集個所を探すまでにかかった時間の計測結果
従来手法 [秒] 中間手法 [秒] 提案手法

92.7

72.8

[ 秒]

24.7

ツ編集手法 [12] では，FST ファイルの編集手法として，タブレットのタップ操作を用いて手軽に編集できるシステムを提案している．このシステムでは，よく使う一連の処理をテンプレートとして用意し，そのテンプレートを用いることで手軽に

表 2 から分かる通り，従来手法に比べて提案手法では，編集FST ファイルの編集が可能となっている．しかし，既に書かれ個所を探すまでにかかる時間がおよそ 7 割削減されている．こている処理に対して編集をしようとすると，編集したいと感じの結果からも，Android 端末上で FST ファイルを編集する際た部分を探すのに手間がかかってしまう場合がある．のユーザの負担が減っていると言える．

7. 2 タブレット端末のための複合状態を用いた音声対話コンテンツ編集手法
音声対話コンテンツにおける状態遷移ログの可視化と簡単化
手法 [13] では，状態遷移ログと内部メッセージログを対応付けて状態遷移図として可視化することで，状態遷移ログの情報を直感的に得ることができるようになっている．さらに，状態遷移ログから得られた情報を見やすくするために，見かけ上の状態数を削減し簡単化している．しかし，Android 版 MMDAgent
では実装されていないためパソコンを使った MMDAgent の編集が前提となっている．

7. 3 Android 端末のための実行履歴を用いた音声対話コンテンツ編集システム

Android 端末のための実行履歴を用いた音声対話コンテンツ編集システム [14] では，実行履歴を用いて FST ファイルを編集するシステムについて提案している．このシステムでは，評価実験の結果から FST ファイルのコマンドをそのまま表示した実行履歴が見づらいという結果が得られている．そのため，実行履歴を色分けするなどして見やすくできるのではないかという提案がされている．
謝辞

本研究は JSPS 科研費 26330136，25700009，科学技術振興機構 CREST，および，総務省 SCOPE の助成を受けたものです．

文

献[1] Apple.,Siri,
入手先 http://www.apple.com/ios/siri/（参照 2016-01-26）[2] NTT ドコモ, しゃべってコンシェル,
入手先 http://www.nttdocomo.co.jp/service/informati-on/
shabette concier/ （参照 2016-01-26）[3] 李晃伸, 大浦圭一郎, 徳田恵一, 魅力ある音声インタラクション
システムを構築するためのオープンソースツールキット, 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション
Vol.111,No.364,159-164,2011.
[4] 山本大介, 大浦 圭一郎, 西村良太, 打矢隆弘, 内匠逸, 李晃伸, 徳田恵一, スマートフォン単体で動作する音声対話 3D エージェン
ト「スマートメイちゃん」の開発，インタラクション 2013,IPSJ
Symposium Series Vol.2013,No.1,pp.675-680[5] Akinobu Lee,Keiichiro Oura,Keiichi Tokuda,MMDAgentfully open-source toolkit for voice interaction systems Proceedings of the ICASSP 2013,pp.8382-8385,2013.
[6] Lee,A. and Kawahara,T.
Recent Development of Open-SourceSpeech Recognition
Engine Julius, APSIPA,pp.131-137,2009[7] 大浦圭一郎, 酒向慎司, 徳田恵一, 日本語テキスト音声合成システム
OpenJTalk, 日本音響学会春季講論集,Vol.1,No.2-7-6,pp.343344,2010.
[8] MikuMikuDance,入手先 http://www.nttdocomo.co.jp/service/information/shabette concier/(参照 2016-01-26)[9] BulletPhysics，
入手先 http://www.nttdocomo.co.jp/service/information/shabette concier/ (参照 2016-01-26)[10] Java,
入手先 http://www.oracle.com/ (参照 2016-02-04)[11] AndroidStudio,
入手先 https://developer.android.com/studio/index.html?hl=ja(参照 2017-1-10)[12] 若林敬太郎, 山本大介, 高橋直久, タブレット端末のための複合状態を用いた音声対話コンテンツ編集手法, マルチメディア, 分散協
調とモバイルシンポジウム 2014 論文集 2014,pp.781-788,2014.
[13] 田中佑太朗, 山本大介, 高橋直久, 音声対話コンテンツにおける状態遷移ログの可視化と簡単化手法, マルチメディア, 分散協調とモバイルシンポジウム 2015 論文集 2015,pp.1263-1270,2015.
[14] 山口大介, 堤修平, 山本大介, 高橋直久,Android 端末のための実行履歴を用いた音声対話コンテンツ編集システム, マルチメディ
ア, 分散協調とモバイルシンポジウム 2016 論文集 2016,pp.961968,2016.