DEIM Forum 2019 G5-4

有限状態遷移の空間的拡張に基づく歩行者向け道案内のための音声対話シナリオ編集システム
林

晃大†

山本

大介†

高橋

直久†

† 名古屋工業大学大学院工学研究科情報工学専攻 〒 466–8555 愛知県名古屋市昭和区御器所町
E-mail: †hayashi@moss.elcom.nitech.ac.jp, ††{yamamoto.daisuke,naohisa}@nitech.ac.jp
あらまし

近年，スマートフォンで利用可能な音声道案内システムが普及している．既存の音声道案内システムに関する研究では，システムから歩行者への一方向の音声案内を前提としている．そこで，歩行者からも話しかけることができる双方向の音声道案内が実現できれば，歩行者がシステムに話しかけることで道案内文の再確認，現在地の確認，進行方向の確認しながら目的地に到達可能な道案内や観光道案内などの実現が可能になると考えた．一方で，音声対話システムの分野では，双方向の音声対話システムに関する研究が広く行われおり，その中には，FST(有限状態遷移) 形式で記述された音声対話シナリオをユーザ生成する研究も含まれる．本研究の目的は，音声対話の文脈や位置情報を考慮した，双方向の音声道案内シナリオの作成と利用を実現する手法を提案することである．具体的には，既存の FST に基づく音声対話シナリオのユーザ生成手法を拡張し，新たに，対話的な文脈と空間的な文脈の両方を扱える Spatial-FST 手法, 空間的なイベントを処理可能な Spatial-Event 手法, Spatial-FST のテストを容易に実現可能にする Spatial-Test 手法を提案する．本論文では，これらの提案手法に基づくプロトタイプシステムを Android Tablet
上で開発を行い，提案手法の有効性や問題点について議論した．
キーワード 音声道案内，有限状態遷移，位置情報，ユーザ生成
るか，入退したか，近づいているかまたは遠ざかっているかと

1 はじめに
近年，Google Maps [1] など，モバイル端末上で利用可能な
音声道案内システムが普及している．既存の音声道案内システ
ムでは曲がり角等において「右折してください」など，システ
ムから歩行者への一方向の案内しか行われていなかった．歩行者は，位置または進行方向を確認するために，システムに話しかけることができないため，進行方向が本当に正しいのか不安を感じてしまう問題があった．双方向の音声道案内が実現できれば，歩行者がシステムに話しかけることで道案内文の再確認，
現在地の確認，進行方向の確認しながら目的地に到達可能な道
案内や観光道案内などの実現が可能になると考えた．
一方で，音声対話システムの分野では，双方向の音声対話シ
ステムに関する研究が広く行われている．たとえば，MMDA-

gent [2] は，FST(有限状態遷移) 形式の対話シナリオを編集することによって，双方向の音声対話システムを構築することができる．EFDE [3] は，FST をグラフとして表示・編集・利用することが可能な Android タブレット向けの統合開発環境である．
本研究の目的は，音声対話の文脈や位置情報を考慮した，双方向の音声道案内シナリオの作成と利用を実現する手法を提案することである．これにより，地図上に簡単な経路と案内情報を記述するだけで，双方向の音声道案内を可能にする対話シナリオの作成と利用が可能になる．具体的には，従来手法である

EFDE を，中心座標，半径からなる円と両端点の座標，幅からなる長方形で定義された領域を用いて，歩行者がどの領域にいいった空間情報に基づく対話を扱えるように拡張することを考えたが，以下に述べるような課題があった．
問題点 1 従来手法は (EFDE) は，対話の文脈に基づく状態遷
移図のみ対応していた．提案手法は，対話の文脈だけでなく空間情報に基づいて，状態遷移図を作成する必要がある．
問題点 2 従来手法 (EFDE) は，音声認識に基づくイベントのみに対応しており，空間情報に基づくイベント処理に対応していなかった．
問題点 3 提案手法は歩行者の空間情報によって対話内容が変化するため，実際に移動してデバックする必要があるが面倒であった．
上記の問題点に対して，FST 形式に基づく音声対話システムに，空間的要素を組み合わせた，以下のアプローチで解決する．
アプローチ 1 状態遷移図に，空間情報を持たせた，Spatial-

FST を提案する．
アプローチ 2 歩行者の空間情報に応じたイベントとして，

Spatial-Event を提案する．
アプローチ 3 Spatial-FST で作成された双方向の音声道案内
シナリオを Android タブレット上でテスト可能な Spatial-Testを提案し，作成，テスト，実行の 3 つが一つのシステムで行える編集インタフェースを実装した．
上記のアプローチにより，対話の文脈だけでなく空間情報に基づいて，状態遷移図を作成できる．また，Spatial-FST の構
成要素である Spatial-state の領域ごとに状態遷移を記述する
ことで，領域ごとにユーザと MMDAgent の対話を記述が可能となり，Spatial-Event を利用して Spatial-state に対するイベント・コマンドを記述することで，従来の音声認識イベン
トに加え，位置情報と Spatial-state を利用した空間的な情報をもとに状態遷移が可能となる．また，Spatial-Test により，Spatial-FST を用いて作成された双方向の音声道案内シナリオ
を Android タブレット上でテスト可能となる．
これらの手法を実装したプロトタイプシステムを実装することで，双方向の音声道案内シナリオの作成・利用・テストを可能にする統合開発環境の実現に貢献できるであろう．

図 2 FST スクリプトの例（上）とその状態遷移図（下）2 関連研究2. 3 EFDE
2. 1 MMDAgent
音声対話システムの構築のためのツールキットとしては，

MMDAgent などが提案されている．MMDAgent は，音声対話システムを実現するために必要な機能，たとえば，音声合成，
音声認識，3D モデル描画，対話制御を統合したシステムである．PC だけでなくスマートフォン [4] での動作が可能である．
音声認識では Julius [5] を，音声合成では Open JTalk [6] を採用している．対話シナリオの記述形式に FST(有限状態) 形式を採用している．

FST 形式の対話シナリオの作成を支援するシステムも提案されている．EFDE は，タブレット端末を用いて状態遷移図を描くことにより，音声対話スクリプトを作成できるシステムである．このシステムでは見かけの状態数の削減ために複合状態を導入した状態遷移モデルを採用している．複合状態は UML のステートマシン図やハレルのステートチャート [7] に採用されており，内部状態を持つ状態のことである．複合状態を採用することで，内部状態を隠蔽することが可能になり，画面上に一度に表示すべき状態の数を減らすことが可能になる．また，テンプレートと入力フォームを用いて内部状態を編集できる仕組
み [3] を採用することで，内部状態の編集を容易にした．

図 3 EFDE

図 1 MMDAgent

2. 4 複合状態を導入した状態遷移モデル
複合状態を導入した状態遷移モデル形式による対話の記述
例を図 2 に示す．複合状態を導入した状態遷移モデル形式は，

2. 2 FSTFST 形式と同じく各機能部 (音声認識部，音声合成部など) かFST 形式による対話の記述例を図 2 に示す．FST 形式は，各ら発生するイベントを入力，各機能部への命令コマンドを出力

機能部 (音声認識部，音声合成部など) から発生するイベントとした，状態遷移機械として記述可能である．加えて，図のよを入力，各機能部への命令コマンドを出力とした，状態遷移機

うに複合状態を利用して一連の状態遷移を一つの状態にまとめ械として記述可能である．Fig.1. の例では，音声認識機能部がることで見かけの状態数を削減することができる．

「こんにちは」と認識すると，状態が 1 から 10 に変化する．続

また，複合状態の出口を表す exit point を利用することで複けて，モーション開始コマンド (MOTION ADD)，音声合成

合状態からの遷移を複合状態の内部状態すべてから出る遷移

開始コマンド (SYNTH START) を出力し，状態 12 まで遷移

(A から 2 の遷移) と exit point に対応する内部状態からの遷移

する．音声合成終了イベント (SYNTH EVENT STOP) が発(A.Exit から 1 の遷移) の 2 種類を表現することができる．

生すると状態 1 に遷移する．

図 4 の例では，数字を状態，英字を複合状態とする．また，3 行目は複合状態 A の開始状態と Exit point に対応する状態を表している．Event1 を入力すると Command1 が出力され，状態が状態 0 から複合状態 A に遷移し，複合状態 A の開始状態である A.0 に遷移する．続けて，Event2，Event3 を入力す

ると Command2，Command3 が出力され，複合状態 A の内た，複合状態を採用することで Spatial-state の領域ごとに状部状態である A.1，A.2 に遷移する．次に，A.2 は exit point

態遷移を記述できるようになったため，領域ごとに歩行者とに対応しているため，Event5 が入力されると Command5 を出MMDAgent の対話を記述できる．

力して状態 1 に遷移する．また，現在の状態が複合状態 A の手法 2 歩行者の空間情報に応じたイベントとして，Spatial-

内部状態 A.1 である場合，Event6 が入力されると Command6

Event を提案する．これにより，Spatial-Event を利用してを出力して状態 2 に遷移するが，Event5 が入力されても exit

Spatial-state に対するイベント・コマンドを利用することで，point に対応していないため，状態 1 に遷移しない．

従来の音声認識イベントに加え，位置情報と Spatial-state を利用した空間的な情報をもとにした状態遷移が扱うことができる．

$(YHQW

&RPPDQG$ ^6WDUW ^`([LW ^``
$
$
(YHQW$$
(YHQW$$
(YHQW

&RPPDQG&RPPDQG&RPPDQG

$([LW$
&RPPDQG&RPPDQG&RPPDQG&RPPDQG






(YHQW
(YHQW
(YHQW
(YHQW

手法 3 Spatial-FST を用いて作成された双方向の音声道案内$を提案する．これにより，歩行者の疑似的な経路 (緯度経度座標) を地図画面上を一本指でなぞることで入力することができ，
実際に歩行することなく Spatial-FST で作成された音声道案内
シナリオをテストすることができる．








シナリオを Android タブレット上でテスト可能な Spatial-Test

4 実現方法¼



本節では，3 章で述べた手法とその実現方法について説明する．

ള়૾ଙ

૾ଙዮ୎ ¼ H[LWSRLQWH[LWSRLQWधभৌૢ॑਀घ

図 4 複合状態を導入した状態遷移モデル（上）とその状態遷移図（下）4. 1 Spatial-FST
双方向の音声道案内シナリオを実現するために，対話の文脈だけでなく，地理的な文脈に基づいた FST を作成できる必要がある．しかし，1 章の問題点 1 で述べたように，位置情報と

2. 5 その他の関連研究

状態の対応付けに課題があった．そこで，位置情報と状態の対MMDAE [8] は，Web ブラウザを用いて編集可能な音声対話

応付けについては領域を持つ状態である Spatial-State を新たシナリオのエディタである．また，西村ら [9] は，Web ブラウに定義し，その状態を画面上で地図と関連付けられるようにしザを用いて一問一答形式の音声対話をユーザ生成形式で生成すた．また，複合状態を採用することで，みかけの状態数を削減る仕組みを提案した．また，FST を音声言語理解のための中間

した．

言語として用いる手法 [10] [11] も提案されている．音声対話シ
ナリオの作成する方式として，XML を用いた Voice XML [12]通常の状態，複合状態，Spatial-state の違いを表 1，Spatial-

state のデータ構造を表 2 に示す．

も提案されている．
表 1 各状態の違い

音声道案内に関する研究も提案されている．柳ら [13] は，音声道案内のためのランドマーク情報をソーシャルアノテーショ
ンとして収集し，それらを利用した音声道案内システムを提通常の状態 複合状態

Spatial-state

MMDAgent で実行可能

〇

×

×

内部状態を持つ

×

〇

〇

領域を持つ

×

×

〇

案した．八木ら [14] は，仮想地図のような概念から音声案内
文を生成する概念音声合成 (Concept-to-speech) を提案した．

IFTTH [15] の Location triger は，指定した位置の範囲内に

表 2 Spatial-state のデータ構造

入った時と出た時にイベントを生成するなど，位置情報イベン

Name

Type

Description

トを扱うことが可能である．

ID

int

Spatial-state の ID

Area

ArrayList<Double>

領域の緯度経度座標と半径

child list

ArrayList<State>

内部の状態のリスト

3 提案手法の概要
本節では，1 章で述べた 3 つの問題点を解決するために，以下の手法を提案する．

transition list ArrayList<Transition> 内部の遷移のリスト
start

State

内部の開始状態を表す要素

end states

ArrayList<State>

内部の終了状態のリスト

手法 1 手法 1 は，領域の形状を紐づけた状態 (Spatial-state)を導入した状態遷移図である．これにより，対話の文脈だけでな

図 5 の 例 は ，Spatial-FST と 次 節 で 説 明 す る Spatial-

く空間情報に基づいて，状態遷移図を作成でき，Spatial-Event

Event を 導 入 し た 状 態 遷 移 モ デ ル で あ る ．数 字 を 状に必要な領域情報を登録することができる．さらにプロトタイプ

態 ，英 字 を Spatial-state と す る ．ま た ，3 行 目 は Spatial-

システムを用いて地図画面上で作成することで，Spatial-state

state A の 開 始 状 態 と 領 域 を 表 し て い る ．次 節 で 説 明の領域情報を自動取得することで作成者の負担を軽減した．まする Spatial-Event(SPATIAL EVENT IN|A) が入力される

と ，状 態 0 か ら Spatial-state A に 遷 移 し ，Spatial-state

4. 2. 2 ユーザの領域の入退に関するイベント

A の 開 始 状 態 で あ る A.0 に 遷 移 す る ．続 け て ，音 声 合

ユ ー ザ が Spatial-state に 入 退 し た と き に ，イ ベ ン ト

成開始コマンド (SYNTH START) を出力し，Spatial-state

を 発 行 す る ．Spatial-state の 領 域 に 入った と き は SPA-

A の 内 部 状 態 A.1 ま で 遷 移 す る ．音 声 合 成 終 了 イ ベ

TIAL EVENT IN イベントが，Spatial-state から出た時はン ト (SYNTH EVENT STOP) が 発 生 す る と Spatial-state

SPATIAL EVENT OUT イベントが発行される．それぞれのA の 内 部 状 態 A.2 に 遷 移 す る ．さ ら に ，現 在 の 状 態 がイベントの定義は以下のとおりである．ただし，ID は Spatial-

Spatial-state A で あ る 場 合 に ，次 節 で 説 明 す る Spatial-

state の識別子とする名前とする．

Event(SPATIAL EVENT OUT|A) が 入 力 さ れ る と ，音 声•

SPATIAL EVENT IN|ID

合 成 開 始 コ マ ン ド (SYNTH START) を 出 力 し ，Spatial-•

SPATIAL EVENT OUT|ID

state A か ら 状 態 1 に 遷 移 す る ．音 声 合 成 終 了 イ ベ ン ト(SYNTH EVENT STOP) が発生すると状態 1 から状態 0 にある Spatial-state の識別子 ID に対して，イベント発行のア
ルゴリズムを以下に示す．ただし，領域を R とする．

遷移する．

Algorithm 1 ユーザの領域の入退に関するイベント
$63$7,$/B(9(17B,1_$

while x 秒おき do

HSV!

if C ∈ R ∩ C’ ∈/ R then$ ^6WDUW ^`$UHD ^ODWORQ5``
$
$
HSV!

6<17+B67$57_PHL_QRUPDO_కീखथऎटऔः

$

HSV!

$

6<17+B(9(17B6723_PHL

SPATIAL EVENT IN|ID
end if$

63$7,$/B(9(17B287_$

6<17+B67$57_PHL_QRUPDO_ರढथऎटऔः



6<17+B(9(17B6723_PHL

HSV!

if C’ ∈ R ∩ C ∈/ R then
SPATIAL EVENT OUT|ID

$






end if

end while

4. 2. 3 ユーザの移動に関するイベント
6SDWLDOVWDWHള়૾ଙ

૾ଙዮ୎

図 5 Spatial-FST と Spatial-Event を導入した状態遷移モデル（上）とその状態遷移図（下）ユーザが Spatial-state の領域から出て次の Spatial-state に
移動中に，Spatial-state に遠ざかる，または近づいたときにイ
ベントを発行する．Spatial-state から L メートル離れるたびに SPATIAL EVENT AWAY イベントが，Spatial-state から

L メートル近づくたびに SPATIAL EVENT APPROACH イ
4. 2 Spatial-Event
従来手法 (EFDE) は，1 章の問題点 2 音声認識に基づくイベントが発行される．それぞれのイベントの定義は以下のとおりである．ただし，ID は Spatial-state の識別子とする．

ベントのみに対応しており，空間情報に基づくイベント処理•

SPATIAL EVENT AWAY|IDに対応していなかった．そこで，歩行者の位置情報 (GPS) と•SPATIAL EVENT APPROACH|ID

Spatial-state の領域をもとに歩行者の位置と移動に応じてイベある Spatial-state の識別子 ID に対して，イベント発行の手

ントを発行する Spatial-Event プラグインを提案することで，順を以下に示す．ただし，領域の中心座標を RC ，距離の閾値

状態遷移の枠組みで位置情報を扱うことを可能にした。

を Lth ，x 秒で近づいた距離を LX とする．

具体的には，歩行者の領域への入退と移動に関するイベント，

Spot までの距離と方向に関するコマンドを定義した．また，さらに、Spatial-Event を生成する機能を MMDAgent のプラグインとして開発した。これにより，提案システムで作成した音
声道案内シナリオ (FST 形式) を他端末でも実行可能となる．
具体的には、以下に挙げる、コマンドとイベントをサポートする。それぞれのコマンドとイベントの詳細と，そのコマンドとイベントの検出方法について以下に述べる．

4. 2. 1 Spatial-state の登録に関するコマンド
Spatial-state の領域と名前を MMDAgent に登録するコマンドである．提案システムでは MMDAgent を用いて道案内を行う前に，GPS SET を利用して各 Spatial-state の情報を登録する．ただし，ID は Spatial-state の識別子，latitude はSpatial-state の緯度，longitude は Spatial-state の経度，radius
は Spatial-state の半径とする．

•

SPATIAL SET|ID|latitude|longitude|radius

Algorithm 2 ユーザの移動に関するイベント
while x 秒おき do
L1 = dist(C ′ , RC );L2 = dist(C, RC );LX = L2 − L1 ;sum+ = LX ;if sum > Lth thenSPATIAL EVENT APPROACH|ID
sum = 0end ifif sum < −Lth thenSPATIAL EVENT AWAY|ID
sum = 0end ifend while換し，MMDAgent に送信する座標変換・送信機能によって構

4. 3 Spatial-FST から FST への変換
Spatial-FST の Spatial-state は，緯度経度座標と半径から成される．

なる領域を持つ．しかし，複合状態は領域の情報を扱うこと

作成者が入力する経路の取得ために提案システムでは，Testができない．また，Spatial-state はそのまま MMDAgent で実layer，Map layer，音声道案内コンテンツを作成するための

行することができない．そこで，Spatial-Event プラグインで

Edit layer に分割することで解決を図った．これにより，テス定義された領域を登録する SPATIAL SET コマンドを利用しトを行う際には Test layer を図 7 のように最上層に移動させるて，図 6 のように，あらかじめ領域情報 (Spatial-state A のことで Edit layer への誤ったタッチ反応を防ぎ，Test layer に場合，Area={lat A, lon A, R A}) を MMDAgent に登録し，一本指でなぞることで歩行者の経路をリアルタイムで入力する

Spatial-state の領域情報を削除することで複合状態への変換をことができる．また，音声道案内シナリオを編集する際には，可能にした．また，変換された複合状態は若林の手法 [3] によEdit layer を最上層とし，Test layer と入れ替えることで編集

り FST に変換する．これにより，Spatial-FST を FST に変換を可能にしている．

し MMDAgent で実行可能にした．変換方法は図 6 の例を用いて流れを説明する．
（ 1 ） SPATIAL SET コマンドで Spatial-state の領域情報を登録し，Spatial-state から領域情報を削除し複合状態に変換
する．
（ 2 ） 若林に手法により，複合状態間の遷移に対して，遷移前の複合状態の全内部状態から遷移後の複合状態の開始状態への遷移に変換することで複合状態を展開し MMDAgent で実行

図 7 レイヤ構造

可能な FST に変換する．

そして，座標変換・送信機能によって Test layer に入力さ$ ^6WDUW ^`$UHD ^ODWB$ORQB$5B$``$ $ (YHQW&RPPDQG
$ $ (YHQW&RPPDQG
$%(YHQW

れた画面座標 (x,y) を Map layer の緯度経度座標 (latitude,&RPPDQG

longitude) に変換し MMDAgent に送ることでテストを行って% ^6WDUW ^`$UHD ^ODWB%ORQB%5B%``%% (YHQW&RPPDQG
%% (YHQW&RPPDQG




63$7,$/B6(7_$_ODWB$_ORQB$_5B$
63$7,$/B6(7_%_ODWB%_ORQB%_5B%$ ^6WDUW ^``$ $ (YHQW$ $ (YHQW&RPPDQG&RPPDQG

$(YHQW

&RPPDQG

% ^6WDUW ^``% % (YHQW% % (YHQW&RPPDQG&RPPDQG

%いる．

5 プロトタイプシステム
プロトタイプシステムのイメージを図 8 に示す．プロトタイ
プシステムでは，曲がり角を表す Spot(丸) と 2 つの Spot 間の道を表す Move(矢印) を地図上に交互につなぎ合わせることで，音声道案内シナリオの経路を決定することができる．編集イン

 
 

63$7,$/B6(7_$_ODWB$_ORQB$_5B$
63$7,$/B6(7_%_ODWB%_ORQB%_5B%

タフェースで作成できる音声道案内シナリオの経路は一本道で

 
 

(YHQW
(YHQW

&RPPDQG&RPPDQG

分岐がないものとする．次に各要素において，入力フォームに

 
 
 

(YHQW
(YHQW
(YHQW

&RPPDQG&RPPDQG&RPPDQG

 
 

(YHQW
(YHQW

&RPPDQG&RPPDQG

従って道案内に必要な情報である案内情報を入力する．これに6SDWLDOVWDWH0RGXOHVWDWH6WDUWVWDWHVWDWH7UDQVLWLRQ

図 6 Spatial-FST から FST への変換

より Spot では曲がり角で有効な対話，Move では 2 つの Spot
間の道，つまり次の Spot に移動しているときに有効な対話が生成され，音声道案内シナリオを作成することができる．

4. 4 Spatial-Test
Spatial-Test では，作成者が Test layer を通して地図画面
上を一本指でなぞることで歩行者の経路をリアルタイムで入力することが可能になる．また，作成者が音声入力を行うこともできる．これにより，作成者は実際に歩行することなく

Spatial-FST に基づいた音声道案内シナリオのテストを行うことができる．

4. 4. 1 Spatial-Test の構成
Spatial-Test は，一本指でなぞることにより歩行者の経路を入力することができる Test layer と，Test layer から入力された画面座標を地図が表示された Map layer の緯度経度座標に変

図 8 プロトタイプシステム

構成されている．入力フォームから変数名に対応する値を入力

5. 1 プロトタイプシステムの構成
プロトタイプシステムは，音声道案内シナリオの編集イン
タフェース，空間イベント生成機能（Spatial-Event plugin），

することで，入力された値と Spatial-FST テンプレートから

Spatial-state を作成する．

FST 変換機能，音声道案内シナリオのテストを行う Spatial-

プロトタイプシステムの Spot の場合では，入力フォームでTest 機能から構成される．編集インタフェースで作成された対どのような Spot(ランドマークの有無) であるか，どのような道話シナリオ（Spatial-FST 形式）は，音声道案内シナリオから

案内 (一方向または双方向) を行うかを選択できるようになって

Spatial-Event plugin で定義されたコマンド (SPATIAL SET)

おり，計 4 種類の音声道案内を選択できる．また，Spot の領域を用いて FST 変換機能により，MMDAgent で利用可能な FST

情報 (中心座標と半径) と Spot の案内情報 (ランドマークや曲形式に変換する．MMDAgent では，変換された FST に基づい

がる方向，次までの距離と時間) を入力することができる．今て動作する．実際の歩行者の緯度経度座標から Spatial-Event

回は作成者が地図画面上に配置した経路の座標から Spot の領

plugin でイベント・コマンドが生成され，FST が遷移すること

域情報と Spot の案内情報の一部を自動入力している．作成者

で音声道案内シナリオが実行される．また，作成者は Spatial-

は残りの案内情報 (ランドマーク) を入力することにより，Spot

Test 機能によって，地図画面上でなぞった歩行者の擬似的な内で有効な対話を設定する．図 11 の入力フォームから生成さ経路が緯度経度座標を変換し，MMDAgent に送信することで，れる対話は以下の通りである．

実際に歩行することなく音声道案内シナリオのテストを行うこ（ 1 ） 周囲に関する対話とができる．

•

ユーザ「周囲に何がある?」•

システム「コンビニがあります」

プロトタイプシステムの構成図を図 9 に示す．

（ 2 ） 曲がる場所と方向に関する対話ౣૐॖথॱইख़‫ش‬५
ఠଢ੊੧৔
३ॼজड़

Spatial-Eventplugin੿ਛ঻•

ユーザ「どこを曲がるの?」•システム「コンビニを右に進んでください」（ 3 ） 次までの時間と距離に関する対話
ఠଢ੊੧৔
३ॼজड़

॥ঐথॻ

FST૗ఌਃચ

FST

図9ഇฅഇฅฅਆ

঳ম੐दऩझॊॖঋথॺ +
॥ঐথॻ

MMDAgent

Spatial-Test•

ユーザ「次までどれくらい?」•システム「約 400m で 5 分くらいかかります」

ഇฅഇฅౠఏ

ࠉ‫!ࠅ܅‬ഇฅฏ
ഇฅฏ
̅༅ฏ

プロトタイプシステムの構成図
੿ਛ঻5. 2 Spot，Move と Spatial-FST の関係
Spot は円状の領域を持つ Spatial-state，Move は長方形の領域を持つ Spatial-state とその Spatial-state の前後に接続さౣૐॖথॱইख़‫ش‬५れている遷移で構成される．前後の遷移は Spatial-Event の

6SDWLDOVWDWH੧৔ੲਾ!
ฏ
༂Ѕฏకീഈ؉ฏ
؆ԉฏɥɨ  ɏɏŶ䝁䞁䝡䝙䠈ぢ䛘䜛 ʳʴ
ɨ ɩ ʳʴ ɏŶŶ ɏŶྑᢡ䛧䛶䛟䛰䛥䛔ɩ ɪ  ɏɏŶ ʳʴśSPATIAL EVENT IN がイベントとなっている．前側の遷移のイベント SPATIAL EVENT IN の引数は Move の前に接続された Spot の Spatial-state の ID，後側の遷移のイベント

図 11 Spot の入力フォーム

SPATIAL EVENT IN の引数は Move の先に接続された Spotの Spatial-state の ID とする．このように Spatial-FST を簡略

このように作成者は Spot と Move を交互につなぎ合わせ化し，Spot を曲がり角や交差点，Move をその間の道とするこて経路を入力し，各要素に案内情報の一部を入力することでとで，作成者が音声道案内シナリオを作成しやすいようにした．

MMDAgent で実行可能な音声道案内シナリオを作成すること
ができる．

Spot

Spatial-state

Move

GPS_EVENT_IN|X

GPS_EVENT_IN|Yዮ୎ዮ୎Spatial-state

図 10 Spot，move と Spatial-FST の関係

6 評価実験
6. 1 実験の目的
提案手法に基づいて実装したプロトタイプシステムで作成し5. 3 Spatial-FST テンプレート
プロトタイプシステムでは，Spot と Move の構成要素である Spatial-state を作成するために Spatial-FST テンプレートを利用している．Spatial-FST テンプレートは Spatial-state 内部の状態遷移集合，変数名集合，領域情報で構成される．それに対応する入力フォームは (変数名，値) の集合と領域情報でた双方向の音声道案内の有用性と利便性を検証することである．

6. 2 実 験 方 法
本学学生 5 名ずつにプロトタイプシステムで作成した一方向と双方向の 2 種類の音声道案内を実際に利用してもらい，歩行時間，道を間違えた回数，歩行者が MMDAgent に話しかけた回数を計測する．また，実験後に 2 種類の音声道案内についてて歩行者が道を確認でき，迷うことなく歩行できたためである

5 段階のアンケートに回答してもらう．

と考えられる．話しかけた回数の平均は 4.8 回となっており，

音声道案内を行う経路は，開始地点を名古屋工業大学，目的

特に歩行者が話しかけていた内容としては，「次の目的地の目地点を吹上駅とする図 12 のようなルートで行った．地図画面

印は?」といった次の目印の確認や「(ランドマーク名) が見え左下の緑色の Spot が開始地点，右上の Spot が目的地点である」といったランドマークを使った進行方向の確認や「この道る．今回は 11 つの Spot と 10 つの Move で作成した．各 Spot

で大丈夫」といった道の確認が多かった．また，話しかける場と Move に登録したランドマークの例としてはガソリンスタン所については次までの目的地が遠いときに特に話しかける傾向

ド，寺，公園などが挙げられる．

があった．これらの結果から，歩行者はシステムからの案内が一定時間ないときに不安を感じ，システムに確認することで不安を解消したいことがわかった．このことからも，双方向の音
声道案内が有効であることがわかる．
一方で項目 6，7 と道を間違えた回数については，あまり差が開かなかった．これは一方向の案内においてもランドマークを利用して曲がる方向を案内する (例．コンビニの角を右に進んでください) といった音声案内を行っているため，歩行者にとってわかりやすいかったこと理由として考えられる．また，双方向の音声道案内を行っている際に，登録されていないラン
ドマークについて話しかける場合があり，システムが何も返答できない場合があった．このような問題に対して，システムに

図 12 音声道案内を行う経路

とって未知のランドマークが話された場合に，システムが「(ランドマーク名) があるのですか」と返答し，話しかけられたラ

6. 3 アンケート内容
アンケートは 5 段階評価と自由コメント欄を用意した．アンケートの項目は以下の通りである．評価は 5 段階でしてもらい，

ンドマーク名と話しかけられた領域 (どの Spot，Move) だったのかを記憶し新たに音声道案内シナリオに追加することで，次の案内に活かすような機能が必要であると考えられる．

評価基準は「1:あてはまらない，2:ややあてはまらない，3:どϱ

ちらともいえない，4:ややあてはまる，5:あてはまる」とした．
ϰ

アンケート項目は以下のとおりである．
（ 2 ） 曲がり角で不安を感じた඲Ճ（ 1 ） 音声道案内の満足度ϯϮ（ 3 ） 途中の道で不安を感じた（ 4 ） 道案内で歩行者から話しかけることは必要だと感じた

ϭ
ϭ

Ϯ

ϯ

ϰ

ϱ

ϰ

ϱ

ߴ໪

（ 5 ） また使ってみたい（ 6 ） システムが話す，返答する内容は適切か

૔๏޴（ 7 ） 案内がわかりやすいҲ๏޴

図 13 評価実験 (歩行) の結果

6. 4 結果と考察
アンケートの各項目について評価の平均をとったグラフを図

表 3 各項目の平均

13，歩行時間，道を間違えた回数，歩行者が話しかけた回数の

双方向

一方向

平均を表 6.3 に示す．項目 1 から項目 7 については数値が高い

歩行時間

16 分 20 秒 17 分 29 秒

ほど良い評価でである．

道を間違えた回数

0

歩行者が話しかけた回数

4.8

すべての項目において双方向の音声道案内の方が良い評価を0.6得ていることがわかる．特に項目 2，3 では双方向の音声道案
内と一方向の音声道案内で評価の差が開いている．また，自由コメントでも，「案内が聞き取れなかったときに再確認できて良かった」，「ランドマークを使って自分の進むべき方向が確認できるの良かった」，「自分が歩行している道が合っているかの確認ができるのが良かった」といった好感触なコメントが得られた．この結果から，プロトタイプシステムで作成した双方向の音声道案内シナリオは有用であるといえる．歩行時間を比較しても 1 分以上短縮できており，歩行者が話しかけることによっ7 考察

従来手法では MMDAgent で道案内を行う際に空間的な情報が扱えなかったため，音声認識イベントのみで状態遷移することで，歩行者に対して道案内を行なっていた．しかし，音声認識イベントのみの状態遷移では歩行者のしゃべる場所によっては誤った案内になってしまうため，歩行者が道を間違えてしま題を解決する手法を考え，新たな状態遷移モデルを提案するこうという問題が発生する可能性がある．
これに対して，提案手法では Spatial-FST と Spatial-Event
により，Spatial-state を利用して複合状態に位置情報を持った領域を持たせることができるようになった．これにより，Spatial-state の領域ごとに状態遷移を記述できるようになったため，領域ごとにユーザと MMDAgent の対話を記述できるようになった．また，Spatial-Event を利用して Spatial-state に対するイベント・コマンドを利用することで，従来の音声認識
イベントに加え，位置情報と Spatial-state を利用した空間的な情報をもとに状態遷移ができるようになった．
一方で，提案手法では以下のような課題がある．図 14 の左のようにある複合状態から別の状態に遷移し，再度複合状態に遷移する場合である．これは前回，複合状態内部のどの状態から遷移したかを記憶していないため，再度複合状態に遷移した
場合に前回遷移した複合状態の内部状態に遷移することができない．この問題を解決するためには，図 14 の右の UML のス
テートマシン図で利用されている履歴状態を導入して，複合状態から別の複合状態に遷移した際に複合状態のどの内部状態から遷移したかを記憶し，再度複合状態に遷移した際に記憶した状態に遷移する必要がある．









+





৫઩૾ଙप
ዮ୎

ऊैዮ୎


6SDWLDOVWDWHऊैዮ୎అଆȇĆਈĆ૾ଙपዮ୎

ള়૾ଙ

૾ଙዮ୎ + అଆ૾ଙ

図 14 履歴状態がない場合 (左) と履歴状態がある場合 (右)8 おわりに
本研究では，既存の FST に基づく音声対話シナリオのユー
ザ生成手法を拡張し，新たに，空間的なイベントを処理可能な

Spatial-Event 手法, 対話的な文脈と空間的な文脈の両方を扱える Spatial-FST 手法, 地理的なデバッグを容易に実現可能にする Spatial-Test 手法を提案した．これにより，音声道案内シナ
リオでは状態数が膨大になり編集が難しいという問題や，案内
経路と音声対話シナリオとの対応付けが難しいという問題を解決した．本論文では，これらの提案手法に基づくプロトタイプ
システムを Android Tablet 上で開発を行い，提案手法の有効性や問題点について議論した．
今後の課題として，開始地点と最終目的地を入力した際に，地図上からランドマークを探索し，ランドマークの多い経路を選択で自動で経路を決定する機能やシステムにとって未知のラ
ンドマークが話しかけられた際の対処方法を考え，その機能を実装することが挙げられる．また，提案手法の考察で述べた課とが挙げられる．
謝辞
本研究は JSPS 科研費 25700009，科学技術振興機構 CREST，および，総務省 SCOPE の助成を受けたものです．
文

献[1] GoogleMaps，https://www.google.co.jp/maps/ 2017-0419．
[2] A. Lee, K. Oura, and K. Tokuda, MMDAgent - A fully opensource toolkit for voice in-teraction systems, Proceedings ofthe ICASSP 2013, pp. 8382-8385, 2013.
[3] Wakabayashi, K., Yamamoto, D., and Takahashi, N. A voice
dialog editor based on finite state transducer using composite state for tablet devices, Computer and Information Science 2015, Studies in Computational Intelligence, Vol. 614,
pp.125139, 2016.
[4] D. Yamamoto, K. Oura, R. Nishimura, T. Uchiya, A. Lee, I.
Takumi, and K. Tokuda, Voice Interaction System with 3DCG Human Agent for Stand-alone Smartphones, Proceedings of the 2nd International Conference on Human AgentInteraction, pp.320-330, 2014.
[5] A. Lee and T Kawahara, Recent development of open-source
speech recognition engine julius, in Proceedings of the APSIPA 2009, pp. 131137, 2009.
[6] Open JTalk，http://open-jtalk.sp.nitech.ac.jp/ 2019.1.9.
[7] D. Harel, Statechart:A visual formalism for complex systems, Science of Computer Prgramming, Vol.8, No.3,
pp.231-27, 1987.
[8] R. Nishimura, D. Yamamoto, T. Uchiya, and I. Takumi, Development of a Dialogue Scenario Editor on a Web Browser
for a Spoken Dialogue System, Proceedings of the 2nd International Conference on Human Agent Interaction, pp.
129-132, 2014.
[9] R. Nishimura, D. Yamamoto, T. Uchiya, and I. Takumi,
Web-based envi-ronment for user generation of spoken dialog for virtual assistants, EURASIP Journal on Audio,
Speech, and Music Processing, 2018:17, 2018.
[10] C. Raymond, F. Bchet, R. De Mori, and G. Damnati, On
the use of finite state trans-ducers for semantic interpretation, Speech Communication, Vol. 48, No.3-4, pp. 288304,
2006.
[11] C. Hori, K. Ohtake, T. Misu, H. Kashioka, and S.
Nakamura, Proceedings of the INTERSPEECH 2008, pp.
211214, 2008.
[12] VoiceXML Forum, VoiceXML: The standard application
language for voice dialogues.
[13] T. Yanagi, D. Yamamoto, and N. Takahashi, Developmentof Mobile Voice Navigation System Using User-Based Mobile Maps Annotations, Proceedings of the IEEE/ACS ICIS
2015, pp. 373-378, Las vegas, 2015.
[14] Y. Yagi, S. Takada, K. Hirose, and N. Minematsu, Realization of Concept-to-speech Conversion for Reply Speech
Generation in a Spoken Dialogue System of Road Guid-anceand its Evaluation, IPSJ Journal, Vol.48, No.9, pp.33003308, 2007.
[15] IFTTT，https://ifttt.com/ 2018．