FIT2007（第6回情報科学技術フォーラム）E-072

 アプリケーションの公開試験

音声入力機能を有する対話型  

西村 竜一 Ý三宅 純平 Þ   はじめに   河原 英紀 Ý       



RecordingPanelHTML Text

図音声対話  アプリケーションの動作
画面（果物の通信販売用  サイトを想定）(Windows)(Mac OS X)(1) On mouse(2) Recording(3) Data Transmitting,and Processing

図と名付けた提案システムを用いて，音声対話型のアプリケーションを試作した．動作画面を図に示す．この例では，ベースの果物通信販売サイ個ください．
」
トを想定している．例えば，「ミカンを「バナナとリンゴをお願いします．」等の発話による注文を認識し，発注処理する．
ブラウザ上には，一般的なドキュメントとを用いたアニメーションムービ，そして，音声）が表示される．
ド入力パネル（キュメントは，通常のサイトと同様に，イメージファイルやハイパーリンク等が埋め込まれたものであムービに関しては，キャラクタエージェる．また，ントの表示に利用する．本システムでは，対話処理の応答となるエージェントの音声の再生にも，合成音声が埋ムービを用いている．
め込まれた
図 は音声入力パネルの拡大である．この音声入力パ
ネルは，提案システムを構成する重要なコンポーネントサーバに送であり，発話の録音と，収録データを信する役割を担っている．
アプレットとして実装し
は，動作するプラッた．オブジェクト指向言語の   









                 
Ý 和歌山大学，
Þ 奈良先端科学技術大学院大学，»»  Flash Movie 提案システムの概要

入野 俊夫 Ý

本稿では，一般的なブラウザ上で動作するアプリケーションに，音声入力の機能を付加する新たな枠組みと、その活用例を提案する．提案システムは，音の声認識・対話や音声合成等の音情報処理技術をインタフェースに適用し，音声アプリケーションを構築することを可能にする．また，利用に際して特別なプラグインプログラムのインストールを要求しない．
ブラウ
このため，私たちが普段から使用しているザをそのまま使い，発話を入力とするサービスに気軽にアクセスすることができる．
アプリケーショ
これまでに実際に 種類の音声ンを開発した．すでにインターネットを通じた公開実験を実施しており，件の利用を確認している．同時に，利用者の発話を収集しており，詳細な分析に向け，データベース整備の準備を始めている．
本稿では， 種類の内の一つ、音声対話エージェントシステムを例にして，提案システムの構成について述べる．また，開発した音声アプリケーションについて紹介した後，その公開試験での発話の収集状況について報告する．

    »

319

音声入力パネル

トホームに依存しないことを特徴としている．すなわ
ち，本システムはに関係なく，が動作する環境での動作が可能である．これまでに（及び），，といった主要なでの動作を確認している．また，ブラウザに関しても（ ），，，，等での動作を確認した．これにより，利用者は，普段利用して環境そのままで，本システムを利用できる．
いる
操作の手順は以下のようになる（図 を参照）．（ ）マウスカーソルを音声入力パネルに移動する，（ ）マウスボタンを押している間，発話を録音する，（ ）マウスサーバにボタンを離すと録音を終了し，データを送信，処理待ちの状態になる．しばらくすると処理結果がブラウザに表示される．（ ）のとき，音声入力パネルは，正しく発話が録音できているかを利用者が視覚的に確認できるようにレベルメータとして動作する（赤く表示されたバーが入力レベルを示す）．また，（ ）の際も，送信・処理中の状態を示すような視覚的フィードバックを利用者に与えるように設計した．これらの工夫により，利用者の確実な発話の入力をサポートする．

   !
" #   !  $%&##'%(  &'  )   * % * (+ 音声  アプリケーションの関連研究 ,

俗にと呼ばれる新しいサービスに含まれる動画や画像の共有サービスでは，一般に，動画や画FIT2007（第6回情報科学技術フォーラム）像のマルチメディアデータをファイルで交換することがシステムとの相性が良い多い．このため，既存のといえる．一方で，音声に関しては，音を再生（出力）するサイトはあっても，特に，発話を入力とするサービスは皆無に近い状況であり，普及していない．
この原因の一つに，ファイルアップロード方式が音声によるインタラクションに適さないことが挙げられる．
発話は，人間にとって，最も手軽なコミュニケーションサービスで利用する際に手段である．それゆえ，も，手間が利用者の負担となってはならない．つまり，録音プログラムを使い発話をファイル化し，それをアップロードするような手順は一般の利用者には受け入れらに接続されれない．利用者の好きなタイミングで，たマイクから発話を直接入力できることが望まれる．
アプリケーションの開発にはこれまでにも音声前例が存在する．
によって標準化が進められているは，電話システムにおいて，音声対話インタフェースをや提供するための記述言語の規格である．また，
は，マイクロソフト社等によって提唱されている音声インタフェースのたの拡張規格でめの．これらの規格では，実際に利用するには，専ある用のボイスブラウザや特別なプラグインソフトウェアを導入する必要がある．その準備行程は，ユーザに負担を強いることになり，強い動機を持つ利用者は別として，アプリケーションに接する機会一般の人々に音声を与えることができるとは言い難い．
でも採用されてい一方，楽曲検索サービス
るように，を使い，音声入力機能をページに埋め込むことが可能である．この場合，事前のインストール作業の必要は無い．しかし，サービスを提供するサーバ側に専用のプログラムが求められる等の理由で，開発者に負担を強いる．また，既存のやのプログラムの資産や経験が利用できないことも問題となる．
が開発しているは，を使った実装であり，提案システムと比較的似た構成を持つ．
しかし，音声認識を背景とする自動対話システムの研究のための実装である．
以上のような現状を踏まえ，提案システムは，（ ）アプレットを用いることでクライアント側の事前インストール作業を不要とし，利便性を確保，（ ）既存技術（プログラムやプロトコルの資産）との統合が容易な設計，（ ）音声対話型を中心に，音声インタフェー
スの広い応用を可能とする実用的な枠組みを提供，（ ）オープンソースもしくはフリーソフトウェアを使い構築可能，と決めた設計コンセプトの下で実装を行った．



Client PC

Recording Panel(Java Applet)+ -    +  # $./" !
012- (  2(( #  $ / -3(#%# 4$( $/01

. .






+5& -+ .. 5#3 &#* /  &5%30  61  
++5&  6  の動作原理
図

以下では，提案システムの動作原理について概説する．
で示すように，本システムは，大きくクライアント                   !   
»»
»»»

»»
»»

»

»

»

»

»

320

Speech recognition
Signal processing

OutputSynthesis Voice
Flash MovieHTML Texts

Store

図  アーキテクチャの概略

+ 側，  サーバ側の二つのプログラムモジュールに分けることができ，また，その処理の大部分を  サー
バ側が担うサーバサイドアーキテクチャを採用している．この結果，利用者はクライアント + に音声認識や合成の特別なソフトウェアを導入する必要が無い． 

アプレットによる音声入力パネルと併せることで，利用者の手間や経済的負担を削減することに成功している．
 クライアント  側の構成
クライアント側のプログラムは，前述のアプレットによる音声入力パネルである．
アプレットにドキュメントを関する記述が埋め込まれたブラウザが読み込むことによって，自動的に起動される．録音が終了した後に，音声入力パネルは，サーのバに対して，メソッドを用いて，データの送信を行う．
は，のための通信プロトコルであり，その中でもメソッドは，画像等のファイルのアップロードのために一般的に使われる手法である．音声入力パネル
ブラウザの動作をエは，そのプログラム自体が，ミュレートし，リクエストを含むでの通信を発行する．つまり，ブラウザの動作を内部で真似することで，データの送信を実現している．
変換した無
このとき，送信するデータは，発話を形式オーディオデータである．の量圧縮の子化波形信号であり，サンプリング周波数は音声入力パネルを呼び出す際にオプションで任意に指定可能とした．
等の圧縮データはなく，を扱うのは圧縮による波形の歪みの発生を抑えるためである．
波形の歪みは，後処理となる音情報処理の際に精度の劣化につながるため避けることが求められる．また，インターネットのブロードバンド化により，無圧縮でも発話データは十分に転送可能なものとなった．現在では，等を用いたモバイル通信等を除き，通信帯域による転送量の制限は問題にならないと考えている．
  サーバ側の構成
サーバ側のプログラムは，サーバ内で動作するプログラムである．開発には，を記述できる大半の開発言語が使用でき，開発者の好みのものを等の利用が選ぶことができる．一般に，アプリケーションの想定される．このため，音声開発においても，既存のプログラムの資産や経験を利用することが可能である．
プログラムは，さらに つのプログラ今回，このムから構成することを標準としている（図 ）．そのうち一つは，音声入力パネルからのデータの受信を担い，もう片方は，音声の認識や加工，コンテンツの出力を行う

+   -3(#%# *  # /071   
282"

  #.(

 $ #
+5&



+5&»

CGI
Receive Data
Processing

HTTP Request(POST method)

HTTP Redirect+Web server+5& $3 +5&
6

FIT2007（第6回情報科学技術フォーラム）(1) Speech Recognizer: Julius( MacOS X, Safari )(2) Takemaru-kun System( MacOS X, Firefox )(3) Spectrogram Analyzer( Windows Vista, IE7 )(4) Voice-based Online Forum( Linux, Firefox )図   音声認識評価実験アプリ    音声対話エージェントシステム  たけまるくん  サウンドスペクトログラム分析器  音声によるコミュニケーションを可能とした掲示板システム
upload.cgi(Receiver)音声  アプリケーション

shop.cgi(Main)

前述した果物の通信販売サービスの試作以外にも，図7 に示すような音声  アプリケーションを作成した．
全てを以下の  サイトにて公開している．

Web server

HTTP Redirect
with Data ID $ $

システム全体処理のメインプログラムである．と書かれたプログラムが受図 の中で，信を行うモジュールである．続いて，前述の果物通信販が呼び出され，音声認識や合成，売の例では，出力結果となるコンテンツの生成を行う．ここで，二つのプログラムと，クライアント側のブラを利ウザとの連携を司るプロトコルには用する．
は，の規格で定義されており，移転したサイトに対する自動転送を実現すサーバ側からブる際に広く用いられている．
ラウザに対して，のレスポンスヘッダとしてサイトの移転先アドレスを通知する機能を持つ．以上の処理過程をまとめると次のようになる．（ ）に対するのメソッドのリクエストパート
サーバがデータを受信．ハードディスクにとして保存する．（ ）リクエストに対するレスポンスとして，を発行．のアドレスをブを受けたブラウラウザに通知する．
（ ）ザが，転送先にアクセスを開始．
（ ）が実行され，認識・加工処理及び結果となるコンテンツを生成．
ブラウザに生成されたコンテンツが表示され，（ ）処理は終了となる．
このように，本システムは標準的な通信規格の枠組みの中で実現されている．ファイヤウォールの内部からでをブラウジングできる計算機の大半からは，特も，別な設定無しで利用できるメリットがある．

6+5&9$( ,  99 (,  9   #




+
   #
 $( ,        # (,    #6  (, 7 321

 $ $
$ $01 

この中で「」と「たけまるくん」は，先の果物通信販売と同様に，入力された発話を音声認識は，オープンするアプリケーションである．
ソースの音声認識エンジンをアプリ化しをにインストールしなくても，たものであり，音声認識の実験・評価の試行を可能とする．
たけまるくんは，著者が以前に開発した奈良県生駒市コミュニティセンターの自動受付案内システムたけまるくんを，上に再実装したものである．インターネットからブラウザを通じて，いユーザは，世界中のつでも気軽に，ソフトウェアロボット「たけまるくん」との一問一答形式での会話を楽しむことができる．
また，提案システムは，利用者の生の発話を扱うため，音声認識・対話以外の音声アプリケーションにも適用することができる．図 の「サウンドスペクトログラム分析器」は，入力音声の簡単な周波数分析を実現するアプリケーションである．様々な音を入力とした可視化画像を容易に確認することができる．主に，音声信号処理の演習向け教材としての利用を考えている．また，図 のは，共有された生音声をコミュニケーションチャネ掲示板システムである．従来のベールとするスのコミュニケーションツールは，テキスト（文字情報）を意思疏通の媒介としてきた．しかし，文字による会話では，参加者間の誤解等が生じ，場合によってはコミュニケーションの破綻が生じることが知られている．
これまでの文字と併用し，生の音声をメディアとするコミュニケーションの手段を提供することで，新しいサービスを提案できないか検討している．特に，音声のインタフェースを，ソーシャルネットワーキングサービス（）に応用することで，インターネット上のコミュニティ形成の円滑化を促すことができると考えている．
 おしゃべり写真   
年 月 日に，の新しいアプリケーションとして「おしゃべり写真」をリリースし$ $ +

図  プログラム処理過程と  



+



0:1



7-6/



7

;

: 6 <"   #FIT2007（第6回情報科学技術フォーラム）# of inputs

Hello!
(Sound Playback)
VoiceJPEG Image(Mouse Over)図  おしゃべり写真  '5

200
180160140120100806040
200

0.0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

9.0

10.0

Time [sec.]

た  ．これは，図 に示すように，の写真ファイルと入力された発話を統合し，のオブジェクトを生成するサービスである．出力されたオブジェクト内に配置し，その上をマウスカーソルで通過をさせることで，写真に埋め込まれた音声が再生される．
新な情報発信の表現手段としてフォトアルバムの素材やブログパーツとして利用されることを想定していでは，作品を共有する掲示る．
板の運用を開始しており，魅力的な作品の投稿を見ることができる．

取り調査をすると，発話時に音声入力パネルをマウスのボタンで長押しする必要があることに気づかず，クリックしてしまった操作ミスがあった．これらの単純なミスと，システムをとりあえず試してみたユーザによるアクの入力の発生原因となっている．しかし，セスが，回目以降は正しく録音できており，聞き取り調査でも提案システムの（音声対話の応答誤り等を除く）実用性に関しては問題無いとの反応を得ることができた．

! 公開試験と発話の収集" おわりに

,=(:"   #>



:>

>,?



: 6   ,
>7>:>,  ,
  ,

  "   # $ »»

»



謝辞
本研究の一部は，文部科学省リーディングプロジェク
ト「 ! 基盤ソフトウェアの総合開発」及び和歌山大学「平成 " 年度オンリー・ワン創成プロジェクト」の支援による．また，公開試験に協力していただいたインターネットユー
ザの皆様に深く感謝いたします．

0>1 ,=( 7

本稿では，と名付けた，実用指向の音声アプリケーションのフレームワークについて述べた．また，実際に開発したアプリケーションの公開試験における発話の収集状況について報告した．
今後は，アプリケーションの拡充を目指すとともに，公開試験で収録したデータの詳細な分析を予定している．

0<1

+

  以下の入力の記録数  ,

年 月 日より，ここまで述べたの音声
アプリケーションをサイト上で公開し，その試験を実施している．この試験の目的は，まずは，提案システムの動作の安定性と有用性を確認することである．同時に，実環境下での音声インタラクションで生じる発話の収集を目的にしている．
実用的な音声認識・対話の技術開発を進めるには，人と機械との間に生じるインタラクションの観察と分析が必要である．そのためのデータ収集は，これまで，対話システムのフィールドテストという形で実施されてきた．先に述べた「たけまるくん」システムでは，公共の場での据え置き型対話システムの長期間フィールドテストを実施しており，収録された発話に基づくシステム．しかし，公共型の据え置の改良が続けられているきシステムのため，今後，家庭等への進出が予想される音声インタフェースの開発に向けた分析対象としては，収集データの内容は必ずしも適切ではない．一方，原ら上で動作する楽曲検索の音声対話型アプリケー
は，ションを，一般に公開し，データを集めている．しかし，独自のソフトウェアを利用しているため，そのセットアップに失敗し，正しくサービスを利用できないユーザが発生していることや，その結果として，利用者数の伸び悩みが生じていることが報告されている．
本研究での公開試験は，インストール等の準備を必要とせず，家庭での音声対話インタフェースの利用実態を調査するのに適している．現在まで，入力された全発話
年 月日現在，試をサーバ上に蓄積している．のアプリケーションで記録した
験開始から入力は，合計個であった．そのうち，以下個の記録個数を図 に示の時間長を持った入力
す．図 の横軸は入力時間長である．最長は，であった．一方，長さがであり，発話を含まない入力（音声入力パネルをクリックした際に発生する）は個（全体の）であった．実際の利用者に聞き図»322

参考文献
# $% &' (()  ( %* + ,-)  &(. / 0()1 (12&0 ) %3** 4* %#$ + 50 / 5// () (1  50 % /6()3* 50 7 8* %#$ % 0(  ( %* +'( (-!  9)1()1 /.) 0()
1 (1 () !/- :(;1()3**//%<<=<<* ""%#$ 5% ' ))  ( %* + ( (  () (  >( & 
8( ?( 1  9)() @ '1(/( ?(((3** //%=* %#$ % 7 )1  ( %* +!/- ()A  =» % 3* 74 *  9)) !* """%
#$ 5% 0  ( %* +   = 5) B/)   ( 8 0(1 ( (! 1)) ,)1)3**//% " = "*  %#$ 西村 他* +実環境研究プラットホームとしての音声情報案内システムの運用3* 電子情報通信学会論文誌*  % <?99*:%* //%<""<* %#<$ % 4)(.  ( %* +9)1 '() 78 ?; /8)
5) 0)18 B/() A 5 ( ,);)8) /B) ' () !83** %#"$ 原 他* +汎用 4 上で利用された音声対話システムによる音声収集と評価3，情報処理学会研究報告* 0"* %             !!"   !!# $ !!