(57)【特許請求の範囲】
【請求項１】
所定の表示部に対する視線検出を実行する視線検出部と、
音声認識を実行する音声認識部と、
前記表示部に表示された文書のページのうち前記音声認識の結果に対応する説明箇所を判定する認識結果判定部と、
前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致する第１の状態、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致しない第２の状態または前記視線検出による視線の位置が前記表示部の画面内に検出されない第３の状態のうちいずれの説明状態であるのかを判定する説明状態判定部と、
判定された説明状態を、前記説明状態の履歴を記憶する履歴記憶部に、登録する履歴登録部と、
判定された説明状態に基づいて強調表示を実行する説明箇所を推定する推定部とを有し、
前記推定部は、前記説明状態判定部により判定された説明状態と、前記履歴記憶部に記憶された説明状態の履歴とから説明状態に継続性があるか否かにより、前記音声認識および前記視線検出の結果が一致する説明箇所を前記強調表示を実行する説明箇所として推定するのか、前記音声認識に対応する説明箇所を前記強調表示を実行する説明箇所として推定するのか、または、前回に推定された説明箇所を前記強調表示を実行する説明箇所として引き続くのかを決定する、
ことを特徴とする説明支援装置。
【請求項２】
所定の表示部に対する視線検出を実行する視線検出部と、
音声認識を実行する音声認識部と、
前記表示部に表示された文書のページのうち前記音声認識の結果に対応する説明箇所を判定する認識結果判定部と、
前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致する第１の状態、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致しない第２の状態または前記視線検出による視線の位置が前記表示部の画面内に検出されない第３の状態のうちいずれの説明状態であるのかを判定する説明状態判定部と、
前記視線検出の結果から得られる視線の移動方向および前記視線検出の結果から得られる視線の移動速度のうち少なくともいずれか１つに基づいて音読状態または黙読状態であるのかを判定する音読状態判定部と、
判定された説明状態に基づいて強調表示を実行する説明箇所を推定する推定部とを有し、
前記推定部は、前記説明状態判定部により判定された説明状態及び前記音読状態判定部により判定された音読状態または黙読状態により、前記音声認識および前記視線検出の結果が一致する説明箇所、前記音声認識に対応する説明箇所または前記視線検出に対応する説明箇所のいずれを前記強調表示を実行する説明箇所として推定するのかを決定する、
ことを特徴とする説明支援装置。
【請求項３】
コンピュータが、
所定の表示部に対する視線検出を実行し、
音声認識を実行し、
前記表示部に表示された文書のページのうち前記音声認識の結果に対応する説明箇所を判定し、
前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致する第１の状態、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致しない第２の状態または前記視線検出による視線の位置が前記表示部の画面内に検出されない第３の状態のうちいずれの説明状態であるのかを判定し、
判定された説明状態を、前記説明状態の履歴を記憶する履歴記憶部に、登録し、
判定された説明状態に基づいて強調表示を実行する説明箇所を推定する処理を実行し、
前記推定する処理は、判定された説明状態と、前記履歴記憶部に記憶された説明状態の履歴とから説明状態に継続性があるか否かにより、前記音声認識および前記視線検出の結果が一致する説明箇所を前記強調表示を実行する説明箇所として推定するのか、前記音声認識に対応する説明箇所を前記強調表示を実行する説明箇所として推定するのか、または、前回に推定された説明箇所を前記強調表示を実行する説明箇所として引き続くのかを決定する、
ことを特徴とする説明支援方法。
【請求項４】
コンピュータに、
所定の表示部に対する視線検出を実行し、
音声認識を実行し、
前記表示部に表示された文書のページのうち前記音声認識の結果に対応する説明箇所を判定し、
前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致する第１の状態、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致しない第２の状態または前記視線検出による視線の位置が前記表示部の画面内に検出されない第３の状態のうちいずれの説明状態であるのかを判定し、
判定された説明状態を、前記説明状態の履歴を記憶する履歴記憶部に、登録し、
判定された説明状態に基づいて強調表示を実行する説明箇所を推定する処理を実行させ、
前記推定する処理は、判定された説明状態と、前記履歴記憶部に記憶された説明状態の履歴とから説明状態に継続性があるか否かにより、前記音声認識および前記視線検出の結果が一致する説明箇所を前記強調表示を実行する説明箇所として推定するのか、前記音声認識に対応する説明箇所を前記強調表示を実行する説明箇所として推定するのか、または、前回に推定された説明箇所を前記強調表示を実行する説明箇所として引き続くのかを決定する、
ことを特徴とする説明支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、説明支援装置、説明支援方法及び説明支援プログラムに関する。
【背景技術】
【０００２】
遠隔会議やプレゼンテーションにおける説明において、レーザーポインタやマウスカーソルなどのポインティングデバイスが使われてきた。このようなポインティングデバイスをプレゼンタ等の説明者に操作させる場合、説明以外に労力が割かれることになる。このことから、音声認識を活用して、プレゼンタが説明中である箇所をプレゼンタや聴講者に提示する技術も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３３８１７３号公報
【特許文献２】特開２００４−２４６３９８号公報
【特許文献３】特開２００４−７３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、説明箇所を提示するレスポンスを高めるためには、十分な数の単語が認識されていない場合でも、音声認識の結果と説明箇所との対応付けを行わねばならない場合があるが、音声認識には、その精度に自ずから限界がある。それ故、音声認識の結果に誤りが含まれると、説明箇所が正しく推定されない場合がある。
【０００５】
このことから、説明箇所の推定精度が低下するのを抑制するために、音声認識と視線検出を併用することが考えられる。例えば、音声認識の結果から推定される説明箇所と視線検出の結果から推定される説明箇所が一致する場合に、当該説明箇所を強調表示することが考えられる。
【０００６】
しかしながら、音声認識と視線検出を併用する場合にも、説明箇所の推定精度が低下するのを抑制できない場合がある。なぜなら、説明者は、必ずしも説明する箇所を注視しながら読み上げるとは限らないからである。
【０００７】
例えば、説明者が次に説明する箇所を目視により先行して確認しながら、それよりも前の箇所を読み上げて説明する場合もある。このような場合、音声認識の結果から推定される説明箇所と視線検出の結果から推定される説明箇所が一致する状態から一致しない状態に変わった場合、依然として説明が継続されているにもかかわらず、誤って説明箇所の強調表示が解除される。
【０００８】
また、音声認識の結果から推定される説明箇所と視線検出の結果から推定される説明箇所が一致しない状態で、先行的に動いた視線の先に、現在の説明箇所と同じ単語が偶然に存在する場合に、現在の説明箇所の説明が継続されているにもかかわらず、先行的に動いた視線の先を誤って説明箇所として強調表示されてしまう場合がある。
【０００９】
１つの側面では、本発明は、説明箇所の推定精度の低下を抑制できる説明支援装置、説明支援方法及び説明支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
一態様の説明支援装置は、所定の表示部に対する視線検出を実行する視線検出部と、音声認識を実行する音声認識部と、前記表示部に表示された文書のページのうち前記音声認識の結果に対応する説明箇所を判定する認識結果判定部と、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致する第１の状態、前記音声認識に対応する説明箇所と前記視線検出に対応する説明箇所とが一致しない第２の状態または前記視線検出による視線の位置が前記表示部の画面内に検出されない第３の状態のうちいずれの説明状態であるのかを判定する説明状態判定部と、判定された説明状態に基づいて強調表示を実行する説明箇所を推定する推定部とを有する。
【発明の効果】
【００１１】
説明箇所の推定精度の低下を抑制できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る説明支援装置の機能的構成を示す図である。
【図２】図２は、説明状態の一例を示す図である。
【図３】図３は、説明状態の継続性と説明箇所の対応関係の一例を示す図である。
【図４】図４は、実施例１に係る説明支援処理の手順を示すフローチャートである。
【図５】図５は、実施例２に係る説明支援装置の機能的構成を示す図である。
【図６】図６は、停留点の動きの一例を示す図である。
【図７】図７は、説明状態及び音読状態と説明箇所との対応関係の一例を示す図である。
【図８】図８は、実施例２に係る説明支援処理の手順を示すフローチャートである。
【図９】図９は、実施例１及び実施例２に係る説明支援プログラムを実行するコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して本願に係る説明支援装置、説明支援方法及び説明支援プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
図１は、実施例１に係る説明支援装置の機能的構成を示す図である。図１に示す説明支援装置１０は、音声認識と視線検出を併用することにより、文書に含まれるページのうち表示部５に表示されたページ内の説明箇所の強調表示を行う説明支援サービスを提供するものである。
【００１５】
この説明支援装置１０には、図１に示す通り、カメラ１と、マイク３と、表示部５とが接続される。なお、以下では、一例として、プレゼンタ及び聴講者がプレゼンテーションソフトにより作成されたスライドが表示された表示部５を閲覧することにより文書が共有される場合を例示するが、電話会議システム等により互いのコンピュータが同一の文書を表示することにより文書が共有される場合にもその適用範囲が及ぶのは言うまでもない。
【００１６】
カメラ１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を搭載する撮像装置である。
【００１７】
例えば、カメラ１は、表示部５のスクリーンと共に、プレゼンタと正対する位置に配置される。このカメラ１は、一例として、プレゼンタの顔がカメラ１の画角に含まれるように、表示部５のスクリーン及びプレゼンタとの間で互いの位置がキャリブレーションされた位置に配置することにより、プレゼンタの視線検出に用いることができる。このような配置によって、カメラ１は、カメラ１の近傍に配置された図示しない光源を制御することによって被写体に赤外線を照射させ、被写体からの反射光を受光した上でデジタル信号に変換された被写体の画像を視線検出部１１へ出力する。このとき、被写体にプレゼンタの眼球が含まれる場合には、網膜上の光の反射がカメラ１によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像を視線検出部１１へ出力できる。
【００１８】
マイク３は、音声を電気信号に変換する装置であり、マイクロフォンと呼ばれることもある。例えば、マイク３は、プレゼンテーションを実施するプレゼンタに装着させることができる。この場合、ヘッドセット型やタイピン型のマイクをプレゼンタの身体や衣服の所定位置に装着させたり、ハンド型のマイクをプレゼンタに携帯させたりすることができる。また、マイク３は、プレゼンタの発話が集音できる範囲の所定位置に設置することもできる。この場合、マイク３には、取付け型や据置き型のマイクを採用することもできる。これらいずれの場合においても、マイク３には、任意のタイプの指向性を持つマイクを採用できるが、プレゼンタの発話以外の音声、例えば聴講者等の発話や騒音などの雑音が集音されるのを抑制するために、マイクの感度をプレゼンタの発声方向に限定することもできる。なお、マイク３には、ダイナミック型、エレクトレットコンデンサ型、コンデンサ型などの任意の変換方式を採用することができる。
【００１９】
このマイク３に音声を採取することにより得られたアナログ信号は、デジタル信号へ変換された上で説明支援装置１０へ入力される。
【００２０】
表示部５は、各種の情報を表示する装置である。例えば、表示部５には、発光により表示を実現する液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを採用することもできるし、投影により表示を実現するプロジェクタを採用することもできる。
【００２１】
例えば、表示部５は、説明支援装置１０からの指示にしたがってプレゼンテーション画面を表示する。具体的には、表示部５は、説明支援装置１０上で動作するプレゼンテーションソフトが開く文書のスライドを表示する。この場合、表示部５は、文書が含むスライドのうちプレゼンタが図示しない入力デバイス、例えばレーザーポインタやマウスカーソルなどのポインティングデバイスを介して指定する任意のスライドを表示させることもできるし、プレゼンテーションソフトが有するスライドショーの機能がＯＮ状態に設定された場合、各スライドが作成されたページ順に文書ファイルが含むスライドを切り替えて表示させることもできる。
【００２２】
図１に示すように、説明支援装置１０は、視線検出部１１と、視線判定部１２と、音声認識部１３と、文書取得部１４と、認識結果判定部１５と、説明状態判定部１６と、履歴記憶部１６ａと、説明箇所推定部１７と、強調表示制御部１８とを有する。なお、説明支援装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入出力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。
【００２３】
視線検出部１１は、視線検出を実行する処理部である。
【００２４】
一実施形態として、視線検出部１１は、カメラ１から出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置、いわゆる注視点を検出する。このように角膜反射法を用いて視線の位置を検出する以外にも、他の方法を用いて視線の位置を検出することもできる。例えば、表示部５の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１から入力される被写体の画像から検出した眼の形状とテンプレートマッチングを実行することによって視線検出を行うこともできる。また、利用者に視線の位置を検出するヘッドセットを装着させ、ヘッドセットによって検出された視線の位置を取得することとしてもかまわない。
【００２５】
このように視線検出が行われた結果、表示部５のスクリーンの内または外に位置する注視点の座標データが視線検出部１１から停留点検出部１２ａへ出力されることになる。
【００２６】
視線判定部１２は、視線検出部１１による視線検出の結果を用いて、視線の状態を判定する処理部である。図１に示す通り、視線判定部１２は、停留点検出部１２ａと、画面内判定部１２ｂとを有する。
【００２７】
停留点検出部１２ａは、視線検出部１１による視線検出の結果から停留点を検出する処理部である。
【００２８】
一実施形態として、停留点検出部１２ａは、視線検出部１１により検出される注視点が所定の期間、例えば３０ｍｓｅｃ〜３００ｍｓｅｃにわたって所定の範囲内に停留しているか否かを監視する。そして、停留点検出部１２ａは、注視点が所定の期間にわたって所定の範囲内に停留している場合、当該期間にわたって検出された注視点の座標データに所定の統計処理、例えば平均処理を行うことにより、注視点の座標データの代表値を算出する。このようにして得られた注視点の座標データの代表値が停留点として画面内判定部１２ｂへ出力される。
【００２９】
画面内判定部１２ｂは、注視点または停留点が表示部５のスクリーンの内部に存在するか否かを判定する処理部である。
【００３０】
一実施形態として、画面内判定部１２ｂは、停留点検出部１２ａにより停留点が検出された場合、当該停留点が表示部５のスクリーンの内部に対応する座標の範囲内に存在するか否かを判定する。その後、画面内判定部１２ｂは、停留点の座標データと共に、停留点が表示部５のスクリーンの内部または外部のいずれに存在するのかを示す判定結果を説明状態判定部１６へ出力する。
【００３１】
音声認識部１３は、音声認識を実行する処理部である。
【００３２】
一実施形態として、音声認識部１３は、プレゼンテーションソフトが文書を開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、マイク３から所定時間長の音声信号が入力されるまで待機する。例えば、少なくとも１フレーム分の時間長、例えば１０ｍｓｅｃの音声信号が入力されるのを待機する。そして、音声認識部１３は、マイク３から所定時間長の音声信号が入力される度に、図示しない認識辞書を参照して、当該音声信号にワードスポッティングなどの音声認識を実行する。その後、音声認識部１３は、音声認識の結果として得られた単語を始め、その単語が認識された時刻などの情報を対応付け部１５ｂへ出力する。
【００３３】
文書取得部１４は、プレゼンテーションに用いられる文書を取得する処理部である。
【００３４】
一実施形態として、文書取得部１４は、プレゼンテーションの開始指示を受け付けた場合に、プレゼンテーションソフトを始めとするアプリケーションプログラムにより表示部５に表示される文書を取得する。例えば、文書取得部１４は、プレゼンテーションソフトを始め、ワープロソフト、表計算ソフトや画像編集ソフトなどの任意のアプリケーションプログラムによりメモリ上に展開される文書を取得できる。
【００３５】
認識結果判定部１５は、表示部５に表示中のスライドのうち音声認識の結果に対応する説明箇所を判定する処理部である。図１に示す通り、認識結果判定部１５は、説明単位抽出部１５ａと、対応付け部１５ｂとを有する。
【００３６】
説明単位抽出部１５ａは、文書に含まれるスライドを分割することにより得られた区間を説明単位として抽出する処理部である。
【００３７】
一実施形態として、説明単位抽出部１５ａは、文書取得部１４により取得された文書に含まれる各スライドを当該スライドが含むインデント情報などを用いて段落、行や一文などの単位で分割する。例えば、説明単位抽出部１５ａは、スライドが含む文字列を走査して、スペース、句点または改行に対応する区切り文字を検出し、当該区切り文字を境界に設定する。かかる境界を前後に、説明単位抽出部１５ａは、スライドが含む文字列を区切る。これによって、スライドが複数の区間へ区切り文字ごとに分割される。このようにしてスライドが複数の区間へ分割された後に、説明単位抽出部１５ａは、区間ごとに当該区間がスライド上で形成する座標の範囲、例えば区間の左上及び右下の頂点の座標と当該区間に含まれる単語とを説明単位として対応付け部１５ｂへ出力する。なお、ここでは、スライドを自動的に分割する場合を例示したが、入力デバイス等を介して区間の境界を指定させることによってスライドを手動設定で分割することとしてもかまわない。
【００３８】
対応付け部１５ｂは、音声認識の結果と文書中の説明箇所との対応付けを行う処理部である。
【００３９】
一実施形態として、対応付け部１５ｂは、音声認識部１３により認識される単語と、説明単位抽出部１５ａにより抽出された説明単位のうち表示部５に表示中のスライド内の説明単位に含まれる単語とを比較する。その上で、対応付け部１５ｂは、音声認識部１３により認識される単語と一致する単語が最も多く含まれる説明単位を、音声認識に対応する説明箇所として説明状態判定部１６へ出力する。
【００４０】
説明状態判定部１６は、視線判定部１２による判定結果及び認識結果判定部１５による判定結果に基づいて、音声認識に対応する説明箇所と視線検出に対応する説明箇所とが一致する一致状態、これらの説明箇所が一致しない不一致状態または視線が画面内に検出されない非目視状態のうちいずれの状態に説明状態が該当するのかを判定する処理部である。
【００４１】
一実施形態として、説明状態判定部１６は、画面内判定部１２ｂにより停留点が表示部５のスクリーンの外部に存在すると判定された場合、説明状態が「非目視状態」であると判定する。一方、説明状態判定部１６は、画面内判定部１２ｂにより停留点が表示部５のスクリーンの内部に存在すると判定された場合、停留点検出部１２ａにより検出された停留点の座標位置が対応付け部１５ｂにより音声認識の結果と対応付けられた説明単位の座標範囲内にあるか否かを判定する。このとき、説明状態判定部１６は、説明単位よりもサイズが大きく、かつ説明単位の座標範囲を包含する許容座標範囲を設定し、当該許容座標範囲内に停留点検出部１２ａにより検出された停留点の座標位置が存在するか否かを判定することにより、視線の誤差を吸収することができる。このように許容座標範囲を設定する場合、説明単位の座標範囲の幅方向及び高さ方向の両方を拡張することとしてもよいし、いずれか一方を拡張することとしてもかまわない。そして、説明状態判定部１６は、停留点の座標位置が上記の許容座標範囲内に存在する場合に説明状態が「一致状態」であると判定する一方で、停留点の座標位置が上記の許容座標範囲外に存在する場合に説明状態が「不一致状態」であると判定する。その後、説明状態判定部１６は、判定結果として得られた説明状態を履歴記憶部１６ａ及び説明箇所推定部１７へ出力する。これによって、履歴記憶部１６ａには、説明状態が判定される度に説明状態の履歴が記憶されることになる。
【００４２】
説明箇所推定部１７は、説明状態判定部１６により判定された説明状態に基づいて説明箇所を推定する処理部である。
【００４３】
図２は、説明状態の一例を示す図である。図２に示すように、説明状態は、「一致状態」、「不一致状態」及び「非目視状態」の間を遷移する。これら「一致状態」、「不一致状態」及び「非目視状態」は、コンピュータが音声認識の結果および視線検出の結果から推定できる状態であるが、現実の状況とは次のように対応する。
【００４４】
すなわち、「一致状態」は、現在の説明箇所を目で追いながら音声で説明している同期状態に対応する一方で、「不一致状態」は、音声は現在の説明箇所を説明しながら、視線は次の説明箇所を確認するために現在の説明箇所にはない非同期状態に対応すると推定できる。また、「非目視状態」は、資料は見ずに、聴衆に向いて説明している状態に対応する。ただし、「一致状態」には、上記の非同期状態でたまたま、視線の先に現在の説明箇所に含まれる言葉と同じ言葉が含まれる場合、非同期状態でも、一時的に同期状態と推定されるケースが含まれる。また、「不一致状態」には、上記の同期状態に、音声誤認識が生じると一時的に非同期状態と推定されるケースが含まれる。
【００４５】
このように、「一致状態」は、原則、同期状態に対応するが、例外として、一部の非同期状態を含む一方で、「不一致状態」は、原則、非同期状態に対応するが、例外として、一部の同期状態を含む。
【００４６】
ここで、上記の例外は、いずれも一時的な状態として現れるため、図３に示すように、説明箇所推定部１７は、説明状態判定部１６により判定された説明状態と、履歴記憶部１６ａに記憶された説明状態の過去の履歴とから説明箇所を推定することで、例外を除外でき、一致状態から同期状態、不一致状態から非同期状態を正確に判定できる。
【００４７】
図３は、説明状態の継続性と説明箇所の対応関係の一例を示す図である。図３に示すように、説明状態判定部１６により「一致状態」と判定された場合、説明箇所推定部１７は、一致状態が所定の時間以上にわたって継続しているか否かを判定する。このとき、一致状態が所定の時間以上にわたって継続している場合、説明箇所推定部１７は、音声認識の結果および視線検出の結果が一致する説明単位を説明箇所として推定する。一方、一致状態が所定の時間以上にわたって継続していない場合、説明箇所推定部１７は、現在の説明単位、すなわち１時刻前の前回に説明箇所として推定していた説明単位を説明箇所として引き継いで推定する。
【００４８】
また、説明状態判定部１６により「不一致状態」と判定された場合、説明箇所推定部１７は、不一致状態が所定の時間以上にわたって継続しているか否かを判定する。このとき、不一致状態が所定の時間以上にわたって継続している場合、説明箇所推定部１７は、音声認識に対応する説明単位を説明箇所として推定する。一方、不一致状態が所定の時間以上にわたって継続していない場合、説明箇所推定部１７は、現在の説明単位、すなわち１時刻前の前回に説明箇所として推定していた説明単位を説明箇所として引き継いで推定する。
【００４９】
また、説明状態判定部１６により「非目視状態」と判定された場合、説明箇所推定部１７は、音声認識に対応する説明単位を説明箇所として推定する。これは、「一致状態」や「不一致状態」のような例外がないと見做すことができるので、継続性を問わず、「非目視状態」と判定された時点で、資料は見ずに、聴衆に向いて説明している状態と推定できるからである。
【００５０】
なお、ここでは、継続性を判定するために同一の説明状態が所定の時間以上にわたって継続しているかどうかを判定する場合を例示したが、所定の回数にわたって継続しているかどうかを判定することとしてもかまわない。
【００５１】
強調表示制御部１８は、説明箇所推定部１７により推定された説明箇所の強調表示を実行する処理部である。ここで言う「強調表示」は、狭義のハイライト表示、すなわち背景色を明るくしたり、反転したりする表示制御に留まらず、広義のハイライト表示を意味する。例えば、説明箇所の囲み表示、説明箇所の塗りつぶしの強調、フォント（フォントサイズ、下線や斜体）の強調などのように、強調表示の全般を任意に実行することができる。
【００５２】
なお、上記の視線検出部１１、視線判定部１２、音声認識部１３、文書取得部１４、認識結果判定部１５、説明状態判定部１６、説明箇所推定部１７及び強調表示制御部１８などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central  Processing  Unit）などに、上記の各処理部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro  Processing  Unit）に実行させることとしてもよい。また、上記の各処理部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００５３】
また、上記の履歴記憶部１６ａには、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random  Access  Memory)やフラッシュメモリを採用できる。また、上記の履歴記憶部１６ａは、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard  Disk  Drive）、光ディスクやＳＳＤ（Solid  State  Drive）などを採用できる。
【００５４】
図４は、実施例１に係る説明支援処理の手順を示すフローチャートである。この処理は、プレゼンテーションソフトが文書を開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、プレゼンテーションの終了指示を受け付けるまで繰返し実行される。
【００５５】
図４に示すように、視線検出部１１は、カメラ１から出力された画像に視線検出を実行することにより注視点を検出する（ステップＳ１０１）。続いて、停留点検出部１２ａは、ステップＳ１０１で検出された注視点が所定の期間、例えば３０ｍｓｅｃ〜３００ｍｓｅｃにわたって所定の範囲内に停留しているか否かを監視することにより、停留点を検出する（ステップＳ１０２）。
【００５６】
その後、画面内判定部１２ｂは、ステップＳ１０２で検出された停留点が表示部５のスクリーンの内部に対応する座標の範囲内に存在するか否かを判定する（ステップＳ１０３）。
【００５７】
また、音声認識部１３は、図示しない認識辞書を参照して、マイク３から入力された音声信号にワードスポッティングなどの音声認識を実行する（ステップＳ１０４）。そして、説明単位抽出部１５ａは、表示部５に表示中であるスライドを当該スライドが含むインデント情報などを用いて段落、行や一文などの単位で分割することにより、スライドが分割された区間の座標範囲と当該区間に含まれる単語とを説明単位として抽出する（ステップＳ１０５）。
【００５８】
その後、対応付け部１５ｂは、ステップＳ１０４による音声認識の結果と、ステップＳ１０５で抽出された説明単位とを対応付ける（ステップＳ１０６）。すなわち、対応付け部１５ｂは、ステップＳ１０５で抽出された説明単位のうち、ステップＳ１０４で認識された単語と一致する単語が最も多く含まれる説明単位を、音声認識に対応する説明箇所として出力する。
【００５９】
その上で、説明状態判定部１６は、ステップＳ１０２〜ステップＳ１０３による視線の判定結果及びステップＳ１０６による音声認識の対応付けの結果に基づいて、説明状態が「一致状態」、「不一致状態」または「非目視状態」のうちいずれの状態に該当するのかを判定する（ステップＳ１０７）。
【００６０】
そして、説明箇所推定部１７は、ステップＳ１０７で判定された説明状態と、履歴記憶部１６ａに記憶された説明状態の履歴とから説明状態の継続性があるか否かにより、説明箇所を推定する（ステップＳ１０８）。その上で、強調表示制御部１８は、ステップＳ１０８で推定された説明箇所の強調表示を実行し（ステップＳ１０９）、処理を終了する。
【００６１】
［効果の一側面］
上述してきたように、本実施例に係る説明支援装置１０は、音声認識及び視線検出の説明箇所が一致する一致状態、これらが一致しない不一致状態、視線が画面内にない非目視状態のいずれの説明状態であるかにより、音声、視線又は前回の推定結果に基づく説明箇所を強調表示する。したがって、本実施例に係る説明支援装置１０によれば、説明箇所の推定精度の低下を抑制できる。
【実施例２】
【００６２】
上記の実施例１では、説明状態の継続性の有無により一致状態から同期状態、不一致状態から非同期状態を判定する場合を例示したが、かかる判定を他の方法により実現することもできる。そこで、本実施例では、視線の移動方向および視線の移動速度により、一致状態から同期状態、不一致状態から非同期状態を判定する場合を判定する場合を例示する。
【００６３】
図５は、実施例２に係る説明支援装置の機能的構成を示す図である。図５に示す説明支援装置２０は、図１に示した説明支援装置１０と比べて、視線判定部２１内に移動方向検出部２１ａ、移動速度算出部２１ｂ及び音読状態判定部２１ｃを有する点、説明箇所推定部２２の判定ロジックが相違する点、さらには、履歴記憶部１６ａが不要である点が異なる。なお、ここでは、図１に示した説明支援装置１０と同一の機能を発揮する処理部には同一の符号を付し、その説明を省略することとする。
【００６４】
移動方向検出部２１ａは、視線の移動方向を検出する処理部である。
【００６５】
一実施形態として、移動方向検出部２１ａは、停留点検出部１２ａにより検出された停留点が水平方向または垂直方向のいずれに移動しているか否かを判定する。例えば、移動方向検出部２１ａは、過去の所定時間、例えば数秒にわたって検出された停留点を結ぶ近似直線を求める。その上で、移動方向検出部２１ａは、当該近似直線が水平方向から所定の範囲、例えば３０度以外である場合には移動方向を「水平方向」と検出し、当該近似直線が垂直方向から所定の範囲、例えば３０度以外である場合には移動方向を「垂直方向」と検出する。
【００６６】
移動速度算出部２１ｂは、視線の移動速度を算出する処理部である。
【００６７】
一実施形態として、移動速度算出部２１ｂは、一定時間における停留点の移動範囲を特定した上で当該移動範囲内に存在する文字を探索することにより、移動範囲に含まれる文字を抽出する。続いて、移動速度算出部２１ｂは、当該移動範囲内に含まれる文字を形態素解析で読み情報、すなわち表音文字列に変換し、モーラ数を求める。その上で、移動速度算出部２１ｂは、当該モーラ数を一定時間で割ることで、平均移動速度（モーラ／ｓｅｃ）を算出する。
【００６８】
音読状態判定部２１ｃは、音読状態であるか否かを判定する処理部である。音読状態にない場合は黙読状態と判定する。
【００６９】
一実施形態として、音読状態判定部２１ｃは、下記図６に示す知見にしたがって音読状態であるか否かを判定する。図６は、停留点の動きの一例を示す図である。図６には、スライドが横書きである場合の例が図示されているが、縦書きの場合には水平を垂直へ、垂直を水平に読み替えることにより、同様のことが言える。図６に示すように、音読状態は、文字を継続して発声するという活動の特性から、眼球運動の自由度は黙読時よりも低下することが考えられ、読み飛ばしや読み戻りが生起しにくくなると考えられる。さらに、音読状態では、文中に注視点が出現した後、視線は文章を辿っていき、黙読に比し読み戻りは少ない。一方、黙読状態の場合には、注視点がランダムに動いたり、縦方向に動いたりする傾向にある。
【００７０】
これらのことから、音読状態判定部２１ｃは、視線の移動方向が水平方向であり、かつ視線の移動速度が所定の速度以内、例えば７または８モーラ／ｓｅｃ以内である場合に、音読状態と判定する。音読状態にない場合は黙読状態と判定する。なお、ここでは、音読状態または黙読状態の判定に移動方向及び移動速度の両方を用いる場合を例示したが、必ずしも移動方向及び移動速度の２つともを用いずともよく、いずれか一方だけを用いることもできる。
【００７１】
説明箇所推定部２２は、図１に示した説明箇所推定部１７と同様、説明状態判定部１６により判定された説明状態に基づいて説明箇所を推定するが、音読状態であるか否かにより、一致状態及び不一致状態の原則と例外を弁別する点が異なる。
【００７２】
図７は、説明状態及び音読状態と説明箇所との対応関係の一例を示す図である。図７に示すように、説明箇所推定部２２は、説明状態判定部１６により「一致状態」と判定された場合、かつ音読状態判定部２１ｃにより「音読状態」と判定された場合には、同期状態であると推定する。この場合、説明箇所推定部２２は、音声認識の結果および視線検出の結果が一致する説明単位を説明箇所として推定する。一方、説明箇所推定部２２は、説明状態判定部１６により「一致状態」と判定された場合、かつ音読状態判定部２１ｃにより「黙読状態」と判定された場合には、非同期状態の例外であると推定する。この場合、説明箇所推定部２２は、音声認識に対応する説明単位を説明箇所として推定する。
【００７３】
また、説明箇所推定部２２は、説明状態判定部１６により「不一致状態」と判定された場合、かつ音読状態判定部２１ｃにより「音読状態」と判定された場合には、同期状態の例外であると推定する。この場合、説明箇所推定部２２は、視線検出に対応する説明単位を説明箇所として推定する。一方、説明箇所推定部２２は、説明状態判定部１６により「不一致状態」と判定された場合、かつ音読状態判定部２１ｃにより「黙読状態」と判定された場合には、非同期状態であると推定する。この場合、説明箇所推定部２２は、音声認識に対応する説明単位を説明箇所として推定する。
【００７４】
なお、説明箇所推定部２２は、説明状態判定部１６により「非目視状態」と判定された場合、音声認識に対応する説明単位を説明箇所として推定する。これは、「一致状態」や「不一致状態」のような例外がないと見做すことができるので、「非目視状態」と判定された時点で、資料は見ずに、聴衆に向いて説明している状態と推定できるからである。
【００７５】
図８は、実施例２に係る説明支援処理の手順を示すフローチャートである。この処理は、図４に示した説明支援処理と同様、プレゼンテーションソフトが文書を開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、プレゼンテーションの終了指示を受け付けるまで繰返し実行される。
【００７６】
図８に示すように、視線検出部１１は、カメラ１から出力された画像に視線検出を実行することにより注視点を検出する（ステップＳ１０１）。続いて、停留点検出部１２ａは、ステップＳ１０１で検出された注視点が所定の期間、例えば３０ｍｓｅｃ〜３００ｍｓｅｃにわたって所定の範囲内に停留しているか否かを監視することにより、停留点を検出する（ステップＳ１０２）。
【００７７】
その後、画面内判定部１２ｂは、ステップＳ１０２で検出された停留点が表示部５のスクリーンの内部に対応する座標の範囲内に存在するか否かを判定する（ステップＳ１０３）。
【００７８】
ここで、停留点が表示部５のスクリーンの内部に対応する座標の範囲内に存在する場合（ステップＳ２０１Ｙｅｓ）、音読状態判定部２１ｃは、視線の移動方向が水平方向であり、かつ視線の移動速度が所定の速度以内であるか否かにより、音読状態または黙読状態のいずれに該当するかを判定する（ステップＳ２０２）。なお、停留点が表示部５のスクリーンの内部に対応する座標の範囲内に存在しない場合（ステップＳ２０１Ｎｏ）、ステップＳ２０２の処理をとばし、ステップＳ１０４の処理へ移行する。
【００７９】
また、音声認識部１３は、図示しない認識辞書を参照して、マイク３から入力された音声信号にワードスポッティングなどの音声認識を実行する（ステップＳ１０４）。そして、説明単位抽出部１５ａは、表示部５に表示中であるスライドを当該スライドが含むインデント情報などを用いて段落、行や一文などの単位で分割することにより、スライドが分割された区間の座標範囲と当該区間に含まれる単語とを説明単位として抽出する（ステップＳ１０５）。
【００８０】
その後、対応付け部１５ｂは、ステップＳ１０４による音声認識の結果と、ステップＳ１０５で抽出された説明単位とを対応付ける（ステップＳ１０６）。すなわち、対応付け部１５ｂは、ステップＳ１０５で抽出された説明単位のうち、ステップＳ１０４で認識された単語と一致する単語が最も多く含まれる説明単位を、音声認識に対応する説明箇所として出力する。
【００８１】
その上で、説明状態判定部１６は、ステップＳ１０２〜ステップＳ１０３による視線の判定結果及びステップＳ１０６による音声認識の対応付けの結果に基づいて、説明状態が「一致状態」、「不一致状態」または「非目視状態」のうちいずれの状態に該当するのかを判定する（ステップＳ１０７）。
【００８２】
そして、説明箇所推定部２２は、ステップＳ１０７で判定された説明状態と、ステップＳ２０２で判定された音読状態の判定結果とから説明箇所を推定する（ステップＳ２０３）。その上で、強調表示制御部１８は、ステップＳ２０３で推定された説明箇所の強調表示を実行し（ステップＳ１０９）、処理を終了する。
【００８３】
［効果の一側面］
上述してきたように、本実施例に係る説明支援装置２０は、視線の移動方向および視線の移動速度から音読状態または黙読状態であるかを判定し、音読状態または黙読状態のいずれであるかにより、一致状態及び不一致状態の原則と例外を弁別する。したがって、本実施例に係る説明支援装置２０によれば、上記の実施例１と同様、説明箇所の推定精度の低下を抑制できる。
【実施例３】
【００８４】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００８５】
［文書ファイルの応用例］
上記の実施例１では、プレゼンテーションソフトによって作成された文書を用いる場合を例示したが、他のアプリケーションプログラムによって作成された文書を用いることもできる。すなわち、表示時に画面単位で表示されるページを含む文書ファイルであれば、ワープロソフトの文書ファイルが有するページをスライドに読み替えたり、表計算ソフトの文書ファイルが有するシートをスライドに読み替えることによって図４や図８に示した処理を同様に適用できる。
【００８６】
［他の実装例］
上記の実施例１では、説明支援装置１０が上記のプレゼンテーションソフトを外部のリソースに依存せずに単独で実行するスタンドアローンで上記の説明支援処理を実行する場合を例示したが、他の実装形態を採用することもできる。例えば、プレゼンテーションソフトを実行するクライアントに対し、上記の説明支援処理に対応する説明支援サービスを提供するサーバを設けることによってクライアントサーバシステムとして構築することもできる。この場合、パッケージソフトウェアやオンラインソフトウェアとして上記の説明支援サービスを実現する説明支援プログラムをインストールさせることによってサーバ装置を実装できる。例えば、サーバ装置は、上記の説明支援サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の説明支援サービスを提供するクラウドとして実装することとしてもかまわない。この場合、クライアントは、サーバ装置に対し、プレゼンテーションに用いる文書及びプレゼンテーションを実施する会場の識別情報をアップロードした後に、プレゼンテーションが開始される。プレゼンテーションが開始されると、クライアントは、マイク３から採取された音声信号をリアルタイムでアップロードし、表示部５に表示中のスライドのページが切り替わる度にスライドのページ情報をアップロードする。これによって、サーバ装置は、図４や図８に示した処理が実行可能となる。さらに、クライアントは、図示しない入力デバイスに関する操作情報をサーバへ伝送し、サーバから伝送される処理結果だけを表示部５に表示させることにより、シンクライアントシステムとして構築することもできる。この場合には、各種のリソース、例えば文書データもサーバにより保持されると共に、プレゼンテーションソフトもサーバで仮想マシンとして実装されることになる。なお、上記の実施例１では、説明支援プログラムがプレゼンテーションソフトにアドオンされる場合を想定したが、ライセンス権限を有するクライアントから説明支援プログラムをライブラリとして参照する要求を受け付けた場合に、説明支援プログラムをプラグインさせることもできる。
【００８７】
［分散及び統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、視線検出部１１、視線判定部１２、音声認識部１３、文書取得部１４、認識結果判定部１５、説明状態判定部１６、説明箇所推定部１７または強調表示制御部１８を説明支援装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、視線検出部１１、視線判定部１２、音声認識部１３、文書取得部１４、認識結果判定部１５、説明状態判定部１６、説明箇所推定部１７または強調表示制御部１８を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の説明支援装置１０の機能を実現するようにしてもよい。
【００８８】
［説明支援プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例と同様の機能を有する説明支援プログラムを実行するコンピュータの一例について説明する。
【００８９】
図９は、実施例１及び実施例２に係る説明支援プログラムを実行するコンピュータのハードウェア構成例を示す図である。図９に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００９０】
ＨＤＤ１７０には、図９に示すように、上記の実施例１や実施例２で示した各処理部と同様の機能を発揮する説明支援プログラム１７０ａが記憶される。この説明支援プログラム１７０ａは、図１や図５に示した各処理部の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【００９１】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から説明支援プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、説明支援プログラム１７０ａは、図９に示すように、説明支援プロセス１８０ａとして機能する。この説明支援プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち説明支援プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、説明支援プロセス１８０ａが実行する処理の一例として、図４や図８に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【００９２】
なお、上記の説明支援プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【００９３】
１    カメラ
３    マイク
５    表示部
１０    説明支援装置
１１    視線検出部
１２    視線判定部
１２ａ  停留点検出部
１２ｂ  画面内判定部
１３    音声認識部
１４    文書取得部
１５    認識結果判定部
１５ａ  説明単位抽出部
１５ｂ  対応付け部
１６    説明状態判定部
１６ａ  履歴記憶部
１７    説明箇所推定部
１８    強調表示制御部
【図１】
0006471589.tif 000002
【図２】
0006471589.tif 000003
【図３】
0006471589.tif 000004
【図４】
0006471589.tif 000005
【図５】
0006471589.tif 000006
【図６】
0006471589.tif 000007
【図７】
0006471589.tif 000008
【図８】
0006471589.tif 000009
【図９】
0006471589.tif 000010