(57)【要約】      （修正有）【課題】パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できるパブリックスピーキング支援装置、及びプログラムを提供する。【解決手段】被訓練者の頭部の向きを検出する検出部と、検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、検出部により検出された頭部の向きを示す視野画像上の位置とは異なる視野画像上の位置を表示部に表示させることにより、検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、を備える。【選択図】図４
2018180503.tif 000002
【特許請求の範囲】
【請求項１】
被訓練者の頭部の向きを検出する検出部と、
前記検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、
前記検出部により検出された頭部の向きを示す前記視野画像上の位置とは異なる前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、
を備えるパブリックスピーキング支援装置。
【請求項２】
前記検出部の検出した頭部の向きを解析し、解析した結果から当該頭部の向きを示す前記視野画像上の位置を示す情報である頭部動作情報を生成する頭部動作解析部と、
頭部の動きと、頭部の動きの評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
前記頭部動作解析部が生成した頭部動作情報と、前記記憶部に記憶されるパブリックスピーキング評価情報とに基づき、前記頭部の動きを評価し、評価した結果から、前記頭部動作情報の示す位置とは異なる前記視野画像上の位置を示す情報である頭部動作指示情報を生成するパフォーマンス評価部と、
をさらに備え、
前記動作指標提示部は、前記頭部動作指示情報の示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する
請求項１に記載のパブリックスピーキング支援装置。
【請求項３】
前記動作指標提示部は、前記頭部動作情報の示す位置と、前記頭部動作指示情報の示す位置とを、互いに区別可能な態様で前記表示部に表示させる
請求項２に記載のパブリックスピーキング支援装置。
【請求項４】
パフォーマンス評価提示部をさらに備え
前記パフォーマンス評価提示部は、前記頭部動作情報と、前記パブリックスピーキング評価情報とに基づき、前記被訓練者のパブリックスピーキングの評価を示す情報であるパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項２または請求項３に記載のパブリックスピーキング支援装置。
【請求項５】
前記被訓練者の音声を記録する音声記録部と、
前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の話す速度を示す情報である話速情報を生成する音声解析部と、
をさらに備え、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記話速情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記話速情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項４に記載のパブリックスピーキング支援装置。
【請求項６】
前記音声解析部は、音節を単位にして前記話速情報を生成する請求項５に記載のパブリックスピーキング支援装置。
【請求項７】
前記音声解析部は、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の声量を示す情報である声量情報を生成し、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記声量情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記声量情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項５または請求項６に記載のパブリックスピーキング支援装置。
【請求項８】
前記被訓練者の心拍の値を示す心拍情報を生成する心拍情報生成部と、
前記心拍情報生成部の生成した心拍情報を解析し、解析した結果から前記被訓練者の心拍の変動を示す情報である心拍変動情報を生成する心拍変動解析部と、
をさらに備え、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記心拍変動情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項４から請求項７のいずれか一項に記載のパブリックスピーキング支援装置。
【請求項９】
前記表示部とは、透過型の表示部である
請求項１から請求項８のいずれか一項に記載のパブリックスピーキング支援装置。
【請求項１０】
前記視野画像は、聴衆の目の画像が含まれる
請求項１から請求項９のいずれか一項に記載のパブリックスピーキング支援装置。
【請求項１１】
コンピュータに、
被訓練者の頭部の向きを検出する検出ステップと、
前記検出ステップにより検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示部に表示する表示ステップと、
前記検出ステップにより検出された頭部の向きを示す前記視野画像上の位置とは異なる向きを示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出ステップにより検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示ステップと、
を実行させるためのプログラム。
【請求項１２】
被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置であって、
被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
聴衆の目の画像が含まれる前記視野画像を表示する表示部と、
前記表示部に表示された前記視野画像が提示された前記被訓練者の状態を解析する状態解析部と、
前記状態解析部が解析した前記被訓練者の状態と、前記記憶部に記憶される前記パブリックスピーキング評価情報とに基づき、前記被訓練者によるパブリックスピーキングのパフォーマンスを評価するパフォーマンス評価部と、
を備えるパブリックスピーキング支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パブリックスピーキング支援装置、及びプログラムに関する。
【背景技術】
【０００２】
パブリックスピーキングの技術の学習においては、実践さながらの状況において体感しながら練習することの重要性が指摘されている。そのため、講義・演習等でパブリックスピーキングの技術を指導したとしても、自己練習による学習は難しいとされている。一方、実践さながらの状況においてパブリックスピーキングの練習をすることは、オーディエンス人員の確保や場所の確保、自己評価の難しさ等の要因のため、困難であった。
【０００３】
カメラで撮影された画像から顔の向きに関する顔情報を算出し、算出した顔情報に基づいて、アイコンタクトの度合いを示す指標を算出して表示する技術が知られている（例えば、特許文献１を参照）。
また、視線方向検知装置により検知された視線の評価に基づき、常にパーソナルコンピュータの画面を見ているようであれば評価値を下げ、聴講者の方を見ているようであれば評価値を上げる技術が知られている（例えば、特許文献２を参照）。
また、プレゼンターがオーディエンスの方を一定期間以上向いていないことを検知すると、好ましくない挙動であると判断し、好ましくない挙動を行なっていることがプレゼンターに通知される技術が知られている（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３９７６２号公報
【特許文献２】特開２００７−２１９１６１号公報
【特許文献３】特開２０１２−２５５８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来技術においては、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できないという問題があった。
【０００６】
また、パブリックスピーキングの練習において、例えば、バーチャルリアリティ（ＶＲ：Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の技術を用いる機器を利用して実践さながらの状況を再現する場合、これらの機器や設備には、ＶＲの映像の処理負荷に耐え得るだけの性能が要求されコストが高くなってしまう。
【０００７】
本発明は上記の点に鑑みてなされたものであり、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できるパブリックスピーキング支援装置、及びプログラムを提供する。
【０００８】
また、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができるパブリックスピーキング支援装置を提供する。ここで、実践さながらの状況とは、被訓練者が聴衆の視線を感じて緊張感を覚える状況である。
【課題を解決するための手段】
【０００９】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被訓練者の頭部の向きを検出する検出部と、前記検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、前記検出部により検出された頭部の向きを示す前記視野画像上の位置とは異なる前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、を備えるパブリックスピーキング支援装置である。
【００１０】
（２）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記検出部の検出した頭部の向きを解析し、解析した結果から当該頭部の向きを示す前記視野画像上の位置を示す情報である頭部動作情報を生成する頭部動作解析部と、頭部の動きと、頭部の動きの評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、前記頭部動作解析部が生成した頭部動作情報と、前記記憶部に記憶されるパブリックスピーキング評価情報とに基づき、前記頭部の動きを評価し、評価した結果から、前記頭部動作情報の示す位置とは異なる前記視野画像上の位置を示す情報である頭部動作指示情報を生成するパフォーマンス評価部と、をさらに備え、前記動作指標提示部は、前記頭部動作指示情報の示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する。
【００１１】
（３）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記動作指標提示部は、前記頭部動作情報の示す位置と、前記頭部動作指示情報の示す位置とを、互いに区別可能な態様で前記表示部に表示させる。
【００１２】
（４）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、パフォーマンス評価提示部をさらに備え前記パフォーマンス評価提示部は、前記頭部動作情報と、前記パブリックスピーキング評価情報とに基づき、前記被訓練者のパブリックスピーキングの評価を示す情報であるパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
【００１３】
（５）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記被訓練者の音声を記録する音声記録部と、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の話す速度を示す情報である話速情報を生成する音声解析部と、をさらに備え、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記話速情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記話速情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより提示する。
【００１４】
（６）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記音声解析部は、音節を単位にして前記話速情報を生成する。
【００１５】
（７）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記音声解析部は、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の声量を示す情報である声量情報を生成し、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記声量情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記声量情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
【００１６】
（８）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記被訓練者の心拍の値を示す情報を生成する心拍情報生成部と、前記心拍情報生成部の生成した心拍情報を解析し、解析した結果から前記被訓練者の心拍の変動を示す情報である心拍変動情報を生成する心拍変動解析部と、をさらに備え、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記心拍変動情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
【００１７】
（９）また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記表示部とは、透過型の表示部である。
【００１８】
（１０）また、本発明の一態様は、前記視野画像は、聴衆の目の画像が含まれる。
【００１９】
（１１）また、本発明の一態様は、コンピュータに、被訓練者の頭部の向きを検出する検出ステップと、前記検出ステップにより検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示部に表示する表示ステップと、前記検出ステップにより検出された頭部の向きを示す前記視野画像上の位置とは異なる向きを示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出ステップにより検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示ステップと、を実行させるためのプログラムである。
【００２０】
（１２）また、本発明の一態様は、被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置であって、被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、聴衆の目の画像が含まれる前記視野画像を表示する表示部と、前記表示部に表示された前記視野画像が提示された前記被訓練者の状態を解析する状態解析部と、前記状態解析部が解析した前記被訓練者の状態と、前記記憶部に記憶される前記パブリックスピーキング評価情報とに基づき、前記被訓練者によるパブリックスピーキングのパフォーマンスを評価するパフォーマンス評価部と、を備えるパブリックスピーキング支援装置である。
【発明の効果】
【００２１】
本発明によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。
【図２】本実施形態のパブリックスピーキング支援装置を装着した被訓練者の頭部の概観の一例を示す側面図である。
【図３】本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。
【図４】本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。
【図５】本実施形態の頭部動作モデルの一例を示す図である。
【図６】本実施形態のパブリックスピーキング支援装置の処理の一例を示す図である。
【図７】本実施形態のパブリックスピーキング支援装置の設定画面の一例を示す図である。
【図８】本実施形態のパブリックスピーキング支援装置の心拍数測定画面の一例を示す図である。
【図９】本実施形態のパブリックスピーキング支援装置の評価提示画面の一例を示す図である。
【図１０】本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
【図１１】本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
【図１２】本発明の第２の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。
【図１３】本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。
【図１４】本発明の第３の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。
【図１５】本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。
【図１６】本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。
【図１７】本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。
【図１８】本実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。
【発明を実施するための形態】
【００２３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。本実施形態では、パブリックスピーキングの一例として、英語でのスピーチの場合を説明する。
図１は本実施形態のパブリックスピーキング支援装置Ｄ１の概観の一例を示す図である。
パブリックスピーキング支援装置Ｄ１（以下、支援装置Ｄ１と称する）は、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）の形態を取り、スピーチの被訓練者Ｔ１（以下、被訓練者Ｔ１）の頭部に装着され使用される。
支援装置Ｄ１は、被訓練者Ｔ１の頭部の向きを検出するセンサ（不図示）を備える。支援装置Ｄ１は、センサにより検出された、被訓練者Ｔ１の頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして、表示部（不図示）に表示する。
【００２４】
図２は、本実施形態の支援装置Ｄ１を装着した被訓練者Ｔ１の頭部の概観の一例を示す側面図である。
被訓練者Ｔ１の位置する場所に固定された座標系を、３次元直交座標系Ｘ、Ｙ、Ｚとする。被訓練者Ｔ１の頭部に固定された座標系を、３次元直交座標系ｘ、ｙ、ｚとする。ここで、３次元直交座標系ｘ、ｙ、ｚのｘ軸とは、被訓練者Ｔ１の頭部の正面の向きであり、ｚ軸とは、鉛直方向上向きである。
被訓練者Ｔ１の頭部の向きＨＤ１とは、３次元直交座標系ｘ、ｙ、ｚのｘ軸の正の向きである。頭部の向きＨＤ１に相対する向きＤＤ１は、３次元直交座標系ｘ、ｙ、ｚのｘ軸の負の向きである。
【００２５】
図３は、本実施形態の支援装置Ｄ１の視野画像Ｉ１の一例を示す図である。
支援装置Ｄ１は、視野画像Ｉ１上に、仮想的な発表会場の風景の画像と、仮想的な聴衆の動画（バーチャルオーディエンスと称する）とを表示する。支援装置Ｄ１は、頭部の向きＨＤ１に応じて発表会場の風景の画像を３次元直交座標系Ｘ、Ｙ、ＺにおけるＺ軸のまわりの角度にして３６０度表示する。
【００２６】
支援装置Ｄ１は、自装置の評価する被訓練者Ｔ１のスピーチの評価に応じて、バーチャルオーディエンスを動かす。支援装置Ｄ１は、被訓練者Ｔ１のスピーチの評価が低い場合、ネガティブな反応をするバーチャルオーディエンスを表示する。一方、被訓練者Ｔ１のスピーチの評価が高い場合、支援装置Ｄ１は、ポジティブな反応をするバーチャルオーディエンスを表示する。
なお、支援装置Ｄ１は、スピーチの前半においてネガティブな反応をするバーチャルオーディエンスを表示するとともに、スピーチの後半においてポジティブな反応をするバーチャルオーディエンスを表示してもよい。あるいは、支援装置Ｄ１は、スピーチの最中において、ポジティブおよびネガティブのうちいずれか一方の反応を常にするバーチャルオーディエンスを表示してもよい。
ここで、ネガティブな反応とは、例えば、頬杖、居眠り、あくび、しかめ顔、うつむき等であり、ポジティブな反応とは、例えば、うなずき、笑顔等である。被訓練者Ｔ１は、バーチャルオーディエンスの反応から心理的フィードバックを感じることができる。
【００２７】
支援装置Ｄ１は、バーチャルオーディエンスを、設定に応じて、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）、または実写動画を用いて表示する。表示Ｆ３には、バーチャルオーディエンスについての上記の設定、及びスピーチの時間が表示されている。
【００２８】
支援装置Ｄ１は、被訓練者Ｔ１のアイコンタクトの動作（顔や首の動き）を、頭部の向きＨＤ１として検出する。支援装置Ｄ１は、検出した頭部の向きＨＤ１を解析し、被訓練者Ｔ１が次に見るべき、視野画像Ｉ１上の位置を示す情報である頭部動作指示情報を生成する。
パブリックスピーキングについての基礎研究により、一定時間（５秒程度）毎に、向く場所（アイコンタクトを取る聴衆）を変え、聴衆全体をまんべんなく見ることが、優れたパブリックスピーキングであるという結果が得られている。頭部動作指示情報は、この研究結果に基づき生成される。
【００２９】
支援装置Ｄ１は、生成した頭部動作指示情報の示す位置を、視野画像Ｉ１上に表示する。ここで、支援装置Ｄ１は、被訓練者Ｔ１が次に見るべき位置を、２行５列のマス目状に並べて表示された、半透明のパネルＰＮ１、ＰＮ２、ＰＮ３、ＰＮ４、ＰＮ５、ＰＮ６、ＰＮ７、ＰＮ８、ＰＮ９、ＰＮ１０の中から選択する。以下では、パネルＰＮ１、ＰＮ２、ＰＮ３、ＰＮ４、ＰＮ５、ＰＮ６、ＰＮ７、ＰＮ８、ＰＮ９、ＰＮ１０をまとめてパネルＰＮと称することがある。支援装置Ｄ１は、パネルＰＮの中から選択された特定のパネル（図３、及び以下の説明では、一例として、パネルＰＮ３）の枠の輝度を上げるなどして特定のパネルをその他のパネルと識別可能にする。これにより、支援装置Ｄ１は、被訓練者Ｔ１に次に見るべき位置を知らせる。
したがって、支援装置Ｄ１を利用することにより、パブリックスピーキングの練習において、被訓練者は、次にどの方向を向けばよいか学習できる。
【００３０】
支援装置Ｄ１は、音声記録装置（不図示）を備え、被訓練者Ｔ１の音声を取得する。支援装置Ｄ１は、取得した音声を解析し、被訓練者Ｔ１が話す速度についての評価を示す情報である話速評価情報を、表示Ｆ２として表示する。
支援装置Ｄ１は、生体センサ（不図示）を備え、被訓練者Ｔ１の心拍の値を示す情報を取得する。支援装置Ｄ１は、取得した被訓練者Ｔ１の心拍の値を示す情報を解析し、被訓練者Ｔ１の緊張度についての評価を示す情報である緊張度評価情報を、表示Ｆ１として表示する。
【００３１】
支援装置Ｄ１は、スピーチが終了すると、被訓練者Ｔ１のアイコンタクトの動作、話す速度、及び心拍に基づき、被訓練者Ｔ１のスピーチの評価得点を提示する。
【００３２】
支援装置Ｄ１は、視野画像Ｉ１上における演台に、スピーチの資料の画像Ｓ１を表示する。ここで、スピーチの資料の画像Ｓ１とは、被訓練者Ｔ１により予め選択設定された、スクリプトの画像や、発表の資料の画像である。被訓練者Ｔ１は、視野画像Ｉ１において、スピーチの資料の画像Ｓ１を見ながら、訓練することができる。視野画像Ｉ１上に表示される画像Ｓ１は、被訓練者Ｔ１等により適宜選択設定されたものであってもよい。
支援装置Ｄ１は、被訓練者Ｔ１による操作等に基づき、視野画像Ｉ１上への画像Ｓ１の表示をオフにすることができる。表示がオフにされる場合、支援装置Ｄ１は、視野画像Ｉ１上において、画像Ｓ１に代えて演台の画像を表示してもよい。被訓練者Ｔ１は、視野画像Ｉ１上のスクリプト等の画像を見ることなく、予め記憶したスピーチや即興で練習することができる。
以下、スピーチの練習において、被訓練者が、次にどの方向を向けばよいか学習できることを実現する、支援装置Ｄ１の機能構成について図４を参照して説明する。
【００３３】
［支援装置Ｄ１の機能構成］
支援装置Ｄ１は、ヘッドマウントディスプレイ１、携帯端末２、生体センサ３を含んで構成される。ヘッドマウントディスプレイ１及び携帯端末２は、一体となって構成されてもよく、また一体となって構成されなくてもよい。
ヘッドマウントディスプレイ１は、音声記録装置１０、動きセンサ１１、画像生成装置１２、表示装置１３、音声出力装置１４を含んで構成される。
【００３４】
音声記録装置１０は、被訓練者Ｔ１の音声を取得し、取得した音声を、音声情報として記録する。音声記録装置１０は、記録した音声情報を、携帯端末２に供給する。
動きセンサ１１は、被訓練者Ｔ１の頭部の向きＨＤ１を検出する。動きセンサ１１は、検出した頭部の向きＨＤ１を、携帯端末２、及び画像生成装置１２に供給する。
【００３５】
画像生成装置１２は、動きセンサ１１により検出された頭部の向きＨＤ１に対応した方向の視野画像Ｉ１を生成し、表示装置１３に供給する。
画像生成装置１２は、動作指標提示部２６からの出力に応じて、パネルＰＮの中の特定のパネル（パネルＰＮ３）の枠の輝度を上げる。
画像生成装置１２は、パフォーマンス評価提示部２５から、後述するパブリックスピーキングの評価情報を取得し、話速評価情報と、緊張度評価情報とに各々対応する表示Ｆ２と、表示Ｆ３とを生成する。画像生成装置１２は、取得した評価情報に応じて、ポジティブな反応をする、またはネガティブな反応をするバーチャルオーディエンスを生成する。
【００３６】
表示装置１３は、画像生成装置１２から取得した視野画像Ｉ１を、頭部の向きＨＤ１に相対する向きにして表示する。
表示装置１３は、携帯端末２が生成した被訓練者Ｔ１が次に見るべき位置を、視野画像Ｉ１上に表示する。
表示装置１３は、携帯端末２から取得した話速評価情報を、表示Ｆ２として視野画像Ｉ１上に表示する。表示装置１３は、携帯端末２が生成した緊張度評価情報が入力されると、当該情報を、表示Ｆ１として視野画像Ｉ１上に表示する。
表示装置１３は、スピーチの終了時に、携帯端末２が算出した被訓練者Ｔ１のスピーチの評価得点を提示する。
表示装置１３は、例えば、液晶ディスプレイ、または有機エレクトロルミネッセンス（ＥＬ；Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。
【００３７】
音声出力装置１４は、携帯端末２から入力される音声メッセージに基づき、音声を出力する。音声出力装置１４とは、例えば、スピーカーである。
【００３８】
携帯端末２は、音声解析部２０、頭部動作解析部２１、心拍変動解析部２２、パフォーマンス評価部２３、スピーチパフォーマンス指標データベース２４、パフォーマンス評価提示部２５、動作指標提示部２６、音声メッセージ生成部２７を含んで構成される。
【００３９】
音声解析部２０は、音声記録装置１０が記録した音声を取得する。音声解析部２０は、取得した音声を解析し、解析した結果から被訓練者Ｔ１が話す速度を示す情報である話速情報を生成する。音声解析部２０は、生成した話速情報を、パフォーマンス評価部２３に供給する。
【００４０】
音声解析部２０は、話速情報の生成の際、被訓練者Ｔ１が話す速度を、所定の時間毎に算出する。ここで、所定の時間間隔とは、例えば、５秒間である。音声解析部２０は、被訓練者Ｔ１が話す速度を、所定の時間に被訓練者Ｔ１が話した単語数を音節数に換算し、単位時間当たりの音節数として算出する。つまり、音声解析部２０は、音節を単位にして話速情報を生成する。
音声解析部２０は、音節を単位にして被訓練者Ｔ１が話す速度を算出するため、言語の違いにより単語の長さが異なる場合であっても、音節数という共通の基準で被訓練者Ｔ１が話す速度を算出できる。このため、音声解析部２０は、多言語に対応が可能である。
【００４１】
頭部動作解析部２１は、動きセンサ１１の検出した頭部の向きＨＤ１を取得する。頭部動作解析部２１は、取得した頭部の向きＨＤ１を解析し、解析した結果に基づき頭部動作情報を生成する。ここで、頭部動作情報とは、頭部の向きＨＤ１を示す視野画像Ｉ１の位置を示す情報である。頭部動作情報には、動きセンサ１１が、頭部の向きＨＤ１を検出した時刻が含まれる。頭部動作解析部２１は、生成した頭部動作情報を、パフォーマンス評価部２３に供給する。
【００４２】
心拍変動解析部２２は、生体センサ３の生成した被訓練者Ｔ１の心拍情報を取得する。心拍変動解析部２２は、取得した心拍情報を解析し、解析した結果に基づき、被訓練者Ｔ１の心拍の変動を示す情報である心拍変動情報を生成する。心拍変動解析部２２は、生成した心拍変動情報を、パフォーマンス評価部２３に供給する。
【００４３】
心拍変動情報は、予め測定した被訓練者Ｔ１の平常時の心拍数よりも、所定の回数以上の心拍上昇がみられたか否かを示す。所定の回数とは、例えば、５回である。心拍変動解析部２２は、被訓練者Ｔ１の平常時の心拍の値を、後述する心拍数測定画面Ｉ３が表示装置１３に表示される間に、測定する。
【００４４】
パフォーマンス評価部２３は、頭部動作解析部２１から頭部動作情報を取得する。パフォーマンス評価部２３は、スピーチパフォーマンス指標データベース２４からパブリックスピーキング評価情報を読み込む。
ここで、パブリックスピーキング評価情報の一例には、被訓練者Ｔ１の頭部の動きと、当該頭部の動きの評価とが対応づけられた情報、話速情報と、パブリックスピーキングの評価とが対応づけられた情報、心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報がある。
【００４５】
パブリックスピーキング評価情報は、上述のパブリックスピーキングに関する基礎研究の蓄積を基に算出された指標である。パブリックスピーキング評価情報は、頭部動作情報の示す視野画像Ｉ１の位置が、頭部動作モデルの示す視野画像Ｉ１の位置と一致していた時間が長いほど、当該頭部動作情報に対して、高い評価を割り当てる。
ここで、頭部動作モデルとは、上述のパブリックスピーキングに関する基礎研究結果に基づく、優れたスピーチのための理想的な頭部の動きを、各時間における視野画像Ｉ１の位置として表した情報である。
【００４６】
パフォーマンス評価部２３は、取得した頭部動作情報と、読み込んだパブリックスピーキング評価情報とに基づき、被訓練者Ｔ１の頭部の動きを評価する。パフォーマンス評価部２３は、評価した結果から、頭部の動きの評価が高くなる頭部の動きを判定する。パフォーマンス評価部２３は、判定した結果から、頭部動作指示情報を生成する。パフォーマンス評価部２３は、生成した頭部動作指示情報を、動作指標提示部２６に供給する。頭部動作指示情報は、頭部動作情報の示す位置とは異なる視野画像Ｉ１上の位置を示す。
なお、パフォーマンス評価部２３は、頭部の動きの評価が高くなる頭部の動きが複数ある場合、複数の頭部の動きの評価が高くなる頭部の動きの中からランダムに１つを選択してよい。
【００４７】
パフォーマンス評価部２３は、スピーチ終了時に、評価した結果から、アイコンタクト評価情報を生成する。ここで、アイコンタクト評価情報とは、被訓練者Ｔ１のアイコンタクトの動作の評価を示す情報である。パフォーマンス評価部２３は、生成したアイコンタクト評価情報を、パフォーマンス評価提示部２５に供給する。
【００４８】
パフォーマンス評価部２３は、音声解析部２０から話速情報を取得する。パフォーマンス評価部２３は、取得した話速情報と、スピーチパフォーマンス指標データベース２４から取得したパブリックスピーキング評価情報とに基づき、被訓練者Ｔ１の話す速度を評価する。パフォーマンス評価部２３は、評価した結果から、話速評価情報を生成する。パフォーマンス評価部２３は、生成した話速評価情報を、パフォーマンス評価提示部２５に供給する。
【００４９】
上述のパブリックスピーキングに関する基礎研究の結果から、非英語母語話者が、非英語母語話者を含む聴衆に対して英語でスピーチを行う場合、理想的な話す速度の一例は、１４０から１５０単語毎秒（ｗｐｍ）前後とされている。パブリックスピーキング評価情報は、理想的な話す速度が音節毎秒（ｓｐｓ）を単位に換算された値に基づいている。パブリックスピーキング評価情報では、例えば、話す速度と評価とは、０ｓｐｓから０．７ｓｐｓが「遅い」、２．７１ｓｐｓから５．９９ｓｐｓが「ちょうどいい」、６ｓｐｓ以上が「速い」と、各々対応づけられている。
【００５０】
パフォーマンス評価部２３は、心拍変動解析部２２から心拍変動情報を取得する。パフォーマンス評価部２３は、取得した心拍変動情報と、スピーチパフォーマンス指標データベース２４から取得したパブリックスピーキング評価情報とに基づき、被訓練者Ｔ１の緊張度を評価する。パフォーマンス評価部２３は、評価した結果から、緊張度評価情報を生成する。パフォーマンス評価部２３は、生成した緊張度評価情報を、パフォーマンス評価提示部２５に供給する。
【００５１】
パブリックスピーキング評価情報では、被訓練者Ｔ１の心拍が測定された回数のうち、予め測定した被訓練者Ｔ１の平常時の心拍数よりも、所定の回数以上の心拍上昇がみられた回数と、緊張度の評価とが対応づけられている。
【００５２】
スピーチパフォーマンス指標データベース２４は、パブリックスピーキング評価情報が記憶される。スピーチパフォーマンス指標データベース２４は、例えば、フラッシュメモリやハードディスクなどのストレージでもよいし、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）でもよい。スピーチパフォーマンス指標データベース２４は、外部サーバ装置などの他の装置から例えば有線又は無線のネットワークを介して入力された、パブリックスピーキング評価情報を記憶してもよい。
【００５３】
パフォーマンス評価提示部２５は、パフォーマンス評価部２３から、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを取得する。
パフォーマンス評価提示部２５は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、画像生成装置１２を介して、表示装置１３に表示させることにより提示する。
パフォーマンス評価提示部２５は、スピーチの終了時に、被訓練者Ｔ１のスピーチの評価得点を算出する。パフォーマンス評価提示部２５は、算出した評価得点を、表示装置１３に表示させることにより提示する。
【００５４】
なお、本実施形態では、パフォーマンス評価部２３が、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを生成する場合を扱うが、パフォーマンス評価提示部２５が、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを生成してもよい。
その場合、パフォーマンス評価提示部２５は、頭部動作情報と、パブリックスピーキング評価情報とに基づき、被訓練者Ｔ１のパブリックスピーキングの評価を示す情報であるアイコンタクト評価情報を生成し、生成したアイコンタクト評価情報を表示装置１３に表示させることにより提示する。
パフォーマンス評価提示部２５は、話速情報と、パブリックスピーキング評価情報とに基づき話速評価情報を生成し、生成した話速評価情報を表示装置１３に表示させることにより提示する。
【００５５】
動作指標提示部２６は、パフォーマンス評価部２３から頭部動作指示情報を取得する。動作指標提示部２６は、画像生成装置１２を介して、取得した頭部動作指示情報の示す向きを示す、視野画像Ｉ１上の位置に対応するパネルＰＮ３の枠の輝度を上げて、表示装置１３に表示させる。つまり、動作指標提示部２６は、取得した頭部動作指示情報の示す向きに対応する視野画像Ｉ１上の位置を表示装置１３に表示させることにより、取得した頭部動作指示情報の示す向きを提示する。
動作指標提示部２６は、視野画像Ｉ１上の位置に対応するパネルＰＮ３の枠の輝度を上げることにより、頭部動作情報の示す位置と、頭部動作指示情報の示す位置とを、互いに区別可能な態様で表示装置１３に表示させる。
【００５６】
なお、動作指標提示部２６は、頭部動作解析部２１から頭部動作情報を取得してもよい。動作指標提示部２６は、取得した頭部動作情報が、頭部の向きＨＤ１が所定の時間変わらない場合、取得した頭部動作情報の示す視野画像Ｉ１上の位置とは異なる位置に対応するパネルを、パネルＰＮの中からランダムに選択してもよい。その場合、動作指標提示部２６は、選択したパネルの枠の輝度を上げて、表示装置１３に表示させる。
つまり、動作指標提示部２６は、動きセンサ１１により検出された頭部の向きＨＤ１を示す視野画像Ｉ１上の位置とは異なる視野画像Ｉ１上の位置を表示装置１３に表示させることにより、動きセンサ１１により検出された頭部の向きＨＤ１とは異なる頭部の向きＨＤ１を提示する。
これにより、被訓練者Ｔ１は、パブリックスピーキングの練習において、同じ場所を向き続けることを防ぐことができる。
【００５７】
また、動作指標提示部２６は、取得した頭部動作情報が、頭部の向きＨＤ１が所定の時間、所定の回数以上変化する場合、取得した頭部動作情報の示す視野画像Ｉ１上の複数の位置とは異なる位置に対応するパネルを、パネルＰＮの中からランダムに選択してもよい。これにより、被訓練者Ｔ１は、パブリックスピーキングの練習において、向く場所を必要以上に頻繁に変えることを防ぐことができる。
【００５８】
音声メッセージ生成部２７は、パフォーマンス評価部２３から評価得点を取得する。音声メッセージ生成部２７は、取得した評価得点に応じて、音声メッセージを生成する。音声メッセージ生成部２７は、生成した音声メッセージを、スピーチ終了時に、音声出力装置１４に出力させる。
【００５９】
生体センサ３は、所定の時間の毎に、被訓練者Ｔ１の心拍を計測し、心拍の値を示す心拍情報を生成し、携帯端末２に供給する。ここで、所定の時間とは、例えば、１０秒である。生体センサ３は、例えば、脈拍センサを備えたウェアラブル端末である。
【００６０】
ここで、図５を用いて頭部動作モデルの一例について説明する。
図５は、本実施形態の頭部動作モデルの一例を示す図である。
２行５列のマス目は、視野画像Ｉ１における半透明のパネルＰＮに対応する。一例として、スピーチ開始時の頭部の向きＨＤ１を示す視野画像Ｉ１の位置が、パネルＰＮ１であるとする。
被訓練者Ｔ１が次に見るべきパネルＰＮは、５秒程度の間隔で変化する。パネルＰＮ３は、スピーチ開始時からの経過時間が５秒から１０秒の間に、被訓練者Ｔ１が見るべきパネルである。この間、動作指標提示部２６は、パネルＰＮ３の枠の輝度を上げる。以下、被訓練者Ｔ１が見るべきパネルは、パネルＰＮ１０、パネルＰＮ８、パネルＰＮ６、パネルＰＮ３、パネルＰＮ５の順に変化する。
【００６１】
被訓練者Ｔ１が見るべきパネルの枠の輝度の変化の仕方について説明する。スピーチ開始時に、被訓練者Ｔ１は、パネルＰＮ１を見ている。所定の時間（例えば、１秒から２秒程度）が経過すると、動作指標提示部２６は、次に見るべきパネルＰＮ３の枠の輝度を上げ始める。ただし、動作指標提示部２６は、次に見るべきパネルＰＮ３の枠の輝度を連続的に上げる。これは、頭部動作モデルでは、頭部の向きＨＤ１は、現在見ているパネルＰＮ１から、次に見るべきパネルＰＮ３へと、急に変わるのではなく、左端のパネルＰＮ１から、パネルＰＮ２を経て、正面のパネルＰＮ３の位置へと徐々に変わってゆくことに対応する。
【００６２】
動作指標提示部２６は、パネルＰＮ３の枠の輝度を上げ始めてから、所定の時間（例えば、５秒程度）が経過すると、パネルＰＮ３の枠の輝度を下げ始める。ただし、動作指標提示部２６は、パネルＰＮ３の枠の輝度を上げ始めてから、所定の時間（例えば、１０秒程度）が経過する時点において、パネルＰＮ３の枠の輝度が元の輝度に戻るように、パネルＰＮ３の枠の輝度を連続的に下げる。動作指標提示部２６は、動作指標提示部２６は、パネルＰＮ３の枠の輝度を下げ始めてから、所定の時間（例えば、１秒から２秒程度）が経過すると、次に見るべきパネルとしてパネルＰＮ１０の枠の輝度を上げ始める。
【００６３】
上記のパネルＰＮ３の枠の輝度の変化を、輝度の時間変化を表すグラフを用いて説明する。このグラフは、時間を表す横軸、輝度を表す縦軸からなる座標平面上において、輝度を時間についての連続な関数Ｋとして表したものである。スピーチ開始時に対応する時間を、０秒とする。
時間０秒から時間ｔ１（例えば、１秒から２秒程度）の区間では、関数Ｋは、パネルＰＮ３の元の輝度の値を取る定数関数である。時間ｔ１から時間ｔ２（例えば、３秒程度）の区間では、関数Ｋは、下に凸な単調増加関数である。時間ｔ２から時間ｔ３（例えば、５秒程度）の区間では、関数Ｋは、上に凸な単調増加関数である。時間ｔ３から時間ｔ４（例えば、６秒から７秒程度）の区間では、関数Ｋは、上に凸な単調減少関数である。時間ｔ４から時間ｔ５（例えば、１０秒程度）の区間では、関数Ｋは、上に凸な単調減少関数である。時間ｔ５から次に輝度が変化するまでの時間の区間では、関数Ｋは、パネルＰＮ３の元の輝度の値を取る定数関数である。
ここで、時間ｔ４において、パネルＰＮ３の次にみるべきパネルＰＮ１０の枠の輝度が変化し始める。パネルＰＮ１０の枠の輝度の変化の仕方は、パネルＰＮ３の枠の輝度の変化の仕方と同様に、上記の関数Ｋを横軸の正の方向に時間ｔ４だけ平行移動した関数で表される。
【００６４】
なお、本実施形態では、一例として、次に見るべきパネルの枠の輝度を上げる場合を説明したが、支援装置Ｄ１が頭部動作指示情報の示す向きを示す方法はこれに限らない。支援装置Ｄ１は、例えば、次に見るべきパネル全体の輝度を上げてもよい。また、支援装置Ｄ１は、パネルを、２行５列のマス目以外の配列を用いて表示してもよいし、用いる配列に応じてパネルの面積を変化させてもよい。例えば、支援装置Ｄ１は、パネルＰＮの４分の１の面積のパネルを、４行１０列のマス目状に表示し、次に見るべき向きに対応する領域をより高い精度で提示してもよい。
支援装置Ｄ１は、例えば、パネルを表示させずに、次に見るべき向きに対応する領域（例えば、四角形の領域、円形の領域、あるいはバーチャルオーディエンスの一部分を示す領域）の輪郭、あるいは当該領域の全体の輝度を上げてもよい。支援装置Ｄ１は、例えば、次に見るべき向きに対応する領域の色（色相、明度、彩度）を変化させてもよい。支援装置Ｄ１は、例えば、パネルを表示させずに、次に見るべき向きを、矢印等の画像を用いて示してもよい。
支援装置Ｄ１が頭部動作指示情報の示す向きを示す方法はこれらに限らない。支援装置Ｄ１は、例えば、視野画像Ｉ１において印となる画像を表示するとともに、動作指標に基づいて決定された速度とタイミングで断続的に印となる画像を移動させることによって、次に見るべき向きを示してもよい。ここで、印となる画像は、例えば、視野画像Ｉ１において容易に視認可能な色（例えば赤色）と、所定の形状（例えば丸い形状）を有する画像である。支援装置Ｄ１は、印となる画像を点滅させてもよいし、印となる画像の色を所定の周期で変化させてもよい。被訓練者Ｔ１は、頭部を動作させることによって移動して表示される印の画像を追いながら、次に見るべき向きを向くことができる。
【００６５】
［支援装置Ｄ１を用いたスピーチの練習の流れ］
次に、図６を参照して支援装置Ｄ１を用いたスピーチの練習の流れについて説明する。
図６は、本実施形態の支援装置Ｄ１の処理の一例を示す図である。
【００６６】
（ステップＳ１００）支援装置Ｄ１は、電源が入れられると、表示装置１３に、スピーチの練習についての設定を行うための設定画面Ｉ２を表示させる。被訓練者Ｔ１は、設定画面Ｉ２を見ながら、スピーチの練習についての各種の設定を行う。
ここで、図７を用いて設定画面Ｉ２の説明を行う。
【００６７】
図７は、本実施形態の支援装置Ｄ１の設定画面Ｉ２の一例を示す図である。
被訓練者Ｔ１は、表示Ｐ１、表示Ｐ２、表示Ｐ３の各領域を選択することで、スピーチの練習についての各種の設定を行う。表示Ｐ１は、練習モードか、本番モードかを選択するための表示である。練習モードでは、図３の視野画像Ｉ１で説明したように、スピーチの間、バーチャルオーディエンスと動作指標を示すパネルと話速度等の評価情報、練習モードなどの情報が表示される。
【００６８】
本番モードでは、支援装置Ｄ１は、スピーチの間、バーチャルオーディエンス、及び仮想的な発表会場を含む視野画像Ｉ１を表示するが、図３に示すような評価情報（表示Ｆ１）、話速評価情報（表示Ｆ２）、パネルＰＮを表示しない。本番モードにおいて、被訓練者Ｔ１は、練習モードに比較して、より実践の状況に近い視野画像Ｉ１を見ながら練習を行うことができる。
【００６９】
表示Ｐ２は、バーチャルオーディエンスを、ＣＧにより表示するか、実写動画により表示するかを選択するための表示である。表示Ｐ３は、スピーチの時間を選択するための表示である。本実施例では、一例として、スピーチの時間を、２分間と、５分間とから選択する場合を示している。
支援装置Ｄ１は、開始ボタンＰ４が選択されると、設定画面Ｉ２の表示を終了する。
図６に戻り、スピーチの練習の流れについて説明を続ける。ただし、以下では、練習モードが選択された場合について説明を行う。
【００７０】
（ステップＳ１０１）支援装置Ｄ１は、心拍数測定画面Ｉ３を表示する。
ここで、図８を用いて心拍数測定画面Ｉ３の説明を行う。
図８は、本実施形態の支援装置Ｄ１の心拍数測定画面Ｉ３の一例を示す図である。
被訓練者Ｔ１は、心拍数測定画面Ｉ３に表示されるテキストを、３０秒間声に出して読む。生体センサ３は、被訓練者Ｔ１の心拍を測定する。生体センサ３は、測定した心拍の値を示す情報を、被訓練者Ｔ１の平常時の心拍の値を示す情報として、携帯端末２に供給する。
図６に戻り、スピーチの練習の流れについて説明を続ける。
【００７１】
（ステップＳ１０２）被訓練者Ｔ１は、スピーチを開始する。
（ステップＳ１０３）動きセンサ１１は、被訓練者Ｔ１の頭部の向きＨＤ１を検出し、検出した頭部の向きＨＤ１を、携帯端末２に供給する。
（ステップＳ１０４）表示装置１３は、画像生成装置１２から入力される視野画像Ｉ１を、頭部の向きＨＤ１に相対する向きにして表示する。
【００７２】
（ステップＳ１０５）パフォーマンス評価部２３は、頭部動作指示情報と、話速評価情報と、緊張度評価情報とを生成する。
（ステップＳ１０６）動作指標提示部２６は、パフォーマンス評価部２３から頭部動作指示情報を取得する。動作指標提示部２６は、取得した頭部動作指示情報の示す向きを示す、視野画像Ｉ１上の位置であるパネルを、表示装置１３に表示させることにより提示する。
パフォーマンス評価提示部２５は、パフォーマンス評価部２３から、話速評価情報と、緊張度評価情報とを取得する。パフォーマンス評価提示部２５は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、表示装置１３に表示させることにより提示する。
【００７３】
（ステップＳ１０７）携帯端末２は、スピーチが終了したか否かを判定する。携帯端末２は、ステップＳ１００において設定されたスピーチの時間が経過した場合、スピーチが終了したと判定する。携帯端末２は、ステップＳ１００において設定されたスピーチの時間が経過していない場合、スピーチが終了していないと判定する。
携帯端末２は、スピーチが終了したと判定する場合（ステップＳ１０７；ＹＥＳ）、ステップＳ１０８の処理を実行する。一方、スピーチが終了していないと判定する場合（ステップＳ１０７；ＮＯ）、携帯端末２は、ステップＳ１０３の処理を繰り返す。
【００７４】
（ステップＳ１０８）パフォーマンス評価提示部２５は、被訓練者Ｔ１のスピーチの評価得点を算出する。
例えば、パフォーマンス評価提示部２５は、話速についての評価得点の算出には、スピーチの冒頭の所定の時間（例えば３０秒間、１分間、３分間等）に対応する話速評価情報のみを用いてもよい。これは、被訓練者Ｔ１は、スピーチの間、視野画像Ｉ１において表示される表示Ｆ２を確認することで、話速を調整することが可能であり、スピーチの間全てに渡っての話速評価情報を用いて評価得点の算出した場合、被訓練者Ｔ１の現状の話速について正しい評価ができない可能性があるためである。
パフォーマンス評価提示部２５は、算出した評価得点を、表示装置１３に表示させることにより提示する。パフォーマンス評価提示部２５は、評価得点の項目毎に、評価得点に応じて、コメントを提示する。
音声メッセージ生成部２７は、評価得点に応じて生成した音声メッセージを、音声出力装置１４に出力させ、一連の処理を終了する。
なお、支援装置Ｄ１は、スピーチ開始（Ｓ１０２）からスピーチ終了（Ｓ１０７；ＹＥＳ）までの間、つまりパブリックスピーキングの訓練中において、発表会場の環境音を模した音声を所定の音量で音声出力装置１４に出力させてもよい。ここで、環境音を模した音声とは、発表会場内のノイズ、聴衆の反応音（拍手、声）等である。被訓練者Ｔ１は、環境音を模した音声を聞きながら、環境音を模した音声が出力されない無音状態に比較して、体感上、より自然な状態で練習を行うことができる。
ここで、図９を用いて評価提示画面Ｉ４の説明を行う。
【００７５】
図９は、本実施形態の支援装置Ｄ１の評価提示画面Ｉ４の一例を示す図である。
評価提示画面Ｉ４においては、緊張度、話速、アイコンタクトの項目毎に、コメントが表示される。各コメントは、音声メッセージとして出力される。表示Ｐ５は、項目毎の評価得点を示すグラフである。
【００７６】
［まとめ］
上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１が次に見るべき位置として被訓練者Ｔ１が見ている位置とは異なる位置を表示できる。したがって、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいか学習できる。
【００７７】
上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１が次に見るべき位置として、訓練者Ｔ１が見ている位置とは異なる位置の中からパブリックスピーキングの評価が高くなる位置を表示できる。したがって、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばパブリックスピーキングの評価が高くなるか学習できる。
【００７８】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１が、次に見るべき位置を、次に見るべきでない位置と区別できる。このため、支援装置Ｄ１によれば、スピーチの練習において、被訓練者が、次にどの方向を向けばよいか視覚的に把握できる。
【００７９】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１のパブリックスピーキングに基づき、被訓練者Ｔ１は、自身のパブリックスピーキングの評価を知ることができる。このため、支援装置Ｄ１によれば、被訓練者Ｔ１は、自身のパブリックスピーキングの評価を、確認しながら学習できる。
【００８０】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１は、自身のパブリックスピーキングにおける話す速度についての評価を知ることができる。このため、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者Ｔ１は、適切な話す速度を学習することができる。
【００８１】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１の話す速度を、音節を単位にして評価することができる。このため、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者Ｔ１は、様々な言語で、適切な話す速度を学習することができる。
【００８２】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１は、自身のパブリックスピーキングにおける声量についての評価を知ることができる。このため、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者Ｔ１は、適切な声量を学習することができる。
【００８３】
また、上述した実施形態に係る支援装置Ｄ１によれば、被訓練者Ｔ１は、自身のパブリックスピーキングにおける緊張度についての評価を知ることができる。このため、支援装置Ｄ１によれば、パブリックスピーキングの練習において、被訓練者Ｔ１は、適切な緊張度を学習することができる。
【００８４】
なお、本実施形態の支援装置Ｄ１のＨＭＤは、バーチャルリアリティ（ＶＲ：Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）の動画の表示に特化したＨＭＤでもよいし、例えば、スマートフォンを、専用のゴーグルと組み合わせて構成してもよい。
なお、本実施形態においては、一例として、支援装置Ｄ１がＨＭＤの形態を取る場合を説明したが、支援装置Ｄ１は、例えば、講演会場に設置されたディスプレイの形態を取ってもよい。また、支援装置Ｄ１は、例えば、タブレット端末など、表示装置を備えた端末を、被訓練者Ｔ１が手に持って使用する形態を取ってもよい。
【００８５】
また、本発明の一実施形態において、支援装置Ｄ１は、被訓練者Ｔ１の声量を評価してもよく、この場合、支援装置Ｄ１は、被訓練者Ｔ１の声量についての評価を示す情報である声量評価情報を、視野画像Ｉ１において例えばボリュームレベルを示す画像（図示せず）として表示する。具体的には、音声解析部２０は、取得した音声を解析し、解析した結果から被訓練者Ｔ１の声量を示す情報である声量情報を生成する。音声解析部２０は、生成した声量情報を、パフォーマンス評価部２３に供給する。パフォーマンス評価部２３は、音声解析部２０から声量情報を取得する。パフォーマンス評価部２３は、取得した声量情報に基づき、被訓練者Ｔ１の声量を評価し、評価した結果から、声量評価情報を生成する。パフォーマンス評価部２３は、生成された声量評価情報を、パフォーマンス評価提示部２５に供給する。パフォーマンス評価提示部２５は、声量評価情報を表示装置１３に表示させることにより提示する。
【００８６】
図１０は、本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
支援装置Ｄ２は、講演会場の天井に吊るされたディスプレイである。被訓練者Ｔ２の頭部の向きＨＤ２は、３次元直交座標系ｘ、ｙ、ｚのｘ軸の正の向きである。頭部の向きＨＤ２に相対する向きＤＤ２は、３次元直交座標系ｘ、ｙ、ｚのｘ軸の負の向きである。支援装置Ｄ２は、３次元直交座標系Ｘ、Ｙ、ＺのＸ軸と直交する方向に、Ｘ軸の負の向きに設置されている。
【００８７】
図１１は、本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
支援装置Ｄ３は、タブレット端末であり、被訓練者Ｔ３が手に持って使用する。被訓練者Ｔ３の頭部の向きＨＤ３は、３次元直交座標系ｘ、ｙ、ｚのｘ軸の正の向きである。頭部の向きＨＤ３に相対する向きＤＤ３は、３次元直交座標系ｘ、ｙ、ｚのｘ軸の負の向きである。
【００８８】
なお、支援装置Ｄ１は、画像Ｓ１を、例えば、視野画像Ｉ１上においてｘ軸と垂直に表示してもよい。その場合、支援装置Ｄ１は、画像Ｓ１を、例えば、視野画像Ｉ１上の会場の後方に表示する。
なお、本実施形態では、被訓練者Ｔ１の心拍を測定する場合について説明したが、心拍の代わりに、例えば、被訓練者Ｔ１の脈拍を測定してもよい。
【００８９】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
第１の実施形態では、被訓練者Ｔ１が、支援装置Ｄ１を装着してパブリックスピーキングの練習を行う一例について説明した。第２の実施形態では、講演者が、支援装置を装着してパブリックスピーキングを実践し、支援装置が、パブリックスピーキングの最中に向く場所（アイコンタクトを取る聴衆）を、講演者に提示する一例について説明する。
【００９０】
図１２は、本実施形態の支援装置Ｄ１ａの概観の一例を示す図である。
支援装置Ｄ１ａは、眼鏡型の表示装置であり、講演者Ｔ１ａが装着して使用する。表示装置１３ａは、透過型モニターである。支援装置Ｄ１ａは、パブリックスピーキングの最中に講演者Ｔ１ａが向くべき視野画像上の位置を、視野画像に重ねて表示装置１３ａに表示させる。
【００９１】
図１３は、本実施形態の支援装置Ｄ１ａの機能構成の一例を示す図である。
本実施形態の支援装置Ｄ１ａの構成（図１３）と、第１の実施形態に係る支援装置Ｄ１の構成（図４）とでは、ヘッドマウントディスプレイ１と、眼鏡１ａとが異なる。ヘッドマウントディスプレイ１と、眼鏡１ａとでは、画像生成装置１２の有無と、表示装置１３ａとが異なる。それ以外の構成は、第１の実施形態に係る支援装置Ｄ１と同様であるため説明を省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。
【００９２】
支援装置Ｄ１ａは、眼鏡１ａ、携帯端末２、生体センサ３を含んで構成される。眼鏡１ａ及び携帯端末２は、一体となって構成されてもよく、また一体となって構成されなくてもよい。
眼鏡１ａは、音声記録装置１０、動きセンサ１１、表示装置１３ａ、音声出力装置１４を含んで構成される。
【００９３】
表示装置１３ａは、透過型モニターである。講演者Ｔ１ａは、支援装置Ｄ１ａを装着した状態において、自身の頭部の向きＨＤ１ａに対応した方向の風景を視認可能である。
支援装置Ｄ１ａは、動作指標提示部２６の提示するパネルＰＮと、パフォーマンス評価提示部２５の提示する話速評価情報、及び心拍変動情報とを、講演者Ｔ１ａの頭部の向きＨＤ１ａに対応した方向の風景に重ねて表示する。
【００９４】
なお、支援装置Ｄ１ａは、ＡＲの技術を用いて、講演者Ｔ１ａの頭部の向きＨＤ１ａに対応した方向の風景にバーチャルオーディエンスを重ねて表示してもよい。
【００９５】
上述した実施形態に係る支援装置Ｄ１ａによれば、パブリックスピーキングの実践中に、講演者Ｔ１ａが次に見るべき位置を提示できる。したがって、支援装置Ｄ１によれば、パブリックスピーキングの実践中に、被訓練者が、次にどの方向を向けばよいか知ることができる。
【００９６】
以上の実施形態では、緊張度の評価が、被訓練者Ｔ１の心拍を測定して行われる場合について説明したが、緊張度の評価の方法はこれに限らない。緊張度の評価は、例えば、被訓練者Ｔ１のまばたきの回数、手汗の量、血圧、皮膚電気活動、唾液の量、及び顔色の変化などを測定して行われてもよい。これらの場合、生体センサは、例えば、各種のセンサを備えたウェアラブル端末である。
【００９７】
また、以上の本実施形態では、話速をパブリックスピーキングの評価に用いているが、話速は緊張度の評価にも用いてよい。話速が速いほど、緊張度は高いと評価される。話速は、例えば、スマートフォンを用いて測定されてよい。話速がスマートフォンを用いて測定される場合、カメラが不要であるという利点がある。
パブリックスピーキングの評価には、話速だけでなく発音の評価を含めてもよい。ここで発音の評価とは、例えば、英語などの外国語の発音の評価である。パブリックスピーキングの評価に発音の評価を含める場合、音声解析部２０は、被訓練者Ｔ１の発音と理想的な発音とを比較した結果を示す発音情報を生成する。パフォーマンス評価部２３は、音声解析部２０が生成した発音情報に基づいて、被訓練者Ｔ１の発音の評価を行う。
【００９８】
また、以上の実施形態では、評価提示画面Ｉ４に被訓練者Ｔ１のスピーチの評価得点が提示される場合について説明したが、この評価得点は練習記録データとして保存されてよい。また、練習記録データには、音声記録装置１０が記録したパブリックスピーキングの訓練中の被訓練者Ｔ１の音声を、音声データとして含めてよい。
練習記録データは、例えば、被訓練者Ｔ１が学生や受講者である場合、被訓練者Ｔ１の教員やトレーナーが参照し、被訓練者Ｔ１を指導する際に利用できる。練習記録データは、被訓練者Ｔ１の教員やトレーナーだけが参照できるようにされてよい。例えば、練習記録データは被訓練者Ｔ１の教員やトレーナーだけがアクセスすることのできるデータベースなどに転送されてよい。または、練習記録データは、被訓練者Ｔ１の教員やトレーナーだけが参照できるように暗号化されてもよい。
【００９９】
また、パブリックスピーキングの訓練中に被訓練者Ｔ１がつかえた箇所が、即時に通知されてよい。パブリックスピーキングの訓練中に被訓練者Ｔ１がつかえた箇所とは、例えば、スピーチのスクリプトと、被訓練者Ｔ１が発する言葉とが、タイミングまたは音声内容について、不一致となった箇所である。例えば、音声解析部２０は、視野画像Ｉ１上における演台に表示されているスピーチの資料の画像Ｓ１内のスピーチのスクリプトと、被訓練者Ｔ１が発する言葉とが同期しているか否かを判定する。スピーチのスクリプトと、被訓練者Ｔ１が発する言葉とが同期しているか否かの判定基準は、時間のずれや音声のずれに基づいて設定されてよい。
音声解析部２０が、画像Ｓ１内のスピーチのスクリプトと、被訓練者Ｔ１が発する言葉とが同期していないと判定した場合、音声解析部２０は、判定結果を画像生成装置１２に出力する。画像生成装置１２は、音声解析部２０が出力した判定結果に基づいて、被訓練者Ｔ１がつかえたことを示す画像やメッセージを含む視野画像Ｉ１を生成する。被訓練者Ｔ１は、スピーチの訓練中に、被訓練者Ｔ１がつかえたことを示す画像やメッセージを見ることにより、被訓練者Ｔ１がつかえた箇所を認識することができる。
【０１００】
また、予め設定されたスピーチのスクリプトに応じて、このスピーチのスクリプトの内容を話すのに理想的なスピーチの時間が算出されてもよい。理想的なスピーチの時間は、スピーチのスクリプトのページ毎や文毎に算出されてもよい。スピーチのスクリプトのページ毎や文毎に算出された理想的なスピーチの時間は、被訓練者Ｔ１がつかえた箇所の判定に用いられてもよい。算出された理想的なスピーチの時間は、視野画像Ｉ１上に表示されてよい。
【０１０１】
また、以上の実施形態では、視野画像Ｉ１上に表示される仮想的な発表会場の風景の画像は、講義室の風景の画像となっている。仮想的な発表会場の風景の画像は、複数の種類の中から選択されてもよい。複数の種類の仮想的な発表会場の風景の画像とは、例えば、学会の風景の画像、結婚式会場の風景の画像などである。
【０１０２】
また、以上の実施形態では、視野画像Ｉ１上に表示されるバーチャルオーディエンスのデザインは聴衆のデザインであるが、バーチャルオーディエンスのデザインは変更できるようにしてもよい。視野画像Ｉ１上に表示されるバーチャルオーディエンスのデザインは、例えば、外国人の聴衆や、年齢層が高い聴衆や、動物や、キャラクターなどのデザインに変更できるようにしてもよい。パブリックスピーキングの練習は繰り返し行うことが望ましいが、繰り返し行ううちに飽きてしまうことが多い。視野画像Ｉ１上に表示されるバーチャルオーディエンスのデザインを変更できるようにすることにより、被訓練者Ｔ１がパブリックスピーキングの練習に飽きにくくすることができる。
【０１０３】
以上の実施形態では、視野画像Ｉ１上に、バーチャルオーディエンスが表示される場合について説明したが、バーチャルオーディエンスの代わりに、聴衆の身体の一部、例えば聴衆の目の画像が表示されてもよい。ここで、聴衆の目の画像とは、例えば、イラストの目の画像や、実写に近いＣＧの目の画像や、変形（デフォルメ）された目の画像が表示されてもよい。視野画像Ｉ１上に、聴衆の目の画像を表示する場合、聴衆の目の画像が、仮想的な発表会場の風景の画像に埋もれて認識しにくくならないように、聴衆の目の画像の周囲は、例えば半透明の肌色を用いて塗られてよい。
【０１０４】
パブリックスピーキングの練習を実践さながらの状況において行いたい場合に、視野画像Ｉ１上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いることは有効である。ここで、実践さながらの状況とは、被訓練者が聴衆の視線を感じて緊張感を覚える状況である。
視野画像Ｉ１上に仮想的な発表会場の風景の画像のみが表示される場合に比べ、視野画像Ｉ１上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の方が、被訓練者がより緊張感を覚えることを示す実験結果が得られている。この実験では、問診によって得られる被訓練者の主観的な緊張度を、５段階尺度法により評価している。視野画像Ｉ１上に仮想的な発表会場の風景の画像のみが表示される場合の被訓練者の主観的な緊張度に対して、視野画像Ｉ１上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の被訓練者の主観的な緊張度は、有意に大きくなることがＦｒｉｅｄｍａｎ検定により検証されている。
【０１０５】
聴衆の目の画像の位置は、仮想的な発表会場の風景の画像の中の机やイスの位置や発表会場の形状に基づいて決められてよい。聴衆の目の画像の位置は、仮想的な発表会場の風景の画像の中の机やイスの位置や発表会場の形状とは関係なくランダムに配置してよい。
【０１０６】
聴衆の目の画像は、動画像として、まばたきをする動きをしてもよい。聴衆の目の画像は、点滅してもよい。聴衆の目の画像のまばたきをする動きや点滅の回数は、設定により変更できるようにしてよい。また聴衆の目の画像のまばたきをする動きや点滅の回数は聴衆の関心度により設定を変更できるようにしてよい。この設定は、聴衆の目の画像のまばたきをする動きや点滅の、時間あたりの回数についての設定であってもよいし、１回のパブリックスピーキングの練習における回数についての設定であってもよい。この設定は、複数の聴衆の目の画像ごとに行われてよい。
【０１０７】
聴衆の目の画像は、動画像として、目の輪郭内の黒目の位置を、被訓練者Ｔ１のスピーチの評価に応じて変化させてもよい。目の輪郭内の黒目の位置は、例えば、被訓練者Ｔ１のスピーチの評価が低い場合には聴衆の関心度が低いとして、被訓練者Ｔ１の方を見ていないようにしてよい。目の輪郭内の黒目の位置を被訓練者Ｔ１の方を見ていないようにするとは、例えば、目の輪郭内において黒目の位置を、目の輪郭内の中央以外に移動させることである。
【０１０８】
また、聴衆の目の画像として、３つの点が逆三角形の頂点に配置された図形が表示されてもよい。３つの点が逆三角形の頂点に配置された図形は、３つの点が三角形の頂点に配置された図形に比べて、被訓練者Ｔ１はより緊張感をもってパブリックスピーキングの練習を行うことができる。３つの点が逆三角形の頂点に配置された図形は、逆三角形の上の２つの頂点に配置された点は黒色を用いて表示し、逆三角形の下の１つの頂点に配置された点は赤色を用いて表示されることができる。逆三角形の上の２つの頂点に配置された点は、被訓練者Ｔ１に目と認識され、逆三角形の下の１つの頂点に配置された点は、被訓練者Ｔ１に口と認識される。
【０１０９】
視野画像Ｉ１上に、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、バーチャルオーディエンスを用いる場合に比べ、視野画像Ｉ１のデータ量を減らすことができる。また、視野画像Ｉ１上に、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、バーチャルオーディエンスを用いる場合に比べ、ヘッドマウントディスプレイ１の処理負荷を軽減することができる。また、バーチャルオーディエンスのバリエーションを増やす場合に比べ、データ量を急激に増加させることなく、聴衆の目の種類やまばたき回数、点滅回数などのバリエーションを増やすことができる。したがって、非訓練者Ｔ１に対して容易に聴衆の様々な反応を表示することができる。
【０１１０】
第２の実施形態では、支援装置Ｄ１ａは、ＡＲの技術を用いて、講演者Ｔ１ａの頭部の向きＨＤ１ａに対応した方向の風景にバーチャルオーディエンスを重ねて表示することができる。第２の実施形態では、支援装置Ｄ１ａにおいて、実践さながらの状況を実現するためにバーチャルオーディエンスを実写映像にする場合、バーチャルオーディエンスの動画には、豊富な動きのパターンが要求される。そのため、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、視野画像Ｉ１のデータ量を減らすことができる。また、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、支援装置Ｄ１ａの処理負荷を軽減することができる。
第２の実施形態の支援装置Ｄ１ａでは、パブリックスピーキングの練習に際し聴衆が足りない場合に、足りない聴衆を聴衆の目の画像により補ってよい。第２の実施形態の支援装置Ｄ１ａでは、パブリックスピーキングの練習に際し聴衆が足りない場合であっても、パブリックスピーキングの練習を実践さながらの状況において行うことができる。
【０１１１】
（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
第１の実施形態や第２の実施形態では、被訓練者や講演者が支援装置を装着して使用する場合について説明をしたが、第３の実施形態では、支援装置が端末装置として用いられる一例について説明する。
【０１１２】
図１４は、本実施形態の支援装置Ｄ１ｂの概観の一例を示す図である。訓練装置Ｄ１ｂとは、被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置である。支援装置Ｄ１ｂは端末装置２ｂとして用いられる。端末装置２ｂにはカメラ１１ｂが備えられている。端末装置２ｂは、例えば、テレビ会議におけるプレゼンテーションの練習のための支援装置である。
端末装置２ｂの表示装置１３ｂには、仮想的な発表会場の風景の画像とともに聴衆の目の画像が含まれる視野画像Ｉ５が表示される。ここで表示装置１３ｂとは、ディスプレイである。端末装置２ｂを用いて、被訓練者は、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
訓練者に装着された生体センサ３は、被訓練者の心拍を測定する。生体センサ３は、測定した心拍の値を示す情報を端末装置２ｂに供給する。生体センサ３は、例えば、近距離無線通信を用いて心拍の値を示す情報を端末装置２ｂに供給する。端末装置２ｂは、生体センサ３が供給する心拍の値を示す情報に基づいて、被訓練者の緊張度を評価する。表示装置１３ｂは、端末装置２ｂが評価した緊張度を視野画像Ｉ５上に表示する。
【０１１３】
図１５は、本実施形態の支援装置Ｄ１ｂの機能構成の一例を示す図である。
本実施形態の支援装置Ｄ１ｂの構成（図１５）と、第１の実施形態に係る訓練装置Ｄ１の構成（図４）とでは、ヘッドマウントディスプレイ１の有無が異なる。音声記録装置１０ｂと、カメラ１１ｂと、表示装置１３ｂと、音声出力装置１４ｂとは、ヘッドマウントディスプレイ１に備えられていない。また、携帯端末２（図４）と、端末装置２ｂ（図１５）とを比較すると、状態解析部２２ｂと、パフォーマンス評価部２３ｂと、スピーチパフォーマンス指標データベース２４ｂと、パフォーマンス評価提示部２５ｂと、画像生成部２８ｂとが異なる。それ以外の構成は、第１の実施形態に係る支援装置Ｄ１と同様であるため説明を省略し、第３の実施形態では、第１の実施形態と異なる部分を中心に説明する。
端末装置２ｂは、音声解析部２０と、状態解析部２２ｂと、パフォーマンス評価部２３ｂと、スピーチパフォーマンス指標データベース２４ｂと、パフォーマンス評価提示部２５ｂと、音声メッセージ生成部２７と、画像生成部２８ｂとを備える。
【０１１４】
状態解析部２２ｂは、表示装置１３ｂに表示された視野画像Ｉ５が提示された被訓練者の状態を解析する。被訓練者の状態とは、例えば、聴衆の目の画像が含まれる視野画像Ｉ５が提示された被訓練者の緊張度である。
状態解析部２２ｂは、生体センサ３が生成した被訓練者の心拍情報を取得する。状態解析部２２ｂは、被訓練者の緊張度として、取得した心拍情報を解析する。また、状態解析部２２ｂは、カメラ１１ｂにより撮影された被訓練者の撮影画像を取得する。状態解析部２２ｂは、被訓練者の緊張度として、取得した撮影画像から被訓練者のまばたきの回数を解析する。
状態解析部２２ｂは、解析した被訓練者の状態から、被訓練者の状態を示す状態情報を生成する。状態解析部２２ｂは、状態情報として、心拍変動情報、及びまばたき回数情報を生成する。状態解析部２２ｂは、生成した状態情報をパフォーマンス評価部２３ｂに供給する。
【０１１５】
パフォーマンス評価部２３ｂは、状態解析部２２ｂが解析した被訓練者の状態と、スピーチパフォーマンス指標データベース２４ｂに記憶されるパブリックスピーキング評価情報とに基づき、被訓練者によるパブリックスピーキングのパフォーマンスを評価する。ここで、本実施形態においてパブリックスピーキング評価情報とは、被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報である。被訓練者によるパブリックスピーキングのパフォーマンスとは、例えば、被訓練者の緊張度である。パフォーマンス評価部２３ｂは、被訓練者の緊張度を示す緊張度評価情報を生成する。また、パフォーマンス評価部２３ｂは、話速評価情報を生成する。
【０１１６】
スピーチパフォーマンス指標データベース２４ｂには、パブリックスピーキング評価情報が記憶される。
パフォーマンス評価提示部２５ｂは、パフォーマンス評価部２３ｂから緊張度評価情報と、話速評価情報とを取得する。パフォーマンス評価提示部２５ｂは、取得した緊張度評価情報と、取得した話速評価情報を、画像生成部２８ｂを通じて、表示装置１３ｂに表示させることにより提示する。
【０１１７】
画像生成部２８ｂは、聴衆の目の画像が含まれる視野画像Ｉ５を生成する。画像生成部２８ｂは、生成した視野画像Ｉ５を表示装置１３ｂに供給する。
表示装置１３ｂは、画像生成部２８ｂから取得した視野画像Ｉ５を表示する。つまり、表示装置１３ｂは、聴衆の目の画像が含まれる視野画像Ｉ５を表示する。
音声記録装置１０ｂとは、例えば、端末装置２ｂに設けられるマイクである。音声出力装置１４ｂとは、例えば、スピーカーである。
【０１１８】
図１６は、本実施形態の支援装置Ｄ１ｂの視野画像Ｉ５の一例を示す図である。視野画像Ｉ５には、仮想的な発表会場の風景の画像に重ねて、聴衆の目の画像である目画像Ｅ１〜目画像Ｅ８と、緊張度評価情報を示す画像Ｆ１ｂと、話速評価情報を示す画像Ｆ２ｂとが表示されている。目画像Ｅ１〜目画像Ｅ８は、実写に近いＣＧの目の画像である。目画像Ｅ１〜目画像Ｅ８において、目の画像の周囲は、半透明の肌色を用いて塗られている。目画像Ｅ１〜目画像Ｅ８のうち目画像Ｅ５以外は、目が開かれた状態の画像である。目画像Ｅ１〜目画像Ｅ８のうち目画像Ｅ５は、目が閉じられた状態の画像である。
【０１１９】
被訓練者は、目画像Ｅ１〜目画像Ｅ８が表示されているだけで、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。バーチャルオーディエンスを表示する場合に比べて、目画像Ｅ１〜目画像Ｅ８を表示した場合の方が、支援装置Ｄ１ｂの負荷は軽減される。支援装置Ｄ１ｂによれば、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができる。
【０１２０】
図１７は、本実施形態の支援装置Ｄ１ｂの視野画像Ｉ６の一例を示す図である。視野画像Ｉ６は、視野画像Ｉ５における実写に近いＣＧの目の画像である目画像Ｅ１〜目画像Ｅ８の代わりに、イラストの目の画像である目画像Ａ１〜目画像Ａ８が表示されている。
被訓練者は、イラストの目の画像である目画像Ａ１〜目画像Ａ８が表示されているだけで、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
【０１２１】
［まとめ］
上述した実施形態に係る支援装置Ｄ１ｂによれば、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができる。
なお、支援装置Ｄ１ｂは、テレビ会議におけるプレゼンテーションの実践において用いられてもよい。支援装置Ｄ１ｂがテレビ会議におけるプレゼンテーションの実践において用いられる場合、視野画像において聴衆の目の画像は表示されず、緊張度評価情報を示す画像と、話速評価情報を示す画像と被訓練者Ｔ１ｃが次に見るべき位置とが表示される。
【０１２２】
図１８は、本実施形態の訓練装置Ｄ１ｃの概観の形態の一例を示す図である。訓練装置Ｄ１ｃは、一例としてＨＭＤである。被訓練者Ｔ１ｃは、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
【０１２３】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
【０１２４】
なお、上記の実施形態における各装置が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【０１２５】
なお、各装置が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１２６】
また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１２７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１２８】
１…ヘッドマウントディスプレイ、２…携帯端末、３…生体センサ、１０、１０ｂ…音声記録装置、１１…動きセンサ、１１ｂ…カメラ、１２…画像生成装置、１３、１３ｂ…表示装置、１４、１４ｂ…音声出力装置、２０…音声解析部、２１…頭部動作解析部、２２…心拍変動解析部、２２ｂ…状態解析部、２３、２３ｂ…パフォーマンス評価部、２４、２４ｂ…スピーチパフォーマンス指標データベース、２５、２５ｂ…パフォーマンス評価提示部、２６…動作指標提示部、２７…音声メッセージ生成部、２８ｂ…画像生成部、Ｄ１、Ｄ２、Ｄ３、Ｄ１ａ、Ｄ１ｂ…支援装置、Ｔ１、Ｔ２、Ｔ３、Ｔ１ｃ…被訓練者、Ｔ１ａ…講演者、ＨＤ１、ＨＤ２、ＨＤ３、ＨＤ１ａ…頭部の向き、ＤＤ１、ＤＤ２、ＤＤ３、ＤＤ１ａ…頭部の向きに相対する向き、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｅ７、Ｅ８、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８…目画像
【図１】
2018180503.tif 000003
【図２】
2018180503.tif 000004
【図３】
2018180503.tif 000005
【図４】
2018180503.tif 000006
【図５】
2018180503.tif 000007
【図６】
2018180503.tif 000008
【図７】
2018180503.tif 000009
【図８】
2018180503.tif 000010
【図９】
2018180503.tif 000011
【図１０】
2018180503.tif 000012
【図１１】
2018180503.tif 000013
【図１２】
2018180503.tif 000014
【図１３】
2018180503.tif 000015
【図１４】
2018180503.tif 000016
【図１５】
2018180503.tif 000017
【図１６】
2018180503.tif 000018
【図１７】
2018180503.tif 000019
【図１８】
2018180503.tif 000020