(57)【要約】【課題】本発明は、プレゼンテーションシステムに関するものであり、特に、聴講者に効率的にプレゼンテーションを行うこと、及び聴講者の情報を効率的に収集することを目的としている。【解決手段】本発明は上述の目的を達成するため、聴講者の目に直接情報を表示するヘッドマウントディスプレイと、大型の表示装置と、この表示装置にプレゼンテーション資料を送信する情報機器と、プレゼンターの操作するレーザーポインタとでプレゼンテーションシステムを構成するものである。 【選択図】    図５
2015087399.tif 000002
【特許請求の範囲】
【請求項１】
聴講者の目に直接情報を表示するヘッドマウントディスプレイと、このヘッドマウントディスプレイにプレゼンテーション用の情報を送信する情報機器と、プレゼンターの操作するレーザーポインタとで構成されるプレゼンテーションシステムであって、前記ヘッドマウントディスプレイと前記レーザーポインタは、前記情報機器と無線で接続されていることを特徴とするプレゼンテーションシステム。
【請求項２】
前記ヘッドマウントディスプレイは、このヘッドマウントディスプレイを装着する聴講者の注視点を検出する注視点センサを有し、この注視点情報を前記情報機器に無線送信することを特徴とする請求項１項記載のプレゼンテーションシステム。
【請求項３】
前記レーザーポインタの操作によって、任意の情報を前記ヘッドマウントディスプレイに表示することを特徴とする請求項１項記載のプレゼンテーションシステム。
【請求項４】
前記情報機器は、前記注視点情報から特徴点を抽出する統計解析手段を有することを特徴とする請求項２項記載のプレゼンテーションシステム。
【請求項５】
前記レーザーポインタは撮像素子を有し、レーザー光のポインティング位置の画像を撮像し、その画像内の文字の翻訳を前記ヘッドマウントディスプレイに表示することを特徴とする請求項３項記載のプレゼンテーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレゼンテーション時における、プレゼンターと聴講者との間の情報通信システムに関するものであり、特に聴講者が装着したヘッドマウントディスプレイと、プレゼンター側の情報機器とで構成される情報通信システムに関するものである。
【背景技術】
【０００２】
従来からプレゼンテーション用にレーザーポインタが用いられている。このレーザーポインタは、プロジェクタを用いて、スクリーンにプレゼンテーション資料を投影しながら、プレゼンテーションする者が、所定の文字或いは画像に注目させるためにその指標したい部位に、高輝度の赤色或いは緑色のレーザー光を照射するものである。
従来、このレーザー光の照射に加えて、パーソナルコンピュータ上のプレゼンテーション資料のページの切替を行う機構を有するものが知られている。また、手振れ防止機能を有するものや、直線や円などを描画する機能を有するものが知られている。
【０００３】
また、情報表示装置として、ヘッドマウントディスプレイが知られている。これによって、現実空間の物体と、仮想オブジェクトを重ねて表示することが可能である。
例えば、下記の特許文献１、２には、透過型のヘッドマウントディスプレイが示されている。
また、特許文献３には、プレゼンターがヘッドマウントディスプレイを装着し、このヘッドマウントディスプレイに、プレゼンテーション用の画像を表示するプレゼンテーションシステムが示されている。
【０００４】
【特許文献１】特開２０１１−１２８２２０号
【特許文献２】特開２０１２−７４９５９号
【特許文献３】特開２０１０−１５１９９７号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来、プレゼンテーションにおいては、プレゼンターが伝えたいことを、画像情報を用いて説明しても、聴講者がそれを見ていなければ、その意図した情報は伝わらない。
また、聴講者が何に興味を示したか、或いはどの部分に注目したか等の情報を得ることは困難であった。
【０００６】
本発明は特許文献１や２に示されたような、ヘッドマウントディスプレイを、特許文献３のようにプレゼンターに装着させるのではなく、聴講者に装着させるプレゼンテーションシステムに関するものである。
特に、無線通信によって、プレゼンターが、聴講者に任意に必要な追加情報を提供し、また、聴講者の視線データを収集することを可能とするものである。
また、レーザーポインタの操作によって、ヘッドマウントディスプレイへの情報の提供を行うものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、請求項１に記載するように、聴講者の目に直接情報を表示するヘッドマウントディスプレイと、このヘッドマウントディスプレイにプレゼンテーション用の情報を送信する情報機器と、プレゼンターの操作するレーザーポインタとで構成されるプレゼンテーションシステムであって、前記ヘッドマウントディスプレイと前記レーザーポインタは、前記情報機器と無線で接続されていることを特徴としている。
【０００８】
また、請求項２に記載するように、ヘッドマウントディスプレイは、これを装着する聴講者の注視点を検出する注視点センサを有し、この注視点情報を前記情報機器に無線送信することを特徴としている。
また、請求項３に記載するように、レーザーポインタの操作によって、任意の情報を前記ヘッドマウントディスプレイに表示することを特徴としている。
更に、レーザーポインタでポインティングした文字を翻訳可能とすること、この翻訳結果を前記ヘッドマウントディスプレイに表示すること、また聴講者の視線情報を前記情報機器で収集すること特徴とするものである。
【発明の効果】
【０００９】
本発明によれば、プレゼンテーションを効率的に行うことが可能となり、また、聴講者の情報を効率的に収集することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。
【実施例】
【００１１】
以下、図に沿って本発明の一実施例を説明する。
図１は本発明の一実施例に用いられるヘッドマウントディスプレイ１を示す斜視図である。
２は利用者の耳から伸びるフレーム部であり、ここに表示装置３と撮像装置４とが内臓されている。
表示装置３は透明な基板に透明な電極を設けた透過型の表示装置である。
また、図２に示すように、フレーム部２には、表示装置３、撮像装置４の他に、表示制御や視線の演算を行うＣＰＵ５、及びメモリ６が設けられている。
表示装置３は、プレゼンテーション用の追加情報を表示するためのものであり、無線装置７によって受信された情報が表示される。
撮像装置４は、利用者の注視点を検出するためのものであり、撮像装置４で撮像された画像によって、利用者が何を見ているかの情報を得て、無線装置７によって、プレゼンター側の情報機器、例えばパーソナルコンピュータに送信される。
【００１２】
図３は、プレゼンターが用いるレーザーポインタを示す斜視図である。
本体ケース１１の先端付近には、赤色、或いは緑色レーザーダイオード１２、及び撮像素子１４が配置されている。
１５は制御回路であり、レーザーポインタモードでは、レーザーダイオード１２の点灯制御を行い、翻訳モードでは、レーザーダイオード１２を点灯すると共に撮像素子１４を駆動し、撮像データを順次取り込み、撮像された画像から文字を抽出し文字認識をすると共に、この認識された文字の文字列の翻訳を行う。
１６は着脱可能なメモリであり、撮像素子１４で撮像された画像及び翻訳された文字情報が記録される。
１７は表示装置であり、翻訳された文字が表示される。
１８は無線装置であり、メモリ１６に記録された撮像素子１４で撮像された画像及び翻訳された文字情報が、情報機器であるパーソナルコンピュータ、或いはスマートフォンなどに送信される。
尚、撮像素子１４で撮像された画像から移動量を計算し、その移動量を、前記外部機器であるパーソナルコンピュータに送信して、パーソナルコンピュータ操作用のマウスとして利用することが可能となっている。
１９は、バッテリであり、レーザーダイオード１１から無線装置１８までの各構成部品に電力を供給する。
【００１３】
図４に本実施例のレーザーポインタの外形を示す。
レーザースイッチ２０を指で押すと、レーザーポインタモードとなり、押している間レーザー光線の照射が行われる。
尚、本実施例では、翻訳スイッチ２１によって翻訳モードとなり、英単語の日本語への翻訳が行われる。
翻訳スイッチ２１を指で押すと、翻訳モードとなり、押している間レーザーダイオード１２が点灯すると共に、所定時間毎に連続して撮像素子１４による撮像が行われ、制御回路１５内の内部メモリに記録される。
翻訳スイッチ２１を指で押した後、指を離すと、指で押した状態から指を離した状態までの連続画像から１つの合成された画像が作成される。
この合成画像から文字が１文字づつ抽出されて、その文字の認識が開始される。
順次、１文字づつその文字画像の特徴点が抽出され、最も確からしい文字が、制御回路１５内に設けられた文字データベースから選択される。
前述の合成画像から抽出された全ての文字の認識が完了すると、その文字認識結果が、メモリ１６に記録されとと共に、表示装置１７に表示される。
【００１４】
文字の認識が終了すると、その文字列の翻訳が開始される。
文字認識の結果であるローマ字の文字列の解析が行われ、これに対応する日本語が、制御回路１５内に設けられた日本語データベースから選択される。
この翻訳結果は、メモリ１６に記録されとと共に、表示装置１７に表示される。
【００１５】
メモリ１６は、メモリ用開口２２に着脱可能に接続される。
メモリ１６は、デジタルカメラなどに用いられているメモリーカードによって構成されており、外部機器であるパーソナルコンピュータに接続して、記録された画像データ、認識文字、及び翻訳結果をパーソナルコンピュータで読み出すことが可能となっている。
【００１６】
続いて、図５を用いて、プレゼンテーション時に、翻訳結果を外部のヘッドマウントディスプレイ１０で表示する場合を説明する。
この実施例では、投影スクリーン３１の投影画像３２上の位置をレーザーポインタ１１の撮像素子１４で抽出して文字認識し、文字認識された文字列を翻訳した後に、パーソナルコンピュータ３６を介して、ヘッドマウントディスプレイ１０に送信し、このヘッドマウントディスプレイ１０の表示装置に表示するものである。
【００１７】
この実施例では、翻訳スイッチ２１が押されている間、レーザー照射が行われる。
また、撮像素子は遠隔に焦点が設定されており、レーザーポインタの照射ポイント付近が順次連続して撮像される。
【００１８】
翻訳スイッチ２１を指で押した後、指を離すと、指で押した状態から指を離した状態までのレーザー照射点付近の連続画像から１つの合成された画像が作成される。
この合成画像から文字が１文字づつ抽出されて、その文字の認識が開始される。
順次、１文字づつその文字画像の特徴点が抽出され、最も確からしい文字が、制御回路１５内に設けられた文字データベースから選択される。
前述の連続画像から抽出された全ての文字の認識が完了すると、その文字認識結果が、メモリ１６に記録されると共に、表示装置１７に表示される。
【００１９】
文字の認識が終了すると、その文字列の翻訳が開始される。
文字認識の結果であるローマ字の文字列の解析が行われ、これに対応する日本語が、制御回路５内に設けられた日本語データベースから選択される。
この翻訳結果は、メモリ１６に記録され、表示装置１７に表示されると共に、無線装置１８によって、パーソナルコンピュータ３６に送信される。
【００２０】
パーソナルコンピュータ３６で受信された翻訳結果は、ヘッドマウントディスプレイ１０に無線送信される。
したがって、ヘッドマウントディスプレイ１０の表示は、プレゼンターのレーザーポインタによって行われることになる。
【００２１】
一方、ヘッドマウントディスプレイ１０は、撮像装置３で撮像したデータを、所定の間隔で、パーソナルコンピュータ３６に送信する。
プレゼンテーションの間に、複数の聴講者の撮像データが大量に、パーソナルコンピュータ３６に送信されることになり、この大量に収集されたビックデータは、パーソナルコンピュータ３６の統計解析手段により分析されて、特徴点が抽出される。
そのプレゼンテーションについての、聴講者の注視点から得られる特徴点は、プレゼンターの今後のプレゼンテーションの参考となる。
【００２２】
尚、上記実施例では、聴講者の注視点を検出する注視点センサとして、ヘッドマウントディスプレイの前面に設けられた撮像装置を用いているが、撮像装置によって、聴講者の目を直接撮影して、その目の動きを検出してもよい。
また、３軸の加速度センサや、角速度センサを設けて、ヘッドマウントディスプレイの連続的な方向変化を検出して、これを注視点データとして送信してもよい。
この方向変化を注視点データとすることで、画像データの解析により注視点を検出するよりも簡単に、聴講者の注目した事項や、プレゼンテーション時の注目してほしい事項と、聴講者の興味を引いた事項のずれの把握などが可能となる。
【００２３】
また、レーザーポインタにも、３軸の加速度センサや、角速度センサを設けて、レーザーポインタの示す方向の変化と、ヘッドマウントディスプレイの方向変化の相関関係を解析してもよい。
【００２４】
本発明は、上述の実施例に限定されるものではなく、例えば、ヘッドマウントディスプレイは、透過型でなくてもよい。
また、レーザーポインタで翻訳するのではなく、パーソナルコンピュータで翻訳してもよい。
尚、ヘッドマウントディスプレイに表示する情報は、翻訳に限定されるものではなく、注意書きや、追記情報などであってもよい。
【００２５】
また、情報機器は、複数のヘッドマウントディスプレイに同じ情報を配信するだけでなく、個々のヘッドマウントディスプレイに夫々別の情報を配信してもよい。例えば、聴講者Ａの注視点の画像を、他の聴講者のヘッドマウントディスプレイに配信してもよい。
【産業上の利用可能性】
【００２６】
本発明は、新規なプレゼンテーションシステムに関するものであり、特に聴講者に効率的にプレゼンテーションを行うことを可能にすると共に、及び聴講者の情報を効率的に収集することを可能とするものである。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明の実施例の形態に係るヘッドマウントディスプレイの外形を示す図である。
【図２】図２は、本発明の実施例の形態に係るヘッドマウントディスプレイの構成を示す図である。
【図３】図３は、本発明の実施例の形態に係るレーザーポインタの構成を示す図である。
【図４】図４は、本発明の実施例の形態に係るレーザーポインタの外形を示す図である。
【図５】図５は、本発明の実施例にかかるシステムを示す図である。
【符号の説明】
【００２８】
１：ヘッドマウントディスプレイ
４：撮像装置（注視点センサ）
１０：レーザーポインタ
３６：パーソナルコンピュータ（情報機器）
【図１】
2015087399.tif 000003
【図２】
2015087399.tif 000004
【図３】
2015087399.tif 000005
【図４】
2015087399.tif 000006
【図５】
2015087399.tif 000007