(57)【特許請求の範囲】
【請求項１】
スクリーンに少なくとも１つの表示オブジェクトを含む表示画像を投射する投射手段と、
前記スクリーンの映像を撮像する撮像手段と、
前記撮像手段の出力に基づいて、前記スクリーン上に一時的に位置固定されたポインタの座標位置を検出するポインタ検出手段と、
前記ポインタ検出手段によって検出された前記ポインタと前記表示オブジェクトとを関係付けるポインタ−表示オブジェクト関係付け処理手段と、
前記ポインタ−表示オブジェクト関係付け処理手段の出力に基づいて、前記ポインタに関係付けられた前記表示オブジェクトの表示を制御する表示画像制御手段と、
を含み、
前記ポインタ検出手段は、前記撮像手段によって撮像された撮像画像のフレーム差分処理を行って、その撮像画像の動きを検出する動き検出部を備え，
前記表示画像制御手段は、前記動き検出部の出力に基づいて、撮像画像上の動きが停止したときに、前記投射手段の映像光の投射を停止させて、前記ポインタ検出手段に前記ポインタの座標検出を行わせること、
を特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記表示画像制御手段は、前記ポインタ検出手段に前記ポインタの座標検出を行わせるときに、前記投射手段に無地画像を投射させること、
を特徴とする表示装置。
【請求項３】
スクリーンに少なくとも１つの表示オブジェクトを含む表示画像を投射し、そのスクリーンの映像を撮像する表示装置の制御に用いられる情報記録媒体であって、
前記スクリーン上に一時的に位置固定されたポインタの座標位置を検出する第１の情報と、
前記第１の情報に基づいて検出された前記ポインタと前記表示オブジェクトとを関係付ける第２の情報と、
前記第２の情報に基づいて前記ポインタに関係付けられた前記表示オブジェクトの表示を制御する第３の情報と、
を含み、
前記第１の情報は、撮像された撮像画像のフレーム差分処理を行って、その撮像画像の動きを検出する情報を備え、
前記第３の情報は、前記動き検出する情報に基づいて、撮像画像上の動きが停止したときに、映像光の投射を停止させて、前記ポインタの座標検出を行わせること、
を特徴とする情報記録媒体。
【請求項４】
請求項３に記載の情報記録媒体において、
前記第３の情報は、前記第１の情報に基づいて、前記ポインタの座標検出を行わせるときに、無地画像を投射させること、
を特徴とする情報記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、液晶プロジェクタ等の投射装置によって表示画像を投射して、プレゼンテーション等を行うのに適した表示装置、その表示装置に用いるポインタ及びその表示装置の制御に好適に用いられる情報記録媒体に関するものである。
【０００２】
【従来の技術】
近年、液晶プロジェクタ等の投射型表示装置により、電子画像情報を拡大投影する形態でのプレゼンテーションが広く行われている。現状、この様なプレゼンテーションにおいては事前に準備した内容（コンテンツ）をそのまま表示するのが一般的であるが、必要に応じて、表示内容を表示スクリーン上で直接操作、加工できるならば、会議や教育といった双方向的なプレゼンテーションにおいて、従来のプレゼンテーションツールであるホワイトボードや黒板に代わり表示装置を使用できる可能性が広がる。
【０００３】
画像情報の操作とは、表示されている一部分の移動、削除が考えられ、表示スクリーン上でその操作対象位置を示す必要がある。この位置を示すのに、スクリーン上に位置固定でき、かつ手で持って任意の位置に移動可能な物体であるポインタを用い、ポインタの位置に連動して表示画像の部分の表示位置を制御できるならば、イメージである表示画像をあたかも実存する物体を操作するかの様に操作できるため、感覚的に使い易いプレゼンテーション用の表示装置を実現できる。
【０００４】
用途はプレゼンテーションとは違うものの、ポインタとして指示ピンを用いる大画面スクリーンインターフェースの従来例として、特開平２−１７１８２２号をとりあげる。
【０００５】
特開平２−１７１８２２号は、処理業務に対応する指示ピンを、図面画像が表示された大画像スクリーンに設けられた入力手段に差し込むことにより、その入力手段から座標位置と処理業務が入力され、処理手段により図面画像の座標位置部分に対して処理業務を行う大画面システム装置を開示している。
【０００６】
図１１は、従来の大画面システム装置の一例を示す図である。オペレータがコンソール１上のリクエストパネル２により図を選択し、ＣＰＵ５は、選択された図に対応してディスク装置６から図面データを取り出し、ビデオプロジェクタ８を通して、大画面スクリーン７に表示する。このスクリーン７上の目的の箇所の座標位置に、オペレータが処理する業務内容に応じて抵抗値を変えた指示ピン３を突き指す。そして、座標入力装置９がピン３をプロセスＩ／Ｏで受け止め、その座標位置とピン３の抵抗値により処理業務内容をＣＰＵ５に伝え、その処理操作を受けたＣＰＵ５が処理を実行し、その処理結果をプロジェクタ８を通じてスクリーン７に出力する。
【０００７】
【発明が解決しようとする課題】
しかし、前述した従来の装置は、専用の座標入力装置９及び指示ピン３が必要であり、また、業務内容に応じて抵抗値を変えた指示ピン３が必要であるので、制約された業務内容の範囲内でしか使用できず、汎用性がなかった。
【０００８】
本発明の目的は、前述した課題を解決して、スクリーン上から表示画像の操作を行うことができ、汎用性があり、しかも、使い易いプレゼンテーション用の表示装置、ポインタ及び情報記録媒体を提供することである。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、第１の発明は、スクリーンに少なくとも１つの表示オブジェクトを含む表示画像を投射する投射手段と、前記スクリーンの映像を撮像する撮像手段と、前記撮像手段の出力に基づいて、前記スクリーン上に一時的に位置固定されたポインタの座標位置を検出するポインタ検出手段と、前記ポインタ検出手段によって検出された前記ポインタと前記表示オブジェクトとを関係付けるポインタ−表示オブジェクト関係付け処理手段と、前記ポインタ−表示オブジェクト関係付け処理手段の出力に基づいて、前記ポインタに関係付けられた前記表示オブジェクトの表示を制御する表示画像制御手段と、を含む表示装置である。このため、スクリーン上でポインタを操作すれば、関係付けされた表示オブジェクトの移動などの操作を行うことができ、表示オブジェクトを物体のようにして取り扱うことができる。
【００１０】
第２の発明は、第１の発明の表示装置において、前記ポインタ検出手段は、前記撮像手段によって撮像された撮像画像のフレーム差分処理を行って、その撮像画像の動きを検出する動き検出部を備え，前記表示画像制御手段は、前記動き検出部の出力に基づいて、撮像画像上の動きが停止したときに、前記投射手段の映像光の投射を停止させて、前記ポインタ検出手段に前記ポインタの座標検出を行わせること、を特徴とする表示装置である。このため、映像光の影響を受けず、確実にポインタを検出できる。また、撮像画像上の動きを検出してそれが停止したとき、つまりポインタを移動を完了したときのみ投射を停止するので、表示画像の品質にほとんど影響を与えない。
【００１１】
第３の発明は、第２の発明の表示装置において、前記表示画像制御手段は、前記ポインタ検出手段に前記ポインタの座標検出を行わせるときに、前記投射手段に無地画像を投射させること、を特徴とする表示装置である。このため、無地画像を投射するので、ポインタと背景とのコントラストが向上し、ポインタの検出がしやすくなった。
【００１２】
第４の発明は、第１の発明の表示装置において、前記ポインタ−表示オブジェクト関係付け処理手段は、前記表示オブジェクトの基準位置と前記ポインタとの距離を演算して、その距離が所定値以下となったときに、前記ポインタと前記表示オブジェクトとを関係付けすること、を特徴とする表示装置である。このため、ポインタと表示オブジェクトが容易に関係付けれ、スクリーン上に複数の表示オブジェクトがある場合にも、区別することができる。
【００１３】
第５の発明は、第１の発明の表示装置において、前記ポインタは、少なくとも１つのスイッチ部と、前記画像表示制御手段との間で前記スイッチ部のスイッチ信号の通信を行う通信部とを備えること、を特徴とする表示装置である。このため、表示オブジェクトの移動などの他に、表示オブジェクトの範囲の指定などの操作を行うことができる。
【００１４】
第６の発明は、第５の発明の表示装置において、前記ポインタは、前記表示オブジェクトを、前記投射手段の表示画面上で任意に設定可能であること、を特徴とする表示装置である。従って、予めデータ作成時に表示オブジェクトの設定しなくてもよいし、また、その場で範囲や個数を設定できるので、表示や操作の自由度が広がる。
【００１５】
第７の発明は、少なくとも１つのスイッチ部と、前記スイッチ部のスイッチ信号の通信を行う通信部と、スクリーンに吸着する吸着手段と、を備えたポインタである。このため、表示オブジェクトの色々な操作をスクリーン画面上から行うことができる。
【００１６】
第８の発明は、スクリーンに少なくとも１つの表示オブジェクトを含む表示画像を投射し、そのスクリーンの映像を撮像する表示装置の制御に用いられる情報記録媒体であって、前記スクリーン上に一時的に位置固定されたポインタの座標位置を検出する第１の情報と、前記第１の情報に基づいて検出された前記ポインタと前記表示オブジェクトとを関係付ける第２の情報と、前記第２の情報に基づいて前記ポインタに関係付けられた前記表示オブジェクトの表示を制御する第３の情報と、を含む情報記録媒体である。
【００１７】
第９の発明は、第８の発明の情報記録媒体において、前記第１の情報は、撮像された撮像画像のフレーム差分処理を行って、その撮像画像の動きを検出する情報を備え，前記第３の情報は、前記動き検出する情報に基づいて、撮像画像上の動きが停止したときに、映像光の投射を停止させて、前記ポインタの座標検出を行わせること、を特徴とする情報記録媒体である。
【００１８】
第１０の発明は、第９の発明の情報記録媒体において、前記第３の情報は、前記第１の情報に基づいて、前記ポインタの座標検出を行わせるときに、無地画像を投射させること、を特徴とする情報記録媒体である。
【００１９】
第１１の発明は、第８の発明の情報記録媒体において、前記第２の情報は、前記表示オブジェクトの基準位置と前記ポインタとの距離を演算して、その距離が所定値以下となったときに、前記ポインタと前記表示オブジェクトとを関係付けすること、を特徴とする情報記録媒体である。
【００２０】
【発明の実施の形態】
以下、図面などを参照しながら、本発明の実施の形態をあげて、さらに詳細に説明する。
【００２１】
（第１実施形態）
図１は、本発明による表示装置の第１実施形態を示す図である。この実施形態の表示装置１０は、投射装置１１と、撮像装置１２と、ポインタ検出部１３と、ポインタ−表示オブジェクト関係付け処理部１４と、表示画像制御部１５等とを備えている。
【００２２】
投射装置１１は、スクリーン３０に少なくとも１つの表示オブジェクト３２を含む表示画面３１を投射するものであって、例えば、液晶プロジェクタなどが使用されている。撮像装置１２は、スクリーン３０の映像を撮像するものであって、例えば、ＣＣＤカメラなどが使用されている。
【００２３】
ポインタ検出部１３は、スクリーン３０上に、一時的に位置固定したポインタ２０の座標位置を検出するためのものである。ポインタ−表示オブジェクト関係付け処理部１４は、ポインタ２０と表示オブジェクト３１とを関係つけるためのものである。表示画像制御部１５は、ポインタ２０の位置により関係つけられた表示オブジェクト３１の表示を制御するためのものである。なお、ここでは、ポインタ検出部１３、ポインタ−表示オブジェクト関係付け処理部１４及び表示画像制御部１５は、１つのマイクロプロセッサユニット（ＭＰＵ）１６によって構成されている。ＭＰＵ１６は、マイクロプロセッサと周辺回路を含み、表示装置１０と独立して存在してもよいし、表示装置１０に内蔵してもよい。ポインタ２０は、スクリーン３０に一時的に固定できる永久磁石などの吸着手段が裏面に設けられた円盤状などの指示用の物体である。
【００２４】
図２は、本実施形態による表示装置の動作のメインルーチンを示すフローチャートである。ＭＰＵ１６は、撮像装置１２によって撮像された映像に基づいて、スクリーン３０上の撮像画像の動き検出処理を行い（Ｓ１００）、ついで、投射映像光の制御処理を行う（Ｓ２００）。なお、Ｓ１００及びＳ２００は、画面上の動きの停止ごとに、映像光の投射を停止して、座標検出を行う場合に必要であり、他の場合には、省略することも可能である。
【００２５】
次に、ＭＰＵ１６は、ポインタ座標の検出処理を行い（Ｓ３００）、さらに、ポインタ−オブジェクト関連付け処理（Ｓ４００）を行い、処理を継続するか否かを判断して（Ｓ５００）、肯定の場合には、Ｓ１００に戻り、否定の場合には、処理を終了する。
【００２６】
図３は、スクリーン上の動き検出処理を示すフローチャートである。スクリーン上の動き検出処理（Ｓ１００）は、動き検出がされたか否かを判断し（Ｓ１０１）、否定の場合には、処理を繰り返す。また、肯定の場合には、動き停止がされたか否かを判断し（Ｓ１０２）、否定の場合には、処理を繰り返し、肯定の場合には、処理を終了する。動き停止検出処理は、それぞれ撮像画像をフレーム間差分処理する。このフレーム差分処理は、撮像装置１２が撮っているフレーム（例えば、１秒間に３０フレーム）の差分をとることにより、画像の動きを検出するものである。
【００２７】
図４は、投射映像制御処理を示すフローチャートである。投射映像制御処理（Ｓ２００）は、「全白」の無地画像の投射を開始し（Ｓ２０１）、ついで、スクリーン撮像を行う（Ｓ２０２）。このスクリーン撮像は、後述するポインタ座標の検出処理を行い（Ｓ３００）及びポインタ−オブジェクト関連付け処理（Ｓ４００）で用いるためのものである。次に、「全白」の無地画像の投射を終了し（Ｓ２０３）、通常の映像光投射状態に戻す。
【００２８】
図５は、ポインタ座標の検出処理を示すフローチャートである。ポインタ座標の検出処理（Ｓ３００）は、例えば、画像内の領域分けと各領域の面積を解析する画像処理手法である、ラベリング処理などを行って、一定範囲の面積をもつ画像を抽出する（Ｓ３０１）。そして、重心座標の検出を行って（Ｓ３０２）、処理を終了する。重心座標の検出は、一定範囲の面積をもつ画像が複数ある場合には、おのおのの座標について行う。
【００２９】
図６は、ポインタ−オブジェクト関連付け処理を示すフローチャートである。ポインタ−オブジェクト関連付け処理（Ｓ４００）は、ポインタ２０がスクリーン３０上に追加されたか否かを判断する（Ｓ４０１）。例えば、ポインタ２０の数が増えたか否かによって判断する。Ｓ４０１において、肯定された場合には、そのポインタ２０は、表示オブジェクト３２のエリア内にあるか否かを判断し（Ｓ４０２）、否定の場合には、処理を終了する。Ｓ４０２において、肯定された場合には、そのポインタ２０と表示オブジェクト３２を関連付けして（Ｓ４０３）、否定された場合には、そのまま処理を終了する。
【００３０】
図７は、第１実施形態による表示装置の動作を説明する図である。スクリーン３０の投射画面３１上に、「１．目的」というタイトルの表示オブジェクト３２と、「２．構成」というタイトルの表示オブジェクト３３が投射されている。これらの表示オブジェクト３２，３３等は、表示画像のデータを作成するときに、その範囲が予め固定的に設定されているものとする。
【００３１】
いま、操作者がポインタ２２を画面上の表示オブジェクト３３の左上隅に置こうとしたとする。このとき、動き検出処理を行って、ポインタ２２及び手の動きを検出し（Ｓ１０１）、動きが停止した時点（Ｓ１０２）で、無地画像を投射して（Ｓ２０１）、スクリーン３０の撮像を行い（Ｓ２０２）、ポインタ２２の検出を行う（Ｓ３００）。動きが停止した時点で検出する理由は、ポインタ２２が固定されても、手が動いている場合があるからである。無地画像を投射する理由は、ポインタ２２と背景とのコントラストを向上させ、ポインタ２２の検出のミス等を防ぐためである。また、無地画像は、１〜数フレーム程度でよいので、目で見ても認識できず、表示画像への影響はない。
【００３２】
ポインタ２２が固定されると、一定範囲の面積の画像抽出を行い（Ｓ３０１）、各々の重心を座標を検出する（Ｓ３０２）。そして、ポインタ２２がスクリーン３０上に追加されたと判断され（Ｓ４０１）、ポインタ２２が表示オブジェクト３３の所定距離まで近づくと、表示オブジェクト３３のエリア内にあると判断され（Ｓ４０２）、そのポインタ２２と表示オブジェクト３３を関係付けられる（Ｓ４０３）。このように、スクリーン３０上のポインタ２２を検出し、そのポインタ２２と表示オブジェクト（表示情報の一部）３３を関係付けされる。
【００３３】
次に、ポインタ２２の操作を行うことによって、関係付けられた表示オブジェクト３３の操作をすることができる。例えば、図７（ｂ）に示すように、表示画面３１上のポインタ２２を矢印Ａのように移動することによって、表示オブジェクト３３の移動を行うことができる。このとき、ＭＰＵ１６（表示画像制御部１５）は、ある一組のポインタと表示オブジェクトの相対位置を一定に保つように制御している。また、スクリーン上に動き画像が検出され、かつ、その動きが停止した度に、ポインタの検出を行うので、複数のポインタを同時に使用することもできるし、一度移動したポインタを再び別の場所に移すことも可能である。このように、スクリーン３０上で表示オブジェクト３３を物理的に存在する物体のように取り扱うことができ、表示画面３１の操作を効率的に行うことができる。従って、感覚的に使いやすいプレゼンテーション用の表示装置とすることができる。
【００３４】
なお、ＭＰＵ１６（表示画像制御部１５）は、ある一組のポインタと表示オブジェクトについて、ポインタがスクリーン上から取り除かれた場合には、表示オブジェクトの表示を行わない。
【００３５】
第１実施形態によれば、スクリーン上を撮像装置で撮像するので、スクリーンやポインタに特別のものを使用することなく、表示オブジェクトの操作ができる、という利点がある。
【００３６】
（第２の実施形態）
図８は、本発明による表示装置の第２実施形態を示す図である。なお、第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。第２実施形態は、パソコン１７と、通信器付きのポインタ２０Ｂとを用いたものである。パソコン１７は、第１実施形態のＭＰＵ１６と略同じ機能をもつものであり、さらに、通信器１８を備えている。
【００３７】
図９（ａ），（ｂ）は、第２実施形態によるポインタを示す正面図，側面図である。この実施形態のポインタ２０Ｂは、円筒形の本体２１と、本体２１の裏側に形成され、スクリーン３０に一時的に固定可能な永久磁石などの吸着部２２と、本体２１の表側に設けられた押しボタン２３と、本体２１の内部に設けられ、押しボタン２３のオン信号によって外部に指示信号を発信する通信器２４等とを備えている。押しボタン２３は、マウスのボタンに相当し、例えば、アイコン上（又はアイコン付近）で押すことにより、クリックと同じ動作をさせることができる。つまり、ポインタ２０Ｂは、押しボタン２３によってアイコンの表示イメージを直接操作する感覚で使用できる。
【００３８】
図９（ｃ），（ｄ），（ｅ）は、ポインタの他の実施形態を示す正面図，回路図及び使用説明図である。この実施形態のポインタ２０Ｃは、前述した押しボタン２３の代わりに、反射型のフォトインタラプタ２５を設けたものである。フォトインタラプタ２５は、図９（ｄ）に示すように、ＬＥＤ２６と、フォトトランジスタ２７とから構成されている。そして、フォトトランジスタ２７は、図９（ｅ）に示すように、指によるＬＥＤ２６の反射光レベルを検出して、オン信号を出力することができる。
【００３９】
図１０は、第２実施形態による表示装置の動作（オブジェクトの認識）を説明する図である。第２実施形態の表示装置は、オブジェクト３４の第１の対角点Ａにポインタ２０Ｂを吸着して押しボタン２３をオンして指定し（Ｓ５０１）、その後に、第２の対角点Ｂにポインタ２０Ｂを吸着して押しボタン２３を再びオンして指定することによって（Ｓ５０２）、オブジェクト３４を認識することができる。従って、第２実施形態によれば、任意の位置及び大きさのオブジェクト３４を、プレゼンテーションの場で設定することができる。
【００４０】
なお、図１０（ｃ）に示すように、第１の対角点Ａは、ポインタ２０Ｂによって指定し、第２の対角点Ｂは、差し棒タイプのポインタ２０Ｄによって指定するようにしてもよい。
【００４１】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
【００４２】
（１）  ポインタ検出処理は、投射画像を全白にする例で説明したが、全黒であってもよい。また、無地の画像であれば、他の色で輝度を所定の値に設定するようにしてもよい。なお、投射画像を全黒にすることは、映像光の投射を停止することと等価である。
【００４３】
（２）  ポインタ検出処理は、面積検出を例に説明したが、ポインタの色を検出するようにしてもよい。このようにすれば、複数のポインタを容易に識別することができる。ポインタの形状は、円盤に限らず、矩形でもよいし、棒状にして、アンダーラインのように使用してもよいし、枠状にして、表示オブジェクトを囲むようにしてもよい。
【００４４】
（３）  吸着手段は、永久磁石を例に説明したが、吸盤や粘着テープ（再剥離可能な両面テープ等）を使用してもよい。
【００４５】
（４）  ポインタのスイッチは、表示オブジェクトの範囲の対角を指定する例で説明したが、アプリケーションのコントロールにも使用できる。例えば、メニューの表示，機能の選択，表示内容の切り替え（より詳細な内容を表示する）等を行うようにしてもよい。また、スイッチは、２つ以上であってもよい。スイッチを２回押すと、元の画面に戻るような使用方法であってもよい。
【００４６】
（５）  第２実施形態のようにパソコンを用いる場合には、上記実施形態の制御プログラムをプロッピーディスクやＣＤ−ＲＯＭその他の情報記録媒体に記憶しておくことができる。
【図面の簡単な説明】
【図１】本発明による表示装置の第１実施形態を示す図である。
【図２】第１実施形態による表示装置の動作のメインルーチンを示すフローチャートである。
【図３】第１実施形態による表示装置のスクリーン上の動き検出処理を示すフローチャートである。
【図４】第１実施形態による表示装置の投射映像制御処理を示すフローチャートである。
【図５】第１実施形態による表示装置のポインタ座標の検出処理を示すフローチャートである。
【図６】第１実施形態による表示装置のポインタ−オブジェクト関連付け処理を示すフローチャートである。
【図７】第１実施形態による表示装置の動作を説明する図である。
【図８】本発明による表示装置の第２実施形態を示す図である。
【図９】第２実施形態による表示装置のポインタを示す図である。
【図１０】第２実施形態による表示装置の動作（オブジェクトの認識）を説明する図である。
【図１１】従来の大画面システム装置の一例を示す図である。
【符号の説明】
１０  表示装置
１１  投射装置
１２  撮像装置
１２  ポインタ検出部
１４  ポインタ−表示オブジェクト関係付け処理部
１５  表示画像制御部
２０  ポインタ
３０  スクリーン３０
３１  表示画面
３２  表示オブジェクト
【図１】
0003804302.tif 000002
【図２】
0003804302.tif 000003
【図３】
0003804302.tif 000004
【図４】
0003804302.tif 000005
【図５】
0003804302.tif 000006
【図６】
0003804302.tif 000007
【図７】
0003804302.tif 000008
【図８】
0003804302.tif 000009
【図９】
0003804302.tif 000010
【図１０】
0003804302.tif 000011
【図１１】
0003804302.tif 000012