(57)【特許請求の範囲】
【請求項１】
スクリーンと、
前記スクリーンの裏面に画像光を照射する照射装置と、
前記スクリーンの表面に光を照射するポインタと、
前記スクリーンの裏面を撮影する撮影装置と、
前記撮影装置による撮影結果が入力される制御装置と、
を備え、
前記制御装置は、前記撮影結果から、前記スクリーンの表面に照射された前記光をポインティング位置として検出し、
前記スクリーンの表面に照射された前記光は、二つに分かれた第一の光および第二の光からなり、
前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、前記ポインタの向きに対応するポインティング向きを算出する
ことを特徴とするポインティング位置検出システム。
【請求項２】
スクリーンと、
前記スクリーンの裏面に画像光を照射する照射装置と、
前記スクリーンの表面に光を照射するポインタと、
前記スクリーンの裏面を撮影する撮影装置と、
前記撮影装置による撮影結果が入力される制御装置と、
を備え、
前記制御装置は、前記撮影結果から、前記スクリーンの表面に照射された前記光をポインティング位置として検出し、
前記スクリーンの表面に照射された前記光は、線状、楕円形状または多角形状を呈し、
前記制御装置は、前記撮影結果における線状、楕円形状または多角形状を呈する前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを算出する
ことを特徴とするポインティング位置検出システム。
【請求項３】
前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なる
ことを特徴とする請求項１または請求項２に記載のポインティング位置検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティング位置検出システムに関する。
【背景技術】
【０００２】
従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある（特許文献１参照）。
【特許文献１】特開２０００−２７６２９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術は、表示画像におけるポインティング位置の検出を表示画像の表面を撮影手段により撮影することにより行っているため、表示画像と撮影装置との間に障害物が介在した場合にポインティング位置の検出を行うことができなくなるというおそれがある。
【０００４】
本発明は、前記した問題を解決すべく創案されたものであり、ポインティング位置の検出が障害物により邪魔されることを防ぐことが可能なポインティング位置検出システムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、請求項１に記載の発明であるポインティング位置検出システムは、スクリーンと、前記スクリーンの裏面に画像光を照射する照射装置と、前記スクリーンの表面に光を照射するポインタと、前記スクリーンの裏面を撮影する撮影装置と、前記撮影装置による撮影結果が入力される制御装置と、を備え、前記制御装置は、前記撮影結果から、前記スクリーンの表面に照射された前記光をポインティング位置として検出し、前記スクリーンの表面に照射された前記光は、二つに分かれた第一の光および第二の光からなり、前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、前記ポインタの向きに対応するポインティング向きを算出する。
【０００６】
かかる構成によると、ポインティング位置の検出をスクリーンを裏面から撮影することにより行うので、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
また、かかる構成によると、利用者によるポインティング向きの設定が容易になる。
さらに、かかる構成によると、二つの点光源を利用することで、簡易な構成により、利用者によるポインティング向きの設定が可能となる。
また、請求項２に記載の発明であるポインティング位置検出システムは、スクリーンと、前記スクリーンの裏面に画像光を照射する照射装置と、前記スクリーンの表面に光を照射するポインタと、前記スクリーンの裏面を撮影する撮影装置と、前記撮影装置による撮影結果が入力される制御装置と、を備え、前記制御装置は、前記撮影結果から、前記スクリーンの表面に照射された前記光をポインティング位置として検出し、前記スクリーンの表面に照射された前記光は、線状、楕円形状または多角形状を呈し、前記制御装置は、前記撮影結果における線状、楕円形状または多角形状を呈する前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを算出する。
【０００７】
また、請求項３に記載の発明は、請求項１又は請求項２に記載のポインティング位置検出システムであって、前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なることを特徴とする。
【０００８】
かかる構成によると、ポインティング位置の検出におけるポインタによる光とスクリーンの表示画像との混同を防ぐことができる。
例えば、照射装置により照射される画像光を可視光とし、ポインタにより照射される光を赤外光とし、撮影装置を赤外光撮影装置とすることが好適である。
【発明の効果】
【００１３】
本発明によれば、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１５】
（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図２は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図３は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図４は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図４における方向は、ポインタの利用者による使用状態での方向を基準としている。
【００１６】
図１に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０に表示された２次元画像と３次元画像表示スクリーン２０に表示された３次元画像とを連動させて利用者に見せるためのシステムである。
図２に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０と、３次元画像表示スクリーン２０と、２次元画像光照射装置３０と、３次元画像光照射装置４０と、一以上のポインタ５０と、撮影装置６０と、３次元位置センサ７０と、制御装置８０と、一以上の液晶シャッタメガネ９０と、を備えている。
ここで、２次元画像表示スクリーン１０と、２次元画像光照射装置３０と、撮影装置６０と、制御装置８０（の一部）との組み合わせが、ポインティング位置検出システムを構成している。
【００１７】
図１および図３に示すように、２次元画像表示スクリーン１０は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。
【００１８】
図１および図３に示すように、３次元画像表示スクリーン２０は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。
【００１９】
図３に示すように、２次元画像光照射装置３０は、リアプロジェクション型であり、２次元画像表示スクリーン１０の裏面側（下側）に設けられている。２次元画像光照射装置３０は、ミラーＭを介して、後記する２次元画像に基づいて２次元画像光を照射することにより、２次元画像表示スクリーン１０に２次元画像（本実施形態では、平面図）を表示させる。
【００２０】
図２に示すように、３次元画像光照射装置４０は、リアプロジェクション型であり、３次元画像表示スクリーン２０の裏面側に設けられている。３次元画像光照射装置４０は、後記する３次元画像データに基づいて３次元画像光を照射することにより、３次元画像表示スクリーン２０に３次元画像を表示させる。
なお、３次元画像光照射装置４０は、フロントプロジェクション型であり、３次元画像表示スクリーンの表面側に設けられていてもよい。
３次元画像光照射装置４０は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ９０と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、３次元画像光照射装置４０は、右眼用画像光および左眼用画像光を２台の３次元画像光照射装置で照射する。２台の３次元画像光照射装置は、互いに直交する偏光（直線偏光または円偏光）板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して３次元画像を観察する。
なお、立体視をせずに３次元画像を表示する場合には、３次元画像表示スクリーン２０および３次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
【００２１】
本発明において、２次元画像とは、ｘｙ平面のみが表れる画像であり、３次元画像とは、ｘｙｚ座標が表れ、立体を表示する画像である。
【００２２】
図１および図３に示すように、一以上のポインタ５０は、２次元画像に対応して２次元方向の位置・向き（本実施形態では、水平面における位置・向き）等を入力するための装置である。
図４に示すように、ポインタ５０は、台座部５１と、本体部５２と、を備えている。
台座部５１は、底板部５１ａ、後板部５１ｂおよび上板部５１ｃからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部５１ｃには二つの穴（図示せず）が設けられており、二つの穴に後記する第一の筒部５２ａおよび第二の筒部５２ｂをそれぞれ挿通させた状態で、上板部５１ｃの上面と本体部５２の下面とが固定されている。
本体部５２は、第一の赤外線ＬＥＤ５２ａ１を有する第一の筒部５２ａと、第二の赤外線ＬＥＤ５２ｂ１を有する第二の筒部５２ｂと、第一のボタン５２ｃと、第二のボタン５２ｄと、を備えている。
第一の赤外線ＬＥＤ５２ａ１は、第一の筒部５２ａの先端に設けられており、赤外線（第一の光）を照射する。
第二の赤外線ＬＥＤ５２ｂ１は、第二の筒部５２ｂの先端に設けられており、赤外線（第二の光）を照射する。
第一のボタン５２ｃは、本体部５２の上面の前方左側に設けられている。
第二のボタン５２ｄは、本体部５２の上面の前方右側に設けられている。
第一のボタン５２ｃおよび第二のボタン５２ｄは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号は、制御装置８０に出力される。
【００２３】
ポインタ５０は、水平な２次元画像表示スクリーン１０の表面（上面）に台座部５１の底板部５１ａの下面が接するように置かれて使用される。かかる使用状態において、ポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、鉛直下方に赤外線（第一の光および第二の光）を照射する。
【００２４】
図３に示すように、撮影装置６０は、２次元画像表示スクリーン１０の裏面側（下側）に設けられており、２次元画像表示スクリーン１０の裏面を撮影する。撮影結果は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）を含んでいる。
撮影装置６０は、２次元画像表示スクリーン１０の裏面を１台または複数台連動で撮影し、撮影結果（画像）をポインタ５０による光（第一の光および第二の光）の取得に支障がない程度の頻度（例えば、１／３０秒ごと）と分解能（例えば、２次元画像表示スクリーン１０のサイズの１／１０００）とで制御装置８０に送信する。
撮影装置６０としては、ＣＣＤカメラ、ＣＭＯＳカメラ等が使用可能である。
撮影装置６０の撮影可能な波長領域は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光（第一の光および第二の光）を撮影可能であればよい。
撮影結果は、制御装置８０に出力される。
【００２５】
図２に示すように、３次元位置センサ７０は、利用者の操作入力に基づいて３次元位置データ（３次元座標）を生成するための装置である。
３次元位置センサ７０としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された３次元位置データは、制御装置８０に出力される。
【００２６】
制御装置８０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０、撮影装置６０および３次元位置センサ７０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図５に示すように、制御装置８０は、ボタン入力信号取得部８１と、ポインティング位置取得部８２と、３次元位置データ取得部８３と、記憶部８４と、データ更新部８５と、２次元画像データ生成部８６と、３次元画像データ生成部８７と、を備えている。
【００２７】
ボタン入力信号取得部８１は、ポインタ５０から第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号（ボタン入力信号）を取得する。
取得されたボタン入力信号は、データ更新部８５に出力される。
【００２８】
ポインティング位置取得部８２は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、２次元画像表示スクリーン１０上におけるポインタ５０の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、ポインタ５０の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部８２は、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成する。生成された２次元位置データおよび２次元向きデータは、データ更新部８５に出力される。
【００２９】
３次元位置データ取得部８３は、３次元位置センサ７０からの入力信号に基づいて、３次元位置データを取得する。３次元位置データ取得部８３は、３次元位置センサ７０からの入力と、３次元画像データに反映された空間データ８４ａとに基づいて、３次元画像に対応する３次元位置データを生成する。
取得された３次元位置データは、データ更新部８５に出力される。
【００３０】
記憶部８４は、画像として表示される空間に関する空間データ８４ａと、この空間内に配置される物体に関する物体データ８４ｂと、を記憶している。
空間データ８４ａは、物体が配置される空間に関するデータであり、例えば、住居の一室（床、壁、天井など）の形状、寸法、座標、都市部の一区画（道路、川など）の形状、寸法、座標に関するデータである。
物体データ８４ｂは、物体のＩＤ、種類、形状、寸法、座標（位置）、向きなどを関連付けたものである。物体データ８４ｂの移動可能な範囲は、空間データ８４ａの規定する範囲内である。
ここで、物体データ８４ｂにおける座標（位置）に関するデータが、特許請求の範囲における物体位置データである。
【００３１】
データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された物体データを更新する。
また、データ更新部８５は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部８４に記憶させることができる。
また、データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された空間データ８４ａを更新する。
【００３２】
２次元画像データ生成部８６は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、２次元画像データを生成する。
２次元画像データ生成部８６は、２次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された２次元画像データは、２次元画像光照射装置３０に出力される。
【００３３】
３次元画像データ生成部８７は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、３次元画像データを生成する。
３次元画像データ生成部８７は、３次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された３次元画像データは、３次元画像光照射装置４０に出力される。
また、立体視を行う場合には、３次元画像データ生成部８７は、３次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、３次元画像データ生成部８７は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ９０に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、２台の３次元画像照射装置にそれぞれ出力される。
【００３４】
（明るさ補正について）
記憶部８４は、明るさ補正テーブル８４ｃをさらに記憶している。
明るさ補正テーブル８４ｃは、キャリブレーション（位置較正）時に作成される。
例えば、矩形を呈する２次元画像表示スクリーン１０の四隅および中央にマークを表示させた状態で、利用者にポインタ５０の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル８４ｃに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）領域付近の明るさを取得し、それらの最大値（光点）および最小値（背景）を明るさ補正テーブル８４ｃに記憶させる。ポインティング位置算出部８２は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部８２は、光領域の明るさが小さい場合に明るさが大きくなるように補正する（明るさフィルタ処理）。
【００３５】
（位置補正について）
記憶部８４は、位置補正テーブル８４ｄをさらに記憶している。
位置補正テーブル８４ｄは、撮影装置６０による撮影結果における位置と、２次元画像表示スクリーン１０に表示される２次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション（位置較正）時に作成される。
第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、第一の光および第二の光の撮影結果が撮影装置６０の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル８４ｄは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル８４ｄが複数のパターンを備えている場合には、ポインティング位置取得部８２は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部８２は、位置補正テーブル８４ｄを用いて、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１によるポインティング位置として決定する。
なお、ポインティング位置算出部８２は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置６０のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部８２は、キャリブレーション時に取得された２次元画像表示スクリーン１０の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置（またはポインティング位置）を補正する。
【００３６】
（ＬＥＤの識別について）
記憶部８４は、ＬＥＤ識別データ８４ｅを記憶している。
ＬＥＤ識別データ８４ｅは、一以上のポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１を識別するためのデータである。
各赤外線ＬＥＤは、他の赤外線ＬＥＤと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。ＬＥＤ識別データ８４ｅは、これら固有の明るさまたは点灯タイミングと赤外線ＬＥＤのＩＤとを関連付けて記憶している。
ポインティング位置取得部８２は、ＬＥＤ識別データ８４ｅを用いて、ポインティング位置がどの赤外線ＬＥＤによるものであるかを識別する。
なお、ポインティング位置取得部８２は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一ＬＥＤによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ５０の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部８２は、前記したロジックの判定でＬＥＤの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。
【００３７】
図２に示すように、一以上の液晶シャッタメガネ９０は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ９０は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に３次元画像を見せる。
【００３８】
続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図６を参照して説明する。
図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部８２が、撮影装置６０の撮影結果に基づいて画像データを取得する（ステップＳ１）。
続いて、ポインティング位置取得部８２が、フィルタ処理を行い、画像データからノイズを除去する（ステップＳ２）。
続いて、ポインティング位置取得部８２が、明るさ補正テーブル８４ｃを用いて、明るさフィルタ処理を行う（ステップＳ３）。
続いて、ポインティング位置取得部８２が、画像データからポインタ５０による光に関するデータを分離する（ステップＳ４）。
続いて、ポインティング位置取得部８２が、位置補正テーブル８４ｄを用いて、ポインティング位置を算出する（ステップＳ５）。すなわち、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置として決定する。ここで、ポインティング位置取得部８２は、第一の赤外線ＬＥＤ５２ａ１のポインティング位置をポインタ５０のポインティング位置として決定する。
続いて、ポインティング位置取得部８２が、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置に基づいて、ポインタ５０のポインティング向きを算出する（ステップＳ６）。
続いて、ポインティング位置取得部８２が、ＬＥＤ識別データ８４ｅを用いて、光すなわちポインティング位置のＩＤ（光を照射するＬＥＤのＩＤ）を識別する（ステップＳ７）。
続いて、ポインティング位置取得部８２が、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成し、生成された２次元位置データおよび２次元向きデータをデータ更新部８５に出力する（ステップＳ８）。
【００３９】
続いて、本発明の第一の実施形態に係る画像表示システム１の使用例について、２次元画像および３次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図７ないし図９は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【００４０】
図７（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上に置かれると、ポインティング位置取得部８２がポインティング位置およびポインティング向きを算出し、データ更新部８５は、ポインティング位置およびポインティング向きを記憶部８４に記憶させる。３次元画像データ生成部８７は、ポインタ４０のポインティング位置およびポインティング向きを３次元画像における視点位置および視点向きとして３次元画像データを生成し、図７（ｂ）に示すように、３次元画像表示スクリーン２０に３次元画像を表示させる。
【００４１】
そして、図８（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、３次元画像データ生成部８７は、移動したポインタ５０のポインティング位置（視点位置）に基づいて３次元画像データを再生成し、図８（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点位置に基づく３次元画像を表示させる。
【００４２】
また、図９（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、３次元画像データ生成部８７は、向きを変えたポインタ５０のポインティング位置（視点向き）に基づいて３次元画像データを再生成し、図９（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点の向きに基づく３次元画像を表示させる。
ここで、図９（ｃ）に、向き変更前における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と、向き変更後における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ３，ｙ３）、（ｘ４，ｙ４）との関係を示す。ポインティング位置取得部８２は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部８４に記憶させており、３次元画像データ生成部８７は、視点位置および視点向きに基づいて３次元画像データを生成する。
【００４３】
なお、図７（ａ）、図８（ａ）および図９（ａ）に示すように、２次元画像データ生成部８６は、記憶部８４に記憶された視野角データに基づいて、３次元画像として表示される部分を視野角として表示させてもよい。
すなわち、２次元画像データ生成部８６は、３次元画像の視点位置および視野に対応する視点位置および視野角を２次元画像に表示可能な２次元画像データを生成する。このようにすることで、３次元画像における視点を２次元画像で確認することができる。
【００４４】
図１０ないし図１２は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。以下の図では、ポインタ５０を１つだけ図示したが、複数のポインタ５０を同時に操作することも可能である。
【００４５】
図１０（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上でベッドＢを選択すると（例えば、ベッドＢの画像上でポインタ５０の第一のボタン５２ｃをクリック）、データ更新部８５は、ベッドＢを選択した旨のデータを記憶部８４に記憶させる。そして、図１０（ａ）および図１０（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢを囲む枠線を生成し、表示させる。
【００４６】
そして、図１１（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、データ更新部８５は、記憶部８４に記憶されたベッドＢの位置データを更新する。そして、図１１（ａ）および図１１（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの移動を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
【００４７】
また、図１２（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、データ更新部８５は、記憶部８４に記憶されたベッドＢの向きデータを更新する。そして、図１２（ａ）および図１２（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの向き変更を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置をベッドＢの位置として決定するとともにポインティング向きをベッドＢの向きとして決定して記憶部８４内のデータを更新しており、３次元画像データ生成部８７は、更新されたベッドＢの位置および向きを反映した３次元画像データを生成する。
【００４８】
第一の使用例および第二の使用例以外にも、画像表示システム１は、空間データ８４ａを更新することにより空間のレイアウト（間取り、広さ等）を変更したり、物体データ８４ｂを更新することにより物体の大きさを変更したり、２次元画像および３次元画像の縮尺率を変更したりすることができる。
また、３次元位置センサ７０からの入力に基づいて、空間データ８４ａおよび物体データ８４ｂを更新することも可能である。
また、これらの更新内容の切換は、例えばＧＵＩを利用して実行可能である。
また、ポインタ５０および撮影装置６０または３次元位置センサ７０による２次元画像または３次元画像における２点を指示する入力と記憶部８４に記憶されたデータとに基づいて、２次元画像データ生成部８６および３次元画像データ生成部８７の少なくとも一方が、指示された２点間の距離を表示可能な２次元画像データまたは３次元画像データを生成して出力し、２点間の距離の表示を利用者に見せる構成であってもよい。この場合、３次元画像における距離の表示は、引き出し線とともに、常に利用者（観察者）視点方向に向くように３次元画像内に配置されることが好ましい。
【００４９】
すなわち、データ更新部８５は、位置データ入力手段（ポインタ５０および撮影装置６０ならびに３次元位置センサ７０の少なくとも一方）により入力された二つの位置データ（２次元位置データおよび３次元位置データの少なくとも一方）に基づいて空間データ８４ａおよび物体データ８４ｂにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部８４に記憶させ、２次元画像データ生成部８６は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、３次元画像データ生成部８７は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図１３は、３次元画像における距離の表示例を示す図である。
図１３（ａ）において、３次元位置センサ７０の入力により、ベッドＢ１，Ｂ２が選択され、３次元画像データ生成部８７は、ベッドＢ１，Ｂ２間の最短距離ＡＡＡＡを表示可能な３次元画像データを生成する。
そして、図１３（ｂ）に示すように、３次元位置センサ７０の入力により、ベッドＢ２の配置が変更される場合には、変更された配置に対応するベッドＢ１，Ｂ２間の最短距離ＢＢＢＢを表示可能な３次元画像データが生成される。
【００５０】
また、空間データ８４ａは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部８５は、物体データ８４ｂにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ８４ａ内に物体の配置禁止領域データを設定し、ポインタ５０および撮影装置６０または３次元位置センサ７０による物体（例えば、病室における前記したベッドＢ、都市空間における建築物等）を配置禁止領域に移動させようとする指示が入力された場合に、２次元画像データ生成部８６および３次元画像データ生成部８７が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。
【００５１】
本発明の第一の実施形態に係る画像表示システム１は、以下の効果を奏する。
画像表示システム１は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ５０の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム１は、２次元画像と３次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物（工場、学校、病院等）等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、２次元画像および３次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを３次元画像として表示する場合には、実物大で表示することが望ましい。
特に、２次元画像を見ながらポインタ５０を用いて物体の移動を指示し、実際の移動結果を３次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、３次元画像の視点を２次元位置データを入力可能なポインタ５０または３次元位置センサ７０を用いて変更したり、３次元画像の視点を２次元画像を見ることで確認することが可能となる。
【００５２】
（第二の実施形態）
続いて、本発明の第二の実施形態に係る画像表示システム２について、第一の実施形態に係る画像表示システム１との相違点を中心に説明する。
図１４は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図１５は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【００５３】
図１４に示すように、本発明の第二の実施形態に係る画像表示システム２は、制御装置８０に代えて、制御装置（第一の制御装置）１１０および制御装置（第二の制御装置）１２０を備えている。
【００５４】
制御装置１１０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１１０は、ボタン入力信号取得部１１１と、ポインティング位置取得部１１２と、記憶部（第一の記憶部）１１４と、データ更新部（第一のデータ更新部）１１５と、２次元画像データ生成部１１６と、データ送受信部（第一のデータ送受信部）１１８と、を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係るボタン入力信号取得部８１、ポインティング位置取得部８２、記憶部８４、データ更新部８５および２次元画像データ生成部８６とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１１４に記憶された空間データ１１４ａ、物体データ１１４ｂ、明るさ補正テーブル１１４ｃ、位置補正テーブル１１４ｄおよびＬＥＤ識別データ１１４ｅは、記憶部８４に記憶された空間データ８４ａ、物体データ８４ｂ、明るさ補正テーブル８４ｃ、位置補正テーブル８４ｄおよびＬＥＤ識別データ８４ｅと同様である。
【００５５】
制御装置１２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１２０は、３次元位置データ取得部１２３と、記憶部（第二の記憶部）１２４と、データ更新部（第二のデータ更新部）１２５と、３次元画像データ生成部１２７と、データ送受信部（第二のデータ送受信部）１２８を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係る３次元位置データ取得部８３、記憶部８４、データ更新部８５および３次元画像データ生成部８７とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１２４に記憶された空間データ１２４ａおよび物体データ１２４ｂは、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂと同様である。
【００５６】
データ送受信部１１８，１２８は、例えばＬＡＮ回線を介して、記憶部１１４，１２４の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部１１４，１２４の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム２は、データ送受信部１１８，１２８を介して記憶部１１４，１２４に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム１と同様の効果を奏することができる。
【００５７】
以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置８０，１１０，１２０は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１に代えて非円形状（例えば、線状、楕円形、多角形等）を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。
【図面の簡単な説明】
【００５８】
【図１】本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。
【図２】本発明の第一の実施形態に係る画像表示システムを示すブロック図である。
【図３】本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。
【図４】本発明の第一の実施形態に係るポインタを示す斜視図である。
【図５】本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。
【図６】図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
【図７】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図８】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図９】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１０】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１１】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１２】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１３】３次元画像における距離の表示例を示す図である。
【図１４】本発明の第二の実施形態に係る画像表示システムを示すブロック図である。
【図１５】本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【符号の説明】
【００５９】
１，２  画像表示システム
１０    ２次元画像表示スクリーン
２０    ３次元画像表示スクリーン
３０    ２次元画像光照射装置
４０    ３次元画像光照射装置
５０    ポインタ
６０    撮影装置
７０    ３次元位置センサ
８０    制御装置
９０    液晶シャッタメガネ
【図１】
0004814700.tif 000002
【図２】
0004814700.tif 000003
【図３】
0004814700.tif 000004
【図４】
0004814700.tif 000005
【図５】
0004814700.tif 000006
【図６】
0004814700.tif 000007
【図７】
0004814700.tif 000008
【図８】
0004814700.tif 000009
【図９】
0004814700.tif 000010
【図１０】
0004814700.tif 000011
【図１１】
0004814700.tif 000012
【図１２】
0004814700.tif 000013
【図１３】
0004814700.tif 000014
【図１４】
0004814700.tif 000015
【図１５】
0004814700.tif 000016