(57)【要約】【課題】専用の入力デバイスを用いずに投影画像に対する操作を検出して種々の機能を実現することができるプロジェクタ装置および操作検出方法を提供する。【解決手段】プロジェクタ装置は、スクリーンに投影画像を投射する投射装置２と、投影画像が投射されるスクリーンを含む撮像範囲を撮像するステレオカメラ３と、制御装置４とを備える。制御装置４は、ステレオカメラ３の２つの撮像素子から出力される２つの画像に基づいて撮像範囲の距離画像を生成する距離画像生成手段４１と、距離画像に基づいて、投影画像が投射されるスクリーンから所定の距離の範囲内に存在する物体を、投影画像に対して操作入力を行う入力部として検出する入力部検出手段４３と、検出された入力部の位置または動きに基づいて、投影画像に対する入力操作を解析する解析手段４６とを備える。【選択図】図５
2013061552.tif 000002
【特許請求の範囲】
【請求項１】
投影画像を投射面に投射する投射手段と、
前記投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、
複数の前記撮像素子が出力する複数の画像に基づいて、前記撮像範囲に存在する物体までの距離を表す距離情報を取得する距離取得手段と、
前記距離情報に基づいて、前記投射面から予め定めた所定距離の範囲内に存在する物体を、前記投影画像に対して入力操作を行う入力部として検出する入力部検出手段と、
前記入力部の前記投影画像上における位置または動きに基づいて、前記投影画像に対する入力操作を解析する解析手段と、を備えることを特徴とするプロジェクタ装置。
【請求項２】
前記入力部の候補となる物体の特徴量を記憶する記憶手段と、
複数の前記撮像素子のうち少なくとも１つが出力する画像と、前記特徴量とに基づいて、前記撮像範囲に存在する物体の中から前記入力部の候補となる物体を特定する候補特定手段と、をさらに備え、
前記入力部検出手段は、前記投射面から予め定めた所定距離の範囲内に存在する物体のうち、前記候補特定手段が特定した物体を前記入力部として検出することを特徴とする請求項１に記載のプロジェクタ装置。
【請求項３】
複数の前記撮像素子のうち少なくとも１つが連続的に出力する複数の画像に基づいて、前記入力部の動きを検出する動き検出手段をさらに備え、
前記解析手段は、前記動き検出手段が検出した前記入力部の動きに基づいて、前記投影画像に対する入力操作を解析することを特徴とする請求項１または２に記載のプロジェクタ装置。
【請求項４】
前記撮像手段は、前記撮像範囲の画像を複数の前記撮像素子に各々結像させる複数のレンズを有し、
複数の前記撮像素子は同一基板上に一体に設けられ、
複数の前記レンズは、一体形成されて複数の前記撮像素子に対向配置されていることを特徴とする請求項１〜３のいずれか一項に記載のプロジェクタ装置。
【請求項５】
投影画像を投射面に投射する投射手段と、
前記投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、を備えるプロジェクタ装置において実行される操作検出方法であって、
複数の前記撮像素子が出力する複数の画像に基づいて、前記撮像範囲に存在する物体までの距離を表す距離情報を取得するステップと、
前記距離情報に基づいて、前記投射面から予め定めた所定距離の範囲内に存在する物体を、前記投影画像に対して入力操作を行う入力部として検出するステップと、
前記入力部の前記投影画像上における位置または動きに基づいて、前記投影画像に対する入力操作を解析するステップと、を含むことを特徴とする操作検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタ装置および操作検出方法に関する。
【背景技術】
【０００２】
従来、スクリーンに投影画像を投射するプロジェクタ装置が知られている。プロジェクタ装置は、装置自体は小型でも大画面の画像を表示できるため、例えば、会議や講演において多数の聴衆に資料を見やすく表示するためのツールとして、広く利用されている。また近年では、プロジェクタ装置に対して、投影画像に絵や文字などを書き込めるようにする機能や、投影画像の拡大縮小、ページ送りなどの操作を簡便に行えるようにする機能を持たせることが求められ、そのような機能を実現するための技術開発が行われている。
【０００３】
例えば、特許文献１には、プロジェクタ装置の投影画像に絵や文字を書き込めるようにする技術が開示されている。この特許文献１に記載の技術は、ホワイトボード上に投射された投影画像をカメラで撮影するとともに、赤外光発光部と超音波発生部とを備えた電子ペンのホワイトボード上の位置を、赤外線受光部と超音波受信部とを備えた信号処理器により演算し、電子ペンのホワイトボード上の位置を、カメラで撮影した画像から求めた投影画像のホワイトボード上の位置によって正規化することで、投影画像上における電子ペンの位置を正確に得られるようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、プロジェクタ装置の投影画像に絵や文字を書き込むためには、赤外光発光部と超音波発生部を備えた電子ペンを用いる必要がある。また、投影画像が投射される投射面に、予め赤外線受光部と超音波受信部とを備えた信号処理器を設けておく必要がある。このように、特許文献１に記載の技術では、予め準備された環境で専用の入力デバイスを用いた場合にのみ、プロジェクタ装置の投影画像に絵や文字を書き込む機能が実現されるため、汎用性がなく、装置コストも嵩むといった問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、専用の入力デバイスを用いずに投影画像に対する操作を検出して種々の機能を実現することができるプロジェクタ装置および操作検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係るプロジェクタ装置は、投影画像を投射面に投射する投射手段と、前記投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、複数の前記撮像素子が出力する複数の画像に基づいて、前記撮像範囲に存在する物体までの距離を表す距離情報を取得する距離取得手段と、前記距離情報に基づいて、前記投射面から予め定めた所定距離の範囲内に存在する物体を、前記投影画像に対して入力操作を行う入力部として検出する入力部検出手段と、前記入力部の前記投影画像上における位置または動きに基づいて、前記投影画像に対する入力操作を解析する解析手段と、を備えることを特徴とする。
【０００７】
また、本発明に係る操作検出方法は、投影画像を投射面に投射する投射手段と、前記投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、を備えるプロジェクタ装置において実行される操作検出方法であって、複数の前記撮像素子が出力する複数の画像に基づいて、前記撮像範囲に存在する物体までの距離を表す距離情報を取得するステップと、前記距離情報に基づいて、前記投射面から予め定めた所定距離の範囲内に存在する物体を、前記投影画像に対して入力操作を行う入力部として検出するステップと、前記入力部の前記投影画像上における位置または動きに基づいて、前記投影画像に対する入力操作を解析するステップと、を含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、投影画像の投射面を含む撮像範囲に存在する物体の距離情報を取得し、投射面から予め定めた所定距離の範囲内に存在する物体を、投影画像に対して入力操作を行う入力部と認識して、その入力部の位置または動きに基づいて投影画像に対する入力操作を解析するので、専用の入力デバイスを用いずに投影画像に対する入力を検出して種々の機能を実現することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係るプロジェクタ装置の正面図である。
【図２】図２は、実施形態に係るプロジェクタ装置の内部構成を示すブロック図である。
【図３】図３は、スクリーンに投射された投影画像の大きさとステレオカメラの撮像範囲の大きさとの関係を示す図である。
【図４】図４は、ステレオカメラの構造の一例を説明する図である。
【図５】図５は、制御装置の機能構成を示す機能ブロック図である。
【図６】図６は、ステレオカメラを用いた距離計測の原理を説明する図である。
【図７】図７は、投影画像に文字や絵を書き込む操作を検出する例を説明する図である。
【図８】図８は、投影画像内に含まれるボタンの操作を検出する例を説明する図である。
【図９】図９は、投影画像のページ送りの操作を検出する例を説明する図である。
【図１０】図１０は、投影画像を拡大する操作や縮小する操作を検出する例を説明する図である。
【図１１】図１１は、制御装置による一連の処理を示すフローチャートである。
【図１２】図１２は、従来の台形補正処理の概要を示す図である。
【図１３】図１３は、ステレオカメラの各測距点の測距結果を距離に応じた濃淡で表した図である。
【図１４】図１４は、半導体ウェハ上に形成された多数の撮像素子のうちの２つを一体に切り出す様子を示す模式図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明に係るプロジェクタ装置および操作検出方法の実施の形態を詳細に説明する。
【００１１】
図１は、本実施形態に係るプロジェクタ装置１の正面図であり、図２は、本実施形態に係るプロジェクタ装置１の内部構成を示すブロック図である。
【００１２】
本実施形態に係るプロジェクタ装置１は、その正面（前面）１ａがスクリーン（投射面）１００と対向するように設置される。ここで、スクリーン１００は任意であり、例えば部屋の壁面やホワイトボードなど、様々なものをスクリーン１００として利用することができる。また、プロジェクタ装置１は、例えば、専用ケーブルもしくはＵＳＢ（Universal  Serial  Bus）ケーブルなどの汎用ケーブルを介して、パーソナルコンピュータなどの外部の情報処理装置（以下、ＰＣ１０１と表記する。）と、双方向に通信可能に接続される。なお、プロジェクタ装置１は、既知の無線通信プロトコルに従った無線通信により、ＰＣ１０１と双方向に通信可能に接続されてもよい。
【００１３】
プロジェクタ装置１の正面１ａ側には、図１に示すように、投射装置２の投射レンズ２ａと、ステレオカメラ３とが配設されている。また、プロジェクタ装置１の内部には、図２に示すように、投射装置２やステレオカメラ３に加えて、制御装置４、記憶装置５、および通信装置６が設けられている。
【００１４】
投射装置２は、制御装置４による制御のもとで、投射レンズ２ａを用いてスクリーン１００に投影画像を投射する。投射装置２がスクリーン１００に投射する投影画像は、例えば、ＰＣ１０１からプロジェクタ装置１に送られた画像である。つまり、ＰＣ１０１の表示部に表示されている画像が、投射装置２によって、投影画像としてスクリーン１００に投射される。なお、以下では便宜的に、スクリーン１００の横方向（プロジェクタ装置１の幅方向）に沿った方向をＸ方向、スクリーン１００の縦方向（プロジェクタ装置１の高さ方向）に沿った方向をＹ方向、スクリーン１００とプロジェクタ装置１とが対向する方向（プロジェクタ装置１の奥行き方向）に沿った方向をＺ方向と表記する。
【００１５】
ステレオカメラ３は、複数の撮像素子を備え、これら複数の撮像素子を用いて所定の撮像範囲を撮像する。ステレオカメラ３の撮像範囲は、少なくともスクリーン１００に投射された投影画像を含む、プロジェクタ装置１の正面１ａ前方の所定の範囲である。図３は、スクリーン１００に投射された投影画像の大きさとステレオカメラ３の撮像範囲の大きさとの関係を示す図である。ステレオカメラ３は、想定される投影画像の大きさ（スクリーン１００のサイズ）と、スクリーン１００からプロジェクタ装置１が設置される位置までの標準的な距離などを考慮して、スクリーン１００に投射される投影画像の大きさよりも広範囲を撮像できるように、撮像素子に光学像を結像するレンズの画角などが設計されている。
【００１６】
ここで、ステレオカメラ３の具体的な構造例について説明する。図４は、ステレオカメラ３の構造の一例を説明する図であり、図４（ａ）はステレオカメラ３の概略断面図、図４（ｂ）は複数の撮像素子（本例では２つの撮像素子３０ａ，３０ｂ）が形成された撮像素子基板３４の平面図である。ステレオカメラ３は、図４（ａ）に示すように、筐体３１と、レンズアレイ３２と、アパーチャアレイ３３と、撮像素子基板３４と、回路基板３５と、を備える。
【００１７】
筐体３１は、その内部に撮像素子基板３４および回路基板３５を収容する。また、筐体３１は、その前面側（図４（ａ）の上側）にて、レンズアレイ３２およびアパーチャアレイ３３を固定支持する。レンズアレイ３２およびアパーチャアレイ３３は、筐体３１により、撮像素子基板３４に対して位置決めされた状態で支持される。ステレオカメラ３の筐体３１は、その前面側がプロジェクタ装置１の正面１ａに向くように、プロジェクタ装置１の内部に配設される。
【００１８】
レンズアレイ３２は、Ｙ方向に沿って配列される一対のレンズ３２ａ，３２ｂが一体形成されてなる。レンズアレイ３２は、例えば、透明樹脂材を成形して作製される。レンズ３２ａは、撮像範囲の画像を撮像素子３０ａに結像させる光学部品である。レンズ３２ｂは、撮像範囲の画像を撮像素子３０ｂに結像させる光学部品である。
【００１９】
アパーチャアレイ３３は、２つのアパーチャを有し、一方のアパーチャからレンズ３２ａを露出させ、他方のアパーチャからレンズ３２ｂを露出させるように、レンズアレイ３２上に配置される。アパーチャアレイ３３は、２つのアパーチャ以外の部分で光を反射することで、レンズ３２ａ，３２ｂ以外の部分から筐体３１内部に光が入射することを防止する。
【００２０】
撮像素子基板３４には、２つの撮像素子３０ａ，３０ｂが所定の間隔で一体に形成されている。撮像素子３０ａは、レンズアレイ３２のレンズ３２ａと対向し、撮像素子３０ｂは、レンズアレイ３２のレンズ３２ｂと対向する。レンズアレイ３２は、レンズ３２ａが撮像素子３０ａの中心と一致し、レンズ３２ｂが撮像素子３０ｂの中心と一致するように位置決めされている。撮像素子３０ａの中心と撮像素子３０ｂの中心との間の距離、つまりレンズアレイ３２のレンズ３２ａとレンズ３２ｂとの光軸間の距離は、基線長と呼ばれる。本実施形態では、基線長は５〜３０ｍｍ程度を想定している。
【００２１】
撮像素子３０ａ，３０ｂは、例えば図４（ｂ）に示すように、半導体ウェハ上に周知の半導体プロセスによって一体に形成されたＣＣＤやＣＭＯＳなどの２次元イメージセンサである。各撮像素子３０ａ，３０ｂの撮像領域（受光面）３０ａ１，３０ｂ１には、多数の受光素子（画素）が格子状に配列されている。
【００２２】
レンズアレイ３２のレンズ３２ａとレンズ３２ｂは、光軸が互いに平行であり、画角も同じである。また、これらレンズ３２ａ，３２ｂは、それぞれ入射する被写体光が対応する各撮像素子３０ａ，３０ｂの撮像領域３０ａ１，３０ｂ１に結像するような焦点距離を有している。
【００２３】
回路基板３５には、撮像素子３０ａ，３０ｂの出力信号を処理する信号処理回路が形成されている。回路基板３５は、例えば、撮像素子基板３５の背面（撮像素子３０ａ，３０ｂが形成された面とは逆の面）側に配置されている。本実施形態では、ステレオカメラ３の回路基板３５に、撮像素子３０ａ，３０ｂが出力するアナログ信号に対してノイズ除去処理や増幅、ＡＤ変換などを行うＡＦＥ（アナログフロントエンド）回路が実装されているものとする。また、本実施形態では、回路基板３５に、温度センサおよび温度補正回路が設けられているものとする。温度補正回路は、温度センサの検出値を用いて、温度変化に起因する撮像素子３０ａ，３０ｂの出力誤差を補正する。この温度補正回路による補正処理により、温度変化によってレンズアレイ３２が膨張または収縮し、レンズ３２ａ，３２ｂ間の距離（基線長）が変化したとしても、正しい出力が得られるようにしている。
【００２４】
制御装置４は、記憶装置５を利用しながら各種の演算処理を行って、プロジェクタ装置１の動作を統括的に制御する。この制御装置４は、例えば、制御プログラムを実行するＣＰＵや、ステレオカメラ３から出力される撮像範囲の画像信号（デジタルデータ）を処理するＤＳＰ（Digital  Signal  Processor）、入出力インターフェース回路などを備えた制御用ＩＣ（Integrated  Circuit）として構成することができる。
【００２５】
記憶装置５は、制御装置４が各種の演算を行うために用いる記憶装置であり、画像を一時的に保持するフレームメモリや、ＣＰＵのワークエリアとして利用されるＲＡＭ、制御プログラムや各種の制御用データが格納されるＲＯＭなどを含む。
【００２６】
通信装置６は、プロジェクタ装置１がＰＣ１０１との間で通信を行うための各種制御を実施する。
【００２７】
図５は、本実施形態のプロジェクタ装置１において特徴的な制御装置４の機能構成を示す機能ブロック図である。これら図５に示す各機能構成は、例えば、制御装置４のＣＰＵが制御プログラムを実行することによって実現される。また、これら各機能構成のうちの一部または全部を、例えばＡＳＩＣ（Application  Specific  Integrate  Circuit）やＦＰＧＡ（Field-Programmable  Gate  Array）などの専用のハードウェアにより構成することもできる。
【００２８】
制御装置４は、スクリーン１００に投射された投影画像に対する操作者の操作入力を検出し、その操作入力に応じた処理を実行するための機能構成として、図５に示すように、距離画像生成手段（距離情報取得手段）４１と、候補特定手段４２と、入力部検出手段４３と、位置検出手段４４と、動き検出手段４５と、解析手段４６と、画像処理手段４７と、を備える。なお、制御装置４は、これらの機能のほかに、ステレオカメラ３の画像を利用したオートフォーカス機能および台形補正機能を備えるが、これらの機能については後述する。
【００２９】
距離画像生成手段４１は、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂが出力する２つの画像に基づいて、ステレオカメラ３の撮像範囲の距離画像を生成する。距離画像は、ステレオカメラ３の撮像範囲内に存在する様々な物体について、ステレオカメラ３の位置（つまりプロジェクタ装置１の設置位置）を起点とした各物体までの距離を表す画像（距離情報）である。なお、本実施形態では距離情報を距離画像として取得する例を説明するが、これに限られるものではない。
【００３０】
例えば、距離画像生成手段４１は、まず２つの撮像素子３０ａ，３０ｂが出力する２つの画像の対応関係を、例えば窓相関法などの既知の方法により特定する。窓相関法は、一方の画像に設定した窓領域との相関値が高い領域を、他方の画像から検索する処理である。相関値としては、例えば画像の輝度情報を利用することができる。
【００３１】
距離画像生成手段４１は、２つの撮像素子３０ａ，３０ｂが出力する２つの画像の対応関係を特定したら、次に、以下の原理により、ステレオカメラ３の撮像範囲内に存在する各物体（領域）までの距離を算出し、距離画像を生成する。なお、本実施形態では、ステレオカメラ３の撮像範囲内に存在する物体の距離情報を距離画像として取得するが、物体のＸＹ方向の位置とプロジェクタ装置１からの距離（Ｚ方向の位置）を特定できる情報を得られればよく、距離画像以外の情報を用いるようにしてもよい。
【００３２】
図６は、ステレオカメラ３を用いた距離計測の原理を説明する図である。ステレオカメラ３の撮像範囲に物体Ｍが存在する場合、物体Ｍの光学像（被写体像）は、レンズ３２ａを介して撮像素子３０ａに結像するとともに、レンズ３２ｂを介して撮像素子３０ｂに結像する。撮像素子３０ａに結像する被写体像をｍａ、撮像素子３０ｂに結像する被写体像をｍｂとすると、撮像素子３０ａ，３０ｂ上における被写体像ｍａが結像する画素位置と被写体像ｍｂが結像する画素位置とは、視差Δだけ離れている。
【００３３】
ここで、レンズ３２ａ，３２ｂの光軸間の距離（基線長）をＤ、レンズ３２ａ，３２ｂと物体Ｍとの間の距離をＬ、レンズ３２ａ，３２ｂの焦点距離をｆとし、Ｌがｆよりも十分に大きな値であるとすると、下記の式（１）が成り立つ。
Ｌ＝Ｄ×ｆ／Δ  ・・・（１）
【００３４】
上記式（１）において、Ｄとｆは既知の値であるため、２つの撮像素子３０ａ，３０ｂが出力する２つの画像から視差Δを検出することで、ステレオカメラ３の撮像範囲に存在する物体Ｍまでの距離Ｌを算出することができる。
【００３５】
距離画像生成手段４１は、例えば、２つの撮像素子３０ａ，３０ｂが出力する２つの画像の対応する窓領域のそれぞれについて、上記の方法によって距離Ｌを算出することにより、ステレオカメラ３の撮像範囲内に存在する物体までの距離を表す距離画像を生成する。
【００３６】
候補特定手段４２は、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂのうち、少なくとも一方が出力する画像を用いて、ステレオカメラ３の撮像範囲内に存在する物体の中から、スクリーン１００に投射された投影画像に対する操作入力を行う入力部の候補となる物体を特定する。本実施形態では、投影画像に対する操作入力を行う入力部として、例えば、スクリーン１００に接触している、もしくはスクリーン１００に極めて近い位置にある操作者の指を想定する。この場合、指の形状（細長い棒状）や指の色（肌色）などの指を特徴付ける情報が、記憶装置５に特徴量として記憶されている。
【００３７】
候補特定手段４２は、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂのうち、少なくとも一方が出力する画像を解析し、例えば既知のパターンマッチングなどの手法により、この画像の中から記憶装置５に記憶されている特徴量との相関が高い物体を検出する。そして、候補特定手段４２は、画像の中からパターンマッチングなどにより検出した物体を、入力部の候補として特定する。例えば、指の特徴量が記憶装置５に記憶されている場合、候補特定手段４２は、ステレオカメラ３の撮像範囲内に存在する人の指を入力部の候補として検出する。なお、候補特定手段４２は、操作者の指だけでなく、例えば、一般的な形状のペンやポインタなど、その特徴量を記憶装置５に記憶させておくことで、様々な物体を入力部の候補として検出することができる。
【００３８】
入力部検出手段４３は、距離画像生成手段４１により生成された距離画像を用いて、スクリーン１００からプロジェクタ装置１側に向かって所定の距離の範囲内に存在する物体を、投影画像に対する操作入力を行う入力部として検出する。具体的には、入力部検出手段４３は、まず距離画像生成手段４１により生成された距離画像からスクリーン１００を特定して、スクリーン１００までの距離（Ｚ方向の位置）を求める。次に、入力部検出手段４３は、距離画像からスクリーン１００までの距離との差分が所定の距離の範囲内である物体を探索する。そして、入力部検出手段４３は、得られた物体の形状が例えば操作者の指などの予め定めた形状に近ければ、その物体を入力部として検出する。なお、所定の距離は、例えば１００〜１５０ｍｍ程度である。
【００３９】
ここで、入力部の検出に用いる距離画像は、２つの撮像素子３０ａ，３０ｂが出力する画像の正確な対応付けが困難なため、物体の輪郭などが不正確である場合が多い。また、距離画像は色の情報を持たないため、例えば操作者の指などの入力部を距離画像のみから正しく検出することは難しい。そこで、入力部検出手段４３は、距離画像を用いてスクリーン１００から所定の距離の範囲内に存在する物体を探索し、距離画像から該当する物体が探索されたら、その物体のうち、候補特定手段４２によって入力部の候補として特定された物体を、入力部として検出する。なお、距離画像から探索された物体と候補特定手段４２によって入力部の候補として特定された物体との対応付は、例えば、画像のＸＹ平面上における座標位置の情報を用いればよい。また、距離画像から入力部を精度よく検出できる場合は、入力部検出手段４３は、距離画像のみから入力部を検出するようにしてもよい。この場合は、入力部検出手段４３は不要となる。
【００４０】
位置検出手段４４は、入力部検出手段４３が検出した入力部のＸ方向およびＹ方向における位置、より詳しくは、例えば操作者の指が入力部として検出された場合、スクリーン１００に投射された投影画像上における指先の位置を検出する。指先は、指の形状から特定することができる。また、画像のＸＹ平面上における指先の位置と投影画像の位置との関係から、投影画像上における指先の位置を検出することができる。
【００４１】
動き検出手段４５は、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂのうち、少なくとも一方が連続的に出力する複数の画像を用いて、入力部検出手段４３が検出した入力部の動きを検出する。例えば操作者の指が入力部として検出された場合、動き検出手段４５は、スクリーン１００に投射された投影画像上における指先の動きを検出する。この動き検出手段４５の処理は、例えば、デジタルカメラなどにおける被写体追尾の手法を応用して実現することができる。
【００４２】
すなわち、動き検出手段４５は、例えば入力部検出手段４３によりスクリーン１００の近傍に存在する指が入力部として検出されると、撮像素子３０ａまたは撮像素子３０ｂが出力する画像から、対応する指を検出して追尾のターゲットに設定し、その形状や色などの情報（ターゲット情報）を保持する。次に、動き検出手段４５は、保持したターゲット情報を用いて、その後、撮像素子３０ａまたは撮像素子３０ｂが次々に出力する画像から、対応する指を探索する。そして、動き検出手段４５は、撮像素子３０ａまたは撮像素子３０ｂが連続的に出力する画像間における指のＸＹ平面における位置の変化を、入力部である指の動きとして検出する。
【００４３】
この動き検出手段４５による処理は、入力部検出手段４３が入力部を検出しなくなった時点、すなわち、上記の例で説明すると、スクリーン１００の近傍に存在していた操作者の指がスクリーン１００から離れ、所定の距離の範囲外になった時点で終了する。そして、その後、入力部検出手段４３が新たに入力部を検出すると、動き検出手段４５は、新たな入力部の動きの検出を行う。なお、入力部検出手段４３による処理と動き検出手段４５による処理は、例えば、１／３０ｓｅｃ〜１／６０ｓｅｃごとの処理周期で同期して行われる。
【００４４】
解析手段４６は、位置検出手段４４が検出した入力部の位置や、動き検出手段４５が検出した入力部の動きに基づいて、スクリーン１００に投射された投影画像に対する操作者の入力操作を解析する。以下では、投影画像に対する操作者の入力操作の具体例を例示するが、以下で例示する入力操作に限らず、様々な入力操作を解析することができる。
【００４５】
解析手段４６は、例えば図７に示すように、入力部として検出された操作者の指の動きから、投影画像に文字や絵を書き込む操作を検出できる。すなわち、操作者の指がスクリーン１００から所定の距離の範囲内にない場合、つまりスクリーン１００から離れている場合は、操作者の指は入力部として検出されていない。その後、操作者の指がスクリーン１００に近づいて所定の距離の範囲内に入ると、操作者の指が入力部として検出され、指の動きの検出が開始される。その後、スクリーン１００の近くで指が動くとその動きが検出され、指がスクリーン１００から離れると動きの検出が終了する。このように、指がスクリーン１００の近傍に存在するときだけ指の動きが検出されるので、その指先の位置の軌跡を、投影画像に書き込む文字や絵として認識することができる。
【００４６】
投影画像に文字や絵を書き込む操作が解析手段４６により検出されると、書き込む文字や絵の形状および画像上の書き込み位置（座標）の情報が、解析手段４６から画像処理手段４７へと送られる。画像処理手段４７は、通信装置５が受信するＰＣ１０１からの画像に対して、解析手段４６からの情報に基づいて文字や絵を重畳する。そして、画像処理手段４７によって文字や絵が重畳された画像が投射装置２に送られる。これにより、操作者の入力操作に応じて文字や絵が描き込まれた投影画像がスクリーン１００に投射される。なお、画像処理手段４７がＰＣ１０１からの画像に文字や絵を重畳する代わりに、文字や絵の形状および画像上の書き込み位置の情報を、書き込み処理を指示するコマンドとともに通信装置５からＰＣ１０１に送信してもよい。この場合、ＰＣ１０１側で文字や絵が重畳された画像がプロジェクタ装置１に送られて、操作者の入力操作に応じて文字や絵が描き込まれた投影画像がスクリーン１００に投射される。
【００４７】
また、解析手段４６は、例えば図８に示すように、入力部として検出された操作者の指の投影画像上における位置に基づいて、投影画像内に含まれるボタンの操作を検出することができる。すなわち、操作者の入力を受け付けるボタンが投影画像に含まれており、操作者の指先が投影画像上のボタンの位置に所定時間とどまっている場合に、操作者が当該ボタンを操作したものと認識することができる。
【００４８】
投影画像に含まれるボタンの操作が解析手段４６により検出されると、そのボタン操作に対応するコマンドが通信装置５からＰＣ１０１に送信される。ＰＣ１０１は、プロジェクタ装置１から送信されたコマンドに応じた処理を実行する。これにより、操作者の投影画像上でのボタン操作に応じた処理を実行することができる。
【００４９】
また、解析手段４６は、例えば図９に示すように、入力部として検出された操作者の指の動きから、投影画像のページ送りの操作を検出することができる。すなわち、操作者の指先がスクリーン１００上で高速に移動し、移動距離や方向が所定の範囲内であるとき、操作者が投影画像のページ送りの操作をしたものと認識することができる。
【００５０】
投影画像のページ送りの操作が解析手段４６により検出されると、ページ送りの操作に対応するコマンドが通信装置５からＰＣ１０１に送信される。ＰＣ１０１は、プロジェクタ装置１から送信されたコマンドに応じて、プロジェクタ装置１に送信する画像を次のページまたは前のページに切り替える処理を実行する。これにより、操作者のページ送りの操作に応じて、スクリーン１００に投射される投影画像のページの切り替えを行うことができる。
【００５１】
また、解析手段４６は、例えば図１０に示すように、入力部として検出された操作者の２本の指の動きから、投影画像を拡大する操作や縮小する操作を検出することができる。すなわち、操作者の２本の指が互いに広がるような動きをした場合、操作者が投影画像を拡大する操作を行ったものと認識することができる。また、操作者の２本の指が互いに近づくような動きをした場合、操作者が投影画像を縮小する操作を行ったものと認識することができる。
【００５２】
投影画像の拡大や縮小の操作が解析手段４６により検出されると、投影画像の拡大や縮小の操作に対応するコマンドが通信装置５からＰＣ１０１に送信される。ＰＣ１０１は、プロジェクタ装置１から送信されたコマンドに応じて、プロジェクタ装置１に送信する画像を拡大する処理や縮小する処理を実行する。これにより、操作者の投影画像上での操作に応じて、スクリーン１００に投射される投影画像を拡大したり縮小したりすることができる。
【００５３】
図１１は、制御装置４の上述した各機能構成により投影画像に対する操作者の操作入力を検出し、その操作入力に応じた処理を実行するまでの一連の処理を示すフローチャートである。以下、このフローチャートに沿って、制御装置４の処理の概要を説明する。
【００５４】
まず、ステップＳ１０１において、距離画像生成手段４１が、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂから出力される２つの画像に基づいて、ステレオカメラ３の撮像範囲の距離画像を生成する。
【００５５】
次に、ステップＳ１０２において、入力部検出手段４３が、ステップＳ１０１で距離画像生成手段４１が生成した距離画像に基づいて、プロジェクタ装置１から投影画像が投射されているスクリーン１００までの距離を算出する。
【００５６】
次に、ステップＳ１０３において、候補特定手段４２が、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂの一方から出力される画像を用いて、ステレオカメラ３の撮像範囲内に存在する物体の中から、入力部の候補となる物体を特定する。
【００５７】
次に、ステップＳ１０４において、入力部検出手段４３が、ステップＳ１０２で求めたスクリーン１００までの距離を基準として、このスクリーン１００の位置から所定の距離の範囲内に存在する物体を特定し、その物体のうち、ステップＳ１０３で候補特定手段４２が入力部の候補として特定した物体を、入力部として検出する。
【００５８】
次に、ステップＳ１０５において、位置検出手段４４が、ステップＳ１０４で入力部検出手段４３が検出した入力部の投影画像上における位置を検出する。
【００５９】
次に、ステップＳ１０６において、動き検出手段４５が、ステレオカメラ３の２つの撮像素子３０ａ，３０ｂの一方から連続的に出力される複数の画像を用いて、ステップＳ１０４で入力部検出手段４３が検出した入力部が、投影画像上で動いているか否かを判定する。そして、投影画像上で入力部が動いていれば（ステップＳ１０６：Ｙｅｓ）、動き検出手段４５は、ステップＳ１０７において、複数の画像間で入力部を追尾して入力部の動きを検出する。一方、投影画像上で入力部が動いていなければ（ステップＳ１０６：Ｎｏ）、ステップＳ１０７での動きの検出は行われずにステップＳ１０８に進む。
【００６０】
次に、ステップＳ１０８において、解析手段４６が、ステップＳ１０５で位置検出手段４４が検出した入力部の位置や、ステップＳ１０７で動き検出手段４５が検出した入力部の動きに基づいて、スクリーン１００に投射された投影画像に対する操作者の操作入力を解析する。そして、ステップＳ１０９において、ステップＳ１０８で解析手段４６が解析した操作入力の内容に従って、投影画像に対する処理が実行される。
【００６１】
以上のように、本実施形態に係るプロジェクタ装置１では、ステレオカメラ３を用いて投影画像に対する操作者の操作入力を検出するため、操作者の操作入力を精度よく検出することができる。すなわち、ステレオカメラ３の距離画像を用いると、ステレオカメラ３の撮像範囲に存在する物体について、画像の面内（Ｘ，Ｙ方向）の位置だけでなく、奥行き方向（Ｚ方向）の位置、つまり物体までの距離を検出することができる。したがって、ステレオカメラ３の撮像範囲に存在する物体のうち、投影画像が投射されているスクリーン１００に近い位置にある物体のみを、投影画像に対して操作入力を行う入力部として検出することができる。そして、検出した入力部の投影画像上における位置やＸ，Ｙ方向の動きに基づいて、投影画像に対する操作者の操作入力を精度よく検出することができる。
【００６２】
従来、ステレオカメラではない単眼カメラを備えるプロジェクタ装置は知られているが、単眼カメラでは、その撮像範囲に存在する物体までの距離（奥行き）を検出することができず、物体の３次元の座標位置を求めることができない。そのため、例えば特許文献１に記載の技術では、ボード（スクリーン）にタッチすると赤外線を発光するとともに超音波を発生する特殊なペンを入力部として用いることで、投影画像に文字や絵を書き込めるようにしている。しかしながら、この技術では、投影画像に文字や絵を書き込むためには特殊なペンを用いる必要があり、また、赤外線を受光したり超音波を受信したりする信号処理器をボードに設置する必要があるため、汎用性がなく、装置コストも嵩むといった問題がある。これに対して、本実施形態に係るプロジェクタ装置１では、特殊なペンなどを用いずに、例えば操作者の指で投影画像に文字や絵を書き込むことができる。また、本実施形態に係るプロジェクタ装置１は、例えば投影画像の拡大や縮小など、特殊なペンを用いた操作では実現しにくい様々な操作入力を適切に検出することができる。
【００６３】
また、単眼カメラで撮像された画像から操作者の指の位置や動きなどを検出して投影画像に対する操作入力を解析するようにした場合、投影画像に同じような形状の指などが画像として含まれている場合に、その指を操作入力の対象として誤検出して誤った処理を行ってしまう虞がある。これに対して、ステレオカメラ３の距離画像を用れば、投影画像としてスクリーン１００に投射されている指と、スクリーン１００近傍で操作入力を行っている指とを明確に区別できるので、上記のような誤検出を防止することができる。
【００６４】
なお、ステレオカメラ３の距離画像は、色の情報を持たず、また、物体の輪郭が正確でない場合が多いなどの欠点がある。このため、投影画像に対して操作入力を行う操作者の個人差や操作入力のシーン、条件などの違いによって、距離画像だけから操作者の指を検出することが困難な場合がある。このような場合は、上述したように、ステレオカメラ３の撮像素子３０ａ，３０ｂのいずれか一方から出力される画像を解析して撮像範囲内に存在する指を検出しておき、距離画像を用いてスクリーン１００の近くに存在する指を特定することで、検出精度を高めることができる。
【００６５】
ところで、プロジェクタ装置は一般的に、起動時に投影画像の焦点を自動で合わせるオートフォーカス機能や、投影画像の台形歪みを補正する台形補正機能などが搭載されているものが多い。このような機能を実現するため、従来のプロジェクタ装置では、様々なセンサを搭載していた。例えば、プロジェクタ装置にオートフォーカス機能を持たせるために、例えば特開２００３−４２７３３号公報に記載されるような光学センサを用い、投影画像が投射されるスクリーンまでの距離を計測して、その距離に合わせて投射レンズの位置を調整することが知られている。また、プロジェクタ装置に台形補正機能を持たせるために、特開２０００−１２２６１７号公報に記載されているように、プロジェクタ装置の前面の異なる位置に複数の距離センサを設け、制御マイコンがこれらの検出結果に基づき投射面に対するプロジェクタ装置の傾斜角度を算出することが知られている。
【００６６】
これに対して、本実施形態に係るプロジェクタ装置１はステレオカメラ３を備えるため、このステレオカメラ３を用いてオートフォーカス機能や台形補正機能を実現することができる。つまり、本実施形態に係るプロジェクタ装置１では、オートフォーカス機能を実現するための光学センサや、台形補正機能を実現するための複数の距離センサなどを別途設けることなく、ステレオカメラ３の距離画像を用いてスクリーン１００までの距離やプロジェクタ装置１に対するスクリーン１００の傾斜を検出することで、オートフォーカス機能や台形補正機能を実現することができる。以下では、本実施形態に係るプロジェクタ装置１におけるオートフォーカス機能や台形補正機能の具体例について説明する。
【００６７】
プロジェクタ装置１のオートフォーカス動作は、例えば、制御装置４による制御のもとで、プロジェクタ装置１の起動時における初期設定動作の１つとして行われる。プロジェクタ装置１の電源スイッチがオンされると、まず、制御装置４が、投射装置２を起動して、記憶装置５などに予め格納されているオープニング画面の画像を投射装置２に供給する。そして、投射装置２がオープニング画像の投影画像をスクリーン１００に投射する。また、制御装置４は、ステレオカメラ３を起動して、スクリーン１００に投射されたオープニング画像の投影画像を含む撮像範囲の撮像を開始させる。オープニング画像には、例えば会社のロゴマークなどが含まれている。
【００６８】
ステレオカメラ３の撮像素子３０ａ，３０ｂは、それぞれ撮像範囲の画像信号を出力し、この信号がデジタルデータに変換されて制御装置４に入力される。制御装置４（距離画像生成手段４１）は、これらステレオカメラ３からの画像を用いて距離画像を生成し、例えば、距離画像の中からオープニング画像に含まれるロゴマークまでの距離を検出することで、プロジェクタ装置１からスクリーン１００までの距離を検出する。
【００６９】
そして、制御装置４は、検出したスクリーン１００までの距離に基づいて、投射装置２の投射レンズ２ａを光軸方向に移動させるための駆動制御信号を投射装置２に送る。投射装置２は、制御装置４からの駆動制御信号に応じて、投射レンズ２ａを合焦位置に移動させる。これにより、ピントの合った投影画像をスクリーン１００に投射することができる。
【００７０】
一般にプロジェクタ装置では、スクリーン１００に対する投影画像の投射角度がずれると台形歪み（キーストン歪とも呼ばれる）と呼ばれる歪んだ画面が投射されてしまう。そのため従来は、プロジェクタ装置の前面に２つの距離センサを設置して、これら２つの距離センサで測定したスクリーン１００までの距離に基づきプロジェクタ装置とスクリーン１００との傾斜角度θを算出し、算出した傾斜角度に基づいて投射画面の台形歪みを補正していた。
【００７１】
図１２は、従来の台形補正処理の概要を示す図である。図１２に示すように、２つの距離センサ２０１，２０２を距離ｄだけ離してプロジェクタ装置２００の前面側に設ける。このとき２つの距離センサ２０１，２０２からスクリーン１００までの距離出力値をＤ１，Ｄ２とすると、プロジェクタ装置２００とスクリーン１００との傾斜角度θは、下記式（２）で表される。
ｔａｎθ＝（Ｄ１−Ｄ２）／ｄ  ・・・（２）
【００７２】
このような従来の方式では次のような問題がある。すなわち、２つの距離センサ２０１，２０２の距離出力値Ｄ１，Ｄ２からは、Ｘ軸周りの傾斜だけしか測定できない。Ｙ軸周りの傾斜も測定するためには、さらに２つの距離センサを設けることが必要となる。また、２つの距離センサ２０１，２０２の間隔ｄは、プロジェクタ装置２００の幅以上には大きくできない。そのため、傾斜を測定できる範囲は、大きなスクリーン１００中のプロジェクタ装置２００の幅以下の狭い範囲に過ぎず、スクリーン１００全体の傾きを検知することはできない。
【００７３】
本実施形態に係るプロジェクタ装置１では、上述したように、プロジェクタ装置１に対するスクリーン１００の傾斜を検出するためにステレオカメラ３を用いる。ステレオカメラ３を用いる場合、ステレオカメラ３のレンズ３２ａ，３２ｂを広角に設計することで撮像範囲を広範囲にできるため、広範囲の測距を行うことができる。例えば対角画角を６５ｄｅｇとすれば、プロジェクタ装置１の２ｍ先にある１００インチのスクリーン１００全面の測距を行うことができる。したがって、図１２に示したように、プロジェクタ装置２００の前面に設けた２つの距離センサ２０１，２０２を用いてスクリーン１００の傾斜角度θを検知するよりも、はるかに広範囲の傾斜を正確に検出することができる。
【００７４】
また、ステレオカメラ３の撮像素子３０ａ，３０ｂは２次元センサであるため、測距点を撮像素子３０ａ，３０ｂの画素数に応じて多数設けることができる。例えばＶＧＡサイズ（６４０×４８０画素）の撮像素子３０ａ，３０ｂを使用し、８×６画素を１つの単位としてマッチングしていくとすれば、８０×８０の測距点を設けることができる。図１３は、この８０×８０の各測距点の測距結果を距離に応じた濃淡で表した図である。スクリーン１００に傾斜がなく面内の距離がすべて等しい場合は、図１３（ｂ）のように面内の濃度が均一になる。一方、スクリーン１００が左または右に傾いていれば、図１３（ａ）または図１３（ｂ）のように、傾きに応じた不均一な濃度となる。
【００７５】
以上のようにスクリーン１００の面内の各測距点における距離が分かると、プロジェクタ装置１に対するスクリーン１００の傾斜角度θを、下記式（３）から導き出すことができる。なお、下記式（３）において、Ｌ１はプロジェクタ装置１からスクリーン１００に投射された投影画像の中心までの距離であり、Ｌ２はプロジェクタ装置１からスクリーン１００に投射された投影画像の端部までの距離であり、αはステレオカメラ３のレンズ３２ａ，３２ｂの画角である。
ｔａｎθ＝（Ｌ２−Ｌ１）／Ｌ２×ｔａｎ（α／２）  ・・・（３）
【００７６】
ここではスクリーン１００の左右の傾きについてのみ示したが、勿論、スクリーン１００の上下の傾きも同様に検出可能である。また、ステレオカメラ３を用いて多数の測距点で測距を行うことにより、スクリーン１００の面内で微小な傾きムラがあるような場合に、その面内の微小な傾きムラを検出することも可能である。なお、ここでは傾きの検出についてのみ述べたが、傾きを正確に検出できれば、従来と同様の方法によって投影画像の台形歪みを精度よく補正することができる。
【００７７】
本実施形態に係るプロジェクタ装置１が備えるステレオカメラ３では、上述したように、２つの撮像素子３０ａ，３０ｂが撮像素子基板３４上に一体に形成されている。このような２つの撮像素子３０ａ，３０ｂは、例えば図１４に示すように、半導体ウェハ５０上に周知の半導体プロセスによって形成された多数の撮像素子３０のうちの２つを、図中の一点鎖線の枠で示すように一体に切り出すことによって得ることができる。
【００７８】
半導体ウェハ５０上の多数の撮像素子３０は、マスクを用いてパターニングが行われているので、これら多数の撮像素子３０の中から切り出した撮像素子３０ａ，３０ｂは高精度に位置合わせされており、撮像素子３０ａ，３０ｂ間の画素マトリックスは平行である。また、半導体ウェハ５０の表面は精度の良い平面であるので、撮像素子３０ａ，３０ｂの法線も平行である。したがって、撮像素子３０ａ，３０ｂの位置ずれおよび角度ずれを補正するための作業を行うことなく、撮像素子３０ａ，３０ｂを精度よく配置することができる。そして、このような撮像素子３０ａ，３０ｂを備えるステレオカメラ３を用いることで、スクリーン１００やスクリーン１００の手前の撮像範囲内に存在する物体までの距離を正確に検出することができる。
【００７９】
また、ステレオカメラ３が備える撮像素子３０ａ，３０ｂのサイズは、デジタルカメラなどに使用される撮像素子のサイズ（１／２．３インチ程度）に比べて大幅に小さくてもよい。例えば、携帯電話のカメラモジュールに使われている１／１０インチ程度の小さな撮像素子を用いることができる。
【００８０】
一般にサイズの小さい撮像素子は素子に入る光量が少なくなるため暗い場所に弱い、という欠点があるが、本実施形態に係るプロジェクタ装置１が備えるステレオカメラ３は、投影画像が投射されているスクリーン１００を撮像するため、光量は十分確保されている。したがって、サイズの小さい撮像素子を用いても十分に性能を発揮することができ、サイズの小さい撮像素子を用いることでステレオカメラ３の小型化を実現することができる。
【００８１】
さらに携帯電話のカメラモジュール用の撮像素子は、大量生産されているのでコスト面でも有利であり、特に安価なものはＶＧＡ（６４０×４８０画素）サイズの撮像素子である。よって、周知の半導体プロセスで半導体ウェハ５０上に形成された例えば、ＶＧＡサイズの多数の撮像素子のうちの２つを一体に切り出すことにより、図４（ｂ）に示したような撮像素子基板３４上に一体形成された２つの撮像素子３０ａ，３０ｂを低コストに得ることができる。これにより、ステレオカメラ３の低コスト化も図ることができる。
【００８２】
なお、本実施形態ではステレオカメラ３が２つの撮像素子３０ａ，３０ｂを備えるものとして説明したが、ステレオカメラ３は３つ以上の撮像素子を備える構成であってもよい。この場合、半導体ウェハ５０上に形成された多数の撮像素子のうち、一列に並んだ３つ以上の撮像素子を一体に切り出して、ステレオカメラ３の撮像素子として用いればよい。このようにすると、一列に並んだ３つ以上の撮像素子のうちの両端の撮像素子間の距離を基線長Ｄとして、この基線長Ｄを大きくすることができるため、上記式（１）からも分かるように、視差Δ（＝Ｄ×ｆ／Ｌ）が大きくなり、高精度な測距が可能となる。
【００８３】
また、本実施形態に係るプロジェクタ装置１が備えるステレオカメラ３では、上述したように、撮像素子３０ａ，３０ｂに光学像を結像させるレンズ３２ａ，３２ｂが、レンズアレイ３２として一体に形成されている。これは、視差Δを高精度に検出するために、２つのレンズ３２ａ，３２ｂが別々の動きをしないようにするためである。例えば２つのレンズ３２ａ，３２ｂのうちのどちらか一方が位置ずれを起こした場合でも、両者が一体化していれば、他方のレンズも同じ方向に同じ量だけ位置ずれするため、２つのレンズ３２ａ，３２ｂの間隔である基線長Ｄは一定のまま保たれる。上記式（１）から分かるように、基線長Ｄとレンズ焦点距離ｆとが一定に保たれれば、視差Δも一定に保たれる。
【００８４】
本実施形態に係るプロジェクタ装置１が備えるステレオカメラ３は、上記のように一体化された撮像素子３０ａ，３０ｂと一体化されたレンズ３２ａ，３２ｂとを備えることで、振動や温度変化や経時変化が起こった場合でも、常に２つのレンズ３２ａ，３２ｂと、２つの撮像素子３０ａ，３０ｂとが一体で連動して動くため、視差Δは振動や温度変化や経時変化に対して安定である。これにより安定して高精度に距離の検出を行うことができる。一般にプロジェクタ装置は大画面を明るく表示させるために熱を発する大きな光源を搭載している。またその光源を冷やすために冷却用のファンが付いている。そのためプロジェクタ装置は熱や振動を持つことになるが、本実施形態に係るプロジェクタ装置１では、一体化された撮像素子３０ａ，３０ｂと一体化されたレンズ３２ａ，３２ｂとを備えたステレオカメラ３を用いるため、熱や振動に対して安定であり、精度の良い距離の検出を行うことができる。
【００８５】
本実施形態に係るプロジェクタ装置１では、上述した制御装置４の特徴的な機能構成（図５参照）を、一例として、制御装置４のＣＰＵが制御プログラムを実行することにより実現することができる。この場合、制御装置４のＣＰＵが実行する制御プログラムは、例えば、記憶装置５に含まれるＲＯＭなどに予め組み込まれて提供される。
【００８６】
また、制御装置４のＣＰＵが実行する制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、制御装置４のＣＰＵが実行する制御プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御装置４のＣＰＵが実行する制御プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。
【００８７】
制御装置４のＣＰＵが実行する制御プログラムは、例えば、距離画像生成手段４１、候補特定手段４２、入力部検出手段４３、位置検出手段４４、動き検出手段４５、解析手段４６および画像処理手段４７を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから制御プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ）上にロードされ、距離画像生成手段４１、候補特定手段４２、入力部検出手段４３、位置検出手段４４、動き検出手段４５、解析手段４６および画像処理手段４７が主記憶装置上に生成されるようになっている。
【００８８】
以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。例えば、上述した実施形態では、距離画像の生成を制御装置４側で行うようにしているが、ステレオカメラ３にデジタル信号を処理するＤＳＰなどを搭載すれば、ステレオカメラ３において距離画像を生成して、生成した距離画像を制御装置４に送ることもできる。また、上述した実施形態では、投影画像に対する操作者の操作入力をプロジェクタ装置１において検出するようにしているが、ステレオカメラ３の距離画像をＰＣ１０１に送信し、ＰＣ１０１側で投影画像に対する操作者の操作入力を検出するようにしてもよい。
【産業上の利用可能性】
【００８９】
以上のように、本発明は、プロジェクタ装置からスクリーンに投射された投影画像に対する操作入力を検出する技術として有用である。
【符号の説明】
【００９０】
１  プロジェクタ装置
２  投射装置
３  ステレオカメラ
４  制御装置
５  記憶装置
３０ａ，３０ｂ  撮像素子
３２ａ，３２ｂ  レンズ
４１  距離画像生成手段
４２  候補特定手段
４３  入力部検出手段
４４  位置検出手段
４５  動き検出手段
４６  解析手段
１００  スクリーン
【先行技術文献】
【特許文献】
【００９１】
【特許文献１】特許第３９５０８３７号公報
【図１】
2013061552.tif 000003
【図２】
2013061552.tif 000004
【図３】
2013061552.tif 000005
【図４】
2013061552.tif 000006
【図５】
2013061552.tif 000007
【図６】
2013061552.tif 000008
【図７】
2013061552.tif 000009
【図８】
2013061552.tif 000010
【図９】
2013061552.tif 000011
【図１０】
2013061552.tif 000012
【図１１】
2013061552.tif 000013
【図１２】
2013061552.tif 000014
【図１４】
2013061552.tif 000015
【図１３】
2013061552.tif 000016