(57)【要約】【課題】投影画像中の指示位置を正確かつ容易に検出することのできるポインティング装置を得る。【解決手段】プロジェクタ２００によって投影画像を投影し、これをカメラ３００で撮影する。手領域抽出手段１０６は、カメラ３００で撮影された撮影画像と投影画像との差分画像に基づいて、撮影画像に含まれる手領域を抽出する。指先検出手段１０７は、手領域抽出手段１０６で抽出された手領域から指先位置を検出し、これを投影画像における指示位置として出力する。ポインティング手段１０８は、指先検出手段１０７で検出された指示位置をシステムに通知する。【選択図】図１
2008152622.tif 000002
【特許請求の範囲】
【請求項１】
任意の投影画像を投影する投影手段と、
前記投影手段によって投影され、かつ、指示部を含む画像を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像と、前記投影画像との差分画像に基づいて、前記撮影画像に含まれる指示部の領域を抽出する指示部領域抽出手段と、
前記指示部領域抽出手段で抽出された指示部の領域に基づいて、当該指示部が前記投影画像のどの位置を指しているかを検出する指示位置検出手段とを備えたポインティング装置。
【請求項２】
指示部領域抽出手段は、
撮影画像に対して、画像のぶれを補正するぶれ補正手段と、
前記撮影画像に対して、画像の歪みを補正する歪補正手段と、
前記撮影画像に対して、画像の色を補正する色補正手段とを備え、
これら各補正手段によって補正された撮影画像と投影画像との差分画像を取得することを特徴とする請求項１記載のポインティング装置。
【請求項３】
投影画像として格子画像を用い、当該格子画像の撮影画像の格子点と、前記投影画像の格子点との関係に基づいて、歪補正パラメータを算出する歪補正キャリブレーション手段を備え、
歪補正手段は、前記歪補正パラメータに基づいて撮影画像の歪みを補正することを特徴とする請求項２記載のポインティング装置。
【請求項４】
投影画像としてカラーパターンを用い、当該カラーパターンの撮影画像の色情報と、前記投影画像の色情報との関係に基づいて、色補正パラメータを算出するカラーキャリブレーション手段を備え、
色補正手段は、前記色補正パラメータに基づいて撮影画像の色補正を行うことを特徴とする請求項２記載のポインティング装置。
【請求項５】
投影画像として画像中の位置を示すマーカを含む画像を用い、ぶれ補正手段は、前記マーカを含む画像の撮影画像におけるマーカの位置と、前記投影画像のマーカの位置座標に基づいて前記撮影画像の投影ぶれを補正することを特徴とする請求項２記載のポインティング装置。
【請求項６】
指示位置検出手段は、指示部の領域を距離画像変換し、求めた重心座標を中心とした楕円で前記指示部の領域を近似し、当該楕円の長辺の角度を求めることにより、指示位置を検出することを特徴とする請求項１から請求項５のうちのいずれか１項記載のポインティング装置。
【請求項７】
投影画像と撮影画像との同期をとる同期手段と、
指示部の色情報に基づいて背景色を決定する背景色決定手段とを備え、
投影手段は、前記背景色決定手段で決定された背景色の特定画像を所定間隔で投影すると共に、指示部領域抽出手段は、前記所定間隔で投影される特定画像と、当該特定画像に同期した撮影画像とに基づいて指示部領域の抽出を行うことを特徴とする請求項１から請求項６のうちのいずれか１項記載のポインティング装置。
【請求項８】
背景色決定手段は、肌色情報を有し、特定画像を、投影手段が投影する背景の色と肌色とに基づいて決定することを特徴とする請求項７記載のポインティング装置。
【請求項９】
指示部は人間の手であることを特徴とする請求項１から請求項８のうちのいずれか１項記載のポインティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、投影された画像中を指等で指示する位置を検出するポインティング装置に関するものである。
【背景技術】
【０００２】
従来のポインティング装置は、固定された背景を予め撮影した画像と、その背景に手を置いたときの画像との差分をとることにより手領域の抽出を行っていた（例えば、特許文献１参照）。また、肌色画素を抽出することにより手領域を抽出する方法も提案されている（例えば、特許文献２参照）。さらに、近赤外線カメラを用いて手領域を抽出する方法（例えば、特許文献３参照）や、赤外線レーザを用いて指の動きをトラッキングするバーチャルキーボードと呼ばれる装置（例えば、非特許文献１参照）などがある。
【０００３】
【特許文献１】特開平１１−２５２６０号公報
【特許文献２】特開平０９−３５０６６号公報
【特許文献３】特開２００１−２８２４５６号公報
【非特許文献１】http://www.tanomi.com/limited/html/00034.html
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のポインティング装置において、固定された背景との差分により手領域を抽出する手法では、プロジェクタなどで投影された画像を直接操作する場合、投影画像は上記背景上に投影されるため、画像が投影されるたびに予め記憶した背景と異なることになり、手領域が正しく抽出できない問題があった。また、肌色画素を抽出する手法では、投影画像を直接操作する場合、手の上にも画像が投影されることになり、例えば、青色の画像が手の上に投影された場合に肌色画素が正しく抽出できない問題があった。更に、特殊なデバイスを用いる従来のポインティング装置では、そのデバイスのためのコストが高くなってしまうという問題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、投影画像中の指示位置を正確かつ容易に検出することのできるポインティング装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るポインティング装置は、任意の投影画像を投影する投影手段と、投影手段によって投影され、かつ、指示部を含む画像を撮影する撮影手段と、撮影手段で撮影された撮影画像と投影画像との差分画像に基づいて、撮影画像に含まれる指示部の領域を抽出する指示部領域抽出手段と、指示部領域抽出手段で抽出された指示部の領域に基づいて、指示部が投影画像のどの位置を指しているかを検出する指示位置検出手段とを備えたものである。
【発明の効果】
【０００７】
この発明のポインティング装置は、撮影画像と投影画像との差分画像に基づいて、撮影画像に含まれる指示部の領域を抽出し、この指示部の領域に基づいて、指示部が投影画像のどの位置を指しているかを検出するようにしたので、投影画像中の指示位置を正確かつ容易に検出することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１によるポインティング装置を示す構成図である。
図において、ポインティング装置は、ポインティング制御装置１００、プロジェクタ２００、カメラ３００を備えている。尚、実施の形態１では、指示部を人間の手としたものであり、以下、指示部は人間の手であるとして説明する。ポインティング制御装置１００は、プロジェクタ２００とカメラ３００を制御し、投影画像と撮影画像から指示位置を抽出する機能部であり、映像出力手段１０１、ビデオメモリ１０２、画像入力手段１０３、フレームメモリ１０４、キャリブレーション手段１０５、手領域抽出手段１０６、指先検出手段１０７、ポインティング手段１０８からなる。
【０００９】
プロジェクタ２００は、映像出力手段１０１から出力された画像信号に基づいて、種々の対象に画像を投影する装置であり投影手段を構成している。カメラ３００は、プロジェクタ２００によって投影された画像を指示部を含めて撮影し、撮影画像としてポインティング制御装置１００に出力する撮影手段である。また、これらポインティング制御装置１００、プロジェクタ２００、カメラ３００は、後述する図３に示すように、例えば携帯電話等の端末として一体に設けられており、カメラ３００は、プロジェクタ２００によって投影した画像を撮影可能な位置に配設されている。尚、図３に示す端末ではプロジェクタ２００とカメラ３００とが隣接した位置に配設されているが、これらの位置関係に特に限定はなく、また、プロジェクタ２００やカメラ３００が端末の本体と別体に設けられていてもよい。
【００１０】
映像出力手段１０１は、プロジェクタ２００に対してビデオメモリ１０２に保存されている画像信号を出力する機能部であり、プロジェクタ２００と共に投影手段を構成している。また、ビデオメモリ１０２は、投影画像データを保存するためのメモリである。画像入力手段１０３は、カメラ３００から出力された指示部を含む撮影画像を入力する入力インタフェースであり、フレームメモリ１０４は、画像入力手段１０３で入力された撮影画像を保存するためのメモリである。キャリブレーション手段１０５は、手領域抽出のための色および撮影画像の歪みを補正するパラメータを求める手段であり、歪補正キャリブレーション手段１０９とカラーキャリブレーション手段１１０を備えている。歪補正キャリブレーション手段１０９は、撮影画像を投影画像と比較するために歪みを補正するパラメータを求める手段であり、カラーキャリブレーション手段１１０は、撮影画像と投影画像との間の色変化の傾向を求める手段である。
【００１１】
手領域抽出手段１０６は、フレームメモリ１０４に保存された撮影画像から手領域を抽出する指示部領域抽出手段であり、ぶれ補正手段１１１、歪補正手段１１２、色補正手段１１３、差分画像抽出手段１１４を備えている。ぶれ補正手段１１１は、撮影画像のぶれを補正する手段、歪補正手段１１２は、歪補正キャリブレーション手段１０９の歪補正パラメータに基づいて撮影画像の歪補正を行う手段である。また、色補正手段１１３は、カラーキャリブレーション手段１１０で求められた色補正パラメータに基づいて色補正を行う手段である。更に、差分画像抽出手段１１４は、撮影画像と投影画像との差分画像を求める手段である。尚、ぶれ補正手段１１１、歪補正手段１１２及び色補正手段１１３の具体的な処理は後述する。
【００１２】
指先検出手段１０７は、手領域抽出手段１０６で抽出した手領域から指示位置である指先の位置座標を検出する指示位置検出手段である。ポインティング手段１０８は、指先検出手段１０７で検出した指先の座標をウインドウシステム等のＧＵＩ（Graphical User Interface）システムに通知する機能部である。
【００１３】
尚、ポインティング制御装置１００はコンピュータによって実現され、上記のキャリブレーション手段１０５、手領域抽出手段１０６、指先検出手段１０７及びポインティング手段１０８は、それぞれの機能に対応するソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。
【００１４】
次に、実施の形態１のポインティング装置の動作について説明する。
図２は、実施の形態１のポインティング装置の動作を示すフローチャートである。
図３は、実施の形態１のポインティング装置の動作の様子を示す説明図である。
図３に示すように、本実施の形態のポインティング装置は、例えば、カメラ３００とプロジェクタ２００が搭載された端末で投影した画像２０１をユーザが直接手２０２で操作する場合を対象としている。ここで、端末は、ユーザがもう一方の手で持って操作するといった方法や、端末を机の上に置くといった方法等、どのような使用方法であってもよい。
【００１５】
ポインティング装置では、先ず、映像出力手段１０１を介してプロジェクタ２００でビデオメモリ１０２に格納されている画像を投影する（ステップＳＴ１）。次に、カメラ３００で投影画像を撮影し、この撮影画像を画像入力手段１０３を介して入力し、フレームメモリ１０４に撮影画像を保存する（ステップＳＴ２）。尚、映像出力手段１０１から投影される画像は図４に示すように四隅にマーカ３０１ａ，３０１ｂ，３０１ｃ，３０１ｄがつけられている。
【００１６】
手領域抽出手段１０６は、フレームメモリ１０２に格納された撮影画像とビデオメモリ１０２に格納された投影画像をそれぞれ取得し、先ず、撮影画像のぶれをぶれ補正手段１１１において補正する（ステップＳＴ３）。このぶれ補正処理の具体的な動作は次の通りである。
図５は、ぶれ補正手段１１１の動作を示すフローチャートである。
ぶれ補正手段１１１では、先ず図４に示した撮影画像に含まれるマーカ３０１ａ〜３０１ｄを検出する（ステップＳＴ３１）。検出するマーカは、検出を容易にするために特殊な色の画素で構成され、また、それぞれのマーカ３０１ａ〜３０１ｄは異なる色となっている。検出処理は、上記色の画素を抽出し、抽出された画素が連結された領域を求め、その大きさがある範囲内の領域を求める。そして、その中心座標を求める。次に、求めた４点の座標と、キャリブレーション手段１０５で予め求めておいた投影画像の四隅の座標（本来の座標）を用いて、変換行列を求める（ステップＳＴ３２）。尚、四隅の座標の求め方については後述する。この変換行列は、現在の撮影画像を本来の位置に補正するためのものであり、撮影画像の各画素の座標値を（ｘｃ，ｙｃ）とし、本来の座標値を（ｘｏ，ｙｏ）とすると、次式が成り立つ。
【００１７】
【数１】
2008152622.tif 000003
式（３）から、ｈｓはＢTＢの最小固有値に対応する固有ベクトルとして求めることができる。
【００１８】
以上で求めた変換行列Ｈｓを用いて撮影画像を変換することにより（ステップＳＴ３３）、ぶれを補正することができる。
図６は、ぶれ補正手段１１１の補正動作の説明図である。
例えば、撮影画像４０１中に投影画像４０２が存在するとき、この投影画像４０２を、補正画像４０３に示すようにキャリブレーション手段１０５でキャリブレーションしたときの投影画像４０４の位置に戻すことが可能となる。
次に、ぶれ補正した撮影画像から、投影画像と比較するための画像を求める。
【００１９】
投影画像と比較可能な画像を求めるためには、先ず、キャリブレーション手段１０５の歪補正キャリブレーション手段１０９で得られた変換行列を用いて歪補正手段１１２において画像を変換する（ステップＳＴ４）。次に、色補正手段１１３において、歪補正手段１１２で求めた画像の各画素値をカラーキャリブレーション手段１１０で得られた変換パラメータを用いて変換する（ステップＳＴ５）。尚、カラーキャリブレーション手段１１０では、後述する図１３に示すような色相と明度の誤差を格納したテーブルが求められる。色補正手段１１３は、このテーブルを用いて色補正を行う。先ず、撮影画像の各画素値をＲＧＢからＨＳＶに変換する。そして、彩度が閾値よりも低い画素と閾値よりも高い画素に分け、彩度が閾値よりも低い画素の画素値は明度テーブルを参照して明度を補正する（テーブルに格納された誤差を加算する）。彩度が閾値よりも高いときは、色相テーブルを用いて色相を補正する（テーブルに格納された誤差を加算する）。
【００２０】
そして、差分画像抽出手段１１４において投影画像と上記で求めた画像との差分を求める（ステップＳＴ６）。差分画像は、撮影画像および投影画像をそれぞれＨＳＶに変換し、先ず、彩度がある閾値以上の画素については色相の差分を求め、差分がある閾値の範囲内に入っていれば同一画素とみなし、差分画像の対応する画素値を０とする。上記差分が閾値以上であれば差分画像の対応する画素値を１とする。彩度が閾値以下の場合は、明度の差分を求め、差分がある閾値の範囲内に入っていれば同一画素とみなし、差分画像の対応する画素値を０とする。上記差分が閾値以上であれば差分画像の対応する画素値を１とする。
尚、色相以外にも、彩度、明度を組み合わせても良い。
【００２１】
以上の処理を行うことで、例えば、図７に示すように、投影画像５０１と変換後の撮影画像５０２の差分画像５０３を求めれば、手の領域を抽出することが可能となる。但し、ノイズによる影響を考慮し、上記差分画像から画素を連結した領域の中で最大の領域を手領域とする。
【００２２】
次に、以上で求めた手領域から指先検出手段１０７において指先を検出する（ステップＳＴ７）。
図８は、指先検出手段１０７の動作を示すフローチャートである。
先ず、求めた手領域を距離変換処理により、手領域を距離画像に変換する（ステップＳＴ７１）。ここで、距離変換処理は、画像中のオブジェクトの各画素値を、そこから背景への最短距離に置き換える変換である。距離の概念としては最も単純な市街地距離（４連結距離）とチェス盤距離（８連結距離）がよく使われる。
ここでは、市街地距離を用いたアルゴリズムを記す。
【００２３】
〈ステップ１〉入力画像を二値化した画像ｆi,jをＤi,jとし、更に次式（４）のように変換する。
【数２】
2008152622.tif 000004
〈ステップ２〉初期化した画像を左上から右下に向かって走査し、次式（５）に示す規則で逐次Ｄ’i,jを更新する。
【数３】
2008152622.tif 000005
〈ステップ３〉ステップ２で得られたＤ”i,jに対して、右下から左上に向かって走査し、次式（６）に示す規則で逐次Ｄ”i,jを更新する。
【数４】
2008152622.tif 000006
得られたＤが距離画像となる。
【００２４】
以上で求めた距離画像から画素値（距離）が最大となる座標を手領域の重心（ｘｇ，ｙｇ）とする（ステップＳＴ７２）。ここで、手領域抽出手段１０６で抽出した手領域は、図９の６０１に示すようにポインティングする指が伸びた状態であると仮定すると、図９の６０２に示すように楕円で近似できる。このとき、楕円の長辺とｙ軸とのなす角度θ（６０３）を求め、長辺とy軸が合うように楕円を回転させたときのy座標の最大値を持つ画素が指先の座標となる。
【００２５】
この長辺とy軸とのなす角度を求めるために次式（７）で表すモーメント特徴を求める（ステップＳＴ７３）。
【数５】
2008152622.tif 000007
よって式（７）においてＭ11、Ｍ20、Ｍ02を求め、式（８）においてθを求める（ステップＳＴ７４）。
【００２６】
次に、楕円の長辺とｙ軸が合うように求めたθを用いて回転させ（ステップＳＴ７５）、更に、y座標が最大となる点を求め、回転前の座標値を指先の座標とする（ステップＳＴ７６）。即ち、この座標値をユーザが指示した位置と判定する。以上で求めた座標値をポインティング手段１０８に渡し、ポインティング処理することにより投影画像をユーザが直接操作可能となる（ステップＳＴ８）。
【００２７】
次に、キャリブレーション手段１０５の動作について図１０から図１３を用いて説明する。
図１０は、キャリブレーション手段１０５の動作を説明するためのフローチャートである。
図１１は、歪補正キャリブレーション手段１０９の動作を示す説明図である。
図１２は、カラーキャリブレーション手段１１０の動作を示す説明図である。
図１３は、カラーキャリブレーション手段１１０で求める色の変換テーブルの説明図である。
【００２８】
本発明のポインティング装置は、撮影画像を前述の通り投影画像と比較可能とするために撮影画像の歪補正と、色補正を行う必要がある。このときの歪補正パラメータと色補正パラメータを求めるためにそれぞれのキャリブレーションを行う。
先ず、映像出力手段１０１で、図１１の７０１に示すようなグリッドをプロジェクタ２００を通して投影し（ステップＳＴ１０１）、その投影画像をカメラ３００を介して画像入力手段１０３で取得する（ステップＳＴ１０２）。次に、撮影された画像を歪補正キャリブレーション手段１０９に入力し、歪補正パラメータを求めるために、撮影画像からグリッドの格子点を求める（ステップＳＴ１０３）。格子点は、例えば、辻三郎、除剛著、「３次元ビジョン」、ｐｐ．３６−３７，共立出版、１９９９年にあるようなＳＵＳＡＮオペレータなどのコーナー検出手法を用いて検出する。
以上で求めた撮影画像中の格子点座標は、ビデオメモリ１０２に格納されている投影画像（グリッド画像）の各格子点と対応付けられている。またグリッド画像の各格子点の座標は既知である。
【００２９】
撮影画像中の格子点座標を（ｘｃ，ｙｃ）、投影画像上の格子点座標を（ｘｏ，ｙｏ）とすると、次式が成り立つ。
【数６】
2008152622.tif 000008
式（１１）から、ｈはＢTＢの最小固有値に対応する固有ベクトルとして求めることができる。
【００３０】
次に、映像出力手段１０１で、図１２の８０１に示すようなカラーパターンをプロジェクタ２００を通して投影し（ステップＳＴ１０５）、その投影画像をカメラ３００を介して画像入力手段１０３で取得する（ステップＳＴ１０６）。そして、その画像をカラーキャリブレーション手段１１０に入力し、色調変化を計測する（ステップＳＴ１０７）。ここで、カラーパターン８０１は、例えば、色相を９分割したときの代表色と白、グレー、黒で構成されているとする。つまり、９色は一定範囲の色相の色を代表するものであるとする。
【００３１】
カラーキャリブレーション手段１１０では、先ず、歪補正キャリブレーション手段１０９で求めた変換行列を用いて歪補正手段１１２と同様に撮影画像の歪補正を行い、ビデオメモリ１０２に格納されているカラーパターン８０１の各色の領域に対応する撮影画像の領域の画素値（ＲＧＢの値）の平均を求める。次に、求めた平均値（ＲＧＢの値）をＨＳＶに変換し、ビデオメモリ１０２に格納されているオリジナルの９色の色相との差分を求め、図１３の色相テーブル９０１に格納する。
同様に、カラーパターン８０１の白、グレー、黒の領域に対応する撮影画像の領域の画素値（ＲＧＢの値）の平均を求め、求めた値の明度を求め、ビデオメモリ１０２に格納されているオリジナルの白、グレー、黒の明度との差分を求め、図１３の明度テーブル９０２に格納する。
このように、キャリブレーション手段１０５を設けることにより、投影画像と撮影画像との差分画像を適切に求めることが可能となり、手領域を正確に抽出可能となる。
【００３２】
以上のように、実施の形態１のポインティング装置によれば、任意の投影画像を投影する投影手段と、投影手段によって投影され、かつ、指示部を含む画像を撮影する撮影手段と、撮影手段で撮影された撮影画像と、投影画像との差分画像に基づいて、撮影画像に含まれる指示部の領域を抽出する指示部領域抽出手段と、指示部領域抽出手段で抽出された指示部の領域に基づいて、指示部が投影画像のどの位置を指しているかを検出する指示位置検出手段とを備えたので、投影画像中の指示位置を正確かつ容易に検出することができる。
【００３３】
また、実施の形態１のポインティング装置によれば、指示部領域抽出手段は、撮影画像に対して、画像のぶれを補正するぶれ補正手段と、撮影画像に対して、画像の歪みを補正する歪補正手段と、撮影画像に対して、画像の色を補正する色補正手段とを備え、これら各補正手段によって補正された撮影画像と投影画像との差分画像を取得するようにしたので、指示部の領域を正確に抽出することができ、その結果、投影画像中の指示位置を正確に求めることができる。
【００３４】
また、実施の形態１のポインティング装置によれば、投影画像として格子画像を用い、格子画像の撮影画像の格子点と、投影画像の格子点との関係に基づいて、歪補正パラメータを算出する歪補正キャリブレーション手段を備え、歪補正手段は、歪補正パラメータに基づいて撮影画像の歪みを補正するようにしたので、画像の歪みを良好に補正することができ、従って、投影画像中の指示位置を正確に求めることができる。
【００３５】
また、実施の形態１のポインティング装置によれば、投影画像としてカラーパターンを用い、カラーパターンの撮影画像の色情報と、投影画像の色情報との関係に基づいて、色補正パラメータを算出するカラーキャリブレーション手段を備え、色補正手段は、色補正パラメータに基づいて撮影画像の色補正を行うようにしたので、撮影画像に対する色補正を良好に行うことができ、従って、投影画像中の指示位置を正確に求めることができる。
【００３６】
また、実施の形態１のポインティング装置によれば、投影画像として画像中の位置を示すマーカを含む画像を用い、ぶれ補正手段は、マーカを含む画像の撮影画像におけるマーカの位置と、投影画像のマーカの位置座標に基づいて撮影画像の投影ぶれを補正するようにしたので、例えば、電車の中など、定期的に振動がある場所での手持ちの使用であっても画像のぶれを良好に補正することができ、このような使用状態でも確実に指示位置の検出を行うことができる。
【００３７】
また、実施の形態１のポインティング装置によれば、指示位置検出手段は、指示部の領域を距離画像変換し、求めた重心座標を中心とした楕円で指示部の領域を近似し、楕円の長辺の角度を求めることにより、指示位置を検出するようにしたので、指示位置を確実に検出することができる。
【００３８】
実施の形態２．
実施の形態２は、所定間隔で手領域を抽出し易くするための単色の背景を表示し、そのときに手領域抽出を可能とする実施形態である。
図１４は、実施の形態２に示すポインティング装置の構成図である。
図において、ポインティング装置は、ポインティング制御装置１００ａとプロジェクタ２００とカメラ３００とからなり、プロジェクタ２００とカメラ３００とは実施の形態１と同様である。ポインティング制御装置１００ａは、映像出力手段１０１、ビデオメモリ１０２、画像入力手段１０３、フレームメモリ１０４、キャリブレーション手段１０５ａ、手領域抽出手段１０６、指先検出手段１０７、ポインティング手段１０８、同期手段１１５からなり、キャリブレーション手段１０５ａにおいて背景色決定手段１１６が追加された点と同期手段１１５が設けられている構成以外は実施の形態１と同様である。
同期手段１１５は、カメラ撮影とプロジェクタの投影のタイミングを一致させるための手段である。また、キャリブレーション手段１０５ａにおける背景色決定手段１１６は、手領域抽出の際に用いる背景色を決定する手段である。
【００３９】
次に、実施の形態２のポインティング装置の動作について説明する。
本実施の形態では、図１５に示すように、所定フレーム間隔で、通常画像表示のフレームの間に単色画像表示のフレームを挿入し、単色画像表示のタイミングで手領域を検出する。
図１６は、ポインティング処理の動作を説明するためのフローチャートである。
同期手段１１５は、カメラ３００のフレームカウントを用いてプロジェクタ２００の描画タイミングとカメラ３００の撮影タイミングを同期させる。映像出力手段１０１は、カメラ３００のフレームカウントをチェックし（ステップＳＴ２０１）、カウント数が例えば次の条件を満たしたときに背景画像を出力する（ステップＳＴ２０２、２０３）。
Ｉｆ  ｃｏｕｎｔ  ｍｏｄ  Ｎ  ＝０          （１２）
上式（１２）は、Ｎフレーム間隔で背景画像を出力することを意味する。
【００４０】
上記ステップＳＴ２０２において式（１２）の条件を満たせば、手領域を求めるための背景画像をプロジェクタ２００から投影し、同時に画像入力手段１０３を介して画像を入力する（ステップＳＴ２０３）。
以降の処理は実施の形態１と同様に、入力画像のぶれ補正を行い（ステップＳＴ２０４）、歪補正を行い（ステップＳＴ２０５）、色補正を行い（ステップＳＴ２０６）、差分画像を抽出し（ステップＳＴ２０７）、指先検出を行い（ステップＳＴ２０８）、ポインティング処理を行う（ステップＳＴ２０９）。
また、ステップＳＴ２０２で、式（１２）が成立しなければ、通常の投影画像をプロジェクタ２００で投影する（ステップＳＴ２１０）。
【００４１】
次に、キャリブレーション手段１０５ａの背景色決定手段１１６の動作を説明する。
図１７は、背景色決定手段１１６の動作を説明するためのフローチャートである。
ここで、背景色決定手段１１６では、予め肌色の情報を持っていることとする。
先ず、プロジェクタ２００からは何も投影せず、かつ、指示部となる手をカメラ３００の視野に入れない状態で画像を撮影し、その時の平均色相、平均彩度、平均明度を求める（ステップＳＴ３０１〜ステップＳＴ３０３）。即ち、プロジェクタ２００が投影する実際の背景の色の値を求める。そして、彩度が閾値以下であるか否かをチェックし（ステップＳＴ３０４）、もし、彩度が閾値より大きな値である場合は肌色と対極にある色相の範囲でステップＳＴ３０１で求めた色相との差分が大きい色相を求める（ステップＳＴ３０５）。具体的には、色相は０〜２πの範囲で表されることから、肌色の色相をＳＨとすると対極にある色相ＣＳＨは次式で求めることができる。
ＣＳＨ＝ＳＨ＋π              （１３）
ステップＳＴ３０１で求めた色相をＢＨとすると、求める色相ＴＨは次式で求める。
【数７】
2008152622.tif 000009
【００４２】
ステップＳＴ３０４で彩度が閾値以下であった場合は、求めた平均明度をチェックし（ステップＳＴ３０６）、明度が閾値より大きいの場合はステップＳＴ３０５を実行し、閾値以下である場合は、背景色を黒に決定し、差分画像抽出手段１１４において明度で差分とるように指示するフラグを立てる（ステップＳＴ３０７）。
【００４３】
以上のように数フレーム間隔で単純な背景画像を表示し、その背景画像と撮影画像を比較することで手領域を抽出することにより、手領域抽出にかかる処理量を低減することができる。
【００４４】
尚、上記実施の形態１、２では、指示部を人間の手としたが、投影画像とは異なる物体であれば、手以外のものであっても適用可能である。但し、指示位置を一意に検出するために、先端部が尖った物体が望ましい。
【００４５】
以上のように、実施の形態２のポインティング装置によれば、投影画像と撮影画像との同期をとる同期手段と、指示部の色情報に基づいて背景色を決定する背景色決定手段とを備え、投影手段は、背景色決定手段で決定された背景色の特定画像を所定間隔で投影すると共に、指示部領域抽出手段は、所定間隔で投影される特定画像と、特定画像に同期した撮影画像とに基づいて指示部領域の抽出を行うようにしたので、指示部領域の抽出にかかる処理量を低減することが可能で、その結果、ポインティング装置としての処理の軽減化を図ることができる。
【００４６】
また、実施の形態２のポインティング装置によれば、背景色決定手段は、肌色情報を有し、特定画像を、投影手段が投影する背景の色と肌色とに基づいて決定するようにしたので、指示部が人間の手である場合の指示部領域を正確に抽出することが可能であるため、指示位置の検出を確実に行うことができる。
【００４７】
また、実施の形態１，２のポインティング装置によれば、指示部を人間の手としたので、画像中の位置を指定する手段として特別な器具等が不要であり、利便性の高いポインティング装置を得ることができる。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施の形態１によるポインティング装置を示す構成図である。
【図２】この発明の実施の形態１によるポインティング装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１によるポインティング装置の動作の様子を示す説明図である。
【図４】この発明の実施の形態１によるポインティング装置のマーカを示す説明図である。
【図５】この発明の実施の形態１によるポインティング装置のぶれ補正手段の動作を示すフローチャートである。
【図６】この発明の実施の形態１によるポインティング装置のぶれ補正手段の補正動作の説明図である。
【図７】この発明の実施の形態１によるポインティング装置における投影画像と撮影画像と差分画像とを示す説明図である。
【図８】この発明の実施の形態１によるポインティング装置の指先検出手段の動作を示すフローチャートである。
【図９】この発明の実施の形態１によるポインティング装置の手領域の抽出動作を示す説明図である。
【図１０】この発明の実施の形態１によるポインティング装置のキャリブレーション手段の動作を示すフローチャートである。
【図１１】この発明の実施の形態１によるポインティング装置の歪補正キャリブレーション手段の動作を示す説明図である。
【図１２】この発明の実施の形態１によるポインティング装置のカラーキャリブレーション手段の動作を示すフローチャートである。
【図１３】この発明の実施の形態１によるポインティング装置のカラーキャリブレーション手段で求める色の変換テーブルの説明図である。
【図１４】この発明の実施の形態２によるポインティング装置の構成図である。
【図１５】この発明の実施の形態２によるポインティング装置の画像表示のタイミングを示す説明図である。
【図１６】この発明の実施の形態２によるポインティング装置の動作を示すフローチャートである。
【図１７】この発明の実施の形態２によるポインティング装置の背景色決定手段の動作を示すフローチャートである。
【符号の説明】
【００４９】
１００，１００ａ  ポインティング制御装置、１０１  映像出力手段、１０３  画像入力手段、１０５，１０５ａ  キャリブレーション手段、１０６  手領域抽出手段、１０７  指先検出手段、１０８  ポインティング手段、１０９  歪補正キャリブレーション手段、１１０  カラーキャリブレーション手段、１１１  ぶれ補正手段、１１２  歪補正手段、１１３  色補正手段、１１４  差分画像抽出手段、１１５  同期手段、１１６  背景色決定手段、２００  プロジェクタ、３００  カメラ、３０１ａ〜３０１ｄ  マーカ、６０１  手領域、６０２  楕円、７０１  グリッド、８０１  カラーパターン、９０１  色相テーブル、９０２  明度テーブル。
【図１】
2008152622.tif 000010
【図２】
2008152622.tif 000011
【図３】
2008152622.tif 000012
【図４】
2008152622.tif 000013
【図５】
2008152622.tif 000014
【図６】
2008152622.tif 000015
【図７】
2008152622.tif 000016
【図８】
2008152622.tif 000017
【図９】
2008152622.tif 000018
【図１０】
2008152622.tif 000019
【図１１】
2008152622.tif 000020
【図１２】
2008152622.tif 000021
【図１３】
2008152622.tif 000022
【図１４】
2008152622.tif 000023
【図１５】
2008152622.tif 000024
【図１６】
2008152622.tif 000025
【図１７】
2008152622.tif 000026