(57)【特許請求の範囲】
【請求項１】
操作用の画像を投影面に投影する投影手段と、
前記投影手段により前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出手段と、
前記物体検出手段により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出手段と、
前記投影手段により投影される画像の前記投影面での画面サイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御手段と、を有することを特徴とする画像投影装置。
【請求項２】
前記制御手段は、前記投影される画像の前記投影面での画面サイズが大きくなるほど、前記操作用の画像の表示位置を前記投影面の側方および下方に表示させることを特徴とする請求項１に記載の画像投影装置。
【請求項３】
前記制御手段は、前記投影される画像の前記投影面での画面サイズが大きくなるほど、前記操作用の画像のサイズを小さくすることを特徴とする請求項１または２に記載の画像投影装置。
【請求項４】
操作用の画像を投影面に投影する投影手段と、
前記投影手段により前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出手段と、
前記物体検出手段により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出手段と、
前記物体検出手段により検出された前記操作物体のサイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御手段と、を有することを特徴とする画像投影装置。
【請求項５】
前記制御手段は、前記操作物体のサイズが小さいほど、前記操作用の画像の表示位置を前記投影面の側方および下方に表示させることを特徴とする請求項４に記載の画像投影装置。
【請求項６】
前記制御手段は、前記操作物体のサイズが小さいほど、前記操作用の画像のサイズを小さくすることを特徴とする請求項４または５に記載の画像投影装置。
【請求項７】
前記物体検出手段は、前記投影手段が投影した画像を含む前記投影面を撮像した撮像画像を用いて前記操作物体を検出し、前記操作物体に関する情報を検出することを特徴とする請求項１から６のいずれか１項に記載の画像投影装置。
【請求項８】
前記制御手段は、前記投影面に投影された画像の領域に前記操作物体が予め定められた時間以上存在すると判定された場合に、前記表示位置およびサイズの決定を行うことを特徴とする請求項７に記載の画像投影装置。
【請求項９】
前記投影手段は、投影される画像と前記操作用の画像とを重畳して投影し、前記制御手段は、前記投影される画像に重畳される前記操作用の画像の表示位置およびサイズの少なくとも一方を制御することを特徴とする請求項１から８のいずれか１項に記載の画像投影装置。
【請求項１０】
記憶媒体から画像を読み出す手段を更に備え、
前記投影手段は、前記記憶媒体から読み出された画像と前記操作用の画像とを重畳して投影し、前記記憶媒体から読み出された画像に重畳される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御することを特徴とする請求項１から８のいずれか１項に記載の画像投影装置。
【請求項１１】
操作用の画像を投影面に投影する投影手段を有する画像投影装置の制御方法であって、
前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出工程と、
前記物体検出工程により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出工程と、
前記投影手段により投影される画像の前記投影面での画面サイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御工程と、を有することを特徴とする画像投影装置の制御方法。
【請求項１２】
操作用の画像を投影面に投影する投影手段を有する画像投影装置の制御方法であって、
前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出工程と、
前記物体検出工程により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出工程と、
前記物体検出工程により検出された前記操作物体のサイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御工程と、を有することを特徴とする画像投影装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像とともにユーザインタフェース画像を投影面に投影する画像投影技術に関する。
【背景技術】
【０００２】
従来、プロジェクタなどの画像投影装置とカメラなどの撮像装置とを利用してコンピュータの操作を行うシステムが提案されている（例えば、特許文献１参照）。このシステムでは、ユーザの机上での動作をカメラで撮影し、撮影した画像を画像処理することによってユーザの手・指先の位置を検出する。ここで検出したユーザの手・指先の位置を利用して、ユーザによる机上に置かれたバーコード指示などを認識し、そのバーコードに関連した画像などを机上に投影する。
【０００３】
また、画像投影装置の設定メニューの操作を、投影された画像上で行うことができる装置が提案されている（例えば、特許文献２参照）。
【特許文献１】特開２００１−２８２４５６号公報
【特許文献２】特開２００５−１４１１５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献２に記載の技術では投影画像（投影画面）のサイズに関係なく、メニューや操作アイコンなどの表示位置や方向は固定されている。このため、投影画像のサイズによってはユーザによる操作が困難になる場合があるという問題があった。例えば、投影画像のサイズが２０インチの場合と同じ位置、サイズで１００インチの投影画面にメニューを表示すると、ユーザより高い位置にメニューが表示されてしまう。このため、ユーザが手でメニューを選択するためには手を上方に無理に伸ばす必要が生じたり、メニューの近くまで大きく移動する必要がある。
【０００５】
本発明は、上記課題に鑑みてなされ、投影画像のサイズやユーザの手の大きさに応じて操作メニューの表示位置やサイズを決定することで、操作メニューの視認性や操作性を向上できる画像投影技術を実現する。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明の画像投影装置は、操作用の画像を投影面に投影する投影手段と、前記投影手段により前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出手段と、前記物体検出手段により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出手段と、前記投影手段により投影される画像の前記投影面での画面サイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御手段と、を有する。
【０００７】
また、本発明の画像投影装置は、操作用の画像を投影面に投影する投影手段と、前記投影面上に存在する所定の操作物体に関する情報を検出する物体検出手段と、前記物体検出手段により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出手段と、前記物体検出手段により検出された前記操作物体のサイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御手段と、を有する。
【０００８】
また、本発明の画像投影装置の制御方法は、操作用の画像を投影面に投影する投影手段を有する画像投影装置の制御方法であって、前記投影面に投影される画像の領域に存在する所定の操作物体に関する情報を検出する物体検出工程と、前記物体検出工程により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出工程と、前記投影手段により投影される画像の前記投影面での画面サイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御工程と、を有する。
【０００９】
また、本発明の画像投影装置の制御方法は、操作用の画像を投影面に投影する投影手段を有する画像投影装置の制御方法であって、前記投影面上に存在する所定の操作物体に関する情報を検出する物体検出工程と、前記物体検出工程により検出された前記操作物体に関する情報に基づいて操作を検出する操作検出工程と、前記物体検出工程により検出された前記操作物体のサイズに応じて、前記投影面に投影する前記操作用の画像の表示位置及びサイズの少なくとも一方を決定し、前記決定した前記表示位置及びサイズの少なくとも一方に基づいて前記投影手段により投影される前記操作用の画像の表示位置及びサイズの少なくとも一方を制御する制御工程と、を有する。
【発明の効果】
【００１０】
本発明によれば、投影画像のサイズやユーザの手の大きさに応じて、操作メニューの表示位置やサイズを決定することで、操作メニューの視認性や操作性が向上する。
【発明を実施するための最良の形態】
【００１１】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１２】
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１３】
［第１の実施形態］
先ず、第１の実施形態として、投影画像のサイズに応じて操作メニューの表示位置及びサイズの少なくともいずれかを決定する装置について説明する。
【００１４】
図１は、本発明に係る第１の実施形態の画像投影装置の概略構成を示すブロック図である。
【００１５】
図１に示す画像投影装置１０において、投影部１００は、光源、レンズ、表示デバイス等を含み、投影画像生成部１０１から供給される画像を投影する。投影画像生成部１０１は、メモリカード等の記憶媒体１０２に記憶された画像データから、投影画像を生成し、投影部１００に供給する。システム制御部１０３は例えばＣＰＵ、ＲＯＭ及びＲＡＭを含むマイクロプロセッサであり、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読出して実行することにより、画像投影装置１０の動作を制御する。
【００１６】
撮像部１０４は例えば動画像を撮影可能なカメラであり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子と、撮像素子に光学被写体像を結像するためのレンズを含む。なお、本実施形態において、撮像部１０４は赤外光領域のみを撮影可能な赤外線カメラであるものとする。また、本実施形態において撮像部１０４の撮像範囲は投影部１００の投影範囲を包含する範囲であるものとする。撮像部１０４は、撮像画像を手領域検出部１０５へ供給する。
【００１７】
手領域検出部１０５は、撮像部１０４から供給される撮像画像から、予め定められた特定の被写体の一例として、人間の手、具体的には人間の手と判別される画像領域（手領域）を検出する。手領域検出部１０５により検出された手領域に関する情報（手の大きさなど）は、ユーザ操作検出部１０６及びメニュー表示制御部１０７へ与えられる。
【００１８】
ユーザ操作検出部１０６は、手領域に関する情報に基づいて、ユーザの操作を検出する。投影画像サイズ判定部１１０は、投影部１００により投影される画像サイズを判定し、判定結果をメニュー表示制御部１０７へ出力する。メニュー表示制御部１０７は、投影画像のサイズと手領域に関する情報に基づいてユーザインタフェース画像としてのメニュー表示を制御する。
【００１９】
図２は、図１に示した画像投影装置による画像の投影と撮像の様子を模式的に示す図である。
【００２０】
図２に示す例では、投影面２１０は机又はテーブルで形成される水平面であり、投影面２１０上に投影画像２１１が投影された状態を示している。なお、投影面２１０はユーザの使用環境に応じて壁などでもよい。
【００２１】
撮像部１０４は投影された投影画像２１１を含む領域を撮像するものとする。投影画像のサイズは投影面２１０との距離や投影部１００のズーム状態によって変化する。そのため、撮像部１０４は撮像画像中における投影画像２１１の領域の割合が常に同じになるように画角を変更する。具体的には、投影画像のサイズが小さい場合は望遠側で撮影し、投影画像のサイズが大きい場合は広角側で撮像することで撮像画像と投影画像との関係を一定に保持する。さらに、図示していないが、ユーザは投影画像２１１の領域に手を挿入することで装置１０の操作が可能である。
【００２２】
（画像投影動作）
再度図１を参照して、本実施形態の画像投影装置の画像投影動作について説明する。
【００２３】
記憶媒体１０２には複数の画像データが記録されている。システム制御部１０３は記憶媒体１０２に記録された複数の画像データのいずれかを指定し、投影画像生成部１０１へ読み出し要求を出す。投影画像生成部１０１は指定された画像データを記憶媒体１０２から読み出し、例えば画像データが符号化されていれば復号化処理を行うなど、投影部１００に表示するための画像データ（表示用画像データ）を生成する処理を行う。表示用画像データは投影部１００に供給され、投影部１００は表示用画像データに基づく画像を投影する。
【００２４】
なお、投影する画像は、例えば記憶媒体１０２に記憶されている複数の画像データの中からユーザが指定しても良い。この指定は基本ソフトが提供するファイルブラウザを用いるなど、周知の任意の方法を用いて行いうる。
【００２５】
（ユーザ操作検出動作）
次に、本実施形態の画像投影装置におけるユーザ操作の検出動作について説明する。
【００２６】
上述のように、撮像部１０４は赤外光領域のみを撮影可能な赤外線カメラであり、投影範囲、すなわち投影画像を含む投影面上の領域を撮像する。撮像部１０４は、１秒当たりｎフレームの画像を撮影し、撮像により得られた画像データを、例えばフレーム単位で手領域検出部１０５に出力する。ここで、ｎは１以上の整数であればよいが、１０〜３０程度が望ましい。
【００２７】
手領域検出部１０５では、撮像部１０４から供給される画像データから、予め定められた被写体に対応する領域、ここでは一例としてユーザの手に対応する領域（手領域）を検出する。図３（ａ）は投影面３００上の投影画像３０１にユーザが手３０２をかざした（挿入した）状態の例を示す。
【００２８】
手領域検出部１０５は例えば特許文献１と同様の方法により、赤外線画像からユーザの手領域を抽出することができる。具体的には、撮像部１０４は赤外線カメラであるため、ユーザの手領域からの放射光を測定し、温度が所定の範囲（人間の体温の近傍である３０℃〜３４℃程度）にある被写体だけを抽出する。そのため、撮像画像にはユーザの手領域のみが写る。手領域検出部１０５は、撮像部１０４から供給される撮影画像データに対して、ノイズ除去処理などを行った後、手領域および手の指先位置をパターンマッチングにより検出する。図３（ｂ）は図３（ａ）の状態で撮像部１０４が撮像した画像３１０から検出された手領域３１１と指先位置３２０〜３２４を示している。
【００２９】
手領域検出部１０５は、検出した手領域に関する情報として、例えば手領域の範囲を示す情報と指先位置を示す情報とを、ユーザ操作検出部１０６及びメニュー表示制御部１０７に出力する。
【００３０】
（投影画像サイズ判定動作）
再度図１を参照して、本実施形態の画像投影装置における投影画像サイズの判定動作について説明する。
【００３１】
投影画像サイズ判定部１１０は、投影部１００から光学系のズームおよびフォーカス情報を取得する。そして、ズームおよびフォーカス状態に対応した投影画像サイズを算出する。ズームおよびフォーカス状態と投影サイズの関係は予めテーブル情報として保持しているものとする。ここでは、投影画像サイズとしては大、中、小の３種類を判定するものとする。
【００３２】
投影画像サイズ判定部１１０により判定された投影画像サイズ情報は、メニュー表示制御部１０７へ出力される。また、手領域検出部１０５による手領域の検出結果もメニュー表示制御部１０７へ出力される。
【００３３】
（メニュー表示制御）
次に、図４のフローを参照して、本実施形態のメニューの表示制御動作について説明する。
【００３４】
図４は、本実施形態のメニュー表示制御部１０７による動作を示すフローチャートである。なお、メニュー表示制御部１０７において制御されるメニューとは、ユーザによる操作を受け付ける操作メニューを示している。
【００３５】
図４において、Ｓ４０１では、手領域検出部１０５による手領域の検出結果に基づいて、手が投影画像中に一定時間以上挿入されているか判定する。ここで、手が一定時間以上挿入されている場合は、メニューを表示するためＳ４０２へ進み、手が挿入されていない又は手が挿入されてから一定時間経過していない場合は、メニューを表示しないので、本処理を終了する。
【００３６】
Ｓ４０２では、投影画像のサイズに応じてメニューの表示位置およびサイズを決定する。図５は投影画像サイズとメニューの表示位置およびサイズとの関係を例示している。図５において、（ａ）は投影画像サイズが小（２０インチ以下）のとき、（ｂ）は投影画像サイズが中（２０〜８０インチ）のとき、（ｃ）は投影画像サイズが大（１００インチ）のときの各操作メニュー５０１〜５０３を例示している。
【００３７】
ここで、投影画像サイズに応じてメニューの表示位置やサイズを決定する理由について説明する。先ず、メニューのサイズに関しては、投影画像サイズが小さくなる程、相対的にユーザの手のサイズは大きくなる。そのため、投影画像サイズが小さくなる程、メニューの表示サイズを大きくしてユーザが手で選択しやすくなるように制御する。
【００３８】
また、メニューの表示位置に関しては、投影画像サイズが小さいときには、投影面として机や壁が考えられる。また、投影画像サイズが小さいため、ユーザは投影画像中のどこにでも手を伸ばしてメニューを操作することが可能である。そのため、図５（ａ）に示すように投影画像の中心部を含む画面全体を使ってメニューを表示する。
【００３９】
一方、投影画像サイズが１００インチなど大きくなった場合には壁への投影が主となると考えられる。壁に投影した際にメニューを図５（ａ）のように投影画像の上方に表示してしまうとユーザの手が届きにくいなど操作し難い状況が生じてしまう。そこで、投影画像サイズが大きい場合には、図５（ｃ）のように、ユーザの位置に近いと考えられる投影画像の側方（右端）かつ下方にメニューを表示する（図５（ｃ）では右下部に表示）。図５（ｂ）は図５（ａ）と（ｃ）の中間状態であり、投影画面の中央部にはメニューを表示せずに画面の側方（右端）に表示している。
【００４０】
図４に戻り、Ｓ４０３では、メニュー画像を投影画像に重畳して表示するための要求をシステム制御部１０３へ送出する。また、Ｓ４０２で決定されたメニューの表示位置およびサイズに関する情報もシステム制御部１０３へ送出する。
【００４１】
システム制御部１０３は、メニュー表示制御部１０７からのメニュー表示要求を受けると、メニューの表示位置およびサイズに関する情報を投影画像生成部１０１に送出する。投影画像生成部１０１は、メニュー表示位置およびサイズに関する情報に基づいて、記憶媒体１０２からの画像上の、メニュー表示位置に対応する位置にメニュー画像を重畳合成して表示用画像データを生成し、投影部１００へ出力する。これにより、投影部１００からは、メニューが重畳された画像が投影される。
【００４２】
メニュー表示結果の例を図６に示す。図６（ａ）はユーザの手が投影画像６０１上に挿入されておらず、投影画像が記憶媒体１０２から読み出された画像だけで構成されている状態を示す。図６（ｂ）はユーザの手が投影画像６０１上に一定時間挿入され、投影画像６０１には、投影画像のサイズに応じた表示位置にメニュー６０２が重畳されている状態を示す。
【００４３】
ユーザ操作検出部１０６は、手領域検出部１０５からの手領域に関する情報に基づいてユーザの指示動作を検出し、検出した指示動作の情報をシステム制御部１０３へ出力する。ユーザの指示動作とは例えば図６（ｃ）に示すようなユーザの手による指差し動作である。指差し動作は、例えば指先位置情報の数が１つであることや、手領域の形状の特徴などに基づいて検出することができる。ユーザ操作検出部１０６はユーザの指差し動作を検出すると、指先位置情報をシステム制御部１０３へ出力する。
【００４４】
システム制御部１０３は、表示したメニューの項目に対し、ユーザの指示動作が所定時間以上続いているかを判定する。即ち、図６（ｃ）に示すように、メニュー６０２に含まれるボタンの領域内に指先位置が所定時間以上存在し続けているか判定する。所定時間以上にわたって指先位置がメニュー項目の領域内に存在し続けていると判定される場合、システム制御部１０３は、そのメニュー項目をユーザが操作していると判定し、メニュー項目に応じた動作を行う。
【００４５】
図６（ｃ）の例は、メニュー６０２に含まれるボタン６０３の領域に、指先位置６０４が所定時間以上存在している状態を示している。この場合、システム制御部１０３は、ボタン６０３が操作されたものと判定し、ボタン６０３に応じた動作を行う。
【００４６】
例えば、ボタン６０３が投影画像を記憶媒体１０２に記憶された次の画像に切り替えるボタンであるとすると、システム制御部１０３は、投影画像生成部１０１を制御して、次の画像を読み出させ、メニュー６０２を重畳させた表示用画像データを生成させる。この結果、投影画像が例えば図６（ｄ）に示すように切り替わる。
【００４７】
なお、メニュー項目が操作されたものと判定されたことを、音声等によりユーザに知らせてもよい。それにより、ユーザは、いつまでもメニュー項目を指し続ける必要がなく、使い勝手がよい。
【００４８】
また、メニューを表示した後、撮影した画像中に手の画像を一定時間継続して検出しなかった場合、メニューの表示を停止する。
【００４９】
以上説明したように、本実施形態によれば、投影画像のサイズに応じて操作メニューの表示位置及びサイズの少なくともいずれかを決定することで、投影画像に重畳されたメニューの視認性や操作性を向上することができる。
【００５０】
本例では投影画像のサイズは投影部１００のズームおよびフォーカス情報から判定したが、本発明はこれに限定するものではない。例えば、投影面との距離が測定可能な測距センサなどの距離検出手段を設け、投影面との距離とズーム情報から投影画像サイズを判定する構成としてもよい。
【００５１】
また、上記例では投影画像サイズとして大、中、小の３段階に分けた例について説明したが、これに限定するものではなく、２段階や、４段階以上を判定するように構成してもよい。
【００５２】
［第２の実施形態］
次に、第２の実施形態として、ユーザの手領域のサイズに応じて操作メニューの表示位置及びサイズの少なくともいずれかを決定する装置について説明する。
【００５３】
図７は、第２の実施形態の画像投影装置の概略構成を示すブロック図であり、図１と同じ構成には同一の符号を付して示している。
【００５４】
図７では、図１の構成から投影画像サイズ判定部１１０が削除され、手のサイズ判定部７１０が追加されている。また、後述するようにメニュー表示制御部１０７は、手のサイズ判定部７１０による判定結果に基づいてメニューの表示位置やサイズを決定する。なお、図７の１００〜１０６の動作については第１の実施形態と同様であるため、ここでの説明は省略する。
【００５５】
さて、図７において、手のサイズ判定部７１０は、手領域検出部１０５により検出された手領域に関する情報を取得し、手領域のサイズを判定する。具体的には、手の重心位置を算出し手の中心位置と指先位置との距離を算出する。図８は手のサイズ判定部における処理を示している。
【００５６】
図８において、８００は手領域、８０１は手の重心位置、８０２は手の重心位置８０１から最も遠い距離にある指先位置である。手のサイズ判定部７１０は手の重心位置８０１と指先位置８０２との距離を算出する。そして、算出した距離と予め決められた閾値とを比較して手領域のサイズを大、中、小のいずれかと判定する。具体的には、算出した距離が長いほど手領域のサイズが大きいと判定し、距離が短いほど手領域のサイズが小さいと判定する。
【００５７】
手のサイズ判定部７１０は、手領域のサイズ情報をメニュー表示制御部１０７に出力する。
【００５８】
（メニュー表示制御）
次に、図９のフローを参照して、本実施形態のメニューの表示制御動作について説明する。
【００５９】
図９は、本実施形態のメニュー表示制御部による動作を示すフローチャートである。
【００６０】
図９において、Ｓ９０１では、手領域検出部１０５による手領域の検出結果に基づいて、手が投影画像中に一定時間以上挿入されているか判定する。ここでの処理は図４のＳ４０１と同様である。ここで、手が一定時間以上挿入されている場合は、メニューを表示するためＳ９０２へ進み、手が挿入されていない又は手が挿入されてから一定時間経過していない場合は、メニューを表示しないので、本処理を終了する。
【００６１】
Ｓ９０２では、手のサイズ判定部７１０により判定された手領域のサイズに応じてメニューの表示位置およびサイズを決定する。図１０は手領域のサイズとメニューの表示位置およびサイズとの関係を例示している。図１０において、（ａ）は手領域１０１１のサイズが大のとき、（ｂ）は手領域１０１２のサイズが中のとき、（ｃ）は手領域のサイズ１０１３が小のときの各操作メニュー１００１〜１００３を例示している。
【００６２】
先に述べたように撮像部１０４は投影画像のサイズが変化した場合に、投影画像を全て含む領域を撮影するために画角を変更する。そのため、投影画像のサイズが大きくなる程、撮影される手領域のサイズは相対的に小さくなり、投影画像のサイズが小さくなる程、撮影される手領域のサイズは相対的に大きくなる。
【００６３】
ここで、手領域のサイズに応じて操作メニューの表示位置やサイズを決定する理由について説明する。先ず、手領域のサイズに関しては、手領域のサイズが大きい場合、メニューを小さく表示すると手での選択操作が難くなる。そこで、手領域のサイズが大きくなる程、メニューの表示サイズを大きくしてユーザが手で選択しやすくなるように制御する。
【００６４】
また、メニューの表示位置に関しては、手領域のサイズが大きいときには、投影画像が小さい場合であって投影面として机や壁が考えられる。また、投影画像サイズが小さいため、ユーザは投影画像中のどこにでも手を伸ばしてメニューを操作することが可能である。そのため、図１０（ａ）に示すように投影画像の中心部を含む全体を使ってメニューを表示する。
【００６５】
一方、手領域のサイズが小さくなった場合は、第１の実施形態における投影画像サイズが大きくなったときに相当すると考えられる。そこで、第１の実施形態の投影画像サイズが大きいときと同様に、図１０（ｃ）のように、ユーザの位置に近いと考えられる投影画像の左右の下方にメニューを表示する。図１０（ｂ）は図１０（ａ）と（ｃ）の中間状態である。
【００６６】
図９に戻り、Ｓ９０３では、メニュー画像を投影画像に重畳して表示するための要求をシステム制御部１０３へ送出する。また、Ｓ９０２で決定されたメニューの表示位置およびサイズに関する情報もシステム制御部１０３へ送出する。
【００６７】
システム制御部１０３は、メニュー表示制御部１０７からのメニュー表示要求を受けると、メニューの表示位置およびサイズに関する情報を投影画像生成部１０１に送出する。投影画像生成部１０１は、メニュー表示位置およびサイズに関する情報に基づいて、記憶媒体１０２からの画像上の、メニュー表示位置に対応する位置にメニュー画像を重畳合成して表示用画像データを生成し、投影部１００へ出力する。これにより、投影部１００からは、メニューが重畳された画像が投影される。
【００６８】
また、ユーザ操作を監視してメニューの選択操作などを受け付ける。これらの処理は第１の実施形態と同様である。
【００６９】
以上説明したように、本実施形態によれば、ユーザの手領域のサイズに応じて表示位置及びサイズの少なくともいずれかを決定することで、投影画像に重畳されたメニューの視認性や操作性を向上することができる。
【００７０】
本例では手領域のサイズは手の重心位置と指先位置との距離から判定したが、本発明はこれに限定するものではない。例えば、手領域の面積から手領域のサイズを判定する構成としてもよい。
【００７１】
また、上記例では手領域のサイズとして大、中、小の３段階に分けた例について説明したが、これに限定するものではなく、２段階や、４段階以上を判定するように構成してもよい。
【００７２】
［他の実施形態］
上述の実施形態ではいずれも、メニューの操作に用いられる操作物体として、手を予め定められた被写体に設定し、撮像画像中で物体検出手段としての手領域検出部１０５で検出された手領域に関する情報に基づきメニュー表示を行う例に説明した。しかし、例えばユーザが直接手でメニューを操作しない場合であっても、本発明を適用可能である。例えば、ペンや指示棒などを用いてユーザがメニューの操作を行う場合には、手の代わりにペンや指示棒を特定の被写体として検出するように構成すればよい。このように、本発明は本質的に、メニューを操作するために用いられる操作物体とその位置を検出できれば、操作物体の形状や位置の検出方法はどのようなものであっても良い。
【００７３】
従って、メニューを操作するために用いられる操作物体の検出に、投影画像を含む範囲を撮像した撮像画像を用いることも必須ではなく、他の任意の方法で検出することができる。例えば、ユーザの手に位置センサを取り付け、位置センサが検出する位置及びその変化に基づいて判定しても良い。この場合、撮像部１０４の代わりに位置センサを用い、手領域検出部１０５の代わりに位置センサの出力から位置を検出する位置検出部を設ける。
【００７４】
さらに、上記各実施形態では、撮像部１０４は赤外線カメラとしたが、可視光領域を撮像するカメラを用いることも可能である。この場合、手領域の検出は撮像画像中の肌色領域などを抜き出すことで可能である。
【００７５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶媒体（又は記録媒体）をカメラに供給ことによっても達成されることは言うまでもない。この場合、カメラのコンピュータ（又はCPUやMPU）が記憶媒体からプログラムコードを読み出して実行することによって達成される。
【００７６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したメニューの表示制御プログラムや各種テーブルが格納されることになる。これらのプログラムコードは、例えば、アップデート可能なファームウェアとしても提供可能である。
【図面の簡単な説明】
【００７７】
【図１】本発明に係る第１の実施形態の画像投影装置の概略構成を示すブロック図である。
【図２】図１に示した画像投影装置による画像の投影と撮像の様子を模式的に示す図である。
【図３】第１の実施形態の画像投影装置の手領域検出部の動作を説明する図である。
【図４】第１の実施形態のメニューの表示制御処理を示すフローチャートである。
【図５】投影画像サイズとメニューの表示位置およびサイズとの関係を例示する図である。
【図６】第１の実施形態におけるメニュー表示結果を例示する図である。
【図７】本発明に係る第２の実施形態の画像投影装置の概略構成を示すブロック図である。
【図８】第２の実施形態の画像投影装置の手のサイズ判定部の動作を説明する図である。
【図９】第２の実施形態のメニューの表示制御処理を示すフローチャートである。
【図１０】第２の実施形態におけるメニュー表示結果を例示する図である。
【符号の説明】
【００７８】
１０  画像投影装置
１００  投影部
１０１  投影画像生成部
１０２  記憶媒体
１０３  システム制御部
１０４  撮像部
１０５  手領域検出部
１０６  ユーザ操作検出部
１０７  メニュー表示制御部
１１０  投影画像サイズ判定部
７１０  手のサイズ判定部
【図１】
0005258399.tif 000002
【図２】
0005258399.tif 000003
【図３】
0005258399.tif 000004
【図４】
0005258399.tif 000005
【図５】
0005258399.tif 000006
【図６】
0005258399.tif 000007
【図７】
0005258399.tif 000008
【図８】
0005258399.tif 000009
【図９】
0005258399.tif 000010
【図１０】
0005258399.tif 000011