(57)【要約】      （修正有）【課題】ユーザの投影面に対するジェスチャー操作を継続しなくとも、投影面の影の状況を保持することができる画像投影装置を提供する。【解決手段】画像投影装置は、投影手段に撮像用画像を投影させた状態で、撮像手段で投影面を撮像させ、投影面画像を取得し、外部から入力される表示画像に投影面画像が重なっているように見える、投影画像を生成し、これを用いて投影を行う。これによりユーザの投影面に対するジェスチャー操作が継続されなくても、所望の状態を保持する。【選択図】図４
2016102880.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影面に投影する投影手段と、前記投影面を撮像する撮像手段と、を備える画像投影装置であって、
前記投影手段に撮像用画像を投影させた状態で、前記撮像手段で前記投影面を撮像させ、投影面画像を取得する取得手段と、
外部から入力される表示画像に前記投影面画像が重なっているように見える、投影画像を生成する生成手段と、
を備えることを特徴とする画像投影装置。
【請求項２】
前記投影手段によって前記投影面に投影される画像を、前記撮像用画像と前記投影画像とを切り替える切替手段を更に有し、
前記切替手段によって、前記撮像用画像に切り替えられた際に、前記取得手段は、前記投影面画像を取得することを特徴とする請求項１に記載の画像投影装置。
【請求項３】
前記切替手段は、前記投影画像が投影されている合間に前記撮像用画像が投影されるように切り替えることを特徴とする請求項２に記載の画像投影装置。
【請求項４】
前記撮像用画像は、無画像または前回の撮像動作で撮像された前記投影面画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像投影装置。
【請求項５】
前記外部から入力される表示画像のページが変更されたことを判断する判断手段と、
前記判断手段で表示画像のページが変更されたと判断された場合に、前記生成手段で投影面画像の撮像の際に用いる前記撮像用画像を変更する変更手段と、を更に有することを特徴とする請求項４に記載の画像投影装置。
【請求項６】
前記投影面画像を記憶する記憶手段を更に有し、
前記変更手段は、表示画像のページが新しいページに変更されたと判断された場合に、前記記憶手段に記憶された前記投影面画像をリセットすることにより、前記撮像用画像を変更することを特徴とする請求項５に記載の画像投影装置。
【請求項７】
前記記憶手段は、前記表示画像のページに対応するように、前記投影面画像を記憶することができ、
前記変更手段は、表示画像のページが既に表示したことのあるページに変更されたと判断された場合に、当該ページに対応する前記投影面画像が前記撮像用画像となるように、前記撮像用画像を変更することを特徴とする請求項６に記載の画像投影装置。
【請求項８】
画像を投影面に投影する投影手段と、前記投影面を撮像する撮像手段と、を備える画像投影装置の制御方法であって、
前記投影手段に撮像用画像を投影させた状態で、前記撮像手段で前記投影面を撮像させ、投影面画像を取得する取得工程と、
外部から入力される表示画像に前記投影面画像が重なっているように見える、投影画像を生成する生成工程と、
前記生成された画像を前記投影手段により投影する投影工程とを備えることを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置及び画像投影装置の制御方法に関する。
【背景技術】
【０００２】
プロジェクタを用いてプレゼンテーションを行うような会議形式が近年広く行われているが、プレゼンテーション用資料に対する操作をプレゼンターが容易に行えるような環境の構築が求められている。
【０００３】
このような操作性を向上させる技術の一例として、特許文献１には、投影された画面上にユーザが手をかざされると、手領域を検出し、この手領域からの指示内容で画像を選択したり画像を変更したり行えることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５８４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、プロジェクタを用いてプレゼンテーションを行うような会議形式では、投影内容に不備が見つかり投影画像を瞬間的に隠したいという状況や、投影面の一部を指さしたいという状況が発生しうる。このような場合には、ユーザは投影光に手をかざし、投影面の投影画像に影をつけることで対応することができるが、このようなジェスチャーを長時間継続することは困難であるため、ジェスチャーを継続しなくとも上記状況に対応し続けられるような技術が求められている。
【０００６】
特許文献１に開示される方法のように、手領域を検出して、手領域からの指示内容によって画面上に影をつけることも考えられるが、指示内容に応じた影の位置等を多数設定する必要があり現実的ではない。
【０００７】
本願発明は、上記課題を鑑みてなされたものであり、ユーザの投影面に対するジェスチャー操作を継続しなくとも、投影面の影の状況を保持することができる画像投影装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本願発明の画像を投影面に投影する投影手段と、前記投影面を撮像する撮像手段と、を備える画像投影装置は、前記投影手段に撮像用画像を投影させた状態で、前記撮像手段で前記投影面を撮像させ、投影面画像を取得する取得手段と、外部から入力される表示画像に前記投影面画像が重なっているように見える、投影画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
このような外部から入力される表示画面に、ユーザのジェスチャー操作による投影面の状態を反映した投影面画像が重なって見えるように投影画像を生成し、投影画像として投影手段により投影することにより、ユーザの投影面に対するジェスチャー操作を継続しなくとも、投影面の影の状態を保持することができる。
【図面の簡単な説明】
【００１０】
【図１】プロジェクタ（画像投影装置）でスクリーン（投影面）に投影した内容を、ユーザが手で隠す様子を説明する図である。
【図２】本実施形態におけるプロジェクタ（画像投影装置）のハードウェア構成を説明するためのブロック図である。
【図３】本実施形態におけるプロジェクタ（画像投影装置）の機能的構成を説明するためのブロック図である。
【図４】本実施形態における、投影画像を生成する流れを説明するためのフローチャートである。
【図５】（ａ）本実施形態における表示画像の一例を示す図である。（ｂ）本実施形態における投影面画像の一例を示す図である。（ｃ）図５（ｂ）に示す投影面画像を図５（ａ）に示す表示画像に重ね合わせて生成した投影画像の一例を示す図である。
【図６】（ａ）本実施形態における投影面画像の一例を示す図である。（ｂ）図６（ａ）に示す投影面画像を図５（ａ）に示す表示画像に重ね合わせて生成した投影画像の一例を示す図である。
【図７】（ａ）投影面画像の影の部分の色を選択する選択画面の一例である。（ｂ）記憶手段に記憶された投影面画像をリセットするために設けられた領域を示す図である。
【発明を実施するための形態】
【００１１】
図１は、プロジェクタ（画像投影装置）でスクリーン（投影面）に投影した内容を、ユーザが手で隠している様子を示している図である。
【００１２】
液晶プロジェクタなどのプロジェクタは、近年プレゼンテーションなどに広く用いられており、パソコン上の資料の画像データをもとにスクリーンに表示画像を投影させることができる。このような表示画像の内容はパソコン上のデータを修正したりすることで、変更することができるが、プレゼンテーション中に、投影内容に不備が見つかり投影画像を瞬間的に隠したいという状況や投影面の一部を指さしたいという状況が発生することも生じうる。
【００１３】
このような場合には、ユーザは投影部とスクリーンとの間に手を差し入れ、投影光を遮ることで、投影面に影をつけて対応することができるが、このような影はユーザによるジェスチャーを行っている間しか投影面に表示されず、このようなジェスチャーを長時間継続することは困難であるため、これまで、影を表示させ続けるということが難しかった。
【００１４】
図１は、プロジェクタの投影部１０２で投影されている“Ａ”“Ｂ”“Ｃ”のうちユーザが手１０３の影１０４で、“Ｃ”の投影光を遮り、投影面１０１に影１０４を発生させて、隠している状態を示している。
【００１５】
これに対し、本実施形態では、ユーザの操作によりできる影が表示された投影面１０１の状態を撮像部２１２で取得し、この投影面１０１の影の状態を表示画像に重なって見えるように投影画像を生成して投影させることで、ユーザの投影面に対するジェスチャー操作を継続しなくとも、投影面の影の状態を保持させている。
【００１６】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１７】
図２は、本実施形態におけるプロジェクタ１００（画像投影装置）のハードウェア構成を説明するためのブロック図である。
【００１８】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００１９】
また、ＲＯＭ２０２あるいは外部メモリ２０７（記憶手段）には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、プロジェクタ１００の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００２０】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２１】
また、入力コントローラ（入力Ｃ）２０５は、不図示のキーボードやマウス等のポインティングデバイスやリモコン等の入力部２０９からの入力及び撮像部２１２（撮像手段）からの入力を制御する。
【００２２】
出力コントローラ（ＶＣ）２０６は、スクリーンや壁面に画像を投影する投影部２１０を制御する。
【００２３】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００２４】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、投影部２１０（投影手段）上での表示を可能としている。
【００２５】
本発明を実現するためのプログラムは外部メモリ２０７に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明で生成されるプログラムやプロキシクラスファイル、プログラムが用いる定義ファイル及び各種情報テーブルは外部メモリ２０７に格納されており、これらについての詳細な説明は後述する。
【００２６】
図３は、本実施形態におけるプロジェクタ（画像投影装置）の機能的構成を説明するためのブロック図である。
【００２７】
プロジェクタ１００は、外部のパソコン等から表示画像となる画像データを入力部２０９によって入力される。入力部から入力された画像データは、表示画像として、外部メモリ２０７等の表示画像メモリ３０１に一時的に記憶され、この表示画像は、レイヤ１−３０２として設定される。
【００２８】
撮像画像メモリ３０３は、撮像部２１２で撮像された投影面画像を記憶しており、この投影面画像は、レイヤ２−３０４として設定される。
【００２９】
画像処理部３０５は、レイヤ１−３０２の画像にレイヤ２−３０４の画像が重なって見えるように合成処理を行い、投影画像を生成する。なお、撮像画像メモリ３０３に投影面画像としてなにも記憶されていない場合には、レイヤ２−３０４は全面白色光等の無画像であるとして重ね合わせ処理が行われる。なお、白色光のみならず投影面全面で均一となる照射光であれば、単色光又は複数色の混合色を用いた照射光であってもよい。
【００３０】
投影画像切替処理部３０６は、投影部２１０で投影される画像を、画像処理部３０５で生成された投影画像とするか、レイヤ２として設定された投影面画像（若しくはレイヤ２として扱われる全面白色光等の無画像）を用いた撮像用画像とするかの切替処理を行う。具体的には、切替処理は一定の間隔で撮像用画像が投影されるように制御され、言い換えると、撮像用画像の投影面１０１への投影は、画像処理部３０５で生成された画像を投影している合間となるように切替処理を行う。なお、撮像用画像の投影動作及び撮像動作は、ごく短時間で行われるため、プレゼンテーション等を視聴している視聴者にこのような処理が行われていることを気づかれることはない。
【００３１】
同時制御部３０７は、投影画像切替処理部３０６でレイヤ２として設定された撮像用画像（若しくはレイヤ２として扱われる全面白色光等の無画像）を投影するタイミングに同期して、撮像部２１２で投影面画像が撮像されるように制御する。
【００３２】
すなわち、一番初めに撮像部で撮像動作が行われる際には、全面白色光等の無画像が撮像用画像として投影されている状態で投影面画像が撮像され、既に投影面画像が１度撮像されている場合には、今回の撮像の直前の撮像動作で撮像された投影面画像が撮像用画像として投影されている状態で投影面画像が撮像される。このようにすることで、撮像回数が増えるごとに投影面画像の影部分（すなわち表示画像に合成する影部分）が徐々に増えていくように制御することができる。
【００３３】
配色メモリ３０８は、撮像画像の影の領域の色、すなわち黒色の部分を変える配色データを記憶する記憶手段である。つまり記憶されている色により、レイヤ２として設定されている投影面画像の影領域の色は調整され、画像処理部３０５による合成処理などに用いられる。このような配色メモリ３０８への設定は、図７（ａ）に示すような、投影面１０１に配色画面７００を表示させ、予めユーザに設定させておくことで用いることができる。
【００３４】
配色画面で選択させる色としては、このように複数の候補から選ばせる方法のみならず、Ｒ／Ｇ／Ｂの比率設定としてもよい。
【００３５】
図４は、本実施形態における、投影画像を生成する流れを説明するためのフローチャートである。図４のフローチャートに示す処理は、プロジェクタ１００のＣＰＵ２０１が記憶されている制御プログラムを読み出して実行することにより実現される。
【００３６】
Ｓ４０１では、プロジェクタ１００のＣＰＵ２０１が、レイヤ１画像として登録されている表示画像を取得するとともにレイヤ２画像として登録されている投影面画像とを取得する。投影面画像がレイヤ２として登録されていない場合には、全面白色光等の無画像がレイヤ２として取得される。
【００３７】
Ｓ４０２では、プロジェクタ１００のＣＰＵ２０１が画像処理部３０５として機能し、レイヤ１として取得された表示画像と、レイヤ２として取得された投影面画像とを重ね合わせ、投影画像を生成する処理を行う。そしてＳ４０３では、プロジェクタ１００のＣＰＵ２０１が、投影部２１０にＳ４０２で生成された投影画像を投影させる。これによりレイヤ２として取得された投影面画像、すなわち例えばユーザの手の影などを含む画像が、表示画像に重なって見えるような投影画像が投影される。
【００３８】
Ｓ４０４では、プロジェクタ１００のＣＰＵ２０１が投影画像切替処理部３０６として機能し、投影部２１０に投影させる画像を、Ｓ４０２で生成された投影画像から、撮像部２１２で撮像させる際に投影させる撮像用画像に切り替え、撮像部２１２に投影面１０１の撮像処理を行わせ、投影面画像を取得する。つまり撮像用画像の投影に同期して、撮像部２１２に投影面１０１の撮像を行わせる。
【００３９】
Ｓ４０５では、プロジェクタ１００のＣＰＵ２０１は、Ｓ４０４で撮像された投影面画像を撮像画像メモリ３０３に記憶させる。
【００４０】
Ｓ４０６では、プロジェクタ１００のＣＰＵ２０１は、入力部２０９からの入力が終了したかを判断する。入力部２０９からの入力が継続している場合には、Ｓ４０８に進み、入力部２０９からの入力が終了した場合には投影部２１０による画像の投影動作を停止して、終了する。
【００４１】
Ｓ４０７では、プロジェクタ１００のＣＰＵ２０１は、表示画像のページが変更されたかどうかを判断する。具体的には、表示画像メモリ３０１に記憶されている画像が変更されたかどうかにより判断することができ、表示画像のページが変更されていると判断された場合には、Ｓ４０８に進み、撮像画像メモリ３０３に登録されている投影面画像をリセットする動作を行う。表示画像が変更された場合には、ユーザのジェスチャーによる影の状況もリセットされる方が好ましいためである。その後、Ｓ４０１に戻り画像の重ね合わせ処理（Ｓ４０２）及び画像の投影処理（Ｓ４０３）及び（投影面撮像処理）が繰り返されることになる。
【００４２】
なお、撮像画像メモリ３０３において、表示画像のページに対応するように投影面画像を記憶させておき、表示画像のページが既に表示したことのあるページに変更されたと判断された場合に、当該ページに対応する投影面画像が撮像用画像となるように、撮像用画像を変更するように設けてもよい。
【００４３】
一方、Ｓ４０７で表示画像のページが変更されたと判断されなかった場合には、Ｓ４０１に戻り画像の重ね合わせ処理（Ｓ４０２）及び画像の投影処理（Ｓ４０３）及び（投影面撮像処理）が繰り返されることになる。
【００４４】
このような繰り返し処理が行われる場合には、Ｓ４０４で用いられる撮像用画像は、前回の投影面撮像処理で撮像された投影面画像となるため、撮像回数が増えるにつれて投影面画像の影部分（すなわち表示画像に合成する影部分）が徐々に増えていくように変化していく。これにより、ユーザは隠したい部分の上に影ができるように手を動かすことにより、動かして生成された影領域が表示画像に合成されるため、所望の領域を隠したり、影により指示したりすることができる。
【００４５】
次に図５及び図６を用いて、図４を用いて説明したレイヤ１として取得された表示画像と、レイヤ２として取得された投影面画像とを重ね合わせ生成される投影画像を示す。
【００４６】
図５（ａ）は、“Ａ”“Ｂ”“Ｃ”が表示された表示画像５０１を示す図であり、図５（ｂ）は、図１に示すユーザの手１０３の影１０４が“Ｃ”にある状態で撮像された投影面画像５０２を示す図である。図５（ｃ）は、図５（ｂ）に示す投影面画像５０２を図５（ａ）に示す表示画像５０１に重ね合わせて生成した投影画像５０３の一例を示す図である。このように、図１に示すユーザの手１０３の影１０４が含まれる投影面画像５０２が重ね合わされ、“Ｃ”の表示が覆い隠された投影画像５０３が生成されていることがわかる。
【００４７】
図６（ａ）は、ユーザが手を動かしている状態で、撮像回数が３回行われた際の投影面画像５０２の様子を示す図である。３回目の撮像は、１回目の撮影時の影６０１と２回目の撮影時の影６０２とが含まれる撮像用画像が投影されている状態で行われ、撮像動作が行われると、１回目の撮影時の影６０１と２回目の撮影時の影６０２と３回目の撮影時の影６０３とが重なりあった画像が投影面画像５０２として記憶される。
【００４８】
その後の投影動作は、図６（ａ）の投影面画像５０２を用いて重ね合わせ処理が行われるため、図６（ｂ）のような投影画像５０３が生成されることになる。
【００４９】
なお、投影面画像５０２上におけるユーザの影の色は、撮像回数を重ねても、全て同じ色となるようにしてもよいし、撮像回数を重ねるにつれて色が変わるようにしてもよい。
【００５０】
このように、外部から入力される画像データをもとにした表示画面に、ユーザのジェスチャー操作による投影面の状態を反映した投影面画像が重なって見えるように投影画像を生成し、投影画像として投影手段により投影することにより、ユーザの投影面に対するジェスチャー操作を継続しなくとも、投影面の影の状態を保持することができる。
【００５１】
また、撮像画像メモリ３０３に登録されている投影面画像は、表示画像ページが変更された場合のみならず、ユーザ（プレゼンター）がリセットしたいタイミングに適宜リセットすることができる。具体的には、図７（ｂ）に示すように投影面１０１上にリセット領域７０３を設け、ユーザの手の影が当該リセット領域７０３上で所定時間保持された場合に、リセットするようにしてもよい。このようなリセット領域７０３は、投影面１０１の投影部２１０による投影が可能な投影エリア７０１の外であり、かつ、撮像部２１２による撮像が可能な撮像エリア７０２の内側であればどこでもよい。また、プロジェクタ１００にリセットボタン（不図示）を設けてもよい。
【００５２】
以上のように説明した本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【００５４】
したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。
【００６０】
また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００６２】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６３】
１００  プロジェクタ（画像投影装置）
１０１  投影面
１０４  影
２１０  撮像部（撮像手段）
２１２  投影部（投影手段）
【図１】
2016102880.tif 000003
【図２】
2016102880.tif 000004
【図３】
2016102880.tif 000005
【図４】
2016102880.tif 000006
【図５】
2016102880.tif 000007
【図６】
2016102880.tif 000008
【図７】
2016102880.tif 000009