(57)【要約】【課題】簡便な処理で容易に投影面上での動作指示の検出ができ、動作応答性の良好な、走査型の画像投影装置を提供する。【解決手段】光源から出射される光束を走査することにより投影面に画像を投影する投影部と、投影面を撮像する撮像部と、を有し、投影部による画像の投影走査の合間に、撮像部により投影面を撮像した撮像画像を取得し、この撮像画像に基づいて投影部による投影画像を変更する画像投影装置とする。【選択図】図４
2012058434.tif 000002
【特許請求の範囲】
【請求項１】
光源から出射される光束を走査することにより投影面に画像を投影する投影部と、
前記投影面を撮像する撮像部と、を有し、
前記投影部による画像の投影走査の合間に、前記撮像部により前記投影面を撮像した撮像画像を取得し、
前記撮像画像に基づいて前記投影部による投影画像を変更することを特徴とする画像投影装置。
【請求項２】
前記撮像画像の時系列的変化に基づいて、前記投影部による投影画像を変更することを特徴とする請求項１に記載の画像投影装置。
【請求項３】
前記撮像部の撮像範囲は前記投影部による投影画像を包括するよう設定されていることを特徴とする請求項１又は２に記載の画像投影装置。
【請求項４】
前記投影部による画像の投影走査の合間の前記撮像部の撮像タイミングに合わせ、前記撮像部の撮像範囲の少なくとも一部に、前記投影部による無画像の照明用の走査を行うことを特徴とする請求項３に記載の画像投影装置。
【請求項５】
前記撮像部により一般の被写体の撮像が可能となされていることを特徴とする請求項１から４までのいずれか一項に記載の画像投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影面に映像を投影する走査型の投影部と該投影面を撮像する撮像部とを備えた画像投影装置に関するものである。
【背景技術】
【０００２】
従来より、プロジェクタで投影画像を投影し、該投影画像を撮影するカメラを配置し、カメラの撮影画像とプロジェクタの投影画像の差分から手領域を検出し、手領域から指先の位置を検出し、指示位置をシステムに通知するポインティング装置が知られている（例えば、特許文献１参照）。
【０００３】
一方、光学系が簡略化及び小型化できる画像投影装置として、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）デバイスを用いた走査型のものが知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５２６２２号公報
【特許文献２】特開２０１０−１３９６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載のポインティング装置は、手に投影画像が重畳される場合には手の領域を誤認する場合があり、更には指の先端を検出するまでの処理が複雑であるため処理時間を要し、手の撮影からシステムの応答動作までの間に時間を要するものとなり、ポインティング装置を含むシステム全体の応答性が悪化する問題がある。さらには、指の動き（例えば、指の移動）を検出することによりシステムの動作を制御しようとする場合には、より複雑となって処理時間を要し、さらにシステムの動作の応答性を悪化させる問題となる。
【０００６】
本発明は上記問題に鑑み、簡便な処理で容易に投影面上での動作指示の検出ができ、動作応答性の良好な、走査型の画像投影装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記の目的は、下記の構成により達成される。
【０００８】
（１）光源から出射される光束を走査することにより投影面に画像を投影する投影部と、前記投影面を撮像する撮像部と、を有し、前記投影部による画像の投影走査の合間に、前記撮像部により前記投影面を撮像した撮像画像を取得し、前記撮像画像に基づいて前記投影部による投影画像を変更することを特徴とする画像投影装置。
【０００９】
（２）前記撮像画像の時系列的変化に基づいて、前記投影部による投影画像を変更することを特徴とする前記（１）に記載の画像投影装置。
【００１０】
（３）前記撮像部の撮像範囲は前記投影部による投影画像を包括するよう設定されていることを特徴とする前記（１）又は（２）に記載の画像投影装置。
【００１１】
（４）前記投影部による画像の投影走査の合間の前記撮像部の撮像タイミングに合わせ、前記撮像部の撮像範囲の少なくとも一部に、前記投影部による無画像の照明用の走査を行うことを特徴とする前記（３）に記載の画像投影装置。
【００１２】
（５）前記撮像部により一般の被写体の撮像が可能となされていることを特徴とする前記（１）から（４）までのいずれかに記載の画像投影装置。
【００１３】
すなわち本願発明は、走査型の画像投影装置においては、目の残像現象を利用するため、所定の時間毎に走査を繰り返して画像を投影するが、この走査の合間では投影面上に画像が無いことに着目して、なされた発明である。
【発明の効果】
【００１４】
本発明によれば、簡便な処理で容易に投影面上での動作指示の検出ができ、動作応答性の良好な、走査型の画像投影装置を提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態に係る画像投影装置の使用状態を示す図である。
【図２】本実施の形態に係る画像投影装置の投影部の一構成例を模式的に示す斜視図である。
【図３】本実施の形態に係る画像投影装置の構成例を示すブロック図である。
【図４】第１の実施の形態に係る画像投影装置の概略動作を示すフローチャートである。
【図５】第１の実施の形態に係る画像投影装置の概略動作を示すフローチャートである。
【図６】投影部によるメニュー画像例を投影したときの状態を示す模式図である。
【図７】図６に示す投影部による画像の投影走査の合間で投影面を撮像部により撮像する状態を示す模式図である。
【図８】投影されている画像がメニュー画像でない場合の画像投影時の状態と、その際の撮像時の状態を示す図である。
【図９】第２の実施の形態に係る画像投影装置の概略動作を示すフローチャートである。
【図１０】画像投影時の状態と撮像時の照明用走査の領域の一例を示す模式図である。
【発明を実施するための形態】
【００１６】
以下、実施の形態により本発明を詳しく説明するが、本発明はこれに限定されるものではない。
【００１７】
図１は、本実施の形態に係る画像投影装置１の使用状態を示す図である。
【００１８】
図１に示すように、本実施の形態に係る画像投影装置１は、投影面２に投影画像３（実線で示す領域）を走査表示する投影部１０、投影面２に対向して設けられた撮像部２０と、投影部１０と撮像部２０を統括的に制御する不図示の制御部とを有している。撮像部２０は図示の如く、走査表示された投影画像３の領域を包括するように撮像範囲４（一点鎖線で示す領域）が設定されている。投影面２は、例えばスクリーンや壁面等の略平坦な平面が用いられる。
【００１９】
撮像部２０は、撮像素子と該撮像素子の撮像面上に画像を形成する撮像光学系で構成された公知の撮像装置でよい。
【００２０】
図２は、本実施の形態に係る画像投影装置１の投影部１０の一構成例を模式的に示す斜視図である。投影部１０は、光源から出射される光束を走査することにより投影面に画像を投影するものである。
【００２１】
図２に示すように、投影部１０は、コヒーレント光１１を出射するレーザ光源１２と、ＭＥＭＳミラー１３によりコヒーレント光を走査する走査光学系と、視野マスク１４とを備えている。
【００２２】
レーザ光源１２は、赤色レーザ光源（Ｒ光源）１２ｒ、緑色レーザ光源（Ｇ光源）１２ｇおよび青色レーザ光源（Ｂ光源）１２ｂからなるＲＧＢ光源である。Ｒ光源１２ｒ、Ｇ光源１２ｇおよびＢ光源１２ｂからのレーザ光は、それぞれダイクロイックミラー２１でまとめられて反射ミラー２２で折り返されＭＥＭＳミラー１３に入射する。
【００２３】
ＭＥＭＳミラー１３を矢印１３ａに示す２次元の方向に振ることにより、水平方向１６ａおよび垂直方向１６ｂの２次元方向にレーザ光を走査し、投影面２上に投影画像３が投影される。
【００２４】
レーザ光源１２およびＭＥＭＳミラー１３は、不図示の制御部に接続されたドライバ１８により配線１８ａを介して電気的に動作制御される。また、投影面２上において、レーザ光は矢印１６ａの方向に主走査が行われ、矢印１６ｂの方向に副走査が行われるようになっている。
【００２５】
ＭＥＭＳミラー１３によりレーザ光は、図示Ａに示す位置から水平方向１６ａに主走査（図示１７ａ１）が行われて投影画像３の一方の端部まで走査される。その後、垂直方向に所定量ずらす副走査（図示１７ｂ１）が行われ、再び水平方向（図示１７ａ２）に主走査が行われ、投影画像３の他方の端部まで走査される。この動作を繰り返すことで投影画像３が投影表示される。投影画像３についての走査が図示Ｂに示す位置まで行われて１つの画像全面の走査が終了する。１画像全面の走査が終了すると、所定時間経過後に、次の画像の投影走査のために同様の動作が繰り返される。
【００２６】
なお、この画像全面の１回の走査の終了から次の画像の走査の開始までの期間を、本願ではブランキング期間と称している。また、本例では、図示Ｂに示す位置で１画像全面の走査が終了するものとするが、走査本数の設定により、図示Ｂ′の位置で走査が終了するものであってもよい。
【００２７】
図３は、本実施の形態に係る画像投影装置１の構成例を示すブロック図である。なお、図３は画像投影装置１の本発明の実施に係る部分についてのみ記載し、その他の構成は省略している。
【００２８】
図３に示すように、画像投影装置１は、投影部１０、撮像部２０及び制御部３０で構成されている。
【００２９】
制御部３０内の、投影部１０と撮像部２０との間には同期制御部３１が介在している。同期制御部３１は、撮像部２０へ投影部１０による投影画像３についての全面の走査の終了を通知するものである。
【００３０】
本実施の形態に係る画像投影装置１においては、投影部１０による１つの画像全面の走査の終了後であって、次画像の走査開始までの間に投影面２を撮像部２０により撮像するように構成されている。
【００３１】
また、制御部３０は、撮像画像メモリ３２、指示部検出部３３、処理実行部３４、表示画像メモリ３５、投影画像処理部３６を有している。
【００３２】
撮像画像メモリ３２は、撮像部２０が撮像した画像データを記憶する記憶部である。また、表示画像メモリ３５は、投影部１０で投影するための画像データを記憶した記憶部である。
【００３３】
指示部検出部３３は、該撮像画像メモリ３２に記憶された画像データから、手、レーザポインタによるポイント位置、指示棒の先端等の指示部を検出するものである。処理実行部３４は、指示部検出部３３で検出した指示部の位置、或いは前回撮像した画像データとの比較から指示部の移動方向を抽出して判断して、次に投影部１０で投影走査するべき画像データを表示画像メモリ３５から選択して投影画像処理部３６に送出する。投影画像処理部３６は、該画像データを投影走査用のデータに変換し、図２に示すドライバ１８に送出するものである。
【００３４】
以上のような画像投影装置１の概略動作について以下に説明する。
【００３５】
（第１の実施の形態）
図４及び図５は、第１の実施の形態に係る画像投影装置１の概略動作を示すフローチャートである。なお本例では、プレゼンテーション等における静止画の投影に際し画像投影装置１の動作の指示部として人の手が用いられる場合で説明する。
【００３６】
図４に示すフローにおいて、画像投影装置１は、まず画像データとしてメニュー画像を選択（ステップＳ１０１）し、投影部１０は、該メニュー画像を投影画像として投影面上を走査する（ステップＳ１０２）。
【００３７】
次いで、この画像の投影走査の回数が所定回数終了したか否か判断する（ステップＳ１０３）。なお、所定回数とは、予め決められた回数であって、投影走査の回数は１回であってもよいし、複数回であってもよい。
【００３８】
投影部１０による投影走査の回数が所定回数終了（ステップＳ１０３；Ｙｅｓ）すると、撮像部２０を用いて投影面２を撮像する（ステップＳ１０４）。撮像部２０による投影面２の撮像は、同期制御部３１（図３参照）からの信号により行われ、投影される１つの画像の走査（図２に示すＡからＢまで）の終了から、次の画像の投影走査の開始までの間（ブランキング期間）に行われる。すなわち、撮像部２０による投影面２の撮像は、投影部１０による画像の投影走査の合間に行われるということである。
【００３９】
撮像部２０により撮像された投影面２の画像は、一旦、撮像画像メモリ３２に格納された後、後述の図５に示すフローに従って処理が行われる。
【００４０】
次いで、ブランキング期間の終了を待機（ステップＳ１０５）する。
【００４１】
このブランキング期間が終了（ステップＳ１０５；Ｙｅｓ）したと判断すると、次いで投影動作の終了か否か判断する（ステップＳ１０６）。投影動作の終了は、画像投影装置１に設けられた不図示のスイッチが操作された場合に終了と判断（ステップＳ１０６；Ｙｅｓ）し、各部の終了動作（ステップＳ１１１）を行って終了する。
【００４２】
一方、該スイッチの操作がされていない場合（ステップＳ１０６；Ｎｏ）には、動作が続行され、次の投影走査のための画像データが以下の図５に示すフローに従い選択（ステップＳ１０７）され、ステップＳ１０２に戻って、上記の動作を繰り返すようになっている。
【００４３】
ステップＳ１０４において、撮像された投影面２の画像は図５に示すパラレル処理のフローにより処理される。以下、図５のフローを説明する。
【００４４】
図５に示すフローにおいて、図４に示すステップＳ１０４で投影面２を撮像した後、撮像画像メモリ３２（図３参照）に撮像した画像データを格納する（ステップＳ２０２）。
【００４５】
次いで、指示部検出部３３（図３参照）により、撮像画像メモリ３２に格納した画像データを読み出し、該画像データ内に指示部（本例では、手）が撮像されているか否かを確認するための画像処理を行う（ステップＳ２０３）。指示部である手が撮像されているか否かの確認は、公知の例えば特開平０９−３５０６６号公報の肌色を構成する画素の抽出等により行うことができる。次いで、ステップＳ２０３において、指示部が検出されたか否かを判断する（ステップＳ２０４）。
【００４６】
手（指示部）が検出されない場合（ステップＳ２０４；Ｎｏ）は、処理実行部３４（図３参照）が表示画像メモリ３５（図３参照）から、撮像前と同じ画像データを選択（ステップＳ２５１）し、ステップＳ１０７（図４参照）へ移行する。すなわち、手が検出されない場合は、撮像前と同じ画像が選択され投影走査される。
【００４７】
一方、手（指示部）が検出された場合（ステップＳ２０４；Ｙｅｓ）は、処理実行部３４が撮像前の投影画像３がメニュー画像か否かを判断する（ステップＳ２０５）。
【００４８】
撮像前の投影画像３がメニュー画像である場合（ステップＳ２０５；Ｙｅｓ）は、処理実行部３４は、ステップＳ２０３で検出した撮像画像内での手（指示部）の位置とメニュー画像とを対比し、手の位置に対応したメニュー画像内のメニューに対応した画像データを表示画像メモリ３５から選択（ステップＳ２６１）し、ステップＳ１０７（図４参照）へ移行する。すなわち、手が検出され、撮像前の投影画像がメニュー画像の場合は、手のある位置のメニューに対応した画像が選択され、次に投影走査される。
【００４９】
撮像前の投影画像３がメニュー画像でない場合（ステップＳ２０５；Ｎｏ）は、処理実行部３４は、前回撮像した画像の手（指示部）の位置と今回撮像した画像の手（指示部）の位置とを比較する（ステップＳ２３１）。次いで、前回撮像した画像の手の位置と今回撮像した画像の手の位置とで変化の有無を判断する（ステップＳ２３２）。
【００５０】
前回の撮像画像の手の位置と今回の撮像画像の手の位置とで所定の変化がない場合（ステップＳ２３２；Ｎｏ）は、処理実行部３４が表示画像メモリ３５から、撮像前と同じ画像データを選択（ステップＳ２５１）し、ステップＳ１０７（図４参照）へ移行する。すなわち、メニュー画像以外の画像の投影の際には、検出された手の位置に所定の変化がない場合、撮像前と同じ画像が選択され投影走査される。
【００５１】
一方、前回撮像した画像の手の位置と今回撮像した画像の手の位置とで所定の変化がある場合（ステップＳ２３２；Ｙｅｓ）は、処理実行部３４が該位置変化に対応して、表示画像メモリ３５から画像データを選択（ステップＳ２４１）し、ステップＳ１０７（図４参照）へ移行する。なお、所定の変化とは、例えば手の移動方向であり、左から右に変化した場合には次の画像（コマ送り）、右から左に変化した場合には前の画像（コマ戻し）等、予め決められている変化である。すなわち、メニュー画像以外の画像の投影の際には、検出された手の位置の時系列的変化に対応して、画像が選択され、次に投影走査される。
【００５２】
なお、手の左右方向の移動に基づいてコマ送り及びコマ戻しを行う例で説明したが、これに限るものでなく、手の上下方向の移動に基づいて行うよう構成してもよい。更に、手の左右方向の移動でコマ送り及びコマ戻しを行い、手の上下方向の移動により輝度変更或いはズーミング等を行うよう構成してもよい。
【００５３】
以上のように、投影部１０による投影走査の合間で、撮像部２０により撮像した画像に基づいて、投影部１０による投影画像を変更するよう構成されている。
【００５４】
なお、図４に示すステップＳ１０７において、図５に示した処理がブランキング期間中に終了しない場合には、撮像前の画像を選択して投影した後、次のループで該処理により選択された画像データが選択されるようにすればよい。
【００５５】
以下、上記のフローに於ける状態を模式図を用いて説明する。
【００５６】
図６は、投影部１０によるメニュー画像例を投影したときの状態を示す模式図である。      
【００５７】
図６に示すように、投影面２に投影画像３としてメニュー画像が投影走査されている。同図では、指示部としての手Ｔが、メニュー画像上の画像ファイル（３）の位置にある状態を示している。
【００５８】
図７は、図６に示す投影部１０による画像の投影走査の合間で投影面を撮像部により撮像する状態を示す模式図である。
【００５９】
図７に示すように、撮像部２０による撮像は、投影部１０による画像の投影走査の合間（ブランキング期間中）であるため、投影面２と指示部としての手Ｔのみが撮像される。このように、投影走査の合間に撮像するよう構成することで、撮像画像には投影される画像が重畳されず、撮像時の背景が常に同じであり、指示部である手Ｔの位置を簡便な処理で容易に検出することができる。図４に示すステップＳ１０７では、撮像前の投影画像がメニュー画像の場合に、手のある位置のメニューに対応した画像が選択される。
【００６０】
図８は、投影されている画像がメニュー画像でない場合の画像投影時の状態と、その際の撮像時の状態を示す図である。図８（ａ）及び（ｂ）は、図４に示す同じループでの状態を示し、図８（ｃ）及び（ｄ）は、図８（ａ）及び（ｂ）の次のループでの状態を示している。
【００６１】
図８（ａ）に示す画像投影時の、手Ｔの位置は投影走査の合間で図８（ｂ）に示すように投影面２と指示部としての手Ｔのみが撮像される。次のループで図８（ｃ）に示すように手Ｔが図示矢印方向に移動した場合、図８（ｄ）に示すように同じ撮像範囲４内で移動した手Ｔが撮像される。
【００６２】
このように、撮像画像には投影される画像が重畳されないため、この時間軸の異なる図８（ｂ）及び図８（ｄ）の２つの画像からも、手の移動方向は簡便な処理で容易に検出することができる。
【００６３】
なお、上述の説明においては、画像投影装置の動作指示部として人の手を用いた場合で説明したが、これに限るものでない。例えば、指示棒やレーザポインタ等であってもよい。レーザポインタに適用する場合には、指示部検出部は撮像画像から該レーザの発信波長に基づいてポインタ位置を検出するよう構成すればよい。また、指示棒の場合には、指示部検出部は撮像画像から略直線画像を抽出し、その先端を検出するよう構成すればよい。
【００６４】
また、静止画の投影を例にして説明したが、動画の投影に際しても適用可能であるのは言うまでもない。
【００６５】
（第２の実施の形態）
図９は、第２の実施の形態に係る画像投影装置１の概略動作を示すフローチャートである。図９に示すフローについては、図４に示すフローと同じ部分については同じステップの符号を付与し説明を省略する。図４に示すフローと異なる部分は、図９のステップＳ３０４及びＳ３０５であり、以下、ステップＳ３０４及びＳ３０５について説明する。
【００６６】
図９に示すフローにおいて、投影部１０による投影走査の回数が所定回数終了（ステップＳ１０３；Ｙｅｓ）すると、投影部１０により照明用走査を開始し、撮像部２０を用いて投影面２の撮像を開始する（ステップＳ３０４）。照明用走査とは文字通り照明用であり、例えば無画像の白色光を走査により投影面２に投影するものである。なお、照明用走査においては白色が好ましいが、単色光又は２色の混合光であってもよい。
【００６７】
図１０は、画像投影時の状態と撮像時の照明用走査の領域の一例を示す模式図である。図１０（ａ）は画像投影時の状態を示し、図１０（ｂ）は照明用走査の領域を示す図である。
【００６８】
図１０（ａ）に示すようなステップＳ１０２〜Ｓ１０３における所定回数の画像の投影走査が行われた後、ステップＳ３０４においては図１０（ｂ）に示すように投影部１０により予め決められた照明領域５に対し照明用走査が開始される。なお本例では、照明領域５は図１０（ｂ）の例では、撮像範囲４内の画像表示領域の中央領域の帯状の部分に設定されているが、これに限るものでなく、全面であってもよいし、周辺部の領域であってもよい。
【００６９】
図９に戻り、投影部１０による照明用走査の終了と略同時に撮像部２０を用いた投影面２の撮像を終了させ（ステップＳ３０５）、次いでブランキング期間の終了を待機（ステップＳ１０５）する。以降は図４のフローと同様である。
【００７０】
なお、撮像の開始とは撮像素子の電荷蓄積の開始を意味し、撮像の終了とは撮像素子の電荷蓄積の停止又は機械的シャッタによる撮像光束の遮断を意味する。
【００７１】
撮像部２０により撮像された画像データは、図５に示すフローと同様に処理されるが、図５に示すステップＳ２０３における指示部検出部による指示部の有無確認は、照明用走査されている部分のみについて有無確認を行えばよい。
【００７２】
この第２の実施の形態のように、投影される１つの画像の走査（図２に示すＡからＢまで）の終了から、次の画像の投影走査の開始までの間（ブランキング期間中）に、投影部により無画像の照明用走査を行いつつ撮像部で投影面を撮像するよう構成してもよい。このようにすることで、暗黒状態で投影がなされるような環境下においても、撮像画像から指示部である手や指示棒を明確に抽出処理できるようになる。
【００７３】
なお、本実施の形態では、走査型の投影部と撮像部を有する画像投影装置として、画像投影時の動作を説明したが、該画像投影装置を構成する撮像部により、画像投影を行わない際には、一般の被写体を撮像できるよう構成してもよいのはもちろんである。この場合には、公知の撮像装置と同様の構成（例えば、レリーズ釦や一般撮影のための露光調定手段等）を該画像投影装置内に有していればよい。
【符号の説明】
【００７４】
１  画像投影装置
２  投影面
３  投影画像
４  撮像範囲
５  照明領域
１０  投影部
１１  コヒーレント光
１２  レーザ光源
１２ｂ  青色レーザ光源（Ｂ光源）
１２ｇ  緑色レーザ光源（Ｇ光源）
１２ｒ  赤色レーザ光源（Ｒ光源）
１３  ＭＥＭＳミラー
１４  視野マスク
１８  ドライバ
２０  撮像部
２１  ダイクロイックミラー
２２  反射ミラー
３０  制御部
３１  同期制御部
３２  撮像画像メモリ
３３  指示部検出部
３４  処理実行部
３５  表示画像メモリ
３６  投影画像処理部
Ｔ  手（指示部）
【図１】
2012058434.tif 000003
【図２】
2012058434.tif 000004
【図３】
2012058434.tif 000005
【図４】
2012058434.tif 000006
【図５】
2012058434.tif 000007
【図６】
2012058434.tif 000008
【図７】
2012058434.tif 000009
【図８】
2012058434.tif 000010
【図９】
2012058434.tif 000011
【図１０】
2012058434.tif 000012