(57)【要約】  投影像の品質向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供する。システム制御部（１０）は、投影部（２０）から投影された投影像を撮影する撮影部（３０）、によりこの投影像を撮影して得られる撮影画像データに基づいて、この投影像における物体と重なっている重複領域を検出する重複領域検出部（１１Ｂ）と、投影部（２０）を制御して、この重複領域の補正を行い、その補正の内容を示す補正履歴をＲＯＭ１２に記憶する補正部（１１Ｃ）と、ＲＯＭ１２の補正履歴に基づいて、投影像に重なる物体の形状を認識する認識部（１１Ｄ）と、認識部（１１Ｄ）により認識された物体の形状に基づいて投影像を変更する表示制御部（１１Ｅ）と、を備える。
2019176594.tif 000002
【特許請求の範囲】
【請求項１】
投影部から投影された投影像を撮影する撮影部、により前記投影像を撮影して得られる撮影画像データに基づいて、前記投影像における物体と重なっている重複領域を検出する重複領域検出部と、
前記投影部を制御して、前記重複領域の補正を行い、前記補正の内容を示す補正履歴を記憶する補正部と、
前記補正履歴に基づいて、前記投影像に重なる物体の形状を認識する認識部と、
前記認識部により認識された前記物体の形状に基づいて、前記投影像を変更する表示制御部と、を備える投影制御装置。
【請求項２】
請求項１記載の投影制御装置であって、
前記認識部は、前記重複領域検出部により検出された前記重複領域と前記補正部によって記憶された前記補正履歴とに基づいて、前記投影像に重なる前記物体の形状を認識する投影制御装置。
【請求項３】
請求項２記載の投影制御装置であって、
前記認識部は、前記補正履歴に基づく補正領域の形状と、前記重複領域の形状とを組み合わせた形状を前記投影像に重なる前記物体の形状として認識する投影制御装置。
【請求項４】
請求項１記載の投影制御装置であって、
前記認識部は、前記補正部によって記憶された複数の前記補正履歴に基づいて、前記投影像に重なる前記物体の形状を認識する投影制御装置。
【請求項５】
請求項４記載の投影制御装置であって、
前記認識部は、複数の前記補正履歴の各々に基づく補正領域の形状を組み合わせた形状を前記投影像に重なる前記物体の形状として認識する投影制御装置。
【請求項６】
請求項１から５のいずれか１項記載の投影制御装置であって、
前記補正履歴は、前記投影像に対して前記補正を行った領域を示す情報を含む投影制御装置。
【請求項７】
請求項１から６のいずれか１項記載の投影制御装置と、前記投影部と、を備える投影装置。
【請求項８】
請求項１から６のいずれか１項記載の投影制御装置と、前記投影部と、前記撮影部と、を備える投影装置。
【請求項９】
投影部から投影された投影像を撮影する撮影部、により前記投影像を撮影して得られる撮影画像データに基づいて、前記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、
前記投影部を制御して、前記重複領域の補正を行い、前記補正の内容を示す補正履歴を記憶する補正ステップと、
前記補正履歴に基づいて、前記投影像に重なる物体の形状を認識する認識ステップと、
前記認識ステップにより認識された前記物体の形状に基づいて、前記投影像を変更する表示制御ステップと、を備える投影制御方法。
【請求項１０】
請求項９記載の投影制御方法であって、
前記認識ステップは、前記重複領域検出ステップにより検出された前記重複領域と前記補正ステップによって記憶された前記補正履歴とに基づいて、前記投影像に重なる前記物体の形状を認識する投影制御方法。
【請求項１１】
請求項１０記載の投影制御方法であって、
前記認識ステップは、前記補正履歴に基づく補正領域の形状と、前記重複領域の形状とを組み合わせた形状を前記投影像に重なる前記物体の形状として認識する投影制御方法。
【請求項１２】
請求項９記載の投影制御方法であって、
前記認識ステップは、前記補正ステップによって記憶された複数の前記補正履歴に基づいて、前記投影像に重なる前記物体の形状を認識する投影制御方法。
【請求項１３】
請求項１２記載の投影制御方法であって、
前記認識ステップは、複数の前記補正履歴の各々に基づく補正領域の形状を組み合わせた形状を前記投影像に重なる前記物体の形状として認識する投影制御方法。
【請求項１４】
請求項９から１３のいずれか１項記載の投影制御方法であって、
前記補正履歴は、前記投影像に対して前記補正を行った領域を示す情報を含む投影制御方法。
【請求項１５】
投影部から投影された投影像を撮影する撮影部、により前記投影像を撮影して得られる撮影画像データに基づいて、前記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、
前記投影部を制御して、前記重複領域の補正を行い、前記補正の内容を示す補正履歴を記憶する補正ステップと、
前記補正履歴に基づいて、前記投影像に重なる物体の形状を認識する認識ステップと、
前記認識ステップにより認識された前記物体の形状に基づいて、前記投影像を変更する表示制御ステップと、をコンピュータに実行させるための投影制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影制御装置、投影装置、投影制御方法、及び投影制御プログラムに関する。
【背景技術】
【０００２】
撮影機能を有する投影装置が知られている。特許文献１−３には、投影部によって投影された投影像を撮影部によって撮影し、撮影して得た撮影像に基づいて、投影像に人物の手等の物体が重なっていることを検出する投影装置が記載されている。【０００３】
また、特許文献１には、投影像に物体が重なっていることが検出されると、この物体と重なる投影像の部分を補正して、投影像の見え方を改善することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特開２０１２−２０８４３９号公報
【特許文献２】日本国特開２０１２−１１３５６４号公報
【特許文献３】日本国特開２０１３−２５７６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されているような補正を高精度に行うことのできる装置において、例えば、人物が指をすべて閉じた状態の手を投影像にかざした場合を想定する。この場合、上記の補正によって人物の手はほぼ見えなくなるよう補正される。この状態から、人物が、投影像にかざしている手の人差し指だけを開くと、撮影像によってこの人差し指の認識が可能になるため、再び、この人差し指を消すような補正が行われる。【０００６】
このような補正を行う装置において、人物の手の形が特定の形になったことを認識して特定の処理を行う、いわゆるジェスチャ操作の機能を付加した場合を想定する。上述したように高精度の補正が行われると、実際には、人差し指が立てられた手が投影像に重なっているのにも関わらず、補正後の撮影像による物体の認識では、人差し指のみしか検出することができない。【０００７】
このため、例えば、ジェスチャ認識される特定の形が、人差し指が立てられた手の形であった場合には、人物の行ったジェスチャ動作が正確に認識されないことになる。特許文献１−３には、こういったジェスチャ認識ができなくなるという課題については認識されていない。【０００８】
本発明は、上記事情に鑑みてなされたものであり、投影像の品質向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の投影制御装置は、投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出部と、上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正部と、上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識部と、上記認識部により認識された上記物体の形状に基づいて、上記投影像を変更する表示制御部と、を備えるものである。【００１０】
本発明の投影装置は、上記投影制御装置と、上記投影部と、を備えるものである。【００１１】
本発明の投影装置は、上記投影制御装置と、上記投影部と、上記撮影部と、を備えるものである。【００１２】
本発明の投影制御方法は、投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正ステップと、上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識ステップと、上記認識ステップにより認識された上記物体の形状に基づいて、上記投影像を変更する表示制御ステップと、を備えるものである。【００１３】
本発明の投影制御プログラムは、投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正ステップと、上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識ステップと、上記認識ステップにより認識された上記物体の形状に基づいて、上記投影像を変更する表示制御ステップと、をコンピュータに実行させるためのものである。
【発明の効果】
【００１４】
本発明によれば、投影像の品質向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の投影装置の一実施形態であるプロジェクタ１００の概略構成を示す模式図である。
【図２】図１に示すプロジェクタ１００の表示部１の構成例を示す模式図である。
【図３】図１に示すプロジェクタ１００のシステム制御部１０の内部構成を示すブロック図である。
【図４】図３に示す制御部１１の機能ブロック図である。
【図５】図１に示すプロジェクタ１００の動作を説明するためのフローチャートである。
【図６】プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【図７】プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【図８】プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【図９】プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【図１０】プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【図１１】図１に示すプロジェクタ１００の動作の変形例を説明するためのフローチャートである。
【図１２】２つの補正履歴に基づく補正領域の形状を組み合わせた状態を示す模式図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の投影装置の一実施形態であるプロジェクタ１００の概略構成を示す模式図である。図２は、図１に示すプロジェクタ１００の表示部１の構成例を示す模式図である。
【００１７】
プロジェクタ１００は、スクリーンＳＣに画像を投影すると共に、スクリーンＳＣに投影された投影像を含む範囲を撮影可能に構成されている。
【００１８】
プロジェクタ１００は、表示部１と、投影光学系２と、共通光学系３と、光学部材４と、撮影光学系５と、撮像素子６と、全体を統括制御するシステム制御部１０と、を備える。表示部１、投影光学系２、光学部材４、及び共通光学系３により投影部２０が構成されている。撮像素子６、撮影光学系５、光学部材４、及び共通光学系３により撮影部３０が構成されている。
【００１９】
表示部１は、入力される投影用の画像データに基づいて投影用の画像を表示するものである。図２に示すように、表示部１は、光源ユニット５０と、光変調素子４４と、を備える。
【００２０】
光源ユニット５０は、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。
【００２１】
ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
【００２２】
Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の発光素子が用いられる。光源ユニット５０に含まれる光源の数は１つ、２つ、又は４つ以上であってもよい。
【００２３】
光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像データに基づいて空間変調し、空間変調した画像光（赤色画像光、青色画像光、及び緑色画像光）を図１の投影光学系２に出射する。
【００２４】
図２は、光変調素子４４としてＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）を用いた例であるが、光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  ｓｉｌｉｃｏｎ）、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることも可能である。
【００２５】
表示部１は、自発光型の有機ＥＬ（ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）表示素子を用いて画像を表示し、表示した画像を投影光学系２に入射させるものであってもよい。また、レーザ光を走査することで画像の表示を行うものを用いてもよい。
【００２６】
光学部材４は、例えばハーフミラー、ビームスプリッタ―、又は偏光部材等によって構成されている。光学部材４は、投影光学系２を通過した画像光を透過させて共通光学系３に導き、且つ、共通光学系３を通過した被写体光を反射させて撮影光学系５に導く。
【００２７】
投影光学系２は、表示部１からの画像光が入射される光学系であり、少なくとも１つのレンズを含む。投影光学系２を通過した光は光学部材４に入射され、光学部材４を透過して共通光学系３に入射される。
【００２８】
共通光学系３は、投影光学系２を通過した光を投影対象物であるスクリーンＳＣに投影し、且つ、スクリーンＳＣ側の被写体（投影部２０によって投影された投影像を含む範囲の被写体）を結像させる光学系であり、少なくとも１つのレンズを含んで構成されている。
【００２９】
スクリーンＳＣ側から共通光学系３に入射した被写体光は、共通光学系３を通過し、光学部材４にて反射されて、撮影光学系５に入射される。
【００３０】
撮影光学系５は、共通光学系３を通過して光学部材４にて反射した被写体光を撮像素子６に結像させるための光学系である。撮影光学系５は、撮像素子６の前方に配置されており、光学部材４を透過した被写体光を集光して撮像素子６に結像させる。撮影光学系５は、少なくとも１つのレンズを含んで構成されている。
【００３１】
撮像素子６は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。
【００３２】
撮影部３０による撮影範囲は、投影部２０によるスクリーンＳＣへの画像の投影範囲を含む範囲に設定されている。したがって、撮影部３０は、投影部２０によって投影された投影像の全体を撮影することができる。
【００３３】
図３は、図１に示すプロジェクタ１００のシステム制御部１０の内部構成を示すブロック図である。
【００３４】
システム制御部１０は、制御部１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｓｅｓｓ  Ｍｅｍｏｒｙ）１３と、を備える。
【００３５】
制御部１１は、ハードウェア的な構造は、各種のプロセッサである。各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｓｅｓｓｉｎｇ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００３６】
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【００３７】
制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
【００３８】
制御部１１は、表示部１の光変調素子４４に入力する投影用の画像データを制御することで、投影部２０からスクリーンＳＣに投影させる投影像の内容、投影像の各画素の輝度、又は投影像の各画素の彩度等を制御する。また、制御部１１は、撮像素子６を制御して、撮像素子６による被写体の撮影を実行する。
【００３９】
図４は、図３に示す制御部１１の機能ブロック図である。制御部１１は、投影制御プログラムを含むアプリケーションプログラムを実行することにより、画像処理部１１Ａ、重複領域検出部１１Ｂ、補正部１１Ｃ、認識部１１Ｄ、及び表示制御部１１Ｅを備える投影制御装置として機能する。
【００４０】
画像処理部１１Ａは、撮像素子６が被写体（投影部２０によって投影された投影像を含む範囲）を撮像して得た撮像画像信号を取得し、これを処理して撮影画像データを生成する。
【００４１】
重複領域検出部１１Ｂは、画像処理部１１Ａによって生成された撮影画像データに基づいて、投影部２０によってスクリーンＳＣに投影された投影像における人の手等の物体と重なっている重複領域を検出する。
【００４２】
例えば、重複領域検出部１１Ｂは、表示部１の光変調素子４４に入力している投影用の画像データと、画像処理部１１Ａによって生成された撮影画像データとで領域毎の類似度の判定を行い、類似度が閾値以下となる領域を重複領域として検出する。類似度は、例えば、画像に含まれるエッジ等の特徴点の位置又は数の一致度合いを示す指標である。画像が平面であるスクリーンＳＣに投影された状態と、この画像が立体物に投影された状態とでは、その画像を撮影したときに、その画像に含まれる特徴点の位置がずれたり、特徴点の数が増減したりするため、この一致度を見ることで、重複領域の有無を判定可能である。
【００４３】
また、投影像に物体が重なると、投影像におけるその物体に投影されている部分には歪みが生じる。このことを利用し、重複領域検出部１１Ｂは、撮影画像データにおいて歪みが生じている領域を重複領域として検出してもよい。
【００４４】
補正部１１Ｃは、重複領域検出部１１Ｂによって重複領域が検出された場合に、投影部２０を制御して、この重複領域の補正を行い、この補正の内容を示す補正履歴をＲＯＭ１２に記憶する。
【００４５】
上述したように、投影用の画像データにおける重複領域では、特徴点の位置又は数が元のデータから大きくずれた状態、或いは、歪みが生じた状態にある。補正部１１Ｃは、投影用の画像データにおいて、この重複領域の輝度又は彩度の少なくとも一方を変更したり、この重複領域の歪み補正を行ったりすることで、投影像の重複領域を補正する。この補正により、スクリーンＳＣに投影された投影像に生じているはずの重複領域は、物体がない場合と同じ状態の見た目に補正される。
【００４６】
補正部１１Ｃは、上記のような補正を行った場合には、投影用の画像データにおけるどの画素を補正したかを示す補正履歴の情報を生成し、この補正履歴の情報をＲＯＭ１２に記憶する。補正履歴の情報は、例えば、補正を行った時刻と、補正を行った画素の座標（補正を行った領域を示す情報）と、を含んで構成される。
【００４７】
認識部１１Ｄは、ＲＯＭ１２に記憶された補正履歴に基づいて、投影部２０によって投影された投影像に重なる物体の形状を認識する。この認識方法については後述する。
【００４８】
表示制御部１１Ｅは、認識部１１Ｄにより認識された物体の形状に基づいて、投影部２０からスクリーンＳＣに投影させている投影像を変更する。
【００４９】
具体的には、表示制御部１１Ｅは、認識部１１Ｄにより認識された物体の形状が予め決められた特定の形状であるか否かを判断し、特定の形状であった場合には、投影部２０からスクリーンＳＣに投影させている投影像を変更する。表示制御部１１Ｅは、表示部１の光変調素子４４に入力する投影用の画像データを別のものに変えることで、投影像を変更する。
【００５０】
この特定の形状は、プロジェクタ１００に対して投影像の変更の指示（例えばプレゼンテーションを行っているときの表示画像の変更指示又は表示画像に含まれるアニメーションの動作開始指示等）を行うための形状としてＲＯＭ１２に予め記憶されている。
【００５１】
図５は、図１に示すプロジェクタ１００の動作を説明するためのフローチャートである。図６から図１０は、プロジェクタ１００の使用者がジェスチャによって投影像の変更を行う場合の投影像の遷移状態を示す模式図である。
【００５２】
まず、制御部１１は、使用者から指定された投影用の画像データに基づく投影像を投影部２０によってスクリーンＳＣに投影させる（ステップＳ１）。図６は、ステップＳ１にて、スクリーンＳＣに投影像４０が投影された状態を示している。
【００５３】
ステップＳ１にて投影が開始されると、制御部１１は、スクリーンＳＣに投影された投影像の撮影を撮影部３０に行わせる（ステップＳ２）。
【００５４】
ステップＳ２の撮影で撮像素子６から撮像画像信号が出力されると、画像処理部１１Ａによってこれが処理されて撮影画像データが生成され、この撮影画像データが重複領域検出部１１Ｂにより取得される（ステップＳ３）。
【００５５】
重複領域検出部１１Ｂは、取得した撮影画像データと、現時点にて表示部１に入力されている投影用の画像データとを比較し、その比較結果によって重複領域を検出する。そして、重複領域が検出されなかった場合（ステップＳ４：ＮＯ）には、ステップＳ２に処理が戻る。
【００５６】
重複領域が検出された場合（ステップＳ４：ＹＥＳ）には、補正部１１Ｃが、現時点にて表示部１に入力されている投影用の画像データにおける重複領域の部分を補正し、補正後の投影用画像データに基づく投影像を投影部２０によってスクリーンＳＣに投影させる。また、補正部１１Ｃは、この補正の内容を示す補正履歴の情報をＲＯＭ１２に記憶する
（ステップＳ５）。
【００５７】
図７は、ステップＳ１の後、スクリーンＳＣにおける投影像４０が投影されている範囲の前方に人の手Ｈ（全ての指を閉じた状態の手）が挿入された状態を示している。図７に示す状態では、ステップＳ４において、投影像４０のうち、手Ｈと重なる重複領域Ｈａ（斜線を付した領域）が検出されることになる。
【００５８】
このように重複領域Ｈａが検出されると、ステップＳ５の処理により、投影像４０の元となる投影用の画像データにおける重複領域Ｈａの部分が補正され、図８に示すように、
手Ｈが、補正後の投影像４０ｘによって見えない状態になる。
【００５９】
図８に示す補正が行われた場合には、投影用の画像データの画素のうち重複領域Ｈａとして検出された画素の座標と、その補正が行われた時刻とが、ステップＳ５にて、補正履歴としてＲＯＭ１２に記憶される。なお、ＲＯＭ１２には、時刻が新しい順に２つの補正履歴のみが記憶され、古い補正履歴は上書きされる。
【００６０】
ステップＳ５の後、認識部１１Ｄは、ＲＯＭ１２に２つの補正履歴が記憶されているか否かを判定する（ステップＳ６）。２つの補正履歴が記憶されていない場合（ステップＳ６：ＮＯ）には、認識部１１Ｄは、ステップＳ４にて検出された重複領域の形状を、スクリーンＳＣに投影された投影像に重なる物体の形状として認識する（ステップＳ７）。
【００６１】
そして、認識部１１Ｄは、ステップＳ７にて認識した物体の形状が上記の特定の形状であるか否かを判定する（ステップＳ８）。ステップＳ７にて認識した物体の形状が上記の特定の形状ではないと判定された場合（ステップＳ８：ＮＯ）には、ステップＳ２に処理が戻る。
【００６２】
例えば、特定の形状が、人の手の指を全て閉じた状態（図７の手Ｈの状態）から人差し指だけを開いた状態の手の形状として登録されているものとする。ステップＳ４にて検出された重複領域が図７に示すものであった場合には、ステップＳ８の判定はＮＯとなり、ステップＳ２に処理が戻る。
【００６３】
そして、その後、図８に示す手Ｈの人差し指Ｆが開いて図９に示す状態に変化すると、
この人差し指Ｆと投影像４０ｘとの重複領域ＨｂがステップＳ４にて検出され、この重複領域ＨｂがステップＳ５にて補正され、重複領域Ｈｂを補正したことを示す補正履歴の情報がＲＯＭ１２に記憶される。この状態では、ＲＯＭ１２に補正履歴が２つ記憶されることになり、ステップＳ６の判定はＹＥＳとなる。
【００６４】
このように、ＲＯＭ１２に２つの補正履歴が記憶されていた場合（ステップＳ６：ＹＥＳ）には、認識部１１Ｄは、ステップＳ４にて検出された重複領域（図９の重複領域Ｈｂ）の形状と、２つの補正履歴のうちの古い方の補正履歴（図８の重複領域Ｈａの補正内容を示す情報）に基づく補正領域の形状とを組み合わせた形状を、スクリーンＳＣに投影された投影像に重なる物体の形状として認識する（ステップＳ１０）。
【００６５】
つまり、ステップＳ１０では、図７に示した重複領域Ｈａと、図９に示した重複領域Ｈｂとを組み合わせた形状が物体の形状として認識される。図７に示した重複領域Ｈａと、図９に示した重複領域Ｈｂとを組み合わせた形状は、人の手の指を全て閉じた状態から人差し指だけを開いた状態の手の形状と一致する。このため、ステップＳ８の判定はＹＥＳとなり、ステップＳ９の処理が行われる。
【００６６】
ステップＳ９では、表示制御部１１Ｅが、表示部１に入力する投影用の画像データを予め指定されたものに変更すると共に、ＲＯＭ１２に記憶されている補正履歴を消去する。ステップＳ９の後はステップＳ１に処理が戻って、図１０に示すように、変更後の投影像４０ＡがスクリーンＳＣに投影された状態となる。
【００６７】
なお、表示制御部１１Ｅは、ステップＳ９において投影用の画像データを変更する際に、変更後の投影像における特定の形状として認識されている領域（重複領域Ｈａと重複領域Ｈｂを合わせた領域）については、補正部１１Ｃが行う補正と同じ補正を行う。これにより、図１０に示すように、投影像４０Ａにおける手Ｈと重なる領域は、手Ｈが見えない状態に補正されたままとなる。
【００６８】
以上のように、プロジェクタ１００によれば、スクリーンＳＣに投影された投影像に物体が重なった場合に、この物体と重なる重複領域が補正されるため、観察者に対して物体の存在を感じさせることのない表示が可能となる。
【００６９】
そして、このような補正が行われると、重複領域が継続して存在していても、撮影部３０により撮影して得られる撮影画像データからは重複領域の検出がなされなくなる。しかし、図９に示すように、重複領域Ｈａを補正したことを示す補正履歴が記憶されている状態にて、新たに重複領域Ｈｂが検出されると、この重複領域Ｈｂと補正履歴に基づく補正領域とを組み合わせた形状によって、人の手Ｈが特定の形状になったのを判定することができる。
【００７０】
したがって、補正部１１Ｃにより、手Ｈが見えなくなるほどの高精度の補正が行われた場合であっても、ＲＯＭ１２に記憶された補正履歴の情報に基づいて、スクリーンＳＣ前方にかざされた人の手の形状を認識することができ、ジェスチャによる操作を継続させることができる。このように、プロジェクタ１００によれば、投影像の品質向上とジェスチャ認識精度の向上とを両立させることができる。
【００７１】
図１１は、図１に示すプロジェクタ１００の動作の変形例を説明するためのフローチャートである。図１１に示すフローチャートは、図５に示すフローチャートのステップＳ１０をステップＳ１０ａに変更したものである。図５において図１１と同じ処理には同一符号を付して説明を省略する。
【００７２】
ステップＳ１０ａにおいて、認識部１１Ｄは、ＲＯＭ１２に記憶されている２つの補正履歴の各々に基づく補正領域の形状を組み合わせた形状を、スクリーンＳＣに投影された投影像に重なる物体の形状として認識する。
【００７３】
例えば、ＲＯＭ１２に、図７に示す重複領域Ｈａの補正履歴と、図９に示す重複領域Ｈｂの補正履歴とが記憶された場合を想定する。この場合には、図１２に示すように、重複領域Ｈａの補正履歴に基づく補正領域Ｈａｘ（補正が行われた画素の集合で表される領域）の形状と、重複領域Ｈｂの補正履歴に基づく補正領域Ｈｂｘ（補正が行われた画素の集合で表される領域）の形状とを組み合わせた形状が、特定の形状と一致する場合に、ステップＳ９の処理が行われる。
【００７４】
このように、認識部１１Ｄは、ＲＯＭ１２に記憶されている最新の２つの補正履歴に基づいてスクリーンＳＣ前方にある物体の形状を判別することもできる。
【００７５】
図１１の例では、ステップＳ１０ａにおいて２つの補正履歴を用いて物体の形状を認識するものとしたが、３つ以上の補正履歴に基づく３つの形状を組み合わせて物体の形状を認識してもよい。このようにすることで、より複雑な形状の認識が可能となる。
【００７６】
以上説明してきたプロジェクタ１００は、投影部２０と撮影部３０とシステム制御部１０とを備えるものとしたが、撮影部３０は外部に設けられた構成であってもよい。この場合には、システム制御部１０が、プロジェクタ１００とは別に用意された撮影部３０と通信可能に接続される。
【００７７】
また、投影部２０と撮影部３０とパーソナルコンピュータ等の電子機器とを個別に用意して設置し、この電子機器と投影部２０及び撮影部３０とを通信可能とし、この電子機器にシステム制御部１０の機能を持たせた構成としてもよい。この構成によれば汎用のプロジェクタの改良のみでシステムを実現することができるため、システム構築に要するコストまた、図１に示すように、投影部２０、撮影部３０、及びシステム制御部１０が全て同一筐体内にある構成によれば、重複領域を高精度に補正することができる。また、投影部２０と撮影部３０と電子機器を個別に用意する場合と比較してシステム構築に要する費用を削減することができる。
【００７８】
以上説明してきたように、本明細書には以下の事項が開示されている。
【００７９】
（１）
投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出部と、
上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正部と、
上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識部と、
上記認識部により認識された上記物体の形状に基づいて、上記投影像を変更する表示制御部と、を備える投影制御装置。
【００８０】
（２）
（１）記載の投影制御装置であって、
上記認識部は、上記重複領域検出部により検出された上記重複領域と上記補正部によって記憶された上記補正履歴とに基づいて、上記投影像に重なる上記物体の形状を認識する投影制御装置。
【００８１】
（３）
（２）記載の投影制御装置であって、
上記認識部は、上記補正履歴に基づく補正領域の形状と、上記重複領域の形状とを組み合わせた形状を上記投影像に重なる上記物体の形状として認識する投影制御装置。
【００８２】
（４）
（１）記載の投影制御装置であって、
上記認識部は、上記補正部によって記憶された複数の上記補正履歴に基づいて、上記投影像に重なる上記物体の形状を認識する投影制御装置。
【００８３】
（５）
（４）記載の投影制御装置であって、
上記認識部は、複数の上記補正履歴の各々に基づく補正領域の形状を組み合わせた形状を上記投影像に重なる上記物体の形状として認識する投影制御装置。
【００８４】
（６）
（１）から（５）のいずれか１つに記載の投影制御装置であって、
上記補正履歴は、上記投影像に対して上記補正を行った領域を示す情報を含む投影制御装置。
【００８５】
（７）
（１）から（６）のいずれか１つに記載の投影制御装置と、上記投影部と、を備える投影装置。
【００８６】
（８）
（１）から（６）のいずれか１つに記載の投影制御装置と、上記投影部と、上記撮影部と、を備える投影装置。
【００８７】
（９）
投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、
上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正ステップと、
上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識ステップと、
上記認識ステップにより認識された上記物体の形状に基づいて、上記投影像を変更する表示制御ステップと、を備える投影制御方法。
【００８８】
（１０）
（９）記載の投影制御方法であって、
上記認識ステップは、上記重複領域検出ステップにより検出された上記重複領域と上記補正ステップによって記憶された上記補正履歴とに基づいて、上記投影像に重なる上記物体の形状を認識する投影制御方法。
【００８９】
（１１）
（１０）記載の投影制御方法であって、
上記認識ステップは、上記補正履歴に基づく補正領域の形状と、上記重複領域の形状とを組み合わせた形状を上記投影像に重なる上記物体の形状として認識する投影制御方法。
【００９０】
（１２）
（９）記載の投影制御方法であって、
上記認識ステップは、上記補正ステップによって記憶された複数の上記補正履歴に基づいて、上記投影像に重なる上記物体の形状を認識する投影制御方法。
【００９１】
（１３）
（１２）記載の投影制御方法であって、
上記認識ステップは、複数の上記補正履歴の各々に基づく補正領域の形状を組み合わせた形状を上記投影像に重なる上記物体の形状として認識する投影制御方法。
【００９２】
（１４）
（９）から（１３）のいずれか１つに記載の投影制御方法であって、
上記補正履歴は、上記投影像に対して上記補正を行った領域を示す情報を含む投影制御方法。
【００９３】
（１５）
投影部から投影された投影像を撮影する撮影部、により上記投影像を撮影して得られる撮影画像データに基づいて、上記投影像における物体と重なっている重複領域を検出する重複領域検出ステップと、
上記投影部を制御して、上記重複領域の補正を行い、上記補正の内容を示す補正履歴を記憶する補正ステップと、
上記補正履歴に基づいて、上記投影像に重なる物体の形状を認識する認識ステップと、
上記認識ステップにより認識された上記物体の形状に基づいて、上記投影像を変更する表示制御ステップと、をコンピュータに実行させるための投影制御プログラム。
【００９４】
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【００９５】
なお、本出願は、２０１８年３月１６日出願の日本特許出願（特願２０１８−０４９８７８）に基づくものであり、その内容は本出願の中に参照として援用される。
【産業上の利用可能性】
【００９６】
本発明によれば、投影像の品質向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することができる。
【符号の説明】
【００９７】
１００  プロジェクタ
１  表示部
５０  光源ユニット
４１ｒ  Ｒ光源
４１ｇ  Ｇ光源
４１ｂ  Ｂ光源
４２ｒ、４２ｇ、４２ｂ  コリメータレンズ
４３  ダイクロイックプリズム
４４  光変調素子
２  投影光学系
３  共通光学系
４  光学部材
５  撮影光学系
６  撮像素子
１０  システム制御部
１１  制御部
１１Ａ  画像処理部
１１Ｂ  重複領域検出部
１１Ｃ  補正部
１１Ｄ  認識部
１１Ｅ  表示制御部
１２  ＲＯＭ
１３  ＲＡＭ
２０  投影部
３０  撮影部
ＳＣ  スクリーン
４０、４０ｘ、４０Ａ  投影像
Ｈ  手
Ｆ  人差し指
Ｈａ、Ｈｂ  重複領域
Ｈｂｘ、Ｈａｘ  補正履歴に基づく形状
【図１】
2019176594.tif 000003
【図２】
2019176594.tif 000004
【図３】
2019176594.tif 000005
【図４】
2019176594.tif 000006
【図５】
2019176594.tif 000007
【図６】
2019176594.tif 000008
【図７】
2019176594.tif 000009
【図８】
2019176594.tif 000010
【図９】
2019176594.tif 000011
【図１０】
2019176594.tif 000012
【図１１】
2019176594.tif 000013
【図１２】
2019176594.tif 000014
【国際調査報告】
2019176594.tif 000015
2019176594.tif 000016
2019176594.tif 000017
2019176594.tif 000018