(57)【要約】【課題】表示画像の撮像において十分な露光時間を確保することを可能にする。【解決手段】被投射画像を投射する投射部を有する投射装置は、投射部による被投射画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像部による撮像の露光時間とに基づいて、撮像部の撮像タイミング信号を生成し、生成された撮像タイミング信号を撮像部に提供する。【選択図】図１
2017034352.tif 000002
【特許請求の範囲】
【請求項１】
被投射画像を投射する投射手段と、
前記投射手段による前記被投射画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像手段による撮像の露光時間とに基づいて、撮像タイミング信号を生成する生成手段と、
前記生成手段により生成された撮像タイミング信号を前記撮像手段に提供する提供手段と、を備えることを特徴とする投射装置。
【請求項２】
前記生成手段は、１フレーム中の所定の領域において前記露光時間の間に前記同期信号による更新が発生しないように前記撮像タイミング信号を生成することを特徴とする請求項１に記載の投射装置。
【請求項３】
前記生成手段は、前記投射手段が１フレームの画像を表示する１フレーム期間から前記露光時間を差し引いた差分時間に相当する数の前記同期信号をカウントしたことに応じて前記撮像タイミング信号を生成することを特徴とする請求項１に記載の投射装置。
【請求項４】
前記生成手段は、連続する２つのフレームについて、それぞれ前記差分時間に相当する数の前記同期信号がカウントされると前記撮像タイミング信号を生成し、次の連続する２つのフレームについて、前記差分時間の２倍の時間に相当する数の前記同期信号がカウントされると前記撮像タイミング信号を生成することを特徴とする請求項３に記載の投射装置。
【請求項５】
前記生成手段は、前記差分時間に相当する数の前記同期信号がカウントされるごとに、前記撮像タイミング信号を生成することを特徴とする請求項３に記載の投射装置。
【請求項６】
１フレーム期間は垂直同期信号により規定され、前記同期信号は１フレーム中のライン単位の表示内容を更新するための水平同期信号であることを特徴とする請求項１乃至５のいずれか１項に記載の投射装置。
【請求項７】
投射対象画像に所定の画像を合成して前記被投射画像を生成する合成手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の投射装置。
【請求項８】
前記所定の画像は、二次元座標情報がコード化された画像を含むことを特徴とする請求項７に記載の投射装置。
【請求項９】
前記所定の画像は、著作権情報がコード化された電子透かしを含むことを特徴とする請求項７に記載の投射装置。
【請求項１０】
前記撮像手段が前記撮像タイミング信号に応じて前記投射手段により投射された投射画像を撮影した撮像画像を取得する取得手段と、
前記撮像画像から前記所定の画像を抽出する抽出手段と、を備えることを特徴とする請求項７乃至９のいずれか１項に記載の投射装置。
【請求項１１】
前記抽出手段は、前記撮像画像に含まれる前記投射画像のうち、前記撮像手段の前記露光時間の間、前記同期信号による表示内容の更新が発生していない領域の画像を用いることを特徴とする請求項１０に記載の投射装置。
【請求項１２】
投射対象画像に所定の画像を合成して前記被投射画像を生成する合成手段と、
前記撮像手段が前記撮像タイミング信号に応じて前記投射手段により投射された投射画像を撮影することにより得られた撮像画像を取得する取得手段と、
前記撮像画像に含まれる前記投射画像から前記所定の画像を抽出する抽出手段と、を備え、
前記抽出手段は、前記投射画像のうちの前記撮像タイミング信号より前に、前記差分時間に相当する数の前記同期信号により更新された領域を用いることを特徴とする請求項３乃至５のいずれか１項に記載の投射装置。
【請求項１３】
表示装置であって、
表示画像を表示する表示手段と、
前記表示手段による前記表示画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像手段による撮像の露光時間とに基づいて、前記撮像手段の撮像タイミング信号を生成する生成手段と、
前記生成手段により生成された撮像タイミング信号を前記撮像手段に提供する提供手段と、を備えることを特徴とする表示装置。
【請求項１４】
被投射画像を投射する投射手段を備える投射装置の制御方法であって、
生成手段が、前記投射手段による前記被投射画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像手段による撮像の露光時間とに基づいて、前記撮像手段の撮像タイミング信号を生成する生成工程と、
提供手段が、前記生成工程で生成された撮像タイミング信号を前記撮像手段に提供する提供工程と、を有することを特徴とする投射装置の制御方法。
【請求項１５】
請求項１４に記載された投射装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射装置およびその制御方法、表示装置に関する。
【背景技術】
【０００２】
近年、例えばアミューズメント施設や博物館などで、単体あるいは複数の投射装置を用いた投射システムが設置されるようになってきている。このような投射システムでは、投射装置から投射する校正パターンをカメラで撮像し、撮像した画像を元に、スクリーン上での投射形状や投射画像の画質を補正する場合がある。また、著作権保護を目的として、コンテンツに人間が知覚できないように情報を電子透かしとして埋め込み、カメラで撮影した画像から電子透かしを検出する場合もある。
【０００３】
このように、校正パターンや電子透かしなどを得るために投射装置の投射画像、すなわち表示装置の表示画面を撮像する場合には、表示している画像を正しく撮像する必要がある。しかし、表示装置は、パネルのドットマトリクスに対応する色と輝度信号を走査先の順番に送り、表示に反映させることで表示画面の更新を実現している。そのため、カメラで撮像した瞬間にも表示画面の更新が行われており、画面全体に１フレームの画像が正しく表示されているのは垂直ブランキング期間の短い時間となる。このブランキング期間内に撮像が完了しない場合には、正しく１フレームの画像を撮像できないことになる。
【０００４】
従来、映像信号の画像データが埋め込まれていない部分に、画像データを用いて実行する処理を制御するための制御データを埋め込む技術がある（特許文献１）。特許文献１に開示されている技術では、１フレームの映像信号に対して、投射制御データと撮像制御データを埋め込むことで、１フレームの表示画像を撮像することを可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０９０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、画像データの一部として制御データが埋め込まれる。そのため、特定のパターン画像を表示する場合以外では、画像データが欠落してしまう可能性があった。また、１フレームの画像を撮像するためには、垂直ブランキング期間内で撮像を完了する必要があり、撮像時の露光時間が短くなってしまう。その結果、撮像した画像の明るさが不足する可能性があるという課題がある。
【０００７】
本発明は上記課題に鑑みてなされたものであり、表示画像の撮像において十分な露光時間を確保可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による投射装置は以下の構成を備える。すなわち、
被投射画像を投射する投射手段と、
前記投射手段による前記被投射画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像手段による撮像の露光時間とに基づいて、撮像タイミング信号を生成する生成手段と、
前記生成手段により生成された撮像タイミング信号を前記撮像手段に提供する提供手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、表示画像の撮像において十分な露光時間を確保することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における投射装置の概略構成図。
【図２】実施形態の投射装置による処理を示すフローチャート。
【図３】実施形態おける二次元座標のコード化パターンの一例を示す図。
【図４】実施形態における被投射画像とスキャンラインの状態を説明する図。
【図５】実施形態における画像取得指示の生成処理を示すフローチャート。
【図６】実施形態における画像取得タイミングと撮像の露光時間の関係を示す概念図。
【図７】実施形態による、取得した画像を説明する概念図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１２】
図１は、実施形態に関わる投射型画像表示装置（以下、投射装置１０１）の構成例を示すブロック図である。非可視情報生成部１０２は、画像に合成する非可視情報を生成する。ここで、非可視情報とは、例えば画像の二次元座標（位置）をコード化したパターン画像や画像の著作権情報を示す電子透かし等の、人間が視覚的に知覚しづらい画像パターンである。但し、本実施形態では非可視情報の生成アルゴリズムについて何等限定しない。合成部１０３は、所定の画像（本実施形態では非可視情報生成部１０２で生成されたパターン）を投射対象画像に合成して被投射画像を生成する。なお、本実施形態では、合成部１０３は、画像の二次元座標情報をコード化したパターンを、被投射画像に対して加算あるいは減算することにより合成を行う。
【００１３】
投射タイミング生成部１０４は、不図示の表示パネル（投射スクリーン）に合成部１０３が生成した被投射画像を投射表示するための投射タイミングを生成する。投射タイミングとは、映像表示に必要な制御信号である。投射タイミングは、例えば、１ラインの切替えタイミングである水平同期信号、１画面（１フレーム）の切替えタイミングである垂直同期信号、画素の非表示期間であるブランキング期間、表示される画素レベルのドットクロックを含む。投射部１０５は、投射タイミング生成部１０４が生成した投射タイミングを元に不図示の表示パネル（投射スクリーン）上に、表示対象の被投射画像を投射レンズを介して投射する。
【００１４】
取得タイミング生成部１０６は、投射タイミング生成部１０４が生成した投射タイミングと後述する画像取得部１０７の性能を元に画像取得部１０７が画像を取得するための取得タイミングを生成する。取得タイミング生成についての詳細は後述する。画像取得部１０７は、取得タイミング生成部１０６が生成した取得タイミングに基づいて、投射部１０５により投射されている画像の画像情報（撮像画像）を取得する。たとえば、画像取得部１０７は、取得タイミングにしたがって撮像部１０９（カメラ）による撮像を実行し、画像情報を取得する。
【００１５】
非可視情報抽出部１０８は、画像取得部１０７で取得した撮像画像に含まれている投射画像からパターンを抽出し、抽出したパターンを更にデコードすることで非可視情報を抽出する。本実施形態では、非可視情報として座標情報を抽出する。撮像部１０９は、画像取得部１０７からの撮像指示（画像取得指示）に応じて撮像を行い、得られた画像を画像取得部１０７に提供する。なお、撮像部１０９と画像取得部１０７は一体的に構成されていてもよい。
【００１６】
以上のような構成を備えた投射装置１０１において、表示画面の撮像画像を取得して非可視情報を抽出するまでの処理を図２のフローチャートに示す。ステップＳ２０１で、非可視情報生成部１０２は、画像の二次元座標（位置）をコード化したパターンを生成する。例えば、二次元座標（位置）を米国特許第７９０７７９５号で開示される技術を用いてコード化すると、パターンはたとえば図３に示すようなドットパターンとなる。次に、ステップＳ２０２で、合成部１０３は、ステップＳ２０１で生成したドットパターンを投射対象の画像に合成して被投射画像を生成する。
【００１７】
ステップＳ２０３で、投射タイミング生成部１０４は投射タイミングを生成する。投射タイミングは、投射部１０５の仕様によって決定される。例えば、４０９６×２１６０の解像度、１２０フレーム／秒でパネルに表示し、水平ブランキング期間及び垂直ブランキング期間をそれぞれ１００画素とする。この場合、１フレームを規定する垂直同期信号が１２０Ｈｚ、水平同期信号が２７１ｋＨｚ、ドットクロックが９．４８ＭＨｚと定義できる。投射タイミング生成部１０４は、この定義に基づいたタイミングで、垂直同期信号、水平同期信号、ドットクロックを含む投射タイミング信号を生成し、投射部１０５及び取得タイミング生成部１０６に出力する。
【００１８】
次のステップＳ２０４、ステップＳ２０５は並行して（実質的に並列に）実行される。ステップＳ２０４で、投射部１０５は、ステップＳ２０３で生成された投射タイミングに基づき、ステップＳ２０２で生成した被投射画像を被投射面へ投射する。なお、ステップＳ２０１で生成されるドットパターンは、そのサイズ、密度、および濃度を制御することが可能である。ドットパターンの抽出精度とのトレードオフを考慮しつつ、小サイズ、小密度、低濃度に設定することでドットパターンをほぼ非可視の状態とすることが出来る。一方、ステップＳ２０５では、取得タイミング生成部１０６がステップＳ２０３で生成された投射タイミングに基づいて表示画面を撮像するための取得タイミングを生成する。
【００１９】
ステップＳ２０６で、画像取得部１０７は、ステップＳ２０５で生成された取得タイミングに従って撮像部１０９を駆動して投射画像の撮像を実行し、画像を取得する。ステップＳ２０７で、非可視情報抽出部１０８は、ステップＳ２０６で取得された画像（撮像画像）から非可視情報を抽出する。
【００２０】
次に、ステップＳ２０４で投射される被投射画像と被投射面（スクリーン）における投射画像の表示状態の時間経過に伴う変化について、図４を用いて詳細に説明する。図４は被投射画像と被投射面におけるスキャンラインの状態とを説明する模式図である。時間軸４０１は、図中右方向に向かって時間が進むことを示している。期間４０２は、１フレームの画像が表示される時間を示している。１フレームの期間は垂直同期信号が生成される間隔に基づいている。本実施形態では１２０Ｈｚで１フレームの更新を行うため、各フレームが表示される期間（１フレームの期間）は約８ミリ秒（１／１２０秒）である。フレーム４０３〜４０６は被投射画像を示している。フレーム中の＋，−の表記は、非可視情報生成部１０２が生成したパターン画像を合成部１０３が加算して合成した（＋）か、減算して合成した（−）か、を示している。
【００２１】
４０７から４１１は被投射面におけるスキャンラインの表示状態を示しており、図中の＋，−の表記は、フレーム４０３〜４０６と同様である。表示状態４０７は、フレーム４０３の一つ前のフレームを表示していることを示している。表示状態４０８は、被投射面における表示をフレーム４０３の被投射画像へ更新していることを示している。同様に表示状態４０９は、フレーム４０４の画像、表示状態４１０はフレーム４０５の画像、表示状態４１１はフレーム４０６の画像に、被投射面における表示を更新していることを示している。表示状態４０７〜４１１では、投射画像の最上端ライン４１２から最下端ライン４１３へ、時間経過とともに、順次にラインごとに表示が更新されていることが示されている。つまり、任意のタイミングＴで被投射面における投射画像を撮像した場合は、その撮像の露光時間内も被投射面上の表示（投射画像）は更新され続けている。
【００２２】
次に、ステップＳ２０５における取得タイミングの生成について説明する。本実施形態では、投射部１０５が被投射画像の１フレームの表示内容を１部分ずつ更新するための同期信号と、撮像部１０９による撮像の露光時間とに基づいて、撮像部１０９が撮像を実行する撮像タイミング信号としての取得タイミングが生成される。なお、本実施形態では、取得タイミングの生成に用いられる同期信号は、１フレーム中のライン単位の表示内容を更新するための水平同期信号であり、投射タイミング生成部１０４により生成される。図５は、投射タイミングを元に画像取得部１０７に撮像（画像の取得）を指示するまでの処理の例を説明するフローチャートである。
【００２３】
ステップＳ５０１で、取得タイミング生成部１０６は、撮像部１０９の露光時間内で表示が更新されるライン数及び表示が更新されないライン数を算出する。ここで、露光時間は画像取得部１０７（撮像部１０９）の性能によって予め定義される。露光時間は一般にシャッタースピードとして定義され、例えば１／８０００秒から３０秒等である。本実施形態では、シャッタースピードは１／２５０秒、つまり露光時間が４ミリ秒として説明する。時間あたりに更新されるライン数については、水平同期信号の周波数をＨＳｙｎｃ、時間をＴとすると、以下の数式１で算出できる。
ＨＳｙｎｃ×Ｔ        （数式１）
【００２４】
前述したように水平同期信号が２７１ｋＨｚの場合には、１秒間に２７１０００ライン更新されることとなる。つまり、露光時間である４ミリ秒の間に１０８４ラインが更新されることになる。垂直方向の有効期間は２１６０ラインであるので、撮像を開始したタイミングから１０８４ライン分は露光時間内に表示画像が変更され、それを差し引いた１０７６ラインは、露光時間内に更新されないライン数であると算出できる。
【００２５】
次に、ステップＳ５０２で、取得タイミング生成部１０６は、最初の撮像領域を決定する。ここでは、投射画面全体のうち上端のラインからステップＳ５０２で算出した露光時間中に更新されないラインの領域（垂直方向に０番目のラインから１０７６番目のラインまで）が撮像領域として決定される。つまり、４０９６×２１６０の表示画面に対して、座標（０，０）の画素から座標（４０９６，１０７６）が撮像領域となる。この撮像領域は、撮像画像に含まれる投射画像のうち、撮像部１０９の露光時間の間、同期信号（水平同期信号）による表示内容の更新が発生していない領域である。非可視情報抽出部１０８は、撮像部１０９により得られた撮像画像中のこの撮像領域からパターンを抽出する。
【００２６】
ステップＳ５０３で、取得タイミング生成部１０６は、投射タイミング生成部１０４が生成した投射タイミング信号から水平同期信号及び垂直同期信号を取得する。ここで、水平同期信号を受け取る度に画面が１ライン更新されたと判断することができる。つまり、垂直同期信号を取得した後、取得した水平同期信号の数をカウントすることで、水平同期信号に伴い更新された画面のライン数を識別することができる。
【００２７】
ステップＳ５０４で、取得タイミング生成部１０６は、ステップＳ５０３で識別したライン数がステップＳ５０２で決定された撮像領域の最下端のラインを示すか否かを判断する。識別したライン数が撮像領域の最下端のラインを示す場合、すなわち撮像領域の最下端のラインが更新された場合には、処理はステップＳ５０５へ進み、画像取得を指示する。他方、識別されたライン数が撮像領域の最下端ではない場合には、処理はステップＳ５０３へ戻り、再度、投射タイミング信号の通知を待つ。こうして、投射部１０５が１フレームの画像を表示する１フレーム期間から露光時間を差し引いた差分時間に相当する数の同期信号（水平同期信号）をカウントしたことに応じて取得タイミングが生成される。
【００２８】
ステップＳ５０５で、取得タイミング生成部１０６は画像取得部１０７へ取得タイミングを出力し、画像の取得を指示する。ステップＳ５０６で、取得タイミング生成部１０６は、非可視情報生成部１０２が生成したパターン画像を加算した画像と減算した画像の両方について撮像領域を撮像したかを判断する。両方の画像について撮像ができている場合には処理はステップＳ５０７へ進み、一方の画像しか撮像ができていない場合には処理はステップＳ５０３へ戻る。ステップＳ５０３に処理が戻ると、取得タイミング生成部１０６は、次のフレームに対して、前のフレームと同じ撮像領域に関して撮像を行う。こうして、連続する２つのフレームである第ｎフレームと第ｎ＋１フレームについて、たとえば最上端ライン４１２を上端とする撮像領域を含む撮像画像が得られる。
【００２９】
ステップＳ５０７では、取得タイミング生成部１０６は、撮像領域を露光時間に更新されるライン数分だけ移動させて、処理をステップＳ５０３へ戻す。Ｓ５０２で説明した撮像領域を元にすると、ステップＳ５０７で設定される撮像領域は、座標（０，１０７７）の画素から座標(４０９６、２１５３)の領域となる。たとえば、上述した差分時間の２倍の時間に相当する数の同期信号（水平同期信号）がカウントされたことに応じて取得タイミングが生成される。こうして、上述の第ｎと第ｎ＋１フレームの次の連続する２つのフレームである第ｎ＋２と第ｎ＋３フレームについて、移動後の撮像領域を含む撮像画像が得られる。パターン画像が加算された被投射画像とパターン画像が減算された被投射画像について１フレーム分以上の撮像画像が得られると、処理はステップＳ５０３〜Ｓ５０７のループを抜ける。
【００３０】
なお、撮像領域はパネルの最下端に跨った場合には、撮像領域はパネルの下側と上側の２領域となる。上記例から、さらに撮像領域を移動すると、撮像領域は、垂直ブランキング期間１００画素分も考慮し、座標（０，２１５４）から座標（４０９６，２１６０）と次のフレームの座標（０，０）から座標（４０９６、９７０）となる。
【００３１】
図６は、図４で説明した被投射画像と被投射面のスキャンラインの状態に、ステップＳ５０５で出力される画像取得指示のタイミングと撮像の露光時間の関係を追加して示した図である。なお、図４で説明したのと同様の要素は図４と同一の符号を付記している。
【００３２】
期間６０１、６０２は、撮像部１０９による露光時間を示している。６０３、６０４は画像の取得タイミングを示している。６０５は、撮像領域の垂直方向の範囲（サイズ）を示している。ステップＳ５０２で説明した例では、画面の０番目のラインから１０７６番目のラインまでが撮像領域であり、範囲６０５の最上端は０番目のライン、範囲６０５の最下端は１０７６番目のラインである。
【００３３】
フレーム４０３の被投射画像を被投射面のパネルに表示する際は、表示状態４０８に示すように、被投射画像の上端のラインから順に表示が更新されていき、範囲６０５の最下端のラインまで表示が更新されたタイミング６０３で画像取得指示が出力される。タイミング６０３で撮像を開始した場合、期間６０１が撮像のための露光時間となる。露光時間中では、範囲６０５の最下端ラインより垂直方向下側のラインは撮像中（期間６０１の間）にも表示が更新されていくが、垂直方向上側のライン（すなわち、範囲６０５内のライン）の表示が期間６０１中に更新されることはない。次のフレーム４０４の被投射画像を撮像する場合も同様である。
【００３４】
図７は、図６で取得される撮像画像を説明する概念図である。撮像画像７０１は、タイミング６０３で撮像を開始して取得された画像である。また、撮像画像７０６は、タイミング６０４で撮像を開始して取得された画像である。画像取得部１０７により取得される撮像画像は、露光時間中の表示の変化の有無によって、すなわち露光開始のタイミングによって領域毎に得られる画像が異なる。
【００３５】
撮像画像７０１の領域７０２は、露光時間中に非可視情報のパターンを減算した被投射画像がより長く被投射面に表示されていた領域である（特に、領域７０５は撮像領域に該当し、露光時間中にラインの更新は発生しない）。領域７０３は、露光時間中に非可視情報のパターンを減算した被投射画像と非可視情報のパターンを加算した被投射画像（１つ前のフレーム）が同程度の時間表示されていた領域であり、取得した画像からは、非可視情報のパターンが検出できない。領域７０４は、露光時間中に非可視情報のパターンを加算した被投射画像（１つ前のフレーム）がより長く被投射面に表示されていた領域である。
【００３６】
同様に、撮像画像７０６の領域７０７は、露光時間中に非可視情報のパターンを加算した被投射画像がより長く被投射面に表示されていた領域である（特に、領域７１０は撮像領域に該当し、露光時間中にラインの更新は発生しない）。領域７０８は、露光時間中に非可視情報のパターンを減算した被投射画像（１つ前のフレーム）と非可視情報のパターンを加算した被投射画像が同程度の時間表示されていた領域であり、取得した画像からは、非可視情報のパターンが検出できない。領域７０９は、露光時間中に非可視情報のパターンを減算した被投射画像（１つ前のフレーム）がより長く被投射面に表示されていた領域である。
【００３７】
説明を簡単にするため画像を以下の３つの領域に分けて説明する。すなわち、
１．非可視情報のパターンを加算した被投射画像がより長く被投射面に表示されていた領域７０４及び領域７０７。
２．非可視情報のパターンを減算した被投射画像と非可視情報のパターンを加算した被投射画像が同程度の時間表示されていた領域７０３及び領域７０８。
３．非可視情報のパターンを減算した被投射画像がより長く被投射面に表示されていた領域７０２及び領域７０９。
【００３８】
但し、これらは非可視情報のパターンの表示時間に応じて決まるため、それぞれの領域の境界は図７に示されるほど明確な領域には分離されない。撮像画像７０１の例では、領域７０２から領域７０３の境界では、減算された非可視情報のパターンが少しずつ薄く撮像され、領域７０３の領域で視認できなくなる。また、領域７０３から領域７０４の境界では加算された非可視情報のパターンが少しずつ濃く撮像される。
【００３９】
領域７０２および領域７０７に含まれる領域７０５および領域７１０は、ステップＳ５０２で決定した撮像領域を示しており、露光時間中に表示の変更が無い領域となる。つまり、この領域では、露光時間中に非可視情報のパターンを加算した被投射画像のみ、もしくは非可視情報のパターンを減算した被投射画像のみが撮像されることになる。非可視情報はこの領域７０５、領域７１０から正確に抽出することができる。本実施形態の場合、領域７１０の画像（パターンが加算された画像）から領域７０５の画像（パターンが減算された画像）を減算することでドットパターンのみの画像を抽出することができる。撮像領域を領域７０５、領域７１０とした撮像を終えると、撮像領域が領域７０５および領域７１０の最下端ラインと隣接する位置へ移動し、撮像が行われる。こうして、複数回の撮像により、パターンが減算された１フレーム分の画像、パターンが加算された１フレーム分の画像が撮像されることになる。
【００４０】
以上のように、実施形態によれば、人間には視認できない非可視情報が付加された動画像を撮像して得られた撮像画像から、付加されている非可視情報を精度良く検出することが可能となる。また、その撮像の際には、十分な露光時間を確保することができる。
【００４１】
なお、上記実施形態では、投射装置による投射画像を撮影する構成を示したが、投射型の画像表示装置に限られるものではない。たとえば、通常の表示装置の表示画面を撮影して所定のパターンを抽出する場合にも適用できることは明らかである。
【００４２】
また、上記実施形態では、１フレームの部分を更新するための同期信号（本実施形態では１ラインを更新するための水平同期信号）をカウントし、１フレームの時間から露光時間を差し引いた差分時間に対応する数のカウント値が得られると撮像開始を指示した。しかしながら、本発明はこれに限られるものではない。撮像画像中のパターン抽出に利用する領域（１フレーム中の撮像領域）において、露光時間中に更新が発生しなければよいので、たとえば、上記差分時間よりも短い時間に対応する同期信号のカウント値で撮像を開始させてもよい。また、上記実施形態では、第ｎフレームの撮像領域に対応した撮像を行うと、第ｎ＋１フレームの撮像領域に対応した撮像を行い、その後、撮像領域を移動して第ｎ＋２フレームと第ｎ＋３フレームを撮像するようにしているがこれに限られるものではない。たとえば、第ｎフレームについて上端ラインからの撮像領域に対応した撮像を行った後、撮像領域を移動して、移動後の撮像領域に対応した撮像を行うというようにしてもよい。何れにしても、１フレームの撮像画像を得るのに垂直帰線期間を利用する場合に比べて、長い露光時間を確保することができる。
【００４３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４４】
１０１：投射装置、１０２：非可視情報生成部、１０３：合成部、１０４：投射タイミング生成部、１０５：投射部、１０６：取得タイミング生成部、１０７：画像取得部、１０８：非可視情報抽出部
【図１】
2017034352.tif 000003
【図２】
2017034352.tif 000004
【図３】
2017034352.tif 000005
【図４】
2017034352.tif 000006
【図５】
2017034352.tif 000007
【図６】
2017034352.tif 000008
【図７】
2017034352.tif 000009