(57)【要約】【課題】投影対象についてあらかじめ認識できていない場合でも投影対象のダイナミックレンジを容易に向上させることができる技術を提供する。【解決手段】本発明の投影装置は、投影面を撮像した撮像画像データを取得する第１取得手段と、前記撮像画像データに基づいて、前記投影面における対象物を検出する検出手段と、前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得手段と、前記第２の画像データに基づく画像を前記対象物に投影する投影手段と、を有する。【選択図】図１
2020064188.tif 000002
【特許請求の範囲】
【請求項１】
投影面を撮像した撮像画像データを取得する第１取得手段と、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出手段と、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得手段と、
前記第２の画像データに基づく画像を前記対象物に投影する投影手段と、
を有することを特徴とする投影装置。
【請求項２】
複数の画像データを保持する記憶手段をさらに有し、
前記第２取得手段は、前記記憶手段に保持された前記複数の画像データから前記第１の画像データに対応する画像データを前記第２の画像データとして取得する、
ことを特徴とする請求項１に記載の投影装置。
【請求項３】
前記記憶手段は、前記複数の画像データを所定の形状に変形した複数の被検索用画像データを前記複数の画像データに関連付けてさらに保持し、
前記第２取得手段は、前記第１の画像データを前記所定の形状に変形した検索用画像データとの類似度が所定の値以上である前記被検索用画像データに関連付けられた画像データを前記第２の画像データとして取得する、
ことを特徴とする請求項２に記載の投影装置。
【請求項４】
前記第２取得手段は、前記検索用画像データとの類似度が所定の値以上である前記被検索用画像データが複数存在する場合、前記類似度が最も高い前記被検索用画像データに関連付けられた画像データを前記第２の画像データとして取得する、
ことを特徴とする請求項３に記載の投影装置。
【請求項５】
前記所定の形状は、正方形である、
ことを特徴とする請求項３または４に記載の投影装置。
【請求項６】
前記投影手段は、
前記投影面における投影画像のゆがみを解消する関数を用いて、前記撮像画像データにおける前記対象物に対応する、投影画像データにおけるエリアを求め、
前記第２の画像データによって表される画像を前記エリアに対応するように変形して投影する、
ことを特徴とする請求項１から５のいずれか１項に記載の投影装置。
【請求項７】
前記変形は、射影変換である、
ことを特徴とする請求項３から６のいずれか１項に記載の投影装置。
【請求項８】
前記投影手段は、前記第１の画像データに対応する前記第２の画像データが存在しない場合、前記第１の画像データに基づいて生成される画像または代替用の画像を、前記対象物に対して投影する、
ことを特徴とする請求項１から７のいずれか１項に記載の投影装置。
【請求項９】
前記検出手段は、複数の前記対象物を検出し、
前記第２取得手段は、前記複数の対象物にそれぞれ対応する複数の前記第１の画像データに基づいて、複数の前記第２の画像データを取得し、
前記投影手段は、複数の前記対象物に対して、それぞれ対応する複数の前記第２の画像データに基づく画像を含む投影画像を投影する、
ことを特徴とする請求項１から８のいずれか１項に記載の投影装置。
【請求項１０】
前記対象物は、前記投影面における印刷物である、
ことを特徴とする請求項１から９のいずれか１項に記載の投影装置。
【請求項１１】
撮像装置と、
投影装置と、
を有する投影システムであって、
前記撮像装置は、
投影面を撮像して撮像画像を生成する撮像手段を有し、
前記投影装置は、
投影面を撮像した撮像画像データを取得する第１取得手段と、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出手段と、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記対象物に投影するための画像データである第２の画像データを取得する第２取得手段と、
前記第２の画像データに基づく画像を前記対象物に投影する投影手段と、を有する、
ことを特徴とする投影システム。
【請求項１２】
投影面を撮像した撮像画像データを取得する第１取得ステップと、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出ステップと、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得ステップと、
前記第２の画像データに基づく画像を前記対象物に投影する投影ステップと、
を有することを特徴とする投影装置の制御方法。
【請求項１３】
コンピュータを、請求項１から１０のいずれか１項に記載された投影装置の各手段として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置、投影システム、投影装置の制御方法、プログラム、および記憶媒体に関する。
【背景技術】
【０００２】
近年、プロジェクタを用いて印刷物に画像を投影することによって、印刷物（投影対象）のダイナミックレンジを拡大させる技術が提案されている。
【０００３】
特許文献１では、あらかじめ用意された画像情報に基づいて印刷物を生成し、当該画像情報のコントラスト情報に基づいて生成される投影画像を当該印刷物に対して投影する技術が開示されている。特許文献１に開示に技術では、印刷物の暗部に照射する投影光の光量を下げ、明部に照射する投影光の光量を上げることで、印刷物のダイナミックレンジを向上させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４５９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術は、あらかじめ用意された画像情報に基づいて印刷物を生成しているため、投影対象の印刷物についてあらかじめ認識できていない場合には適用することができない。また、印刷物が複数ある場合については考慮されていないため、印刷物と画像情報との対応付けをユーザが行う必要があるため手間が生じていた。
【０００６】
そこで、本発明では、投影対象についてあらかじめ認識できていない場合でも投影対象のダイナミックレンジを容易に向上させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、
投影面を撮像した撮像画像データを取得する第１取得手段と、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出手段と、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得手段と、
前記第２の画像データに基づく画像を前記対象物に投影する投影手段と、
を有することを特徴とする投影装置である。
【０００８】
本発明の一態様は、
撮像装置と、
投影装置と、
を有する投影システムであって、
前記撮像装置は、
投影面を撮像して撮像画像を生成する撮像手段を有し、
前記投影装置は、
投影面を撮像した撮像画像データを取得する第１取得手段と、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出手段と、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得手段と、
前記第２の画像データに基づく画像を前記対象物に投影する投影手段と、を有する、
ことを特徴とする投影システムである。
【０００９】
本発明の一態様は、
投影面を撮像した撮像画像データを取得する第１取得ステップと、
前記撮像画像データに基づいて、前記投影面における対象物を検出する検出ステップと、
前記撮像画像データの一部であって、前記検出された対象物に対応する画像データである第１の画像データに基づいて、前記第１の画像データに対応する第２の画像データを取得する第２取得ステップと、
前記第２の画像データに基づく画像を前記対象物に投影する投影ステップと、
を有することを特徴とする投影装置の制御方法である。
【００１０】
本発明の一態様は、コンピュータを、上記の投影装置の各手段として機能させるためのプログラムである。
【００１１】
本発明の一態様は、上記プログラムを記憶するコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１２】
本発明によれば、投影対象についてあらかじめ認識できていない場合でも投影対象のダイナミックレンジを容易に向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る画像投影システムの投影状態を示す図
【図２】実施形態に係る画像投影システムの機能ブロック図
【図３Ａ】実施形態に係る投影処理の一例を示すフローチャート
【図３Ｂ】実施形態に係る投影領域検出処理の一例を示すフローチャート
【図３Ｃ】実施形態に係る印刷物検出処理の一例を示すフローチャート
【図３Ｄ】実施形態に係る画像検索処理の一例を示すフローチャート
【図３Ｅ】実施形態に係るハッシュ化処理の一例を示すフローチャート
【図４】実施形態に係るハッシュ化を説明するための図
【図５】実施形態に係る撮像画像と投影画像の関係を示す図
【発明を実施するための形態】
【００１４】
（実施形態１）
＜概要＞
以下、本実施形態に係る画像投影システムについて説明する。本実施形態に係る画像投影システムでは、投影装置および撮像装置を用いて、投影面における印刷物に対して当該印刷物に対応する画像を投影する。印刷物の位置や大きさは、撮像装置によって撮像される画像に基づいて取得される。投影装置は、印刷物に応じた画像を検索（取得）して、各種射影変換を行って得られた画像を印刷物に対して投影する。以下、本実施形態に係る画像投影システムの全体構成、処理内容について順に説明する。なお、投影装置の投影対象は印刷物に限定されず、例えば、投影装置と投影面との間に存在する物であればよい。
【００１５】
＜全体構成＞
図１は、本実施形態に係る画像投影システムの投影状態を示す図である。図１において、投影面１００は、投影装置１１０によって画像が投影される投影面であって、例えば、スクリーンや壁である。投影装置１１０は、投影面１００に対して画像を投影する。投影装置１１０の詳細は後述する。撮像装置１２０は、投影面１２０を撮像する。本実施形態における投影装置１１０と撮像装置１２０は、ケーブルで接続されている。印刷物１３０〜１３３は、投影面上に設けられた紙等である。
【００１６】
投影範囲１４０は、投影装置１１０によって投影される範囲である。撮像範囲１５０は、撮像装置１２０によって撮像される範囲である。本実施形態では、投影装置１１０は、投影装置１１０の投影範囲１４０が印刷物１３０〜１３３を含むように設置される。また、本実施形態では、撮像装置１２０は、撮像範囲１５０が投影装置１１０の投影範囲１４０を含むように設置される。なお、投影面１００が平面である場合を例に説明するが、投影面１００の形状は特に限定されない。
【００１７】
図２は、本実施形態に係る画像投影システムの機能ブロック図である。本実施形態に係る投影システムは、投影装置１１０および撮像装置１２０等を含む。
【００１８】
≪投影装置１１０≫
投影装置１１０は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）でもある。記憶装置に格納されたプログラムを投影装置１１０が実行することで、投影装置１１０の後述する機能が提供される。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。
【００１９】
画像取得部２１０は、投影面１００を撮像した画像データを撮像装置１２０からケーブルを介して取得する機能部である。なお、画像データの取得方法は特に限定されず、例えば、撮像装置１２０等の外部機器から無線通信を行うことにより、画像データを取得してもよい。また、投影装置１１０自体に撮像部が内蔵される場合、当該撮像部によって撮像された画像データを用いてもよい。
【００２０】
投影領域検出部２２０は、画像取得部２１０によって取得された撮像画像データに基づいて、投影装置１１０の投影領域（投影範囲１５０）を検出する機能部である。本実施形態では、投影領域検出部２２０は、投影領域の頂点座標を検出する。投影領域の検出処理については後述する。
【００２１】
射影変換関数生成部２２５は、投影領域検出部２２０によって検出された投影領域の頂点座標に基づいて、撮像画像の座標系における座標値から、後述する投影画像の座標系における座標値へ射影変換（変形）するための射影変換関数を生成する機能部である。言い換えれば、射影変換関数は、撮像画像における投影画像のゆがみを解消（低減）する関数である。ゆがみは、例えば投影装置１１０と撮像装置１２０とが異なる位置にあることで生じる撮像画像内における投影画像のゆがみや、投影装置１１０が投影面１００の正面以外の位置にあることで生じる投影面上における投影画像のゆがみ等を示す。射影変換については後述する。
【００２２】
印刷物検出部２３０は、撮像画像データに基づいて、印刷物（対象物）を検出する機能部である。本実施形態では、撮像画像データにおける印刷物１３０〜１３３の頂点座標を検出する。印刷物検出処理の詳細については後述する。なお、本実施形態では、四角形の印刷物を検出対象としているが、検出対象は特に限定されない。例えば、投影装置１１０または撮像装置１２０と投影面１００との間に存在する他の物体（例えば、机やパネル等）でもよい。また、検出対象（本実施形態では印刷物）は、四角形の物体に限定されず、
円形または楕円形の物体でもよい。また、検出対象はエッジ抽出等に基づいて得られる領域でもよい。
【００２３】
検索用画像生成部２３５は、撮像画像データと、印刷物検出部２３０によって検出された印刷物の頂点座標に基づいて、印刷物１３０〜１３３の領域における画像（印刷物画像）に対応する投影対象画像を検索するための検索用画像を生成する機能部である。本実施形態では、検索用画像生成部２３５は、印刷物画像を所定の形状に変形した画像を検索用画像として用いる。所定の形状は、例えば、正方形が挙げられる。なお、検索用画像は上記に限定されず、検索用画像生成部２３５は、印刷物画像をそのまま検索用画像として用いてもよく、印刷物画像のゆがみを解消した画像を検索用画像として用いてもよい。
【００２４】
座標変換部２４０は、撮像画像の座標系における印刷物１３０〜１３３の頂点座標（座標値）を、投影画像の座標系における座標値に変換する機能部である。座標変換部２４０は、射影変換関数生成部２２５によって生成された射影変換関数を用いて上記変換を行う。
【００２５】
画像検索部２５０は、印刷物に対応する画像を検索（取得）する機能部である。本実施形態では、検索対象の画像データ（投影対象画像）は、後述する記憶部２５５にあらかじめ格納されている。画像検索部２５０は、上記の検索対象の画像データのうち、印刷物画像に一致または類似する投影対象画像を検索する。画像検索処理の詳細は後述する。
【００２６】
記憶部２５５は、上述の画像検索処理における検索対象の画像データ（投影対象画像）が複数格納（保持）される記憶媒体である。また、本実施形態では、投影対象画像を上述の正方形（所定の形状）に変形した画像である複数の被検索用画像が当該複数の投影対象画像と一対一に関連付けられて記憶部２５５に格納される。本実施形態では、被検索用画像は、検索用画像と同様に後述のハッシュ化処理を行った画像である。なお、本実施形態では、投影対象画像の形状やサイズについては特に限定されず、複数の投影対象画像のそれぞれが異なる形状やサイズであってもよい。なお、記憶部２５５として、外部の記憶装置（記憶サーバ）が用いられてもよい。
【００２７】
描画情報生成部２６０は、投影画像の座標系における投影対象画像（描画情報）を生成する機能部である。描画情報生成部２６０は、座標変換部２４０によって得られた投影画像の座標系における座標値に基づいて投影対象画像を変形することで、印刷物に対応する描画情報を生成する。印刷物が複数ある場合は、描画情報生成部２６０は、印刷物にそれぞれ対応する描画情報を生成する。
【００２８】
投影画像生成部２７０は、描画情報生成部２６０によって生成された描画情報に基づいて、投影画像データを生成する機能部である。
【００２９】
投影部２８０は、投影画像生成部２７０によって生成された投影画像を投影面１００に対して投影する。
【００３０】
本実施形態では、投影装置１１０に制御部２９０が設けられており、制御部２９０によって上述の各機能部の動作が制御される。例えば、制御部２９０は、ボタン等の操作部２９５によって生成された操作信号に従って、上述の各機能部の動作を制御する。なお、上述した各機能部は、投影装置１１０に配置してあるが、特に配置される場所に制限はない。
【００３１】
≪撮像装置１２０≫
撮像装置１２０は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む
情報処理装置（コンピュータ）でもある。記憶装置に格納されたプログラムを撮像装置１２０が実行することで、撮像装置１２０の後述する機能が提供される。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。
【００３２】
画像撮像部２００は、投影面１００を撮像する機能部である。画像撮像部２００は、投影面１００における撮像範囲１５０を撮像し、得られた画像データを投影装置１１０に出力する。
【００３３】
なお、本実施形態では、投影装置１１０と撮像装置１２０とは別体である例について説明するが、投影装置１１０と撮像装置１２０が同一の機器に搭載されていてもよい。また、画像撮像部２００は、投影装置１１０の１つの機能部として上記の撮像処理を行ってもよい。
【００３４】
＜処理内容＞
図３Ａ〜図３Ｅは、本実施形態に係る画像投影システムの処理を示すフローチャートである。以下、図３Ａ〜図３Ｅを参照しながら、本実施形態に係る画像投影システムの投影処理について説明する。
【００３５】
図３Ａは、本実施形態に係る画像投影処理を示すフローチャートである。図３Ａに示す処理は、投影装置１１０が起動され初期設定が完了すると開始される。
【００３６】
Ｓ３０１で、画像取得部２１０は、撮像装置１２０によって撮像された投影面１００の撮像画像データを取得する。
【００３７】
Ｓ３０２で、投影領域検出部２２０は、撮像範囲１５０に含まれる投影装置１１０の投影領域（投影範囲１４０）を検出する（投影領域検出処理）。具体的には、投影領域検出部２２０は、投影領域の頂点の座標を検出する。投影領域検出処理の詳細は後述する。なお、本実施形態では、撮像範囲１５０に投影範囲１４０がすべて含まれる例について説明するが、撮像範囲１５０と投影範囲１４０との大小関係は特に限定されない。例えば、撮像範囲１５０に投影範囲１４０すべてが含まれない場合は、複数の撮像画像データによって上記の投影領域を検出してもよい。
【００３８】
Ｓ３０３で、射影変換関数生成部２２５は、Ｓ３０２で検出された投影領域の頂点の座標に基づいて、撮像画像（投影面）における投影画像のゆがみを解消する射影変換関数を生成する。射影変換については、後述する。
【００３９】
Ｓ３０４で、印刷物検出部２３０は、撮像画像データにおける印刷物の領域を検出する（印刷物検出処理）。具体的には、印刷物検出部２３０は、印刷物領域の頂点座標を検出する。なお、印刷物が複数存在する場合は、印刷物検出部２３０は、すべての印刷物領域の頂点座標を検出する。印刷物検出処理の詳細は後述する。
【００４０】
Ｓ３０５で、検索用画像生成部２３５は、撮像画像データにおける印刷物領域に対応する検索用画像を生成する。本実施形態では、検索用画像生成部２３５は、印刷物画像に対応する投影対象画像を検索するための検索用画像を生成する。本実施形態では、印刷物画像をそのまま検索画像として用いるのではなく、当該印刷物画像を変形して、所定の形状の画像を生成する。所定の形状は、例えば、所定のサイズ（画素数）Ｎを用いて得られる正方形（水平方向Ｎ×垂直方向Ｎ）の画像とすることができる。なお、検索用画像および被検索用画像の形状やサイズは特に限定されず、それぞれ異なっていてもよい。なお、印刷物が複数存在する場合は、検索用画像生成部２３５は、すべての印刷物領域に対応する検索用画像を生成する。
【００４１】
上述の通り、検索用画像および被検索用画像を正方形とすることで、検索処理において検索用画像または被検索用画像のいずれか一方が回転や反転している状態でも、容易に比較することができるため投影対象画像の検索を効率よく行うことができる。また、回転や反転した印刷物画像についても容易に投影対象画像を検索することができる。この場合には、投影対象画像も同様に回転や反転して利用すればよい。なお、投影画像に投影対象画像を描画する前に、所定の色のラスタ画像や所定の画像を投影画像に描画しても良い。
【００４２】
なお、本実施形態では、印刷物画像および投影対象画像を所定の形状の画像に変換して得られた画像を検索用画像および被検索用画像として用いている。そのため、記憶部２５５には、投影対象画像と、投影対象画像に関連付けられた所定の形状の被検索用画像とが格納される。なお、印刷物画像および投影対象画像のみに基づいて検索を行ってもよく、この場合は、記憶部２５５に複数の投影対象画像のみ記憶されていればよい。
【００４３】
Ｓ３０６で、座標変換部２４０は、投影面１００における投影画像のゆがみを解消する関数を用いて、撮像画像における印刷物に対応する、投影画像におけるエリアを求める。具体的には、撮像画像の座標系における印刷物の頂点座標を、投影画像の座標系における頂点座標に変換する。座標の変換（投影画像のゆがみを解消する関数）には、射影変換関数生成部２２５によって生成された射影変換関数を用いる。なお、印刷物が複数存在する場合は、座標変換部２４０は、すべての印刷物における頂点座標を変換する。
【００４４】
Ｓ３０７で、画像検索部２５０は、検索用画像と被検索用画像とに基づいて、被検索用画像のうち類似度が所定値以上の画像を取得（検索）する（画像検索処理）。なお、印刷物が複数存在する場合は、画像検索部２５０は、複数の印刷物に対応する複数の検索用画像に対してそれぞれ類似度が所定値以上の画像を取得する。画像検索処理の詳細は後述する。
【００４５】
Ｓ３０８で、制御部２９０は、Ｓ３０７において画像が取得されたか否かを判断する。取得された場合はＳ３０９へ進み、そうでない場合はＳ３１０へ進む。
【００４６】
Ｓ３０９で、描画情報生成部２６０は、印刷物領域に対して投影を行う画像（描画情報）を生成する。具体的には、描画情報生成部２６０は、座標変換部２４０によって変換された印刷物領域の頂点座標に基づいて、投影対象画像を上記のエリアに対応するように変形して得られる画像を生成する。なお、印刷物のダイナミックレンジを拡げるため、１つの投影対象画像内において、当該投影対象画像の部分ごとに輝度や色を変更してもよい。
【００４７】
Ｓ３１０で、描画情報生成部２６０は、座標変換部２４０によって変換された印刷物領域の頂点座標に基づいて、代替用の画像を変形して得られる画像（描画情報）を生成する。代替用の画像は特に限定されないが、例えば、明度が７５％である灰色のラスタ画像が挙げられる。
【００４８】
Ｓ３１１で、投影画像生成部２７０は、描画情報生成部２６０によって生成された描画情報に基づいて投影画像を生成する。印刷物が複数存在する場合は、投影画像生成部２７０は、前述の描画情報に基づいて複数の印刷物に対してそれぞれ投影する複数の画像を含む投影画像を生成する。なお、投影面にける印刷物以外の領域に対して投影する画像は特に限定されないが、例えば、黒色のラスタ画像を投影してもよく、また画像を投影しなくてもよい。
【００４９】
Ｓ３１２で、画像投影部２８０は、投影面１００の印刷物領域に対して画像を投影する。ここで、Ｓ３０７において被検索用画像のうち類似度が所定値以上である画像が取得さ
れた印刷物に対しては、その印刷物に対応した投影対象画像が投影される。また、類似度が所定値以上である画像が取得されない印刷物に対しては、例えば、灰色のラスタ画像が投影される。
【００５０】
≪投影領域検出処理≫
図３Ｂは、本実施形態における投影領域検出処理（図３ＡのＳ３０２）のフローチャートである。
【００５１】
Ｓ３２１で、画像投影部２８０は、投影画像生成部２７０によって生成された黒色のラスタ画像を投影する。Ｓ３２２で、制御部２９０は、上記黒色のラスタ画像を撮像して得られる第１の撮像画像データを取得する。
【００５２】
Ｓ３２３で、制御部２９０は、投影画像生成部２７０によって生成された白色のラスタ画像を投影する。Ｓ３２４で、制御部２９０は、上記白色のラスタ画像を撮像して得られる第２の撮像画像データを取得する。
【００５３】
Ｓ３２５で、制御部２９０は、第１の撮像画像データと第２の撮像画像データとの差分に基づいて投影領域を検出する。
【００５４】
このようにして、制御部２９０は、黒色のラスタ画像と白色のラスタ画像を投影したときの撮像画像の差分から投影領域を検出する。具体的には、制御部２９０は、投影領域の頂点の座標を検出する。
【００５５】
≪印刷物検出処理≫
図３Ｃは、本実施形態における印刷物検索処理（図３ＡのＳ３０４）のフローチャートである。
【００５６】
Ｓ３３１で、画像投影部２８０は、投影画像生成部２７０によって生成された白色のラスタ画像を投影する。Ｓ３３２で、制御部２９０は、上記白色のラスタ画像を撮像して得られる撮像画像データを取得する。
【００５７】
Ｓ３３３で、制御部２９０は、撮像画像データを無彩色（グレースケール）の画像データに変換する。Ｓ３３４で、制御部２９０は、上記無彩色の画像データにおける全画素の平均値を算出する。
【００５８】
Ｓ３３５で、制御部２９０は、印刷物検出部２３０を制御して、上記無彩色の画像データの各画素値と上記の平均値とを比較した結果に基づいて２値化した画像を生成する。例えば、２値化は画素値が平均値以上であれば１、画素値が平均値未満であれば０とすることができる。
【００５９】
Ｓ３３６では、制御部２９０は、印刷物検出部２３０を制御して、２値化画像から１つまたは複数の四角形の領域を印刷物領域として検出する。
【００６０】
このようにして、制御部２９０は、白色のラスタ画像を投影したときの撮像画像データから印刷物の領域を検出して、投影画像における１つまたは複数の印刷物領域の頂点座標を検出する。
【００６１】
≪画像検索処理≫
図３Ｄは、本実施形態における画像検索処理（図３ＡのＳ３０７）のフローチャートである。
【００６２】
Ｓ３４１で、制御部２９０は、検索用画像データをハッシュ化する（ハッシュ化処理）。なお、ハッシュ化処理については、後述する。
【００６３】
Ｓ３４２で、制御部２９０は、検索用画像と被検索用画像との類似度（検索用画像と被検索用画像との一致の度合）を算出する。類似度の算出方法は、特に限定されず種々の方法を用いることができる。例えば、ヒストグラム比較、特徴点マッチング、テンプレートマッチング等の既存の手法を適用することができる。また、人工知能アルゴリズムを用いて類似度を算出してもよい。
【００６４】
Ｓ３４３で、制御部２９０は、Ｓ３４２の処理において類似度が所定値以上である画素が存在するか否かを判断する。存在する場合はＳ３４４に進み、存在しない場合は本処理を終了する。なお、存在しない場合は、類似する画像データなしとして検索結果を返す。
【００６５】
Ｓ３４４で、制御部２９０は、類似度が所定値以上である被検索用画像データを投影対象の画像データ（投影対象画像）として取得する。また、類似度が所定値以上である被検索用画像データが複数ある場合は、その中から最も類似度が高い画像データを投影対象の画像データとして取得する。このようにして、印刷物に対応する検索用画像データに対してそれぞれ検索処理を行う。なお、類似度が所定値以上である被検索用画像データが複数ある場合に取得される画像データは、類似度が最も高い画像データに限定されず、例えば、複数の被検索用画像データのうち最初に取得した画像データを投影対象の画像データとして取得してもよい。
【００６６】
≪ハッシュ化処理≫
図３Ｅは、本実施形態におけるハッシュ化処理（図３ＤのＳ３４１）のフローチャートである。また、図４Ａはハッシュ化処理前、図４Ｂはハッシュ化処理後における画像の一例を示す。なお。画像のハッシュ化は、様々な大きさの画像に対する類似度の判定を容易にするために行われる。
【００６７】
Ｓ３５１で、制御部２９０は、撮像画像データを無彩色（グレースケール）の画像データに変換する。Ｓ３５２で、制御部２９０は、無彩色の画像データを画素数Ｎ×Ｎの画像データに変形する。図４Ａは、ハッシュ化処理を行う前における元画像の例を示す。なお、上述の検索用画像を生成する処理（Ｓ３０５）において、画素数Ｎ×Ｎの画像データに変形済の場合は、本処理を省略してもよい。
【００６８】
Ｓ３５３で、制御部２９０は、無彩色の画像データにおける全画素の平均値を算出する。Ｓ３５４で、制御部２９０は、無彩色の画像データにおける各画素と上記の平均値とを比較した結果に基づいて２値化した画像を生成する。例えば、２値化は画素値が平均値以上であれば１、画素値が平均値未満であれば０とすることができる。図４Ｂは、２値化された画像の例を示す図である。図４Ｂの例では、２値化後の画素値が１の場合は黒、２値化後の画素値が０の場合は白で示されている。このようにして、様々な大きさの画像に対して、一定の大きさの画像を得ることでハッシュ化を行う。
【００６９】
＜撮像画像と投影画像の関係＞
本実施形態における撮像画像と投影画像の関係について説明する。図５は、撮像画像と投影画像の関係を説明するための図である。
【００７０】
撮像画像５１０は、画像取得部２１０によって取得された画像であって、投影面１００における撮像範囲１５０を撮像した画像である。画像５１２Ａ〜画像５１２Ｄは、それぞれ撮像画像５１０における印刷物領域に対応する画像である。
【００７１】
投影画像５２０は、画像投影部２８０によって投影された投影画像であって、投影面１００における投影範囲１４０に投影された画像である。投影範囲５２１は、投影装置１１０によって投影される範囲である。画像５２２Ａ〜画像５２２Ｄは、それぞれ投影画像５２０における印刷物領域に対応する画像である。
【００７２】
検索用画像５３０は、画像５１２Ａを正方形に変形した検索用画像である。被検索用画像５４０Ａは、複数の投影対象画像を正方形に変形して得られた複数の被検索用画像のうち、投影対象画像５５０Ａに関連付けられた画像である。また、図５の例では、被検索用画像５４０Ａは、検索用画像５３０と一致または類似する（すなわち、類似度が所定値以上）画像である。投影対象画像５５０Ａは、被検索用画像５４０Ａに関連付けられた画像であって、印刷物に対して投影を行うための画像である。複数の被検索用画像に対してそれぞれ関連付けられた複数の投影対象画像が用意されている。
【００７３】
なお、画像５１２Ａについて説明したが、撮像画像５１０に含まれる画像５１２Ａ〜画像５１２Ｄに対しても同様に投影対象画像の検索が行われる。また、画像５１２Ａ〜画像５１２Ｄにそれぞれ対応する複数の投影対象画像を含む投影画像が対象物に対して投影される。また、本実施形態では、上述の通り、検索用画像および被検索用画像は、それぞれ印刷物画像および投影対象画像がハッシュ化された画像である。なお、検索用画像および被検索用画像は、ハッシュ化を行わずに、印刷物画像および投影対象画像を所定のサイズの正方形にした画像であってもよい。
【００７４】
以下、印刷物領域における撮像画像の例として、画像５１２Ａと印刷物領域への投影画像である画像５２２Ａの関係について説明する。まず、撮像画像５１０の座標系における画像５１２Ａの頂点の座標値と検索用画像５３０の座標系における頂点の座標値とに基づいて射影変換関数（射影変換Ａの関数）が求まる。そして、射影変換Ａの関数によって画像５１２Ａを変形して検索用画像５３０が生成される。
【００７５】
次に、撮像画像５１０の座標系における投影範囲１４０の頂点の座標値と投影画像５２０の座標系における投影範囲５２１の頂点の座標値とに基づいて射影変換関数（射影変換Ｂの関数）が求まる。そして、射影変換Ｂの関数によって、撮像画像５１０の座標系における画像５１２Ａの頂点の座標値が、投影画像５２０の座標系における投影画像５２２Ａの頂点の座標値に変換される。
【００７６】
そして、検索用画像５３０と、複数の被検索用画像５４０とを比較して、最も検索用画像５３０との類似度が高い被検索用画像５４０Ａを検索して、その被検索用画像５４０Ａと関連付けられている投影対象画像５５０Ａを取得する。
【００７７】
さらに、投影対象画像５５０の座標系における頂点の座標値と投影画像５２０の座標系における投影画像５２２Ａの頂点の座標値とに基づいて射影変換関数（射影変換Ｃの関数）が求まる。そして、射影変換Ｃの関数によって、投影対象画像５５０Ａを変形することにより投影画像５２２Ａが生成される。
【００７８】
このようにして、印刷物の画像５１２の一部である画像５１２Ａに対応した印刷物への投影画像５２２の一部である投影画像５２２Ａが描画される。そして、印刷物の撮像画像である画像５１２Ａ〜画像５１２Ｄのすべてについて、同様の処理を行うことで、印刷物への投影画像である画像５２２Ａ〜画像５２２Ｄのすべてについて、対応した投影対象画像が描画される。
【００７９】
＜射影変換＞
上述の実施形態で行った射影変換について説明する。撮像画像の座標値を（Ｕ，Ｖ）、投影画像の座標値を（Ｘ，Ｙ）とすると、投影画像のある点に対応する撮像画像のある点は以下の式（１）によって表される。
【数１】
2020064188.tif 000003
ここで、Ｈは変換行列（射影変換関数）であって、以下の式（２）で表される。
【数２】
2020064188.tif 000004
例えば、０≦Ｘ≦１、０≦Ｙ≦１、０≦Ｕ≦１、０≦Ｖ≦１のとき、撮像画像における４つの頂点座標と、撮像画像内の投影範囲における４つの頂点に基づいて変換行列Ｈが求まる。ここで、撮像画像における４つの頂点座標は、例えば、（０，０）、（１，０）、（１，１）、（０，１）である。そして、撮像画像内の投影範囲における４つの頂点はＰ１＝（Ｕ１，Ｖ１）、Ｐ２＝（Ｕ２，Ｖ２）、Ｐ３＝（Ｕ３，Ｖ３）、Ｐ４＝（Ｕ４，Ｖ４）とすると、それぞれの値を式（１）に代入して連立方程式を解くことで、変換行列Ｈが求まる。なお、撮像画像のある点に対応する投影画像の点は、Ｈの逆行列である変換行列ＤＨを用いて以下の式（３）により求められる。
【数３】
2020064188.tif 000005
【００８０】
＜本実施形態の有利な効果＞
本実施形態によれば、投影対象の印刷物が複数ある場合であっても、ダイナミックレンジを容易に向上させることができる。また、それぞれの印刷物に対応する投影画像を自動で検索するため、画像の対応付けをユーザが行わなくてよい。そこで、投影対象が複数ある場合でもダイナミックレンジを容易に向上させることができる
【００８１】
（変形例）
上述の実施形態では、投影装置と撮像装置とを用いる例について説明したが、投影装置単体で撮像および投影処理を行ってもよい。また、投影装置とは、別体の制御装置を用いて上記の処理を行ってもよい。
【００８２】
上述の実施形態では、印刷物が複数存在する例について説明したが、印刷物が１つの場合でも同様に適用することができる。また、投影領域の検出等の処理は、例えば、プロジェクタの設置時に行い、投影処理毎に行わなくてもよい。
【００８３】
上述の実施形態では、Ｓ３０７等の画像検索処理において、類似度が所定値以上の画像が取得されない場合代替用の画像を投影したがこの場合の投影画像は特に限定されない。例えば、撮像画像における印刷物画像に基づいて投影対象画像を生成してもよい。また、この場合、撮像画像における印刷物画像と投影対象画像とを関連付けて記憶部に格納してもよい。
【００８４】
（その他）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１１０：投影装置        ２１０：画像取得部        ２３０：印刷物検出部
２５０：画像検索部      ２８０：画像投影部
【図１】
2020064188.tif 000006
【図２】
2020064188.tif 000007
【図３Ａ】
2020064188.tif 000008
【図３Ｂ】
2020064188.tif 000009
【図３Ｃ】
2020064188.tif 000010
【図３Ｄ】
2020064188.tif 000011
【図３Ｅ】
2020064188.tif 000012
【図４】
2020064188.tif 000013
【図５】
2020064188.tif 000014