(57)【要約】【課題】  意図する投影状態を容易に再現する。【解決手段】  複数の投影装置を使用して投影した画像の投影状態を取得する。取得する第１投影状態とは、その使用する投影装置の数が異なる第２投影状態で画像を投影する場合において、第１投影状態に基づいて、第２投影状態で投影する画像を補正する補正パラメータを算出する。算出した補正パラメータを、第２投影状態で投影する画像に反映する。【選択図】  図１２
2016038553.tif 000002
【特許請求の範囲】
【請求項１】
投影装置を使用して画像を投影するシステムであって、
複数の投影装置を使用して投影した画像の投影状態を取得する取得手段と、
前記取得手段で取得する第１投影状態とは、その使用する投影装置の数が異なる第２投影状態で画像を投影する場合において、前記第１投影状態に基づいて、前記第２投影状態で投影する画像を補正する補正パラメータを算出する算出手段と、
前記算出手段で算出した補正パラメータを、前記第２投影状態で投影する画像に反映する反映手段と
を備えることを特徴とするシステム。
【請求項２】
前記取得手段は、前記第１投影状態として、該第１投影状態で使用する複数の投影装置で画像を投影した投影面に関する第１投影面情報を取得し、前記第２投影状態として、該第２投影状態で使用する複数の投影装置で画像を投影した投影面に関する第２投影面情報を取得し、
当該システムは、更に、
前記取得手段が取得した前記第１投影面情報に基づいて、前記第１投影状態で使用する複数の投影装置で投影する画像の投影領域に関する第１投影領域情報を抽出する第１抽出手段と、
前記第２投影状態で使用する複数の投影装置それぞれが分担して画像を投影する分担領域を指定する指定手段と、
前記指定手段で指定した分担領域に基づいて、前記第１抽出手段で抽出した第１投影領域情報を分割する分割手段と、
前記取得手段が取得した前記第２投影面情報に基づいて、前記第２投影状態で使用する複数の投影装置それぞれで画像を投影する投影領域に関する第２投影領域情報を抽出する第２抽出手段とを備え、
前記算出手段は、前記分割手段で分割した前記第１投影領域情報と、前記第２抽出手段で抽出した前記第２投影領域情報とを用いて、前記補正パラメータを算出する
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記分割手段は、前記第１投影領域情報と前記分担領域に基づいて、該第１投影領域情報で示される特徴点を内挿演算によって、該第１投影領域情報を分割する
ことを特徴とする請求項２に記載のシステム。
【請求項４】
前記分割手段は、前記第１投影領域情報と前記分担領域に基づいて、予め決められたブロック単位で分割した該第１投影領域情報で示される特徴点を選択することによって、該第１投影領域情報を分割する
ことを特徴とする請求項２に記載のシステム。
【請求項５】
前記取得手段は、記憶部から前記第１投影面情報を取得し、
前記記憶部は、前記複数の投影装置と接続する外部装置、あるいは前記複数の投影装置の任意の投影装置に設けられている
ことを特徴とする請求項１乃至４のいずれか１項に記載のシステム。
【請求項６】
前記取得手段は、更に、前記第１投影状態で使用する投影装置それぞれによる画像の投影を停止した状態での投影面の状態を基礎投影面情報として取得し、
前記第２抽出手段は、前記基礎投影面情報と前記第２投影面情報に基づいて、前記第２投影領域情報を抽出する
ことを特徴とする請求項２乃至５のいずれか１項に記載のシステム。
【請求項７】
前記取得手段は、前記複数の投影装置の内の少なくとも１つの投影装置が備え、
前記算出手段と前記反映手段は、前記複数の投影装置のそれぞれの投影装置が備える
ことを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
【請求項８】
投影装置による画像の投影を制御する制御装置であって、
複数の投影装置を使用して投影した画像の投影状態を取得する取得手段と、
前記取得手段で取得する第１投影状態とは、その使用する投影装置の数が異なる第２投影状態で画像を投影する場合において、前記第１投影状態に基づいて、前記第２投影状態で投影する画像を補正する補正パラメータを算出する算出手段と、
前記算出手段で算出した補正パラメータを、前記第２投影状態で投影する画像に反映する反映手段と
を備えることを特徴とする制御装置。
【請求項９】
前記取得手段は、前記第１投影状態として、該第１投影状態で使用する複数の投影装置で画像を投影した投影面に関する第１投影面情報を取得し、前記第２投影状態として、該第２投影状態で使用する複数の投影装置で画像を投影した投影面に関する第２投影面情報を取得し、
当該制御装置は、更に、
前記取得手段が取得した前記第１投影面情報に基づいて、前記第１投影状態で使用する複数の投影装置で投影する画像の投影領域に関する第１投影領域情報を抽出する第１抽出手段と、
前記第２投影状態で使用する複数の投影装置それぞれが分担して画像を投影する分担領域を指定する指定手段と、
前記指定手段で指定した分担領域に基づいて、前記第１抽出手段で抽出した第１投影領域情報を分割する分割手段と、
前記取得手段が取得した前記第２投影面情報に基づいて、前記第２投影状態で使用する複数の投影装置それぞれで画像を投影する投影領域に関する第２投影領域情報を抽出する第２抽出手段とを備え、
前記算出手段は、前記分割手段で分割した前記第１投影領域情報と、前記第２抽出手段で抽出した前記第２投影領域情報とを用いて、前記補正パラメータを算出する
ことを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記分割手段は、前記第１投影領域情報と前記分担領域に基づいて、該第１投影領域情報で示される特徴点を内挿演算によって、該第１投影領域情報を分割する
ことを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記分割手段は、前記第１投影領域情報と前記分担領域に基づいて、予め決められたブロック単位で分割した該第１投影領域情報で示される特徴点を選択することによって、該第１投影領域情報を分割する
ことを特徴とする請求項９に記載の制御装置。
【請求項１２】
前記取得手段は、記憶部から前記第１投影面情報を取得し、
前記記憶部は、前記複数の投影装置と接続する外部装置、あるいは前記複数の投影装置の任意の投影装置に設けられている
ことを特徴とする請求項８乃至１１のいずれか１項に記載の制御装置。
【請求項１３】
前記取得手段は、更に、前記第１投影状態で使用する投影装置それぞれによる画像の投影を停止した状態での投影面の状態を基礎投影面情報として取得し、
前記第２抽出手段は、前記基礎投影面情報と前記第２投影面情報に基づいて、前記第２投影領域情報を抽出する
ことを特徴とする請求項９乃至１２のいずれか１項に記載の制御装置。
【請求項１４】
前記取得手段は、前記複数の投影装置の内の少なくとも１つの投影装置が備える
ことを特徴とする請求項８乃至１３のいずれか１項に記載の制御装置。
【請求項１５】
複数の投影装置から投影面に投影した画像の前記投影面における投影領域を示す情報を取得する取得手段と、
第１の数の投影装置から投影した第１の画像の投影面における第１の投影領域を示す第１の情報に基づいて、前記第１の数と異なる第２の数の投影装置を制御して、前記投影面における前記第１の投影領域に前記第１の画像を投影させる制御手段と
を備えることを特徴とする制御装置。
【請求項１６】
投影装置を使用して画像を投影する方法であって、
複数の投影装置を使用して投影した画像の投影状態を取得する取得工程と、
前記取得工程で取得する第１投影状態とは、その使用する投影装置の数が異なる第２投影状態で画像を投影する場合において、前記第１投影状態に基づいて、前記第２投影状態で投影する画像を補正する補正パラメータを算出する算出工程と、
前記算出工程で算出した補正パラメータを、前記第２投影状態で投影する画像に反映する反映工程と
を備えることを特徴とする方法。
【請求項１７】
コンピュータを、請求項１乃至７のいずれか１項に記載のシステムの各手段として機能させるための、または請求項８乃至１５のいずれか１項に記載のシステムの各手段として機能させるための、または請求項１６に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置を使用して画像を投影する技術に関するものである。
【背景技術】
【０００２】
近年、プロジェクタの高精細化・高輝度化が進み、その用途が多様になっている。例えば、建物の壁面や物体等の形状に合わせて、プロジェクタから画像を投影するプロジェクションマッピングでは、比較的遠い投影面に対して投影位置の精度を高くして投影することが求められる。また、複数台のプロジェクタを連携させ継ぎ目のない画像を投影するマルチプロジェクションシステムにおいても、画像が近接もしくは重なる領域のずれやぼけを防ぐために、投影位置の精度が求められる。
【０００３】
一方、プロジェクタの小型化・軽量化に伴い可搬性が向上した結果、利用時のみプロジェクタを設置する形態が増加している。プロジェクションマッピングのように、従来は、一度設置した後はプロジェクタを移動させなかったユースケースにおいても、例えば、週末のみプロジェクタを設置し投影する等の形態が予想される。
【０００４】
プロジェクタの投影領域の位置合わせは煩わしい。特に、投影面が遠い場合は、プロジェクタ設置位置の微小な変化が投影面上の投影位置や投影形状に大きく影響する。そのため、プロジェクタを設置する度に位置合わせに多大な時間を要する。また、通常の会議室での投影においても位置合わせは煩わしく、プロジェクタの設置時間を少しでも短縮したいという要求がある。
【０００５】
このような要求に対して、スクリーン上のマーカと、プロジェクタから発するレーザポインタの輝点の位置を確認しながら設置位置を自動的に調整する方法がある（特許文献１）。
【０００６】
ここで、任意の投影面に対する投影が初めての場合は、投影状態の１つとして、ユーザが希望する投影位置や投影領域の大きさを推測することは難しい。しかしながら、過去に投影したことのある投影面であれば、例えば、前回の投影状態と同一の投影状態を希望しているという推測が可能となる。この推測をもとに過去の投影状態を自動的に再現することができれば、ユーザは同一投影面に対する２回目以降の投影時の設置が容易となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３２７０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来では、プロジェクタ単位で、過去の投影状態と現在の投影状態とから投影補正パラメータを算出する。しかしながら、マルチプロジェクションシステムでは、過去の投影と現在の投影で使用するプロジェクタの数が異なる場合、プロジェクタ単位での投影補正パラメータの算出だけでは、過去の投影を再現することができない。
【０００９】
本発明は上記の課題を解決するためになされたものであり、意図する投影状態を容易に再現することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明によるシステムは以下の構成を備える。即ち、
投影装置を使用して画像を投影するシステムであって、
複数の投影装置を使用して投影した画像の投影状態を取得する取得手段と、
前記取得手段で取得する第１投影状態とは、その使用する投影装置の数が異なる第２投影状態で画像を投影する場合において、前記第１投影状態に基づいて、前記第２投影状態で投影する画像を補正する補正パラメータを算出する算出手段と、
前記算出手段で算出した補正パラメータを、前記第２投影状態で投影する画像に反映する反映手段と
を備える。
【発明の効果】
【００１１】
本発明によれば、意図する投影状態を容易に再現することができる。
【図面の簡単な説明】
【００１２】
【図１】プロジェクタ投影システムの一例を表す図である。
【図２】プロジェクタ投影システムの機能構成を示すブロック図である。
【図３】第１投影領域情報を抽出する処理を表すフローチャートである。
【図４】第１投影状態の一例を表す図である。
【図５】投影を停止した状態の一例を表す図である。
【図６】壁面の特徴点群、及び投影領域の特徴点群を抽出する処理の詳細を表すフローチャートである。
【図７】第１投影面情報から特徴点を抽出した結果の一例を表す図である。
【図８】基礎投影面情報から特徴点を抽出した結果の一例を表す図である。
【図９】投影領域の特徴点群の抽出結果と、壁面の特徴点群の抽出結果の、出力方法の一例を表す図である。
【図１０】第２投影状態を取得し、プロジェクタの再設置支援を行う際の処理を表すフローチャートである。
【図１１】第２投影状態の一例を表す図である。
【図１２】複数のプロジェクタ投影における分担領域を表す図である。
【図１３】第１投影面情報を分割する処理の詳細を表すフローチャートである。
【図１４】分割後の投影領域の特徴点の一例を表す図である。
【図１５】分割後の投影領域情報の特徴点情報を表す図である。
【図１６】第２投影面情報を基礎投影面情報を用いて正規化し、正規化済第２投影面情報を生成する処理の詳細を表すフローチャートである。
【図１７】第２投影面情報における特徴点群の抽出結果の一例を表す図である。
【図１８】正規化済第２投影面情報の一例を表す図である。
【図１９】投影補正パラメータを算出する処理の詳細を表すフローチャートである。
【図２０】正規化済第２投影面情報における特徴点群の抽出結果の一例を表す図である。
【図２１】投影補正パラメータを反映した投影状態の一例を表す図である。
【図２２】プロジェクタ投影システムの構成を示すブロック図である。
【図２３】第１投影面情報を分割する処理の詳細を表すフローチャートである。
【図２４】投影領域情報を分割した投影領域の特徴点の一例を表す図である。
【図２５】分割後の投影領域情報の特徴点情報を表す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１４】
＜実施形態１＞
図１は複数のプロジェクタによるプロジェクタ投影システムを示す図である。
【００１５】
図１（ａ）は、９台のプロジェクタ１０１〜１０９を用いて、壁面１１０に一つの画像を投影する状態の模式図を表している。図１（ｂ）は、４台のプロジェクタ１１１〜１１４を用いて、壁面１１０に１つの画像を投影する状態の模式図を表している。本実施形態では、特に、図１（ａ）の第１投影状態から図１（ｂ）の第２投影状態、あるいは図１（ｂ）の第２投影状態から図１（ａ）の第１投影状態というように、過去（前回）の投影と現在（今回）の投影で使用するプロジェクタの数（解像度）が異なる場合を想定している。尚、この数は、複数に限定されず、例えば、第１投影状態で使用するプロジェクタの数が１台で、第２投影状態で使用するプロジェクタの数が複数である場合、その逆の場合も想定している。つまり、第１投影状態あるいは第２投影状態は、少なくとも１台のプロジェクタを使用して画像を投影する場合の投影状態を含む概念となっている。
【００１６】
図２はプロジェクタ投影システムの機能構成を示すブロック図である。図２では、投影装置として、２台のプロジェクタ１０１、１０２を示しているが、プロジェクタの数は、これに限定されるものではなく、１台以上のプロジェクタを用いてプロジェクタ投影システム（表示システム）を構築することが可能である。
【００１７】
２０１は投影部であり、プロジェクタ１０１に入力された任意の画像をプロジェクタ１０１前面のスクリーンや壁面等の投影面に投影する。
【００１８】
２０２は取得部であり、投影部２０１が投影する投影面の投影面情報を取得する。投影面情報の一例としては、投影画像及び画像を投影している壁面を撮影装置（カメラ）で撮影した画像が想定される。以下では、投影面情報として、撮影装置で撮影した画像を取得する場合を例に挙げて説明する。また、投影面情報を取得するするタイミングは、操作部２０９による操作によってユーザが指示しても良いし、投影開始後の一定時間経過後等、プロジェクタの状態遷移に連動して自動的に記憶しても良い。以下では、投影面情報を記憶するタイミングをユーザが指示するものとして説明を続ける。
【００１９】
２０３は抽出部であり、取得部２０２が取得する投影面情報より投影領域情報を抽出する。投影領域情報の一例としては、撮影装置で撮影した画像を画像解析することにより得られる特徴点群の位置情報、及び投影面情報が想定される。
【００２０】
２０４は第１出力部であり、抽出部２０３が抽出する投影領域情報を外部記憶部２１０に出力する。２０５は第１入力部であり、外部記憶部２１０に記憶される投影領域情報を入力する。２０６は分割部であり、複数のプロジェクタの投影における当該プロジェクタの分担領域に基づいて、第１入力部２０５より入力する投影領域の特徴点の分割と選択を行う。複数のプロジェクタの投影における当該プロジェクタの分担領域の指定は、例えば、操作部２０９により入力する。
【００２１】
２０７は算出部であり、抽出部２０３が抽出する投影領域情報と分割部２０６が分割する投影領域情報から、投影部２０１から投影する画像を補正するための投影補正パラメータを算出する。投影補正パラメータとしては、変形情報、表示位置情報、拡大・縮小情報、キーストーン補正情報等、プロジェクタの機能と連動する様々な形態の少なくとも１つが想定される。
【００２２】
２０８は反映部であり、算出部２０７が算出する投影補正パラメータを投影部２０１が投影する画像に反映する。反映形態としては、電気的な画像の変形・オフセット・拡大・縮小や光学補正等のプロジェクタの機能と連動する様々な形態が想定される。
【００２３】
２０９は操作部であり、操作者によって、取得部２０２での投影面情報の取得タイミングの指示と、複数のプロジェクタ投影における当該プロジェクタの分担領域の指定の入力を行う。このユーザ操作は、例えば、プロジェクタに備える入力部や、プロジェクタに付属のリモコンに備わるボタン等の入力部の操作によって受け付けるが、実施形態１ではこれらの入力部に限定されない。
【００２４】
２１０は外部記憶部であり、プロジェクタ１０１、１０２等のプロジェクタから出力される投影領域情報を入力、記憶するとともに、プロジェクタ１０１、１０２等のプロジェクタへ投影領域情報を出力する。外部記憶部２１０は、ネットワークに接続されたサーバ、クラウドサーバ等の外部装置（制御装置）や、ＵＳＢメモリ等の外部記憶装置で構成される。
【００２５】
２１１は第２入力部であり、プロジェクタ１０１、１０２等のプロジェクタからの投影情報を入力する。２１２は記憶部であり、第２入力部２１１より入力する投影情報を記憶する。２１３は第２出力部であり、記憶部２１２に記憶している投影情報を、プロジェクタ１０１、１０２等のプロジェクタに出力する。
【００２６】
２１４は制御部であり、プロジェクタ１０１、１０２等の複数のプロジェクタの動作を同期させて、複数のプロジェクタで１つの画像を投影するための処理を制御する。この制御部２１４は、外部記憶部２１０ではなく、複数のプロジェクタの内の１つのプロジェクタに実装して、そのプロジェクタと他のプロジェクタとの間で連携して、複数のプロジェクタで１つの画像を投影するための処理を制御するようにしても良い。
【００２７】
尚、図２では、プロジェクタ１０１の構成について説明しているが、プロジェクタ１０２〜１０９、１１１〜１１４も、プロジェクタ１０１と同様の構成を有するため、その説明は省略する。
【００２８】
また、情報処理装置の１つとして実現されるプロジェクタ投影システムを構成するプロジェクタ１０１及び１０２、外部記憶部２１０は、汎用コンピュータに搭載される標準的な構成要素を有している。この構成要素には、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等がある。そして、これらの構成要素によって、図２に示されるプロジェクタや外部記憶部の各種機能構成が実現される。これらの機能構成は、例えば、ＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現することもできる。
【００２９】
図３はプロジェクタ１０１での第１投影領域情報を抽出する処理を表すフローチャートである。本処理は、ユーザが任意の壁面に初めて投影する際の処理に関わる。以下では、図１（ａ）に示す第１投影状態において、本フローチャートに沿って、図４〜図５の具体例を交えながら説明を加える。また、このフローチャートによって示される処理は、プロジェクタ１０１に備わるＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現される。
【００３０】
Ｓ３０１で、プロジェクタ１０１〜１０９は、それぞれの投影部２０１によって、プロジェクタをユーザの希望する投影状態（投影位置（座標）、投影画像の大きさ）で画像を投影する。以下、これを第１投影状態とする。図４に第１投影状態の一例を表している。１１０はプロジェクタ１０１〜１０９によっての画像を投影する建物の壁面、４０１〜４０９は、それぞれプロジェクタ１０１〜１０９からの画像の投影領域を示す。ユーザは、プロジェクタ１０１〜１０９それぞれの操作部２０９を介して、各プロジェクタの設置位置の調整と、投影位置調整機能を用いながら投影領域４０１〜４０９の位置合わせを行う。その際、壁面１１０の形状や模様に対して投影領域４０１〜４０９の位置を調整し、ユーザの希望する（ユーザによって指定された）投影状態を実現する。
【００３１】
Ｓ３０２で、操作部２０９によって、ユーザの希望する投影状態で投影していることを通知するユーザ操作を受け付ける。
【００３２】
Ｓ３０３で、取得部２０２によって、投影部２０１が画像を投影した壁面を撮影することによって得られる画像を第１投影面情報として取得する。図４の例では、取得部２０２は、投影領域４０１〜４０９とその周辺の壁面１１０を含む領域４１０を撮影することによって得られる画像を第１投影面情報として取得する。第１投影面情報は、投影領域４０１〜４０９を合わせた画像の画像全体を１つの投影領域として捉えるため、複数のプロジェクタそれぞれのプロジェクタで共通に利用することが可能である。そのため、第１投影面情報の取得は、複数のプロジェクタの内の１台のプロジェクタで行えば良く、実施形態１では、プロジェクタ１０１が第１投影面情報を取得する。
【００３３】
Ｓ３０４で、取得部２０２によって、プロジェクタ１０１〜１０９からの画像の投影を一旦停止した状態で壁面（投影面）を再度撮影することによって得られる画像を基礎投影面情報として取得する。図５は投影を停止した状態の模式図を表している。プロジェクタ１０１〜１０９からの画像の投影を停止したことにより、投影先の壁面１１０のみが撮影される。この際に撮影される領域５０１は、Ｓ３０３で撮影した領域４１０と同一の領域を撮影する。但し、領域４１０と領域５０１がずれた場合にも、例えば、取得する第１投影面情報と基礎投影面情報を正規化する補正処理を実施することにより、以下の処理を継続することが可能である。基礎投影面情報の取得は、複数のプロジェクタの内の１台のプロジェクタで行えば良く、実施形態１では、プロジェクタ１０１が基礎投影面情報を取得する。
【００３４】
Ｓ３０５で、抽出部２０３によって、壁面の特徴点群及び投影領域の特徴点群を抽出する。この処理の詳細は図６を用いて後述する。
【００３５】
Ｓ３０６で、第１出力部２０４によって、壁面の特徴点群、投影領域の特徴点群（第１投影領域情報）、第１投影面情報及び基礎投影面情報を外部記憶部２１０へ出力する。
【００３６】
図６はプロジェクタ１０１での壁面の特徴点群及び投影領域の特徴点群を抽出する処理の詳細を表すフローチャートであり、これは図３のＳ３０５に対応する。以下では、本フローチャートに沿って、図７〜図９の具体例を交えながら説明を加える。
【００３７】
Ｓ６０１で、抽出部２０３によって、第１投影面情報、及び基礎投影面情報からノイズを除去する。本ステップは、以降のＳ６０２及びＳ６０３の処理精度を向上させるための前処理であり、第１投影面情報及び基礎投影面情報の撮影状態に合わせて省略可能である。
【００３８】
ノイズの除去アルゴリズムとしては、例えば、画像全域の各画素に対してメディアンフィルタを適用する方法が広く知られているが、これに限定されない。但し、続く、Ｓ６０２以降の処理の精度を向上させるために、画像中の濃淡の急激な変化点（以降、これをエッジと称す）が損なわれないアルゴリズムを選択することができる。また、第１投影面情報及び基礎投影面情報に対して同一のアルゴリズムを適用することができる。尚、メディアンフィルタは、ある画像領域内の画素値の中央値を出力とするフィルタであり、エッジを損なわずにノイズを除去する効果がある。
【００３９】
Ｓ６０２で、抽出部２０３によって、第１投影面情報から複数の特徴点（Ａ群）を抽出する。特徴点の抽出アルゴリズムとしては、画像全域の各画素に対してラプラシアンフィルタを適用してエッジを強調する方法、ＫＬＴ法等が広く知られているが、これに限定されない。尚、（式１）にラプラシアンフィルタの一例を示す。
【００４０】
【数１】
2016038553.tif 000003
【００４１】
図７に、第１投影面情報から特徴点を抽出した結果の一例を示す。この第１投影面情報はＳ３０３で取得されたものであり、図４で示す領域４１０に相当する。図中、壁面７０２上の投影領域７０１に対して、これらを取り囲むように特徴点７０３〜７２８が抽出されている。
【００４２】
Ｓ６０３で、抽出部２０３によって、基礎投影面情報から複数の特徴点（Ｂ群）を抽出する。ここで利用する抽出アルゴリズム及びパラメータは、Ｓ６０２で第１投影面情報に適用したものと同一とする。図８に、基礎投影面情報から特徴点を抽出した結果の一例を示す。この基礎投影面情報はＳ３０４で取得されたものであり、図５で示す領域５０１に相当する。図中、壁面８００に対して、特徴点８０２〜８３８が抽出されている。
【００４３】
Ｓ６０４で、抽出部２０３によって、特徴点（Ａ群）と特徴点（Ｂ群）を比較し、投影領域の特徴点群を抽出する。より具体的には、特徴点（Ｂ群）には存在しない特徴点を特徴点（Ａ群）から抜き出し、投影領域に対して推定される輪郭を当てはめることにより、投影領域の特徴点群を抽出する。図７及び図８の例では、投影領域７０１に対する特徴点７０３〜７０６が抽出される。
【００４４】
図９は、Ｓ６０４により抽出した投影領域の特徴点群の抽出結果と、Ｓ６０３により抽出した壁面の特徴点群の抽出結果の、第１出力部２０４からの出力方法の一例を表している。表９００は抽出された投影領域の特徴点の数だけ要素を有し、第１投影面情報によって規定される領域の左上を基点とする各特徴点の位置情報である座標（ｘ：ｙ）を保持する。例えば、９０１は、図７の投影領域７０１の特徴点７０３に対応する。また、表９１０は抽出された壁面の特徴点の数だけ要素を有し、基礎投影面情報によって規定される領域の左上を基点とする各特徴点の座標（ｘ：ｙ）を保持する。例えば、９１１は、図８の壁面８００の特徴点８０２に対応する。
【００４５】
図１０は第２投影状態を取得し、プロジェクタの再設置支援を行う際の処理を表すフローチャートである。本処理は、ユーザが過去に投影したことがある壁面に、再度、投影する際の処理に関わる。つまり、例えば、図１（ａ）に示す第１投影状態（投影装置の台数、投影位置や投影領域の大きさ、第１投影面情報及び第１投影領域情報を含む）を記憶した後にプロジェクタを一旦撤収し、その後、図１（ｂ）に示す第２投影状態で投影する際の処理に相当する。以下では、プロジェクタ１１１の処理について、本フローチャートに沿って、図１１〜図１２の具体例を交えながら説明を加える。また、このフローチャートによって示される処理は、プロジェクタ１１１に備わるＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現される。
【００４６】
Ｓ１００１で、プロジェクタを再設置した後に、それぞれのプロジェクタにおいて、取得部２０２によって、投影部２０１が投影した壁面を撮影することによって得られる画像を第２投影面情報として取得する。図１１の例では、取得部２０２は、投影領域１１０１と壁面１１０を含む領域１１０２を撮影することによって得られる画像を第２投影面情報として取得する。以下、これを第２投影状態とする。
【００４７】
Ｓ１００２で、操作部２０９によって、複数のプロジェクタを再設置後に、複数のプロジェクタによる投影を行う配列（例えば２×２）と、当該プロジェクタが、どの投影領域（投影個所）を担当するかを示す分担領域（例えば、２×２の配列の左上）を指定する。本例では、分担領域を示す分担領域情報として、図１２に示すように、（分担領域の横の要素位置／配列の横の要素数，分担領域の縦の要素位置／配列の縦の要素数）で表している。例えば、２×２の配列状の左上は（１／２，１／２）、その右は（２／２，１／２）と表している。
【００４８】
Ｓ１００３で、第１入力部２０５によって、外部記憶部２１０に記憶している第１投影面情報と基礎投影面情報を入力する。
【００４９】
Ｓ１００４で、分割部２０６によって、第１投影面情報を分割する。この処理の詳細は図１３を用いて後述する。Ｓ１００５で、抽出部２０３によって、第２投影面情報を、基礎投影面情報を用いて正規化し、正規化済第２投影面情報を生成する。この処理の詳細は図１６を用いて後述する。Ｓ１００６で、算出部２０７によって、投影補正パラメータを算出する。この処理の詳細は図１６を用いて後述する。
【００５０】
Ｓ１００７で、反映部２０８によって、投影補正パラメータを投影対象の画像に反映し、投影する。投影補正パラメータの反映形態としては、電気的な画像の変形、オフセット、拡大・縮小や光学補正等のプロジェクタの機能と連動する様々な形態が想定される。
【００５１】
図１３は第１投影面情報を分割する処理の詳細を表すフローチャートである。これは図１０のＳ１００４に対応する。以下では、本フローチャートに沿って、図１４〜図１５の具体例を交えながら説明を加える。
【００５２】
Ｓ１３０１で、分割部２０６によって、Ｓ１００３で読み出した第１投影面情報の特徴点とＳ１００２で入力された分担領域情報の配列の要素数を基に、再投影時の投影領域を内挿演算により算出する。例えば、第１投影面情報における投影領域の特徴点が、図９の表９００に示す値を有し、分担領域情報として（１／２，１／２）が入力された場合、第１投影面情報を縦横それぞれの配列要素数である２つに分割する。分割後の投影領域の特徴点の例を図１４の１４０１〜１４０９に示す。図中、１４０１・１４０３・１４０７・１４０９は、それぞれ図７の７０３〜７０６に対応する。また、図１５に分割後の投影領域の特徴点を示す特徴点情報１５０１〜１５０４を示す。
【００５３】
Ｓ１３０２で、分割部２０６によって、Ｓ１３０１で分割した投影領域の特徴点情報の中から、Ｓ１００２で入力された分担領域の要素位置を基に、再設置後の当該プロジェクタが投影すべき領域の特徴点情報を選択する。例えば、プロジェクタ１１１では、特徴点情報１５０１を選択することになる。
【００５４】
図１６は第２投影面情報を基礎投影面情報を用いて正規化し、正規化済第２投影面情報を生成する処理の詳細を表すフローチャートである。これは図１０のＳ１００５に対応する。以下では、本フローチャートに沿って、図１７〜図１８の具体例を交えながら説明を加える。
【００５５】
Ｓ１６０１で、抽出部２０３によって、第２投影面情報からノイズを除去する。この処理の詳細はＳ６０１と同等であり、適用するアルゴリズムは第１投影面情報、及び基礎投影面情報に適用したアルゴリズムと同一とすることができる。
【００５６】
Ｓ１６０２で、抽出部２０３によって、第２投影面情報から複数の特徴点（Ｃ群）を抽出する。この処理の詳細はＳ６０２及びＳ６０３と同等であり、適用するアルゴリズムは同一とする。図１７は、第２投影面情報における特徴点群の抽出結果の一例を表している。この第２投影面情報はＳ１００１で取得されたものであり、図１１で示す領域１１０２に相当する。図中、壁面１７０２上の投影領域１７０１に対して、これらを取り囲むように特徴点１７０３〜１７０５を含む特徴点が抽出されている。
【００５７】
Ｓ１６０３で、抽出部２０３によって、分割部２０６から読み出した基礎投影面情報から抽出済の特徴点（Ｂ群）に対応する第２投影面情報から抽出済の特徴点（Ｃ群）を３点以上抽出する。特徴点（Ｂ群）及び特徴点（Ｃ群）から対応する特徴点を抽出する方法としては、例えば、ＫＬＴ法を用いる。但し、本実施形態ではその抽出アルゴリズムを限定しない。図１７の例では、第２投影面情報から抽出済の特徴点１７０３〜１７０５が、それぞれ基礎投影面情報から抽出済の特徴点８０１・８０２・８１９（図８）に対応して抽出されたとして、以下の説明を続ける。
【００５８】
Ｓ１６０４で、抽出部２０３によって、第２投影面情報を基礎投影面情報と同一の位置から撮影された画像に変換するための正規化パラメータを算出する。正規化パラメータは、（式２）のアフィン行列にＳ１６０３で抽出した３組の特徴点の座標を代入することにより算出する。
【００５９】
【数２】
2016038553.tif 000004
【００６０】
（式２）中、ｘ、ｙが基礎投影面情報から抽出済の特徴点の座標、ｘ’、ｙ’が第２投影面情報から抽出済の特徴点の座標である。また、連立方程式を解くことによって算出されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータ、ｔx、ｔyは並行移動パラメータであり、これらを総じて正規化パラメータと称す。また、正規化パラメータを算出するための変換式は、（式２）のアフィン行列に限定されるものではなく、４組の特徴点を使用するホモグラフィ行列を適用することも可能である。
【００６１】
Ｓ１６０５で、抽出部２０３によって、第２投影面情報が示す投影面全域の画素に対してＳ１６０４で算出した正規化パラメータを適用し、正規化済第２投影面情報を生成する。図１８は、正規化済第２投影面情報の一例を表している。図中、１８０１は正規化された投影領域、１８０２は正規化された壁面である。また、プロット１８０３〜１８０５はそれぞれＳ１６０３により抽出された特徴点１７０３〜１７０５を正規化したものであり、その結果、基礎投影面情報から抽出済の特徴点８０１・８０２・８１９（図８）と座標が一致している。
【００６２】
図１９は投影補正パラメータを算出する処理の詳細を表すフローチャートである。これは図１０のＳ１００６に対応する。以下では、本フローチャートに沿って、図２０〜図２１の具体例を交えながら説明を加える。
【００６３】
Ｓ１９０１で、抽出部２０３によって、正規化済第２投影面情報から複数の特徴点（Ｄ群）を抽出する。この処理の詳細はＳ６０２、Ｓ６０３及びＳ１６０２と同一であり、適用するアルゴリズムは同一とする。図２０に、正規化済第２投影面情報における壁面の特徴点群の抽出結果の一例を表している。図中、壁面２００２上の投影領域２００１に対し、これらを取り囲むように特徴点２００３〜２００６を含む特徴点が抽出されている。
【００６４】
Ｓ１９０２で、抽出部２０３によって、分割後の第１投影面情報から抽出済の投影領域の特徴点に対応する、正規化済第２投影面情報から抽出済の特徴点（Ｄ群）を抽出する。ここで、投影領域の特徴点はＳ１００４により抽出され、図１５の特徴点情報１５０１の形態で保持されている。この投影領域の特徴点に対応する特徴点を抽出した結果として、図２０の特徴点２００３〜２００６を抽出する。
【００６５】
Ｓ１９０３で、算出部２０７によって、正規化済第２投影面情報上の投影領域を分割後の第１投影面情報上の投影領域に変形するための変形パラメータを投影補正パラメータとして算出する。この変形パラメータは、（式２）のアフィン行列にＳ１９０２で抽出した特徴点の中で３組の座標を代入することにより算出する。（式２）中、ｘ、ｙが正規化済第２投影面情報から抽出済の投影領域の特徴点の座標、ｘ’、ｙ’が第１投影面情報から抽出済の投影領域の特徴点の座標である。連立方程式を解くことによって算出されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータ、ｔx、ｔyは並行移動パラメータであり、これらを総じて変形パラメータと称す。また、変形パラメータを算出するための変換式は、（式２）のアフィン行列に限定されるものではなく、４組の特徴点を使用するホモグラフィ行列を適用することも可能である。
【００６６】
図２１は、Ｓ１００６の処理結果として得られる投影補正パラメータを反映した投影状態の模式図である。図中、プロジェクタ１１１の壁面１１０に対する投影領域２１０１を規定する特徴点の位置は、分割後の第１投影領域の特徴点情報１５０１が示す特徴点の位置と差分がない。このように、算出部２０７は、抽出部２０３が抽出する投影領域情報が示す特徴点の位置と、分割部２０６で分割された投影領域情報が示す特徴点の位置との差分がなくなるような投影補正パラメータを算出する。
【００６７】
再設置時に４台のプロジェクタ１１１〜１１４で複数プロジェクタ投影を行う場合は、図１０の処理をプロジェクタ１１２〜１１４においても実施することにより、図１（ｂ）に示す投影画像を得ることができる。
【００６８】
以上説明したように、実施形態１によれば、マルチプロジェクションシステムにおいて過去の投影と異なる台数のプロジェクタを用いた場合も、過去の投影時の投影状態（あるいはユーザが意図する投影状態）での投影を再現することが容易となる。
【００６９】
＜実施形態２＞
実施形態２では、図１０のＳ１００４に示す第１投影面情報を分割する処理を、予めメッシュ（ブロック）分割した投影面情報から選択する場合を想定する。尚、実施形態２では、実施形態１との差異を中心に説明する。
【００７０】
図２２はプロジェクタ投影システムの構成を示すブロック図である。図２２では、１台のプロジェクタ２２０１のみを図示しているが、実施形態１と同様にプロジェクタの数は、これに限定されるものではなく、１台以上のプロジェクタを用いてプロジェクタ投影システムを構築することが可能である。また、図中、図２と同一の構成要素には同一の参照番号を付加して、その詳細説明は省略する。
【００７１】
２２０２は分割部であり、第１入力部２０５より入力する投影領域の特徴点を、予め決められたブロック単位で分割する。分割するブロック単位は、プロジェクタ２２０１で予め決められた値でも良いし、ユーザ操作によって入力された値でも良い。以下では、プロジェクタ２２０１で予め「１２」という単位が決められているものとして説明を続ける。
【００７２】
２２０３は選択部であり、操作部２０９より入力する当該プロジェクタの分担領域の指定に基づいて、分割部２２０２で分割された投影領域から１つを選択する。
【００７３】
図２３は第１投影面情報を分割する処理の詳細を表すフローチャートである。これは、実施形態１の図１０のＳ１００４に対応する。以下では、本フローチャートに沿って、図２４〜図２５の具体例を交えながら説明を加える。
【００７４】
Ｓ２３０１で、分割部２２０２によって、第１入力部２０５より入力する投影領域の特徴点を、予め決められた単位で分割する。以下では、予め「１２」という単位が決められているものとして説明を続ける。図２４に、投影領域情報を縦横に１２分割した投影領域の特徴点の例を示す。図中、格子点が分割後の特徴点である。図中、２４０１〜２４０４は、それぞれ図７の７０３〜７０６に対応する。また、図２５（ａ）に分割後の投影領域情報の特徴点情報を示す。
【００７５】
Ｓ２３０２で、選択部２２０３によって、操作部２０９より入力する当該プロジェクタの分担領域の指定に基づいて、分割部２２０２で分割された投影領域から一組を選択する。分担領域情報として（１／２，１／２）が入力された場合、図２５（ｂ）に示す特徴点情報２５０１〜２５０４の４点を一組として選択する。
【００７６】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、第１投影面情報を分割する処理の負荷を軽減することができる。また、分割する単位を任意に指定することができるので、用途や目的に応じて、要求される精度（解像度）の分割を行うことができる。
【００７７】
上記実施形態では、記憶部を外部記憶部に設ける場合について説明しているが、記憶部を、複数のプロジェクタの内の任意のプロジェクタ内に設け、その記憶部を設けたプロジェクタに他のプロジェクタを接続する利用形態とすることもできる。また、外部記憶部が、複数のプロジェクタにおける表示を制御する制御装置として機能させ、その制御装置が、実施形態１や実施形態２におけるプロジェクタが実行する処理を実行するようにしても良い。
【００７８】
尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。
【００７９】
また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
【符号の説明】
【００８０】
２０１：投影部、２０２：取得部、２０３：抽出部、２０４：第１出力部、２０５：第１入力部、２０６：分割部、２０７：算出部、２０８：反映部、２０９：操作部、２１０：外部記憶部、２２０２：分割部、２２０３：選択部
【図１】
2016038553.tif 000005
【図２】
2016038553.tif 000006
【図３】
2016038553.tif 000007
【図４】
2016038553.tif 000008
【図５】
2016038553.tif 000009
【図６】
2016038553.tif 000010
【図７】
2016038553.tif 000011
【図８】
2016038553.tif 000012
【図９】
2016038553.tif 000013
【図１０】
2016038553.tif 000014
【図１１】
2016038553.tif 000015
【図１２】
2016038553.tif 000016
【図１３】
2016038553.tif 000017
【図１４】
2016038553.tif 000018
【図１５】
2016038553.tif 000019
【図１６】
2016038553.tif 000020
【図１７】
2016038553.tif 000021
【図１８】
2016038553.tif 000022
【図１９】
2016038553.tif 000023
【図２０】
2016038553.tif 000024
【図２１】
2016038553.tif 000025
【図２２】
2016038553.tif 000026
【図２３】
2016038553.tif 000027
【図２４】
2016038553.tif 000028
【図２５】
2016038553.tif 000029