(57)【要約】【課題】マルチ投影システムの設置に誤りが生じた場合に、ユーザに通知することを目的とする。【解決手段】画像投影装置であって、自装置に入力された可視光画像を取得する第１の取得手段と、自装置に入力された不可視光画像を取得する第２の取得手段と、可視光画像及び不可視光画像を投影するよう制御する投影処理手段と、可視光画像と不可視光画像の対応する画像特徴量に基づいて、可視光画像と不可視光画像の対応関係を判定する判定手段とを有する。【選択図】図６
2019192958.tif 000002
【特許請求の範囲】
【請求項１】
画像投影装置であって、
自装置に入力された可視光画像を取得する第１の取得手段と、
自装置に入力された不可視光画像を取得する第２の取得手段と、
前記可視光画像及び前記不可視光画像を投影するよう制御する投影処理手段と、
前記可視光画像と前記不可視光画像の対応する画像特徴量に基づいて、前記可視光画像と前記不可視光画像の対応関係を判定する判定手段と
を有することを特徴とする画像投影装置。
【請求項２】
前記画像特徴量は、前記可視光画像及び前記不可視光画像の輪郭情報であることを特徴とする請求項１に記載の画像投影装置。
【請求項３】
前記画像特徴量は、前記可視光画像及び前記不可視光画像の階調の差分であることを特徴とする請求項１に記載の画像投影装置。
【請求項４】
前記画像特徴量は、予め定められた特定の領域における階調の差分であることを特徴とする請求項３に記載の画像投影装置。
【請求項５】
前記判定手段による判定結果に応じた情報を出力手段に出力するよう制御する出力処理手段をさらに有することを特徴とする請求項１乃至４の何れか１項に記載の画像投影装置。
【請求項６】
前記出力処理手段は、前記可視光画像と前記不可視光画像とが対応しない場合に、警告情報を出力するよう制御することを特徴とする請求項５に記載の画像投影装置。
【請求項７】
前記出力処理手段は、前記可視光画像と前記不可視光画像とが対応する場合に、対応する旨の情報を出力するよう制御することを特徴とする請求項５に記載の画像投影装置。
【請求項８】
画像投影装置であって、
自装置以外の他の投影装置に入力された可視光画像及び不可視光画像を取得する取得手段と、
自装置に入力された可視光画像及び他の投影装置から取得した可視光画像の画像群の各可視光画像と、自装置に入力された不可視光画像及び他の投影装置から取得した不可視光画像の画像群の各不可視光画像との組み合わせそれぞれにおける対応する画像特徴量を評価する評価手段と、
前記評価手段による評価結果に基づいて、各可視光画像と不可視光画像との対応関係を判定する判定手段と
を有することを特徴とする画像投影装置。
【請求項９】
前記判定手段による判定結果に応じた情報を出力手段に出力するよう制御する出力処理手段をさらに有することを特徴とする請求項８に記載の画像投影装置。
【請求項１０】
前記出力処理手段は、正しい対応関係を示す情報を出力するよう制御することを特徴とする請求項９に記載の画像投影装置。
【請求項１１】
画像投影装置が実行する制御方法であって、
自装置に入力された可視光画像を取得する第１の取得ステップと、
自装置に入力された不可視光画像を取得する第２の取得ステップと、
前記可視光画像及び前記不可視光画像を投影するよう制御する投影処理ステップと、
前記可視光画像と前記不可視光画像の対応する画像特徴量に基づいて、前記可視光画像と前記不可視光画像の対応関係を判定する判定ステップと
を含むことを特徴とする制御方法。
【請求項１２】
画像投影装置が実行する制御方法であって、
自装置以外の他の投影装置に入力された可視光画像及び不可視光画像を取得する取得ステップと、
自装置に入力された可視光画像及び他の投影装置から取得した可視光画像の画像群の各可視光画像と、自装置に入力された不可視光画像及び他の投影装置から取得した不可視光画像の画像群の各不可視光画像との組み合わせそれぞれにおける対応する画像特徴量を評価する評価ステップと、
前記評価ステップにおける評価結果に基づいて、各可視光画像と不可視光画像との対応関係を判定する判定ステップと
を含むことを特徴とする制御方法。
【請求項１３】
コンピュータを、請求項１乃至１０の何れか１項に記載の画像投影装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、可視光に加え赤外光も投影可能なプロジェクタが開発されている。特許文献１には、可視光用の画像と赤外線用の画像を投影可能なプロジェクタにおいて、可視画像データと赤外画像データを混合して画像処理する方法が開示されている。このようなプロジェクタはフライトシミュレータなどのシミュレーション分野で用いられている。例えば、夜間訓練を行う際に、前記のようなプロジェクタが用いられている。このようなユースケースにおいては、前記のようなプロジェクタは、互いに同じ視界範囲（操縦席の窓から見える風景）を表現する可視光画像と赤外線画像を重ねて投影する。
【０００３】
また、プロジェクタの一般のユースケースとして、複数台のプロジェクタの投影画像を結合して大きな投影画像を構成することがある。このような投影形態はマルチ投影と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５２４６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
可視光画像と不可視光画像とを重畳して投影するようなマルチ投影システムにおいて、各投影装置は可視光画像と不可視光画像のための異なる入力端子を有しており、画像信号源の装置から各入力端子に画像ケーブルが接続され画像が送信される。しかし、設置時に本来接続すべき投影装置と異なる投影装置に誤った画像ケーブルが接続される場合があるという問題があった。
【０００６】
本発明はこのような問題点に鑑みなされたもので、マルチ投影システムの設置に誤りが生じた場合に、ユーザに通知することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、画像投影装置であって、自装置に入力された可視光画像を取得する第１の取得手段と、自装置に入力された不可視光画像を取得する第２の取得手段と、前記可視光画像及び前記不可視光画像を投影するよう制御する投影処理手段と、前記可視光画像と前記不可視光画像の対応する画像特徴量に基づいて、前記可視光画像と前記不可視光画像の対応関係を判定する判定手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、マルチ投影システムの設置に誤りが生じた場合に、ユーザに通知することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るマルチ投影システムの全体図である。
【図２】画像の投影例を示す図である。
【図３】画像ケーブルの接続例を示す図である。
【図４】画像の投影例を示す図である。
【図５】マルチ投影システムのハードウェア構成図である。
【図６】接続管理処理のフローチャートである。
【図７】輪郭画像を示す図である。
【図８】差分画像を示す図である。
【図９】設定画面を示す図である。
【図１０】警告メッセージの表示例を示す図である。
【図１１】第２の実施形態に係る接続管理処理のフローチャートである。
【図１２】第３の実施形態に係る接続管理処理のフローチャートである。
【図１３】第４の実施形態に係る接続管理処理を示すシーケンス図である。
【図１４】Ｓ１３０３の処理の説明図である。
【図１５】接続画面の一例を示す図である。
【図１６】変形例の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係るマルチ投影システムの全体図である。画像管理装置２００は、画像信号源である。画像管理装置２００は、画像ケーブル２０１ａ，２０１ｂ，２０１ｃ，２０１ｄを介して画像信号をプロジェクタ２０２ａ，２０２ｂへ送信する。画像ケーブル２０１ａは、プロジェクタ２０２ａが表示する可視光画像の画像信号を伝送する。画像ケーブル２０１ｂは、プロジェクタ２０２ｂが表示する可視光画像の画像信号を伝送する。画像ケーブル２０１ｃは、プロジェクタ２０２ａが表示する不可視光画像の画像信号を伝送する。画像ケーブル２０１ｄは、プロジェクタ２０２ｂが表示する不可視光画像の画像信号を伝送する。なお、本実施形態においては、可視光画像としてＲＧＢ画像が伝送され、不可視光画像として赤外線画像（ＩＲ画像）が伝送される場合を例に説明する。なお、不可視光画像の他の例としては、紫外線画像が挙げられる。
【００１１】
画像ケーブル２０１ａ，２０１ｂ，２０１ｃ，２０１ｄは、例えば、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）規格に準拠したケーブルであってもよく、またはＨＤＭＩ（登録商標）規格やＤＶＩ（商標）規格など他の規格のケーブルであってもよい。説明のため、以下では、画像ケーブル２０１ｃと画像ケーブル２０１ｄは同一のインタフェース規格（ＤｉｓｐｌａｙＰｏｒｔ，  ＨＤＭＩ，  ＤＶＩ等）に準拠しているものとする。画像ケーブル２０１ｃと画像ケーブル２０１ｄは互いに異なるインタフェース規格に準拠していてもよい。
【００１２】
プロジェクタ２０２ａは、画像ケーブル２０１ａを介してＲＧＢ画像を受信し、画像ケーブル２０１ｃを介してＩＲ画像を受信し、受信したＲＧＢ画像とＩＲ画像を重畳してスクリーン１０１ａに投影表示する。プロジェクタ２０２ｂは、画像ケーブル２０１ｂを介してＲＧＢ画像を受信し、画像ケーブル２０１ｄを介してＩＲ画像を受信し、受信したＲＧＢ画像とＩＲ画像を重畳してスクリーン１０１ｂに投影表示する。なお、本実施形態においては、マルチ投影システムは、２つのプロジェクタ２０２ａ，２０２ｂを有する場合を例に説明したが、プロジェクタの数はこれに限定されるものではなく、３台以上であってもよい。なお、プロジェクタ２０２ａ，２０２ｂは、画像投影装置の一例である。
【００１３】
画像管理装置２００とプロジェクタ２０２ａ，２０２ｂは、ネットワークケーブル２０３及び不図示のハブ装置を介してお互いに通信できる。ネットワークケーブル２０３には、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブルが用いられる。
【００１４】
１０２は、スクリーン１０１ａ，１０１ｂを見る人（マルチ投影のユーザ）が装着している赤外線ゴーグルである。赤外線ゴーグル１０２は、装着者前方の可視光と赤外光を受光し、受光した可視光の画像と受光した赤外光を可視化した画像とを装着者に表示する機能を有している。
【００１５】
図２は、プロジェクタ２０２ａ，２０２ｂが投影したＲＧＢ画像、ＩＲ画像、赤外線ゴーグル１０２越しに見える画像の例を示す図である。画像ケーブルａからプロジェクタ２０２ａに入力されたＲＧＢ画像１１０ａと、画像ケーブル２０１ｃからプロジェクタ２０２ａに入力されたＩＲ画像１１０ｃが重畳されて、重畳画像１２０ａが赤外線ゴーグル１０２越しにユーザによって視認される。一方、画像ケーブル２０１ｂからプロジェクタ２０２ｂに入力されたＲＧＢ画像１１０ｂと画像ケーブル２０１ｄからプロジェクタ２０２ｂに入力されたＩＲ画像１１０ｄが重畳されて、重畳画像１２０ｂが赤外線ゴーグル１０２越しにユーザによって視認される。
【００１６】
図１は、各画像ケーブル２０１ａ〜２０１ｄが正しくプロジェクタ２０２ａ，２０２ｂに接続されている例を示している。この場合には、図２に示すように、スクリーン１０１ａには、同一の被写体が撮影されたＲＧＢ画像１１０ａとＩＲ画像１１０ｃが投影される。ここで、ＲＧＢ画像１１０ａとＩＲ画像１１０ｃは対応する画像である。同様に、スクリーン１０１ｂには、同一の被写体が撮影されたＲＧＢ画像１１０ｂとＩＲ画像１１０ｄが投影される。ＲＧＢ画像１１０ｂとＩＲ画像１１０ｄは対応する画像である。
【００１７】
しかしながら、画像ケーブル２０１ａ〜２０１ｄは、着脱可能なため、ユーザが本来接続すべき端子と異なる端子に誤った画像ケーブルを接続する可能性がある。例えば、図３に示すように、本来プロジェクタ２０２ａに接続すべき画像ケーブル２０１ｃを誤ってプロジェクタ２０２ｂに接続し、本来プロジェクタ２０２ｂに接続すべき画像ケーブル２０１ｄを誤ってプロジェクタ２０２ａに接続してしまったとする。この場合、図４に示すように、画像ケーブルａからプロジェクタ２０２ａに入力されたＲＧＢ画像１１０ａと、画像ケーブル２０１ｄから入力されたＩＲ画像１１０ｄが重畳される。これにより、異なる被写体の画像が重畳された重畳画像１３０ａが赤外線ゴーグル１０２越しに視認されることになる。同様に、画像ケーブル２０１ｂからプロジェクタ２０２ｂに入力されたＲＧＢ画像１１０ｂと、画像ケーブル２０１ｃから入力されたＩＲ画像１１０ｃが重畳される。これにより、異なる被写体の画像が重畳された重畳画像１３０ｂが赤外線ゴーグル１０２越しに視認される。
【００１８】
不可視光画像を重畳する場合には、赤外線ゴーグル１０２を用いてスクリーンを確認しないと接続が正しいか否かを確認することができない。これに対し、本実施形態のマルチ投影システムにおいては、誤った接続がなされた場合に、ユーザに警告することができる。
【００１９】
図５（ａ）は、画像管理装置２００のハードウェア構成図である。画像管理装置２００内部では、バス２１０を介して、ＣＰＵ２１１、主記憶装置２１２、ビデオコントローラ２１３、ネットワークコントローラ２１４、入出力インタフェース２１５、補助記憶装置２１６が相互に接続される。
【００２０】
ＣＰＵ２１１は、画像管理装置２００の各動作ブロックを制御するものである。また、ＣＰＵ２１１は、補助記憶装置２１６や不図示の外部のサーバに格納されたＯＳやアプリケーションのコードに従って実行する。ＣＰＵ２１１は、これらコードに従い、ビデオコントローラ２１３を用いて、主記憶装置２１２上に画像データを形成する。アプリケーションの例としては、プレゼンテーションソフトウェアや、表計算ソフトウェア、ビデオ再生ソフトウェア等がある。主記憶装置２１２は、ＣＰＵ２１１が動作するためのワークメモリである。
【００２１】
ネットワークコントローラ２１４は、ＣＰＵ２１１が不図示の外部のサーバやネットワーク機器に接続する手段である。入出力インタフェース２１５は、不図示のキーボードやマウスといった、使用者が画像管理装置２００を操作するためのデバイスを接続するインタフェースである。
【００２２】
補助記憶装置２１６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、アプリケーションや、データを格納している。後述する画像管理装置２００の機能や処理は、ＣＰＵ２１１が補助記憶装置２１６等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００２３】
ビデオコントローラ２１３は、ＣＰＵ２１１により制御され、画像データを生成する。ビデオコントローラ２１３は、画像送信部２１７ａ，２１７ｂ，２１７ｃ，２１７ｄと接続されている。画像送信部２１７ａ，２１７ｂ，２１７ｃ，２１７ｄは、ビデオコントローラ２１３で生成された画像データを受信し、外部機器への送信に適した形式に変換し、送信する機能を有している。また、ビデオコントローラ２１３は、通信部２１８ａ，２１８ｂ，２１８ｃ，２１８ｄと接続されている。通信部２１８ａ，２１８ｂ，２１８ｃ，２１８ｄは、画像信号の受信側である外部機器との通信を行なうものである。通信部２１８ａ，２１８ｂ，２１８ｃ，２１８ｄは、プロジェクタ２０２ａ，２０２ｂの表示性能情報を読み出すことができる。この表示性能情報は、画像データの受信機器の特性情報を示すものであり、その一つにその機器の最適とされる画像画素数が格納されている。
【００２４】
画像送信部２１７ａと通信部２１８ａとは、画像ケーブル２０１ａを介し、外部機器（本例ではプロジェクタ２０２ａ）と接続可能となっている。画像送信部２１７ｂと通信部２１８ｂとは、画像ケーブル２０１ｂを介し、外部機器（本例ではプロジェクタ２０２ｂ）と接続可能となっている。画像送信部２１７ｃと通信部２１８ｃとは、画像ケーブル２０１ｃを介し、外部機器（本例ではプロジェクタ２０２ａ，２０２ｂ）と接続可能となっている。画像送信部２１７ｄと通信部２１８ｄとは、画像ケーブル２０１ｄを介し、外部機器（本例ではプロジェクタ２０２ａ，２０２ｂ）と接続可能となっている。画像送信部２１７ａ，２１７ｂはＲＧＢ画像用の画像信号を送信する。画像送信部２１７ｃ，２１７ｄは、ＩＲ画像用の画像信号を送信する。
【００２５】
このような構成により、適切なアプリケーションやデータを補助記憶装置２１６や不図示の外部サーバにインストールしておくことができる。従って、それらアプリケーションやデータに基づき、画像管理装置２００はプレゼンテーション画像や、表計算結果を示す画像や、ビデオ画像といった画像を生成し、外部機器に出力することができる。
【００２６】
図５（ｂ）は、プロジェクタ２０２ａのハードウェア構成図である。なお、プロジェクタ２０２ｂのハードウェア構成は、プロジェクタ２０２ａのハードウェア構成と同様である。制御部２２６は、プロジェクタ２０２ａの各ブロックを制御する。制御部２２６は、処理手順を記述したコードを後述のＲＯＭ２４０からロードし、後述のＲＡＭ２４１をワークメモリとして使用しながら、動作する。
【００２７】
画像受信部２２１ａ，２２１ｃは、画像管理装置２００より画像データを受信する回路である。画像受信部２２１ａ，２２１ｃは、それぞれ画像ケーブル２０１ａ，２０１ｃを介した通信に適したＤｉｓｐｌａｙＰｏｒｔやＨＤＭＩ形式等の画像データを受信し、内部処理に適したデジタル信号形式に変換し、画像処理部２２３ａ，２２３ｃに出力する。画像受信部２２１ａ，２２１ｃは互いを識別するための識別子（ポートの識別子）を有しており、制御部２２６はこれら識別子を読み出すことができる。制御部２２６はこの識別子を用いて、画像と画像が入力された画像受信部とを紐づけて管理する。
【００２８】
通信部２２２ａ，２２２ｃは、画像管理装置２００等の外部機器と表示性能情報に関する通信を行なうための回路である。通信部２２２ａ，２２２ｃは、それぞれ、プロジェクタ２０２ａの表示性能情報を格納するための記憶部２２８ａ，２２８ｃを有している。表示性能情報の例は、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）により定義されたＥＤＩＤ（Ｅｘｔｅｎｄｅｄ  Ｄｉｓｐｌａｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｄａｔａ）である。
【００２９】
画像受信部２２１ａおよび通信部２２２ａは、画像ケーブル２０１ａと接続可能となっている。画像受信部２２１ｃおよび通信部２２２ｃは、画像ケーブル２０１ｃと接続可能となっている。画像受信部２２１ａは、ＲＧＢ画像用の画像信号を受信する。画像受信部２２１ｃは、ＩＲ画像用の画像信号を受信する。
【００３０】
画像処理部２２３ａ，２２３ｃは、それぞれ画像受信部２２１ａ，２２１ｃが受信した画像データを画像処理し、それぞれ後段の空間変調部２２５ａ，２２５ｃに出力する回路である。画像処理の例として、階調補正や拡大縮小処理などが挙げられる。階調補正を行なうために、例えば、画像処理部２２３ａ，２２３ｃは、入力された画像の各画素の階調値を変換して出力するための入力階調値と出力階調値を対応付けるルックアップテーブル（ＬＵＴ）を有してもよい。ＬＵＴは、例えば後述のＲＡＭ２４１に格納される。ＬＵＴは工場出荷時に初期設定されるほか、制御部２２６によって更新されたりプロジェクタ２０２ａの使用者による調整操作によって変更されたりすることもできる。画像処理部２２３ａは、ＲＧＢ画像用の画像データを画像処理し、画像処理部２２３ｃはＩＲ画像用の画像データを画像処理する。
【００３１】
光学系２２４ａ，２２４ｃは、それぞれ後述の空間変調部２２５ａ，２２５ｃに光を照射する。光学系２２４ａ，２２４ｃは、いずれも、不図示の光源、光源制御部、照明系レンズ、照明系レンズ制御部、から構成される。光学系２２４ａは可視光を照射する。光学系２２４ｃは赤外線を照射する。
【００３２】
空間変調部２２５ａ，２２５ｃは、それぞれ画像処理部２２３ａ，２２３ｃが出力した画像を形成する。空間変調部２２５ａ，２２５ｃは、いずれも、不図示の液晶パネル、液晶パネル制御部から構成される。画像処理部２２３ａ，２２３ｃが出力した画像に基づいて空間変調部２２５ａ，２２５ｃの液晶パネル制御部が各液晶パネル上に画像を形成し、各液晶パネルに２２４ａ，２２４ｃの光が照射されることで画像が投影される。空間変調部２２５ａはＲＧＢ画像を形成する。空間変調部２２５ｃはＩＲ画像を形成する。プロジェクタ２０２ａが有する不図示の投影光学系が、空間変調部２２５ａ，２２５ｃに照射された可視光と赤外光をスクリーン１０１ａに投影する。制御部２２６は、投影を制御する投影処理部の一例である。
【００３３】
操作部２２７は、使用者によりプロジェクタ２０２ａを操作するための操作部材であり、例えば、操作ボタンや、不図示のリモコンの指示を受信する受光部である。操作部２２７により受け付けた操作指示の情報は、制御部２２６に伝達される。
【００３４】
ネットワークコントローラ２３０は、外部の機器（本例では画像管理装置２００及びプロジェクタ２０２ｂ）との間で画像データなど任意のデータを送受信するための回路である。ネットワークコントローラ２３０はネットワークケーブル２０３と接続される。制御部２２６の制御によりネットワークコントローラ２３０はネットワークケーブル２０３を介して画像データを受信し、それらを制御部２２６にバス２２０を介して伝達する。また、制御部２２６の制御によりネットワークコントローラ２３０は、バス２２０を介して制御部２２６から伝達された画像データを、ネットワークケーブル２０３を介して送信する。
【００３５】
ＲＯＭ２４０は、制御部２２６が実行する処理手順及び後述の基準とするＬＵＴが記述されているものである。ＲＯＭ２４０には、プロジェクタを識別する識別子が予め格納されており、制御部２２６はこの識別子を読み出すことができる。ＲＡＭ２４１は、制御部２２６が処理を実行する際に使用するワークメモリである。
【００３６】
特徴量算出部２３１ａ，２３１ｃは、それぞれ画像受信部２２１ａ，２２１ｃで受信した画像データに基づいて、画像特徴量を算出する。特徴量算出部２３１ａ，２３１ｃは、算出した画像特徴量を、バス２２０を介して相違量算出部２３２に出力する。相違量算出部２３２は、特徴量算出部２３１ａ，２３１ｃが算出した画像特徴量に基づいて、相違量を算出する。相違量算出部２３２は、算出した相違量を、バス２２０を介して相関量算出部２３３に出力する。相関量算出部２３３は、相違量算出部２３２が算出した相違量に基づいて、相関量を算出する。相関量算出部２３３は、算出した相関量を、バス２２０を介して制御部２２６に出力する。画像特徴量、相違量及び相関量については、後述する。
【００３７】
なお、特徴量算出部２３１ａ，２３１ｃ、相違量算出部２３２及び相関量算出部２３３は、制御部２２６がＲＯＭ２４０等の記憶部に格納されているプログラムを読み出し、このプログラムを実行することにより実現されてもよい。
【００３８】
図６は、プロジェクタ２０２ａの制御部２２６が実行する接続管理処理のフローチャートである。ここでは、プロジェクタ２０２ａについて説明するが、プロジェクタ２０２ｂの制御部も同様に接続管理処理を行う。接続管理処理は、プロジェクタ２０２ａに画像ケーブルが接続された場合に実行される処理である。接続管理処理の開始時には、スクリーンにＲＧＢ画像とＩＲ画像が重畳して投影表示されているものとする。Ｓ６００において、制御部２２６は、画像受信部２２１ａがＲＧＢ画像用の画像信号を受信したか否かを判断する。制御部２２６は、受信したと判断した場合は（Ｓ６００でＹＥＳ）、処理をＳ６０１へ進める。制御部２２６は、受信していないと判断した場合は（Ｓ６００でＮＯ）、処理をＳ６００へ進め、受信したと判断するまで待ち状態となる。
【００３９】
Ｓ６０１において、制御部２２６は、画像受信部２２１ｃがＩＲ画像用の画像信号を受信したか否かを判断する。制御部２２６は、受信したと判断した場合は（Ｓ６０１でＹＥＳ）、処理をＳ６０２へ進める。制御部２２６は、受信していないと判断した場合は（Ｓ６０１でＮＯ）、処理をＳ６０１へ進め、受信したと判断するまで待ち状態となる。なお、Ｓ６０１及びＳ６０２の処理は、可視光画像及び不可視光画像の取得処理の一例である。
【００４０】
Ｓ６０２において、制御部２２６は、特徴量算出部２３１ａ，２３１ｃに、画像特徴量を算出させる。本実施形態においては、画像特徴量は、輪郭画像である。特徴量算出部２３１ａは、制御部２２６から輪郭抽出の指示を受信すると、画像受信部２２１ａが受信したＲＧＢ画像をグレイスケール化して輪郭抽出した画像を生成する。
【００４１】
例えば、画像受信部２２１ａが図２に示すＲＧＢ画像１１０ａを受信したとする。この場合には、特徴量算出部２３１ａは、図７に示す輪郭画像７００ａを生成する。同様に、特徴量算出部２３１ｃは、制御部２２６から輪郭抽出の指示を受信すると、画像受信部２２１ｃが受信したＩＲ画像から輪郭抽出した画像を生成する。例えば、画像受信部２２１ｃが図２に示すＩＲ画像１１０ｃを受信したとする。この場合には、特徴量算出部２３１ｃは、図７に示す輪郭画像７００ｂを生成する。また、画像受信部２２１ｃが図２に示すＩＲ画像１１０ｄを受信した場合は、特徴量算出部２３１ｃは輪郭画像７００ｃを生成する。
【００４２】
輪郭抽出には、例えば、キャニー法やＰｒｅｗｉｔｔフィルタを用いる。なお、図７及び後述の図８においては、白い領域（および画素）ほど階調値が大きい（光の強度が強い）ことを示し、黒い領域（および画素）ほど階調値が小さい（光の強度が小さい）ことを表現することとする。例えば、輪郭画像７００ａ，７００ｂは、それぞれの原画像１１０ａ，１１０ｃに含まれる輪郭を高階調値の画素で表現した様を示している。特徴量算出部２３１ａ，２３１ｃは、さらに精度を高めるためにノイズ除去処理（例えばメディアンフィルタの適用）を行ってもよい。
【００４３】
図６に戻り、Ｓ６０３において、制御部２２６は、相違量算出部２３２に、相違量を生成させる。本実施形態においては、相違量は、Ｓ３２０にて生成した輪郭画像同士の差分画像である。相違量算出部２３２は、制御部２２６から差分画像生成の指示を受信すると、特徴量算出部２３１ａ，２３１ｃが生成した輪郭画像の対応する位置同士の画素の階調値を引き算し、差分画像を生成する。ＲＧＢ画像のグレイスケール化の目的は、この引き算の対象とする色成分を決定するためである。
【００４４】
一般的には、投影するＲＧＢ画像とＩＲ画像とは、それぞれ同一の物体が同一画角内で存在するような画像である（なお、その物体に対応する画素はＲＧＢ画像とＩＲ画像で異なる階調を有する）。このように、ＲＧＢ画像とＩＲ画像には共通の物体（被写体）が存在するため、物体に対応する画素の階調値の差はあるものの、それぞれの画像中には共通の物体形状が存在することが期待される。そのため、それぞれの画像の輪郭成分は相関性が高いと期待される。
【００４５】
一方で、特性上、ＩＲ画像にはより多くの情報量が存在すると考えられる。そこで、本実施形態においては、相違量算出部２３２は、差分画像を生成する場合に、ＲＧＢ画像の階調値からＩＲ画像の階調値を減じ、減じた結果が負の値となる（ＩＲ画像にだけ輪郭が存在する）場合には、その負の値をゼロで置き換えるものとする。以下、このような処理をゼロクリップと称するものとする。ゼロクリップ処理を行うことで、ＩＲ画像にのみ物体の像が存在する領域は差分として扱わなくなるため、ＲＧＢ画像とＩＲ画像との判定精度の向上が見込める。
【００４６】
例えば、図７に示す輪郭画像７００ａの各画素の階調値から輪郭画像７００ｂの各画素の階調値を減算した場合、図８に示す差分画像８００ａが得られる。ペアとなるＲＧＢ画像とＩＲ画像との夫々の輪郭がほぼ一致するため、差分画像８００ａは、全黒の画像となる。なお、ペアとなる組み合わせであっても、差分画像は必ずしも全黒にはならない。実際には、画像内にある物体像のＲＧＢの階調と、ＩＲ階調とは（相関性があるにせよ）異なるため、夫々レベルの異なる輪郭画像が得られるのが一般的である。また、各画像のノイズ量の違いも、輪郭画像の差につながる。ＲＧＢ画像とＩＲ画像とで被写体が異なる組み合わせの場合の差分画像と、正しいペアの組み合わせの場合の差分画像とでは、相対的に後者の画像の階調がより黒に近い傾向になる。
【００４７】
一方で、例えば図３に示すように、ユーザがＩＲ画像用の画像ケーブル２０１ｃと画像ケーブル２０１ｄを逆に接続してしまったとする。この場合、プロジェクタ２０２ａには、ＲＧＢ画像１１０ａと、ＩＲ画像１１０ｄが入力されることになる。このため、輪郭画像７００ａの各画素の階調値から輪郭画像７００ｃの各画素の階調値を減算することになり、図８に示す差分画像８００ｂが得られる。この場合、減算を得ても家の輪郭部分の階調値が大きい値を示す。なお、差分画像８００ｂにおいては、太陽の輪郭部分はゼロクリップされている。差分画像の中に階調値の大きい画素が存在するということは、プロジェクタ２０２ａが受信したＲＧＢ画像とＩＲ画像に含まれる輪郭位置が異なるということを意味する。
【００４８】
図６に戻り、Ｓ６０４において、制御部２２６は、相関量算出部２３３に相関量を算出させる。本実施形態においては、相関量は、差分画像において階調値が閾値以上となる画素の、全体における割合（面積比）である。ここで、階調値の閾値は、予め定められているものとする。閾値としては、例えば最大階調の１０％以上の階調値（例えば最大階調が２５５の場合、２６以上の階調値）が設定される。相関量算出部２３３は、制御部２２６から面積比算出の指示を受信すると、差分画像において、閾値以上の画素の数ｎを算出する。そして、相関量算出部２３３は、画素の数ｎを画像の全画素の数ｍで除することで面積比ｎ／ｍを算出する。
【００４９】
なお、Ｓ６０２、Ｓ６０３、Ｓ６０４における画像処理及び統計処理の処理量を減らすために、プロジェクタ２０２ａが受信したＲＧＢ画像やＩＲ画像に縮小スケーリングやトリミングなどの前処理を施してもよい。
【００５０】
次に、Ｓ６０５において、制御部２２６は、Ｓ６０４において算出した面積比が予め設定された閾値以上か否かを判断する。ここで面積比の閾値は予め設定されているものとする。閾値としては、例えば０．２が設定される。制御部２２６は、基準値以上であると判断した場合には（Ｓ６０５でＹＥＳ）、処理をＳ６０６へ進める。制御部２２６は、基準値未満であると判断した場合には（Ｓ６０５でＮＯ）、接続管理処理を終了する。例えば、図８に示す差分画像８００ａが処理対象の場合には、面積比は閾値未満と判断される。一方、差分画像８００ｂが処理対象の場合には、面積比は閾値以上と判断される。なお、Ｓ６０５の処理は、可視光画像と不可視光画像の対応関係を判定する判定処理の一例である。
【００５１】
ここで、閾値について説明する。Ｓ６０４で参照される閾値及びＳ６０５で参照される閾値は、何れもユーザ操作に応じて動的に変更されてもよい。図９は、閾値の設定画面９００の一例を示す図である。設定画面９００には、閾値となる基準階調値の入力欄９０１と、閾値となる基準画素数の入力欄９０２とが表示されている。ユーザは、入力欄９０１，９０２に希望の値を入力し、決定ボタン９０３を押下することで、閾値を設定することができる。また、キャンセルボタン９０４を押下することで、入力を取り消すことができる。
【００５２】
図６に戻り、Ｓ６０６において、制御部２２６は、画像処理部２２３ａを制御し、ＲＧＢ画像１１０ａに、ＲＧＢ画像とＩＲ画像とが一致しない旨の警告メッセージ（警告情報）を重畳表示するよう制御する。具体的には、画像処理部２２３ａは、ＲＧＢ画像に警告メッセージをオーバーレイし、これをスクリーン１０１ａに投影するよう制御する。なお、警告メッセージは、可視光画像と不可視光画像の対応関係に応じた情報の一例であり、Ｓ６０６の処理は、警告メッセージの出力処理の一例である。図１０は、警告メッセージの表示例を示す図である。このように、警告メッセージを含むＲＧＢ画像１０００が投影表示されるので、ユーザはＩＲ画像を視認できなくとも、画像ケーブルの接続が誤っていることに気付き、配線をやり直すことができる。
【００５３】
以上のように、本実施形態においては、プロジェクタ２０２ａは、ＲＧＢ画像とＩＲ画像の画像特徴量としての輪郭情報に基づいて、可視光画像と不可視光画像の対応関係を判定し、判定結果に応じて適宜警告メッセージを投影表示する。可視光画像においては、映像を投影することでユーザが誤りを確認することができるが、不可視光画像では目視で誤りを確認することができない。しかし、本実施形態によれば、マルチ投影システムの設置に誤りが生じた場合に、ユーザに通知することができる。
【００５４】
ＲＧＢ画像とＩＲ画像を重ねて投影可能なプロジェクタのユースケースを鑑みると、互いに同一の被写体を映したＲＧＢ画像とＩＲ画像がプロジェクタに入力されることが多いと考えられる。また、前述のように、互いに同一の被写体を映したＲＧＢ画像とＩＲ画像は輪郭位置が一致する箇所が多くなることが期待される。このため、これらの輪郭画像同士の差分画像においては、階調値の大きい画素の数が少なくなる。一方、互いに異なる被写体を映したＲＧＢ画像とＩＲ画像は輪郭位置が一致しない箇所が多くなることが期待されるため、これらの輪郭画像同士の差分画像においては、階調値の大きい画素の数が多くなる。ゆえに、差分画像において階調値の大きい画素の数の大小を判断することによって、ＲＧＢ画像とＩＲ画像が互いに同一の被写体を映した画像である可能性が高いか否かを判断することができる。
【００５５】
また、ＲＧＢ画像は裸眼で視認できるように投影されるため、ユーザは期待通りのプロジェクタ（および紐づくスクリーン）でＲＧＢ画像が投影していると推定できる。すなわち、ユーザがＲＧＢ画像の画像ケーブルの接続を誤る可能性は低いと推定できる。したがって、ＲＧＢ画像とＩＲ画像が互いに同一の被写体を映した画像である可能性が低い場合には、ユーザがＩＲ画像の画像ケーブルの接続を誤っている可能性が高いと推定できる。この推定に基づきプロジェクタが警告メッセージを表示すれば、ユーザは画像ケーブルの接続の誤りに気付くことができる。
【００５６】
第１の実施形態の第１の変形例としては、マルチ投影システムは、液晶方式のプロジェクタに限らず、デジタルミラーデバイス方式のプロジェクタ等他の方式の投影装置を有してもよい。また、画像情報処理装置に適用することもできる。
【００５７】
第２の変形例としては、Ｓ６０２において、特徴量算出部２３１ａ，２３１ｃは、輪郭抽出の前処理としてＲＧＢ画像１１０ａをグレイスケール化するのに替えて、ＲＧＢ画像からＲ，Ｇ，Ｂいずれかの色成分を抽出してもよい。また、他の例としては、特徴量算出部２３１ａ，２３１ｃは、ＹＣｂＣｒからＹ，Ｃｂ，Ｃｒいずれかの色成分を抽出してもよい。このように、ＩＲ画像特徴量と差分をとるＲＧＢ画像特徴量を一意に抽出すればよく、その内容は実施形態に限定されるものではない。例えば、特徴量算出部２３１ａ，２３１ｃは、ＲＧＢ画像のＲ，Ｇ，Ｂ各色成分に別個に輪郭抽出を施した後でＲ成分だけ抽出してもよい。
【００５８】
第３の変形例としては、本実施形態においては、相違量算出部２３２は、輪郭画像同士の引き算およびゼロクリップ処理によって差分画像を生成したが、これ以外の方法で差分画像を算出してもよい。例えば、ゼロクリップ処理を絶対値化（正の数化）処理や二乗化処理に変更してもよい。また、ゼロクリップ処理を省略してもよい。
【００５９】
第４の変形例としては、差分画像の生成の前処理として２値化処理を施してもよい。２値化処理を施している場合は、減算及びゼロクリップ処理を、（式１）で示される処理に変更してもよい。
ｚ＝ｘ＆（〜ｙ）      …（式１）
ここで、ｘ，ｙ，ｚは、それぞれ、輪郭画像７００ａのある画素の階調値、輪郭画像７００ｂのｘに対応する位置の画素の階調値、生成される差分画像のｘに対応する位置の画素の階調値を指す。ｘ，ｙ，ｚは、０（偽）または１（真）の値をとる。「＆」は論理積演算を指す演算子であり、「〜」は論理反転を指す演算子である。なお、（式１）に示す処理は、減算及びゼロクリップ処理を２値化画像向けに特殊化したものである。他にも、減算及びゼロクリップ処理を（式２）で示される処理に変更してもよい。ここで、ＸＯＲは排他的論理和を指す演算子である。なお、（式２）で示される処理は、引き算処理を２値化画像向けに特殊化したものである。
ｚ＝ｘ  ＸＯＲ  ｙ      …（式２）
【００６０】
第５の変形例としては、差分画像の生成において、減算の減数と被減数を入れ替えてもよい。すなわち、ＩＲ画像の階調値からＲＧＢ画像の階調値を減じてもよい。
【００６１】
第６の変形例としては、制御部２２６は、画像特徴量に応じて可視光画像と不可視光画像の対応関係を判定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、制御部２２６は、面積比に替えて、差分画像の階調値が閾値以上となる画素の数と閾値との比較処理に応じて警告メッセージの投影を制御してもよい。
【００６２】
また、第７の変形例としては、画像特徴量は、画像の特徴を表現する情報であればよく、輪郭情報に限定されるものではない。
【００６３】
第８の変形例としては、警告メッセージの出力形態は実施形態に限定されるものではない。他の例としては、制御部２２６は、プロジェクタ２０２ａが有する不図示のランプインジケーターや、ＬＥＤインジケータやその集合体などを用いて警告のための報知を行ってもよい。また、他の例としては、制御部２２６は、不図示のブザーやスピーカーなどを用いて音声で警告のための報知を行ってもよい。
【００６４】
第９の変形例としては、制御部２２６は、可視光画像と不可視光画像の対応関係の判定結果に応じた情報を出力すればよく、その出力内容は実施形態に限定されるものではない。他の例としては、制御部２２６は、画像ケーブルが正しく接続されている場合に、正しく接続されている旨のメッセージを表示してもよい。
【００６５】
（第２の実施形態）
次に、第２の実施形態に係るマルチ投影システムについて、第１の実施形態に係るマルチ投影システムと異なる点を主に説明する。第２の実施形態に係るマルチ投影システムにおいては、プロジェクタ２０２ａは、ＲＧＢ画像とＩＲ画像の特定の領域の階調値を画像特徴量として算出し、特定の領域の階調値に基づいて、可視光画像と不可視光画像の対応関係を判定する。
【００６６】
図１１は、プロジェクタ２０２ａの制御部２２６が実行する接続管理処理のフローチャートである。Ｓ１１００及びＳ１１０１の処理は、図６を参照しつつ説明したＳ６０１及びＳ６０２の処理と同様である。制御部２２６は、ＲＧＢ画像及びＩＲ画像を受信すると（Ｓ１１００でＹＥＳ、Ｓ１１０１でＹＥＳ）、処理をＳ１１０２へ進める。
【００６７】
Ｓ１１０２において、制御部２２６は、特徴量算出部２３１ａ，２３１ｃに、画像受信部２２１ａ，２２１ｃがそれぞれ受信したＲＧＢ画像とＩＲ画像から、ＲＧＢ画像において無彩色な領域を選択させ、選択領域の画素の階調値を算出させる。例えば、ＲＧＢ画像１１０ａとＩＲ画像１１０ｃから上記条件を満たす画素の階調値を算出させる。
【００６８】
特徴量算出部２３１ａは、制御部２２６から算出の指示を受信すると、ＲＧＢ画像から、Ｒ，Ｇ，Ｂの各色成分の階調値が等しい画素（すなわち、色が黒〜灰〜白であるような画素。いわゆる無彩色な画素）を抽出する。以下、抽出された画素をｐ［ｉ］と表記する。ここで、ｉ＝０，１，…，ｍ−１であり、ｍは抽出された画素の総数であるとする。さらに、特徴量算出部２３１ａは、ｐ［ｉ］のＲ成分の階調値だけを抽出する。ｐ［ｉ］のＲ成分の階調値をＲ［ｉ］と表記する。次に、特徴量算出部２３１ｃは、制御部２２６から算出の指示を受信すると、ＩＲ画像から、ｐ［ｉ］と対応する位置にある画素を抽出する。抽出された画素をｑ［ｉ］と表記する。さらに、特徴量算出部２３１ｃはｑ［ｉ］の階調値を抽出する。ｑ［ｉ］の階調値をＩＲ［ｉ］と表記する。
【００６９】
なお、Ｒ，Ｇ，Ｂの各色成分の階調値が等しいとは、各階調値が完全に一致する場合だけでなく、各階調値の差分が閾値以下である範囲を含んでもよい。例えば、ある画素のＲ，Ｇ，Ｂ各色成分の階調値をｒ，ｇ，ｂとしたとき、０．９５ｒ≦ｇ≦１．０５ｒ、かつ、０．９５≦ｂ≦１．０５ｒを満たす場合に、無彩色と判断してもよい。
【００７０】
また、本実施形態においては、特徴量算出部２３１ａは、［ｉ］のＲ成分の階調値を抽出することとしたが、これに限定されるものではなく、Ｒ成分に替えてＧ成分やＢ成分を抽出してもよい。
【００７１】
次に、Ｓ１１０３において、制御部２２６は、相違量算出部２３２に、（式３）で示される、対応する位置の画素同士の階調値の差分ｄ［ｉ］を算出させる。
ｄ［ｉ］＝｜Ｒ［ｉ］−ＩＲ［ｉ］｜      …（式３）
次に、Ｓ１１０４において、制御部２２６は、相関量算出部２３３に閾値以上であるｄ［ｉ］の数の画像の全画素に対する割合を算出させる。ここで、閾値は予め設定されているものとする。相関量算出部２３３は、ｄ［ｉ］（ｉ＝０，１，・・・，ｍ−１）の中で閾値（例えば５）以上であるｄ［ｉ］の数を算出する。基準値以上であるｄ［ｉ］の数ｎを画像の全画素の数ｍで除することで、割合ｎ／ｍを算出する。割合ｎ／ｍが大きいということは、ＲＧＢ画像とＩＲ画像の間で階調値の異なる画素が占める割合が高いということを意味する。
【００７２】
Ｓ１１０５において、制御部２２６は、Ｓ１１０４において算出した割合が閾値（たとえば０．３）以上であるか未満であるかを判断する。閾値は予め設定されているものとする。制御部２２６は、割合が閾値以上であると判断した場合には（Ｓ１１０５でＹＥＳ）、処理をＳ１１０６へ進める。制御部２２６は、割合が閾値未満であると判断した場合は（Ｓ１１０５でＮＯ）、接続管理処理を終了する。Ｓ１１０６の処理は、図６に示すＳ６０６の処理と同様である。
【００７３】
第２の実施形態においても、プロジェクタ２０２ｂのハードウェア構成は、プロジェクタ２０２ａのハードウェア構成と同様である。また、プロジェクタ２０２ｂもプロジェクタ２０２ａと同様に、接続管理処理（図１１）を行う。なお、第２の実施形態に係るマルチ投影システムのこれ以外の構成及び処理は、第１の実施形態に係るマルチ投影システムの構成及び処理と同様である。
【００７４】
ＲＧＢ画像中における高階調かつ低彩度の領域（白や白に近い色である領域）は、可視光の波長域の光のうち、Ｒ，Ｇ，Ｂに相当する波長域の光が含まれている領域であると言える。このような色を有する物体は、同様に、赤外光の波長域を含むことが期待される。したがって、互いに同一の被写体を映したＲＧＢ画像とＩＲ画像において、ＲＧＢ画像に映る白い物体のＲＧＢ画像における階調値とＩＲ画像における階調値は近い値である可能性が高いと考えられる。ゆえに、互いに同一の被写体を映したＲＧＢ画像とＩＲ画像に関しては各ｄ［ｉ］の値は小さくなる可能性が高く、逆に互いに異なる被写体を映したＲＧＢ画像とＩＲ画像に関しては各ｄ［ｉ］の値は大きくなる可能性が高いと考えられる。以上の理由により、割合ｎ／ｍを算出することによって、ＲＧＢ画像とＩＲ画像が互いに同一の被写体を映した画像である可能性が高いか否かを判断できる。
【００７５】
第２の実施形態の変形例としては、Ｓ１１０２において、特徴量算出部２３１ａは、無彩色領域を抽出するために、ＲＧＢ画像に映った被写体の特徴を検出し、これを使用してもよい。例えば、被写体として、特徴量算出部２３１ａは、雪原や雪山が映っていることを検出することにより無彩色領域を抽出してもよい。雪原領域の検出は、ＲＧＢ画像の下側に位置する低彩度で高階調な領域を検出することにより実現する。また、例えば、雪山領域の検出は、前述のように検出した空（そら）領域の下側に隣接する低彩度で高階調な領域を検出することによって実現する。
【００７６】
（第３の実施形態）
次に、第３の実施形態に係るマルチ投影システムについて説明する。第２の実施形態においては、プロジェクタ２０２ａは、ＲＧＢ画像の中から特定の領域として、無彩色領域を選択するものとしたが、第３の実施形態に係るプロジェクタ２０２ａは、無彩色領域に替えて、有彩色領域を特定の領域として選択する。以下、第３の実施形態に係るマルチ投影システムについて説明する。図１２は、第３の実施形態に係るプロジェクタ２０２ａによる接続管理処理のフローチャートである。Ｓ１２００及びＳ１２０１の処理は、図６を参照しつつ説明したＳ６０１及びＳ６０２の処理と同様である。制御部２２６は、ＲＧＢ画像及びＩＲ画像を受信すると（Ｓ１２００でＹＥＳ、Ｓ１２０１でＹＥＳ）、処理をＳ１２０２へ進める。
【００７７】
Ｓ１２０２において、制御部２２６は、特徴量算出部２３１ａ，２３１ｃに対し、画像受信部２２１ａ，２２１ｃがそれぞれ受信したＲＧＢ画像とＩＲ画像から以下の条件を満たす領域を選択させる。ここで、条件は、ＲＧＢ画像とＩＲ画像において対応する位置にある画素の階調値の間に線形関係が成り立つことである。そして、制御部２２６は、特徴量算出部２３１ａ，２３１ｃに対して、選択させた領域に含まれる各画素の階調値を算出させる。特徴量算出部２３１ａ，２３１ｃは、例えばＲＧＢ画像とＩＲ画像において青空を示す領域を選択する。そして、特徴量算出部２３１ａ，２３１ｃは、選択した空（そら）領域の階調値を算出する。空の階調値は、画像特徴量の一例である。
【００７８】
特徴量算出部２３１ａは、ＲＧＢ画像１１０ａから、Ｒ／Ｇ／Ｂの各色成分のうちＢ成分の階調値が大きくＲ成分とＧ成分の階調値が小さく、かつ、ＲＧＢ画像１１０ａの上側の領域にある画素、すなわち空（そら）を示す画素を抽出する。抽出された画素をｐ［ｉ］と表記する。ここで、ｉ＝０，１，・・・，ｍ−１であり、ｍは抽出された画素の総数であるとする。さらに、特徴量算出部２３１ａは、ｐ［ｉ］のＲ成分の階調値だけを抽出する。ｐ［ｉ］のＲ成分の階調値をＲ［ｉ］と表記する。次に、特徴量算出部２３１ｃは、ＩＲ画像からｐ［ｉ］と対応する位置にある画素を抽出する。抽出された画素をｑ［ｉ］と表記する。さらに、特徴量算出部２３１ｃはｑ［ｉ］の階調値を抽出する。ｑ［ｉ］の階調値をＩＲ［ｉ］と表記する。
【００７９】
なお、本実施形態においては、特徴量算出部２３１ａは、ｐ［ｉ］のＲ成分の階調値を抽出することとしたが、これに限定されるものではなく、Ｇ成分やＢ成分の階調値を抽出してもよい。また、他の例としては、特徴量算出部２３１ａは、ＲＧＢの各成分に基づいた演算により、Ｙ（輝度）成分を求め、これを使用してもよい。
【００８０】
次に、Ｓ１２０３において、制御部２２６は、相違量算出部２３２に（式４）で示される相違量ｇ［ｉ］を算出させる。（式４）のｍｉｎＲはＲ［ｉ］の最小値、ｍｉｎＩＲはＩＲ［ｉ］の最小値である。
ｇ［ｉ］＝（Ｒ［ｉ］−ｍｉｎＲ）／（ＩＲ［ｉ］−ｍｉｎＩＲ）      …（式４）
【００８１】
次に、Ｓ１２０４において、制御部２２６は、相関量算出部２３３に、画像の相関量として、（式５）で示される統計量としての分散Ｖを算出させる。（式５）において、ｖａｒ（ｇ［ｉ］）はｇ［ｉ］の標本分散である。
Ｖ＝ｖａｒ（ｇ［ｉ］）      …（式５）
【００８２】
次に、Ｓ１２０５において、制御部２２６は、Ｓ３４６にて算出した分散Ｖが閾値（例えば２５）以上であるか否かを判断する。制御部２２６は、閾値以上であると判断した場合には（Ｓ１２０５でＹＥＳ）、処理をＳ１２０６へ進める。制御部２２６は、閾値未満であると判断した場合は（Ｓ１２０５でＮＯ）、本変形例の動作フローを終了する。基準値以上であると判断した場合は、接続管理処理を終了する。Ｓ１２０６の処理は、図６に示すＳ６０６の処理と同様である。第３の実施形態に係るマルチ投影システムのこれ以外の構成及び処理は、他の実施形態に係るマルチ投影システムの構成及び処理と同様である。
【００８３】
第３の実施形態の変形例としては、Ｓ１２０４において、相関量算出部２３３は、統計量を算出すればよく、その値は分散Ｖに限定されるものではない。統計量は、ｇ［ｉ］の標準偏差や、ｇ［ｉ］の最大値と最小値の差など、ｇ［ｉ］のばらつき度合いを示す指標であればよい。
【００８４】
（第４の実施形態）
次に、第４の実施形態に係るマルチ投影システムについて、他の実施形態に係るマルチ投影システムと異なる点を主に説明する。第４の実施形態に係るマルチ投影システムにおいては、マスタとなるプロジェクタがマルチ投影システムのすべてのプロジェクタにおける可視光画像と不可視光画像の対応関係を判定し、判定結果から正しい接続先を特定し、これを表示する。
【００８５】
図１３は、第４の実施形態に係る接続管理処理を示すシーケンス図である。本実施形態においては、プロジェクタ２０２ａがマスタプロジェクタ、プロジェクタ２０２ｂがスレーブプロジェクタとして機能するものとする。Ｓ１３００において、マスタプロジェクの制御部２２６は、操作部２２７が有する不図示の専用ボタンがユーザにより押下されたことを検知する。次に、Ｓ１３０１において、マスタプロジェクタの制御部２２６は、ネットワークコントローラ２３０を介して、スレーブプロジェクタ（自装置以外の他の装置）に、画像要求を送信する。ここで、画像要求とは、スレーブプロジェクタが画像管理装置２００から受信したＲＧＢ画像及びＩＲ画像を要求し、さらに、これらに紐づいたポートの識別子とスレーブプロジェクタの識別子とを要求する情報である。
【００８６】
Ｓ１３０１において、スレーブプロジェクタの制御部２２６は、画像要求を受信すると、Ｓ１３０２において、返答として画像情報をマスタプロジェクタに送信する。ここで、画像情報には、画像要求に係る情報、すなわちＲＧＢ画像、ＩＲ画像が含まれている。画像情報にはさらに、これらに紐づいたポートの識別子とスレーブプロジェクタの識別子が含まれている。Ｓ１３０２において、マスタプロジェクタの制御部２２６は、スレーブプロジェクタから画像要求に対応した画像情報を受信する。
【００８７】
次に、Ｓ１３０３において、マスタプロジェクタの制御部２２６は、相関判定処理を行う。具体的には、マスタプロジェクタの制御部２２６は、取得したすべてのＩＲ画像を含むＩＲ画像群のＩＲ画像と、すべてのＲＧＢ画像を含むＲＧＢ画像群のＲＧＢ画像のすべての組み合わせに対し、相関判定処理を行う。ここで、相関判定処理とは、図６を参照しつつ説明したＳ６０２〜Ｓ６０５の処理を行った後で、相関量、すなわち面積比が閾値以上か否かに応じて、各プロジェクタにおけるＲＧＢ画像とＩＲ画像の対応関係を判定する処理である。相関判定処理は、画像特徴量を評価する評価処理、及び、評価結果に基づいて可視光画像と不可視光画像の対応関係を判定する判定処理の一例である。そして、制御部２２６は、対応関係から正しい接続先を特定する。次に、Ｓ１３０４において、マスタプロジェクタの制御部２２６は、正しい接続先を示す接続画面を投影表示するよう制御する。以上で、接続管理処理が終了する。
【００８８】
ここで、Ｓ１３０３の処理について詳述する。制御部２２６は、ＩＲ画像とＲＧＢ画像のすべての組み合わせに対し、相関判定処理を行い、判定結果を示す判定結果表を作成する。例えば、図３に示すように、画像ケーブル２０１ｃと画像ケーブル２０１ｄを逆に接続したとする。この場合には、図１４（ａ）に示すような判定結果表１４００が作成される。図１４（ａ）の判定結果表１４００は、画像ケーブル２０１ｃから入力されたＩＲ画像はプロジェクタ２０２ａのＲＧＢ画像に対応し、プロジェクタ２０２ｂのＲＧＢ画像には対応しないことを示している。また、画像ケーブル２０１ｄから入力されたＩＲ画像はプロジェクタ２０２ａのＲＧＢ画像には対応せず、プロジェクタ２０２ｂのＲＧＢ画像に対応することを示している。
【００８９】
例えば、画像ケーブル２０１ｃからプロジェクタ２０２ａに入力されたＩＲ画像と、プロジェクタ２０２ａのＲＧＢ画像の組み合わせに対し、相関判定処理を行う。これにより、画像ケーブル２０１ｃから入力されたＩＲ画像はプロジェクタ２０２ａのＲＧＢ画像に対応する（表における欄１４０１の〇）、という判定結果が得られる。また、画像ケーブル２０１ｃからプロジェクタ２０２ｂに入力されたＩＲ画像と、プロジェクタ２０２ｂのＲＧＢ画像の組み合わせに対し、相関判定処理を行う。これにより、画像ケーブル２０１ｃから入力されたＩＲ画像はプロジェクタ２０２ｂのＲＧＢ画像に対応しない（表における欄１４０２の×）、という判定結果が得られる。
【００９０】
そして、制御部２２６は、判定結果表に基づいて、正しい組み合わせを示す接続表を作成する。図１４（ｂ）は、図１４（ａ）に示す判定結果表１４００に対応する接続表１４１０を示す図である。図１４（ｂ）に示す接続表１４１０は、識別子がポートｃｃｃの画像ケーブルを識別子がａａａのプロジェクタ（プロジェクタ２０２ａ）に接続することを示している。また、識別子がポートｄｄｄの画像ケーブルを識別子がｂｂｂのプロジェクタ（プロジェクタ２０２ｂ）に接続することを示している。
【００９１】
図１５は、Ｓ１３０４において投影表示される接続画面１５００の一例を示す図である。接続画面１５００には接続表１４１０が含まれている。このように、本実施形態に係るマスタプロジェクタは、接続表が含まれた接続画面１５００を投影表示することができる。このため、ユーザは、接続画面１５００を見ることで、正しい組み合わせを把握し、接続ケーブルを接続し直すことができる。なお、第４の実施形態に係るマルチ投影システムのこれ以外の構成及び処理は、他の実施形態に係るマルチ投影システムの構成及び処理と同様である。
【００９２】
第４の実施形態の第１の変形例としては、各プロジェクタがマスタ及びスレーブの両機能を有していてもよい。この場合には、各プロジェクタがマスタ及びスレーブの両装置としての動作を行う。
【００９３】
また、第２の変形例としては、マルチ投影システムは３台以上のプロジェクタを有してもよい。この場合には、１台がマスタプロジェクタとして動作し、残りのプロジェクタはスレーブプロジェクタとして動作する。例えば、４台のプロジェクタ（プロジェクタａ〜ｄ）によってマルチ投影システムを構成したとする。この場合には、例えば、図１６（ａ）に示す判定結果表１６００が得られる。図１６（ｂ）は、図１６（ａ）に示す判定結果表１６００に基づいて作成された接続表を含む接続画面１６１０を示す図である。なお、図中のｗ，ｘ，ｙ，ｚは、ポートの識別子を指し、ａ，ｂ，ｃ，ｄはプロジェクタの識別子を指す。
【００９４】
第３の変形例としては、スレーブプロジェクタは、自装置に入力されたＲＧＢ画像とＩＲ画像の相関量を算出し、算出した相関量をマスタプロジェクタに送信してもよい。
第４の変形例としては、マスタプロジェクタは、接続表を投影表示すると共に、または接続表を投影表示するのに替えて、画像管理装置２００に信号入替指示を送信してもよい。ここで、信号入替指示は、接続が誤っていると判定された画像ケーブルを介して送信する画像信号を入れ替える指示である。これにより、ユーザが画像ケーブルを接続し直すことなく、画像の組み合わせを修正することができる。
【００９５】
以上、上述した各実施形態によれば、マルチ投影システムの設置に誤りが生じた場合に、ユーザに通知することができる。
【００９６】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００９７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
２００  画像管理装置
２０２ａ，２０２ｂ  プロジェクタ
２２６  制御部
【図１】
2019192958.tif 000003
【図２】
2019192958.tif 000004
【図３】
2019192958.tif 000005
【図４】
2019192958.tif 000006
【図５】
2019192958.tif 000007
【図６】
2019192958.tif 000008
【図７】
2019192958.tif 000009
【図８】
2019192958.tif 000010
【図９】
2019192958.tif 000011
【図１０】
2019192958.tif 000012
【図１１】
2019192958.tif 000013
【図１２】
2019192958.tif 000014
【図１３】
2019192958.tif 000015
【図１４】
2019192958.tif 000016
【図１５】
2019192958.tif 000017
【図１６】
2019192958.tif 000018