(57)【要約】【課題】複数の映像投影表示装置を用いて１つの大画面映像を容易に表示させること。【解決手段】映像処理装置１は、映像補正部１３、１４と、補正更新要否判断部２２と、補正パラメータ出力部２３と、を備える。映像補正部１３、１４は、投影部５、６のそれぞれから投影させる映像について、互いに重なる領域に歪み検出用マーカを設ける。補正更新要否判断部２２は、投影部５、６のそれぞれから投影させる映像を撮像部８で撮影し、撮影した映像に含まれる歪み検出用マーカの位置関係に応じて、補正完了か否かを判断する。補正パラメータ出力部２３は、補正更新要否判断部２２において補正未完了と判断された場合に、補正パラメータを更新する。【選択図】図１
2015023489.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像投影表示装置のそれぞれから映像をスクリーンに投影して表示させる映像処理装置であって、
前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され、
前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカを１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる映像補正手段と、
前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する補正更新要否判断手段と、
前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する補正パラメータ出力手段と、を備え、
前記映像補正手段は、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正することを特徴とする映像処理装置。
【請求項２】
前記補正更新要否判断手段は、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された各映像を前記撮像装置で撮影したものにおいて、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカを含む画像の画素値に関する差分絶対値和または差分二乗和を算出して評価値とし、当該評価値が予め定められた閾値よりも小さい場合には、前記補正完了と判断し、当該評価値が当該閾値以上である場合には、前記補正未完了と判断することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像補正手段は、前記補正パラメータに基づく補正により、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を行うことを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
予め定められた周期で前記複数の映像補正手段の中から１つずつ順番に、前記歪み検出用マーカを含む映像を対応する映像投影表示装置に投影させる同期制御手段を備えることを特徴とする請求項１から３のいずれかに記載の映像処理装置。
【請求項５】
前記補正更新要否判断手段および前記補正パラメータ出力手段のそれぞれは、前記映像補正手段から前記映像投影表示装置に映像が出力されてから、当該映像投影表示装置から前記スクリーンに投影された映像を前記撮像装置が撮影し、当該撮影した映像が当該補正更新要否判断手段および当該補正パラメータ出力手段のそれぞれに入力されるまでの遅延時間を考慮して、当該撮影した映像が前記複数の映像投影表示装置のいずれから投影された映像であるかを判別することを特徴とする請求項１から４のいずれかに記載の映像処理装置。
【請求項６】
前記遅延時間を測定する遅延時間測定手段を備えることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
映像補正手段、補正更新要否判断手段、および補正パラメータ出力手段を備え、複数の映像投影表示装置のそれぞれから映像をスクリーンに投影して表示させる映像処理装置における映像処理方法であって、
前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され、
前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカを１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる第１のステップと、
前記補正更新要否判断手段が、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する第２のステップと、
前記補正パラメータ出力手段が、前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する第３のステップと、を備え、
前記第１のステップでは、前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正することを特徴とする映像処理方法。
【請求項８】
映像補正手段、補正更新要否判断手段、および補正パラメータ出力手段を備え、複数の映像投影表示装置のそれぞれから映像をスクリーンに投影して表示させる映像処理装置における映像処理方法を、コンピュータに実行させるためのプログラムであって、
前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され、
前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカを１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる第１のステップと、
前記補正更新要否判断手段が、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する第２のステップと、
前記補正パラメータ出力手段が、前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する第３のステップと、をコンピュータに実行させ、
前記第１のステップでは、前記映像補正手段に、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、スクリーン上に映像を投影して表示させる映像投影表示装置（例えば、プロジェクタ）を複数組み合わせることで、１つの大画面映像を表示させる技術が提案されている。この技術によれば、映像投影表示装置のそれぞれから異なる映像を空間的に隣接させて投影することで、擬似的に高精細な映像を大きな表示領域に投影して、大画面の投影映像を実現することができる。
【０００３】
しかし、隣接する映像同士が離れて投影されていたり、隣接する映像同士が異なる傾きを持って投影されていたりすると、これら映像がスムーズに繋がらず、１つの大画面映像として表示させることができなくなってしまう。このため、複数の映像投影表示装置を用いて１つの大画面映像を実現するためには、それぞれの映像投影表示装置の設置位置を、厳密に調整する必要がある。
【０００４】
例えば特許文献１には、投影されている映像を撮影して状態を解析し、それぞれの映像投影表示装置から投影させる映像を解析結果に基づいて補正する技術が示されている。この技術によれば、スクリーンが曲面形状であったり凹凸を有していたりすることによって生じる幾何学歪みや色むらやシェーディングに対して、補正することができる。また、この技術を応用することで、それぞれの映像投影表示装置の設置位置を考慮して、それぞれの映像投影表示装置から投影させる映像を補正することも可能と考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−７２３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に示されている技術は、各映像投影表示装置の位置を厳密に検知できたり、各映像投影表示装置の位置を厳密に制御できたりすることを、大前提としている。しかし、特許文献１に示されている技術を一般的なユーザ宅内などで利用しようとした場合、各映像投影表示装置の位置を厳密に検知したり、各映像投影表示装置の位置を厳密に制御したりすることは、困難である。このため、複数の映像投影表示装置を用いて１つの大画面映像を表示させることは、容易ではなかった。
【０００７】
そこで、本発明は、上述の課題に鑑みてなされたものであり、複数の映像投影表示装置を用いて１つの大画面映像を容易に表示させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、以下の事項を提案している。
【０００９】
（１）  本発明は、複数の映像投影表示装置（例えば、図１の投影部５、６に相当）のそれぞれから映像をスクリーン（例えば、図１のスクリーン７に相当）に投影して表示させる映像処理装置（例えば、図１の映像処理装置１に相当）であって、前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され（例えば、図３の補正パラメータ生成用映像ｈのうち３つの歪み検出用マーカを含む右側の領域と、図４の補正パラメータ生成用映像ｉのうち３つの歪み検出用マーカを含む左側の領域と、が図５に示すように重ねてスクリーン７に投影されることに相当）、前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカ（例えば、図３、４の歪み検出用マーカに相当）を１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる映像補正手段（例えば、図１の映像補正部１３、１４に相当）と、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置（例えば、図１の撮像部８に相当）で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否か（例えば、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が一致するか否かに相当）を判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する補正更新要否判断手段（例えば、図１の補正更新要否判断部２２に相当）と、前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する補正パラメータ出力手段（例えば、図１の補正パラメータ出力部２３に相当）と、を備え、前記映像補正手段は、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正することを特徴とする映像処理装置を提案している。
【００１０】
この発明によれば、複数の映像投影表示装置のそれぞれから投影される各映像が他の映像の少なくとも一部と重ねてスクリーンに投影されるものとし、これら互いに重ねて投影される映像同士のそれぞれについて、重ねて投影される領域に１つ以上の歪み検出用マーカを設けるものとした。また、複数の映像投影表示装置のそれぞれからスクリーンに投影された映像を撮像装置で撮影し、撮影した映像において、これら複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、予め定められた位置関係にないと判別した場合に補正パラメータを更新するものとした。さらに、この補正パラメータに基づいて、複数の映像投影表示装置のそれぞれから投影させる映像を補正するものとした。
【００１１】
このため、各映像投影表示装置から投影されるそれぞれの歪み検出用マーカが予め定められた位置関係になるように、各映像投影表示装置から投影されるそれぞれの映像を補正することができる。したがって、各映像投影表示装置の位置を厳密に検知したり、各映像投影表示装置の位置を厳密に制御したりすることなく、容易に、各映像投影表示装置から投影される映像をスムーズに繋げて、１つの大画面映像として表示させることができる。
【００１２】
（２）  本発明は、（１）の映像処理装置について、前記補正更新要否判断手段は、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された各映像を前記撮像装置で撮影したものにおいて、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカを含む画像の画素値に関する差分絶対値和または差分二乗和を算出して評価値とし、当該評価値が予め定められた閾値よりも小さい場合には、前記補正完了と判断し、当該評価値が当該閾値以上である場合には、前記補正未完了と判断することを特徴とする映像処理装置を提案している。
【００１３】
この発明によれば、（１）の映像処理装置において、補正更新要否判断手段において、撮像装置で撮影した、各映像投影表示装置から投影された各歪み検出用マーカを含む画像の画素値に関する差分絶対値和または差分二乗和を算出し、算出結果に基づいて、これら歪み検出用マーカが予め定められた位置関係にあるか否かを判別することとした。このため、各映像投影表示装置から投影された各歪み検出用マーカが、予め定められた位置関係にあるか否かを、適切に判別することができる。
【００１４】
（３）  本発明は、（１）または（２）の映像処理装置について、前記映像補正手段は、前記補正パラメータに基づく補正により、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を行うことを特徴とする映像処理装置を提案している。
【００１５】
この発明によれば、（１）または（２）の映像処理装置において、補正パラメータに基づく補正により、各映像投影表示装置から投影される映像に対して、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を施すことができる。
【００１６】
（４）  本発明は、（１）から（３）のいずれかの映像処理装置について、予め定められた周期で前記複数の映像補正手段の中から１つずつ順番に、前記歪み検出用マーカを含む映像を対応する映像投影表示装置に投影させる同期制御手段（例えば、図１の同期制御部１２に相当）を備えることを特徴とする映像処理装置を提案している。
【００１７】
この発明によれば、（１）から（３）のいずれかの映像処理装置において、予め定められた周期で前記複数の映像補正手段の中から１つずつ順番に、歪み検出用マーカを含む映像を対応する映像投影表示装置に投影させるものとした。このため、撮像装置で撮影された映像が、どの映像投影表示装置から投影された映像であるのかを判別することができる。
【００１８】
（５）  本発明は、（１）から（４）のいずれかの映像処理装置について、前記補正更新要否判断手段および前記補正パラメータ出力手段のそれぞれは、前記映像補正手段から前記映像投影表示装置に映像が出力されてから、当該映像投影表示装置から前記スクリーンに投影された映像を前記撮像装置が撮影し、当該撮影した映像が当該補正更新要否判断手段および当該補正パラメータ出力手段のそれぞれに入力されるまでの遅延時間（例えば、後述の第１の映像遅延時間および第２の映像遅延時間に相当）を考慮して、当該撮影した映像が前記複数の映像投影表示装置のいずれから投影された映像であるかを判別することを特徴とする映像処理装置を提案している。
【００１９】
ここで、映像が映像投影表示装置に出力されてから、この映像がスクリーンに投影され、投影された映像が撮像装置で撮影されて補正更新要否判断手段や当該補正パラメータ出力手段に入力されるまでには、遅延時間が発生する。そこで、この発明によれば、（１）から（４）のいずれかの映像処理装置において、この遅延時間を考慮して、撮像装置で撮影された映像がどの映像投影表示装置から投影された映像であるのかを判別することとした。このため、撮像装置で撮影された映像がどの映像投影表示装置から投影された映像であるのかを、より正確に判別することができる。
【００２０】
（６）  本発明は、（５）の映像処理装置について、前記遅延時間を測定する遅延時間測定手段（例えば、図１の遅延調整用映像生成部１１および遅延検出部２１に相当）を備えることを特徴とする映像処理装置を提案している。
【００２１】
この発明によれば、（５）の映像処理装置において、上述の遅延時間を測定することができる。
【００２２】
（７）  本発明は、映像補正手段（例えば、図１の映像補正部１３、１４に相当）、補正更新要否判断手段（例えば、図１の補正更新要否判断部２２に相当）、および補正パラメータ出力手段（例えば、図１の補正パラメータ出力部２３に相当）を備え、複数の映像投影表示装置（例えば、図１の投影部５、６に相当）のそれぞれから映像をスクリーン（例えば、図１のスクリーン７に相当）に投影して表示させる映像処理装置（例えば、図１の映像処理装置１に相当）における映像処理方法であって、前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され（例えば、図３の補正パラメータ生成用映像ｈのうち３つの歪み検出用マーカを含む右側の領域と、図４の補正パラメータ生成用映像ｉのうち３つの歪み検出用マーカを含む左側の領域と、が図５に示すように重ねてスクリーン７に投影されることに相当）、前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカ（例えば、図３、４の歪み検出用マーカに相当）を１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる第１のステップと、前記補正更新要否判断手段が、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置（例えば、図１の撮像部８に相当）で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否か（例えば、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が一致するか否かに相当）を判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する第２のステップと、前記補正パラメータ出力手段が、前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する第３のステップと、を備え、前記第１のステップでは、前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正することを特徴とする映像処理方法を提案している。
【００２３】
この発明によれば、複数の映像投影表示装置のそれぞれから投影される各映像が他の映像の少なくとも一部と重ねてスクリーンに投影されるものとし、これら互いに重ねて投影される映像同士のそれぞれについて、重ねて投影される領域に１つ以上の歪み検出用マーカを設けるものとした。また、複数の映像投影表示装置のそれぞれからスクリーンに投影された映像を撮像装置で撮影し、撮影した映像において、これら複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、予め定められた位置関係にないと判別した場合に補正パラメータを更新するものとした。さらに、この補正パラメータに基づいて、複数の映像投影表示装置のそれぞれから投影させる映像を補正するものとした。
【００２４】
このため、各映像投影表示装置から投影されるそれぞれの歪み検出用マーカが予め定められた位置関係になるように、各映像投影表示装置から投影されるそれぞれの映像を補正することができる。したがって、各映像投影表示装置の位置を厳密に検知したり、各映像投影表示装置の位置を厳密に制御したりすることなく、容易に、各映像投影表示装置から投影される映像をスムーズに繋げて、１つの大画面映像として表示させることができる。
【００２５】
（８）  本発明は、映像補正手段（例えば、図１の映像補正部１３、１４に相当）、補正更新要否判断手段（例えば、図１の補正更新要否判断部２２に相当）、および補正パラメータ出力手段（例えば、図１の補正パラメータ出力部２３に相当）を備え、複数の映像投影表示装置（例えば、図１の投影部５、６に相当）のそれぞれから映像をスクリーン（例えば、図１のスクリーン７に相当）に投影して表示させる映像処理装置（例えば、図１の映像処理装置１に相当）における映像処理方法を、コンピュータに実行させるためのプログラムであって、前記複数の映像投影表示装置のそれぞれから投影される各映像は、当該映像を除く他の映像の少なくとも一部と重ねて前記スクリーンに投影され（例えば、図３の補正パラメータ生成用映像ｈのうち３つの歪み検出用マーカを含む右側の領域と、図４の補正パラメータ生成用映像ｉのうち３つの歪み検出用マーカを含む左側の領域と、が図５に示すように重ねてスクリーン７に投影されることに相当）、前記映像補正手段が、前記複数の映像投影表示装置のそれぞれから投影される映像のうち少なくとも一部同士が重ねて投影される映像同士のそれぞれについて、当該重ねて投影される領域に予め定められた歪み検出用マーカ（例えば、図３、４の歪み検出用マーカに相当）を１つ以上設けて、当該複数の映像投影表示装置のうち対応するものから投影させる第１のステップと、前記補正更新要否判断手段が、前記複数の映像投影表示装置のそれぞれから前記スクリーンに投影された映像を撮像装置（例えば、図１の撮像部８に相当）で撮影し、当該撮影した映像において、当該複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否か（例えば、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が一致するか否かに相当）を判別し、当該位置関係にあると判別した場合には補正完了と判断し、当該位置関係にないと判別した場合には補正未完了と判断する第２のステップと、前記補正パラメータ出力手段が、前記補正更新要否判断手段により補正完了と判断された場合には、記憶している補正パラメータを出力し、当該補正更新要否判断手段により補正未完了と判断された場合には、前記撮像装置により撮影された映像に含まれる前記歪み検出用マーカのそれぞれの位置関係に基づいて当該記憶している補正パラメータを更新して出力する第３のステップと、をコンピュータに実行させ、前記第１のステップでは、前記映像補正手段に、前記複数の映像投影表示装置のそれぞれから投影させる映像を、前記補正パラメータ出力手段から出力された補正パラメータに基づいて補正させるためのプログラムを提案している。
【００２６】
この発明によれば、複数の映像投影表示装置のそれぞれから投影される各映像が他の映像の少なくとも一部と重ねてスクリーンに投影されるものとし、これら互いに重ねて投影される映像同士のそれぞれについて、重ねて投影される領域に１つ以上の歪み検出用マーカを設けるものとした。また、複数の映像投影表示装置のそれぞれからスクリーンに投影された映像を撮像装置で撮影し、撮影した映像において、これら複数の映像投影表示装置のそれぞれから投影された歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、予め定められた位置関係にないと判別した場合に補正パラメータを更新するものとした。さらに、この補正パラメータに基づいて、複数の映像投影表示装置のそれぞれから投影させる映像を補正するものとした。
【００２７】
このため、各映像投影表示装置から投影されるそれぞれの歪み検出用マーカが予め定められた位置関係になるように、各映像投影表示装置から投影されるそれぞれの映像を補正することができる。したがって、各映像投影表示装置の位置を厳密に検知したり、各映像投影表示装置の位置を厳密に制御したりすることなく、容易に、各映像投影表示装置から投影される映像をスムーズに繋げて、１つの大画面映像として表示させることができる。
【発明の効果】
【００２８】
本発明によれば、各映像投影表示装置の位置を厳密に検知したり、各映像投影表示装置の位置を厳密に制御したりすることなく、容易に、各映像投影表示装置から投影される映像をスムーズに繋げて、１つの大画面映像として表示させることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係る映像処理装置のブロック図である。
【図２】前記実施形態に係る映像処理装置が出力する遅延調整用映像を示す図である。
【図３】前記実施形態に係る映像処理装置が出力する補正パラメータ生成用映像を示す図である。
【図４】前記実施形態に係る映像処理装置が出力する補正パラメータ生成用映像を示す図である。
【図５】前記実施形態に係る映像処理装置が出力する補正パラメータ生成用映像を示す図である。
【図６】前記実施形態に係る映像処理装置が出力する補正パラメータ生成用映像を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
［映像処理装置１の構成および動作］
図１は、本発明の一実施形態に係る映像処理装置１のブロック図である。映像処理装置１は、映像投影表示装置としての投影部５、６のそれぞれから、スクリーン７上に映像を投影して表示させる。また、映像処理装置１は、投影部５、６のそれぞれから投影された映像をスムーズに繋げて１つの大画面映像として表示させるために、投影部５から投影させる映像を補正するとともに、投影部６から投影させる映像を補正する。以降では、投影部５、６のそれぞれから投影させる映像を補正するための補正パラメータを、どのように決定するかについて説明する。
【００３１】
映像処理装置１は、映像出力部１０および映像解析部２０を備える。
（映像出力部１０の構成および動作）
映像出力部１０は、投影部５から投影させる映像ａを投影部５に出力するとともに、投影部６から投影させる映像ｂを投影部６に出力する。投影部５は、入力された映像ａをスクリーン７上に投影し、投影部６は、入力された映像ｂをスクリーン７上に投影する。映像出力部１０は、遅延調整用映像生成部１１と、同期制御部１２と、映像補正部１３、１４と、を備える。
【００３２】
遅延調整用映像生成部１１は、後述の遅延検出部２１において映像遅延時間ｊを検出する際に、予め定められた遅延調整用映像ｅを、遅延検出部２１に出力するとともに、投影部５、６に予め定められた周期で交互に出力する。なお、この周期は、後述の第１の映像遅延時間および後述の第２の映像遅延時間と比べて、大幅に長い時間であるものとする。
【００３３】
上述の映像遅延時間ｊは、投影部５に関する第１の映像遅延時間と、投影部６に関する第２の映像遅延時間と、で構成される。第１の映像遅延時間とは、映像ａが映像出力部１０から出力されてから、この映像ａが後述の撮像部８で撮影されて映像解析部２０に入力されるまでの時間のことである。また、第２の映像遅延時間とは、映像ｂが映像出力部１０から出力されてから、この映像ｂが後述の撮像部８で撮影されて映像解析部２０に入力されるまでの時間のことである。
【００３４】
なお、映像ａは、遅延調整用映像ｅと、後述の補正パラメータ生成用映像ｈと、のいずれかに適宜切り替わる。また、映像ｂは、遅延調整用映像ｅと、後述の補正パラメータ生成用映像ｉと、のいずれかに適宜切り替わる。
【００３５】
図２は、遅延調整用映像ｅを示す図である。この遅延調整用映像ｅは、第１のマーカと、第２のマーカと、第３のマーカと、の３つのマーカ画像を含んで構成される。第１のマーカと、第２のマーカと、第３のマーカとは、それぞれ固有のドットパターンで構成される。第１のマーカは、予め定められた位置に固定して配置され、第２のマーカは、第１のマーカから予め定められた間隔を空けた位置に固定して配置される。第３のマーカは、第１のマーカと第２のマーカとの間を予め定められた速度で往復移動する。
【００３６】
図１に戻って、同期制御部１２は、後述の補正パラメータ出力部２３において補正パラメータｇを生成する際に、同期制御信号ｆを出力する。同期制御信号ｆは、「１」または「０」で表される１ビットの情報であり、予め定められた周期で「１」と「０」とに交互に切り替わる。なお、この周期は、後述の第１の映像遅延時間および後述の第２の映像遅延時間と比べて、大幅に長い時間であるものとする。
【００３７】
映像補正部１３は、同期制御信号ｆと、補正パラメータｇと、を入力とする。この映像補正部１３は、同期制御信号ｆが「１」である期間に、補正パラメータ生成用映像ｈを補正パラメータｇに基づいて補正して出力する。これによれば、同期制御信号ｆが「１」である期間に、補正パラメータｇに基づいて補正された補正パラメータ生成用映像ｈが、投影部５によってスクリーン７上に投影されることになる。なお、補正パラメータ生成用映像ｈを補正パラメータｇに基づいて補正するとは、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を補正パラメータ生成用映像ｈに対して行って、補正パラメータ生成用映像ｈの歪み補正を行うということである。
【００３８】
図３は、補正パラメータ生成用映像ｈを示す図である。この補正パラメータ生成用映像ｈは、３つの歪み検出用マーカを含んで構成される。これら３つの歪み検出用マーカは、補正パラメータ生成用映像ｈの右端近傍に、予め定められた間隔を空けて縦方向に１列に固定して配置される。
【００３９】
図１に戻って、映像補正部１４は、同期制御信号ｆの論理がインバータＩＮＶにより反転されたものと、補正パラメータｇと、を入力とする。この映像補正部１４は、同期制御信号ｆが「０」である期間に、補正パラメータ生成用映像ｉを補正パラメータｇに基づいて補正して出力する。これによれば、同期制御信号ｆが「０」である期間に、補正パラメータｇに基づいて補正された補正パラメータ生成用映像ｉが、投影部６によってスクリーン７上に投影されることになる。なお、補正パラメータ生成用映像ｉを補正パラメータｇに基づいて補正するとは、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を補正パラメータ生成用映像ｉに対して行って、補正パラメータ生成用映像ｉの歪み補正を行うということである。
【００４０】
図４は、補正パラメータ生成用映像ｉを示す図である。この補正パラメータ生成用映像ｉは、３つの歪み検出用マーカを含んで構成される。補正パラメータ生成用映像ｉに含まれる３つの歪み検出用マーカのドットパターンは、上述の補正パラメータ生成用映像ｈに含まれる３つの歪み検出用マーカのドットパターンと同一である。補正パラメータ生成用映像ｉに含まれる３つの歪み検出用マーカは、補正パラメータ生成用映像ｉの左端近傍に、図３に示した補正パラメータ生成用映像ｈに含まれる３つの歪み検出用マーカと同一の間隔を空けて縦方向に１列に固定して配置される。
【００４１】
図５は、補正パラメータ生成用映像ｈが投影されている状態のスクリーン７の投影面と、補正パラメータ生成用映像ｉが投影されている状態のスクリーン７の投影面と、を重ねて表現した図である。投影部５は、補正パラメータ生成用映像ｈを、スクリーン７の投影面のうち左寄りに投影し、投影部６は、補正パラメータ生成用映像ｉを、スクリーン７の投影面のうち右寄りに投影する。また、補正パラメータ生成用映像ｈのうち上述の３つの歪み検出用マーカを含む右側の領域と、補正パラメータ生成用映像ｉのうち上述の３つの歪み検出用マーカを含む左側の領域と、が重なるように、投影部５、６のそれぞれは補正パラメータ生成用映像ｈ、ｉのそれぞれをスクリーン７の投影面に投影する。
（映像解析部２０の構成および動作）
図１に戻って、映像解析部２０は、投影部５、６のそれぞれから投影された映像を撮像部８で撮影し、撮影した映像に基づいて、投影部５、６のそれぞれから投影させる映像を補正するための補正パラメータｇを生成する。この映像解析部２０は、遅延検出部２１、補正更新要否判断部２２、および補正パラメータ出力部２３を備える。
【００４２】
遅延検出部２１は、遅延調整用映像ｅと、撮影映像ｃと、を入力とする。撮影映像ｃとは、スクリーン７に表示されている映像を撮像部８で撮影したもののことである。遅延検出部２１は、遅延調整用映像ｅに含まれている上述の３つのマーカ画像（図２参照）のそれぞれの位置と、撮影映像ｃに含まれている上述の３つのマーカ画像のそれぞれの位置と、を比較する。そして、遅延調整用映像ｅにおける第１のマーカおよび第２のマーカに対する第３のマーカの位置と、と撮影映像ｃにおける第１のマーカおよび第２のマーカに対する第３のマーカの位置と、の差異を検出する。
【００４３】
ここで、第３のマーカは、上述のように、第１のマーカと第２のマーカとの間を予め定められた速度で往復移動する。このため、遅延調整用映像生成部１１から投影部５に遅延調整用映像ｅが出力されている期間に上述の差異を検出することで、映像ａとして遅延調整用映像ｅが映像出力部１０から出力されてから、この遅延調整用映像ｅが撮像部８で撮影されて撮影映像ｃとして映像解析部２０に入力されるまでの時間（上述の第１の映像遅延時間）を検出することができる。また、遅延調整用映像生成部１１から投影部６に遅延調整用映像ｅが出力されている期間に上述の差異を検出することで、映像ｂとして遅延調整用映像ｅが映像出力部１０から出力されてから、この遅延調整用映像ｅが撮像部８で撮影されて撮影映像ｃとして映像解析部２０に入力されるまでの時間（上述の第２の映像遅延時間）を検出することができる。遅延検出部２１は、これら第１の映像遅延時間および第２の映像遅延時間を、映像遅延時間ｊとして出力する。
【００４４】
補正更新要否判断部２２は、同期制御信号ｆと、撮影映像ｃと、映像遅延時間ｊと、を入力とする。この補正更新要否判断部２２は、映像補正部１３、１４による補正が完了したか否か、すなわち投影部５、６のそれぞれから投影された映像がスムーズに繋がって１つの大画面映像として表示されるか否かを判断する。
【００４５】
具体的には、補正更新要否判断部２２は、まず、撮影映像ｃが、補正パラメータ生成用映像ｈを撮影したものなのか、補正パラメータ生成用映像ｉを撮影したものなのかを、判別する。この判別は、同期制御信号ｆの値と、映像遅延時間ｊに含まれる第１の映像遅延時間および第２の映像遅延時間と、を用いることで実現できる。
【００４６】
次に、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカ（図３参照）のそれぞれの画像およびそれぞれの近傍の画像の画素値と、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカ（図４参照）のそれぞれの画像およびそれぞれの近傍の画像の画素値と、に関する差分絶対値和または差分二乗和を算出して、評価値とする。この評価値は、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が予め定められた位置関係にある場合、本実施形態では、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が完全に一致した場合に、最小になる。なお、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカのそれぞれと、が図５に示した状態である場合には、これら歪み検出用マーカは一致していないことになる。
【００４７】
次に、上述の評価値が予め定められた閾値よりも小さい場合には、映像補正部１３、１４による補正が完了したと判断し、補正が完了したことを示す補正完了信号ｄを映像解析部２０の外部へ出力するとともに、補正パラメータ更新要否情報ｋとして補正が完了したことを示す情報を出力する。また、上述の評価値が上述の予め定められた閾値以上である場合には、映像補正部１３、１４による補正が完了していないと判断し、補正パラメータ更新要否情報ｋとして補正が完了していないことを示す情報を出力する。
【００４８】
補正パラメータ出力部２３は、同期制御信号ｆと、撮影映像ｃと、映像遅延時間ｊと、補正パラメータ更新要否情報ｋと、を入力とする。この補正パラメータ出力部２３は、補正パラメータ更新要否情報ｋに基づいて、映像補正部１３、１４による補正が完了したか否かを判別する。そして完了したと判別した場合には、記憶している補正パラメータを補正パラメータｇとして出力する。一方、完了していないと判別した場合には、補正パラメータ更新処理を行って補正パラメータを生成し、記憶している補正パラメータを生成した補正パラメータに更新するとともに、生成した補正パラメータを補正パラメータｇとして出力する。上述の補正パラメータ更新処理について、以下に説明する。
【００４９】
補正パラメータ更新処理では、補正パラメータ出力部２３は、まず、補正更新要否判断部２２と同様に、撮影映像ｃが、補正パラメータ生成用映像ｈを撮影したものなのか、補正パラメータ生成用映像ｉを撮影したものなのかを、同期制御信号ｆの値と、映像遅延時間ｊに含まれる第１の映像遅延時間および第２の映像遅延時間と、に基づいて判別する。
【００５０】
次に、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカと、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカと、に基づいて、これら歪み検出用マーカの一致評価を行って、上述の幾何学変換処理に関する補正パラメータを生成する。
【００５１】
なお、上述の歪み検出用マーカの一致評価では、例えば、局所探索法に基づく決定法を用いることができる。具体的には、まず、複数の離散的なパラメータの組み合わせを生成し、これらパラメータによる評価値を算出する。次に、算出した評価値の中で最も値の小さいパラメータの組み合わせを求める。次に、求めたパラメータ近傍について、複数の離散的なパラメータの組み合わせを再度生成し、これらパラメータによる評価値を算出する。以上の複数の離散的なパラメータの組み合わせの生成と、これらパラメータによる評価値の算出と、を適宜繰り返し、予め定められた閾値よりも評価値が小さくなった場合に、この評価値を算出した際のパラメータに基づいて補正パラメータを生成する。
【００５２】
以上の映像処理装置１によれば、以下の効果を奏することができる。
【００５３】
映像処理装置１は、投影部５から投影される補正パラメータ生成用映像ｈの一部と、投影部６から投影される補正パラメータ生成用映像ｉの一部と、が重ねてスクリーン７に投影されるものとし、これら互いに重ねて投影される補正パラメータ生成用映像ｈ、ｉのそれぞれについて、重ねて投影される領域に３つの歪み検出用マーカをそれぞれ設ける。また、投影部５、６のそれぞれからスクリーン７に投影された補正パラメータ生成用映像ｈ、ｉを撮像装置で撮影し、撮影した映像において、歪み検出用マーカのそれぞれが予め定められた位置関係にあるか否かを判別し、予め定められた位置関係にないと判別した場合に補正パラメータを更新する。さらに、この補正パラメータに基づいて、投影部５、６のそれぞれから投影させる映像を補正する。
【００５４】
このため、投影部５、６のそれぞれから投影されるそれぞれの歪み検出用マーカが予め定められた位置関係になるように、投影部５、６のそれぞれから投影される映像を補正することができる。したがって、投影部５、６のそれぞれの位置を厳密に検知したり、投影部５、６のそれぞれの位置を厳密に制御したりすることなく、容易に、投影部５、６のそれぞれから投影される映像をスムーズに繋げて、１つの大画面映像として表示させることができる。
【００５５】
また、映像処理装置１は、補正パラメータ生成用映像ｈを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカ（図３参照）のそれぞれの画像およびそれぞれの近傍の画像の画素値と、補正パラメータ生成用映像ｉを撮影した撮影映像ｃに含まれる３つの歪み検出用マーカ（図４参照）のそれぞれの画像およびそれぞれの近傍の画像の画素値と、に関する差分絶対値和または差分二乗和を算出し、算出結果に基づいて、これら歪み検出用マーカが予め定められた位置関係にあるか否かを判別する。このため、投影部５、６のそれぞれから投影された各歪み検出用マーカが、予め定められた位置関係にあるか否かを、適切に判別することができる。
【００５６】
また、映像処理装置１は、拡大縮小処理、平行移動処理、台形補正処理、または回転処理のうち少なくともいずれかによる幾何学変換処理を補正パラメータ生成用映像ｈ、ｉのそれぞれに対して行って、補正パラメータ生成用映像ｈ、ｉのそれぞれの歪み補正を行うことができる。
【００５７】
また、映像処理装置１は、同期制御部１２から出力される同期制御信号ｆに応じて、映像補正部１３、１４により交互に映像をスクリーン７に投影させる。このため、撮像部８で撮影された映像が、投影部５、６のうちどちらから投影された映像であるのかを判別することができる。
【００５８】
また、映像処理装置１は、第１の映像遅延時間および第２の映像遅延時間を検出し、これら映像遅延時間を考慮して、投影部５、６のうちどちらから投影された映像であるのかを判別する。このため、撮像部８で撮影された映像が投影部５、６のうちどちらから投影された映像であるのかを、より正確に判別することができる。
【００５９】
なお、本発明の映像処理装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像処理装置１に読み込ませ、実行することによって、本発明を実現できる。
【００６０】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像処理装置１に設けられたプロセッサによって行われる。
【００６１】
また、上述のプログラムは、このプログラムを記憶装置などに格納した映像処理装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６２】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像処理装置１にすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６３】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【００６４】
例えば、上述の実施形態では、投影部５から投影される映像と、投影部６から投影される映像と、の２つの映像を横方向に並べて１つの大画面映像を表示させるものとしたが、これに限らない。例えば、２つの映像を縦方向に並べて１つの大画面映像を表示させるものとしてもよい。また、１２個の映像を、縦方向に３つ、横方向に４つ並べて１つの大画面映像を表示させるものとしてもよい。
【００６５】
また、上述の実施形態では、補正パラメータ生成用映像ｈ、ｉのそれぞれに含まれる歪み検出用マーカは、３つであるものとしたが、これに限らず、例えば、２つであってもよいし、５つであってもよい。
【００６６】
また、上述の実施形態では、補正パラメータ生成用映像ｈ、ｉのそれぞれに含まれる歪み検出用マーカは、同一のドットパターンであるものとしたが、これに限らない。例えば図６に示すように、補正パラメータ生成用映像ｈに含まれる歪み検出用マーカと、補正パラメータ生成用映像ｉに含まれる歪み検出用マーカとで、ドットパターンが異なるものとしてもよい。
【００６７】
図６は、補正パラメータ生成用映像ｈに含まれる歪み検出用マーカを「Ｌ」字状とし、補正パラメータ生成用映像ｉに含まれる歪み検出用マーカを「Ｌ」を１８０度上下反転させた形状とした例を示している。図６では、これら「Ｌ」字状の歪み検出用マーカと、「Ｌ」を１８０度上下反転させた形状の歪み検出用マーカと、が完全にかみ合っている状態を示しており、この状態において、補正更新要否判断部２２で算出される評価値が最小になる。
【００６８】
また、上述の実施形態では、補正更新要否判断部２２は、映像補正部１３、１４による補正が完了したと判断した場合に、補正が完了したことを示す補正完了信号ｄを映像解析部２０の外部へ出力するものとした。しかし、これに限らず、補正更新要否判断部２２は、映像補正部１３、１４による補正が完了したと判断した場合に、例えば補正パラメータ出力部２３に、補正パラメータｇを映像解析部２０の外部へ出力させてもよい。
【符号の説明】
【００６９】
１・・・映像処理装置
５、６・・・投影部
７・・・スクリーン
８・・・撮像部
１０・・・映像出力部
１１・・・遅延調整用映像生成部
１２・・・同期制御部
１３、１４・・・映像補正部
２０・・・映像解析部
２１・・・遅延検出部
２２・・・補正更新要否判断部
２３・・・補正パラメータ出力部
【図１】
2015023489.tif 000003
【図２】
2015023489.tif 000004
【図３】
2015023489.tif 000005
【図４】
2015023489.tif 000006
【図５】
2015023489.tif 000007
【図６】
2015023489.tif 000008