(57)【要約】  本技術は、より容易に明るさ補正の補正量の較正を行うことができるようにする画像処理装置および方法に関する。本技術の画像処理装置は、画像を投影する投影部からその画像が投影される投影面までの距離とその投影部の特性とに応じて、その画像の明るさを補正するブレンディング計算を行う。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ、プロジェクタおよびカメラを有する装置が協働するシステム等に適用することができる。
2016002511.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行うブレンディング計算部
を備える画像処理装置。
【請求項２】
前記ブレンディング計算部は、前記投影面に投影された互いの投影画像の少なくとも一部がオーバーラップする複数の投影部が投影する各画像について前記ブレンディング計算を行う
請求項１に記載の画像処理装置。
【請求項３】
前記ブレンディング計算部は、前記投影部から前記投影面までの距離に応じて、前記投影画像同士がオーバーラップする領域についての各画像の混合比に関する混合比情報を用いて、前記ブレンディング計算を行う
請求項２に記載の画像処理装置。
【請求項４】
前記混合比情報は、画素毎に前記混合比を示すマップ情報である
請求項３に記載の画像処理装置。
【請求項５】
前記ブレンディング計算部は、均等知覚色空間において前記混合比情報を用いて前記ブレンディング計算を行う
請求項３に記載の画像処理装置。
【請求項６】
前記混合比情報を生成する混合比情報生成部をさらに備え、
前記ブレンディング計算部は、前記混合比情報生成部により生成された前記混合比情報を用いて、前記ブレンディング計算を行う
請求項３に記載の画像処理装置。
【請求項７】
前記投影部の特性に応じて前記混合比情報を補正する混合比情報補正部をさらに備え、
前記ブレンディング計算部は、前記混合比情報補正部により補正された前記混合比情報を用いて、前記ブレンディング計算を行う
請求項３に記載の画像処理装置。
【請求項８】
前記投影部の特性に応じて前記混合比情報を補正する補正情報を生成する補正情報生成部をさらに備え、
前記混合比情報補正部は、前記補正情報生成部により生成された前記補正情報を用いて、前記混合比情報を補正する
請求項７に記載の画像処理装置。
【請求項９】
前記補正情報は、画素毎に前記混合比の補正値を示すマップ情報である
請求項８に記載の画像処理装置。
【請求項１０】
前記ブレンディング計算部により行われた前記ブレンディング計算により明るさが補正された前記画像に基づいて、投影部毎の、前記画像の明るさに関する輝度情報を補正する輝度情報補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
前記輝度情報は、前記投影部から前記投影面までの距離に基づいて決定される前記画像の明るさに関する情報である
請求項１０に記載の画像処理装置。
【請求項１２】
前記輝度情報は、画素毎に前記画像の明るさを示すマップ情報である
請求項１１に記載の画像処理装置。
【請求項１３】
前記輝度情報補正部により補正された前記輝度情報を用いて、投影する画像の明るさを補正する画像補正部をさらに備える
請求項１０に記載の画像処理装置。
【請求項１４】
前記画像補正部は、均等知覚色空間において前記画像の明るさを補正する
請求項１３に記載の画像処理装置。
【請求項１５】
前記画像補正部により明るさが補正された前記画像を投影する投影部をさらに備える
請求項１３に記載の画像処理装置。
【請求項１６】
前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成する輝度情報生成部をさらに備え、
前記輝度情報補正部は、前記輝度情報生成部により生成された前記輝度情報を補正する
請求項１０に記載の画像処理装置。
【請求項１７】
前記投影面に投影された前記投影画像の撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する距離算出部をさらに備え、
前記輝度情報生成部は、前記距離算出部により算出された前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成する
請求項１６に記載の画像処理装置。
【請求項１８】
前記距離算出部は、前記投影部近傍に設けられた撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する
請求項１７に記載の画像処理装置。
【請求項１９】
前記撮像部をさらに備え、
前記距離算出部は、前記撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する
請求項１７に記載の画像処理装置。
【請求項２０】
画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行う
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法に関し、特に、より容易に明るさ補正の補正量の較正を行うことができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、複数のプロジェクタから投影される投影画像の一部若しくは全部が互いに重なるようにして１つの画像を投影する方法がある。投影画像の明るさを一様にすると、このような投影画像が重なっている部分（オーバーラップ領域とも称する）の明るさが他の領域と異なるおそれがあった。そのため、このようなオーバーラップ領域について明るさ補正を行う必要がある。そこで、このようなオーバーラップ領域の明るさ補正を行う方法が考えられた（例えば、特許文献１乃至特許文献３参照）。【０００３】
しかしながら、特許文献１乃至特許文献３に記載の方法では、ユーザが手動で明るさ補正量のキャリブレーションを行う必要があり、そのキャリブレーションに煩雑な作業を必要とした。したがって、これらの方法は、システムの運用開始後のキャリブレーションとして用いるには不向きであった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８８４０４号公報
【特許文献２】特開２０１０−２３７６３３号公報
【特許文献３】特開２００９−２６０９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、プロジェクタのような光源は経年変化し易く、その変化状況によって投影画像の明るさが変化するおそれがあった。したがって、出荷時若しくは設置時における明るさ補正量のキャリブレーションだけでは、経年変化とともに画質が低減するおそれがあり、十分では無かった。そこで、運用開始後も容易にキャリブレーションを行うことができる方法が求められていた。【０００６】
本技術は、このような状況に鑑みて提案されたものであり、より容易に明るさ補正の補正量の較正を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本技術の一側面は、画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行うブレンディング計算部を備える画像処理装置である。【０００８】
前記ブレンディング計算部は、前記投影面に投影された互いの投影画像の少なくとも一部がオーバーラップする複数の投影部が投影する各画像について前記ブレンディング計算を行うことができる。【０００９】
前記ブレンディング計算部は、前記投影部から前記投影面までの距離に応じて、前記投影画像同士がオーバーラップする領域についての各画像の混合比に関する混合比情報を用いて、前記ブレンディング計算を行うことができる。【００１０】
前記混合比情報は、画素毎に前記混合比を示すマップ情報であるようにすることができる。【００１１】
前記ブレンディング計算部は、均等知覚色空間において前記混合比情報を用いて前記ブレンディング計算を行うことができる。【００１２】
前記混合比情報を生成する混合比情報生成部をさらに備え、前記ブレンディング計算部は、前記混合比情報生成部により生成された前記混合比情報を用いて、前記ブレンディング計算を行うことができる。【００１３】
前記投影部の特性に応じて前記混合比情報を補正する混合比情報補正部をさらに備え、前記ブレンディング計算部は、前記混合比情報補正部により補正された前記混合比情報を用いて、前記ブレンディング計算を行うことができる。【００１４】
前記投影部の特性に応じて前記混合比情報を補正する補正情報を生成する補正情報生成部をさらに備え、前記混合比情報補正部は、前記補正情報生成部により生成された前記補正情報を用いて、前記混合比情報を補正することができる。【００１５】
前記補正情報は、画素毎に前記混合比の補正値を示すマップ情報であるようにすることができる。【００１６】
前記ブレンディング計算部により行われた前記ブレンディング計算により明るさが補正された前記画像に基づいて、投影部毎の、前記画像の明るさに関する輝度情報を補正する輝度情報補正部をさらに備えることができる。【００１７】
前記輝度情報は、前記投影部から前記投影面までの距離に基づいて決定される前記画像の明るさに関する情報であるようにすることができる。【００１８】
前記輝度情報は、画素毎に前記画像の明るさを示すマップ情報であるようにすることができる。【００１９】
前記輝度情報補正部により補正された前記輝度情報を用いて、投影する画像の明るさを補正する画像補正部をさらに備えることができる。【００２０】
前記画像補正部は、均等知覚色空間において前記画像の明るさを補正することができる。【００２１】
前記画像補正部により明るさが補正された前記画像を投影する投影部をさらに備えることができる。【００２２】
前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成する輝度情報生成部をさらに備え、前記輝度情報補正部は、前記輝度情報生成部により生成された前記輝度情報を補正することができる。【００２３】
前記投影面に投影された前記投影画像の撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する距離算出部をさらに備え、前記輝度情報生成部は、前記距離算出部により算出された前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成することができる。【００２４】
前記距離算出部は、前記投影部近傍に設けられた撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出することができる。【００２５】
前記撮像部をさらに備え、前記距離算出部は、前記撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出することができる。【００２６】
本技術の一側面は、また、画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行う画像処理方法である。【００２７】
本技術の一側面においては、画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算が行われる。
【発明の効果】
【００２８】
本技術によれば、投影する画像について処理を行うことが出来る。また本技術によれば、より容易に明るさ補正の補正量の較正を行うことができる。
【図面の簡単な説明】
【００２９】
【図１】投影撮像システムの主な構成例を示す図である。
【図２】コントロールユニットの主な構成例を示すブロック図である。
【図３】CPUにおいて実現される主な機能の構成例を示す機能ブロック図である。
【図４】投影撮像装置の外観の例について説明する図である。
【図５】投影撮像装置の主な構成例を示すブロック図である。
【図６】投影部の主な構成例を示すブロック図である。
【図７】レーザ光の走査の様子の例を示す図である。
【図８】制御部の主な構成例を示すブロック図である。
【図９】明るさ補正量の較正に関する処理の流れの例を説明するフローチャートである。
【図１０】ブレンディング処理の流れの例を説明するフローチャートである。
【図１１】輝度補正Map生成処理の流れの例を説明するフローチャートである。
【図１２】αMap生成処理の流れの例を説明するフローチャートである。
【図１３】ブレンディング計算処理の流れの例を説明するフローチャートである。
【図１４】明るさ補正処理の流れの例を説明するフローチャートである。
【図１５】投影撮像システムの他の構成例を示す図である。
【図１６】明るさ補正処理の流れの他の例を説明するフローチャートである。
【図１７】投影撮像システムのさらに他の構成例を示す図である。
【図１８】投影撮像システムのさらに他の構成例を示す図である。
【図１９】投影撮像システムのさらに他の構成例を示す図である。
【発明を実施するための形態】
【００３０】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
【００３１】
＜１．第１の実施の形態＞
＜オーバラップ領域と明るさ補正＞
従来、複数のプロジェクタから投影される投影画像の一部若しくは全部が互いに重なるようにして１つの画像を投影する方法がある。投影画像の明るさを一様にすると、このような投影画像が重なっている部分（オーバーラップ領域とも称する）の明るさが他の領域と異なるおそれがあった。そのため、このようなオーバーラップ領域について明るさ補正を行う必要がある。そこで、特許文献１乃至特許文献３に記載のような、オーバーラップ領域の明るさ補正を行う方法が様々に考えられた。
【００３２】
ところで、例えば、使用するプロジェクタの仕様や台数、各プロジェクタの設置位置や投影面までの距離等、運用の仕方や環境はシステムによって異なるので、このような明るさ補正の補正量はシステム毎に設定（較正（キャリブレーションとも称する））する必要がある。このようなキャリブレーションを行うタイミングとしては、システムの出荷時（設置時）の他に、システムの運用開始後も考えられる。運用開始後に行う場合、システムの運用中や休止中等に定期的若しくは不定期に複数回行うことが考えられるので、キャリブレーションは、より容易かつより短時間に行うことができるのが望ましい。
【００３３】
しかしながら、特許文献１乃至特許文献３に記載の方法では、ユーザが手動で明るさ補正量のキャリブレーションを行う必要があり、そのキャリブレーションに煩雑な作業を必要とした。したがって、これらの方法は、システムの運用開始後のキャリブレーションとして用いるには不向きであった。
【００３４】
しかしながら、プロジェクタのような光源は経年変化し易く、その変化状況によって投影画像の明るさが変化するおそれがあった。したがって、出荷時における明るさ補正量のキャリブレーションだけでは、経年変化とともに画質が低減するおそれがあり、十分では無かった。そこで、より容易なキャリブレーション方法が求められていた。
【００３５】
このような明るさ補正を検出する方法として、例えば、全体を俯瞰するカメラを使用し、そのカメラで得られる映像を基に画像処理により補正を行う方法が考えられる。この場合、プロジェクタの他に全体を俯瞰できる場所、たとえば観客席やスクリーンの正面などにカメラを設置しなければならず、気軽にキャリブレーションを行うことは困難であった。
【００３６】
また、この手法ではオーバーラップ領域の明るさ補正精度が俯瞰カメラの性能に依存するため、明るさ補正の結果がカメラセンサの性能に大きく左右されてしまうおそれがあった。つまり、明るさ補正量のキャリブレーションの精度がカメラの性能に依存する。つまり、明るさ補正の精度が低減しないようにキャリブレーションを行うために、カメラには、より高画質な撮像画像を得ることが求められる。
【００３７】
しかしながら、一般的に、プロジェクタを投影する場所は暗所が多いが、イメージセンサは、暗所である程高画質な撮像が困難になる。そのため、明るさ補正の精度が低減しないようにキャリブレーションを行うためには、カメラに対して、そのような暗所で高画質な映像を得ることができる程高い性能が求められ、安価に実現することが困難であった。
【００３８】
＜明るさ補正量のキャリブレーション＞
そこで、画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行うようにする。
【００３９】
このようにすることにより、より容易に明るさ補正の補正量の較正を行うことができる。
【００４０】
なお、前記投影面に投影された互いの投影画像の少なくとも一部がオーバーラップする複数の投影部が投影する各画像について前記ブレンディング計算を行うようにしてもよい。
【００４１】
また、前記投影部から前記投影面までの距離に応じて、前記投影画像同士がオーバーラップする領域についての各画像の混合比に関する混合比情報を用いて、前記ブレンディング計算を行うようにしてもよい。
【００４２】
なお、前記混合比情報は、画素毎に前記混合比を示すマップ情報であるようにしてもよい。
【００４３】
また、均等知覚色空間において前記混合比情報を用いて前記ブレンディング計算を行うようにしてもよい。
【００４４】
前記混合比情報を生成するようにしてもよい。そして、生成された前記混合比情報を用いて、前記ブレンディング計算を行うようにしてもよい。
【００４５】
前記投影部の特性に応じて前記混合比情報を補正するようにしてもよい。そして、補正された前記混合比情報を用いて、前記ブレンディング計算を行うようにしてもよい。
【００４６】
前記投影部の特性に応じて前記混合比情報を補正する補正情報を生成するようにしてもよい。そして、生成された前記補正情報を用いて、前記混合比情報を補正するようにしてもよい。
【００４７】
前記補正情報は、画素毎に前記混合比の補正値を示すマップ情報であるようにしてもよい。
【００４８】
前記ブレンディング計算により明るさが補正された前記画像に基づいて、投影部毎の、前記画像の明るさに関する輝度情報を補正するようにしてもよい。
【００４９】
前記輝度情報は、前記投影部から前記投影面までの距離に基づいて決定される前記画像の明るさに関する情報であるようにしてもよい。
【００５０】
前記輝度情報は、画素毎に前記画像の明るさを示すマップ情報であるようにしてもよい。
【００５１】
補正された前記輝度情報を用いて、投影する画像の明るさを補正するようにしてもよい。
【００５２】
また、均等知覚色空間において前記画像の明るさを補正するようにしてもよい。
【００５３】
明るさが補正された前記画像を投影する投影部をさらに備えるようにしてもよい。
【００５４】
前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成するようにしてもよい。そして、生成された前記輝度情報を補正するようにしてもよい。
【００５５】
前記投影面に投影された前記投影画像の撮像画像に基づいて、前記投影部から前記投影面までの距離を算出するようにしてもよい。そして、その算出された前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成するようにしてもよい。
【００５６】
前記投影部近傍に設けられた撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出するようにしてもよい。
【００５７】
前記撮像部をさらに備えるようにしてもよい。そして前記撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出するようにしてもよい。
【００５８】
＜投影撮像システム＞
このような本技術を適用した画像処理装置の一実施の形態であるコントロールユニットを適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、画像を投影するシステムである。この投影撮像システム１００は、例えば、上述したように複数の投影装置（投影撮像装置）を用いて（協働させて）、１つの画像、または複数の関連する画像を投影することができる。図１に示されるように、投影撮像システム１００は、コントロールユニット１０１、投影撮像装置１０２−１および投影撮像装置１０２−２、並びに通信ケーブル１０３−１および通信ケーブル１０３−２を有する。
【００５９】
コントロールユニット１０１は、通信ケーブル１０３−１を介して投影撮像装置１０２−１に接続されており、投影撮像装置１０２−１と通信を行い、その動作を制御する。また、コントロールユニット１０１は、通信ケーブル１０３−２を介して投影撮像装置１０２−２に接続されており、投影撮像装置１０２−２と通信を行い、その動作を制御する。
【００６０】
また、例えば、コントロールユニット１０１は、投影撮像装置１０２−１および投影撮像装置１０２−２の投影画像の明るさ補正の補正量の較正（キャリブレーション）に関する処理を行う。
【００６１】
投影撮像装置１０２−１は、投影機能を有し、スクリーン１０４に画像を投影することができる。また、投影撮像装置１０２−１は、撮像機能も有し、スクリーン１０４に投影された投影画像を撮像することができる。つまり、投影撮像装置１０２−１は、投影機能を有する投影部を有し、さらにその投影部の近傍に、撮像機能を有する撮像部とを有する。
【００６２】
投影撮像装置１０２−２は、投影撮像装置１０２−１と同様の装置であり、同様の構成を有し、同様の機能を有する。投影撮像装置１０２−１および投影撮像装置１０２−２を互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。
【００６３】
また、通信ケーブル１０３−１は、例えば、HDMI（登録商標）（High-Definition Multimedia Interface）に準拠したケーブルである。もちろん、通信ケーブル１０３が対応する通信規格は任意であり、例えばディスプレイポート（DisplayPort）等、HDMI（登録商標）以外の規格であってもよい。
【００６４】
通信ケーブル１０３−２は、通信ケーブル１０３−１と同様の規格に対応する通信媒体である。以下において、通信ケーブル１０３−１および通信ケーブル１０３−２を互いに区別して説明する必要が無い場合、通信ケーブル１０３と称する。
【００６５】
スクリーン１０４は、投影撮像装置１０２が画像を投影する面（投影面）の一例である。このスクリーン１０４は、平面であってもよいし、曲面であってもよい。例えばスクリーン１０４の表面に凹凸が形成されていてもよい。また、スクリーン１０４の色は任意である。なお、スクリーン１０４の代わりに所定の立体構造物（例えば建造物、壁、床、天井、家具、小物、生物等）を投影面としてもよい。
【００６６】
コントロールユニット１０１と各投影撮像装置１０２とは、通信ケーブル１０３を介して互いに接続されており、情報を授受することができる（通信を行うことができる）。また、投影撮像装置１０２同士も、この通信ケーブル１０３を介して、情報を授受することができる（通信を行うことができる）。
【００６７】
例えば、コントロールユニット１０１は、投影撮像装置１０２−１および投影撮像装置１０２−２を制御し、画像をスクリーン１０４に投影させることができる。図１において、投影画像１０５−１は、投影撮像装置１０２−１によりスクリーン１０４に投影された投影画像を示し、投影画像１０５−２は、投影撮像装置１０２−２によりスクリーン１０４に投影された投影画像を示す。以下において、投影画像１０５−１および投影画像１０５−２を互いに区別して説明する必要が無い場合、投影画像１０５と称する。
【００６８】
図１に示されるように、投影撮像装置１０２−１および投影撮像装置１０２−２は、互いの投影画像１０５によって１つの領域（投影領域）が形成されるような位置および向きに設置されている。このように、各投影画像１０５で１つの投影領域を形成することにより、例えば、図１の一点鎖線で示される枠のように、各投影画像１０５よりも大きな画像１０６を投影させることができる。つまり、コントロールユニット１０１は、各投影撮像装置１０２を協働させ、それぞれの投影画像１０５よりも大きな投影画像を投影させることができる。
【００６９】
なお、図１に示されるように、投影撮像装置１０２−１および投影撮像装置１０２−２は、互いの投影画像１０５の一部が重なり合う（オーバーラップする）ように設置されている。図１に示される斜線部分がその投影画像１０５同士が重なり合う領域（オーバーらーっぷ領域とも称する）を示している。現実的に、各投影画像１０５を隙間なく、かつ、互いが重ならないように並べることは困難である。したがって、このようなオーバーラップ領域１０７を設けることにより、より容易に１つの投影領域を形成することができる。つまり、より容易に大きな画像１０６を投影させることができる。
【００７０】
ただし、このようなオーバーラップ領域１０７では、投影画像１０５が複数投影されるので、単数の投影画像１０５しか投影されない他の領域に比べて明るくなってしまう可能性がある。このように明るさのムラが生じると、ユーザから視て投影画像の画質が低減してしまう。
【００７１】
そこで、投影撮像システム１００（コントロールユニット１０１や投影撮像装置１０２）は、このような明るさのムラを低減させるように、投影画像に対して明るさの補正を行う。そのためには、上述したように明るさ補正の補正量のキャリブレーションが必要になるが、その際、投影撮像システム１００は、より容易に明るさ補正量のキャリブレーションを行うことができるように、各投影撮像装置１０２の撮像部に投影画像を撮像させ、その撮像画像を用いて、キャリブレーションを行う。
【００７２】
ただし、その撮像画像は、投影画像の明るさの判定に用いるのではなく、投影面（例えばスクリーン１０４）の奥行き情報（投影撮像装置１０２（投影部）からの距離）を生成するために用いられる。明るさ補正量のキャリブレーションには、その奥行き情報が用いられる。詳細については後述する。
【００７３】
＜制御装置＞
図２は、本技術を適用した情報処理装置の一実施の形態であるコントロールユニット１０１の主な構成例を示す図である。
【００７４】
図２に示されるように、コントロールユニット１０１において、CPU（Central Processing Unit）１５１、ROM（Read Only Memory）１５２、RAM（Random Access Memory）１５３は、バス１５４を介して相互に接続されている。
【００７５】
バス１５４にはまた、入出力インタフェース１６０も接続されている。入出力インタフェース１６０には、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５が接続されている。
【００７６】
入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部１６１に含まれるようにしてもよい。
【００７７】
出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
【００７８】
記憶部１６３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置と通信を行う。ドライブ１６５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１を駆動する。
【００７９】
CPU１５１は、例えば、記憶部１６３に記憶されているプログラムを、入出力インタフェース１６０およびバス１５４を介して、RAM１５３にロードして実行することにより、各種処理を行う。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８０】
CPU１５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１７１に記録してコントロールユニット１０１に提供することができる。その場合、プログラムは、リムーバブルメディア１７１をドライブ１６５に装着することにより、入出力インタフェース１６０を介して、記憶部１６３にインストールすることができる。
【００８１】
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してコントロールユニット１０１に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部１６４で受信し、記憶部１６３にインストールすることができる。
【００８２】
その他、このプログラムは、ROM１５２や記憶部１６３に、あらかじめインストールしておくこともできる。
【００８３】
＜機能ブロック＞
コントロールユニット１０１のCPU１５１は、プログラムを実行することにより、各種機能を実現する。図３は、CPU１５１が実現する主な機能の例を示す機能ブロック図である。
【００８４】
図３に示されるように、CPU１５１は、ブレンディング処理部１８１、輝度Map補正部１８２、および画像処理部１８３等の機能ブロックを有する。ブレンディング処理部１８１は、オーバーラップ領域１０７における投影画像１０５同士の混合（ブレンディング）に関する処理を行う。輝度Map補正部１８２は、画像を投影する際の明るさを画素毎に指定する設定情報である輝度Mapの補正に関する処理を行う。画像処理部１８３は、投影する画像に対する画像処理に関する処理を行う。
【００８５】
ブレンディング処理部１８１は、輝度補正Map生成部１９１、αMap生成部１９２、輝度補正Map補正部１９３、およびブレンディング計算部１９４を有する。
【００８６】
輝度補正Map生成部１９１は、αMapを補正するための補正情報である輝度補正Mapの生成に関する処理を行う。αMap生成部１９２は、オーバーラップ領域１０７における各投影画像１０５の混合比を画素毎に示すαMapの生成に関する処理を行う。輝度補正Map補正部１９３は、輝度補正Map生成部１９１が生成する輝度補正Mapを用いて、αMap生成部１９２が生成したαMapの補正に関する処理を行う。ブレンディング計算部１９４は、輝度補正Map補正部１９３により補正されたαMapを用いた投影画像１０５同士のブレンディングに関する処理を行う。
【００８７】
＜投影撮像装置の外観＞
図４に投影撮像装置１０２の外観の例を示す。投影撮像装置１０２は、上述したように投影部と撮像部を有しており、その筐体には、画像を投影するための投射口（レンズ機構）や、被写体を撮像するためのカメラ（レンズ機構）等の光学デバイスが設けられている。また、投影撮像装置１０２は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図４に示されるように、投影撮像装置１０２の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置１０２を駆動させることができるので、その設置位置の自由度を向上させることができる。
【００８８】
＜投影撮像装置＞
図５は、投影撮像装置１０２の主な構成例を示すブロック図である。
【００８９】
図５に示されるように、投影撮像装置１０２は、制御部２０１、投影部２０２、撮像部２０３、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
【００９０】
制御部２０１は、例えば、CPU、ROM、RAM等よりなり、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。投影部２０２は、制御部２０１に制御されて、画像の投影に関する処理を行う。例えば、投影部２０２は、制御部２０１から供給される画像を投影撮像装置１０２の外部（例えばスクリーン１０４等）に投影する。つまり、投影部２０２は、投影機能を実現する。
【００９１】
投影部２０２は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部２０２の光源は任意であり、レーザ光に限らず、LEDやキセノン等であってもよい。投影部２０２の詳細については後述する。
【００９２】
撮像部２０３は、制御部２０１に制御されて、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部２０１に供給する。つまり、撮像部２０３は、撮像機能を実現する。例えば、撮像部２０３は、投影部２０２がスクリーン１０４に投影した投影画像を撮像する。
【００９３】
入力部２１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部２１１に含まれるようにしてもよい。
【００９４】
出力部２１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２１２には、ディスプレイ、スピーカ、出力端子等が含まれる。
【００９５】
記憶部２１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部２１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置（例えば、コントロールユニット１０１や他の投影撮像装置１０２）と通信を行う。ドライブ２１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２１を駆動する。
【００９６】
制御部２０１は、例えば、記憶部２１３に記憶されているプログラムを、自身に内蔵されるRAMにロードして実行することにより、各種処理を行う。そのRAMにはまた、制御部２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００９７】
制御部２０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２２１に記録して投影撮像装置１０２に提供することができる。その場合、プログラムは、リムーバブルメディア２２１をドライブ２１５に装着することにより、記憶部２１３にインストールすることができる。
【００９８】
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して投影撮像装置１０２に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部２１４で受信し、記憶部２１３にインストールすることができる。
【００９９】
その他、このプログラムは、制御部２０１に内蔵されるROMや記憶部２１３に、あらかじめインストールしておくこともできる。
【０１００】
投影撮像装置１０２−１も投影撮像装置１０２−２もこのような構成を有する。
【０１０１】
＜投影部＞
図６は、投影部２０２の主な構成例を示すブロック図である。図６に示されるように、投影部２０２は、ビデオプロセッサ２５１、レーザドライバ２５２、レーザ出力部２５３−１、レーザ出力部２５３−２、レーザ出力部２５３−３、ミラー２５４−１、ミラー２５４−２、ミラー２５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ２５５、および、MEMSミラー２５６を有する。
【０１０２】
ビデオプロセッサ２５１は、制御部２０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ２５１は、その投影する画像をレーザドライバ２５２やMEMSドライバ２５５に供給する。
【０１０３】
レーザドライバ２５２は、ビデオプロセッサ２５１から供給される画像を投影するように、レーザ出力部２５３−１乃至レーザ出力部２５３−３を制御する。レーザ出力部２５３−１乃至レーザ出力部２５３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ２５２は、ビデオプロセッサ２５１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部２５３−１乃至レーザ出力部２５３−３を互いに区別して説明する必要が無い場合、レーザ出力部２５３と称する。
【０１０４】
ミラー２５４−１は、レーザ出力部２５３−１から出力されるレーザ光を反射し、MEMSミラー２５６に誘導する。ミラー２５４−２は、レーザ出力部２５３−２から出力されるレーザ光を反射し、MEMSミラー２５６に誘導する。ミラー２５４−３は、レーザ出力部２５３−３から出力されるレーザ光を反射し、MEMSミラー２５６に誘導する。なお、ミラー２５４−１乃至ミラー２５４−３を互いに区別して説明する必要が無い場合、ミラー２５４と称する。
【０１０５】
MEMSドライバ２５５は、ビデオプロセッサ２５１から供給される画像を投影するように、MEMSミラー２５６のミラーの駆動を制御する。MEMSミラー２５６は、MEMSドライバ２５５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図７の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えばスクリーン１０４に照射される。これにより、ビデオプロセッサ２５１から供給される画像がスクリーン１０４に投影される。
【０１０６】
なお、図６の例においては、レーザ出力部２５３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部２５３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部２０２）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０２（投影部２０２）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー２５４やMEMSミラー２５６の構成も任意であり、図６の例に限定されない。もちろん、レーザ光の走査パターンは任意であり、図７の例に限定されない。
【０１０７】
＜機能ブロック＞
投影撮像装置１０２の制御部２０１は、プログラムを実行することにより、各種機能を実現する。図８は、制御部２０１が実現する主な機能の例を示す機能ブロック図である。
【０１０８】
図８に示されるように、制御部２０１は、姿勢計算部２７１、投影面輝度算出部２７２、輝度Map生成部２７３、および明るさ補正部２７４等の機能ブロックを有する。姿勢計算部２７１は、投影撮像装置１０２と投影面（例えばスクリーン１０４）との相対的な姿勢（位置や方向）を求める姿勢計算に関する処理を行う。
【０１０９】
投影面輝度算出部２７２は、投影部２０２から姿勢計算部２７１により求められた相対的な姿勢に示される投影面（例えばスクリーン１０４）までの距離に基づいて、その投影面における投影画像の明るさ（輝度）の算出に関する処理を行う。
【０１１０】
輝度Map生成部２７３は、投影面輝度算出部２７２により求められた投影面における投影画像の明るさ（輝度）のマップ情報である輝度Mapの生成に関する処理を行う。
【０１１１】
明るさ補正部２７４は、投影する画像に対する、輝度Mapを用いた明るさの補正に関する処理を行う。
【０１１２】
＜明るさ補正量の較正に関する処理の流れ＞
次に、上述したような構成の投影撮像システム１００の各装置により実行される、明るさ補正量の較正に関する処理の流れについて、図９のフローチャートを参照して説明する。
【０１１３】
処理が開始されると、投影撮像装置１０２−１および投影撮像装置１０２−２の姿勢計算部２７１は、それぞれ、撮像部２０３を用いてスクリーン１０４（スクリーン１０４に投影された投影画像１０５）を撮像し、得られた撮像画像を用いて姿勢計算を行う（ステップＳ１０１およびステップＳ１２１）。このとき、投影部２０２と撮像部２０３との画素対応関係（相対姿勢）は予めキャリブレーションされている。したがって、撮像部２０３の撮像画像から三角法等により、投影画像１０５（すなわち投影面）の位置が求められる。これにより、例えば、投影部２０２から投影面までの距離を求めることができる。
【０１１４】
投影撮像装置１０２−１および投影撮像装置１０２−２の投影面輝度算出部２７２は、その姿勢計算結果に基づいて、すなわち、投影部２０２から投影面までの距離に基づいて、投影面（例えばスクリーン１０４）における投影画像の明るさ（輝度）を算出する（ステップＳ１０２およびステップＳ１２２）。投影面輝度算出部２７２は、投影面における投影画像の輝度は、基準値（すなわち、投影部２０２における輝度）に対してどのような割合になったのかを、例えば輝度の逆二乗の法則から求める。
【０１１５】
投影撮像装置１０２−１および投影撮像装置１０２−２の輝度Map生成部２７３は、事前に投影部２０２の特性をキャリブレーションしたデータを使い、各投影画素の輝度情報を算出し、これを[mm]系（ミリメータ系）の輝度マップ（輝度Map）として求める（ステップＳ１０３およびステップＳ１２３）。
【０１１６】
投影撮像装置１０２−１および投影撮像装置１０２−２の通信部２１４は、算出された姿勢計算結果を示す情報（幾何キャリブレーション情報）や、生成された輝度Mapを、コントロールユニット１０１に供給する（ステップＳ１０４およびステップＳ１２４）。
【０１１７】
コントロールユニット１０１の通信部１６４は、ステップＳ１１１において、これらの情報（幾何キャリブレーション情報や輝度Map）を、各投影撮像装置１０２から取得する。
【０１１８】
ステップＳ１１２において、ブレンディング処理部１８１は、ステップＳ１１１において取得した情報を用いて、オーバーラップ領域における各投影画像の明るさ補正値を求めるためのブレンディング計算を行う。
【０１１９】
ステップＳ１１３において、輝度Map補正部１８２は、ステップＳ１１２のブレンディング計算結果に基づいて、ステップＳ１１１において取得した各投影撮像装置１０２の輝度Mapをそれぞれ補正する。
【０１２０】
ステップＳ１１４において、通信部１６４は、ステップＳ１１３において補正された各輝度Mapを、それぞれに対応する投影撮像装置１０２（輝度Mapの供給元）に供給する。
【０１２１】
各投影撮像装置１０２の通信部２１４は、その補正された輝度Mapを取得する（ステップＳ１０５およびステップＳ１２５）。
【０１２２】
ステップＳ１１５において、コントロールユニット１０１の画像処理部１８３は、投影する画像に対して所定の画像処理を行い、各投影撮像装置１０２に適した形に幾何的な補正を施す。
【０１２３】
ステップＳ１１６において、コントロールユニット１０１の通信部１６４は、画像処理された画像を、[mm]系座標（ミリメータ系座標）の画像データとして、投影撮像装置１０２−１および投影撮像装置１０２−２に供給する。
【０１２４】
各投影撮像装置１０２の通信部２１４は、その補正された画像データを取得する（ステップＳ１０６およびステップＳ１２６）。
【０１２５】
各投影撮像装置１０２の明るさ補正部２７４は、補正された輝度Mapを用いて、その画像データの明るさ補正を行う（ステップＳ１０７およびステップＳ１２７）。
【０１２６】
以上のようにして、明るさ補正に関する補正量のキャリブレーション、および、そのキャリブレーション結果を用いた明るさ補正が行われる。このように、投影撮像システム１００（コントロールユニット１０１および投影撮像装置１０２）は、より容易に明るさ補正の補正量の較正を行うことができる。
【０１２７】
＜ブレンディング処理の流れ＞
次に、図９のステップＳ１１２において実行されるブレンディング処理の流れの例を、図１０のフローチャートを参照して説明する。
【０１２８】
ブレンディング処理が開始されると、輝度補正Map生成部１９１は、ステップＳ１４１において、予めキャリブレーションされている輝度や色に関する設定情報である輝度・色キャリブレーション情報から、各投影撮像装置１０２のαMapの補正に用いられる情報である輝度補正Mapを生成する。この輝度補正Mapは、αMapの補正値を画素毎に示すマップ情報である。輝度補正Map生成部１９１は、投影撮像装置１０２の色や経年劣化の補正を行うために、各投影撮像装置１０２それぞれに対して事前にキャリブレーションを行い、輝度・色キャリブレーション情報を求めておく。輝度補正Map生成部１９１は、その情報を使い経年劣化や、輝度斑に関しての補正値を算出する。
【０１２９】
ステップＳ１４２において、αMap生成部１９２は、各投影撮像装置１０２から供給された幾何キャリブレーション情報から、各投影撮像装置１０２のαMapを生成する。αMapは、オーバーラップ領域１０７についての各投影画像の混合比に関する混合比情報であり、その混合比を画素毎に示すマップ情報である。αMap生成部１９２は、すべての幾何キャリブレーション情報を使って、オーバーラップ領域がどのように重なっているかを[mm]系座標で取得し、その情報を元に各投影撮像装置１０２の（各投影画像の）αMapを生成する。
【０１３０】
ステップＳ１４３において、輝度補正Map補正部１９３は、ステップＳ１４２において生成されたαMapを、ステップＳ１４１において生成された輝度補正Mapを用いて補正する。
【０１３１】
ステップＳ１４４において、ブレンディング計算部１９４は、ステップＳ１４３において補正されたαMapを用いてブレンディング計算を行う。各投影画像１０５同士をブレンディング（混合）する処理を行う。例えば、ブレンディング計算部１９４は、投影画像１０５の明るさ（輝度）や透過度等の補正を行う。
【０１３２】
ステップＳ１４４の処理が終了すると、ブレンディング処理が終了し、処理は、図９に戻る。
【０１３３】
＜輝度補正Map生成処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１４１において実行される輝度補正Map生成処理の流れの例を説明する。
【０１３４】
輝度補正Map生成処理が開始されると、輝度補正Map生成部１９１は、ステップＳ１６１において、輝度・色キャリブレーション情報を用いて、各投影撮像装置１０２の最大輝度（total_max）を求める。
【０１３５】
ステップＳ１６２において、輝度補正Map生成部１９１は、ステップＳ１６１において求めた各投影撮像装置１０２の最大輝度を用いて、各投影撮像装置１０２の輝度補正Mapを生成する。
【０１３６】
各投影撮像装置１０２の輝度補正Mapが生成されると、輝度補正Map生成処理が終了し、処理は、図１０に戻る。
【０１３７】
＜αMap生成処理の流れ＞
次に、図１２のフローチャートを参照して、図１０のステップＳ１４２において実行されるαMap生成処理の流れの例を説明する。
【０１３８】
αMap生成処理が開始されると、αMap生成部１９２は、ステップＳ１８１において、オーバーラップ領域１０７の外周を、各投影撮像装置１０２の投影画像１０５の部分毎に、それぞれ、直線近似する。すなわち、αMap生成部１９２は、オーバーラップ領域１０７の外周の投影撮像装置１０２−１の投影画像１０５の部分を直線（Line1）で直線近似し、オーバーラップ領域１０７の外周の投影撮像装置１０２−２の投影画像１０５の部分を直線（Line2）で直線近似する。
【０１３９】
ステップＳ１８２において、αMap生成部１９２は、オーバーラップ領域１０７内の各画素から各近似直線までの距離を求める。
【０１４０】
ステップＳ１８３において、αMap生成部１９２は、各投影撮像装置１０２の投影画像１０５について、画素から各近似直線までの距離を用いて当該画素の重み付けを行う。
【０１４１】
ステップＳ１８４において、αMap生成部１９２は、その重み付けに従って、各投影撮像装置１０２に対するαMapを生成する。
【０１４２】
αMapが生成されると、αMap生成処理が終了し、処理は図１０に戻る。
【０１４３】
＜ブレンディング計算処理の流れ＞
次に、図１３のフローチャートを参照して、図１０のステップＳ１４４において実行されるブレンディング計算処理の流れの例を説明する。
【０１４４】
ブレンディング計算処理が開始されると、ブレンディング計算部１９４は、ステップＳ２０１において、画像をL*a*b*変換する。ステップＳ２０２において、ブレンディング計算部１９４は、輝度・色キャリブレーション情報を用いて画像をカンデラ変換する。
【０１４５】
ステップＳ２０３において、ブレンディング計算部１９４は、図１０のステップＳ１４３において補正されたαMapを用いてゲイン計算する。
【０１４６】
ステップＳ２０４において、ブレンディング計算部１９４は、画像をカンデラ変換する。ステップＳ２０５において、ブレンディング計算部１９４は、画像をL*a*b*変換する。
【０１４７】
ステップＳ２０５の処理が終了すると、ブレンディング計算処理が終了し、処理は、図１０に戻る。
【０１４８】
＜明るさ補正処理の流れ＞
次に、図１４のフローチャートを参照して、図９のステップＳ１０７およびステップＳ１２７において実行される明るさ補正処理の流れの例を説明する。入力画像形式がRGBであるとする。
【０１４９】
明るさ補正処理が開始されると、明るさ補正部２７４は、ステップＳ２２１において、リニアRGB（LinearRGB）変換を行う。ステップＳ２２２において、明るさ補正部２７４は、XYZ変換を行う。ステップＳ２２３において、明るさ補正部２７４は、L*a*b*変換を行う。これにより画像が均等知覚色空間に変換される。
【０１５０】
ステップＳ２２４において、明るさ補正部２７４は、輝度Mapを用いてゲイン計算をする。つまり、幾何的な情報からプロジェクタの各画素の輝度変化の比率と、事前に求めておいた各投影撮像装置１０２のキャリブレーション情報から、投影面の座標における実際の輝度を求め、複数台の投影撮像装置１０２の実際の輝度から、明るさ補正に必要な輝度値を算出する。
【０１５１】
ステップＳ２２５において、明るさ補正部２７４は、XYZ変換を行う。ステップＳ２２６において、明るさ補正部２７４は、リニアRGB（LinearRGB）変換を行う。ステップＳ２２７において、明るさ補正部２７４は、Rec.709変換を行う。
【０１５２】
ステップＳ２２７の処理が終了すると、明るさ補正処理が終了し、処理は図９に戻る。
【０１５３】
以上のように各処理を実行することにより、投影画像の撮像画像を用いて投影面までの距離を求め、その距離と各投影部のキャリブレーション情報とに基づいて較正を行うことができるので、明るさ補正の補正量の較正をより容易かつより高精度に行うことができる。
【０１５４】
従来の手法では投影面上でどのような形状でオーバーラップ領域になるか分からず、ユーザがマニュアルにて調整を行っていたため、単純な矩形のみならず、曲面形状に至っては補正が困難であったが、上述した本開示の手法を適用することにより、どのようなスクリーン形状でも、明るさ補正値の算出を、ユーザによるマニュアル操作無しに、より容易に行うことができる。
【０１５５】
さらに、事前に投影撮像装置１０２の特性をキャリブレーションすることで明るさ補正に際して、経年劣化やユニフォミティを考慮した補正が可能になる。補正の際には均等知覚色空間を用いた後、実際の輝度値を算出しているため、投影面上の正確な輝度の制御が可能となり、従来のような特定の視点からのカメラ画像の補正で行うような明るさ補正ではなく、どのような視点から見ても違和感のない明るさ補正を実現することができる。
【０１５６】
また、撮像部を使って投影面に対しての幾何的な変化情報を求め、明るさ補正に関しては姿勢情報のみを使い、カメラ画像から得た明るさを使わずに、事前にプロジェクタの投影特性をキャリブレーションで求め、明るさ補正値を求めることで、暗所で高性能なセンサ応答特性を持つようなカメラを必要とせずに、容易にオーバーラップ領域の明るさ補正を行うことができる。
【０１５７】
なお、以上においては、αMapがマップ情報であるように説明したが、これに限らず、αMap情報がマップ情報で無くてもよい。例えば演算等により、結果的に各画素の情報が得られればよい。例えば、所定の計算式等であってもよい。また、輝度Mapや輝度補正Mapも同様である。
【０１５８】
＜投影撮像システムの構成例＞
以上に説明した投影撮像システム１００の構成は、一例である。つまり、投影撮像システム１００の構成は、上述した例以外の構成であってもよい。例えば、投影撮像システム１００を構成する投影撮像装置１０２の台数は任意である。例えば、図１５に示される例のように、３台以上（投影撮像装置１０２−１、投影撮像装置１０２−２、投影撮像装置１０２−３、・・・）であってもよい。また、図１５の例のように、各投影撮像装置１０２（およびコントロールユニット１０１）が、通信ケーブル１０３の代わりに、ネットワーク４０１を介して互いに接続されるようにしてもよい。
【０１５９】
ネットワーク４０１は、コントロールユニット１０１および投影撮像装置１０２との間の通信媒体となる通信網である。ネットワーク４０１は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク４０１は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク４０１は、その一部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
【０１６０】
このように、投影撮像システム１００に、投影撮像装置１０２が３台以上構成される場合、上述したような明るさ補正の補正量の較正は、上述した例と同様に投影撮像装置１０２の２台に対して行われる較正結果を、仮想の１台の投影撮像装置１０２として再帰的用いることにより、全ての投影撮像装置１０２に対して行うようにすればよい。
【０１６１】
＜明るさ補正量の較正に関する処理の流れ＞
その場合の、明るさ補正量の較正に関する処理の流れについて、図１６のフローチャートを参照して説明する。
【０１６２】
明るさ補正量の較正に関する処理が開始されると、コントロールユニット１０１のCPU１５１は、ステップＳ３０１において、投影撮像システム１００に属する投影撮像装置１０２群の中から、処理対象とする２台の投影撮像装置１０２を任意に選択する。
【０１６３】
２台が選択されると、ステップＳ３０２において、コントロールユニット１０１と、その選択された２台の投影撮像装置１０２は、明るさ補正量の較正に関する処理を実行する。この処理は、図９のフローチャートを参照して説明した場合と同様であるので、その説明は省略する。つまり、上述した例と同様に補正量が較正される。
【０１６４】
ステップＳ３０３において、コントロールユニット１０１のCPU１５１は、全ての投影撮像装置１０２について処理を行ったか否かを判定する。未処理の投影撮像装置１０２が存在すると判定された場合、処理は、ステップＳ３０４に進む。
【０１６５】
ステップＳ３０４において、コントロールユニット１０１のCPU１５１は、処理した２台の投影撮像装置１０２を１台の仮想の投影撮像装置とし、その明るさ補正処理結果の画像を、その仮想の投影撮像装置１０２の投影画像とする。
【０１６６】
ステップＳ３０５において、コントロールユニット１０１のCPU１５１は、未処理の投影撮像装置１０２の中から１台を選択し、その選択された投影撮像装置１０２を仮想の投影撮像装置とともに、処理対象の２台とする。
【０１６７】
以上のように新たな処理対象の２台を決定すると、処理は、ステップＳ３０２に戻り、それ以降の処理が繰り返される。
【０１６８】
そして、ステップＳ３０３において、全ての投影撮像装置１０２が処理されたと判定された場合、明るさ補正量の較正に関する処理が終了する。
【０１６９】
以上のように、処理結果を用いて処理を再帰的に繰り返すことにより、投影撮像装置１０２が３台以上存在する場合も、上述した例と同様に処理を行うことができる。つまり、より容易に明るさ補正の補正量の較正を行うことができる。
【０１７０】
＜投影撮像システムの他の構成例＞
また、上述した、コントロールユニット１０１が実行する各種処理の一部若しくは全部は、コントロールユニット１０１以外で実行されるようにしてもよい。例えば、投影撮像システム１００において、図１７に示される例のように、コントロールユニット１０１が省略されるようにしてもよい。その場合、いずれかの投影撮像装置１０２において、上述した、コントロールユニット１０１が実行する各種処理が実行されるようにしてもよい。また、複数の投影撮像装置１０２が協働し、コントロールユニット１０１が実行する各種処理を各装置で分担して実行するようにしてもよい。
【０１７１】
また、図１８に示される投影撮像装置４１２のように、他の情報処理装置４１１を介して、ネットワーク４０１（コントロールユニット１０１や他の投影撮像装置１０２等）に接続されるようにしてもよい。投影撮像装置４１２は、上述した投影撮像装置１０２と同様の装置である、ただし、この投影撮像装置は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する情報処理装置４１１を介してネットワーク４０１に接続される。また、投影撮像装置４１２は、この情報処理装置４１１に制御されて駆動する。このようにすることにより、通信に関する処理や東映や撮像の制御に関する処理を、元々処理能力が高い情報処理装置４１１に行わせることができるので、投影撮像装置４１２に必要な機能（情報処理能力等）の増大を抑制することができ、コストの増大を抑制することができる。
【０１７２】
また、上述した投影撮像装置１０２の機能をモジュール等（すなわち部品単位）として実現するようにしてもよい。図１８の情報処理装置４１３は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、元々処理能力が高い情報処理装置であり、上述した投影撮像装置１０２の機能を有するモジュールが組み込まれている。すなわち、情報処理装置４１３は、情報処理装置４１１と投影撮像装置４１２の両方の機能を有する装置である。投影撮像装置１０２は、このような情報処理装置として実現することもできる。
【０１７３】
また、図１８に示される例のように、投影撮像装置１０２として、互いに異なる機能を有するデバイスが混在するようにしてもよい。
【０１７４】
また、図１９に示される例のように、投影撮像システム１００には、投影部２０２のみを有する投影装置４２１（または投影装置４２３）や、撮像部２０３のみを有する撮像装置４２２等が含まれるようにしてもよい。また、１つのデバイスに投影部２０２や撮像部２０３が複数設けられるようにしてもよい。さらに、投影撮像システム１００全体において、投影部２０２の数と撮像部２０３の数が一致していなくてもよい。
【０１７５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１７６】
この記録媒体は、例えば、図２や図５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１やリムーバブルメディア２２１により構成される。このリムーバブルメディア１７１やリムーバブルメディア２２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
【０１７７】
その場合、例えばコントロールユニット１０１においては、プログラムは、そのリムーバブルメディア１７１をドライブ１６５に装着することにより、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、そのリムーバブルメディア２２１をドライブ２１５に装着することにより、記憶部２１３にインストールすることができる。
【０１７８】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えばコントロールユニット１０１においては、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。
【０１７９】
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えばコントロールユニット１０１の場合、プログラムは、記憶部１６３やROM１５３等に、あらかじめインストールしておくこともできる。また、例えば投影撮像装置１０２の場合、プログラムは、記憶部２１３や制御部２０１内のROM等に、あらかじめインストールしておくこともできる。
【０１８０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８２】
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０１８３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１８４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１８５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８６】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８９】
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０１９０】
なお、本技術は以下のような構成も取ることができる。
（１）  画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行うブレンディング計算部
を備える画像処理装置。
（２）  前記ブレンディング計算部は、前記投影面に投影された互いの投影画像の少なくとも一部がオーバーラップする複数の投影部が投影する各画像について前記ブレンディング計算を行う
（１）に記載の画像処理装置。
（３）  前記ブレンディング計算部は、前記投影部から前記投影面までの距離に応じて、前記投影画像同士がオーバーラップする領域についての各画像の混合比に関する混合比情報を用いて、前記ブレンディング計算を行う
（２）に記載の画像処理装置。
（４）  前記混合比情報は、画素毎に前記混合比を示すマップ情報である
（３）に記載の画像処理装置。
（５）  前記ブレンディング計算部は、均等知覚色空間において前記混合比情報を用いて前記ブレンディング計算を行う
（３）または（４）に記載の画像処理装置。
（６）  前記混合比情報を生成する混合比情報生成部をさらに備え、
前記ブレンディング計算部は、前記混合比情報生成部により生成された前記混合比情報を用いて、前記ブレンディング計算を行う
（３）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記投影部の特性に応じて前記混合比情報を補正する混合比情報補正部をさらに備え、
前記ブレンディング計算部は、前記混合比情報補正部により補正された前記混合比情報を用いて、前記ブレンディング計算を行う
（３）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記投影部の特性に応じて前記混合比情報を補正する補正情報を生成する補正情報生成部をさらに備え、
前記混合比情報補正部は、前記補正情報生成部により生成された前記補正情報を用いて、前記混合比情報を補正する
（７）に記載の画像処理装置。
（９）  前記補正情報は、画素毎に前記混合比の補正値を示すマップ情報である
（８）に記載の画像処理装置。
（１０）  前記ブレンディング計算部により行われた前記ブレンディング計算により明るさが補正された前記画像に基づいて、投影部毎の、前記画像の明るさに関する輝度情報を補正する輝度情報補正部をさらに備える
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記輝度情報は、前記投影部から前記投影面までの距離に基づいて決定される前記画像の明るさに関する情報である
（１０）に記載の画像処理装置。
（１２）  前記輝度情報は、画素毎に前記画像の明るさを示すマップ情報である
（１１）に記載の画像処理装置。
（１３）  前記輝度情報補正部により補正された前記輝度情報を用いて、投影する画像の明るさを補正する画像補正部をさらに備える
（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４）  前記画像補正部は、均等知覚色空間において前記画像の明るさを補正する
（１３）に記載の画像処理装置。
（１５）  前記画像補正部により明るさが補正された前記画像を投影する投影部をさらに備える
（１３）または（１４）に記載の画像処理装置。
（１６）  前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成する輝度情報生成部をさらに備え、
前記輝度情報補正部は、前記輝度情報生成部により生成された前記輝度情報を補正する
（１０）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  前記投影面に投影された前記投影画像の撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する距離算出部をさらに備え、
前記輝度情報生成部は、前記距離算出部により算出された前記投影部から前記投影面までの距離に基づいて前記輝度情報を生成する
（１６）に記載の画像処理装置。
（１８）  前記距離算出部は、前記投影部近傍に設けられた撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する
（１７）に記載の画像処理装置。
（１９）  前記撮像部をさらに備え、
前記距離算出部は、前記撮像部により撮像されて得られた前記撮像画像に基づいて、前記投影部から前記投影面までの距離を算出する
（１７）または（１８）に記載の画像処理装置。
（２０）  画像を投影する投影部から前記画像が投影される投影面までの距離と前記投影部の特性とに応じて、前記画像の明るさを補正するブレンディング計算を行う
画像処理方法。
【符号の説明】
【０１９１】
１００  投影撮像システム，  １０１  コントロールユニット，  １０２  投影撮像装置，  １０３  通信ケーブル，  １０４  スクリーン，  １０５  投影画像，  １０７  オーバーラップ領域，  １５１  CPU，  １８１  ブレンディング処理部，  １８２  輝度Map補正部，  １８３  画像処理部，  １９１  輝度補正Map生成部，  １９２  αMap生成部，  １９３  輝度補正Map補正部、  １９４  ブレンディング計算部，  ２０１  制御部，  ２０２  投影部，  ２０３  撮像部，  ２５１  ビデオプロセッサ，  ２５２  レーザドライバ，  ２５３  レーザ出力部，  ２５４  ミラー，  ２５５  MEMSドライバ，  ２５６  MEMSミラー，  ２７１  姿勢計算部，  ２７２  投影面輝度算出部，  輝度Map生成部，  ２７４  明るさ補正部，  ４０１  ネットワーク，    ４１１  情報処理装置，  ４１２  投影撮像装置，  ４１３  情報処理装置，  ４２１  投影装置，  ４２２  撮像装置，  ４２３  投影装置
【図１】
2016002511.tif 000003
【図２】
2016002511.tif 000004
【図３】
2016002511.tif 000005
【図４】
2016002511.tif 000006
【図５】
2016002511.tif 000007
【図６】
2016002511.tif 000008
【図７】
2016002511.tif 000009
【図８】
2016002511.tif 000010
【図９】
2016002511.tif 000011
【図１０】
2016002511.tif 000012
【図１１】
2016002511.tif 000013
【図１２】
2016002511.tif 000014
【図１３】
2016002511.tif 000015
【図１４】
2016002511.tif 000016
【図１５】
2016002511.tif 000017
【図１６】
2016002511.tif 000018
【図１７】
2016002511.tif 000019
【図１８】
2016002511.tif 000020
【図１９】
2016002511.tif 000021
【国際調査報告】
2016002511.tif 000022
2016002511.tif 000023
2016002511.tif 000024
2016002511.tif 000025