(57)【要約】      （修正有）【課題】撮影時の照明として、より細かな明暗の調整を可能とした、照明コントロール装置を提供する。【解決手段】撮影装置２０２及び画像投影装置２０３と接続し、画像データを通信する機能を持つものであって、撮影装置が撮影した画像データ及び撮影情報を受信する通信手段２０６と、画像データ及び撮影情報から、画像データを解析し、解析結果を出力する解析手段２０７と、画像データ及び撮影情報及び解析結果から、投影用画像データを生成する画像生成手段２０８と、投影用画像データを投影装置に送信する送信手段２０９と、を備える。【選択図】図２
2015154220.tif 000002
【特許請求の範囲】
【請求項１】
照明を制御する照明コントロール装置であって、
撮影装置及び画像投影装置と接続し、画像データを通信する機能を持つものであって、
撮影装置が撮影した画像データ及び撮影情報を受信する通信手段と、
前記画像データ及び前記撮影情報から、画像データを解析し、解析結果を出力する解析手段と、
前記画像データ及び前記撮影情報及び前記解析結果から、投影用画像データを生成する画像生成手段と、
前記投影用画像データを投影装置に送信する送信手段とを備えたことを特徴とする
照明コントロール装置。
【請求項２】
前記投影用画像データは、特定の領域のみ輝度情報を持ち、それ以外は0値であることを特徴とする請求項１に記載の照明コントロール装置。
【請求項３】
前記カメラ情報には、被写体との距離情報が含まれるものであり、前記距離情報から、前記輝度情報の値を調整する手段を持つことを特徴とする請求項２に記載の照明コントロール装置。
【請求項４】
前記画像解析手段は、前記画像データから、画像の特徴を抽出して解析することを特徴とする請求項１に記載の照明コントロール装置。
【請求項５】
前記撮影装置と、前記投影装置との相対位置情報から、前記画像データを変形する変形量を求める位置解析手段を持ち、前記画像生成手段は、前記変形量に基づいて、前記画像データを変形する手段を持つことを特徴とする請求項１に記載の照明コントロール装置。
【請求項６】
請求項１乃至請求項５の何れか１項に記載の照明コントロール装置の機能を持つことを特徴とする撮影装置。
【請求項７】
請求項１乃至請求項５の何れか１項に記載の照明コントロール装置の機能を持つことを特徴とする画像投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明装置を制御する照明コントロール装置に関するものであり、特にプロジェクターを含めて制御する照明コントロール装置に関するものである。
【背景技術】
【０００２】
従来、スタジオなどで撮影する際に、ハロゲンランプ等の照明装置が使用されている。図１０は、このような撮影の様子を示しており、1001の撮影セット上の、被写体となる人物1002を、1003のカメラで撮影している場合である。図では、照明装置として1004及び1005が使用されている。この照明装置の照度を制御する照明コントロール装置も、一般的に知られている。
【０００３】
一方、画像をプロジェクターでスクリーンに投影し、さらには、投影した画像をカメラで撮影して、その画像から、スクリーンの色ムラ等を補正することが、知られている（特許文献１参照）。さらには、投影した画像をカメラで撮影し、それをプロジェクターで投影することで、コントラストを向上させる手法が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１５８９４１号公報
【特許文献２】特表２００１−５２２５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の照明装置では、全体的な明暗は調整できても、被写体の細部については調整できなかった。例えば、従来図１０に示す様に、スタジオ内で照明装置1004及び1005を利用して撮影する場合、照明の明るさを調整したとしても、図１１に示す様に、撮影セット1001の背景1006に、被写体である人物1002の影1007が残ってしまう場合があった。また、図１２に示すように、人物の顔の鼻の部分などに、影1201が残る場合があった。さらに、逆に複数の照明で影を補う場合は、被写体全体のコントラストが低下してしまうなどの問題があった。
【０００６】
また、特許文献１などでは、スクリーンの色ムラ等の補正が目的であり、被写体への照度を調整するものではない。同様に、特許文献２は、特定の被写体の画像を、そのまま投影することで、コントラストを向上させているが、スタジオの様に、被写体と背景が含まれる、広がりのある空間には適さない。
【０００７】
そこで、本発明の目的は、撮影時の照明として、より細かな明暗の調整を可能とした、照明コントロール装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、
照明を制御する照明コントロール装置であって、
撮影装置及び画像投影装置と接続し、画像データを通信する機能を持つものであって、
撮影装置が撮影した画像データ及び撮影情報を受信する通信手段と、
前記画像データ及び前記撮影情報から、画像データを解析し、解析結果を出力する解析手段と、
前記画像データ及び前記撮影情報及び前記解析結果から、投影用画像データを生成する画像生成手段と、
前記投影用画像データを投影装置に送信する送信手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影時の照明として、より細かな明暗の調整を可能とした、照明コントロール装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施例の撮影の様子
【図２】第一の実施例の構成図
【図３】第一の実施例の画像生成部の構成図
【図４】（ａ）通常の照明で撮影した画像，（ｂ）補正領域を抽出した画像，（ｃ）画像のヒストグラム，（ｄ）補正画像，（ｅ）補正した撮影結果
【図５】（ａ）通常の照明で撮影した顔画像，（ｂ）顔領域を抽出した画像，（ｃ）補正対象外の画像を除外した画像，（ｄ）除外した画像のヒストグラム，（ｅ）補正画像，（ｆ）補正した撮影結果
【図６】第二の実施例の撮影の様子
【図７】第二の実施例の構成図
【図８】第二の実施例の画像生成部の構成図
【図９】（ａ）通常の照明で撮影した画像，（ｂ）変形した画像，（ｃ）抽出した画像，（ｄ）補正画像，（ｅ）カメラ側から見た補正画像が投影された様子，（ｆ）補正した画像
【図１０】従来の撮影の様子
【図１１】従来の撮影した画像
【図１２】従来の撮影した顔画像
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
［実施例１］
以下、図１から図５を参照して、本発明の第一の実施例による、プロジェクターを照明装置として利用する照明コントロール装置について説明する。本実施例では、被写体の影の部分を補正して、撮影画像に影が生じないようにした例である。すなわち、照明コントロール装置により、プロジェクターから補正画像を投影して、被写体の影の部分を補正する場合について説明する。
【００１３】
図１は、本実施例による撮影の様子を示している。図で、101は撮影セットであり、被写体である人物102を、カメラ103で撮影している。104と105は照明装置であり、人物102を照射している。図では、背景106に、人物102の影107が残っている状態を示しており、後述する本実施例によって、この影を補正する。108は本実施例によるプロジェクターであり、カメラ103に近い位置に置かれ、照明装置104及び105と共に、人物102に補正画像を投影する。109は本実施例による照明コントロール装置であり、カメラ103、照明装置104及び105、及びプロジェクター108が接続されている。
【００１４】
図２は、本実施例による照明コントロール装置109の構成と、その周辺の接続関係を示した図である。図で、201は本実施例による照明コントロール装置で、その内部の主要な機能をブロックで示してある。本照明コントロール装置201は、カメラ202、プロジェクター203、及び照明装置204及び205が接続されている。カメラ202は、図1のカメラ903に、プロジェクター203は、図１のプロジェクター108に、照明装置204及び205は、図1の照明装置104及び105にそれぞれ対応する。
【００１５】
次に照明コントロール装置201の主要な機能を説明する。受信部206は、カメラ202から画像データとカメラ情報を受信する。画像解析部207は、受信部206で受信した画像データを解析する。画像作成部208は、画像データ等から、プロジェクター202で投影する補正画像を作成する。画像作成部208は、図３に示す様に、補正領域決定部302と、光度調整部303から構成されている。送信部209は、補正画像を、プロジェクター202に送信する。照明調整部210は、照明装置204及び205の光量を調整する。出力部211は、照明装置204及び205に対して、光量情報を出力する。
【００１６】
次に、照明コントロール装置201により、補正画像が作成され、プロジェクター203から投影されるまでの動作を説明する。
【００１７】
まず、本照明コントロール装置201は、照明調整部210で、照明装置204及び205を、通常の照明に相当する光量に調整する。次に、照明装置204及び205で被写体を照明ながら、カメラ202で撮影を行う。撮影した結果、カメラ202から、受信部206を介して、画像データとカメラ情報を、受信部206で、受信する。このとき撮影した画像データは、図４（ａ）に示す様に、画像内に、人物102と共に、人物の影107が写った状態である。また、人物102の顔部分については、図５（ａ）に示す様に、鼻の影が生じている。カメラ情報には、撮影レンズの焦点距離や、ＡＥ測光値や、被写体等についての距離情報等が、含まれている。
【００１８】
次に、画像解析部207で、この画像データを画像を解析して、補正対象とする影の領域を抽出する。これは、例えば、図４（ｂ）に示す画像データの輝度値のヒストグラムを利用して、行える。図４（ｂ）では、ヒストグラムのピークが、401と402にあり、この場合、影となっている領域の輝度値は、402近辺の値であると、考えられる。そこで、402近辺の値を閾値403として、この閾値以下の輝度値を持つ画像データは、影の画像であると判定して解析結果とする。なお、この画像解析部207の解析には、ヒストグラム以外に、カメラ情報を利用することも可能である。また、補正対象の画像に特徴が有る場合は、さらに容易に画像を解析できる。例えば、補正対象が、図５（ａ）に示す顔画像の場合、顔検出機能で顔位置は検出できるので、顔の画像部分のみに着目することができる。これに輪郭情報から顔画像を抜き出した場合が、図５（ｂ）の状態である。これから更に、補正対象外の画像として、目、口などの画像を除外すると、図５（ｃ）の様な顔の部分が残る。
【００１９】
そこで、残った顔の部分から、補正対象とする影の領域を抽出すればよい。この場合、残った顔の部分の輝度値のヒストグラムは、画像が限定されているので、図５（ｄ）の様に、残った顔の部分のうち、補正対象としない領域を示すピーク501と、補正対象とする鼻の影に相当する領域を示すピーク502を明瞭に分離できる。そこで、この間の値を閾値503として、この閾値以下の輝度値を持つ画像データは、鼻の影の画像であると判定して解析結果とする。画像解析部207では、これらの解析結果を、画像作成部208に送る。
【００２０】
次に、画像作成部208で補正画像を作成する。補正画像は、プロジェクター203から、被写体に対して投影する画像であって、補正対象とする影の部分に投影される領域（補正領域）が、補正用照度値となるように作成される。補正照度値は、影の部分と、その周辺部の輝度値との差を補う光量を持っている。すなわち、影の部分に、補正照度値をもった画像を投影することで、影の部分の光量を、その周辺部の光量と同等として、撮影画像に影が写るのを防止する。
【００２１】
図３は、画像作成部208の構成を示した図である。図３で、画像作成部301は、補正領域決定部302と、光度調整部303から構成されている。画像作成部301では、補正領域決定部で、補正画像の補正領域を決定し、光量調整部で、この補正領域の輝度値を決定し、補正画像307を作成する。
【００２２】
まず、補正領域決定部302は、受信部206からの画像データ305と、画像解析部207からの解析情報306が、入力される。解析情報は、上述のように、例えば、画像の輝度値の閾値である。補正領域決定部302では、画像データ305から、この閾値以下の画像を抽出する。例えば、図４（ａ）の画像データに、閾値403を適用することで、補正対象の影の領域を図４（ｃ）の様に抽出する。図４（ｃ）の黒部分が、補正対象とする影の部分の領域に相当する。
【００２３】
次にこの抽出結果から、光度調整部303で、補正領域の輝度値（補正輝度値）を決定する。光度調整部303は、抽出結果と共に、受信部206からカメラ情報が、入力される。光度調整部303は、カメラ情報に含まれている、撮影レンズの焦点距離や、ＡＥ測光値や、被写体についての距離情報や、プロジェクターの最大照度などから、補正画像の補正領域についての補正輝度値を算出する。補正輝度値は、補正画像をプロジェクターから投影した場合、補正領域が補正照度値となるように設定される。補正領域が複数ある場合、例えば図４（ａ）の影と、図５（ｂ）の鼻の影を同時に補正する場合、それぞれの被写体についての距離情報から、それぞれの補正輝度値を調整する。また、プロジェクターの最大照度が低い場合などでは、照明装置の光量も調整する。照明装置による照明と、プロジェクターからの投影画像を合わせて、補正したい影の部分が補正できるように、補正輝度値を決定する。画像作成部301は、照明装置の光量を調整した場合は、照明量108を照明調整部210に送る。
【００２４】
次に光量調整部303では、抽出した画像データから、補正画像307を作成する。すなわち、補正画像の補正領域の輝度値を、補正輝度値とし、それ以外の領域を黒画像とした画像を作成する。例えば、図４（ｃ）の様に補正領域が抽出された画像から、図４（ｄ）の様な画像を作成する。図４（ｃ）の画像が、補正領域が黒画像(値が0)、それ以外が白画像(値が1)である場合、白黒を反転し（0を1に、1を0とする。）、補正輝度値を掛け合わせることで、補正画像307を作成する。また、鼻の影を補正する場合（図５（ａ）の画像）では、補正画像307は、図５（ｅ）の用に、鼻部分の影の形を持つ補正画像307となる。以上により、画像作成部208により補正画像が作成される。
【００２５】
生成された補正画像は、送信部209を通じて、プロジェクター203に送られる。ここで、本照明コントロール装置201は、照明調整部210で、照明装置204及び205を、設定した光量に調整する。同時に、プロジェクター203から、補正画像を投影する。すなわち、照明コントロール装置201は、照明装置204及び205で被写体の照明を行うと共に、プロジェクター203で補正画像を投影して、カメラ202で撮影を行う。このようにして撮影された画像の例を、図４（ｅ）に示す。照明装置のみで撮影された画像（図４（ａ））と比べて、プロジェクターからの補正画像（図４（ｄ））が加わったことで、被写体の影部分が打ち消されていることが解かる。なお、顔部分の例では、図５（ｆ）の様に、鼻部分の影が打ち消された画像となる。
【００２６】
以上、説明した通り、本実施例によれば、照明コントロール装置により、プロジェクターから補正画像を投影することで、被写体の影の部分を補正できる。すなわち、撮影時の照明として、より細かな明暗の調整を可能となる。
【００２７】
なお、本実施例では、画像解析部207から解析結果として、画像作成部208に、閾値のみを送る例でしめしたが、画像解析部207から図４（ｃ）に相当する抽出結果の画像データを送る構成も可能である。
【００２８】
また、本実施例では、照明調整部で、照明を調整することとして構成したが、照明装置の光量を固定して使用する場合は、照明調整部を含まなくとも、本発明の被写体の影の部分を補正することは可能である。また、照明装置は、複数である必要は無く、単一の照明装置でも良い。
【００２９】
さらに、本実施例では、影を明るく補正する場合を示したが、補正したい対象が被写体の高輝度部分である場合は、照明装置の光量を落とし、補正したい対象以外の部分を照射するように補正画像を作成すればよい。この場合、補正対象の抽出条件が異なるだけで、本実施例の構成で実現できる。
【００３０】
またさらに、本実施例の構成では、照明コントロール装置201を、カメラ202やプロジェクター203を、独立の装置として説明したが、同等の機能を、カメラ202またはプロジェクター203の内部に設け、本実施例と同等の効果を得ることは、可能である。
【００３１】
［実施例２］
プロジェクターの位置関係を考慮して補正。距離に加えて角度情報を利用して（角度検出方法：プロジェクタ固定で指定、キャリブレーション画像を投影して測定）、補正画像を作成。
【００３２】
以下、図６から図９を参照して、本発明の第二の実施例について、説明する。第一の実施例では、カメラとプロジェクターが近い位置にあったが、本実施例では、カメラとプロジェクターの位置が大きくことなる場合である。以下、第一の実施例と、同内容の機器については同じ記号で示してある。
【００３３】
図６は、本実施例による撮影の様子を示している。図で、601は、本実施例のカメラであり、602は本実施例でのプロジェクターである。プロジェクター602は、図１のプロジェクター108と同等の機能を持つが、設置場所がカメラ601から、大きく離れている。603は本実施例による照明コントロール装置であり、カメラ601、照明装置104及び105、及びプロジェクター602が接続されている点は、第一の実施例と同様である。
【００３４】
図７は、本実施例による照明コントロール装置603の構成と、その周辺の接続関係を示した図である。図で、701は本実施例による照明コントロール装置である。本照明コントロール装置は、第一の実施例の照明コントロール装置に対して、位置解析部702を含んで構成されている。位置解析部702は、カメラ202とプロジェクター203の位置関係から、後述するように、補正画像に対する変形情報を作成する。画像作成部703は、この位置解析部702からの変形情報を加えて、補正画像を作成する。画像作成部703は、図８に示す様に、第一の実施例の構成に加えて、画像変形部802を含んでいる。
【００３５】
次に、照明コントロール装置701により、補正画像が作成され、プロジェクター203から投影されるまでの動作を、第一の実施例と異なる点を中心に説明する。
【００３６】
まず、通常の照明で、カメラ202で撮影を行う点は、第一の実施例と同様である。このとき撮影した画像データは、図９（ａ）の様に、図４（ａ）と同様の画像となる。この被写体を、プロジェクター203から見た画像は、カメラ202とプロジェクター203の位置が大きくことなるため、被写体と、影のある背景との位置関係が異なって見える。
【００３７】
本実施例の照明コントロール装置701では、第一の実施例に加えて、位置解析部702で、カメラ202とプロジェクター203の相対位置情報から、位置関係を解析し、補正画像を変形する変形情報を算出する。ここで、カメラ202とプロジェクター203の相対位置情報とは、図６でのカメラ601とプロジェクター602の、撮影セット602に対する相対関係を示す。すなわち、撮影セットから見て、どの位置にカメラ601があり、また、どの位置にプロジェクター602があるかを示している。この相対位置情報は、カメラ601とプロジェクター602が固定されて撮影する場合は、一定であるため、撮影セットからの距離と角度を測定することで知ることができる。また、カメラ601とプロジェクター602に、ＧＰＳなどの位置測定手段を装備し、その位置測定結果を照明コントロール装置603に送ることでも知ることができる。または、プロジェクター602から、格子模様などの一定のパターンを投影し、その画像をカメラ601で撮影し、撮影した画像を照明コントロール装置に送って、位置解析部702で解析することで、知ることもできる。
【００３８】
補正画像を変形する変形情報は、例えば、被写体と背景に対しての、ずらし量であったり、角度による歪量から計算されるものであり、撮影した画像から、補正画像を作成するために必要な変形情報を含むものである。
【００３９】
次に、画像作成部703の動作を、図８を用いて説明する。図８で、801は、本実施例による画像作成部であり、第一の実施例の画像作成部301に加えて、画像変形部802を含んでいる。画像作成部703では、受信部206からの画像データ305を、画像変形部302で変形した後、第一の実施例と同様に補正画像805を作成する。
【００４０】
画像変形部302は、変形情報804に従って、画象データ305を変形する。変形情報は、先に説明した様に、被写体と背景に対する、ずらし量や、角度による歪量に応じた変形についての情報である。例として、図９（ａ）の画像データが入力された場合の変形例を、図９（ｂ）に示す。図９（ｂ）は、図９（ａ）の画像データに対して、被写体と、影のある背景の位置関係が、ずらし量に応じて、ずらされ、さらに被写体と背景の画像が歪量に応じて変形されている。この画像に対して、第一の実施例と同様に、補正量決定部302と光度調整部803で、補正画像805が作成される。光度調整部803では、変形情報の内容により、被写体と背景についての光量調整の値が微調整される場合がある。
【００４１】
この結果、画像作成部801で作成される補正画像805の例を、図９（ｄ）に示す。図９（ｄ）の補正画像を、プロジェクター203から投影した場合、カメラ202で見た画像の様子を図９（ｅ）に示す。すなわち、投影画像のみを投影し、撮影した場合、図９（ｅ）の用に、補正画像の補正領域が、通常撮影した場合の影領域に重なることとなる。従って、画像の影の部分が補正され、図９（ｆ）の様に、被写体の影部分が打ち消された画像データが得られる。
【００４２】
以上、説明した通り、本実施例によれば、カメラとプロジェクターの位置が大きく異なる場合であっても、第一の実施例と同様に、被写体の影の部分を補正できる。すなわち、撮影時の照明として、より細かな明暗の調整を可能となる。
【００４３】
なお、第一の実施例で示したように、本実施例も主要機能の動作を変えずに、異なる構成に変形することは、可能である。
【００４４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４５】
101  撮影セット      102  人物        103  カメラ
104，105  照明装置          106  背景            107  影
【図１】
2015154220.tif 000003
【図２】
2015154220.tif 000004
【図３】
2015154220.tif 000005
【図４】
2015154220.tif 000006
【図５】
2015154220.tif 000007
【図６】
2015154220.tif 000008
【図７】
2015154220.tif 000009
【図８】
2015154220.tif 000010
【図９】
2015154220.tif 000011
【図１０】
2015154220.tif 000012
【図１１】
2015154220.tif 000013
【図１２】
2015154220.tif 000014