(57)【要約】【課題】所定の照明条件の映像を実時間で順次生成することが可能な技術を提供することである。【解決手段】入力画像として映像される被写体の反射係数を演算する反射係数演算手段と、前記入力画像と異なる照明条件を設定する新規照明条件設定手段と、前記設定された照明条件と前記反射係数とに基づいて、前記入力画像から前記新規照明条件設定手段で設定される照明条件の画像を生成する照明条件付加手段とを有する画像処理装置において、前記入力画像は前記被写体の奥行き情報を含む画像からなり、前記反射係数演算手段は、前記被写体の奥行き情報に基づいて前記入力画像から鏡面反射領域を特定し鏡面反射画素を補正する補正手段と、前記補正された入力画像から前記被写体の反射係数を演算する反射係数演算手段とを備えた【選択図】　　　　図１
2004021388.tif 000002
【特許請求の範囲】
【請求項１】
入力画像として映像される被写体の反射係数を演算する反射係数演算手段と、前記入力画像と異なる照明条件を設定する新規照明条件設定手段と、前記設定された照明条件と前記反射係数とに基づいて、前記入力画像から前記新規照明条件設定手段で設定される照明条件の画像を生成する照明条件付加手段とを有する画像処理装置において、前記入力画像は前記被写体の奥行き情報を含む画像からなり、前記反射係数演算手段は、前記被写体の奥行き情報に基づいて前記入力画像から鏡面反射領域を特定し鏡面反射画素を補正する補正手段と、前記補正された入力画像から前記被写体の反射係数を演算する拡散反射係数演算手段とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記補正手段は、前記入力画像に映像される前記被写体の奥行き情報に基づいて当該被写体の各部の法線ベクトルを推定する法線ベクトル推定手段と、前記法線ベクトルに基づいて前記入力画像中の前記鏡面反射領域を特定する第１の領域特定手段とを備えたことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、前記入力画像は予め分光特性が計測された照明光で撮影された赤色及び緑色並びに青色の撮影画像からなり、前記補正手段は、前記入力画像に対する画素毎の分光特性を演算する分光特性演算手段と、前記第１の領域特定手段により特定された領域から前記画素毎の分光特性と前記照明光の分光特性とが近い領域を選択し前記鏡面反射領域に特定する第２の領域特定手段とを備えたことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、前記補正手段は、前記入力画像に対する輝度値のヒストグラムを生成し、該ヒストグラムの高輝度側でのピークにおける輝度値を中心として、前記ヒストグラムの最後輝度値を低輝度側に折り返した基準輝度値を演算する輝度値演算手段と、前記第２の領域特定手段により特定された領域から前記基準輝度値以上の領域を選択し前記鏡面反射領域に特定する第３の領域特定手段とを備えたことを特徴とする画像処理装置。
【請求項５】
請求項２乃至４の内の何れかに記載の画像処理装置において、前記第１〜第３の領域特定手段の閾値を設定する閾値設定手段を備えたことを特徴とする画像処理装置。
【請求項６】
被写体の奥行き情報を含む撮影画像を撮影する撮影手段と、前記撮影画像に映像される前記被写体の反射係数を演算する反射係数演算手段と、前記画像と異なる照明条件を設定する新規照明条件設定手段と、前記設定された照明条件と前記反射係数とに基づいて、前記撮影画像から前記新規照明条件設定手段で設定される照明条件の画像を生成する照明条件付加手段とを有する撮影システムにおいて、前記反射係数演算手段は、前記被写体の奥行き情報に基づいて前記撮影画像から鏡面反射領域を特定し鏡面反射画素を補正する補正手段と、前記補正された撮影画像から前記被写体の反射係数を演算する拡散反射係数演算手段とを備えたことを特徴とする撮影システム。
【請求項７】
請求項６に記載の撮影システムにおいて、前記補正手段は、前記撮影画像に映像される前記被写体の奥行き情報に基づいて当該被写体の各部の法線ベクトルを推定する法線ベクトル推定手段と、前記法線ベクトルに基づいて前記撮影画像中の前記鏡面反射領域を特定する第１の領域特定手段とを備えたことを特徴とする撮影システム。
【請求項８】
請求項７に記載の撮影システムにおいて、前記撮影手段は予め分光特性が計測された照明光下により赤色及び緑色並びに青色の撮影画像を撮影する手段からなり、前記補正手段は、前記撮影画像に対する画素毎の分光特性を演算する分光特性演算手段と、前記第１の領域特定手段により特定された領域から前記画素毎の分光特性と前記照明光の分光特性とが近い領域を選択し前記鏡面反射領域に特定する第２の領域特定手段とを備えたことを特徴とする撮影システム。
【請求項９】
請求項８に記載の撮影システムにおいて、前記補正手段は、前記撮影画像に対する輝度値のヒストグラムを生成し、該ヒストグラムの高輝度側でのピークにおける輝度値を中心として、前記ヒストグラムの最後輝度値を低輝度側に折り返した基準輝度値を演算する輝度値演算手段と、前記第２の領域特定手段により特定された領域から前記基準輝度値以上の領域を選択し前記鏡面反射領域に特定する第３の領域特定手段とを備えたことを特徴とする撮影システム。
【請求項１０】
請求項６乃至９の内の何れかに記載の撮影システムにおいて、前記第１〜第３の領域特定手段の閾値を設定する閾値設定手段を備えたことを特徴とする撮影システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びそれを備えた撮影システムに関し、特に、所定の照明条件下で連続的に撮影した被写体の撮影画像から他の照明条件下で見込まれる撮影画像を生成する技術に関するものである。
【０００２】
【従来の技術】
従来の仮想スタジオシステムでは、合成元となる予め用意された映像（背景映像）と、該背景映像と同等の照明条件をスタジオ内で再現し、この照明条件の元で撮影された出演者（被写体）の映像とを合成することによって、リアルタイムで違和感のない合成映像を得ていた。
【０００３】
しかしながら、刻一刻と変化する照明条件をスタジオ内で連続して再現することは不可能であり、また、スタジオ内で再現可能な照明条件は限られたものとなる。このために、刻一刻と変化する照明条件やスタジオで再現不可能な背景映像を用いた仮想スタジオシステムでは、代表的な照明条件を再現し、出演者はこの代表的な照明条件で演技を行うことによって、違和感の小さい合成映像を得る構成となっていた。
【０００４】
一方、近年のＣＧ（コンピュータグラフィック）技術の進展に伴い、背景映像に表現される照明条件も複雑なものとなっており、背景映像に合致した照明条件をスタジオ内で再現することが困難である。
【０００５】
この問題を解決する技術として、出演者を撮影した映像を３次元ＣＧ処理することによって、背景映像と同等な照明条件の映像を生成することが検討されている。この３次元ＣＧ技術を用いた方法では、所定の照明条件で撮影された出演者の映像から出演者の形状及び表面の反射特性（テクスチャ）を作成し、背景映像の照明条件に合致するように出演者の映像を加工するものである。
【０００６】
【発明が解決しようとする課題】
本発明者は、前記従来技術を検討した結果、以下の問題点を見いだした。
被写体形状および表面の反射特性を作成することは非常に煩雑な作業が必要であり、現実味のあるリアルな３次元ＣＧ映像を作成するためには、作成者の高い能力や膨大な作業時間が必要となっていた。
【０００７】
このために、映画や録画映像のように、撮影から放送（放映）までの期間に、３次元ＣＧ映像の作成に要する時間を確保することができる場合には適用可能である。しかしながら、生放送のようにテレビカメラで撮影した映像を順次放送する場合には、テレビカメラが次の映像の撮影を終了するまでに３次元ＣＧ映像の作成を終了する必要があるので、生放送の番組には適用できないという問題がった。
【０００８】
ただし、従来の被写体表面における反射特性の計測方法は、例えば暗室に被写体を設置し、光源情報のわかるものを一点に設置した環境下で、その設置位置が既知である計測装置によって計測するものであった。また、従来の被写体表面の反射特性の推定方法には、例えば、特願２００１−１４５１９２（以下、文献１と記す）に開示される被写体表面の反射特性計測装置があった。
【０００９】
本発明の目的は、所定の照明条件の映像を実時間で順次生成することが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【００１１】
（１）、入力画像として映像される被写体の反射係数を演算する反射係数演算手段と、前記入力画像と異なる照明条件を設定する新規照明条件設定手段と、前記設定された照明条件と前記反射係数とに基づいて、前記入力画像から前記新規照明条件設定手段で設定される照明条件の画像を生成する照明条件付加手段とを有する画像処理装置において、前記入力画像は前記被写体の奥行き情報を含む画像からなり、前記反射係数演算手段は、前記被写体の奥行き情報に基づいて前記入力画像から鏡面反射領域を特定し鏡面反射画素を補正する補正手段と、前記補正された入力画像から前記被写体の反射係数を演算する拡散反射係数演算手段とを備えた。
【００１２】
（２）被写体の奥行き情報を含む撮影画像を撮影する撮影手段と、前記撮影画像に映像される前記被写体の反射係数を演算する反射係数演算手段と、前記画像と異なる照明条件を設定する新規照明条件設定手段と、前記設定された照明条件と前記反射係数とに基づいて、前記撮影画像から前記新規照明条件設定手段で設定される照明条件の画像を生成する照明条件付加手段とを有する撮影システムにおいて、前記反射係数演算手段は、前記被写体の奥行き情報に基づいて前記撮影画像から鏡面反射領域を特定し鏡面反射画素を補正する補正手段と、前記補正された撮影画像から前記被写体の反射係数を演算する拡散反射係数演算手段とを備えた。
【００１３】
前述した手段によれば、入力画像として被写体の奥行き情報を含む画像が入力されると、まず、被写体の奥行き情報に基づいて、補正手段が入力画像から鏡面反射領域を特定し、この領域内の画素である鏡面反射画素を補正する。次に、補正手段により補正された入力画像から、拡散反射係数演算手段が被写体の反射係数を演算する。この後に、新規照明条件設定手段で設定された照明条件と、拡散反射係数演算手段で演算された反射係数とに基づいて、照明条件付加手段が鏡面反射の影響が補正された入力画像から新規照明条件の画像を生成する構成となっている、すなわち膨大な演算が必要となる鏡面反射係数の算出処理を必要としない構成となっているので、所定の照明条件の映像を実時間（リアルタイム）で順次生成することが可能となり、１フレーム期間内での画像処理を実現できる。
【００１４】
従って、被写体の奥行き情報を含む撮影画像を撮影する撮影手段で撮影された撮影画像を入力画像とすることによって、所定の照明条件の映像を実時間（リアルタイム）で順次生成する、１フレーム期間内での画像処理が可能な撮影システムを構成できる。
【００１５】
【発明の実施の形態】
以下、本発明について、発明の実施の形態（実施例）とともに図面を参照して詳細に説明する。
なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１６】
（実施の形態１）
図１は本発明の実施の形態１の撮影システムの概略構成を説明するための図である。ただし、以下の説明では、周知のビデオカメラの撮影と同じ赤、青、緑の色毎の２次元の輝度分布画像を、例えば３０分の１秒毎に順次撮影し出力する装置をＲＧＢカメラと記す。
図１において、１０１は被写体、１０２は計測部、１０３は半透鏡（ハーフミラー）、１０４は照明光源、１０５はレンズ、１０６は奥行き抽出ＲＧＢカメラ、１０７は法線推定部、１０８は入射光量推定部、１０９は閾値設定部、１１０は照明効果除去部、１１１は新規照明条件設定部、１１２は新規照明条件付加部、１１３は分光測色計、１１４は領域Ａを示す。
【００１７】
図１から明らかなように、実施の形態１の撮影システムでは、被写体１０１となる出演者を照明するための照明光源１０４と、この照明光源１０４から照射される照明光を出演者側に照射するハーフミラー１０３と、照明光源１０４から照射される照明光のＲＧＢの各色毎の分光特性を計測する分光測色計１１３と、被写体１０１の体表で反射されハーフミラー１０３を介して入射された光線（出演者の光学像）を結像させるレンズ１０５と、出演者の光学像を撮影する奥行き抽出ＲＧＢカメラ１０６とから計測部１０２が形成される。
【００１８】
ただし、実施の形態１の奥行き抽出ＲＧＢカメラ１０６は、ＲＧＢカメラで得られる画像の座標毎に、レンズ主点から被写体までの奥行き距離が例えば３０分の１秒毎に実時間で順次に得られる周知のカメラである。また、ＲＧＢの３枚の画像の内の少なくとも一枚のＲＧＢ画像に対応する奥行き情報の集まりを、撮影奥行き画像と記す。さらには、実施の形態１では、奥行き距離が３０分の１秒毎に得られることが必要条件ではなく、６０分の１秒毎以外にもさらに高速なものや、あるいは低速なものでも適用可能であることはいうまでもない。この機能を有するカメラ（奥行き抽出ＲＧＢカメラ１０６）については、既にいくつかの手法が実用化されており、周知のアクシビジョンと称されるテレビカメラや、２台のカメラを所定間隔で配置したステレオカメラによる手法などがあるが、実施の形態１では、他の手法を適用したカメラでも適用可能なことはいうまでもない。しかしながら、得られるＲＧＢ画像の各画素の奥行き情報が、１対１の対応で得られる必要がある。すなわち、ＲＧＢ画像を取得する際のレンズ主点と奥行き情報を得るためのレンズ主点は同一位置となる必要がある。
【００１９】
また、実施の形態１の撮影システムでは、奥行き抽出ＲＧＢカメラ１０６で撮影された奥行き画像（撮影奥行き画像）から各画素位置での法線ベクトルを演算する法線推定部１０７と、法線ベクトルに基づいて出演者の体表面における照明光の入射光量を演算する入射光量推定部１０８と、奥行き抽出ＲＧＢカメラ１０６で撮影されたＲＧＢの各色毎の映像及び分光測色計１１３で計測されたＲＧＢの各色毎の分光特性並びに各画素毎の入射光量情報及び閾値情報に基づいて反射係数情報を演算する照明効果除去部１１０と、閾値を設定する閾値設定部１０９と、法線情報及び反射係数情報に基づいて新規照明条件で画像を生成する新規照明条件付加部１１２と、この新規照明条件付加部１１２に新たな照明条件を設定する新規照明条件設定部１１１とから画像情報の処理部が形成される。
【００２０】
従って、実施の形態１の撮影システムでは、照明光源１０４から照射された照明光で撮影された光学像（奥行き情報を有する撮影奥行き画像）に基づいて、まず、法線推定部１０７により前記撮影奥行き画像の各画素における法線ベクトルが演算され、得られた法線ベクトルが入射光量推定部１０８に入力される。入射光量推定部１０８に入力された法線ベクトルは、出演者の体表面における照明光の入射光量を演算する際の基準データとされ、入射光量推定部１０８により撮影奥行き画像と法線ベクトルとに基づいた照明光の入射光量が演算され、得られた入射光量が照明効果除去部１１０に出力される。この入射光量推定部１０８で得られた入射光量と、照明光源１０４から照射された照明光で撮影されたＲＧＢの光学像（撮影ＲＧＢ画像）と、閾値設定部１０９からの閾値に基づいて、照明効果除去部１１０により撮影ＲＧＢ画像中での各画素毎の反射係数が算出され、反射係数情報として新規照明条件付加部１１２に出力される。
【００２１】
このとき、実施の形態１の撮影システムでは、法線推定部１０７からの法線情報と、新規照明条件として新規照明条件設定部１１１からの新規照明条件情報とが、新規照明条件付加部１１２に入力される構成となっている。従って、実施の形態１の新規照明条件付加部１１２では、各画素毎の反射係数、法線情報及び新規照明条件に基づいて、撮影ＲＧＢ画像の各画素毎に彩度及び輝度情報を演算して、新規照明条件に適合した画像（出力画像）を生成する。
【００２２】
このように、実施の形態１の撮影システムでは、被写体１０１の奥行き情報に基づいて算出された法線ベクトルを基準として、入射光量及び各画素における反射係数が算出されると共に、この法線ベクトル情報に基づいて新規の照明条件での撮影ＲＧＢ画像が生成される構成となっている。すなわち、リアルタイムで１フレーム期間内での画像処理を実現することが可能となる。
【００２３】
次に、実施の形態１の撮影システムの各部の詳細構成を説明する。
【００２４】
（計測部）
図２は、実施の形態１の計測部の光学的構成を説明するための図である。ただし、以下の説明では、ＲＧＢカメラ（奥行き抽出ＲＧＢカメラ１０６）をピンホールカメラと想定した場合のピンホール位置をレンズ主点２０１と記す。また、照明光源１０４を点光源と想定した場合の光源位置を照明主点２０２と記す。
【００２５】
実施の形態１の計測部１０２では、被写体１０１に対し、ハーフミラー１０３を用いて仮想的に同一光軸上に被写体１０１を撮影する奥行き抽出ＲＧＢカメラ１０６、および照明光源１０４が設置される構成となっている。この際、奥行き抽出ＲＧＢカメラ１０６のレンズ主点２０１と、照明光源１０４の照明主点２０２とは、被写体１０１からの光路長が図２のＬ１，Ｌ２，Ｌ３を用いて、下記（式１）に示すように、同一となるように設置する。
【００２６】
【式１】
Ｌ１＋Ｌ２＝Ｌ１＋Ｌ３　　　・・・・（式１）
このように、実施の形態１の撮影システムでは、レンズ主点２０１と照明主点２０２とが一致する配置で計測部１０２を形成することにより、被写体１０１の形状によっては、被写体１０１自身により照明光が遮蔽され、被写体１０１の表面に影が撮影されてしまうことを防止する構成となっている。すなわち、レンズ１０５と照明光源１０４の主点２０１，２０２が一致していないことに起因する被写体１０１自身の影が撮影画像中の被写体上に生じることとなるが、前記した計測部１０２の形成により後述する画像処理過程における陰部分の演算精度の低下を防止するものである。
【００２７】
ここで、ハーフミラー１０３を用いる目的の一つは、照明光源１０４から照射される照明光を、ハーフミラー１０３による反射を介して被写体１０１に照射するためである。また、ハーフミラー１０３を用いる他の目的は、被写体像のハーフミラー１０３による透過を利用して、奥行き抽出ＲＧＢカメラ１０６で撮影を行うためである。奥行き抽出ＲＧＢカメラ１０６には、カメラ側から赤外線を被写体１０１に投光し、その反射光を撮像する必要のある手法があるが、この点についても、ハーフミラー１０３が透過する性質を利用することで、奥行き抽出ＲＧＢカメラ１０６の機能を制限することは無い。
【００２８】
また、実施の形態１では、ハーフミラー１０３を用いた場合に説明するが、ハーフミラー１０３の代わりに、周知の光学プリズムを用いることにより、同一の機能を実現することは可能である。また、レンズ主点２０１と照明主点２０２とが同一となるような条件が得られる場合には、ハーフミラー１０３やカメラのレンズ１０５などの被写体に対する前後関係が、図１に示す構成と異なっても問題ない。例えば、図３に示すように、ハーフミラー１０３をレンズ１０５と奥行き抽出カメラ１０６との間に配置してた場合であっても、実施の形態１の計測部１０２を構成可能となる。
【００２９】
特に、図３に示すように、レンズ１０５、ハーフミラー１０３及び奥行き抽出ＲＧＢカメラ１０６を配置した場合、図２に示す構成に比較して、照明光源１０４の主点である照明主点２０２と、奥行き抽出ＲＧＢカメラ１０６に光学像を結像させるためのレンズ１０５の主点であるレンズ主点２０１とを合致させるために必要となる照明光源１０４の移動量が少なくできるので、装置全体を小型化できるという効果を得ることも可能となる。従って、専用システムとして構成する場合は、計測部１０２は、図３に示すように、被写体１０１の側からレンズ１０５、ハーフミラー１０３、奥行き抽出ＲＧＢカメラ１０６の順に配置した構成がよい。
【００３０】
一方、図１に点線で示す領域Ａ１１４以外の部分を組み込み接続する形態とすることによって、普段は奥行き抽出ＲＧＢカメラ１０６として使用し、本願発明の目的を達成したい場合にのみ、奥行き抽出ＲＧＢカメラ１０６を多目的に利用できる。
【００３１】
（法線推定部）
実施の形態１の法線推定部１０７は、計測部１０２から得られた撮影奥行き画像における被写体１０１の各部位の法線ベクトルを推定する手段である。ただし、以下の説明では、法線ベクトルとは被写体１０１の表面に垂直なベクトルであり、面の向きを表すものである。特に、実施の形態１では、撮影奥行き画像を構成する各画素における法線ベクトルを推定する。当該画素の法線ベクトルは、当該画素と周辺の画素との奥行き情報を用いることで演算できる。
【００３２】
例えば、計測部１０２で得られた撮影奥行き画像が、横６４０画素，縦４８０画素で図４の（ａ）に示すように構成されている場合には、画像の左下の２次元座標を基準位置（０，０）とする。任意の画素をこの左下の座標を基準に画素数の距離で座標を与えるものとする。
【００３３】
２次元座標（１００，１００）の法線ベクトルを計算する場合には、図４の（ｂ）に示すように、当該画素である（１００，１００）の奥行き情報と、当該画素に隣接する画素として周囲４画素（座標（１００，１０１）、（９９，１００）、（１０１，１００）、（１００，９９））の情報を用いる。まず、それぞれの２次元座標と奥行き情報とは、レンズ主点２０１を原点とした３次元座標に変換可能となるので、実施の形態１では予め３次元座標に変換する。次に、当該画素と周囲画素とに対応する３次元座標がなす線分をそれぞれ求める。さらに、隣り合う線分同士で外積を求めることによって、線分が成す平面の法線ベクトルが求まる。この演算により４つの法線ベクトルが求まるが、実施の形態１では、４つの法線ベクトルを平均し正規化することで、当該画素の法線ベクトルとする構成となっている。ただし、法線ベクトルの計算手法は限定しないが、前述するようなコンピュータグラフィックス分野で用いられている一般的な計算手法で実現できる。また、法線推定部１０７で得られた法線ベクトル情報および３次元座標は、それぞれ次段の入射光量推定部１０８に送られる。
【００３４】
（入射光量推定部）
実施の形態１の入射光量推定部１０８は、被写体１０１の各部位への入射光量を推定する手段である。ただし、入射光量の推定には、照明光源１０４からの距離と照明光の被写体１０１への入射角とが必要となる。
【００３５】
従って、実施の形態１の撮影システムでは、入射角度および照明光源１０４からの距離は、前段の法線推定部１０７で得られた被写体１０１の各部位の法線ベクトル情報と３次元座標とを用いて求める構成となっている。このとき、前段である放線推定部１０７で得られた３次元座標は、レンズ主点２０１すなわち照明主点２０２が原点になっており、法線ベクトル情報とともに用いることで容易に照明の入射角度が推定できる。また、照明光源１０４から被写体１０１の各部位までの距離についても、各部位の３次元座標と原点（０，０，０）との間の距離を求めることで推定可能である。例えば、被写体１０１の所定部位の座標を（ｘ１，ｙ１，ｚ１）、その法線ベクトルを（ｘ２，ｙ２，ｚ２）とした場合、入射角度θは（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）をベクトルとした場合の内積から求まる。
【００３６】
まず、照明光源１０４からの距離Ｌ１は、下記の式２となる。
【００３７】
【数１】
Ｌ１＝（Ｘ１２＋ｙ１２＋ｚ１２）１／２　　　　・・・・（式２）
照明光源１０４から距離Ｌ１離れた場合の照明の光強度が距離Ｌ１の２乗に反比例することから照明光源１０４の光強度の基準をｐとすると、距離Ｌ１離れた場所への光強度ｐ１は、下記の式３となる。
【００３８】
【数２】
ｐ１＝ｐ／Ｌ１２　　　・・・・（式３）
また、被写体への入射光量Ｉは、コンピュータグラフィックスの分野で古典的なＬａｍｂｅｒｔの余弦則から、下記の式４となる。
【００３９】
【数３】
Ｉ＝ｐ１／ｃｏｓθ　　　・・・・（式４）
入射光量推定部１０８では、以上に説明した演算により、入射光量Ｉを画像の全画素にわたって計算し、得られた入射光量Ｉを次段の照明効果除去部１１０に送る。
【００４０】
（照明効果除去部）
実施の形態１の照明効果除去部１１０は、計測部１０２で得られた撮影ＲＧＢ画像と、前段の入射光量推定部１０８で得られた入射光量Ｉとを用いて、照明効果を除去した被写体１０１の表面の反射係数を求める手段である。
【００４１】
被写体１０１からの反射光の成分は、これまで種々提案されている反射モデルごとに異なる分類がなされている。しかし、その多くは経験的に広く用いられている２色性反射モデルに基づき、鏡面反射成分と拡散反射成分とに大別されている。鏡面反射成分は、一部の被写体領域で拡散反射成分に比べ極端に支配的となる現象を引き起こし、照明効果の除去を行う上で妨害となる。この領域は、ハイライト領域と呼ばれている。
【００４２】
これらの反射成分（鏡面反射成分と拡散反射成分）は、多様に提案されている反射モデル毎に表し方が異なる。拡散反射成分については、多くの反射モデルで照明光の入射角度に依存したＬａｍｂｅｒｔの余弦則が用いられており、実施の形態１においても、同様に利用する。一方、鏡面反射成分は、照明光の入射角度との関係だけでは容易に表せず、なんらかの反射モデルに当てはめたとしても高品質、高速かつ被写体１０１の材質を選ばず万能的に適用できる除去手法は未だない。従って、実施の形態１の照明効果除去部１１０では、反射モデルを考慮しない手法として、ハイライト領域を推定し、その周りの画素値で内挿する仕組みを組み込んだ構成となっている。ただし、将来、より高品質で精度の良い鏡面反射成分の除去手法が提案されれば、実施の形態１に組み込むことが可能であることはいうまでもない。
【００４３】
鏡面反射をしている部位の特徴は、画像中で比較的明るくかつ物体の色よりも光源色が支配的になる。例えば、白色照明下にある赤い物体色の表面で鏡面反射を起こしている部位は白く輝いて見える。この様な領域はハイライト領域と称されており、被写体１０１の反射係数推定の妨害となる。また、被写体１０１の材質に依存するが、被写体１０１の表面への照明光の入射角と被写体１０１の表面からカメラ側への反射光の出射角度とが近い値であると、鏡面反射が生じやすくなることが知られている。すなわち、実施の形態１の光学的条件下では、図５に示すように、レンズ主点２０１から被写体１０１の各部位に伸ばした直線Ｌ４に対して、被写体１０１の表面が垂直であるほど鏡面反射を生じやすくなる。
【００４４】
従って、実施の形態１の照明効果除去部１１０では、前述した性質から次の３つの判定基準を複合的に用いて、鏡面反射部分すなわちハイライト領域を判定する構成となっている。
（直線Ｌ４に対する判定に用いる値）
まず、レンズ主点２０１から被写体１０１の各部位に伸ばした直線Ｌ４と、被写体１０１の表面の法線ベクトルとがなす角度をθａとする。このθａは被写体１０１の法線ベクトル情報および３次元座標より算出できる。
（色の判定に用いる値）
次に、当該被写体部位の色と光源色の比較とは、以下のように行う。予め光原色の赤、青、緑の分光特性を計測しておき、図６に示すように、赤、青、緑の強度を軸とする３次元座標上に正規化して、点Ｓ１として投影する。一方、奥行き抽出ＲＧＢカメラ１０６で撮影した撮影ＲＧＢ画像から被写体１０１の当該部位の赤、青、緑の各成分を、赤、青、緑の強度を軸とする３次元座標上に正規化して、点Ｓ２として３次元座標上に投影する。このときの光源色点Ｓ１と被写体当該部位の色点Ｓ２との３次元座標上での距離を求め、この距離をｎ１とする。このように距離ｎ１を設定することにより、距離ｎ１が小さいほど色が似通っていると判定できる。ただし、実施の形態１では、予め光源色の分光特性を計測し、この計測値を用いる構成としているが、比較基準をこれに限定するものではなく、計測部内の照明近くあるいは図１に示すような部位に分光測色計１１３を内蔵し、直接に労力を掛けずに分光特性を自動で計測し、利用することも可能である。
（明るさの判定に用いる値）
図７に示すように、奥行き抽出ＲＧＢカメラ１０６で撮影した撮影ＲＧＢ画像の輝度値のピーク値Ｉｍａｘと、全画素の輝度値に対するヒストグラムとを作成し、最も明るい輝度値Ｉｍａｘから一つ目のヒストグラム上のピークとなる輝度値Ｉｐｅａｋを演算する。次に、Ｉｐｅａｋ−（Ｉｍａｘ−Ｉｐｅａｋ）なる輝度値をＩｓとする。このように輝度値Ｉｓを設定することによって、鏡面反射によるハイライト部分が、輝度値Ｉｐｅａｋを中心かつ最大値としたガウス関数で表せる分布に近似出来るので、輝度値Ｉｐｅａｋを中心にＩｐｅａｋ−Ｉｍａｘ間を折り返した左右対称の分布となる。ただし、輝度値Ｉｓは輝度値Ｉｍａｘを折り返した部分に相当する。
（３つの判定基準の利用）
３つの判定基準に対し、予め手動で第１〜第３の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３を閾値設定部１０９により設定しておく。
【００４５】
まず、奥行き抽出ＲＧＢカメラ１０６で撮影した撮影ＲＧＢ画像の各画素の角度θａと第１の閾値Ｔｈ１とを比較し、角度θａが第１の閾値Ｔｈ１より小さい場合には、鏡面反射による反射が支配的な部位とみなし、この条件を満たす領域の情報Ｒ１を保存する。
【００４６】
次に、Ｒ１の領域に限り、領域内の全画素の輝度値Ｉｏｕｔと輝度値Ｉｓとの差分値Ｉｄｉｆｆを、下記の式５より求める。
【００４７】
【数４】
Ｉｄｉｆｆ＝Ｉｏｕｔ−Ｉｓ　　　・・・・（式５）
差分値Ｉｄｉｆｆが第２の閾値Ｔｈ２よりも大きい場合は、鏡面反射による反射が支配的な部位とみなし、この条件を満たす領域の情報Ｒ２を保存する。
【００４８】
最後にＲ２の領域に限り、領域内の全画素について距離ｎ１を求める。ここで、距離ｎ１が第３の閾値Ｔｈ３より小さい部分は、鏡面反射による反射が支配的な部位とみなし、この条件を満たす領域の情報Ｒ３を保存する。
【００４９】
最終的にＲ３の領域を鏡面反射が支配的な部位とみなす。ここで、Ｒ３の領域について、一般的な画像処理手法であるセグメンテーション処理を行い、Ｒ３の領域を画像中で最小面積の閉区間に分割し、それぞれ領域ごとに周りの画素値でその領域の画素値を置き換える。
【００５０】
以上のように鏡面反射が原因となる反射係数が処理された撮影ＲＧＢ画像について、実施の形態１の撮影システムでは、以下に示す手順で拡散反射が原因となる反射係数を演算する。
拡散反射光Ｉｄは、入射光をＩで拡散反射係数をＫｄで表すと、下記の式６及び式７となる。
【００５１】
【数５】
Ｉｄ＝Ｋｄ×Ｉ　　　・・・・（式６）
Ｋｄ＝Ｉｄ／Ｉ　　　・・・・（式７）
拡散反射光Ｉｄに対応する観測された撮影ＲＧＢ画像の赤成分、青成分、緑成分を（Ｃｒ，Ｃｂ，Ｃｇ）とし、入射光Ｉの赤成分、青成分、緑成分を（Ｉｒ，Ｉｂ，Ｉｇ）とすると、拡散反射係数Ｋｄの赤成分、青成分、緑成分（Ｋｒ，Ｋｂ，Ｋｇ）は、下記の式８〜式１０により計算される。
【００５２】
【数６】
Ｋｒ＝Ｃｒ／Ｉｒ　　　・・・・（式８）
Ｋｂ＝Ｃｂ／Ｉｂ　　　・・・・（式９）
Ｋｇ＝Ｃｇ／Ｉｇ　　　・・・・（式１０）
この得られた拡散反射係数（Ｋｒ，Ｋｂ，Ｋｇ）は、照明効果を除去した情報として、次段の新規照明条件付加部１１２に送られる。
【００５３】
図８は実施の形態１の照明効果除去部の概略構成を説明するための図である。ただし、８０１は照射入射角判定部（第１の領域特定手段）、８０２は色判定部（分光特性演算手段、第２の領域特定手段）、８０３は明るさ判定部（輝度値演算手段、第３の領域特定手段）、８０４は領域内挿部（補正手段）、８０５は拡散反射光除去部（拡散反射係数演算手段）を示す。
【００５４】
図８において、照明入射角判定部８０１は、入射光量推定部１０８からの入射光量情報、法線推定部１０７からの法線ベクトルと３次元位置情報、奥行き抽出ＲＧＢカメラ１０６からの撮影ＲＧＢ画像、及び閾値設定部１０９からの第１の閾値Ｔｈ１が入力される構成となっており、前述する「直線Ｌ４に対する判定に用いる値」に記載した判定処理を行う手段である。この照明入射角判定部８０１で得られた領域情報Ｒ１は、色判定部８０２に入力される。
【００５５】
色判定部８０２は、入射光量推定部１０８からの入射光量情報、法線推定部１０７からの法線ベクトルと３次元位置情報、奥行き抽出ＲＧＢカメラ１０６からの撮影ＲＧＢ画像、及び閾値設定部１０９からの第２の閾値Ｔｈ２が入力される構成となっており、前述する「色の判定に用いる値」に記載した判定処理を行う手段である。ただし、色判定部８０２は、前述するように、照明入射角判定部８０１から入力される領域情報Ｒ１に基づいて、照明入射角判定部８０１で得られた領域に対してのみ判定処理を行う。この色判定部８０２で得られた領域情報Ｒ２は、次段の明るさ判定部８０３に入力される。
【００５６】
明るさ判定部８０３は、入射光量推定部１０８からの入射光量情報、法線推定部１０７からの法線ベクトルと３次元位置情報、奥行き抽出ＲＧＢカメラ１０６からの撮影ＲＧＢ画像、及び閾値設定部１０９からの第３の閾値Ｔｈ３が入力される構成となっており、前述する「明るさの判定に用いる値」に記載した判定処理を行う手段である。ただし、明るさ判定部８０３は、前述するように、色判定部８０２から入力される領域情報Ｒ２に基づいて、色判定部８０２で得られた領域に対してのみ判定処理を行う。この明るさ判定部８０３で得られた領域情報Ｒ３は、次段の領域内挿部８０４に入力される。
【００５７】
領域内挿部８０４は、明るさ判定部８０３で得られた領域情報Ｒ３に基づいて、撮影ＲＧＢ画像の当該領域をその周囲の画素値で内挿する手段であり、この内挿処理は、前述する「３つの判定基準の利用」に記載した処理である。この領域内挿部８０４で得られた内挿処理後の撮影ＲＧＢ画像は、次段の拡散反射光除去部８０５に入力される。
【００５８】
拡散反射光除去部８０５は、前述する式８、式９、式１０に基づき拡散反射係数を計算する手段であり、得られた拡散反射係数（Ｋｒ，Ｋｂ，Ｋｇ）が、照明効果除去部１１０の出力として、新規照明条件付加部１１２に入力される。
【００５９】
（閾値設定部）
照明効果除去部１１０で用いる第１〜第３の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３を設定する手段である。例えば、閾値の設定釦としてつまみ状のボリュームを３つ配置し、これらを操作することで各閾値を手動で設定することが可能となる。この第１〜第３の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３の設定は、使用前あるいは使用中に出力画像を見ながら、操作者の判断で行うことが可能である。ただし、本願発明では、このユーザインターフェースを限定しない。また、計測部内の分光測色計より照明の輝度値Ｉ１を求め、この輝度値Ｉ１に比例するように第２の閾値Ｔｈ２を自動的に設定するなど、自動的にこれらの閾値を設定することも可能であることはいうまでもない。
【００６０】
（新規照明条件設定部）
新規照明条件設定部１１１は、必要とされる照明条件を設定する手段である。実施の形態１の新規照明条件設定部１１１では、設定項目は、照明の数、３次元空間での配置、配光特性、色温度などを設定することが可能となっている。
【００６１】
これらの設定項目は、周知のコンピュータグラフィックスによる画像を製作する上で必要となる項目で、一般的なコンピュータグラフィックス用ソフトウェアの機能の一部と同等の機能を、新規照明条件設定部１１１に組み込むことでも実現可能である。特に、実時間で順次照明条件を変更する必要がない場合には、予め決定されている照明条件を送り続ける仕組みでも良い。また、照明条件の設定の類の操作性に慣れていない人でも直感的に操作が可能とする場合には、例えば、照明の方向のみを周知のジョイスティックで指定し、指定された方向の情報を次段の新規照明条件付加部１１２に順次送るような構成でもよい。さらには、設定項目を限定することも可能である。
【００６２】
また、テレビ番組の映像制作手法である仮想スタジオシステムと組み合わせて用いることも可能である。ただし、仮想スタジオシステムとは、被写体１０１を撮影しているカメラと同一の条件で背景となるコンピュータグラフィックス映像を生成し、この生成された画像とカメラで撮影された被写体画像とを合成し、あたかもコンピュータグラフィックスで生成した映像上に被写体１０１が存在するかのような映像効果を生成するシステムである。このコンピュータグラフィックスで生成している背景映像の照明条件は、コンピュータの中に設定してあるので、この設定条件を本手法の新規照明条件設定部１１１に与えることが可能である。
また、実際の日時あるいは使用者が指定した日時に応じた屋外の照明条件を物理法則に則り推定し、次段の新規照明条件付加部１１２に送ることも可能である。
【００６３】
実施の形態１では、このユーザインターフェースについては限定しないが、照明条件を実時間で、順次次段の新規照明条件付加部１１２に送る必要があることはいうまでもない。
【００６４】
（新規照明条件付加部）
新規照明条件付加部１１２は、法線推定部１０７からの法線ベクトル情報、照明効果除去部１１０からの反射係数（鏡面反射係数と拡散反射係数）、及び新規照明条件設定部１１１からの新規照明条件の情報が入力される構成となっており、これらの入力情報に基づいて、新規照明条件で見込まれる被写体映像を生成し出力する手段である。ただし、新規条件の被写体映像の生成は、周知のコンピュータグラフィックスで用いられる一般的な手法で実現できるので、詳細な説明は省略する。
【００６５】
ここで、新規照明条件設定部１１１に仮想スタジオシステムから得られる照明条件を与えた場合、仮想スタジオシステムで生成したコンピュータグラフィックス映像と同一の照明条件の被写体映像が生成できる。このとき、奥行き情報を利用して、被写体１０１と仮想スタジオの背景に用いるコンピュータグラフィックスのセットとの前後関係を判定する手段を設けることによって、コンピュータグラフィックスのセットより前に位置する被写体１０１の領域のみを、コンピュータグラフィックスのセットによる背景映像に合成することが可能となるので、被写体１０１が背景映像を撮影した場所とは異なる場所にいる場合であっても、被写体１０１が背景映像の撮影位置で撮影しているような効果（合成効果）が得られる。
【００６６】
なお、以上説明を行った装置のカメラや同期発生器は、３０分の１秒や６０分の１秒を基準に説明を行ったが、ＮＴＳＣ信号の機器を用いた場合は同期信号が５９．９４Ｈｚであるので、５９．９４分の１秒あるいは２／５９．９４秒となることはいうまでもない。また、高速度カメラや、長時間露光カメラなど、様々な周波数のビデオカメラが存在するが、本願発明はその周波数を限定するものではなく、画像を構成する最小単位毎に処理が順次繰り返されるように構成することによって、他の周波数の撮影カメラを用いた撮影システムにも適用可能である。
【００６７】
また、以上に説明した実施の形態１の撮影システムでは、被写体１０１は暗室にあり、計測部１０２にある照明以外の照明が存在しない環境で被写体１０１の映像を撮影する必要があることはいうまでもない。
【００６８】
以上説明したように、実施の形態１の撮影システムでは、照明光源１０４から照射された照明光のもと、奥行き抽出ＲＧＢカメラ１０６を用いて撮影された撮影奥行き画像に基づいて、法線推定部１０７が撮影奥行き画像の各画素における法線ベクトルを演算し、入射光量推定部１０８が入力された法線ベクトルから出演者である被写体１０１の体表面における照明光の入射光量を演算し、照明効果除去部１１０が入射光量推定部１０８で得られた入射光量と、照明光源１０４から照射された照明光で撮影された撮影ＲＧＢ画像と、閾値設定部１０９からの第１〜第３の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３に基づいて、撮影ＲＧＢ画像中での各画素毎の反射係数を算出し、新規照明条件付加部１１２が反射係数に基づいて新規照明条件での被写体映像を生成し出力する。
【００６９】
このとき、実施の形態１の撮影システムでは、被写体１０１の反射特性すなわち反射係数を演算する照明効果除去部１１０が、照射入射角判定部８０１、色判定部８０２、明るさ判定部８０３、領域内挿部８０４、及び拡散反射光除去部８０５で構成されている。
【００７０】
ここで、鏡面反射に係わる演算として、まず、照明入射角判定部８０１が入射光量情報、法線ベクトル、３次元位置情報、撮影ＲＧＢ画像、及び第１の閾値Ｔｈ１に基づいた領域の特定を行う。次に、照明入射角判定部８０１で特定された領域に対して、色判定部８０２が入射光量情報、法線ベクトル、３次元位置情報、撮影ＲＧＢ画像、及び第２の閾値Ｔｈ２に基づいた領域の特定を行う。次に、色判定部８０２で特定された領域に対して、明るさ判定部８０３が入射光量情報、法線ベクトル、３次元位置情報、撮影ＲＧＢ画像、及び第３の閾値Ｔｈ３に基づいた領域の特定を行う。次に、明るさ判定部８０３で特定された領域に対して、領域内挿部８０４が撮影ＲＧＢ画像の当該領域をその周囲の画素値で内挿する。この後に、領域内挿部８０４でハイライト領域が内挿（補正）された撮影ＲＧＢ画像に対して、拡散反射光除去部８０５が拡散反射光に係わる反射係数を演算する構成となっている。
【００７１】
このように、実施の形態１の照明効果除去部１１０が奥行き抽出ＲＧＢカメラ１０６で得られた撮影ＲＧＢ画像から鏡面反射の影響を取り除いた撮影ＲＧＢ画像を生成する構成、すなわち膨大な演算が必要となる鏡面反射係数の算出処理を必要としない構成となっているので、所定の照明条件の映像を実時間（リアルタイム）で順次生成することが可能となり、特に１フレーム期間内での画像処理を必要とする生放送への適用が可能となる。
【００７２】
（実施の形態２）
図９は本発明の実施の形態２の撮影システムの概略構成を説明するための図である。ただし、９０１は光学シャッタ、９０２は同期発生器、９０３は分周器、９０４は画像メモリ部、９０５は差分画像生成部を示す。また、以下の説明では、実施の形態１の撮影システムと構成が異なる、光学シャッタ９０１、同期発生器９０２、分周器９０３、画像メモリ部９０４、及び差分画像生成部９０５に係わる動作及びその効果について、詳細に説明する。
【００７３】
図９から明らかなように、実施の形態１の撮影システムでは、被写体１０１となる出演者を照明するための照明光源１０４と、この照明光源１０４から照射される照明光を被写体１０１の側に照射するハーフミラー１０３と、照明光源１０４とハーフミラー１０３との間に配置されて照明光源１０４から出射される照明光の透過と遮蔽とを制御する光学シャッタ９０１と、照明光源１０４から照射される照明光のＲＧＢの各色毎の分光特性を計測する分光測色計１１３と、被写体１０１の体表で反射されハーフミラー１０３を介して入射された光線（被写体１０１の光学像）を結像させるレンズ１０５と、被写体１０１の光学像を撮影する奥行き抽出ＲＧＢカメラ１０６と、奥行き抽出ＲＧＢカメラ１０６が備える外部同期入力端子に適合した同期信号を生成する同期発生器９０２と、同期発生器９０２からの同期信号を分周する分周器９０３とから計測部１０２が形成される。
【００７４】
このように、実施の形態２の計測部１０２では、同期発生器９０２で生成された同期信号に同期して、奥行き抽出ＲＧＢカメラ１０６の撮影タイミングを制御する構成となっている。また、同期信号を分周器で分周した信号（分周信号）により、光学シャッタ９０１の動作を制御する構成となっている。従って、奥行き抽出ＲＧＢカメラ１０６による被写体１０１の撮影と、被写体１０１への照明とを同期させることが可能となっている。なお、計測部１０２の詳細については後述する。
【００７５】
また、実施の形態１の撮影システムでは、奥行き抽出カメラ１０６で撮影された奥行き画像（撮影奥行き画像）から各画素位置での法線ベクトルを演算する法線推定部１０７と、法線ベクトルに基づいて出演者の体表面における照明光の入射光量を演算する入射光量推定部１０８と、奥行き抽出ＲＧＢカメラ１０６で撮影された撮影ＲＧＢ画像を順次格納する画像メモリ部９０４と、画像メモリ部９０４から読み出した１フレーム（１撮影周期）分遅れた画像（遅延画像）と奥行き抽出ＲＧＢカメラ１０６で撮影された撮影ＲＧＢ画像とからＲＧＢの各色毎の差分画像を生成する差分画像生成部９０５と、差分画像生成部で生成されたＲＧＢの各色毎の映像及び分光測色計１１３で計測されたＲＧＢの各色毎の分光特性並びに各画素毎の入射光量情報及び閾値情報に基づいて反射係数情報を演算する照明効果除去部１１０と、閾値を設定する閾値設定部１０９と、法線情報及び反射係数情報に基づいて新規照明条件で画像を生成する新規照明条件付加部１１２と、この新規照明条件付加部１１２に新たな照明条件を設定する新規照明条件設定部１１１とから画像情報の処理部が形成される。
【００７６】
このように、実施の形態２の処理部では、奥行き抽出ＲＧＢカメラ１０６で撮影された撮影ＲＧＢ画像を画像メモリ部９０４に一旦格納し、この格納した撮影ＲＧＢ画像とリアルタイムで撮影される撮影ＲＧＢ画像との差分画像を順次差分画像生成部９０５で生成し、この差分画像を照明効果除去部１１０が用いる構成となっている。
【００７７】
図９において、同期発生器９０２は、奥行き抽出ＲＧＢカメラ１０６のカメラ画像の撮像周波数である３０分の１秒、あるいは６０分の１秒単位の同期信号をパルスとして発生される周知の同期信号発生手段である。ただし、同期信号は奥行き抽出ＲＧＢカメラ１０６を構成するビデオカメラが有する外部同期入力端子に適合した波形であり、この同期信号がビデオカメラに入力される。このビデオカメラは入力した同期信号に同期して撮像するように調整する。ただし、一般的な業務用テレビカメラには外部同期入力端子あるいはゲンロック端子と呼ばれる外部同期信号を入力するための端子があり、内蔵されるＰＬＬ回路（ＰｈａｓｅＬｏｃｋｅｄ　Ｌｏｏｐ：位相同期回路）により、外部同期信号に同期してカメラ内部回路用の同期信号を発生させるための発振を行う回路が組み込まれている。従って、実施の形態２における同期処理は容易に実現できる。
【００７８】
また、分周器９０３は、３０分の１秒あるいは６０分の１秒の同期信号を２分周する手段であり、同期信号の半分の１５分の１秒あるいは３０分の１秒の周期の信号（分周信号）を生成する。特に、実施の形態２では、分周信号のデューティ比を５０％のデジタル信号としておき、分周信号が入力される各部での判定が容易となるように、波形整形する。
【００７９】
また、照明投光方向に対して垂直に配置される光学シャッタ９０１は、電気信号で開閉が可能な周知の光学シャッタであり、閉状態で光を遮断し、開状態で光を透過する構成となっている。また、実施の形態２の光学シャッタ９０１は、駆動信号あるいは制御信号として入力される分周信号が、Ｈｉｇｈ（１）の期間では閉状態となり、Ｌｏｗ（０）の期間では開状態となる。なお、光学シャッタ９０１としては、機械式のシャッタや液晶シャッタを用いることにより、実施の形態２の光学シャッタを実現できる。
【００８０】
画像メモリ部９０４は、奥行き抽出ＲＧＢカメラ１０６で撮影された撮影ＲＧＢ画像を順次格納する手段であり、実施の形態２では、次の撮影ＲＧＢ画像の入力タイミングで、格納している一つ前の入力タイミングで格納した撮影ＲＧＢ画像を出力する構成となっている。すなわち、画像メモリ部９０４は、撮影ＲＧＢ画像が入力し終わり、次の撮影ＲＧＢ画像が奥行き抽出ＲＧＢカメラ１０６より送られてくると、そのタイミングで画像メモリに蓄えられた内容すなわち撮影ＲＧＢ画像を、次段の差分画像生成部９０５に送る。すなわち、画像メモリ部９０４を通過した撮影ＲＧＢ画像は、奥行き抽出ＲＧＢカメラ１０６から出力されるＲＧＢ画像に対して、画像一枚分遅れることとなる。
【００８１】
差分画像生成部９０５は、奥行き抽出ＲＧＢカメラ１０６から直接に入力される現在の撮影ＲＧＢ画像Ｇｐと、画像メモリ部９０４から入力される画像一枚分遅延した画像Ｇｄとの差の画像（差分画像）Ｇｄｉｆｆを生成する手段である。特に、実施の形態２の差分画像生成部９０５では、下記の式１１と式１２とを同期発生器を分周器で２分周した信号を基に、３０分の１秒あるいは６０分の一秒ごとに切り替えることによって、差分画像Ｇｄｉｆｆを得る構成となっている。
【００８２】
【数７】
Ｇｄｉｆｆ＝Ｇｐ−Ｇｄ　　　・・・・（式１１）
Ｇｄｉｆｆ＝Ｇｄ−Ｇｐ　　　・・・・（式１２）
特に、実施の形態２の差分画像生成部９０５では、計測部１０２の照明光源１０４が点灯した際の画像が右辺の左の変数となり、消灯している際の画像が右辺の右の変数となるように制御する構成となっている。すなわち、点灯している状態の画像から点灯していない状態の画像を差し引くことで、計測部１０２内の照明光源１０４による反射光のみを、差分画像Ｇｄｉｆｆとして取り出す構成となっている。
【００８３】
これを実現するために、分周器９０３からの分周信号が０の際には式１１、分周信号が１の際には式１２を選択して差分画像を取得し、次段の照明効果除去部１１０に出力する。
【００８４】
このような工夫を行うことで、計測部１０２以外の他の光源により被写体１０１が照明されている場合であっても、実施の形態１の撮影システムと同様の効果を得る構成となっている。
【００８５】
図１０は実施の形態２における奥行き抽出カメラによる撮影ＲＧＢ画像の収集タイミングと照明光の照射タイミングとを説明するための図である。ただし、図１０に示す画像名は、奥行き抽出ＲＧＢカメラ１０６で順次撮影される撮影ＲＧＢ画像を示すものであり、本明細書中では１，２，３，４，５，６・・・の自然数で示される連続する番号を画像名とする。
【００８６】
まず、図１０に基づいて、計測部１０２における撮影ＲＧＢ画像の撮影動作について説明する。
【００８７】
前述するように、実施の形態２の計測部１０２では、奥行き抽出ＲＧＢカメラ１０６には同期信号が入力される構成となっているのに対して、光学シャッタ９０１には同期信号が２分周された分周信号が入力される構成となっている。従って、実施の形態２の計測部１０２では、同期信号に同期して奥行き抽出ＲＧＢカメラ１０６は同期信号の入力に同期して撮影を行うこととなる。
【００８８】
一方、光学シャッタ９０１では、同期信号が２分周されたデューティ比５０％の分周信号のＨｉｇｈ（１）期間とＬｏｗ（０）期間に応じて、閉状態と開状態と順番に切り替わる構成となっている。すなわち、実施の形態２の光学シャッタ９０１では、同期信号に同期して照明光源１０４から照射された照明光の透過と遮蔽とが切り替え制御されることとなるので、照明光源１０４から被写体１０１への照明光の照射も同期信号に同期した照射となる。
【００８９】
その結果、図１０に示すように、画像１，２，３，４，５，６・・・と連続する撮影ＲＧＢ画像の撮影が、同期信号に同期して動作する奥行き抽出ＲＧＢカメラによってなされた場合には、分周器９０３の出力である分周信号は、例えば画像１、３、５・・・を撮影中は１となり、画像２，４，６・・・を撮影中は０となる。従って、画像１、３、５・・・を撮影中すなわち分周信号が１の期間では、光学シャッタ９０１は閉じて照明光源１０４からの照明光を遮蔽するので、この照明光による被写体１０１の照明は行われないこととなる。これに対して、画像２、４、６・・・を撮影中すなわち分周信号が０の期間では、光学シャッタ９０１は開いて照明光源１０４からの照明光を透過するので、この照明光により被写体１０１が照明されることとなる。
【００９０】
このように、実施の形態２の計測部１０２では、奥行き抽出ＲＧＢカメラ１０６の撮影周期（フレーム期間）毎に、照明光源１０４からの照明光で被写体１０１を照明した撮影ＲＧＢ画像と、照明光源１０４からの照明光で被写体１０１を照明していない撮影ＲＧＢ画像とを撮影する構成となっている。
【００９１】
次に、図１０に基づいて、処理部における出力画像の生成動作を説明する。ただし、照明効果除去部１１０に入力される画像データが異なる以外は、実施の形態１の処理部における出力画像の生成動作と同じとなる。従って、以下の説明では、画像メモリ部９０４及び差分画像生成部９０５による差分画像Ｇｄｉｆｆの生成動作についてのみ詳細に説明する。
【００９２】
奥行き抽出ＲＧＢカメラ１０６で撮影された撮影ＲＧＢ画像は、順次画像メモリ部９０４に格納される。このとき、同じ撮影ＲＧＢ画像が差分画像生成部９０５にも入力される。従って、図１０に示す画像名１の撮影ＲＧＢ画像が撮影された場合には、画像メモリ部９０４と差分画像生成部９０５には、この画像名１の撮影ＲＧＢ画像が現在の撮影ＲＧＢ画像Ｇｐとして入力されることとなる。このとき、画像メモリ部９０４にはそれ以前の画像が格納されていないので、差分画像生成部９０５からの差分画像Ｇｄｉｆｆの出力もなされないこととなる。
【００９３】
次の撮影周期で画像名２の撮影ＲＧＢ画像が撮影された場合には、画像メモリ部９０４と差分画像生成部９０５には、この画像名２の撮影ＲＧＢ画像が現在の撮影ＲＧＢ画像Ｇｐとして入力されることとなる。このとき、まず、差分画像生成部９０５は画像メモリ部９０４から一つ前の撮影周期で撮影された画像となる、画像名１の撮影ＲＧＢ画像を画像一枚分遅延した画像Ｇｄとして読み出す。次に、差分画像生成部９０５は画像メモリ部９０４からの画像名１の撮影ＲＧＢ画像（画像一枚分遅延した画像Ｇｄ）と、奥行き抽出ＲＧＢカメラ１０６からの画像名２の撮影ＲＧＢ画像（現在の撮影ＲＧＢ画像Ｇｐ）とから、その差分画像Ｇｄｉｆｆを生成する。このときの演算は、前述するように、式１１に従って、照明光源１０４からの照射光が照射されて撮影された画像である画像名２の撮影ＲＧＢ画像（現在の撮影ＲＧＢ画像Ｇｐ）から、照明光源１０４からの照射光が照射されないときに撮影された画像名１の撮影ＲＧＢ画像（画像一枚分遅延した画像Ｇｄ）を減算することによって、差分画像Ｇｄｉｆｆを生成する。
【００９４】
次の撮影周期で画像名３の撮影ＲＧＢ画像が撮影された場合には、画像メモリ部９０４と差分画像生成部９０５には、この画像名３の撮影ＲＧＢ画像が現在の撮影ＲＧＢ画像Ｇｐとして入力される。このとき、差分画像生成部９０５は画像メモリ部９０４から一つ前の撮影周期で撮影された画像となる、画像名２の撮影ＲＧＢ画像を画像一枚分遅延した画像Ｇｄとして読み出す。次に、差分画像生成部９０５は画像メモリ部９０４からの画像名２の撮影ＲＧＢ画像（画像一枚分遅延した画像Ｇｄ）と、奥行き抽出ＲＧＢカメラ１０６からの画像名３の撮影ＲＧＢ画像（現在の撮影ＲＧＢ画像Ｇｐ）とから、その差分画像Ｇｄｉｆｆを生成する。このときの演算は、前述するように、式１２に従って、照明光源１０４からの照射光が照射されて撮影された画像である画像名２の撮影ＲＧＢ画像（画像一枚分遅延した画像Ｇｄ）から、照明光源１０４からの照射光が照射されないときに撮影された画像名３の撮影ＲＧＢ画像（現在の撮影ＲＧＢ画像Ｇｐ）を減算することによって、差分画像Ｇｄｉｆｆを生成する。
【００９５】
以上に説明した画像メモリ部９０４への現在の撮影ＲＧＢ画像Ｇｐの格納と、差分画像生成手段９０５による、式１１もしくは式１２に従った、照射光が照射されて撮影された撮影ＲＧＢ画像から、照明光源１０４からの照射光が照射されないときに撮影された撮影ＲＧＢ画像の減算処理を順次行うことにより得られた差分画像Ｇｄｉｆｆは、照明効果除去部１１０に出力され、実施の形態１と同様の処理がなされることとなるので、実施の形態１の撮影システムと同様の効果が得られることとなる。
【００９６】
また、実施の形態２では、以上に説明した画像メモリ部９０４への現在の撮影ＲＧＢ画像Ｇｐの格納と、差分画像生成手段９０５による、式１１もしくは式１２に従った、照射光が照射されて撮影された撮影ＲＧＢ画像から、照明光源１０４からの照射光が照射されないときに撮影された撮影ＲＧＢ画像の減算処理を順次行うことにより、計測部１０２の照明光源１０４による反射光のみを差分画像Ｇｄｉｆｆとして取り出すことが可能となる。その結果、計測部１０２以外の照明光源１０４により、被写体１０１が照明されている場合であっても、暗室に被写体１０１を入れて撮影した実施の形態１の撮影システムと同様の効果が得られるという格別の効果を有する。
【００９７】
（実施の形態３）
図１１は本発明の実施の形態３の撮影システムにおける照明光源の概略構成を説明するための図である。ただし、実施の形態３の撮影システムは、計測部１０３を構成する奥行き抽出ＲＧＢカメラ１０６及び照明光源１０４の構成を除く他の構成は、実施の形態１もしくは実施の形態２の撮影システムと同様の構成となる。従って、以下の説明では、計測部１０２の構成について、詳細に説明する。
【００９８】
図１１において、１１０１はテレビカメラ、１１０２はレンズリモコン、１１０３は第１のＡ／Ｄ変換器、１１０４は第２のＡ／Ｄ変換器、１１０５はルックアップテーブル検索部、１１０６は主点位置情報電圧変換部、１１０７はサーボモータ、１１０８は回転軸、１１０９は摺動部、１１１０は光源ランプを示す。
【００９９】
図１１に示すように、実施の形態３の撮影システムでは、レンズリモコン１１０２から遠隔操作信号（例えば、電圧信号等）に応じて、奥行き抽出ＲＧＢカメラ１０６とレンズ１０５とからなるテレビカメラ１１０１の図示しないズーム機構及びフォーカス機構が動作して、テレビカメラ１１０１の撮影視野（画角）が任意に設定可能なテレビカメラ１１０１を用いることによって、奥行き抽出カメラ１０６とレンズ１０５とが構成されている。また、ズーム機構及びフォーカス機構を制御する遠隔操作信号は、第１及び第２のＡ／Ｄ変換器１１０３，１１０４に入力される構成となっている。
【０１００】
第１及び第２のＡ／Ｄ変換器１１０３，１１０４では、レンズリモコン１１０２からの遠隔操作信号（レンズのズーム量及びフォーカス量）がデジタル信号に変換され、ルックアップテーブル検索部１１０５に出力される。このデジタル信号に変換されたズーム量及びフォーカス量が入力されたルックアップテーブル検索部１１０５は、ズーム量及びフォーカス量に応じた照明主点２０２の位置情報を格納する図示しないテーブルを参照して、ズーム量及びフォーカス量の組み合わせに適合した照明主点２０２を検索する。検索によって得られた照明主点２０２の位置情報は、主点位置情報電圧変換部１１０６により、サーボモータ１１０７を駆動する駆動電力に変換され、サーボモータ１１０７が駆動される。
【０１０１】
ここで、実施の形態３では、サーボモータ１１０７の回転軸１１０８にはネジ山が形成され、この回転軸１１０８のネジ山と摺動部１１０９のネジ山とが嵌合されている。その結果、回転軸１１０８の回転量に応じて、光源ランプ１１１０が取り付けられる摺動部１１０９が図中に矢印で示す方向（照明光源１０４の照明主点２０２が増減する方向）に移動して、光源ランプ１１１０の位置すなわち照明主点２０２の位置を移動させる構成となっている。
【０１０２】
従って、サーボモータ１１０７の駆動によって、光源ランプ１１１０と共に摺動部１１０９が回転軸１１０８に沿って移動し、光源ランプ１１１０がズーム量及びフォーカス量に応じた照明主点２０２に移動される。
【０１０３】
このように、実施の形態３の撮影システムでは、フォーカス量とズーム量とに対する主点（照明主点）の位置をルックアップテーブルに予め格納しておき、いわゆるリモコンズームレンズのリモコンであるレンズリモコン１１０２から出力される遠隔操作信号から、フォーカス量とズーム量に応じた照明主点２０２の位置を得る。次に、得られた照明主点２０２の位置情報に基づいて、光源ランプ１１１０を照明主点２０２に移動制御する構成となっているので、ズーム機能付きのテレビカメラ１１０１を使用した場合であっても、照明の死角をなくした撮影が可能となる。
【０１０４】
なお、実施の形態３の撮影システムでは、レンズリモコン１１０２から出力される遠隔操作信号を監視することによって、レンズ１０５のズーム量及びフォーカス量に対応したレンズ主点２０１に光源ランプ１１１０を移動させる構成となっているが、これに限定されることはなく、テレビカメラ１１０１のズーム量及びフォーカス量を直接検出し、この検出量に応じて照明主点２０２を移動させる構成でもよい。
【０１０５】
図１２はテレビカメラのズーム量及びフォーカス量を直接検出する機構を備えた照明光源の概略構成を説明するための図である。以下、図１２に基づいて、ズーム量及びフォーカス量の検出機構及び検出量に応じた照明主点２０２の移動を説明する。ただし、図１２に示す照明光源１０４は、フォーカスリング１２０１、第１のロータリーエンコーダ１２０２、ズームリング１２０３、第２のロータリーエンコーダ１２０４、第１のカウンタ１２０５、及び第２のカウンタ１２０６を除く他の構成は、図１１に示す実施の形態３の照明光源１０４と同様となる。
【０１０６】
図１２に示すように、他の実施の形態３の撮影システムでは、テレビカメラ１１０１がフォーカスリング１２０１及びズームリング１２０３の移動量を検出する第１及び第２のロータリーエンコーダ１２０２，１２０４を備える構成となっている。すなわち、フォーカスリング１２０１の回転量を検出することによりフォーカス量を検出し、ズームリング１２０３の回転量を検出することによりズーム量を検出する構成となっている。
【０１０７】
第１のロータリーエンコーダ１２０２の出力は、第１のカウンタ１２０５により計数されており、その計数値がルックアップテーブル検索部１１０５に入力される構成となっている。また、第２のロータリーエンコーダ１２０４の出力は、第２のカウンタ１２０６により計数されており、その計数値もルックアップテーブル検索部１１０５に入力される構成となっている。
【０１０８】
ここで、第１及び第２のカウンタ１２０５，１２０６からの計数値に基づいて、ルックアップテーブル検索部１１０５がズーム量及びフォーカス量に応じた照明主点２０２の位置情報を格納する図示しないテーブルを参照して、ズーム量及びフォーカス量の組み合わせに適合した照明主点２０２を検索する。検索によって得られた照明主点２０２の位置情報は、主点位置情報電圧変換部１１０６により、サーボモータ１１０７を駆動する駆動電力に変換され、サーボモータ１１０７が駆動されることとなるので、前述する実施の形態３の照明光源１０４と同様にして、光源ランプ１１１０が照明主点２０２に移動する。その結果、照明の死角をなくした撮影が可能となる。
【０１０９】
このとき、この図１２に示すように、フォーカスリング１２０１及びズームリング１２０３の回転量を機械的に読み出す構成とするほうが、図１０に示す実施の形態３の構成よりも、ズーム量やフォーカス量によるレンズ主点２０１の位置を正確に把握することができるので、正確な制御が可能となる。
【０１１０】
ただし、図１２に示す構成は、フォーカスリング１２０１及びズームリング１２０３の回転を取り出す機構及びロータリーエンコーダ１２０２，１２０４等が必要となるので、図９に示す実施の形態３の構成とした方が簡易な構成とすることができる。
【０１１１】
なお、実施の形態３の照明光源１０４は、実施の形態１及び実施の形態２の撮影システムに適用可能なことはいうまでもない。
【０１１２】
また、実施の形態１〜３の撮影システムでは、照明効果除去部１１０において、鏡面反射による影響を受けた画素を当該画素の周辺の画素値で補正する構成としたが、鏡面反射がないものとして、拡散反射係数のみを演算して反射係数としてもよいことはいうまでもない。
【０１１３】
また、実施の形態１〜３の撮影システムは、シールプリント装置のように、被写体１０１である人物の映像と、予め用意している背景映像とを合成するシステムにも適用可能である。この場合、背景映像に合致した照明条件の人物映像を生成し、背景映像と合成することで違和感の無いプリントシールを生成できる。この場合、実時間かつ順次照明条件を変更できる効果を利用して、シールへの印刷前に合成の具合を利用者が確認できるとともに、撮影時の照明の死角がないため、人物の画像全体に一様に、十分な光量で撮影できる。
【０１１４】
また、既存のシールプリント装置等の簡易な撮影システムでは、被写体１０１となる人物の後ろにフラッシュライトを反射しやすいシートを設置し、撮影画像の明るさで人物領域と背景領域とを判定し合成しているが、本願発明では距離情報を同時に取得しているので、特殊なシートを人物の後ろに配置しなくても、距離情報を基に、人物領域を判定できる。
【０１１５】
また、現在普及しつつある従来のインターネットあるいは電話回線など通信媒体を用いたテレビ電話やテレビ会議などでは、一般家庭内で見栄えが良く自然な照明を設営することは、スペース的に困難であり、現実的には部屋の天井に設置してある照明あるいはテレビ電話付近にある照明を用いることになる。しかしながら、本願発明を適用することにより、種々に照明条件を変更できるので、自然な順光の照明に設定できる。
【０１１６】
さらには、本願発明を適用することにより、撮影日時に応じて新規照明条件設定部で照明条件を変更することが可能となるので、屋内にいても季節感や、時間（例えば秋の夕方）などの効果を自動的に表現できる。また、奥行き情報を利用して、人物よりも、奥にある領域は別の画像に差し替えることで、自室を相手に見せないことで、プライバシーを守ることが出来る。
【０１１７】
以上、本発明者によってなされた発明を、前記発明の実施の形態に基づき具体的に説明したが、本発明は、前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【０１１８】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【０１１９】
（１）膨大な演算が必要となる鏡面反射係数の算出処理を必要としない構成となっているので、所定の照明条件の映像を実時間（リアルタイム）で順次生成することができる。
【０１２０】
（２）照射光が照射されて撮影された撮影ＲＧＢ画像から、照射光が照射されないときに撮影された撮影ＲＧＢ画像の減算処理を順次行うことにより得られた差分画像に基づいて、照明効果除去部が鏡面反射係数の算出処理を必要としない反射係数の算出を行うので、被写体が照明されている場合であっても、所定の照明条件の映像を実時間（リアルタイム）で順次生成することができる。
【０１２１】
（３）テレビカメラのズーム量及びフォーカス量に応じて照明主点に光源ランプを移動することができるので、テレビカメラにズームレンズを使用した場合であっても、照明の死角をなくした撮影ができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の撮影システムの概略構成を説明するための図である。
【図２】実施の形態１の計測部の光学的構成を説明するための図である。
【図３】実施の形態１の計測部の他の光学的構成を説明するための図である。
【図４】実施の形態１の法線推定部の動作を説明するための図である。
【図５】実施の形態１の照明効果除去部の動作を説明するための図である。
【図６】実施の形態１の照明効果除去部における分光特性の測定原理を説明するための図である。
【図７】実施の形態１の照明効果除去部における明るさの判定に用いる値の算出手順を説明するための図である。
【図８】実施の形態１の照明効果除去部の概略構成を説明するための図である。
【図９】本発明の実施の形態２の撮影システムの概略構成を説明するための図である。
【図１０】実施の形態２における奥行き抽出カメラによる撮影ＲＧＢ画像の収集タイミングと照明光の照射タイミングとを説明するための図である。
【図１１】本発明の実施の形態３の撮影システムにおける照明光源の概略構成を説明するための図である。
【図１２】本発明の実施の形態３の撮影システムにおける他の照明光源の概略構成を説明するための図である。
【符号の説明】
１０１…被写体　　　　　　　　　　　１０２…計測部
１０３…半透鏡（ハーフミラー）　　　１０４…照明光源
１０５…レンズ　　　　　　　　　　　１０６…奥行き抽出ＲＧＢカメラ
１０７…法線推定部　　　　　　　　　１０８…入射光量推定部
１０９…閾値設定部　　　　　　　　　１１０…照明効果除去部
１１１…新規照明条件設定部　　　　　１１２…新規照明条件付加部
１１３…分光測色計　　　　　　　　　１１４…領域Ａ
２０１…レンズ主点　　　　　　　　　２０２…照明主点
８０１…照射入射角判定部　　　　　　８０２…色判定部
８０３…明るさ判定部　　　　　　　　８０４…領域内挿部
８０５…拡散反射光除去部
９０１…光学シャッタ　　　　　　　　９０２…同期発生器
９０３…分周器　　　　　　　　　　　９０４…画像メモリ部
９０５…差分画像生成部
１１０１…テレビカメラ　　　　　　　１１０２…レンズリモコン
１１０３…第１のＡ／Ｄ変換器　　　　１１０４…第２のＡ／Ｄ変換器
１１０５…ルックアップテーブル検索部
１１０６…主点位置情報電圧変換部　　１１０７…サーボモータ
１１０８…回転軸　　　　　　　　　　１１０９…摺動部
１１１０…光源ランプ
１２０１…フォーカスリング　　　　　１２０２…第１のロータリーエンコーダ
１２０３…ズームリング　　　　　　　１２０４…第２のロータリーエンコーダ
１２０５…第１のカウンタ　　　　　　１２０６…第２のカウンタ
【図１】
2004021388.tif 000003
【図２】
2004021388.tif 000004
【図３】
2004021388.tif 000005
【図４】
2004021388.tif 000006
【図５】
2004021388.tif 000007
【図６】
2004021388.tif 000008
【図７】
2004021388.tif 000009
【図８】
2004021388.tif 000010
【図９】
2004021388.tif 000011
【図１０】
2004021388.tif 000012
【図１１】
2004021388.tif 000013
【図１２】
2004021388.tif 000014