(57)【特許請求の範囲】
【請求項１】
ＲＧＢの各カラーフィルタを有した分光特性の異なる１以上の単板カラー撮像デバイスと、カラーフィルタのないモノクローム撮像デバイスとが分光手段を介して同一撮影エリアを同一視点および同一画角で撮影する位置関係で配置されている撮像部と、前記カラー撮像デバイスおよびモノクローム撮像デバイスを用いて撮影された各撮影映像を１つに統合する処理を行う画像統合手段とを備える撮影装置であって、
前記画像統合手段は、
色試験撮影用対象を前記カラー撮像デバイスで撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を色輝度変換行列により変換することで当該カラー画像における画素の輝度値を生成し、前記カラー撮像デバイスと同時に当該色試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求める輝度キャリブレーション手段と、
前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影用対象をそれぞれ撮影した撮影画像のカラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された色輝度変換行列を含む行列であって色空間に写像する色空間変換行列を乗じて変換された輝度値のうち、前記モノクローム撮像画像では飽和していない領域の輝度値、および、前記モノクローム撮像画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した統合画像の色情報とし、かつ、前記統合輝度を輝度情報として統合画像を生成する統合画像生成手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記輝度キャリブレーション手段は、
前記色試験撮影用対象としてカラーチャートを前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影したカラーチャート画像を用いて前記色輝度変換行列を最適化し、最適化した色輝度変換行列を記憶手段に保持する
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記輝度キャリブレーション手段は、
外部環境に応じて更新された前記色試験撮影用対象を、前記カラー撮像デバイスおよびモノクローム撮像デバイスでその都度撮影した各撮影画像を用いて前記色輝度変換行列を最適化し、最適化した色輝度変換行列を、前記色試験撮影用対象に応じて更新しながら記憶手段に保持する
ことを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記輝度キャリブレーション手段は、
前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影した各撮影画像から、予め定められた規則にしたがって画素を間引いて残余の画素を対象として前記モノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求める
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の撮影装置。
【請求項５】
前記画像統合手段は、
位置試験撮影用対象を前記各撮像デバイスで撮影した複数の撮影画像に基づいて、前記カラー撮像デバイスで撮影したカラー画像の特徴点の座標を射影行列により変換することで前記モノクローム撮影画像における座標に変換された変換座標値を生成し、前記カラー撮像デバイスと同時に当該位置試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像の当該特徴点の座標と前記カラー画像の特徴点に対応するモノクローム撮影画像における前記変換座標値との差が最小化するように前記射影行列を最適化して求める位置キャリブレーション手段をさらに備える
ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の撮影装置。
【請求項６】
複数の前記カラー撮像デバイスが配設され、各カラー撮像デバイスは互いに分光感度が異なるカラーフィルタを有し、
前記輝度キャリブレーション手段は、
前記カラー撮像デバイスの各撮影画像のうち、前記色輝度変換行列を求める際に用いた第１カラー画像以外の第２カラー画像から、前記第１カラー画像と同様にデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を第２の色輝度変換行列により変換することで当該第２カラー画像の輝度値を生成し、前記第２カラー画像の輝度値と既に最適化されている前記第１カラー撮像画像の輝度値との差が最小化するように前記第２の色輝度変換行列を最適化して求め、
前記統合画像生成手段は、
前記第２カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された第２の色輝度変換行列を含む行列であって色空間に写像する第２の色空間変換行列を乗じて変換された輝度値のうち、前記第１カラー画像では飽和していない領域の輝度値、および、前記第１カラー画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した第２の統合画像の色情報とし、かつ、前記統合輝度を輝度情報として第２の統合画像をさらに生成することを特徴とする請求項１ないし請求項５のいずれか一項に記載の撮影装置。
【請求項７】
前記統合画像生成手段は、
前記カラー撮像デバイスおよびモノクローム撮像デバイスで前記撮影用対象をそれぞれ撮影した撮影画像を統合した統合画像を生成する際に、
前記撮影用対象を前記カラー撮像デバイスで撮影したカラー画像において、前記モノクローム撮像デバイスの輝度の上限として予め定められた第１閾値より大きい輝度領域の画素については、
当該カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を求め、
前記第１閾値よりも小さな予め定められた第２閾値より小さい輝度領域の画素については、
前記撮影用対象を前記カラー撮像デバイスで撮影したカラー画像を再度デモザイク化し、このデモザイクにおいて、前記モノクローム撮像デバイスで撮影したモノクローム撮影画像の輝度値の勾配を利用した内挿をした上で生成されるＲＧＢプレーンのＲＧＢ値を算出し、
前記第２閾値以上前記第１閾値以下の輝度領域の画素については、
前記第１閾値より大きい輝度領域の画素について既に算出されたＲＧＢ値と、前記第２閾値より小さい輝度領域の画素について既に算出されたＲＧＢ値とを、当該画素の輝度と前記第１および第２閾値との距離に応じて加重平均する、
ことで統合画像のＲＧＢ値を算出することを特徴とする請求項１ないし請求項５のいずれか一項に記載の撮影装置。
【請求項８】
前記統合画像生成手段は、
前記複数のカラー撮像デバイスおよびモノクローム撮像デバイスで前記撮影用対象をそれぞれ撮影した撮影画像を統合した統合画像を生成する際に、
前記撮影用対象を撮影した第２カラー画像において、前記第１カラー画像の輝度の上限として予め定められた第３閾値より大きい輝度領域の画素については、
当該第２カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を求め、
前記第３閾値よりも小さな予め定められた第４閾値より小さい輝度領域の画素については、
前記第２カラー画像を再度デモザイク化し、このデモザイクにおいて、前記統合画像の輝度値の勾配を利用した内挿をした上で生成されるＲＧＢプレーンのＲＧＢ値を算出し、
前記第４閾値以上前記第３閾値以下の輝度領域の画素については、
前記第３閾値より大きい輝度領域の画素について既に算出されたＲＧＢ値と、前記第４閾値より小さい輝度領域の画素について既に算出されたＲＧＢ値とを、当該画素の輝度と前記第３および第４閾値との距離に応じて加重平均する、
ことで統合画像のＲＧＢ値を算出することを特徴とする請求項６に記載の撮影装置。
【請求項９】
ＲＧＢの各カラーフィルタを有した分光特性の異なる１以上の単板カラー撮像デバイスと、カラーフィルタのないモノクローム撮像デバイスとが分光手段を介して同一撮影エリアを同一視点および同一画角で撮影する位置関係で配置されている撮像部を用いて撮影された各撮影映像を１つに統合する処理を行うために、コンピュータを、
色試験撮影用対象を前記カラー撮像デバイスで撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を色輝度変換行列により変換することで当該カラー画像における画素の輝度値を生成し、前記カラー撮像デバイスと同時に当該色試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求める輝度キャリブレーション手段、
前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影用対象をそれぞれ撮影した撮影画像のカラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された色輝度変換行列を含む行列であって色空間に写像する色空間変換行列を乗じて変換された輝度値のうち、前記モノクローム撮像画像では飽和していない領域の輝度値、および、前記モノクローム撮像画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した統合画像の色情報とし、かつ、前記統合輝度を輝度情報として統合画像を生成する統合画像生成手段
として機能させるための画像統合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術、画像処理技術に係り、特に、映像制作に用いる映像処理技術に関する。
【背景技術】
【０００２】
放送等において用いられる映像作品の製作において、所定の被写体を撮影した後に行われるポストプロダクション（ポスプロともいう）に必要な映像加工の自由度は、クリエイタの想像力に対応するため充分なものが望まれている。
【０００３】
例えば映像合成などに代表される映像加工を行う元になる精度のよい実写を取得できる撮影装置が存在していてそれを用いることができれば、映像加工の自由度を向上させることが可能になる。しかし、そのような理想的な撮影装置は、費用の面や入手の困難性の理由から、映像加工のために利用されてはいない。これに対して、通常の撮影装置に用いられている撮像デバイス（撮像素子）は、一般に、その時代の放送や通信方式で限定された品質付近を基準に設計され、製造されている。したがって、費用あるいは入手性の面からも、このような通常の撮像デバイスを利用することが現実的である。
【０００４】
しかし、放送機器の精度は、クリエイタの想像力を満足させるものではないのが現状である。そして、現状では、例えば放送規格などで規定された程度の精度の放送機器や、そのような精度よりも僅かに高い精度の放送機器が一般的に混合して用いられている。そのため、このような一般的な放送機器を用いて、映像合成などに代表される映像加工を行った場合、画像が劣化したり、違和感を与えるものとなったりする。例えば、撮影後の処理で、画像処理により、画像を拡大すると、色滲みが生じ、鮮鋭さが損なわれてしまう。
【０００５】
そこで、映像加工の自由度を向上することのできる撮像装置として、最終的な映像作品の映像形式に対し、例えば、より広いダイナミックレンジが取得可能、かつ、低コストなものが望まれている。ただし、コストの面では、映像加工の自由度は、映像作品の価値を左右する大きな要因なので、僅かな費用増で、より効果を得たいというニーズもある。
【０００６】
また、将来、現状よりも高解像度の映像形式が普及することが予想される。この場合、同時にその映像形式の作品を制作する側においても、高解像度の映像形式の映像加工に対応することとなる。つまり、制作側において、映像加工する際には、その映像形式に対し、より高解像度、高ダイナミックレンジの映像素材が必要とされると予想される。
【０００７】
従来、高ダイナミックレンジを撮影する装置としては、素子単体に工夫を行ったものや、撮影方法を工夫したものなどがある。このうち、素子単体に工夫を行ったものとしては、入射光と素子への蓄積電荷量の関係に対して、何らかの非線形な特性を持たせるものが挙げられる。しかしながら、このように素子に何らかの非線形な特性を持たせるものは、集積度の制限から、高解像度の素子が存在しないのが現状である。
【０００８】
また、高ダイナミックレンジを撮影する装置のうち、撮影方法を工夫したものとしては、複数回撮影した画像を統合する手法が挙げられる（非特許文献１、２参照）。
非特許文献１に記載の手法は、シャッタースピードの変更により露光時間を変えて取得した複数画像を利用し高ダイナミックレンジ画像を取得する方法である。また、非特許文献２に記載の手法は、同様に露光時間を変更して取得した複数画像から高ダイナミックレンジ画像に統合する方法である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】齊藤啓太、他２名、“広ダイナミックレンジ圧縮における連続性補正・空間補正手法の検討”、映像情報メディア学会誌、Vol.61, No.3, p.325-331, 2007
【非特許文献２】Paul E. Debevec and Jitendra Malik, ” Recovering High Dynamic Range Radiance Maps from Photographs”, Proceedings of the SIGGRAPH’97 Conference”， p.369-378, August 1997
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の高ダイナミックレンジを撮影する装置のうち、複数回撮影した画像を統合する撮影装置は、異なる時間で撮影していることから、動画への対応が困難である。あるいは動画へ対応させたとしても、その映像には、動きの速いものの輪郭に不自然な輪郭が生じるため、映像制作には適していない。例えば、非特許文献１の手法を動画に適用した場合、統合した高ダイナミックレンジ画像に未露光時間があるため、動きボケが不自然になる問題がある。また、非特許文献２の手法は動画への対応が困難であると共に、後処理で輝度のキャリブレーションを行うなどの煩雑さがある。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、映像制作において通常の撮像素子を用いたとしても高ダイナミックレンジを得る撮影装置および画像統合プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために、本発明の請求項１に記載の撮影装置は、ＲＧＢの各カラーフィルタを有した分光特性の異なる１以上の単板カラー撮像デバイスと、カラーフィルタのないモノクローム撮像デバイスとが分光手段を介して同一撮影エリアを同一視点および同一画角で撮影する位置関係で配置されている撮像部と、前記カラー撮像デバイスおよびモノクローム撮像デバイスを用いて撮影された各撮影映像を１つに統合する処理を行う画像統合手段とを備える撮影装置であって、前記画像統合手段が、輝度キャリブレーション手段と、統合画像生成手段とを備えることとした。
【００１３】
かかる構成によれば、撮影装置は、１つの被写体を、例えばプリズムやハーフミラーといった分光手段を介して、１以上のカラー撮像デバイスと、モノクローム撮像デバイスで同様に撮影する。ここで、カラー撮像デバイスは、例えば、ベイヤ配列などのオンチップ色フィルタを備える単板RGB撮像素子から構成され、モノクローム撮像デバイスは、例えば、クリアのオンチップレンズのみが装着されているモノクローム撮像素子から構成される。また、撮影装置の画像統合手段は、輝度キャリブレーション手段によって、色試験撮影用対象を前記カラー撮像デバイスで撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を色輝度変換行列により変換することで当該カラー画像における画素の輝度値を生成し、前記カラー撮像デバイスと同時に当該色試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求める。ここで、例えばカラー画像の輝度値を生成する処理は、撮影しながら行ってもよい。そして、撮影装置の画像統合手段は、統合画像生成手段によって、前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影用対象をそれぞれ撮影した撮影画像のカラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された色輝度変換行列を含む行列であって色空間に写像する色空間変換行列を乗じて変換された輝度値のうち、前記モノクローム撮像画像では飽和していない領域の輝度値、および、前記モノクローム撮像画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した統合画像の色情報とし、かつ、前記統合輝度を輝度情報として統合画像を生成する。
【００１４】
また、撮影装置は、カラー撮像デバイスとモノクローム撮像デバイスを備えているので、このうちの一方では得られる情報であるが、他方では得られない情報を補間しつつ、１枚の画像を生成することができる。例えば、ベイヤ配列のカラー撮像デバイスによる撮影画像は、モノクローム撮像デバイスによる撮影画像から解像度を補間することができる。また、モノクローム撮像デバイスによる撮影画像は、カラー撮像デバイスから色情報を補間することができる。また、それぞれの撮像デバイスへの入射光量の差から、一方の撮像デバイスが飽和していれば、その部位の輝度値といった情報を、他方の撮像デバイスから補間することができる。このように、撮影装置は、その時点で入手可能な比較的低コストの一般的な撮像デバイスを複数利用し、双方の長所、短所を補いつつ両者の画像を高精度に合成して１つの映像とするので、従来よりも高ダイナミックレンジかつ高解像度の高精度な映像を取得することができる。さらに、一般的な撮像デバイスの個数が僅かに増加する程度の割安のコスト増に抑えつつ、映像作品の制作工程で生じる加工作業において、その自由度を確保することができる。
【００１５】
また、かかる構成によれば、撮影装置において、統合画像生成手段は、撮影したカラー画像をデモザイク化したＲＧＢプレーンのＲＧＢ値に対して、色空間変換行列を乗じる。つまり、統合画像生成手段は、カラー撮像デバイスおよびモノクローム撮像デバイスで撮影された各撮影画像の色情報として、カラー画像のデモザイク処理により得られた色情報を用いる。ここで、色空間変換行列は、カラー画像の画素のＲＧＢ値を特殊な色空間に一旦写像するものである。なお、色空間変換行列は３×３の行列であり、色輝度変換行列は、ＲＧＢ値を輝度に変換するので３×１の要素を有する行列である。色空間変換行列は、統合輝度値と、色情報とを同時に扱うために、色輝度変換行列を含んでいる。色空間変換行列によって、統合輝度と、前記色空間における色情報とが求められる。このように撮影装置により得られた統合画像は、ポスプロにおいて、映像加工に供されることとなる。
【００１６】
また、本発明の請求項２に記載の撮影装置は、請求項１に記載の撮影装置において、前記輝度キャリブレーション手段が、前記色試験撮影用対象としてカラーチャートを前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影したカラーチャート画像を用いて前記色輝度変換行列を最適化し、最適化した色輝度変換行列を記憶手段に保持することとした。
【００１７】
かかる横成によれば、撮影装置は、例えば屋内のスタジオ等において同様な条件で何度も使用されるときには、本番の撮影の前に、カラーチャートを用いて、各撮像デバイスの輝度を一度校正すれば、その後、撮影のたびに輝度の校正をする必要がない。そして、各撮像デバイスの輝度を校正しておけば、被写体をカラー撮像デバイスおよびモノクローム撮像デバイスで撮影したときに、その都度、同様な条件の高ダイナミックかつ高解像度の統合画像を取得することができる。
【００１８】
また、本発明の請求項３に記載の撮影装置は、請求項１に記載の撮影装置において、前記輝度キャリブレーション手段が、外部環境に応じて更新された前記色試験撮影用対象を、前記カラー撮像デバイスおよびモノクローム撮像デバイスでその都度撮影した各撮影画像を用いて前記色輝度変換行列を最適化し、最適化した色輝度変換行列を、前記色試験撮影用対象に応じて更新しながら記憶手段に保持することとした。
【００１９】
かかる横成によれば、撮影装置は、例えば、撮影対象の絵柄が変わったとき、屋内にて照明条件の異なる場所に移動するとき、屋内から屋外への移動を伴って使用されるとき、屋外で使用されるとき、といった場合に、本番の撮影の前に、照明条件の違いや天候等により随時変化する外部環境に応じて、各撮像デバイスで撮影した通常の撮影映像を用いて、各撮影画像の輝度をその都度校正することで、最適化した色輝度変換行列を更新することができる。ここで、例えばフレーム単位で色輝度変換行列を更新してもよい。この撮影装置によれば、被写体をカラー撮像デバイスおよびモノクローム撮像デバイスで撮影したときに、その都度、それぞれの撮影環境に応じた高ダイナミックかつ高解像度な統合画像を取得することができる。
【００２０】
また、本発明の請求項４に記載の撮影装置は、請求項１ないし請求項３のいずれか一項に記載の撮影装置において、前記輝度キャリブレーション手段が、前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影した各撮影画像から、予め定められた規則にしたがって画素を間引いて残余の画素を対象として前記モノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求めることとした。
【００２１】
かかる横成によれば、撮影装置は、各撮像デバイスによる撮影画像の全画素を用いることなく、それぞれの一部の画像を用いて色輝度変換行列を最適化するので、この最適化処理を高速に行うことができる。特に、例えばフレーム単位で色輝度変換行列を更新する場合には、計算コストを大幅に低減することができる。ここで、画素を間引く規則とは、各撮像デバイスによる撮影画像の画素の位置が同じであれば、特に限定されるものではなく、例えば、１画素おきにサンプリングしたり、画素をランダムに選択したりすることができる。
【００２２】
また、本発明の請求項５に記載の撮影装置は、請求項１ないし請求項４のいずれか一項に記載の撮影装置において、前記画像統合手段が、位置キャリブレーション手段をさらに備えることとした。
【００２３】
かかる横成によれば、撮影装置において、画像統合手段の位置キャリブレーション手段は、位置試験撮影用対象を前記各撮像デバイスで撮影した複数の撮影画像に基づいて、前記カラー撮像デバイスで撮影したカラー画像の特徴点の座標を射影行列により変換することで前記モノクローム撮影画像における座標に変換された変換座標値を生成し、前記カラー撮像デバイスと同時に当該位置試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像の当該特徴点の座標と前記カラー画像の特徴点に対応するモノクローム撮影画像における前記変換座標値との差が最小化するように前記射影行列を最適化して求める。現実的には、例えばプリズムやハーフミラーといった分光手段に対する各撮像デバイスの設置精度によっては、画素のサンプリング位置が異なる場合がある。そして、かかる横成によれば、撮影装置において、位置キャリブレーション手段が、機械的な位置合わせでも校正できないような画素単位の微小な位置ずれをも、画像処理により校正可能である。したがって、撮影装置は、高ダイナミックかつ高解像度な統合画像を精度よく取得することができる。
【００２４】
また、本発明の請求項６に記載の撮影装置は、請求項１ないし請求項５のいずれか一項に記載の撮影装置において、複数の前記カラー撮像デバイスが配設され、各カラー撮像デバイスは互いに分光感度が異なるカラーフィルタを有し、前記輝度キャリブレーション手段が、前記カラー撮像デバイスの各撮影画像のうち、前記色輝度変換行列を求める際に用いた第１カラー画像以外の第２カラー画像から、前記第１カラー画像と同様にデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を第２の色輝度変換行列により変換することで当該第２カラー画像の輝度値を生成し、前記第２カラー画像の輝度値と既に最適化されている前記第１カラー撮像画像の輝度値との差が最小化するように前記第２の色輝度変換行列を最適化して求め、前記統合画像生成手段が、前記第２カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された第２の色輝度変換行列を含む行列であって色空間に写像する第２の色空間変換行列を乗じて変換された輝度値のうち、前記第１カラー画像では飽和していない領域の輝度値、および、前記第１カラー画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した第２の統合画像の色情報とし、かつ、前記統合輝度を輝度情報として第２の統合画像をさらに生成することとした。
【００２５】
かかる横成によれば、撮影装置は、互いに分光感度が異なるカラーフィルタを有した複数のカラー撮像デバイスを備えているので、複数のカラー撮像デバイスへのそれぞれの入射光量の差から、１つのカラー撮像デバイスだけが飽和していれば、その部位の輝度値といった情報を、他のカラー撮像デバイスから補間することができる。したがって、撮影装置は、より高ダイナミックかつ高解像度な統合画像を精度よく取得することができる。
【００２６】
また、本発明の請求項７に記載の撮影装置は、請求項１ないし請求項５のいずれか一項に記載の撮影装置において、前記統合画像生成手段が、前記カラー撮像デバイスおよびモノクローム撮像デバイスで前記撮影用対象をそれぞれ撮影した撮影画像を統合した統合画像を生成する際に、前記撮影用対象を前記カラー撮像デバイスで撮影したカラー画像の輝度の範囲に応じた処理を行うこととした。
【００２７】
かかる横成によれば、撮影装置において、統合画像生成手段は、前記撮影用対象を前記カラー撮像デバイスで撮影したカラー画像において、前記モノクローム撮像デバイスの輝度の上限として予め定められた第１閾値より大きい輝度領域の画素については、当該カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を求める。ここで、第１閾値は、例えば、モノクローム撮像デバイスが飽和するときの輝度値とする。
【００２８】
また、かかる横成によれば、撮影装置において、統合画像生成手段は、前記第１閾値よりも小さな予め定められた第２閾値より小さい輝度領域の画素については、前記撮影用対象を前記カラー撮像デバイスで撮影したカラー画像を再度デモザイク化し、このデモザイクにおいて、前記モノクローム撮像デバイスで撮影したモノクローム撮影画像の輝度値の勾配を利用した内挿をした上で生成されるＲＧＢプレーンのＲＧＢ値を算出する。ここで、第２閾値は、例えば、第１閾値の９０％程度の値とする。第２閾値より小さい輝度領域の画素について、仮に従来手法と同様な方法でデモザイクを行うと、不充分なサンプリングであるため品質確保が困難となってしまう。しかしながら、かかる構成によれば、統合画像生成手段は、モノクローム撮影画像の輝度値の勾配を利用するため、充分なサンプリングが可能となる。その結果、色滲みが生じたり、精細感が低下したりすることを防ぎ、品質を確保することができる。
【００２９】
また、かかる横成によれば、撮影装置において、統合画像生成手段は、前記第２閾値以上前記第１閾値以下の輝度領域の画素については、前記第１閾値より大きい輝度領域の画素について既に算出されたＲＧＢ値と、前記第２閾値より小さい輝度領域の画素について既に算出されたＲＧＢ値とを、当該画素の輝度と前記第１および第２閾値との距離に応じて加重平均する。統合画像生成手段は、各画素の輝度に応じた前記の各処理により、統合画像のＲＧＢ値を算出する。
そして、統合画像生成手段が、撮影したカラー画像の輝度の範囲に応じた処理を行うことで得られた統合画像は、ポスプロにおいて、映像加工に供されることとなる。そして、例えば、実写とＣＧとの映像合成を行うために、画像処理により、画像を拡大したとしても、色滲みが生じにくく、鮮鋭さが損なわれることはない。
【００３０】
また、本発明の請求項８に記載の撮影装置は、請求項６に記載の撮影装置において、前記統合画像生成手段が、前記複数のカラー撮像デバイスおよびモノクローム撮像デバイスで前記撮影用対象をそれぞれ撮影した撮影画像を統合した統合画像を生成する際に、前記撮影用対象を撮影した第２カラー画像の輝度の範囲に応じた処理を行うこととした。
【００３１】
かかる横成によれば、撮影装置において、統合画像生成手段は、前記撮影用対象を撮影した第２カラー画像において、前記第１カラー画像の輝度の上限として予め定められた第３閾値より大きい輝度領域の画素については、当該第２カラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を求める。ここで、第３閾値は、例えば、第１カラー画像を撮影したカラー撮像デバイスが変換後の輝度で飽和するときの輝度値とする。
【００３２】
また、かかる横成によれば、撮影装置において、統合画像生成手段は、前記第３閾値よりも小さな予め定められた第４閾値より小さい輝度領域の画素については、前記第２カラー画像を再度デモザイク化し、このデモザイクにおいて、前記統合画像の輝度値の勾配を利用した内挿をした上で生成されるＲＧＢプレーンのＲＧＢ値を算出する。ここで、第４閾値は、例えば、第３閾値の９０％程度の値とする。
【００３３】
また、かかる横成によれば、撮影装置において、統合画像生成手段は、前記第４閾値以上前記第３閾値以下の輝度領域の画素については、前記第３閾値より大きい輝度領域の画素について既に算出されたＲＧＢ値と、前記第４閾値より小さい輝度領域の画素について既に算出されたＲＧＢ値とを、当該画素の輝度と前記第３および第４閾値との距離に応じて加重平均する。統合画像生成手段は、各画素の輝度に応じた前記の各処理により、統合画像のＲＧＢ値を算出する。
そして、統合画像生成手段が、撮影した第２カラー画像の輝度の範囲に応じた処理を行うことで得られた統合画像は、ポスプロにおいて、映像加工に供されることとなる。
【００３４】
また、本発明の請求項９に記載の画像統合プログラムは、ＲＧＢの各カラーフィルタを有した分光特性の異なる１以上の単板カラー撮像デバイスと、カラーフィルタのないモノクローム撮像デバイスとが分光手段を介して同一撮影エリアを同一視点および同一画角で撮影する位置関係で配置されている撮像部を用いて撮影された各撮影映像を１つに統合する処理を行うために、コンピュータを、輝度キャリブレーション手段、および、統合画像生成手段として機能させるためのプログラムであることとした。
【００３５】
かかる構成によれば、画像統合プログラムは、輝度キャリブレーション手段によって、色試験撮影用対象を前記カラー撮像デバイスで撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値を色輝度変換行列により変換することで当該カラー画像における画素の輝度値を生成し、前記カラー撮像デバイスと同時に当該色試験撮影用対象を前記モノクローム撮像デバイスで撮影したモノクローム撮影画像における画素の輝度値と前記カラー画像における画素の輝度値との差が最小化するように前記色輝度変換行列を最適化して求める。そして、画像統合プログラムは、統合画像生成手段によって、前記カラー撮像デバイスおよびモノクローム撮像デバイスで撮影用対象をそれぞれ撮影した撮影画像のカラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、前記最適化された色輝度変換行列を含む行列であって色空間に写像する色空間変換行列を乗じて変換された輝度値のうち、前記モノクローム撮像画像では飽和していない領域の輝度値、および、前記モノクローム撮像画像では飽和している領域にあって前記変換された輝度値においては飽和していない領域にある輝度値を選択することにより統合輝度と前記色空間における色情報とを求め、これを、各撮影映像を１つに統合した統合画像の色情報とし、かつ、前記統合輝度を輝度情報として統合画像を生成する。
【発明の効果】
【００３６】
請求項１または請求項９に記載の発明によれば、撮影装置または画像統合プログラムは、一般的な撮像デバイスを複数利用して撮影する２つの画像の双方の長所、短所を補いつつ両者の画像を高精度に合成して１つの映像とするので、従来よりも高ダイナミックレンジかつ高解像度の高精度な映像を低コストで取得することができる。したがって、映像制作において、映像加工の自由度を拡大することができる。
【００３７】
請求項２に記載の発明によれば、撮影装置は、各撮像デバイスの輝度を一度校正しておけば、被写体を各撮像デバイスで撮影したときに、その都度、同様な条件の高ダイナミックかつ高解像度の統合画像を取得することができる。
【００３８】
請求項３に記載の発明によれば、撮影装置は、被写体を各撮像デバイスで撮影したときに、その都度、それぞれの撮影環境に応じた高ダイナミックかつ高解像度な統合画像を取得することができる。
【００３９】
請求項４に記載の発明によれば、撮影装置は、各撮像デバイスによる撮影画像の全画素を用いることなく、それぞれの一部の画像を用いて色輝度変換行列を最適化するので、この最適化処理を高速に行うことができる。
【００４０】
請求項５に記載の発明によれば、撮影装置は、各撮像デバイスで撮影した撮影画像間で画素を対応付けるので、高ダイナミックかつ高解像度な統合画像を精度よく取得することができる。
【００４１】
請求項６に記載の発明によれば、撮影装置は、１つのカラー撮像デバイスだけが飽和していても、その部位の輝度値といった情報を、他のカラー撮像デバイスから補間することができるので、より高ダイナミックかつ高解像度な統合画像を精度よく取得することができる
【００４２】
請求項７に記載の発明によれば、撮影装置は、各撮像デバイスでそれぞれ撮影した撮影画像の色情報を統合した統合画像を生成する際に、輝度の小さい画素については、カラー画像のデモザイクにおいてモノクローム撮影画像の輝度値の勾配を利用するため、充分なサンプリングが可能となる。その結果、色滲みが生じたり、精細感が低下したりすることを防ぎ、品質を確保した統合画像を取得することができる。
【００４３】
請求項８に記載の発明によれば、撮影装置は、各カラー撮像デバイスでそれぞれ撮影した撮影画像の色情報を統合した統合画像を生成する際に、輝度の小さい画素については、第２カラー画像のデモザイクにおいて統合画像の輝度値の勾配を利用するため、充分なサンプリングが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態に係る撮影装置の構成図であって、（ａ）は全体構成を示すブロック図、（ｂ）は撮像部の構成例をそれぞれ示している。
【図２】本発明の実施形態に係る撮影装置の画像統合部の輝度統合に係るブロック図である。
【図３】本発明の実施形態に係る撮影装置の画像統合部の画素位置統合に係るブロック図である。
【図４】本発明の実施形態に係る撮影装置の画像統合部の色情報の統合に係るブロック図である。
【図５】図２に示す輝度キャリブレーション手段で行うデモザイク処理を示す説明図である。
【図６】図２に示す輝度キャリブレーション手段で行う輝度統合処理の説明図である。
【図７】カラーチャートを利用した輝度統合処理の具体例を示す説明図であって、（ａ）はモノクローム撮像素子の撮影画像、（ｂ）は単板RGB撮像素子の撮影画像、（ｃ）は最適化による輝度整合結果を示すグラフをそれぞれ示している。
【図８】本発明の実施形態に係る撮影装置の画像統合部の構成例を示すブロック図である。
【図９】図８に示す第２デモザイキング処理手段で行うデモザイク処理を示す説明図である。
【図１０】図８に示す画像統合部で行う画像統合処理の説明図である。
【図１１】本発明の実施形態に係る撮影装置の画像処理の流れを示す説明図である。
【発明を実施するための形態】
【００４５】
図面を参照して本発明の撮影装置を実施するための形態について詳細に説明する。以下では、説明の都合上、１．撮影装置の概要，構成、２．画像統合部の概要，構成、３．画像統合部の詳細な構成、４．輝度統合処理、５．色情報統合処理、６．撮影装置の動作の流れの各章について順次説明することとする。
【００４６】
（１．撮影装置の概要，構成）
図１は、本発明の実施形態に係る撮影装置の構成図であって、（ａ）は全体構成を示すブロック図、（ｂ）は撮像部の構成例をそれぞれ示している。
撮影装置１は、光学系および撮像素子と、例えば、ＦＰＧＡ（Field Programmable Gate Array）やＰＣ（Personal Computer）で利用されているＧＰＵ（Graphics Processing Unit）等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。つまり、撮影装置１は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現されるカメラシステムであって、図１に示すように、撮像部２と、演算処理部３と、記憶部４と、ポスプロ用蓄積部５とを備えている。撮影装置１は、複数の撮像素子を校正および統合する機能を有している。
【００４７】
撮像部２は、同軸光学系により同一撮影エリアを同一視点および同一画角で撮影可能なように配置された複数の撮像デバイスとして、単板RGB撮像素子（カラー撮像デバイス）７と、モノクローム撮像素子（モノクローム撮像デバイス）８とを備えている。
単板RGB撮像素子７は、例えば、一般的なＣＣＤ（Charge Coupled Device）撮像素子から構成され、ベイヤ配列などによりＲＧＢの各オンチップカラーフィルタを有している。モノクローム撮像素子８は、例えば、一般的なＣＣＤ撮像素子から構成され、カラーフィルタはなく、クリアのオンチップレンズのみが装着されている。
【００４８】
各撮像デバイスは、１つのレンズＬに対して、ハーフミラー（分光手段）６を介し共役な位置関係となるよう設置されている。ここで、共役とは、同軸光学系により同一撮影エリアを同一視点および同一画角で撮影可能なように配置されていることを意味する。また、各撮像デバイスのサイズや画素数等が同じ場合にはハーフミラー（分光手段）６からの距離が等しくなることを示す。また、各撮像デバイスのサイズや画素数が異なったとしても同一被写体を同じように表示できるようにハーフミラー（分光手段）６からの距離がそれぞれ調整されていることを示す。
【００４９】
なお、図１（ｂ）では、光学系の側面図を示すと共に、単板RGB撮像素子７およびモノクローム撮像素子８の入射面を、４×４の画素で例示したが、実際には、一辺が数千画素程度であって、縦横が同数とは限らない。また、単板RGB撮像素子７において、Ｒ（赤）を斜線、Ｇ（緑）をドット、Ｂ（青）を横縞のハッチングでそれぞれ示した。
【００５０】
以下では、撮像部２は、図１（ｂ）に示すように、カラー撮像デバイスとモノクローム撮像デバイスを１つずつ合計２つの撮像デバイスを備えるものとして説明する。
ただし、互いに分光特性の異なる複数のカラー撮像デバイスと、１つのモノクローム撮像デバイスとを備えるものとしてもよい。
また、撮像デバイスの個数に関わらず、分光手段としてハーフミラー６を用いる代わりに、可視光全域に対し１：１程度に分光するプリズムで入射光を分離するようにしてもよい。
さらに、光の分配率が１：１のハーフミラーやプリズムを使用することに限定されるものではなく、光の分配率を２：１や１０：１等として、カラー撮像デバイス側が少なくなるように割り振ることとしてもよい。このように光の分配率を２：１や１０：１等にした場合、見かけ上のダイナミックレンジを広げることができる。
【００５１】
また、撮影シーンによっては、１：１に分光するのではなく非対称に分光してもよい。このように非対称にする場合には、モノクローム撮像素子８側が、単板RGB撮像素子７よりも多くの光が入射するようにすることで、明るい被写体に対しても色情報が飽和しにくくなるので、そのようにすることが望ましい。この比は、各撮像デバイスの各画素への最終的な入射光量で考慮すべきである。なぜなら、単板RGB撮像素子７側のオンチップカラーフィルタの減衰量の影響があるためである。
また、１／４波長板Ｂに関しては、ハーフミラー６に偏光特性が無い場合には、必要ないが、ハーフミラー６に偏光特性がある場合には、レンズＬの前または後ろに、１／４波長板Ｂが設置される。なお、図１（ｂ）では一例として、レンズＬの前に１／４波長板Ｂが設置されている。
【００５２】
演算処理部３は、例えば１基のＧＰＵにより実現され、図１（ａ）に示すように、画像統合部１１と、プレビュー用プロセス部１２とを備えている。
画像統合部（画像統合手段）１１は、記憶手段に格納された画像統合プログラムに基づいて、単板RGB撮像素子７と、モノクローム撮像素子８とを用いて撮影された各撮影映像を１つに統合する処理を行うものである。
【００５３】
画像統合部１１は、各撮像デバイスを用いて本番用の被写体を撮影した各撮影映像Ioを１つに統合した統合画像Itを生成する前に、事前に試験的に撮影した試験対象の各撮影画像の輝度を利用して色輝度変換行列を最適化する。この最適化で得られた輝度は統合輝度値ＹTとして保持される。画像統合部１１の処理結果である統合画像Itは、映像加工を行うための映像情報として記憶部４のハードディスクなどの記録メディアに蓄積される。なお、この画像統合部１１の詳細は後記する。
【００５４】
プレビュー用プロセス部１２は、撮影された統合画像Itを表示する機能（プレビュー機能）と、統合画像Itに加工を施してポスプロ用蓄積部５に蓄積する映像加工機能とを備えている。
【００５５】
プレビュー機能は、通常のカメラで行うことのできる処理であって、例えば、プリニー処理、ガンマ補正処理、ニー処理、ホワイトクリップ処理、エッジエンハンス処理を行う機能である。これにより、カメラマンやディレクターが撮影現場で、モニタ１３に表示された統合画像Itをリアルタイムに見ることができる。なお、モニタ１３は、例えば、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＥＬ（Electronic Luminescence）等から構成される。
【００５６】
映像加工機能は、通常のカメラで行うことのできる処理とは異なり、例えば、ノンリニアトーンマッピング処理を行う機能である。ノンリニアトーンマッピングは、モニタ（表示デバイス）１３のダイナミックレンジに対応させるためのものである。通常、ダイナミックレンジの広い画像をそのまま表示するデバイスがない場合、表示デバイスに合わせてダイナミックレンジを調整する（トーンマッピングする）必要がある。ノンリニアトーンマッピングの処理については、従来、種々提案されており、本実施形態はその手法については限定するものではない。一例として挙げれば、画像輝度の対数平均値を求め、これを基準に明るい部分を圧縮し、暗い部分を伸ばすような曲線補正を行うことができる。
【００５７】
記憶部４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリやハードディスク等の記憶装置から構成され、例えば、撮影画像ＩOと、統合輝度値ＹTと、統合画像ＩTとを記憶することとした。
撮影画像ＩOは、各撮像デバイスを用いて撮影した撮影映像を示す。
統合輝度値ＹTは、画像統合部１１で算出した輝度値であって、試験対象の各撮影画像の輝度を統合した輝度値を示す。
統合画像ＩTは、画像統合部１１で輝度に加えて色情報も統合した画像を示す。
【００５８】
ポスプロ用蓄積部５は、プレビュー用プロセス部１２にて統合画像Itに加工を施した映像を蓄積するものであって、例えば、一般的なハードディスクなどから構成される。
【００５９】
（２．画像統合部の概要，構成）
図１に示す撮影装置１の画像統合部１１の詳細について図２を参照して説明する。なお、図２は、図１に示す撮影装置１の画像統合部１１のみを示したものである。画像統合部１１が複数の撮像デバイスによる画像を統合する処理は、主に校正段階と、合成段階（統合段階）とに分けることができる。
【００６０】
画像統合部１１は、図２に示すように、主に校正段階の画像処理を行う輝度キャリブレーション手段２０と、統合段階の画像処理を行う統合画像生成手段３０とを備えている。
【００６１】
前提として、撮影装置１において、単板RGB撮像素子７とモノクローム撮像素子８で輝度の相関校正を行うために、事前に、カラーチャート（色試験撮影用対象）Ｏ1を撮影する。カラーチャートＯ1は、例えば、図２に例示したように、２４色の色領域が配置されたカラーチェッカであるマクベスチャートなどから構成される。このとき撮影したカラーチャート画像を撮影画像1と表記する。輝度キャリブレーション手段２０は、この撮影画像1を用いて色輝度変換行列を最適化し、最適化した色輝度変換行列により生成した統合輝度値を記憶部４に保持する。その後、撮影装置１において、単板RGB撮像素子７とモノクローム撮像素子８で被写体（本番の撮影用対象）Ｏ2を撮影する。このときの撮影画像を撮影画像2と表記する。この撮影画像2により統合段階の画像処理を行うのが統合画像生成手段３０である。以下では、まず、画像統合部１１による校正段階の画像処理について説明する。
【００６２】
（３．画像統合部の詳細な構成）
ここでは、３−１．輝度の相関校正に係る校正の概要、３−２．輝度キャリブレーション手段、３−３．統合画像生成手段、３−４．画像統合部の第１変形例、３−５．画像統合部の第２変形例の各節に分けて説明する。
【００６３】
＜３−１．輝度の相関校正に係る校正の概要＞
通常、ＲＧＢから輝度色差などの別のカラースペースに変換する変換行列は、多数存在する。しかし、本実施形態では、見た目の輝度ではなく、単板RGB撮像素子７による撮影画像の画素の輝度とモノクローム撮像素子８による撮影画像の画素の輝度との整合を目的としている。そこで、３×１の色輝度変換行列［ａ  ｂ  ｃ］を定義し、単板RGB撮像素子７による撮影画像の画素のＲＧＢ各輝度値に対し、この色輝度変換行列［ａ  ｂ  ｃ］を乗じて輝度値を求めることとし、この色輝度変換行列［ａ  ｂ  ｃ］を、最適化により算出し利用する。
【００６４】
＜３−２．輝度キャリブレーション手段＞
図２に示す輝度キャリブレーション手段２０は、カラーチャートＯ1を単板RGB撮像素子７で撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値（以下、フル解像度のＲＧＢ値という）を色輝度変換行列［ａ  ｂ  ｃ］により変換することで当該カラー画像の画素の輝度値を生成し、単板RGB撮像素子７と同時にカラーチャートＯ1をモノクローム撮像素子８で撮影した撮影画像（モノクローム撮影画像）の画素の輝度値と、カラー画像の画素の輝度値との差が最小化するように色輝度変換行列［ａ  ｂ  ｃ］を最適化して求めることとした。
【００６５】
このために、輝度キャリブレーション手段２０は、図２に示すように、デモザイキング処理手段２１と、平均RGB値算出手段２２と、平均輝度値算出手段２３と、色輝度変換行列最適化処理手段２４とを備えている。
【００６６】
デモザイキング処理手段２１は、カラーチャートＯ1を単板RGB撮像素子７で撮影したカラー画像のＲＧＢ画素をそれぞれ補間するデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値（以下、フル解像度のＲＧＢ値という）を求めるものである。このカラーチャートＯ1を撮影したフル解像度のＲＧＢ値を以下ではRGB値1という。このRGB値1は、平均RGB値算出手段２２で利用される。
【００６７】
ここで、デモザイキング処理手段２１の行う一般的なデモザイク処理について図５を参照して説明する。デモザイキング処理手段２１は、単板RGB撮像素子の撮影画像７ａを、まず、ＲＡＷデータとして、解像度の粗いＧプレーン１０１、Ｒプレーン１０２、およびＢプレーン１０３に分解する。なお、ベイヤ配列では、２つのＧ画素と、１つのＲ画素と、１つのＢ画素との組を単位としている。
【００６８】
デモザイキング処理手段２１は、Ｇプレーン１０１に対しては、画像のエッジ方向を利用して内挿を行うことで、フル解像度Ｇ画像１１１を生成する。画像のエッジ方向を利用して内挿を行う方法としては、適応型カラープレーン補間法（ACPI：Advanced Color Plane Interpolation）が一般的である。
【００６９】
デモザイキング処理手段２１は、Ｒプレーン１０２に対しては、画像のエッジ方向を利用し、かつ、フル解像度Ｇ画像１１１の勾配を利用することで内挿を行い、フル解像度Ｒ画像１２２を生成する。
同様に、デモザイキング処理手段２１は、Ｂプレーン１０３に対しては、画像のエッジ方向を利用し、かつ、フル解像度Ｇ画像１１１の勾配を利用することで内挿を行い、フル解像度Ｂ画像１２３を生成する。
【００７０】
デモザイキング処理手段２１は、以上の処理により、フル解像度のＲＧＢ値（RGB値1）として、フル解像度Ｇ画像１２１、フル解像度Ｒ画像１２２、フル解像度Ｂ画像１２３を生成する。なお、フル解像度Ｇ画像１１１は、フル解像度Ｇ画像１２１と同じものであり、ＲプレーンおよびＢプレーンの内挿に利用される画像であることを明確にするために、フル解像度Ｇ画像１２１とは符号を変えたものである。
【００７１】
図２に戻って、輝度キャリブレーション手段２０の構成の説明を続ける。
平均RGB値算出手段２２は、カラーチャートＯ1を撮影したフル解像度のＲＧＢ値（RGB値1）に基づいて、カラーチャートＯ1の各色領域に対し、Ｒの輝度の平均値、Ｇの輝度の平均値、Ｂの輝度の平均値の組を、ＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］として求めた上で、これを色輝度変換行列［ａ  ｂ  ｃ］により変換することで当該カラー画像の画素の輝度値Ｙcを生成するものである。
平均RGB値算出手段２２は、カラー画像の色領域ごとに、式（１）により、ＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］に対して、３×１の色輝度変換行列［ａ  ｂ  ｃ］をかけて輝度値Ｙcを生成する。この輝度値Ｙcは、色輝度変換行列最適化処理手段２４で利用される。
【００７２】
【数１】
0005411786.tif 000002
【００７３】
平均輝度値算出手段２３は、モノクローム撮像素子８で撮影したモノクローム撮影画像に基づいて、カラーチャートＯ1の各色領域に対して、画素の輝度値の平均値Ｙgを求める。この輝度値Ｙgは、色輝度変換行列最適化処理手段２４で利用される。
【００７４】
色輝度変換行列最適化処理手段２４は、カラー画像から算出されたｉ番目の色領域の輝度値Ｙciと、モノクローム撮影画像のｉ番目の色領域の輝度値Ｙgiと、の差の総和を評価関数として３×１の色輝度変換行列［ａ  ｂ  ｃ］を例えばマーカート法を用いて最適化して求める。色輝度変換行列最適化処理手段２４は、この評価関数が最小になるように、式（２）の関数の値を算出して、３×１の色輝度変換行列［ａ  ｂ  ｃ］を最適化する。
【００７５】
【数２】
0005411786.tif 000003
【００７６】
色輝度変換行列［ａ  ｂ  ｃ］が最適化されたときに、カラー画像から算出された輝度値Ｙcと、モノクローム撮影画像の当該色領域の輝度値Ｙgとが実質的に等しくなるので、このときの輝度値が統合輝度値ＹTとして記憶部４に格納される。この統合輝度値ＹTの詳細については後記する。ここで、最適化された色輝度変換行列［ａ  ｂ  ｃ］を、式（３）に示すように、あらためて色輝度変換行列Ｋと表記する。この色輝度変換行列Ｋも記憶部４に格納される。
【００７７】
【数３】
0005411786.tif 000004
【００７８】
前記の説明では、事前に撮影する色試験撮影用対象をカラーチャートＯ1であるものとして説明したが、色試験撮影用対象は、カラーチャートに限定したものではない。例えば、一般に撮影した画像で、各画素のＲＧＢ各輝度値とモノクローム素子の輝度値との差を最小化することにより同様に算出可能である。
【００７９】
この場合、輝度キャリブレーション手段２０は、外部環境に応じて更新された一般の撮影画像（色試験撮影用対象）を、単板RGB撮像素子７とモノクローム撮像素子８でその都度撮影した各撮影画像を用いて３×１の色輝度変換行列［ａ  ｂ  ｃ］を最適化し、最適化した色輝度変換行列Ｋを、その都度撮影した一般の撮影画像（色試験撮影用対象）に応じて更新しながら記憶部４に保持する。
【００８０】
また、輝度キャリブレーション手段２０は、単板RGB撮像素子７とモノクローム撮像素子８で撮影した各撮影画像から、予め定められた規則にしたがって画素を間引いて、残余の画素を対象としてモノクロ撮影画像の輝度値とカラー画像の輝度値との差が最小化するように色輝度変換行列Ｋ＝［ａ  ｂ  ｃ］を最適化するように構成してもよい。ここで、画素を間引く規則とは、例えば、１画素おきにサンプリングしたり、画素をランダムに選択したりするといった規則である。なお、その規則は、各撮像デバイスによる撮影画像の画素の間引く位置が同じであれば、特に限定されるものではない。
【００８１】
＜３−３．統合画像生成手段＞
統合画像生成手段３０は、単板RGB撮像素子７とモノクローム撮像素子８で被写体（本番の撮影用対象）Ｏ2をそれぞれ撮影した撮影画像のカラー画像からデモザイクにより生成されるＲＧＢプレーンのＲＧＢ値に対して、輝度キャリブレーション手段２０で最適化された色輝度変換行列Ｋを含む色空間変換行列Ｃを乗じて変換された輝度値のうちモノクローム撮像画像とで飽和していない輝度値を選択することにより統合輝度と色空間における色情報とを求め、これを、各撮影映像を１つに統合した統合画像の色情報とし、かつ、統合輝度を輝度情報として統合画像Ｉtを生成するものである。ここで、変換された輝度値から選択する輝度値とは、詳細は後記するが、モノクローム撮像画像では飽和していない領域の輝度値、および、モノクローム撮像画像では飽和している領域にあって変換輝度値においては飽和していない領域にある輝度値を示す。以下では、簡単のため、統合画像生成手段３０は、被写体Ｏ2を単板RGB撮像素子７で撮影したカラー画像の色情報をそのまま利用すると共に、そのカラー画像の輝度情報を、統合輝度値ＹTに置き換えることで統合画像ITを生成することとした。
【００８２】
本実施形態では、統合画像生成手段３０は、色空間写像手段３１と、色情報算出手段３２とを備える。
色空間写像手段３１は、輝度キャリブレーション手段２０のデモザイキング処理手段２１により単板RGB撮像素子７で被写体（本番の撮影用対象）Ｏ2を撮影したカラー画像をデモザイク化したフル解像度のＲＧＢ値に対して、式（４）に示す色空間変換行列Ｃを乗じるものである。
【００８３】
【数４】
0005411786.tif 000005
【００８４】
式（４）に示す色空間変換行列Ｃは、カラー画像をデモザイク化したフル解像度のＲＧＢ値を色空間に写像する行列であって、色輝度変換行列Ｋ＝［ａ  ｂ  ｃ］を含む行列である。ｄ，ｅ，ｆ，ｇ，ｈ，ｉは、予め定められた定数である。この色空間変換行列Ｃは、ＹＣbＣr変換行列である。色空間写像手段３１は、式（５）で示される変換を行うことで、ＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］を特殊な色空間に写像する。
【００８５】
【数５】
0005411786.tif 000006
【００８６】
ここで、Ｃ1、Ｃ2は色差情報を示している。また、Ｙcは、カラー画像に因んだ輝度値であるが、写像先の特殊な色空間においては、輝度は統合されているので、ここでは、統合輝度値ＹTと同じ意味を有している。なお、後記するように輝度領域を３分割する場合には、統合輝度値ＹTはカラー画像に因んだものやモノクローム撮影画像に因んだものがある。
【００８７】
色情報算出手段３２は、特殊な色空間に写像された行列に、色空間変換行列Ｃの逆行列Ｃ-1を乗じることで統合画像ＩTのＲＧＢ値［Ｒt  Ｇt  Ｂt］を求めるものである。ここで、特殊な色空間に写像された行列は、輝度値Ｙtを含んでいる。ここでは、輝度値Ｙtは、写像先の特殊な色空間において輝度が統合されていることだけを示しており、統合輝度値ＹTと同じ意味を有している。また、Ｃ1′、Ｃ2′は、輝度が統合されている特殊な色空間の色差情報を示している。
【００８８】
【数６】
0005411786.tif 000007
【００８９】
前記のように、統合画像生成手段３０は、カラー画像の画素のＲＧＢ値を特殊な色空間に一旦写像した後に、この色空間変換行列Ｃの逆行列Ｃ-1を乗じることで統合画像のＲＧＢ値を求める。このように逆行列を乗じる理由は、各画素の計算において、式（６）の右辺の輝度値Ｙtは、モノクローム撮像画像では飽和していない領域の輝度値も考慮しているときには、統合輝度を求めるために一旦写像して生成された式（５）の左辺の行列の輝度値Ｙcとは異なる場合があるからである。このような場合の詳細については後記する。この２回の変換により、輝度値と色情報とを同時に扱いつつ、統合画像のＲＧＢ値を正確に求めることができる。また、式（６）の右辺の輝度値Ｙtと式（５）の左辺の行列の輝度値Ｙcとが同じである場合には、逆行列Ｃ-1を乗じる必要はなく、したがって色情報算出手段３２がなくてもよい。これは、撮像画像が、飽和していない輝度値ばかりである場合に相当する。
【００９０】
＜３−４．画像統合部の第１変形例＞
ここでは、画像統合部の第１変形例について図３を参照して説明する。図３に示す画像統合部１１Ａは、校正段階のオプションとして、位置キャリブレーション手段４０（図３参照）をさらに備える点が図２に示す画像統合部１１と異なる。なお、図３は、図１に示す撮影装置１の画像統合部１１の部分のみを示したものである。
【００９１】
前提として、撮影装置１において、単板RGB撮像素子７とモノクローム撮像素子８で幾何学的設置誤差の補正を行うために、事前に、パターン（位置試験撮影用対象）Ｏ3を撮影する。パターンＯ3は、例えば、図３に例示したように、市松模様などから構成される。このパターンＯ3の撮影画像のうち、例えば、市松模様の２５個の交点４１が各コーナーの候補として検出される。このときの撮影画像を撮影画像3と表記する。この撮影画像3に係る画像処理を主に行うのが位置キャリブレーション手段４０である。
【００９２】
図３に示す位置キャリブレーション手段４０は、パターンＯ3を各撮像デバイスで撮影した複数の撮影画像に基づいて、それぞれの画素の位置を整合するための射影行列を最適化することで、各撮像デバイスの撮影画像間で画素を対応付けるものである。
【００９３】
位置キャリブレーション手段４０は、各撮影画像のコーナー座標を画像処理(例えばHarrisオペレータなど)で検出する。つまり、位置キャリブレーション手段４０は、カラー画像のｉ番目のコーナーに対応するＲＧＢの座標（Ｘi，Ｙi，Ｚi）と、同じｉ番目のコーナーについてのモノクローム撮影画像の対応するモノクローム撮影画像における座標（ｘi，ｙi，ｚi）とを検出する。
【００９４】
位置キャリブレーション手段４０は、幾何学的設置誤差の補正を次のように行う。すなわち、位置キャリブレーション手段４０は、カラー画像とモノクローム撮影画像のうちの一方の画像のコーナーに対応する座標に３×３の射影行列を乗じて得られる座標値と、他方の画像のコーナーに対応する座標とが等しくなるように、射影行列を最適化する。
【００９５】
本変形例では、位置キャリブレーション手段４０は、マーカート法を用いてこの最適化を行う。ここでは、射影行列は、カラー画像のコーナーに対応するＲＧＢの座標を示す行列［Ｘi  Ｙi  Ｚi］から、モノクローム撮影画像のコーナーに対応するモノクローム撮影画像における座標を示す行列［ｘi  ｙi  ｚi］（変換座標値）に変換する方向とした。また、各撮像デバイスの幾何学的設置誤差として、各撮影画像の各コーナーにおいて次の距離ｄを求めることとした。この距離ｄは、コーナーにおいてＲＧＢの座標と射影行列とを乗じて得られる座標値（変換座標値）と、そのコーナーのモノクローム撮影画像における座標値との距離を示す。そして、各コーナーで求まる距離の総和が最小になるように評価関数を定義した。また、射影行列の初期値については、カラー画像の各コーナーの座標の平均つまり重心位置と、その重心位置に対してモノクローム撮影画像の重心位置とを合致させるような値を用いた。位置キャリブレーション手段４０によって最適化された射影行列Ｐは、記憶部４に格納される。以降、画素値は射影行列Ｐを通し座標を変換し参照することとする。
【００９６】
＜３−５．画像統合部の第２変形例＞
ここでは、画像統合部の第２変形例について図４を参照して説明する。図４に示す画像統合部１１Ｂは、統合段階のオプションとして、ホワイトバランス処理手段５０をさらに備える点が図２に示す画像統合部１１と異なる。なお、図４は、図１に示す撮影装置１の画像統合部１１の部分のみを示したものであり、図２に示したブロック構成要素のうち、図４において説明に直接関係のないブロック構成要素の図示は省略した。
図４に示すホワイトバランス処理手段５０は、被写体（本番の撮影用対象）Ｏ2を撮影単板RGB撮像素子７で撮影した撮影映像2について、従来のカメラ同様に、白色を正確に白く映し出すように補正するホワイトバランスの処理を行うものである。ホワイトバランスの調整は一般的な方法で行うことができる。
【００９７】
（４．輝度統合処理）
ここでは、図２に示す輝度キャリブレーション手段で行う輝度統合処理について、４−１．輝度統合処理の概要、４−２．輝度統合処理の具体例の各節に分けて説明する。
＜４−１．輝度統合処理の概要＞
図６は、図２に示す輝度キャリブレーション手段で行う輝度統合処理の説明図である。
図６のグラフの横軸は、各撮像デバイスへ入射する入射光量を示し、グラフの縦軸は、各撮像デバイスの輝度値を示している。
【００９８】
モノクローム撮像素子８の輝度値の勾配は、符号２０１の太い実線で示すように、入射光量Ｑ1までは線形に増加し、以降は飽和している。すなわち、入射光量Ｑ1においてモノクローム撮像素子８は飽和輝度値Ｓth1に達している。
【００９９】
一方、単板RGB撮像素子７のRGB値［Ｒc  Ｇc  Ｂc］の勾配は、符号２０２の細い実線で示すように、入射光量Ｑ1では飽和せずに線形に増加し、入射光量Ｑ3においてモノクローム撮像素子８の飽和輝度値Ｓth1に達しても線形に増加している。なお、グラフでは、RGB値の勾配については、（Ｒc＋Ｇc＋Ｂc）／３の輝度を示している。
【０１００】
前記した式（１）により、単板RGB撮像素子７のRGB値［Ｒc  Ｇc  Ｂc］の転置行列を、最適化した行列［ａ  ｂ  ｃ］で変換した変換後輝度の勾配は、符号２０３の実線で示される。
【０１０１】
変換後輝度の勾配は、符号２０３の実線で示すように、符号２０２の実線の勾配の約２倍の傾きとなっている。より詳細な実験では、単板RGB撮像素子７から導いた飽和輝度値は、モノクローム撮像素子８の飽和輝度値Ｓth1の１．５〜２．５倍程度に向上した。したがって、統合輝度値ＹTにおいてダイナミックレンジは３．５〜８ｄＢ向上した。これは、撮像素子のダイナミックレンジ（７２ｄＢ）を考慮すると、７５．５〜８０ｄＢとなる。つまり、ＨＤＲ（High Dynamic Range）化することができる。
【０１０２】
図６に示すように、同じ入射光量ならば、モノクローム撮像素子８の方が高輝度である。また、各撮像素子への入射光量としては、モノクローム撮像素子８の方が多い。そのため、画像統合部１１では、モノクローム撮像素子８を暗い領域用に用いることとした。暗い領域に用いるため、モノクローム撮像素子８の輝度（Ｙg）は飽和し易い。そこで、画像統合部１１は、モノクローム撮像素子８の輝度（Ｙg）が飽和している領域については、最適化した輝度値で置換することとした。これが統合輝度値ＹTである。なお、モノクローム撮像素子８の輝度が飽和している領域ばかりの撮影画像であれば、統合輝度値ＹTとして、前記した式（１）に示すＹcを用いることができる。
【０１０３】
より好適な実施形態として、比較的低い入射光量に対してモノクローム撮像素子８の輝度値（Ｙg）を用い、かつ、比較的高い入射光量に対して、前記した式（１）に示すＹcを用いることができる。なお、このための構成については後記する。この場合、飽和輝度値Ｓth1の近傍で、滑らかに勾配を接続するために、統合輝度値の輝度領域を飽和輝度値Ｓth1を第１閾値として、これよりも所定値Ｓsubだけ小さな飽和レベルＳth2を第２閾値として３分割する。飽和レベルＳth2は入射光量Ｑ2に対応する輝度値である。本実施形態では、飽和レベルＳth2は、飽和輝度値Ｓth1の１０％程度とした。
【０１０４】
以下では、図６のグラフを横軸に平行な破線で３つに区分した輝度領域を想定する。ここで、輝度が高い領域から、領域α、領域β、領域γと呼ぶ。
領域αは、入射光量Ｑ1から入射光量Ｑ3までの入射光量に対応した輝度領域であり、統合輝度値ＹTは、前記した式（１）に示すＹcで表される。
領域γは、入射光量０から入射光量Ｑ2までの入射光量に対応した輝度領域であり、統合輝度値ＹTは、モノクローム撮像素子８の輝度値Ｙgで表される。
領域βは、入射光量Ｑ2から入射光量Ｑ1までの入射光量に対応した輝度領域であり、統合輝度値ＹTは、前記した式（１）に示すＹcと、輝度値Ｙgとの２つの閾値からの距離に応じた加重平均で表される。この加重平均された輝度値をＹtと表記する。
【０１０５】
＜４−２．輝度統合処理の具体例＞
図７は、カラーチャートを利用した輝度統合処理の具体例を示す説明図であって、（ａ）はモノクローム撮像素子の撮影画像、（ｂ）は単板RGB撮像素子の撮影画像、（ｃ）は最適化による輝度整合結果を示すグラフをそれぞれ示している。
ここでは、撮像素子として、以下の仕様のものを用いた。
８．９Ｍ≒４０００×２０００(画素)、１２ビット
また、撮像素子と演算処理部３を構成する演算用ＰＣとのインタフェースとして、ＬＶＤＳからＰＣＩ Expressに変換する程度の簡素なハードウェアを用いた。撮像素子からの信号をなんの加工処理も行わずに演算用ＰＣに直接入力し、これを演算用ＰＣ内のグラフィックスカード上のメモリに転送、グラフィックスカード上のＧＰＵにより浮動小数点３２ビットで処理を行った。なお、輝度統合以降の画像処理についてもグラフィックスカード上で全て処理を行った。
【０１０６】
図７（ｃ）のグラフにおいて、横軸は、カラーチャートの各色エリアを示し、縦軸は、モノクローム撮像素子８の撮影画像の画素の輝度値に対するカラー画像の画素の輝度比を示している。
このグラフにおいてダイヤで示す輝度整合結果は、比較例であって、ＢＴＡ  Ｓ−００１規格において１０８０システムに対して規定された伝送原色で整合した輝度Ｙである。
Ｙ＝［０．２１２６  ０．７１５２  ０.０７２２］［ＲＧＢ］T  …  式（７）
なお、ＢＴＡ  Ｓ−００１規格は、“標準規格名「１１２５／６０高精細度テレビジョン方式スタジオ規格（ＡＲＩＢ  ＢＴＡ−００１  Ｃ  １．０版）」、社団法人電波産業会”に記載されている。
【０１０７】
単板RGB撮像素子７のRGB値［Ｒc  Ｇc  Ｂc］を、通常ＨＤＴＶ（ハイビジョン）規格にしたがって単純に変換した輝度は、図７（ｃ）のグラフに示すように、モノクローム撮像素子８の撮影画像における画素の輝度値「１．０００」からかけ離れたものとなっており、さらに、カラーチャートの色に依存して大きく変動していることが分かる。これは、通常ＨＤＴＶ（ハイビジョン）規格では、被写体反射率や光源、色フィルタなどの分光特性に起因してモノクローム撮影画像における画素の輝度と正確には一致しないことに由来する。
【０１０８】
一方、図７（ｃ）のグラフにおいて正方形で示す輝度整合結果は、本実施形態の撮影装置１で統合した統合輝度値ＹTである。なお、輝度領域を領域α、β、γに分けて行った。図７（ｃ）のグラフに示すように、Ｒ、Ｇ、Ｂへの各係数を最適化により求めた統合輝度値ＹTは、各色エリアに亘ってモノクローム撮像素子８の撮影画像における画素の輝度値と非常によく合致しており、カラー画像における画素の輝度とモノクローム撮影画像における画素の輝度とが統合されていることが分かる。
【０１０９】
（５．色情報統合処理）
図８に例示する画像統合部１１Ｃは、輝度領域を領域α、β、γに分けて処理を行うために、統合画像生成手段３０Ｃを備えている。なお、図９は、図１に示す撮影装置１の画像統合部１１の部分のみを示したものであり、図２に示したブロック構成要素のうち、図８において説明に直接関係のないブロック構成要素の図示は省略した。
統合画像生成手段３０Ｃは、色空間写像手段３１Ｃと、色情報算出手段３２Ｃと、統合輝度判別手段３３と、第２デモザイキング処理手段３４と、第２色空間写像手段３５と、加重平均手段３６とを備えている。
【０１１０】
この統合画像生成手段３０Ｃは、以下の動作を前提としている。これらの動作は、校正段階で説明した処理と同様なので、説明を適宜省略する。
撮影装置１において、単板RGB撮像素子７とモノクローム撮像素子８で被写体（本番の撮影用対象）Ｏ2を撮影すると、輝度キャリブレーション手段２０の平均RGB値算出手段２２（図２参照）は、被写体Ｏ2を撮影したフル解像度のＲＧＢ値（RGB値2）に基づいて、ＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］を求め、これを色輝度変換行列［ａ  ｂ  ｃ］により変換することで、被写体Ｏ2のカラー画像における画素の輝度値Ｙcを生成する。
また、輝度キャリブレーション手段２０の平均輝度値算出手段２３（図２参照）は、被写体Ｏ2を撮影したモノクローム撮影画像における画素の輝度値Ｙgを求める。これら被写体Ｏ2のカラー画像における画素の輝度値Ｙcおよびモノクローム撮影画像における画素の輝度値Ｙgは、統合輝度判別手段３３に送られる。
【０１１１】
図８に示す色空間写像手段３１Ｃは、図２に示す色空間写像手段３１と同様であるが、統合輝度値がα領域のものだけを処理対象としている点が異なる。このため、前記した式（５）で示される変換により変換された輝度値Ｙcは、統合輝度値ＹTのうち、カラー画像に因んだものとなる。また、前記した式（５）で示される変換により変換された色差情報Ｃ1、Ｃ2は、このカラー画像に因んだ輝度値と関連付けられるので、輝度値Ｙc、色差情報Ｃ1、Ｃ2は、調整された色情報として、色情報算出手段３２Ｃにそれぞれ出力されることとなる。
【０１１２】
統合輝度判別手段３３は、被写体Ｏ2のカラー画像の輝度値Ｙcおよびモノクローム撮影画像の輝度値Ｙgを受け付け、輝度キャリブレーション手段２０により生成された統合輝度値ＹTを参照して、各撮像デバイスから入力した輝度値が、モノクローム撮像素子８が飽和している領域（α領域）と、モノクローム撮像素子８が飽和していない領域（γ領域）と、それらの中間領域（β領域）とのいずれに該当するかを判別する。
【０１１３】
統合輝度判別手段３３は、各撮像デバイスから入力した輝度値がα領域であると判別した場合、色空間写像手段３１Ｃに動作指示を出力する。
統合輝度判別手段３３は、各撮像デバイスから入力した輝度値がγ領域であると判別した場合、第２色空間写像手段３５に動作指示を出力する。
統合輝度判別手段３３は、各撮像デバイスから入力した輝度値がβ領域であると判別した場合、第２デモザイキング処理手段３４に動作指示を出力する。
【０１１４】
第２デモザイキング処理手段３４は、統合輝度判別手段３３からの動作指示に基づいて、単板RGB撮像素子７で撮像された被写体Ｏ2のカラー画像の未飽和領域の画素に対して再度デモザイク処理を施すものである。この再度デモザイク処理を施されたフル解像度のＲＧＢ値は、第２色空間写像手段３５で利用される。
【０１１５】
ここで、第２デモザイキング処理手段３４の行うデモザイク処理について図９を参照して説明する。第２デモザイキング処理手段３４は、単板RGB撮像素子の撮影画像７ａを、まず、ＲＡＷデータとして、解像度の粗いＧプレーン１０１、Ｒプレーン１０２、およびＢプレーン１０３に分解する。
【０１１６】
第２デモザイキング処理手段３４は、Ｇプレーン１０１に対しては、画像のエッジ方向を利用し、かつ、モノクローム撮像素子の撮影画像８ａの勾配を利用することで内挿を行い、フル解像度Ｇ画像３２１を生成する。
【０１１７】
同様に、第２デモザイキング処理手段３４は、Ｒプレーン１０２に対しても、画像のエッジ方向を利用し、かつ、モノクローム撮像素子の撮影画像８ａの勾配を利用することで内挿を行い、フル解像度Ｒ画像３２２を生成する。
また、同様に、第２デモザイキング処理手段３４は、Ｂプレーン１０３に対しても、画像のエッジ方向を利用し、かつ、モノクローム撮像素子の撮影画像８ａの勾配を利用することで内挿を行い、フル解像度Ｂ画像３２３を生成する。
【０１１８】
第２デモザイキング処理手段３４は、以上の処理により、被写体Ｏ2のカラー画像のフル解像度のＲＧＢ値として、フル解像度Ｇ画像３２１、フル解像度Ｒ画像３２２、フル解像度Ｂ画像３２３を生成する。
【０１１９】
図８に戻って、統合画像生成手段３０Ｃの構成の説明を続ける。
第２色空間写像手段３５は、色空間写像手段３１Ｃと同様であるが、統合輝度値がγ領域のものだけを処理対象としている点が異なる。このため、前記した式（５）で示される変換により変換された輝度値Ｙcは、統合輝度値ＹTのうち、モノクローム撮影画像に因んだものとなる。また、前記した式（５）で示される変換により変換された色差情報Ｃ1、Ｃ2は、このモノクローム撮影画像に因んだ輝度値と関連付けられるので、輝度値Ｙc、色差情報Ｃ1、Ｃ2は、調整された色情報として、色情報算出手段３２Ｃにそれぞれ出力されることとなる。
【０１２０】
加重平均手段３６は、色空間写像手段３１Ｃにより１度目のデモザイク処理により生成されたＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］を特殊な色空間に写像した行列における調整された色情報と、第２色空間写像手段３５により再度のデモザイク処理により生成されたＲＧＢ平均輝度値［Ｒc  Ｇc  Ｂc］を特殊な色空間に写像した行列における調整された色情報とを２つの閾値からの距離に応じて加重平均することで、β領域について調整された色情報を生成するものである。このため、β領域の調整された色情報は、カラー画像およびモノクローム撮影画像の双方に因んだものとなる。調整された色情報における輝度値Ｙtは、統合輝度値ＹTのうち、カラー画像およびモノクローム撮影画像の双方に因んだものとなる。輝度値Ｙt、および平均化された色差情報Ｃ1、Ｃ2は、調整された色情報として、色情報算出手段３２Ｃにそれぞれ出力されることとなる。
【０１２１】
色情報算出手段３２Ｃは、図２に示す色情報算出手段３２と同様であるが、色空間写像手段３１Ｃのほかに、第２色空間写像手段３５および加重平均手段３６から入力される行列にも色空間変換行列Ｃの逆行列Ｃ-1を乗じる点が異なる。
【０１２２】
ここで、色情報算出手段３２Ｃが実行する、調整された色情報の統合について、図１０を参照して説明する。図１０は、図６に示した説明図と同様な説明図であるが、以下では、図１０の説明図を縦軸に沿って３つに分けた入射光量の領域を想定する。
【０１２３】
図１０の横軸において入射光量がＱ1以上の比較的大きい領域は、輝度領域の領域αに該当する。この領域の場合、色情報算出手段３２Ｃは、色空間写像手段３１Ｃから入力する行列の情報を用いて、単板RGB撮像素子７の１度目のデモザイク処理に対応した色情報（１枚の撮像デバイスに因んだ色情報）を当該画素の色情報として転写する。
【０１２４】
また、図１０の横軸において入射光量がＱ2以下の比較的小さい領域は、輝度領域の領域γに該当する。この領域の場合、色情報算出手段３２Ｃは、第２色空間写像手段３５から入力する行列の情報を用いて、単板RGB撮像素子７の２度目のデモザイク処理に対応した色情報（モノクローム撮像素子およびＲＧＢ素子の２枚の撮像デバイスに因んだ色情報）を当該画素の色情報として転写する。
【０１２５】
さらに、図１０の横軸において入射光量がＱ2以上Ｑ1以下の中間領域は、輝度領域の領域βに該当する。この領域の場合、色情報算出手段３２Ｃは、加重平均手段３６から入力する行列の情報を用いて、色情報をＱ2、Ｑ1の２つの閾値からの距離に応じて加重平均して転写する。なお、Ｑ2、Ｑ1の２つの閾値からの距離は、輝度値における飽和レベルＳth2および飽和輝度値Ｓth1からの距離に相当する。
【０１２６】
（６．撮影装置の動作の流れ）
次に、図１に示す撮影装置１の動作の流れについて説明する。なお、例えば、画像処理の校正段階よりも前に、以下の機械的な位置合わせを行うことが好ましい。この機械的な位置合わせは、粗い調整（粗調）として、撮影装置１により、例えば図３に示すパターンのようなチェッカーボードを撮影し、目視により、単板RGB撮像素子７およびモノクローム撮像素子８に予め配設されているそれぞれのマイクロメータ（６自由度）で調整するものである。続いて、画像処理の校正段階として、位置キャリブレーション手段４０（図３参照）が微細な調整（微調）を行う。さらに画像処理の校正段階として、輝度キャリブレーション手段２０（図２参照）が統合輝度値ＹTを生成する。なお、位置の校正は、輝度校正前でもよいし、後から補正してもよい。
【０１２７】
以下では、撮影装置１において、粗調および微細がなされ、さらに、輝度の校正もなされた後の画像処理について図１１を参照（図１，２，４，８を適宜参照）して説明する。なお、輝度領域を領域α、β、γに分けて処理を行うこととした。
【０１２８】
まず、撮影装置１において、単板RGB撮像素子７とモノクローム撮像素子８で被写体（本番の撮影用対象）Ｏ2を撮影する。
画像統合部１１の輝度キャリブレーション手段２０は、デモザイキング処理手段２１によって、被写体Ｏ2のカラー画像をACPI等によりデモザイキングする（ステップＳ１）。なお、ステップＳ１により生成されるフル解像度のＲＧＢ値は、ステップＳ５により生成されるフル解像度のＲＧＢ値に比べると低精度のものである。
【０１２９】
そして、輝度キャリブレーション手段２０は、平均RGB値算出手段２２によって、被写体Ｏ2のフル解像度のＲＧＢ値を、最適化された色輝度変換行列Ｋ＝［ａ  ｂ  ｃ］により変換することで当該カラー画像の輝度値Ｙcを生成する（ステップＳ２）。
【０１３０】
このステップＳ２により生成されるカラー画像の輝度情報は、単板RGB撮像素子７に入射する入射光量が比較的小さい領域の輝度情報を、モノクローム撮像素子８に対して補間するために用いることができる情報である。一方、モノクローム撮像素子８で撮影されたモノクローム撮影画像８ａの輝度情報は、モノクローム撮像素子８に入射する入射光量が比較的大きい領域の輝度情報を、単板RGB撮像素子７に対して補間するものである。
【０１３１】
統合画像生成手段３０Ｃは、被写体Ｏ2のカラー画像の輝度値Ｙcおよびモノクローム撮影画像の輝度値Ｙgを受け付け、輝度情報を統合する（ステップＳ３）。そして、統合画像生成手段３０Ｃは、統合輝度判別手段３３によって、予め作成された統合輝度値ＹTを参照して、各撮像デバイスから入力した輝度値が、α領域、γ領域、β領域のいずれに該当するかを判別する（ステップＳ４）。輝度値がγ領域に該当すると判別された場合、第２デモザイキング処理手段３４は、単板RGB撮像素子７で撮像された被写体Ｏ2のカラー画像の未飽和領域の画素に対して再度デモザイク処理を施す（ステップＳ５）。なお、ステップＳ５により生成されるフル解像度のＲＧＢ値は、モノクローム撮像素子の撮影画像８ａの勾配が利用されているため、前記したステップＳ１で生成されたフル解像度のＲＧＢ値に比べると高精度の色情報となる。
【０１３２】
ステップＳ４またはステップＳ５に続いて、色情報算出手段３２Ｃは、輝度値の領域にそれぞれ対応して、１枚の撮像デバイスまたは２枚の撮像デバイスの撮影画像に因んだ色情報により、該当する画素に色を転写する（ステップＳ６）。これにより、統合画像Itが生成され、記憶部４に格納される。
【０１３３】
具体的には、輝度値がα領域に該当すると判別された場合、色情報算出手段３２Ｃは、単板RGB撮像素子７で撮像された被写体Ｏ2のカラー画像の１度目のデモザイク処理で生成された色情報（１枚の撮像デバイスに因んだ色情報）により、輝度値がα領域に該当する画素に色を転写する。
【０１３４】
また、輝度値がγ領域に該当すると判別された場合、色情報算出手段３２Ｃは、単板RGB撮像素子７で撮像された被写体Ｏ2のカラー画像の２度目のデモザイク処理（２枚の撮像デバイスに因んだ色情報）で生成された色情報により、輝度値がγ領域に該当する画素に色を転写する。
【０１３５】
さらに、輝度値がβ領域に該当すると判別された場合、色情報算出手段３２Ｃは、輝度値がα領域に該当すると判別された画素の色情報と、γ領域に該当すると判別された画素の色情報とを加重平均した色情報により、輝度値がβ領域に該当する画素に色を転写する。
【０１３６】
ステップＳ６に続いて、撮影装置１のプレビュー用プロセス部１２は、映像加工機能によって、記憶部４から統合画像Itを読み出して、モニタ１３に合わせてノンリニアトーンマッピングを行う（ステップＳ６）。このノンリニアトーンマッピングを行った映像は、ポスプロ用蓄積部５に蓄積されたり、モニタ１３に出力されたりする。
【０１３７】
本実施形態の撮影装置１を用いて撮影を行うことで、高ダイナミックレンジかつ、高精細な映像を取得できる。これにより、通常、撮像素子が飽和したり、黒ツブレしたりして視認できない領域が生じるようなシーンにおいても、統合された画像Itは飽和しにくく、黒ツブレしにくい。
【０１３８】
また、ダイナミックレンジが拡大していることにより、多段の画像加工処理にも関わらず、従来の限定された精度あるいは低い精度のハードウェア処理と比較し、顕著な画質劣化が認められなかった。
【０１３９】
また、デモザイク処理を行う際に、従来手法では不十分なサンプリングであるため品質確保が困難であったが、本実施形態の撮影装置１では、輝度領域のγ領域については、モノクローム撮影画像の輝度値Ｙgを利用しＲＧＢ素子の元の輝度値に対し、デモザイク処理を再度行う際に、モノクローム撮影画像の輝度値Ｙgの勾配を利用することで、色滲みや精細感の低下を防ぐことができる。したがって、撮影後の処理で、画像処理により、明るさや色を変更しても、擬似輪郭などの劣化が生じにくく、拡大しても色滲みが生じず鮮鋭さも損なわれない。そのため、撮影装置１によれば、映像加工の自由度を拡大することができる。
【０１４０】
また、実施例では、トーンマッピングも合わせてすべて、一台のＰＣに搭載した１基のＧＰＵでリアルタイムに処理が可能であった。つまり、本実施形態の撮影装置１は、ハードウェア化が容易であり、コスト的にも低廉化が期待できる。また、ＰＣによる演算性能が向上すれば、通常の被写体を対象に撮影中、リアルタイムに、色輝度変換行列Ｋの自動更新が可能である。
【０１４１】
以上、本実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。例えば、撮影装置が、互いに分光特性の異なる２枚のカラー撮像デバイスと、１つのモノクローム撮像デバイスとを備えるようにしてもよい。この場合には、第１フェーズとして、まず、１枚のカラー撮像デバイスと、１つのモノクローム撮像デバイスとについて、前記したように統合輝度値を生成して、画像を統合する。ここで、２枚のカラー撮像デバイスのうち一方（第１のカラー撮像デバイス）と、モノクローム撮像デバイスとを統合対象とする。
【０１４２】
次に、第２フェーズとして、第２のカラー撮像デバイスを、第１フェーズにおけるモノクローム撮像デバイスに置き換えた上で、この置き換えた第２のカラー撮像デバイスと、第１のカラー撮像デバイスとを統合対象として、第１フェーズと同様な方法で統合輝度値を生成して、画像を統合する。第２フェーズの場合、図６のグラフにおいて、以下のように置換すれば、第１フェーズと同様な方法で第２の統合輝度値を生成し、画像を統合することができる。
【０１４３】
すなわち、図６のグラフにおける置換では、符号２０１の太い実線が、第１のカラー撮像デバイスの輝度値の勾配を表す。一方、符号２０２の細い実線が、第２のカラー撮像デバイスの輝度値の勾配を表す。また、符号２０３の実線は、第２のカラー撮像デバイスの輝度値を、最適化された第２の色輝度変換行列で変換した変換後輝度の勾配を表す。また、飽和輝度値Ｓth1を便宜的に第３の閾値と呼び、飽和レベルＳth2を便宜的に第４の閾値と呼ぶ。また、第４の閾値より小さい範囲では、デモザイク処理において、第１フェーズで統合した統合画像の輝度勾配を利用する。なお、第２のカラー撮像デバイスは、第１のカラー撮像デバイスよりも輝度勾配が緩やかであっても急峻であってもどちらでもよい。さらに、互いに分光特性の異なるのであれば、３枚以上のカラー撮像デバイスについても同様に統合対象とすることができる。
【０１４４】
また、例えば、図１に示した撮影装置１は、一般的なコンピュータを、前記した画像統合部１１の各手段として機能させる画像統合プログラムにより動作させることで実現することができる。このプログラム（画像統合プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１４５】
また、撮影装置１は、画像統合部１１が、ベストモードとして、輝度キャリブレーション手段２０と、統合画像生成手段３０と、位置キャリブレーション手段４０と、ホワイトバランス処理手段５０とを備えるものとしてもよい。
【０１４６】
また、図８に示す統合画像生成手段３０Ｃでは、色情報算出手段３２Ｃが、色空間写像手段３１Ｃ、第２色空間写像手段３５および加重平均手段３６による画素ごとの処理がなされた画像全体の情報を利用して、その画像における画素毎に逆行列を乗じる処理を行うこととしたが、これに限定されるものではない。例えば、統合画像生成手段から色情報算出手段３２Ｃを除いて、撮影画像において選択された所定の画素の輝度に応じて、色空間写像手段３１Ｃ、第２色空間写像手段３５および加重平均手段３６のいずれかの処理を行い、当該画素の情報と、その画素における処理結果としての統合輝度および色情報とを対応させて記憶しておく構成としても同様な効果を奏することができる。
【産業上の利用可能性】
【０１４７】
本発明は、映像制作産業だけではなく、例えば監視映像を取得する必要がある産業など広い範囲で利用可能であり、特に、比較的高品質な映像コンテンツを作成する用途に向いている。
【符号の説明】
【０１４８】
１      撮影装置
２      撮像部
３      演算処理部
４      記憶部
５      ポスプロ用蓄積部
６      ハーフミラー（分光手段）
７      単板RGB撮像素子
８      モノクローム撮像素子
１１、１１Ａ、１１Ｂ、１１Ｃ  画像統合部（画像統合手段）
１２    プレビュー用プロセス部
１３    モニタ
２０    輝度キャリブレーション手段
２１    デモザイキング処理手段
２２    平均RGB値算出手段
２３    平均輝度値算出手段
２４    色輝度変換行列最適化処理手段
３０、３０Ｃ  統合画像生成手段
３１、３１Ｃ  色空間写像手段
３２、３２Ｃ  色情報算出手段
３３    統合輝度判別手段
３４    第２デモザイキング処理手段
３５    第２色空間写像手段
３６    加重平均手段
４０    位置キャリブレーション手段
５０    ホワイトバランス処理手段
Ｂ      １／４波長板
Ｌ      レンズ
Ｏ1      カラーチャート（色試験撮影用対象）
Ｏ2      被写体（本番の撮影用対象）
Ｏ3      パターン（位置試験撮影用対象）
【図１】
0005411786.tif 000008
【図２】
0005411786.tif 000009
【図３】
0005411786.tif 000010
【図４】
0005411786.tif 000011
【図５】
0005411786.tif 000012
【図６】
0005411786.tif 000013
【図８】
0005411786.tif 000014
【図９】
0005411786.tif 000015
【図１０】
0005411786.tif 000016
【図１１】
0005411786.tif 000017
【図７】
0005411786.tif 000018