(57)【特許請求の範囲】
【請求項１】
画像の色を補正するための撮影システムであって、レンズ（４１）、撮像素子（３１，３７）、受光素子（３１，３３，３７，３８）及び反射面（６１）を有し主シーン（１１０）を前記撮像素子（３１，３７）上に撮影するカメラ（２）を備え、前記撮像素子（３１，３７）及び前記受光素子（３１，３３，３７，３８）は複数の色チャンネルを有し、前記反射面（６１）は前記カメラ（２）の視野内に配置されており、且つ前記主シーン（１１０）又はその近傍に属する参照用シーン（１２１，１２１ａ〜ｅ）からの光を反射すると共に前記レンズ（４１）を介して前記受光素子（３１，３３，３７，３８）に受光させるものであり、さらに、前記受光素子（３１，３３，３７，３８）により受け入れられた参照用シーン（１２１，１２１ａ〜ｅ）の反射光のうち１ピクセル部（１３６ｄ）の値又は複数ピクセル部（１３１，１３１ａ〜ｅ、１３６ａ〜ｃ）の前記各色チャンネル毎における平均値として求められた参照用信号値（ｒｎ，ｇｎ，ｂｎ）により撮影された前記主シーン（１１０）の画像の色を補正する補正装置（７２）とを備えている。
【請求項２】
請求項１に記載の撮影システムであって、前記補正装置が、前記撮像素子（３１，３７）により撮影された主シーン（１１０）の各座標位置における主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）を前記各色チャンネル毎に求めた前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）によってそれぞれ実質的に除することにより前記主信号値を補正した補正信号値（rc[x][y],gc[x][y],bc[x][y]）を得るための補正部（７２）である。
【請求項３】
請求項２に記載の撮影システムに用いられる画像処理装置であって、これは前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）を分母に有する係数（ｓｒ，ｓｇ，ｓｂ）をあらかじめ求め、この係数（ｓｒ，ｓｇ，ｓｂ）を前記各主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に掛け合わせることで主信号の補正を行うものである。
【請求項４】
請求項３に記載の画像処理装置であって、これは前記各色チャンネルにおける前記各係数（ｓｒ，ｓｇ，ｓｂ）が各色チャンネルにより異なる前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）を分母に有し各色チャンネルで共通の他の係数（ｓ）を分子に有しているものである。
【請求項５】
請求項４に記載の画像処理装置であって、これは前記撮像素子（３１，３７）又は前記受光素子（３１，３３，３７，３８）から順次送られるフレーム信号のうち、あるフレーム信号から前記係数（ｓｒ，ｓｇ，ｓｂ）を求め、この係数（ｓｒ，ｓｇ，ｓｂ）をさらに時間経過後の他のフレームから得た前記各主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に掛け合わせることで主信号の補正を行うものである。
【請求項６】
請求項５に記載の画像処理装置であって、これは前記係数（ｓｒ，ｓｇ，ｓｂ）を複数の他のフレームからそれぞれ得た前記各主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に共通に掛け合わせることで主信号の補正を行うものである。
【請求項７】
請求項５に記載の画像処理装置であって、これは前記他のフレームからの信号に前記係数（ｓｒ，ｓｇ，ｓｂ）を掛け合わせるためのビデオアンプ（７９）を有している。
【請求項８】
請求項１に記載の撮影システムに用いられるカメラであって、前記反射面（６１）を前記カメラ（２）の視野外に配置することの可能な反射面移動機構（６５）を備えている。
【請求項９】
請求項１に記載の撮影システムであって、前記反射面（６１）を前記カメラ（２）の視野外に配置することの可能な反射面移動機構（６５）を備え、前記反射面（６１）を前記カメラ（２）の視野内に配置して前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）を求めた後に前記反射面移動機構（６５）により前記反射面（６１）を前記カメラ（２）の視野外に配置した状態で主画像を撮影し、前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）により撮影された前記主シーン（１１０）の画像の色を補正するものである。
【請求項１０】
請求項１に記載の撮影システムであって、前記撮像素子（３１）及び前記受光素子（３８）が別体の同一特性の素子よりなり、前記レンズ（４１，４１）をこれら撮像素子（３１）及び前記受光素子（３８）に対応させてそれぞれ設けてある。
【請求項１１】
請求項１０に記載の撮影システムであって、前記受光素子（３８）のうち欠陥ピクセルを前記選択補正部（１３７ａ，１３７ｂ）の選択時に除去する座標テーブルを有している。
【請求項１２】
請求項１に記載の撮影システムに用いられるカメラであって、前記撮像素子（３１，３７）及び前記受光素子（３１，３３，３７，３８）が同一特性の素子よりなるものである。
【請求項１３】
請求項１２に記載のカメラであって、前記受光素子（３１，３７）が前記撮像素子（３１，３７）の一部である。
【請求項１４】
請求項１に記載の撮影システムに用いられるカメラであって、前記撮像素子（３１，３７）上の画像を収めた画像ファイルを記憶する記憶部（７７）又は前記画像を記録するフィルム（３７）の収納部（３６）を有しており、前記画像は主画像部（１１０）と全画像範囲（１００）の端に位置する参照用画像部（１３０）とを備えている。
【請求項１５】
請求項１に記載の撮影システムに用いられるカメラであって、前記全画像範囲（１００）が四角形を呈し、いずれかの角部に前記参照用画像部（１３０）が位置している。
【請求項１６】
請求項１に記載の撮影システムに用いられるカメラであって、前記主画像部が横に細長い四角形を呈し、前記全画像範囲（１００）の上部又は下部に前記参照用画像部が位置している。
【請求項１７】
請求項１に記載の撮影システムに用いられるカメラであって、前記レンズ（４１）がズームレンズであり、前記反射面（６１）が前記レンズ（４１）の焦点距離に応じてその始点の座標位置と角度とを変更するものである。
【請求項１８】
請求項３〜７に記載の画像処理装置又は９〜１１に記載の撮影システムのいずれかで実現される機能をコンピュータにロードされることで実現するソフトウエアを記録した記録媒体。
【請求項１９】
請求項９又は１２〜１７のいずれかに記載のカメラであって、前記反射面に前記主シーン外又は前記参照用シーン外からの光が入射することを防止する覆いを設けてある。
【請求項２０】
画像の濃度を安定させるための撮影システムであって、レンズ（４１）、撮像素子（３１，３７）、受光素子（３１，３３，３７，３８）及び反射面（６１）を有し主シーン（１１０）を前記撮像素子（３１，３７）上に撮影するカメラ（２）を備え、前記反射面（６１）は前記カメラ（２）の視野内に配置されており、且つ前記主シーン（１１０）又はその近傍に属する参照用シーン（１２１，１２１ａ〜ｅ）からの光を反射すると共に前記レンズ（４１）を介して前記受光素子（３１，３３，３７）に受光させるものであり、さらに、前記受光素子（３１，３３，３７，３８）により受け入れられた参照用シーン（１２１，１２１ａ〜ｅ）の反射光のうち１ピクセル部（１３６ｄ）の値又は複数ピクセル部（１３１，１３１ａ〜ｅ、１３６ａ〜ｃ）の平均値を参照用信号値（ｒｎ，ｇｎ，ｂｎ）として求め、前記撮像素子（３１）により撮影された主シーン（１１０）の各座標位置における主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）を前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）によって実質的に除することにより主信号を補正した補正信号値（rc[x][y],gc[x][y],bc[x][y]）を得る画像処理装置（７）を備えている。
【請求項２１】
請求項１に記載の撮影システムであって、前記補正装置が、前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）により定まる色に対する補色を測定する手段と、この補色を再現し且つ前記撮像素子に達する画像の色を変更する光学フィルタを含む光学フィルタ手段とを備えている。
【請求項２２】
請求項２１に記載の撮影システムであって、前記光学フィルタは前記受光素子に達する画像の色をも変更するように配置されており、前記補色を測定する手段は前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）のカラーバランスが求められるカラーバランスにできるだけ近づくように前記光学フィルタを制御する。
【請求項２３】
請求項２１に記載の撮影システムであって、前記光学フィルタ手段はそれぞれカラーバランスを異ならせた複数のプリセットフィルタを有しており、前記補色に最も近いプリセットフィルタが選択される。
【請求項２４】
請求項１，２，９〜１１，２１〜２３のいずれかに記載の撮影システムであって、前記反射面（６１）を表面マット状のＮＩＲ理論に従う材料により構成してある。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、撮影された物体の色を補正し又は画像の濃度を安定させるための撮影システム、並びに、これらに用いるカメラ及び画像処理装置に関する。
【０００２】
【背景技術】
物体の色は入射光に影響されやすく、カメラにより撮影された像の色を入射光の種類によらず常に一定に表示するのは困難である。人間はそのような環境にあっても、物体の色を常に一定に認識することができ、このような能力を色の不変性（カラーコンスタンシー）という。
【０００３】
従来より、色の不変性を実現するために、カメラにより撮影された画像の色補正を行う方式としては、撮像を各区分毎に補正する区分的（Ｓｐａｔｉａｌ）補正方式と、画像を全体として均一に補正する全体的（Ｇｌｏｂａｌ）補正方式とが存在する。前者の例としてＲｅｔｉｎｅｘ方式が存在し、後者の例としてホワイトパッチ方式及びハイライト部参照方式等が存在する。
【０００４】
第一のＲｅｔｉｎｅｘ方式は、物体の表面色に関し光検出路における平均した色はグレーであるという仮定を内容とするＧＷＡ（Ｇｒａｙ  Ｗｏｒｌｄ  Ａｓｓｕｍｐｔｉｏｎ）理論に基づいている。そして、ある区分、例えばあるピクセルの周囲に広がる光検出路の色情報を用いて当該ピクセルの色補正を行っている。
【０００５】
したがって、このＲｅｔｉｎｅｘ方式によれば、各ピクセルについて光検出路色に基づく複雑な計算が実行されねばならず、全体としてのコンピュータにおける計算量が非常に膨大で問題である。また、たとえば、シーンの色がある色に偏っている場合、この偏った色が光源の色として認識されるので、適用に限界がある。
【０００６】
一方、第二のホワイトパッチ方式では、シーンにホワイトパッチが挿入され、そのホワイトパッチ上の反射光が光源色として求められ、これに基づいて色補正が行われる。ところが、現実問題として、撮影しようとするシーンにホワイトパッチを直接挿入するのは事実上非常に困難である。
【０００７】
第三のハイライト部参照方式では、例えば飽和ピクセルの周囲の光をハイライト部と仮定し、この周囲の光を光源色として求める。したがって、一旦、撮影されたシーン上からハイライト部を個別に見つけなければならず、画像処理が非常に複雑である。また、ハイライト部に対応するピクセルは飽和しているので、そこから光源色を見つけるのは不可能である。
【０００８】
そこで、これらの方式における問題を解消する方式として、発明者は区分的補正方式として国際出願番号ＰＣＴ／ＪＰ９６／０３６８３号（国際公開番号ＷＯ９８／２７７４４号）のノーズ方式を提唱した。同ノーズ方式の撮影システムには、レンズ、撮像素子及び反射面を有し、主シーンを前記撮像素子上に撮影するカメラと、反射面により得られた参照用シーンの情報を用いて前記主シーンにおける画像を補正する画像処理装置とが設けられている。そして、あらかじめ参照用シーンと主シーンとの間で両者を対応させるマッピングを行い、画像処理装置において、各主シーンのピクセルにおける色をこれに対応する参照用シーンの色で実質的に除することで、主シーンの色補正を行っていた。
【０００９】
しかし、同ノーズ方式では、参照用シーンと主シーンとの間で両者を対応させるマッピングを行う必要がある。よって、色補正を正確に行うためには、マッピングを前提とした精密なキャリブレーションを行う必要があり、そのキャリブレーション作業が煩雑であった。また、マッピングのためには、ある程度の広さの参照用画像を撮影した画像上に確保することが必要である。したがって、主画像と参照用画像とが同一の画像範囲に存在する場合、主画像が参照用画像の分だけ減少する。
【００１０】
かかる従来の実状に鑑みて、本発明の第一の目的は、簡易なキャリブレーションで色の不変性を実現させ又は画像の濃度を安定させるために色を補正することの可能な撮影システム、並びに、これらに用いるカメラ及び画像処理装置を提供することにある。
【００１１】
また、本発明の第二の目的は、参照用画像部の面積が小さくても十分に色補正を行うことの可能な撮影システム等を提供することにある。
【００１２】
【発明の開示】
上記課題を達成するため、本発明に係る撮影システムの特徴は、画像の色を補正するためのものであって、レンズ、撮像素子、受光素子及び反射面を有し主シーンを前記撮像素子上に撮影するカメラを備え、前記撮像素子及び前記受光素子は複数の色チャンネルを有し、前記反射面は前記カメラの視野内に配置されており、且つ前記主シーン又はその近傍に属する参照用シーンからの光を反射すると共に前記レンズを介して前記受光素子に受光させるものであり、さらに、前記受光素子により受け入れられた参照用シーンの反射光のうち１ピクセル部の値又は複数ピクセル部の前記各色チャンネル毎における平均値として求められた参照用信号値により撮影された前記主シーンの画像の色を補正する補正装置とを備えていることにある。
【００１３】
この撮影システムにおいて、前記補正装置をデジタル又はアナログ回路で電気的に画像処理を行うように構成する場合には、この補正装置を例えば前記撮像素子により撮影された主シーンの各座標位置における主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）を前記各色チャンネル毎に求めた前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）によってそれぞれ実質的に除することにより前記主信号値を補正した補正信号値（rc[x][y],gc[x][y],bc[x][y]）を得るための補正部として構成すればよい。
【００１４】
上記特徴を備えた撮影システムはカラー画像における色の不変性を実現するために有用であって、そのためには、前記カメラの撮像素子及び前記受光素子が複数の色チャンネルを有し、前記画像処理装置が前記各色チャンネル毎に求めた前記参照用信号の値により前記各主信号の値を前記各色チャンネル毎に実質的に除することで主信号の補正を行うものであることが求められる。
【００１５】
ここで、本発明による画像の濃度を安定させる作用を説明するに当たり、カラーカメラによる色の不変性を例にとって説明する。もちろん、本発明は白黒カメラにおける画像の濃度を安定させる用途にも用いることができる。
【００１６】
あるシーンにおける物体の表面が一つの光源により照らされているとき、反射光Ｉ(λ)は次式により表現される。
Ｉ(λ)＝Ｅ(λ)Ｓ(λ)            （１）
【００１７】
ここで、Ｓ(λ)は物体表面の反射関数、Ｅ(λ)は形状幾何学によって変わる光源のスペクトル強度分布（ＳＰＤ）、λは光源の波長である。
【００１８】
不均質な絶縁性表面からの反射は、境界反射及び固体（ｂｏｄｙ）反射という二つの構成要素を線形的に加えたものよりなる。世の中における非常に多くの種類の物体表面、例えば衣服、人、壁、塗装された金属、プラスチック等は、不均質な絶縁性表面に分類される。図３６はカラー媒介物中にカラー顔料の分散した表面の構造を示している。いくつかの入射光は、カラー媒介物の表面と周囲の媒体との境界で反射され、この成分は境界反射（Ｉ）とよばれ、光源の色を代表する。他の入射光は、複数のカラー顔料間の連続した再反射を経て、光原色により変更させられた表面色と呼ばれる顔料の色を伝達する固体（ｂｏｄｙ）反射（Ｂ）とよばれる成分となる。これらのモデルはダイクロマティックモデルとよばれ、物体表面の反射関数Ｓ(λ)は次式の如く表現される。
Ｓ(λ)＝［ｍI(ｇ)ｃI(λ)＋ｍB(ｇ)ｃB(λ)］        （２）
【００１９】
ｍI(ｇ)、ｍB(ｇ)は、それぞれ境界反射と固体反射とを示す基準係数であり、ライティングと撮影範囲（ｖｉｅｗｉｎｇ）との幾何学的関係のみに依存する。また、ｃI(λ)、ｃB(λ)はそれぞれ境界反射と固体反射との光学的構成要素であり、光源の波長(λ)のみに依存する。
【００２０】
物体が金や銅である場合、上述の境界反射（Ｉ）は入射光の色を変化させる。しかし、銀、アルミニウム等の金属の他、脂肪、油又はワックス等のカラー媒介物等、世の中の多くの物体の表面は、中立境界反射（ＮＩＲ）理論にしたがい、入射光の色を変化させないで光の上記ＳＰＤを伝達する。境界反射（Ｉ）はハイライト部として表れる場合が多く、したがって、多くの物体の鏡面反射（Ｉ）は入射光の色を伝達すると考えられる。
【００２１】
上記境界反射がカメラに到達したとき、撮像素子のそれぞれの要素はそれらの上の有限の大きさで光輝を積分し、ある点のスペクトル的観察結果ｋｉ(ｘ，ｙ)は次のように求められる。
ki(x,y)=[∫∫∫Ri(λ)I(X,Y,λ)dλdXdY]γ+b    （３）
【００２２】
ここで、添字のｉがとる１，２，３のいずれかの値は、赤、緑又は青にそれぞれ対応し、(ｘ，ｙ)は撮像の座標である。(Ｘ，Ｙ)は撮像の中心に関するワールド座標である。Ｒｉ(λ)は、サンプリングフィルタの特性と関連づけられたｉ番目のスペクトル的応答を示す。γは画像−電気変換指数であり、ｂはセンサーオフセット又はダークノイズと呼ばれる。これら指数γ及びダークノイズｂはアウトプットをγ＝１、ｂ＝０として確実にリニアイメージであるようにするために調整されうる。
【００２３】
次に、図３７を参照しつつ、物体からの反射光の前記反射面における再反射（ｉｎｔｅｒ−ｒｅｆｌｅｃｔｉｏｎ）について考える。物体への入射光は表面反射（Ｉ）及び固体反射（Ｂ）としてカメラ及び反射面にそれぞれ向かう。そして、反射面に到達したこれら反射光は、反射面がダイクロマティックモデルに従うとき、表面−表面反射（ＩＩ）、固体−表面反射（ＢＩ）、表面−固体反射（ＩＢ）及び固体−固体反射（ＢＢ）として再反射する。もちろん、反射面はＮＩＲ理論に従って光源色をそのまま反射すべきであるから、反射面はアルミニウム、白又はグレーの樹脂又は紙等により作成されることが望ましい。
【００２４】
これら再反射の反射光のうち、固体−固体反射（ＢＢ）は非常に強度が弱いので考慮外としても構わない。また、表面−固体反射（ＩＢ）は、反射面が光学的にフラットであることから、光のスペクトルを変えることはなく、また、表面−表面反射（ＩＩ）よりも小さくなっている。したがって、反射面の材料として、ダイクロマティックモデルに従わないアルミニウム等を選択するか、ダイクロマティックモデルに従う物体とするかに拘わらず、再反射光の要素は同じとみなすことができる。ここで、反射面に入射し再反射した反射面上のある座標における光Ｃ(Ｘｎ,Ｙｎ, λ)は次式により表示される。
C(Xn,Yn,λ)=∬B1(X,Y)Sn(X,Y,λ)S(X,Y,λ)E(X,Y,λ)dXdY  （４）
【００２５】
ここで、図３８は、反射面の表面における拡散鏡面反射に基づく第一のぼかし現象の過程を表した図である。入射光路Ｓ１に沿って入射した入射光は鏡面反射の反射光路Ｓ１’に対して最も強度が強くなり、これから離れるにつれて強度が低下する曲線Ｇ１に示すような強度分布を呈する。また、入射光路Ｓ２に沿って入射した入射光は、同様に鏡面反射の反射光路Ｓ２’に対して最も強度が強くなり、曲線Ｇ２に示すような強度分布を呈する。そして、反射光路Ｃ’に沿った反射光の強度は、例えば曲線Ｇ１，Ｇ２と反射光路Ｓｎ’との交差によりそれぞれ決定される値が加算された強度となる。上記式（４）におけるＢ１(Ｘ,Ｙ)項は、この第一のぼかし現象の関数であり、表面の粗さのみに依存する。一方、上記式（４）におけるＳｎ(Ｘ,Ｙ,λ)項は、反射面のスペクトル的反射率を示し、ワールド座標及び波長λに依存している。なお、Ｓｎ(Ｘ,Ｙ,λ)項は、ＮＩＲの仮定下では１となる。
【００２６】
例えば、反射面により反射した再反射光がレンズを通して受光素子の一種である撮像素子に入射するとき、反射面はレンズの近くに設置されているので、この再反射光はレンズによりデフォーカスされる。反射面上の一点は、空間的ぼかし関数Ｂ２(Ｘｎ,Ｙｎ)に従って濃度を変化させる円として投影される。図３９はこのデフォーカスによるぼかしを表し、撮像素子上の点に到達する再反射光Ｃin(Ｘｎｉ,Ｙｎi, λ)は次式により表示される。
Cin(Xni,Yni,λ)=∬B2(Xn,Yn)C(Xn,Yn,λ)dXndYn          （５）
【００２７】
ここで、添字ｎｉは例えば反射面から再反射することにより得られた参照用シーンの撮像素子上における各ピクセルに対応する。この光Ｃin(Ｘｎｉ,Ｙｎi,λ)が例えば撮像素子上に到達したとき、この光のスペクトル的観察結果ｋｉｎ(ｘ，ｙ)は先の式（３）に鑑みて次のように求められる。
kni(x,y)=[∫∫∫Ri(λ)Cin(Xni,Yni,λ)dλdXnidYni]γ+b    （６）
【００２８】
簡略化していうと、参照用シーンにおける各座標のＲＧＢそれぞれの強度成分ｋｎｉ(ｘ，ｙ)は、上述の境界−境界反射ＩＩと固体−境界反射ＢIとを上記Ｂ１Ｂ２なる２つのぼかし関数のコンボリューションとして表現したものである。
【００２９】
主シーンにおけるハイライト部からの境界反射Ｉの光線が直接的に撮像素子により撮影されるとき、多くの場合、光線は撮像素子のダイナミックレンジを越え、しかも小さな面積を占めるに留まる。したがって、ハイライト部には光源の情報が含まれているにもかかわらず、これを有効利用し難い。
【００３０】
これに対し、反射面及びさらにレンズのぼかしを用いた場合には、上記２つのコンボリューションによりハイライト部からの光は拡散し、さらにダイナミックレンジが反射で減ぜられて小さくなる。したがって、直接像のみによりハイライト部を捉える場合に比べて、反射面を用いてハイライト部を捉えた場合には、ハイライト部を利用して、より光源色を捉えることが容易となる。また、ハイライト部からの境界反射Ｉは、固体反射Ｂに比較して輝度が高いので、固体−境界反射ＢＩよりも支配的となる。但し、ハイライト部が殆どないようなシーンでは、固体−境界反射ＢＩが参照用シーンにおいて主シーンの補正用として用いられる。この場合、上記２つのコンボリューションが、実質上、先のＧＷＡ理論の光学的実行に相当する。したがって、本発明では、ハイライト部の参照による補正とＧＷＡ理論による補正とが平行して同時に行われていることとなる。
【００３１】
ところで、上述した従来の第四の公報に記載の手法では、参照用シーンの各座標位置におけるスペクトルｋｎｉ(ｘ，ｙ)と、主シーンの各座標位置におけるスペクトルｋｎ(ｘ，ｙ)とをマッピングし、各座標毎の値を用いて除算を行うことにより、区分的手法として色補正を行っていた。
【００３２】
しかし、多くの場合、太陽光や屋内の電灯等、光源の色が主として一つであるとして取り扱っても特に差し支えのないとの結論に達した。また、反射面を用いたことに起因する上述のコンボリューションによりハイライト部の情報が参照用シーン内に拡散するので、参照用シーンの一部から全体の光源色をサンプリングすることの可能性を見いだした。
【００３３】
したがって、本発明では、前記受光素子により受け入れられた参照用シーンの反射光のうち１ピクセル部の値又は複数ピクセル部の平均値を参照用信号として求めることにより、光源色を代表する一つの値（３色の色数に対応するベクトル）を求めている。また、反射面は、主シーン又はその近傍に属する参照用シーンからの光を反射すると共に受光素子に受光させれば足りる。この反射面の設計に当たっては、主たる光の行程が主シーン又はその近傍に属する参照用シーンからの光を反射すればよい。
【００３４】
そして、デジタル又はアナログ回路により画像の補正を行うには、例えば、撮像素子により撮影された主シーンの各座標位置における主信号の値を一つの参照用信号の値（ベクトル）によって実質的に除することにより主信号の補正を行っている。
【００３５】
本発明は、原則として単一の光源色を代表する値を用いるグローバル補正方式である。よって、反射面に対応する参照用画像部と主画像部との間の対応関係は上述の従来技術よりもラフで足りるので、キャリブレーションも非常に簡易に行える。また、参照用画像部と主画像部との間の対応関係は上述の従来技術よりもラフで足りるから、その結果、参照用画像部の面積を小さくしても色補正が行えるようになった。さらに、色補正において、同じく参照用信号の値として一つの値を用い全画像範囲に均一に適用でき、実質的に各色チャンネル内で一つの値により除算を行えば足りるので、補正スピードを非常に高速化することができるようになった。
【００３６】
ところで、コンピューターにおいて、除算は乗算に比較して処理負荷が非常に高い。しかし、本発明によれば、除算を行う際の分母となる参照用信号の値が各色チャンネルにおいて一つであるため、前記参照用信号の値（ｒｎ，ｇｎ，ｂｎ）を分母に有する係数（ｓｒ，ｓｇ，ｓｂ）をあらかじめ求め、この係数（ｓｒ，ｓｇ，ｓｂ）を前記各主信号の値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に掛け合わせることで主信号の補正を行うように前記画像処理装置を容易に構成することができる。この場合、画像処理のスピードは飛躍的に向上するものとなる。また、前記各色チャンネルにおける前記各係数（ｓｒ，ｓｇ，ｓｂ）が各色チャンネルにより異なる前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）を分母に有し各色チャンネルで共通の他の係数（ｓ）を分子に有するものとして処理してもよい。
【００３７】
前記撮像素子又は前記受光素子から順次送られるフレーム信号のうち、あるフレーム信号から前記係数（ｓｒ，ｓｇ，ｓｂ）を求め、この係数（ｓｒ，ｓｇ，ｓｂ）をさらに時間経過後の他のフレームから得た前記各主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に掛け合わせることで主信号の補正を行うものとして前記画像処理装置を構成してもよい。このとき、前記係数（ｓｒ，ｓｇ，ｓｂ）を複数の他のフレームからそれぞれ得た前記各主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）に共通に掛け合わせることで主信号の補正を行えば、前記係数の算出回数がその分減少し、さらに高速処理が可能となる。このような構成は、前記他のフレームからの信号に前記係数（ｓｒ，ｓｇ，ｓｂ）を掛け合わせるためのビデオアンプを設けることで実現できる。
【００３８】
本発明のカメラを構成するにあたっては、前記反射面を前記カメラの視野外に配置することの可能な反射面移動機構を備えてもよい。そして、前記反射面を前記カメラの視野内に配置して前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）を求めた後に前記反射面移動機構により前記反射面を前記カメラの視野外に配置した状態で主画像を撮影し、前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）により撮影された前記主シーンの画像の色を補正するようにしてもよい。同構成により、撮影された画像範囲に参照用画像部が現れるのを防ぐことが可能となる。
【００３９】
一方、本発明の撮影システムにおいては、前記撮像素子及び前記受光素子が別体の同一特性の素子よりなり、前記レンズをこれら撮像素子及び前記受光素子に対応させてそれぞれ設けてもよい。このとき、前記受光素子上の補正用画像部のうち選択補正部から前記焦点距離に応じた前記反射面に対応するものを選択することで、ズーミングと参照用画像部とを可動部品無しで連携させることが可能となった。なお、受光素子としては欠陥ピクセルが多く撮像素子として不適当な受光素子を用いることで若干のコストダウンが可能である。このとき、受光素子のうち欠陥ピクセルを前記補正部の選択時に除去する座標テーブルを設けることで、処理スピードを維持できる。
【００４０】
上述のカメラにおいて、撮像素子及び受光素子を同一特性の素子より構成することが望ましい。上記式（６）に示すように、各色チャンネルの強度成分は、ある関数のγ乗として表現されている。ところが、このγは撮像素子等の特性により異なり、したがって、主信号値を参照用信号値により除する前に、これら両者の乗数を合わせておく必要があり、その信号処理は複雑となる。よって、撮像素子及び受光素子を同一特性の素子より構成することで、無駄な信号処理のためのハードウエアを省略している。なお、同一特性の素子であっても、ロット間で特性のばらつきが存在し、安価な撮像素子ではなおさらである。しかし、前記受光素子を前記撮像素子の一部とすることで、かかる問題の生じる余地はなく、非常に良好な補正結果をえることができる。
【００４１】
上述のカメラにおいて、前記撮像素子上の画像を収めた画像ファイルを記憶する記憶部又は前記画像を記録するフィルムの収納部を備え、前記画像は主画像部と全画像範囲の端に位置する参照用画像部とを備えてもよい。
【００４２】
また、上述のカメラにおいて、前記全画像範囲が四角形を呈し、いずれかの角部に前記参照用画像部が位置するように構成してもよい。同構成によれば、参照用画像部の面積を非常に小さくすることができる。また、前記主画像部が横に細長い四角形を呈し、前記全画像範囲の上部又は下部に前記参照用画像部が位置するように、いわゆるパノラマ撮影に本発明を適用することも可能である。
【００４３】
上述のカメラにおいて、前記レンズをズームレンズとし、前記反射面が前記レンズの焦点距離に応じてその始点の座標位置と角度とを変更してもよい。
【００４４】
また、本発明は、上記特徴に記載の画像処理装置で実現される機能をコンピュータにロードされることで実現するソフトウエアを記録した記録媒体として実現することも可能である。
【００４５】
上記カメラにあっては、反射面からの参照用画像が外部光により影響を受けることを防ぐために、前記反射面に前記主シーン外又は前記参照用シーン外からの光が入射することを防止する覆いを設けてもよい。但し、他の光源色が反射面に入射する余地のないときは、覆いを省略することが可能である。
【００４６】
本発明は、白黒カメラ等の単一チャンネルのカメラにも適用可能である。このとき、本発明は画像の濃度を安定させるための撮影システムとして構成される。そして、レンズ、撮像素子、受光素子及び反射面を有し主シーンを前記撮像素子上に撮影するカメラを備え、前記反射面は前記カメラの視野内に配置されており、且つ前記主シーン又はその近傍に属する参照用シーンからの光を反射すると共に前記レンズを介して前記受光素子に受光させるものであり、さらに、前記受光素子により受け入れられた参照用シーンの反射光のうち１ピクセル部の値又は複数ピクセル部の平均値を参照用信号値（ｒｎ，ｇｎ，ｂｎ）として求め、前記撮像素子により撮影された主シーンの各座標位置における主信号値（ｒ[x][y],ｇ[x][y],ｂ[x][y]）を前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）によって実質的に除することにより主信号を補正した補正信号値（rc[x][y],gc[x][y],bc[x][y]）を得る画像処理装置を備えていることを特徴とする。
【００４７】
ところで、上述の議論では、色の補正装置が画像の信号を電気的に補正する場合について説明している。すなわち、撮像素子や受光素子に画像が取り込まれてから後の信号処理を行っている。一方、ＣＣＤ等の撮像素子は撮影できる明るさに限界があり、ハイライト部の周囲のピクセルはその一部が上述の如く飽和し、画像の色補正に好ましくない影響を与えることがある。また、参照用シーンの反射光が弱い場合には、補正時にノイズが大きくなり、色補正に同じく好ましくない影響を与えかねない。さらに、デジタル処理により色補正を行うと、補正された画像の色はなだらかに連続するのではなく、間欠的なギャップを有することになる。
【００４８】
そこで、本発明では、色の補正を光学的に行う構成を提唱する。この場合、前記補正装置は、前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）により定まる色に対する補色を測定する手段と、この補色を再現し且つ前記撮像素子に達する画像の色を変更する光学フィルタを含む光学フィルタ手段とを備えている。なお、この光学的実行の補正装置は、前記反射面を利用した光源色測定部以外の光源色測定手法と共に実施することができる。例えば、上述のＲｅｔｉｎｅｘ方式、ホワイトパッチ方式、ハイライト部参照及び他の光源色測定センサを利用した方式と共に実施することができる。
【００４９】
前記光学フィルタを構成するに当たっては、基本的には前記受光素子に達する画像の色をも変更するように配置されており、前記補色を測定する手段は前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）のカラーバランスが求められるカラーバランスにできるだけ近づくように前記光学フィルタを制御させるとよい。
【００５０】
前記光学フィルタ手段の具体的態様のひとつとして、それぞれカラーバランスを異ならせた複数のプリセットフィルタを設け、前記補色に最も近いプリセットフィルタの選択される構成がある。
【００５１】
また、上記のいずれかに記載の撮影システムにおいて、前記反射面を表面マット状のＮＩＲ理論に従う材料により構成してもよい。
【００５２】
このように、本発明の上記特徴によれば、簡易なキャリブレーションで色の不変性を実現させ又は画像の濃度を安定させるために色を補正することの可能な撮影システム、並びに、これらに用いるカメラ及び画像処理装置を提供することが可能となった。
【００５３】
また、本発明の上記特徴によれば、主画像と参照用画像との関係が従来よりもラフであっても足り、したがって、参照用画像部の面積が小さくても十分に色補正を行うことが可能となった。
【００５４】
さらに、色の補正装置を上述の如く光学的実行を伴う構成とした場合には、シーンの光が強い場合にも弱い場合にも鮮明で自然な補正画像を得ることができるようになった。
【００５５】
本発明の他の目的、構成及び効果については、以下の記載から明らかになるであろう。
【００５６】
【発明を実施するための最良の形態】
次に、図１〜１４を参照しながら、本発明の第一の実施形態について説明する。説明に先立ち、本実施形態で使用する記号についてあらかじめ定義をしておく。  XMX：画像の水平方向に対するピクセル数の最大値
YMX：画像の垂直方向に対するピクセル数の最大値
NMIN：最小の反射面境界ラインの値
NMAX：最大の反射面境界ラインの値
S：ユーザー定義画像輝度係数
x：ピクセル単位での画像の水平座標
y：ピクセル単位での画像の垂直座標
rd[x][y],gd[x][y],bd[x][y]：赤緑青各チャンネルでの直接画像信号値
rz[x][y],gz[x][y],bz[x][y]：赤緑青各チャンネルでの零画像信号値
r[x][y],g[x][y],b[x][y]：赤緑青各チャンネルでの有効入力画像信号値（主信号値）
rc[x][y],gc[x][y],bc[x][y]：赤緑青各チャンネルでの補正画像信号値（補正信号値）
rn,gn,bn：赤緑青各チャンネルでの反射面平均信号値（参照用信号値）
kr,kg,kb：赤緑青各チャンネルでのカラー応答の値
krc,kbc：赤青各チャンネルでの不良ピクセルにおけるカラー応答の値
rh[kr],gh[kg],bh[kb]：赤緑青各チャンネルでの正常ピクセルのカラーヒストグラム
rhc[kr],bhc[kb]：赤青各チャンネルでの不良ピクセルのカラーヒストグラム
ii：不良ピクセルのヒストグラムにおけるピクセル数
i：補正に使用される反射画像におけるピクセル数
rm,gm,bm：通常ピクセルにおけるヒストグラム群の上限値
rcm,bcm：不良ピクセルにおけるヒストグラム群の開始値
ra[i],ga[i],ba[i]：反射面信号値の累積
s：比例定数
ssr,ssg,ssb：通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数
sr,sg,sb：補正色を得るために有効入力画像信号値に掛け合わされる比例定数
scr,scb：不良ピクセルに色が現れることを排除するために必要な比例定数
C：飽和ピクセルのための最大補正信号値
【００５７】
まず、図１に示す撮影システム１は、カメラ２と画像処理装置７とを備えている。カメラ２は、図１，２に示すように、カメラ本体部３にレンズユニット４と覆い５を取り付け、さらに覆い５の内側に反射体６を取り付けてある。カメラ本体部３のＣＣＤ３１上にはレンズユニット４のレンズ４１を介して画像が結像され、その画像信号が後述のパーソナルコンピューター８に送られると共にフレーム平均化部３２で処理される。フレーム平均化部３２はＣＣＤ３１に入射した全体の光量を計算し、ＣＣＤ３１での飽和ピクセルが多数発生する等、ＣＣＤ３１に入射する光量が多すぎるときは開口調節モーター４４により絞り４３を縮小させ、光量が少なすぎるときは絞り４３を拡大させるように挙動する。本実施形態におけるＣＣＤ３１はカラーＣＣＤであり、１ピクセル当たり赤緑青の３色のフィルタを備えた３つの受光部が存在している。１ピクセルに割り当てられた赤緑青３つの受光部は、単一のＣＣＤ素子に割り当てられる他、図示省略するがプリズムを用いて３つのＣＣＤ素子に分散され得る。
【００５８】
覆い５は、ＣＣＤ３１及びレンズ４１により決定される最大視野及びその近傍以外からの光が入射することを防ぐ。本実施例では、ノッチ状の反射体６が覆い５の内側に取り付けられ、その内側にノッチ状のフラットな反射面６１を形成する。例えば、Ｏの像はレンズ４１を直接通過してＣＣＤ３１上の主撮像部３１ａに結像され、反射面６１に入射したＯの像は反射面６１の表面で上述した第一のぼかしを受け、レンズ４１に反射面６１を近接させたことで第二のぼかしを受けた状態でＣＣＤ３１の参照撮像部３１ｂに到達する。図２（ｂ）及び図３（ａ）（ｄ）に示す如く、反射面６１からの反射光が全画像範囲１００の下角に参照用画像部１３０を形成するように、反射体６を全画像範囲１００の角部に対応させて設けてある。主画像部１１０が主撮像部３１ａに対応し、参照用画像部１３０が参照撮像部３１ｂに対応する。反射体６の反射面後端６３の像は全画像範囲１００の下角周辺に位置し、反射体６の反射面先端６２の像は反射面捕捉部１２０と参照用画像部１３０との間で拡散する。
【００５９】
反射体６は、例えばアルミニウム等により構成されている。そして反射面６１は平坦であり、光を散乱反射させるように少しだけマット状に仕上げられている。もちろん、反射面６１は白又はグレーの紙等により構成してもよく、反射面６１は上記ＮＩＲ理論に従う素材で構成することができる。
【００６０】
ここで、図３は説明の便宜のために、撮影対象となるシーンと撮影された全画像範囲１００とを重ねて表示したものであり、主シーン１１０は主画像部でもある。Ｏから反射面６１に入射する光は入射角と同角で反射し、ＣＣＤ３１に到達する。反射面先端６２表面からＣＣＤ３１に到達する光線の経路は上述のぼかし作用により広がりをもちながら存在するが、ここでは輝度の最も高い光線が通過する主要光線経路について考える。反射面捕捉部１２０は先の反射面先端６２の配向方向及び主要光線経路により決定されるものであり、反射面捕捉部１２０の中心を通る参照主軸１０１が全画像範囲１００の下辺となす主軸角Ａが４５度となるように設定してある。
【００６１】
反射面捕捉部１２０の反射面６１による像は全画像範囲１００の下角に参照用画像部１３０として現れる。反射面捕捉部１２０を参照用シーン１２１と非利用シーン１２２とに区分するには、例えば、参照主軸１０１に垂直な選択内境界１３２と選択外境界１３３とで囲まれた選択参照部１３１を参照用画像部１３０から後述の計算過程で選択すればよい。本実施形態では、全画像範囲１００の解像度は、水平方向６８０、垂直方向４８０であり、全ピクセル数はこれらを掛け合わせた３２６４００ピクセルとなる。この場合、反射面による参照用画像部１３０のぼけた範囲の像は全体の３％程度に留まることがわかった。また、本実施形態では、ｘ，ｙが５０より大きく７０より小さい区間を選択参照部１３１の対象とする。もっとも、これらの値は一例であり、本発明はこれらの具体的値に限定されるものではない。
【００６２】
もちろん、参照用シーンは図３（ａ）の符号１２１ｘに示す全画像範囲１００の外側且つ近傍部や符号１２１ｙに示す全画像範囲１００を含む範囲でもよい。本例では、覆い５をレンズユニット４周りで回転させることができるので、例えば、反射体６を全画像範囲１００の上角側に移動させて、図３（ｃ）に示すように参照用シーン１２１の範囲を変更してもよい。また、反射体６が全画像範囲１００の外部に位置するように反射体６を全画像範囲１００の各辺間に移動させてもよい。
【００６３】
図３（ｂ）の例では、参照主軸１０１が全画像範囲１００の対角線となるように反射面６１を覆い５に配置したものである。また、本例では反射面捕捉部１２０の中間部を参照用シーン１２１として選択している。この場合、例えば、選択内境界１３４，選択外境界１３５はそれぞれ先の例よりも小さな３０より大きく５０より小さい値としてある。図３（ｆ）では補正用画像を得るために、スキャンライン１３６ａ〜ｃや選択点１３６ｄに示すように選択内境界１３２及び選択外境界１３３間で部分的に参照用信号を得ることができる。このように、参照用シーン１２１を主シーン１１０の中心部に限定することで、主シーン１１０の端部で生じた異なる光の影響を減少させることが可能である。全画像範囲１００の対角についての反射面６１の位置変更（１８０度回転）のみを考慮するのであれば、図４のように覆い５を角錐台状に構成してもよい。
【００６４】
次に、画像処理装置７を構成するパーソナルコンピューター８について説明する。このパーソナルコンピューター８では、ＣＣＤ３１よりビデオキャプチャーボード７１を介して画像が一旦取り込まれる。このビデオキャプチャーボード７１では、８ビットフレームバッファを採用しており、上述の信号値及びカラー応答の値のダイナミックレンジは０〜２５５となる。本明細書では、ダイナミックレンジの最大値をＤと定義し、本実施形態ではＤ＝２５５となる。ビデオキャプチャーボード７１はタイマーにより画像信号の座標を時間に換算し、以下に示す処理を行えるようにする。
【００６５】
補正部７２は前記反射面６１を利用して光源色を測定するための光源色測定部としても働き、この補正部７２では先の選択内境界１３２及び選択外境界１３３により囲まれる選択参照部１３１を限定するように、映像信号として時間ゲートを設定している。補正部７２では後述の補正処理が行われる。また、出力調整部７３は後述する補正部７２のユーザー定義画像輝度係数Ｓを調整するためのものである。
【００６６】
開口操作部７４はＣＣＤ３１の零調整のためにフレーム平均化部３２、開口調節モーター４４を介して絞り４３を完全に閉じると共に、補正部７２での零調整を制御する。開口操作部７４による絞り４３の閉じ操作及び零調整は、手動の他、カメラ２の動作開始時に少なくとも自動的に行われる。
【００６７】
補正部７２の出力はビデオアクセラレーター７５を介してモニター９に表示されると共にＩ／Ｏ７６を介してカラープリンター１０より出力され、さらに、記憶部７７に記憶される。記憶部７７は固定又は脱着の可能なハードディスク、メモリ素子又はフレキシブルディスク等よりなる。
【００６８】
次に、図５〜９を参照しながら、先の光源色測定及び補正部７２における処理手順について説明する。
【００６９】
図５は、絞り完全閉時における赤緑青各チャンネルでの零画像信号値を求めるルーチンである。まず、Ｓ１において、原点からスキャンを始めるために、ｘ、ｙにそれぞれ０を代入し、Ｓ２で開口操作部７４の操作によりフラグが立っているか否かについて判断する。開口操作部７４の操作により絞り４３を完全に閉じた場合、フラグが立ってＦ＝１となる。この場合は、零画像を求める必要ありと判断して、Ｓ３でフラグをリセットするためにＦ＝０とし、Ｓ４で原点における赤緑青各チャンネルでの零画像信号値rz[x][y],gz[x][y],bz[x][y]を求める。その後、Ｓ５，Ｓ７に示すように画像の水平、垂直方向それぞれに対するピクセル数の最大値  XMX、YMXに達するまで、Ｓ６，Ｓ８においてｘ、ｙがぞれぞれ１ピクセルずつ増加させられ、全画像範囲１００の全ての座標におけるカメラのダークノイズを意味する零画像信号値rz[x][y],gz[x][y],bz[x][y]が求められる。
【００７０】
図６では、入力信号の零調整及びヒストグラム処理が行われる。本ルーチンでも、Ｓ９による座標のリセットが行われ、Ｓ１８〜Ｓ２１による全画像範囲１００における全ピクセルのスキャンが行われる。Ｓ１０では、赤緑青各チャンネルでの直接画像信号値rd[x][y],gd[x][y],bd[x][y]が記憶される。そして、Ｓ１１では、ダークノイズをキャンセルするために、赤緑青各チャンネルごとに直接画像信号値rd[x][y],gd[x][y],bd[x][y]から零画像信号値rz[x][y],gz[x][y],bz[x][y]を減ずることにより、赤緑青各チャンネルでの有効入力画像信号値（主信号値）r[x][y],g[x][y],b[x][y]が求められる。なお、カメラにおいてダークノイズを除去するための入力信号の零調整が既に行われている場合は、Ｓ１〜１１のステップ及び開口操作部７４を設ける必要がない。
【００７１】
Ｓ１２では、赤緑青各チャンネルの直接画像信号値rd[x][y],gd[x][y],bd[x][y]が全て２５５飽和していないか否か（２５５より小であるか否か）が判断される。飽和していない場合は、Ｓ１３において、赤緑青各チャンネルでのカラー応答の値kr,kg,kbに、有効入力画像信号値r[x][y],g[x][y],b[x][y]がそれぞれ入力される。そして、赤緑青各チャンネルでの正常ピクセルのカラーヒストグラムrh[kr],gh[kg],bh[kb]がそれぞれ累積されていく。
【００７２】
赤緑青各チャンネルの直接画像信号値rd[x][y],gd[x][y],bd[x][y]のうち少なくとも２つが飽和している場合は、Ｓ１４〜１７において不良ピクセルの処理が行われる。ここに、不良ピクセルとは、３色のうち赤又は青のうち一色のみ飽和しておらず、残りの２色が飽和しているものをいう。
【００７３】
まず、Ｓ１４のＹｅｓに示すように、緑青２チャンネルの直接画像信号値gd[x][y],bd[x][y]が飽和しており、赤チャンネルの直接画像信号値rd[x][y]が飽和していない場合には、Ｓ１５において不良ピクセルのヒストグラムにおけるピクセル数iiが累積され、赤チャンネルでの有効入力画像信号値r[x][y]が不良ピクセルにおけるカラー応答の値krcとされる。そして、赤チャンネルでの不良ピクセルのカラーヒストグラムrhc[krc]が累積されていく。
【００７４】
一方、Ｓ１６のＹｅｓに示すように、赤緑２チャンネルの直接画像信号値rd[x][y],gd[x][y]が飽和しており、青チャンネルの直接画像信号値bd[x][y]が飽和していない場合にも、Ｓ１７において不良ピクセルのヒストグラムにおけるピクセル数iiが累積され、青チャンネルでの有効入力画像信号値b[x][y]が不良ピクセルにおけるカラー応答の値kbcとされる。そして、青チャンネルでの不良ピクセルのカラーヒストグラムbhc[kbc]が累積されていく。
【００７５】
図７のルーチンでは、通常ピクセルにおけるヒストグラム群Ｆ１の上限値rm,gm,bmが求められる。まず、Ｓ２２において、赤緑青各チャンネルでのカラー応答の値kr,kg,kbがリセットされ、Ｓ２５，Ｓ２６，Ｓ２９，Ｓ３０，Ｓ３３，Ｓ３４に示すように、零からダイナミックレンジ最大値の２５５に至るまでルーチンが順次繰り返される。Ｓ２３，Ｓ２４のルーチンが、krの１ずつ増分を伴って繰り返されることにより、赤チャンネルの通常ピクセルにおけるヒストグラム群の上限値rmが求められる。この上限値rm=krは、図１２に示すように、１０よりも大きくかつヒストグラムｒｈが１０００を越えているときの最も大きなkrの値である。同じく、Ｓ２７，Ｓ２８，Ｓ３１，Ｓ３２のルーチンの繰り返しにより、同様に緑青チャンネルの通常ピクセルにおけるヒストグラム群Ｆ１の上限値gm,bmが求められる。なお、rm,gm,bmの定義手順はこのようなルーチンに限られるものではなく、以下同様であるが、上記１０００の値は画面サイズにより異なる値をとるかも知れない。
【００７６】
図８のルーチンでは、飽和ピクセルにおけるヒストグラム群の開始値rcm,bcmが求められる。まず、Ｓ３５において、赤青各チャンネルでの不良ピクセルにおけるカラー応答の値krc,kbcがリセットされ、Ｓ３９，Ｓ４０，Ｓ４３，Ｓ４４に示すように、零からダイナミックレンジ最大値の２５５に至るまでルーチンが順次繰り返される。Ｓ３７，Ｓ３８のルーチンが、krcの１ずつ増分を伴って繰り返されることにより、赤チャンネルの不良ピクセルにおけるヒストグラム群Ｆ２の開始値rcmが求められる。この開始値rcm=krcは、図１３に示すように、１０よりも大きくかつヒストグラムｒｈが０を越え始めたときの最も小さなkrcの値である。同じく、Ｓ４１，Ｓ４２のルーチンの繰り返しにより、同様に青チャンネルの不良ピクセルにおけるヒストグラム群Ｆ２の開始値bcmが求められる。なお、Ｓ３６でiiが零である場合、不良ピクセルは存在しないので、Ｓ４５においてrcm,bcmはそれぞれ２５５となる。
【００７７】
図９のルーチンでは、赤緑青各チャンネルでの反射面平均信号値rn,gn,bnが求められ、これを利用して、補正色を得るために有効入力画像信号値に掛け合わされる比例定数sr,sg,sbが求められる。先の図３（ｄ）にみられるように、参照用画像部１３０は選択参照部１３１と選択内境界１３２との間の部分を採用している。同図では、ＮＭＡＸが７０であり、ＮＭＩＮが５０である。Ｓ４６でｘ，ｙをリセットすると共に、Ｓ４７で参照用画像部１３０の選択条件を付し、Ｓ５０，Ｓ５１，Ｓ５２，Ｓ５３でｘ、ｙが１ずつ増加してＮＭＡＸに達するまでＳ４８，Ｓ４９の処理が繰り返し行われる。Ｓ４８では補正に使用される反射画像におけるピクセル数ｉが累積され、Ｓ４９では反射面信号値の累積ra[i],ga[i],ba[i]が求められる。
【００７８】
Ｓ５４では、反射面信号値の累積ra[i],ga[i],ba[i]をそれぞれｉで除することにより、赤緑青各チャンネルでの反射面平均信号値（参照用信号値）rn,gn,bnが求められる。また、赤緑青各チャンネルでの反射面平均信号値rn,gn,bnにダイナミックレンジ最大値Ｄ＝２５５を掛け合わせると共にそれぞれ通常ピクセルにおけるヒストグラム群の上限値rm,gm,bmで除することにより、通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数ssr,ssg,ssbが求められる。同様に、赤青各チャンネルでの不良ピクセルにおける反射面平均信号値rn,bnにＤ＝２５５を掛け合わせると共にそれぞれ不良ピクセルにおけるヒストグラム群の開始値rcm,bcmで除することにより、不良ピクセルに色が現れることを排除するために必要な比例定数scr,scbが求められる。Ｓ５４の意義は、例えば、図１２，１３におけるｒｍ、ｒｃｍを２５５に近づけてフレームバッファをより有効に活用することである。これらの比例定数の決定により、同時にハイライト部又はその近傍とそれらの周辺部との明暗の極端な差を減少させることができる。
【００７９】
Ｓ５５では、通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数ssr,ssg,ssbのうち、最小のものと最大のものとの平均値が比例定数ｓとして求められる。これらの比例係数ssr,ssg,ssbのうち最大のもの又は最小のものをｓとして求めてもよい。また、Ｓ５６，５７では不良ピクセルのヒストグラムにおけるピクセル数iiが１０００を越えるときは不良ピクセルが無視できない程度存在すると判断し、先のｓ及び不良ピクセルに色が現れることを排除するために必要な比例定数scr,scbのうち最大のものが比例係数ｓとして求められる。そして、この比例係数ｓをそれぞれ赤緑青各チャンネルでの反射面平均信号値rn,gn,bnであらかじめ除することにより、補正色を得るために有効入力画像信号値に掛け合わされる比例定数sr,sg,sbが求められる。なお、１０００という値は全画像範囲の全ピクセル数の約０．３％を考慮したものであるが、その値は適宜選択が可能である。
【００８０】
図１０に示すアルゴリズムでは、赤緑青各チャンネルでの補正画像信号値（補正信号値）rc[x][y],gc[x][y],bc[x][y]が求められると共に、ダイナミックレンジＤを越える値等の処理が行われる。本ルーチンでも、Ｓ５９による座標のリセットが行われ、Ｓ６８〜Ｓ７１による全画像範囲１００における全ピクセルのスキャンが行われる。まず、Ｓ６０では、赤緑青各チャンネルでの有効入力画像信号値r[x][y],g[x][y],b[x][y]に対して比例定数sr,sg,sbがそれぞれ掛け合わされ、赤緑青各チャンネルでの補正画像信号値rc[x][y],gc[x][y],bc[x][y]が求められる。この演算は乗算であるため、従来の除算を用いていた方式に比較して、非常に高速な処理が可能となる。
【００８１】
このとき、同一フレームから有効入力画像信号値と比例定数sr,sg,sbとの双方を抽出してもよい。また、図１４のタイミングチャートＴＣに示すように、第一、第二参照フレーム群Ｉ１，Ｉ２のうちの１フレームである第一、第二参照フレームＲ１，Ｒ２よりそれぞれ比例定数sr,sg,sbを求め、この比例定数sr,sg,sbを次の第二、第三参照フレーム群Ｉ２，Ｉ３それぞれにおける複数のフレームから抽出した有効入力画像信号値r[x][y],g[x][y],b[x][y]に掛け合わせても良い。比例定数sr,sg,sbの算出ルーチンがボトルネックとならず且つ処理スピードもさらに向上する。
【００８２】
Ｓ６１では、赤緑青各チャンネルでの有効入力画像信号値r[x][y],g[x][y],b[x][y]のうち一つも２５５以上のものが無い場合に、Ｓ６２〜６５のルーチンがバイパスにより省略される。Ｓ６２で全ての赤緑青各チャンネルでの直接画像信号値rd[x][y],gd[x][y],bd[x][y]が２５５以上の場合、Ｓ６３で赤緑青各チャンネルでの補正画像信号値rc[x][y],gc[x][y],bc[x][y]のうち最も大きなものがｃとして求められ、このｃの値が赤緑青各チャンネルでの補正画像信号値rc,gc,bcに再び代入される。
【００８３】
Ｓ６４では、赤緑両チャンネルでの直接画像信号値rd[x][y],gd[x][y]がそれぞれ２５５未満であり、且つ、青チャンネルでの直接画像信号値bd[x][y]が２５５以上の場合、Ｓ６５で、青チャンネルでの補正画像信号値bcが再修正される。ここでは、赤及び緑の信号値を用いて、青の信号値を類推している。青チャンネルでの補正画像信号値bcは、赤緑両チャンネルでの直接画像信号値rd[x][y],gd[x][y]の差分の半分を緑チャンネルでの直接画像信号値gd[x][y]に加えたものである。発明者の実験によれば、この類推手法は非常に良い結果を得ている。
【００８４】
Ｓ６６では、赤緑青各チャンネルでの補正画像信号値rc[x][y],gc[x][y],bc[x][y]が２５５を越える場合には２５５を代入し、０未満の場合には０を代入している。その後、Ｓ６７で以上全ての修正が選択的に加えられた赤緑青各チャンネルでの補正画像信号値rc[x][y],gc[x][y],bc[x][y]が出力される。そして、Ｓ６８，Ｓ７０において、全画像範囲１００に対する全てのスキャンが完了したところで、全てのルーチンが終了する。
【００８５】
上述の画像処理装置で実現される各機能は、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体に記録されたソフトウエアをコンピュータにロードさせることで実現することが可能である。もちろん、同機能は、単数若しくは複数のＩＣチップ又は電気回路により実現することも可能である。
【００８６】
ここで、図１１を参照しながら、本実施形態における反射面６１，主シーン１１０，選択参照部１３１の改変例について説明する。
【００８７】
上述の例では反射面６１が平面であったが、この反射面６１を凸曲面とすることで、図１１（ａ）に示すように、参照用シーン１２１ａを選択参照部１３１ａの割に大きく設定することができる。また、反射面６１を全画像範囲１００の角に対応させたノッチ状とする代わりに全画像範囲１００の横端に細長く配置することで、同（ｂ）に示すように、縦に細長い選択参照部１３１ｂを設定することができる。
【００８８】
同（ｃ）では、全画像範囲１００の下側に配置した１００ａの一部に選択参照部１３１ｃを設定し、参照用シーン１２１ｃから照明色を求めている。さらに、同（ｄ）では反射面６１を同（ａ）と同様に凸曲面とすることで、選択参照部１３１ｄの横幅よりも広い幅の参照用シーン１２１ｄから照明色を求めている。なお、同（ｃ）（ｄ）では、全画像範囲１００に対応するＣＣＤ３１の下側に、このＣＣＤ３１とは別に１００ａに対応する第二ＣＣＤ３３を設けている。
【００８９】
同（ｅ）では全画像範囲１００の上下に横長の選択参照部１３１ｅ，１３１ｅを設定し、中央部の参照用シーン１２１ｅからいずれかの選択参照部１３１ｅに照明色を集めている。同改変例は、画像を横長のパノラマ画像として撮影する場合を想定している。但し、選択参照部１３１ｅ，１３１ｅに像を得るために通常のパノラマ撮影のように撮影範囲の一部を隠すのではなく、ファインダーに現れる画像のみが横長となるように、ファインダーの一部のみを隠している。なお、図１１の各例では、ＣＣＤ素子上の参照用シーン１２１と選択参照部１３１との関係について説明したが、撮像素子としてフィルムを利用した場合でも同様の関係が成立する。
【００９０】
次に、本発明のさらに他の実施形態について以下説明する。なお、上記第一実施形態と同様の部材には同様の符号を付してある。
【００９１】
図１５に示す第二実施形態では、ＣＣＤ３１の主撮像部３１ａから送られる主画像がアナログ又はデジタルのビデオアンプ７９により直接的に色補正され、モニタ装置１１に映し出される。補正部７２における比例定数sr,sg,sbの算出は、図１４の第一、第二参照フレームＲ１，Ｒ２を用いて行われ、これらが時間経過後の第一、第二参照フレーム群Ｉ２，Ｉ３を補正する際に使用される。出力調整部７３はビデオアンプ７９からの出力調整を行う操作部である。同構成によれば、主画像の補正がビデオレート処理スピードで行われる利点がある。なお、主画像と参照画像とを同一のフレームから抽出して詳細な補正を行った画像は、ビデオアクセラレーター７５を介してビデオレコーダー１２に録画することも可能である。
【００９２】
図１６に示す第三実施形態では、撮像素子として化学剤を使用したカラーフィルム３７、例えば銀塩フィルムを用いている点が異なる。すなわち、本発明において、撮像素子、受光素子の色チャンネルは形状的に分離しているものではなく、化学的物性変化により複数の色チャンネルを構成するものであってもよい。カラーフィルム３７はフィルム収納部３６内に着脱可能に収納されている。
【００９３】
レンズ４１からの入射光はプリズム３４により分離されてカラーフィルム３７に到達すると共に受光素子３５にも到達する。受光素子３５はフレーム平均化部３２に画像のデータを伝達し、絞り４３，開口調節モーター４４が制御される。本実施形態においては、カメラ２とは別体の画像処理装置７がパーソナルコンピューター８とフィルムスキャナ１６とを有している点が異なる。現像されフィルムスキャナ１６にセットされたカラーフィルム３７から主画像及び参照画像を含む画像データーがスキャンされ、Ｉ／Ｏ７６に送られる。その画像信号は、上記他の実施形態と同様に処理される。
【００９４】
図１７に示す第四実施形態では、一方の画像処理装置７に接続したカメラ２から他方の第二パーソナルコンピューター１３に接続したモニター９に映像を通信により送信するシステムを示している。上記他の実施形態と同様に処理され得られた補正画像が画像圧縮部８１によりＪＰＥＧ等の手法により画像圧縮される。本実施形態によれば、画像圧縮後の補正を実行した場合に比べて、色データーが一部欠落することはないので、良好な補正結果が期待できる。
【００９５】
補正及び圧縮後の画像信号は、通信用端末１４及び通信用端末１５並びにインターネット又は電話回線を通じて電送され、画像処理部８２及びビデオアクセラレーター７５を経てこの画像がモニター９に表示される。なお、これらの構成は２台のコンピューターに相互に設けられることで、双方向通信が可能である。
【００９６】
図１８に示す第五実施形態では、第一、第二カメラ２ａ，２ｂからそれぞれＡ、Ｂ画像Ｓａ，Ｓｂがそれぞれ撮影され、ビデオキャプチャーボード７１、７１に取り込まれる。例えば、Ａ画像Ｓａはスタジオ撮影されたアナウンサーの像等であり、Ｂ画像Ｓｂは夕焼け空の屋外風景画像等である。Ａ画像Ｓａは上述の処理手順に従って補正部７２で色補正される。一方Ｂ画像Ｓｂからはシーン光算出部８３を介してＢ画像Ｓｂのシーンにおける光源色が反射面の作用により求められる。そして、第二補正部８４により色補正されたＡ画像Ｓａに対して光源色が掛け合わされて二度目の色補正がなされた後、画像合成部８５においてＢ画像Ｓｂと画像合成され、モニター９を介して自然な色合いのＡ、Ｂ画像Ｓａｂが表示される。
【００９７】
図１９に示す第六実施形態では、第五実施形態とは異なり、Ｂ画像Ｓｂにコンピュータグラフィックス画像を用いている。このＢ画像ＳｂはＣＧ画像作成部８６を介してモニター９により表示可能である。また、ＣＧ画像作成部８６における仮想の光源色がＣＧ光源決定部８７により求められ、これが第二補正部８４において補正後のＡ画像Ｓａに掛け合わされ、二回目の色補正が行われる。このようにして二度の色補正を行われたＡ画像Ｓａは画像合成部８５においてＢ画像Ｓｂと画像合成され、モニター９を介してコンピュータグラフィックの風景に自然に人物のとけ込んだＡ、Ｂ画像Ｓａｂが求められる。なお、第五、第六実施形態における第一、第二の色補正のための光源色を求めるに際しては、上述の反射面に限らず、ホワイトパッチ等他の手法を用いても構わない。
【００９８】
図２０、２１に示す第七実施形態では、レンズ４１がズームレンズとして構成され、その焦点距離の変更に伴って反射面６１の位置と角度とが変更される。図２０はその決定原理を示すものである。まず、最大視野ＶＦはＣＣＤ３１とレンズ４１とによって決定される。反射面６１の反射面後端６３は最大視野ＶＦ上の適当な位置に決定される。その後、次の関係に従って、反射面６１の反射面角Ａｎが決定される。
【００９９】
撮像素子面ＦｄはＣＣＤ３１表面の平面、反射位置頂点面Ｆｎは反射面６１上の反射点を通る撮像素子面Ｆｄに平行な面、被写体面Ｆｏは被写体Ｏを通る撮像素子面Ｆｄに平行な平面である。まず、反射位置頂点面Ｆｎの左側について反射角Ａｓと他の角との関係を考えると次式が成立する。
Ａｓ＝π−Ａｎ−Ａｏ                           （７）
また、反射面６１の下側について考えると、次式が成立する。
２Ａｓ＝π−Ａｄ−Ａｏ                         （８）
そして、これら両式を反射角Ａｓについて整理すると、次の関係が成り立つ。
π−Ａｎ−Ａｏ＝（π−Ａｄ−Ａｏ）／２         （９）
この式を反射面角Ａｎについて整理し、次式を得る。
Ａｎ＝π／２＋Ａｄ／２−Ａｏ／２               （１０）
【０１００】
ここで、被写体角Ａｏは被写体Ｏの位置により殆ど変化しないのでＡｏ／２は定数とみることができる。反射面角Ａｎは視野角Ａｄにより定まり、視野角Ａｄは最大視野ＶＦの位置により定まる。よって、反射面６１の反射面後端６３と視野角Ａｄとはレンズ４１の焦点距離により一意的に定まる。
【０１０１】
ここで、図２１（ａ）（ｂ）により反射面６３と反射面角Ａｎとを連続的に変更させた反射面６１を備えたカメラ２について説明する。レンズ４１が図２１（ａ）の実線で示す位置にある場合、反射面６１の一部である反射面６１ａは反射面後端６３ａと反射面角Ａｎ１とにより決定される。また、レンズ４１’が焦点距離が少し長くなった一点鎖線の位置にある場合、反射面６１ｂの反射面後端６３ｂは反射面後端６３ａよりも少しレンズ４１より離れる側に移動し、反射面角Ａｎ２は反射面角Ａｎ１よりも大きくなる。反射面６１の反射面先端線、後端線６２Ｌ，６３Ｌに沿って反射亜面先端、後端６２ａ，６２ｂ，６３ａ，６３ｂがそれぞれ配置され、これら反射面先端線、後端線６２Ｌ，６３Ｌの間に反射面６１ａ，６１ｂが位置することとなる。
【０１０２】
このような連続的変化を有する反射面６１の反射体６は、反射面移動機構６５をなす支持棒６６に連結されると共に第一枢軸６６ａ周りでレンズ４１の執心軸にほぼ直交する軸周りで揺動可能である。さらに、支持棒６６の根本は第一枢軸６６ａを介して基礎部材６７に支持され、さらにカメラ本体部３に対して第一枢軸６６ａに直交する第二枢軸６７ａ周りで揺動可能に支持される。また、覆い５には反射体６を挿入するための開口５ａが先の実施例の如く全画像範囲１００の角部に対応させて形成されている。また、カメラ２にはＣＣＤ３１に対する画像の取り込みと連動するストロボ２１を設けてある。
【０１０３】
図２１に示すカメラ２の使用に際しては、レンズ４１の焦点距離に合わせて適切な反射面６１ａ，６１ｂ等が選択されるように、第一枢軸６６ａ周りで反射体６が揺動する。また、最大視野外からの光を遮るように、フラップ５ａが適当な位置まで揺動する。スチル撮影の場合は、この状態でまずストロボ２１が一度点灯し、ＣＣＤ３１を介して上述の参照用シーン１２１が取り込まれる。次に、第二枢軸６７ａ周りで支持棒６６が外側に揺動して反射面６１がレンズユニット４の視野外に移動し、再びストロボ２１が点灯して主シーン１１０が撮影される。そして、これら参照用シーン１２１と主シーン１１０とを用いて上述の色補正を行う。なお、ビデオ撮影の場合はストロボ２１は不要である。また、支持棒６６を第一枢軸６６ａ周りで揺動させて、反射面６１をレンズユニット４の視野外に移動させてもよい。
【０１０４】
図２２、２３に示す第八実施形態では、受光素子である第三ＣＣＤ３８が先の第一ＣＣＤ３１とは別体に設けられ、ズームレンズユニット４、４が第一、第三ＣＣＤ３１，３８にそれぞれ設けられている。各レンズユニット４，４の絞り４３，４３及び開口調節モーター４４，４４は第一ＣＣＤ３１に連動するフレーム平均化部３２によって共通に制御される。また、レンズ４１，４１の焦点距離も両レンズにおいて連動する。各第一、第三ＣＣＤ３１，３８に対しては、第一、第二ビデオキャプチャーボード７１ｘ，７１ｙがそれぞれ設けられている。
【０１０５】
第三ＣＣＤ３８が第一ＣＣＤ３１と同種の素子であり、第一ＣＣＤ３１よりも不良ピクセルの多い点のみが異なる。第三ＣＣＤ３８に不良ピクセルの多いロットを使用できるのは、反射面６１を用いた参照用シーンから光源色を捉えれば足りるからである。そして、あらかじめ検査により把握した不良ピクセルの位置を７１ｚに記憶させ、補正部７２における光源色の算出時に不良ピクセルを除外している。
【０１０６】
第三ＣＣＤ３８側の覆い５内には環状の反射体６が取り付けられている。この反射体６は、反射面６１の上記反射面角Ａｎ及び反射面後端６３を連続的にレンズ４１の焦点距離に合わせてあらかじめ変化させたものである。例えば符号６１ａに示す反射面６１に反射した参照用シーンは第三ＣＣＤ３８上の選択参照部３８ａ１に像を形成し、符号６１ｂに示す６１に反射した参照用シーンは第三ＣＣＤ３８上の選択参照部３８ａ２に像を形成する。このように、連続した反射面６１により全画像範囲１００上に撮影された参照用画像部１３０のうち、適当な参照部１３７ａ，１３７ｂを選択することで、レンズ４１の焦点距離に応じた適切な参照用シーンを選択することができ、主シーンの色補正を正確に行うことが可能となる。
【０１０７】
次に、図２４〜３５を参照しながら、光学的補正装置を用いた構成について説明する。特に断りがなく矛盾が生じない限り、図示していない部材も上記各実施形態と同様であるが省略されており、例えば絞り４３は図示しないフレーム平均化部３２，開口調節モーター４４により制御される。
【０１０８】
図２４は第九〜第一八実施形態に用いられる光学フィルタを用いた一般的モデルを示すブロック図である。画像処理装置１５１は、ＣＣＤ３１からの信号を並列的に受け入れる画像処理部１５２及び光源色測定部１５３を含んでいる。画像処理部１５２の基本構成は上述の各実施形態のものと近似していているが、光源色測定部及び補正部を含んでいない点が異なる。画像処理部１５２へ受け入れられた信号はカメラ出力３ａへ出力され、モニタ等に接続される。
【０１０９】
参照撮像部３１ｂ及び光源色測定部１５３により求められた光源色の出力は補色測定部１５４に受け入れられ、ここで光源色の補色が求められる。参照撮像部３１ｂ等により求められた光源色のＲＧＢ成分の強度をそれぞれＲｎ，Ｇｎ，Ｂｎとし、補色のＲＧＢ成分の強度をそれぞれＲｃ，Ｇｃ，Ｂｃとすれば、一般的に次の関係が成り立つ。
Ｃ＝ＲｎＲｃ＝ＧｎＧｃ＝ＢｎＢｃ
但し、Ｃは定数である。
そして、Ｒｃ／Ｇｃ＝Ｇｎ／Ｒｎ、Ｒｃ／Ｂｃ＝Ｂｎ／Ｒｎなる関係より、補色のＲＧＢ成分のカラーバランスＲｃ，Ｇｃ，Ｂｃが求まる。
【０１１０】
色制御手段１５５は、補色測定部１５４により求められた補色を第一〜第三位置Ｐ１〜３のいずれかにおいてフィルタとして実現する。色制御手段１５５の具体的手段は以下の各実施形態で示されるが、そのフィルタの設置位置は第一〜第三位置Ｐ１〜３のいずれとしてもよい。レンズユニット４において示されるレンズ４１はバーチャルなレンズであり、実際には複数枚のレンズでレンズ４１が構成されるため、この複数枚のレンズ間にフィルタを設置してもよい。
【０１１１】
第一〜第三位置Ｐ１〜３のいずれかに設置されるフィルタは、撮影視野（ｖｉｅｗｉｎｇ）及び反射面６１からの光の双方を透過させて主撮像部３１ａ及び参照撮像部３１ｂに到達させる。光源色測定部１５３は、参照撮像部３１ｂにより検出された前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）のカラーバランスが求められるカラーバランスにできるだけ近づくように、前記光学フィルタをフィードバック制御する。すなわち、光源色測定部１５３は、光源色を求めてこの光源色を白色に近づける作用と、これに加えさらに白色光とは異なる求められるカラーバランスを前記参照用信号値（ｒｎ，ｇｎ，ｂｎ）が有するように、フィードバック制御を行う。すなわち、本発明は、最終的に光源色が白色光であるように補正する以外の場合でも、内在的に光源色が白色光であるように補正する作用が含まれているものとする。補正の最終目標値は加色混合の理論により定められるに過ぎないからである。
【０１１２】
図２５に示す第九実施形態は、色制御手段１５５の一例であるフィルタ回転機構１６０を示す。このフィルタ回転機構１６０では、軸１６１周りでモーター１６２によりステップ的に回転される円盤１６３に複数の貫通孔を設けている。そして、この貫通孔にカラーバランスがそれぞれ異なる複数のプリセットフィルタ１６４ａ〜ｈを設けたものである。これらプリセットフィルタ１６４ａ〜ｈの特性は色温度にあわせて選ぶことができ、例えば、昼光では色温度５５００Ｋであり、タングステンタイプの人工光では色温度は３２００Ｋ程度に設定される。補色の有する色温度に最も近い色温度を有するプリセットフィルタ１６４ａ〜ｈが選択される。
【０１１３】
図２６に示す第十実施形態は、色制御手段１５５の一例であるフィルタスライド機構１７０を示す。このフィルタスライド機構１７０では、ＣＣＤ３１やレンズ４１の光軸に直交するｘｙ方向に図示しない駆動部材で移動可能なフィルタ支持板１７１と、このフィルタ支持板１７１に形成した貫通孔にそれぞれ設けられる複数のプリセットフィルタ１７２ａ〜ｉとを備えている。同実施形態でも、先の実施形態と同様に、適切な色温度のプリセットフィルタ１７２ａ〜ｉが選択される。
【０１１４】
上記第九及び第十実施形態はそれぞれ二枚以上の軸１６１又はフィルタ支持板１７１を組み合わせて用いることができる。この場合、いくつかの貫通孔にはフィルターを設けなくてもよい。これにより、フィルターを複数組み合わせて用いることもできる。
【０１１５】
フィルターを複数組み合わせて用いることのできる構成としては、図２７に示す第十一実施形態のフィルタ回転機構１８０が考えられる。同実施形態では、軸１８１周りでモーター１８２によりステップ的に揺動されるように複数のプリセットフィルタ１８３ａ〜ｆが支持されている。
【０１１６】
図２８に示す第十二実施形態では、色制御手段１５５に相当する液体を用いた光学フィルタ手段として液体フィルタシステム１９０が提供される。この液体フィルタシステム１９０において、タンク１９１に蓄えられた水又は油等の媒質はポンプ１９２によりミキサー１９３へ送られる。ポンプ１９２はダイヤフラム型のポンピング等、ごく僅かな量の液体を送り出すことができる簡素な構成のもので足りる。カラーコントローラ１９４は補色測定部１５４からの情報に基づいて、インキ吹出部１９５ａ〜ｃのそれぞれからのインキの吹き出し量を制御する。
【０１１７】
インキ吹出部１９５ａ〜ｃはシアン、マゼンタ又はイエロー（ＣＭＹ）のインキを貯留している。これらのインキは、例えばそれぞれアシッドブルー＃２５，アシッドレッド＃２８９、アシッドイエロー＃２３を用いて調合することができる。インキの色はＲＧＢとすることも可能であるが、撮像素子のフィルター等が通常ＲＧＢであり、この液体フィルタシステム１９０は補色を求めることが目的であるから、ＣＭＹのインキを用いることが望ましい。
【０１１８】
インキ吹出部１９５ａ〜ｃから吹き出したインキはミキサー１９３で媒質と混合され、透明通路１９６に送られる。この透明通路１９６は透明なガラス板を非常に小さな隙間を隔てて重ね合わせて薄い通路を形成したものであり、内部を流れるインキの混合物がフィルタとして作用する。透明通路１９６を通過した混合物は排出口１９７を介して排出される。図示省略するが、レンズ４は実際には複数枚のレンズを組み合わせてなるので、組合せを構成するレンズ間の空間を透明通路１９６としてもよい。なお、インキの漂白剤等を混合するトリートメント手段１９８を設けて媒質をフィードバックしてもよい。
【０１１９】
図２９に示す第十三実施形態は、先の第十二実施形態の改変例である。本実施形態では、３つのインキ吹出部１９５ａ〜ｃに対し、３つのミキサー１９３ａ〜ｃ及び３つの透明通路１９６ａ〜ｃがそれぞれ互いに混合し合わないように独立に設けられている。各色チャンネルのフィルタの特性はインキの濃度により変更される。
【０１２０】
図３０に示す第十四実施形態は、カラーＣＣＤ等ＣＣＤ３１の表面に存在するＣＣＤフィルタ２００の色を変更するシステムを示す。このＣＣＤフィルタ２００は、隔壁２０１により各セル２０２を仕切っている。セル２０２はピクセル２０３のＲＧＢ各色チャンネルに対応させて設けてある。また、同じ色チャンネルのセル２０２同士がブリッジパス２０４により連通されている。赤流入路２０５ｒ、緑流入路２０５ｇ、青流入路２０５ｂはそれぞれ第十三実施形態のミキサー１９３ａ〜ｃ如きものに接続される。赤流入路２０５ｒ、緑流入路２０５ｇ、青流入路２０５ｂにより供給された媒質インキ混合物は各セル２０２を通過してフィルタとして作用すると共に、赤流入路２０５ｒ、緑流入路２０５ｇ、青流入路２０５ｂを介して排出される。
【０１２１】
図３１に示す第十五実施形態は、撮像素子としてカラーフィルム３７を用い、印画紙２１３に対するプリントを行う場合の色補正に関する。ランプ２１１は色補正用のフィルタ２１２を介して光をカラーフィルム３７に投光し、印画紙２１３にカラーフィルム３７の像を焼き付ける。光色センサ２１４及び光源色測定部２１５は参照撮像部３７ｂから撮影時の光源色を求める。補色測定部２１６はこの光源色の補色を求めフィルタ交換装置２１７を制御してフィルタ２１２の色を変更する。フィルタ２１２及びフィルタ交換装置２１７を含む色制御手段１５５は、上述又は以下の実施形態で示したいずれかの構成を用いることができる。
【０１２２】
図３２に示す第十六実施形態は液晶可変フィルタシステム２２０に関し、ＣＣＤ３１が白黒ＣＣＤ等であり、色制御手段１５５として液晶可変フィルタ２２３及び明暗度可変フィルタ２２４が用いられる。この液晶可変フィルタ２２３はフィルタの特性、すなわち色チャンネルをＲＧＢ等に切り替えることが可能であるＬＣＴＦ（Liquid Crystal Tunable Filter）を用いることができる。すなわち、液晶可変フィルタ２２３の色を微少時間間隔で変更してカラー画像を撮影するものであり、各フィルタ特性毎に明暗度可変フィルタ２２４の明暗度を変更することで、実質的に補色フィルタを構成することができる。
【０１２３】
明暗度可変フィルタ２２４の一例としては、図３３に示すように、レンズユニット４の光軸に垂直に二枚の第一，第二偏光フィルタ２２４ａ，ｂを設け、これらの相対角を変更させる構成を採用することができる。その他、明暗度可変フィルタ２２４としては、明暗度の異なるニュートラルグレイのＮＤフィルタを複数枚切り替えて用いることができる。
【０１２４】
図３３に示す第十七実施形態は３ＣＣＤカメラ２３０に関し、レンズユニット４から入射した光をオプティカルブロック２３１のプリズム２３２でＲＧＢに分光し、白黒ＣＣＤ素子である３つの赤ＣＣＤ２３３ｒ、緑ＣＣＤ２３３ｇ、青ＣＣＤ２３３ｂのそれぞれに画像を投影する。各赤ＣＣＤ２３３ｒ、緑ＣＣＤ２３３ｇ、青ＣＣＤ２３３ｂとオプティカルブロック２３１との間にはそれぞれ赤明暗度可変フィルタ２３４，青明暗度可変フィルタ２３５，緑明暗度可変フィルタ２３６が設けられ、実質的に補色フィルタを形成するように、これらの明暗度を個別に変更可能としてある。各赤明暗度可変フィルタ２３４，青明暗度可変フィルタ２３５，緑明暗度可変フィルタ２３６は、先の実施形態同様、それぞれ第一，第二偏光フィルタ２３４ａ，ｂ，２３５ａ，ｂ，２３６ａ，ｂを有している。
なお、ハイライト等の入射状況を調節する目的であれば、第一，第二偏光フィルタ２３４ａ，ｂ，２３５ａ，ｂ，２３６ａ，ｂの全てを回転制御することが望ましい。
【０１２５】
図３５に示す第十八実施形態は、先の第十七実施形態の改変例である。本実施形態では、ひとつの第一偏光フィルタ２３７をオプティカルブロック２３１の前段、例えばレンズユニット４の採光側に取り付け、他の第二偏光フィルタ２３４ｂ，２３５ｂ，２３６ｂを各色チャンネルに対応させて設けてある。ハイライト等の光量は第一偏光フィルタ２３７で調節でき、各チャンネルの明暗度は、第二偏光フィルタ２３４ｂ，２３５ｂ，２３６ｂをオプティカルブロック２３１に対し回転させることで独立して調節することができる。
【０１２６】
最後に、本発明のさらに別の実施形態の可能性について言及する。
上記各実施形態では、ＲＧＢ３色チャンネルを有するカラーカメラについて本発明を説明した。しかし、本発明はＲＧＢ３色チャンネル以外の複数チャンネルを有するカラーカメラ又は可視光を撮影する白黒カメラや非可視光である赤外線等を撮影する赤外線カメラ等の単一チャンネルカメラについても適用可能である。このとき、有効入力画像色値を反射面平均色値で除した値に乗ずる係数ｓは定数でなければならない。なお、色チャンネルとして、可視光チャンネル及び赤外線等の非可視光チャンネルを含む２チャンネル構成とすることも可能である。
【０１２７】
上記各実施形態では、反射面６１を平面、凸面又は凹面として形成した。しかし、この反射面はメッシュ状でもよく、小さな半球面状でもよい。
【０１２８】
上記第一二〜一四に示す実施形態では、ＲＧＢまたはＣＭＹの全てについて制御を行った。しかし、３色の内２色についてのみ制御を行うようにしても色補正は可能である。なお、制御を行わない色チャンネルについては、ＮＤフィルターを介在させ、絞り４３により実質的に荒い制御が可能であるように構成することも可能である。
【０１２９】
上記実施形態では、撮像素子としてＣＣＤ素子やカラーフィルムを用いた。しかし、撮像素子としては、これに限らず、例えば、ビジコン等を用いても良い。
また、受光素子にはフォトダイオード等を用いることも可能である。
【０１３０】
上記実施形態は、互いに矛盾しない限り、複数のものをそれぞれ組み合わせて実施することが可能である。また、いずれの実施形態も、ビデオカメラ又はスチルカメラとして実施することができる。特に、上記第九〜一四及び第一六〜一八の実施形態は、上記第一〜八の実施形態と組み合わせることで、双方の利点を生かすことができる。すなわち、上記第一〜八の実施形態は処理時間が非常に迅速であるため、撮影対象補足当初に有効であり、上記第九〜一四及び第一六〜一八の実施形態による補正をその後行うことで、より精密な色補正を行うことが可能となる。
【０１３１】
上記第五実施形態では、Ａ画像Ｓａはスタジオ撮影されたアナウンサーの像等であり、Ｂ画像Ｓｂは夕焼け空の屋外風景画像等であった。また、上記第六実施形態では、Ａ画像Ｓａは第五実施例同様にスタジオ撮影されたアナウンサーの像等であったが、Ｂ画像Ｓｂにコンピュータグラフィックス画像を用いている点が異なった。しかし、Ａ画像Ｓａを風景とし、Ｂ画像Ｓｂをアナウンサーの肖像等としてもよい。また、頭部又は顔のみを入れ替えて合成画像を作成する際に、本発明に係る色補正を実施してもよい。例えば、肖像等であるＡ画像Ｓａのうち人物の頭部又は顔部分のみを切り出す。一方、Ｂ画像Ｓｂとして、被服を着用したモデルの撮影画像から頭部を除去し、又は、髪型等の参考となる頭部の撮影画像のうちからモデルの髪型のみを残して顔を除去したものを用いる。そして、Ａ画像とＢ画像とを上述の色補正後に合成することで、統一された照明状況下において、被服や髪型等が本人に似合うか否かを自然な色合いの合成画像により判断することが可能となった。
【産業上の利用可能性】
【０１３２】
本発明は、撮影された物体の色を補正し又は画像の濃度を安定させるための撮影システム、並びに、これらに用いるカメラ及び画像処理装置に関する。本発明は、カメラの撮像素子が複数の色チャンネルを有するカラーカメラの色補正に適用されるが、白黒カメラ等の単一チャンネルのみのカメラにも適用することができる。
【図面の簡単な説明】
【図１】  撮影システムを示すブロック図である。
【図２】  撮影システム用カメラを示し、同図（ａ）は側面図、同図（ｂ）は正面図、同図（ｃ）は斜視図である。
【図３】  （ａ）〜（ｃ）は主シーンと参照用シーンとの関係を説明するための全画像範囲を示す図であり、同図（ｄ）〜（ｆ）は参照用画像部の拡大図である。
【図４】 撮影システム用カメラの改変例を示し、同図（ａ）は側面図、同図（ｂ）は正面図、同図（ｃ）は斜視図である。
【図５】  撮影システムの補正部における処理手順を示すフローチャートである。
【図６】  図５に連続する第二のフローチャートである。
【図７】 図６に連続する第三のフローチャートである。
【図８】  図７に連続する第四のフローチャートである。
【図９】  図８に連続する第五のフローチャートである。
【図１０】  図９に連続する第六のフローチャートである。
【図１１】  主シーンと参照用シーンとのさらに他の関係を説明するための全画像範囲を示す図である。
【図１２】  赤チャンネルにおけるカラー応答の値krとカラーヒストグラムrh[kr]との関係を示すグラフである。
【図１３】  赤チャンネルでの不良ピクセルにおけるカラー応答の値krcと不良ピクセルにおけるカラーヒストグラムrhc[krc]との関係を示すグラフである。
【図１４】  パーソナルコンピュータ内での参照用信号と主信号との関係を示すタイミングチャートである。
【図１５】  本発明の第二実施形態における図２相当図である。
【図１６】  本発明の第三実施形態における図２相当図である。
【図１７】  本発明の第四実施形態を示すブロック図である。
【図１８】  本発明の第五実施形態を示すブロック図である。
【図１９】  本発明の第六実施形態を示すブロック図である。
【図２０】  被写体、反射面の傾斜角及び撮像素子上の視野角の関係を示す線図である。
【図２１】  （ａ）は、本発明の第七実施形態を示す線図、同図（ｂ）は（ａ）における反射面移動機構の正面図である。
【図２２】  本発明の第八実施形態を示すブロック図である。
【図２３】  （ａ）〜（ｃ）は、同第八実施形態における図２相当図、同図（ｄ）は全画像範囲を示す図である。
【図２４】  本発明の第九〜第一八実施形態に用いられる光学フィルタを用いた一般的モデルを示すブロック図である。
【図２５】  本発明の第９実施形態におけるフィルタ回転機構を示し、同図（ａ）は縦断面図、同図（ｂ）は正面図である。
【図２６】  本発明の第１０実施形態におけるフィルタスライド機構を示し、同図（ａ）は縦断面図、同図（ｂ）は正面図である。
【図２７】  本発明の第１１実施形態におけるフィルタ回転機構を示し、同図（ａ）は縦断面図、同図（ｂ）は正面図である。
【図２８】  本発明の第１２実施形態を示すブロック図である。
【図２９】  本発明の第１３実施形態を示すブロック図である。
【図３０】  本発明の第１４実施形態を示し、同図（ａ）はＣＣＤフィルタの正面図、同図（ｂ）は同フィルタの縦断面図である。
【図３１】  本発明の第１５実施形態を示す写真焼き付け装置のブロック図である。
【図３２】  本発明の第１６実施形態を示すブロック図である。
【図３３】  本発明の第１６実施形態における偏光フィルタと液晶可変フィルタとの関係を示す斜視図である。
【図３４】  本発明の第１７実施形態を示すオプティカルブロック周辺の機構である。
【図３５】  本発明の第１８実施形態を示す図３４の改変例である。
【図３６】  不均一非電導表面からのダイクロマティック反射モデルを示す図である。
【図３７】  物体からの反射光の反射面における再反射の状況を示す線図である。
【図３８】  反射面の表面における拡散鏡面反射に基づく第一のぼかし現象の過程を表した図である。
【図３９】  レンズのデフォーカスによるぼかしの過程を説明するための図である。
【図１】
0003796174.tif 000002
【図２】
0003796174.tif 000003
【図３】
0003796174.tif 000004
【図４】
0003796174.tif 000005
【図５】
0003796174.tif 000006
【図６】
0003796174.tif 000007
【図７】
0003796174.tif 000008
【図８】
0003796174.tif 000009
【図９】
0003796174.tif 000010
【図１０】
0003796174.tif 000011
【図１１】
0003796174.tif 000012
【図１２】
0003796174.tif 000013
【図１３】
0003796174.tif 000014
【図１４】
0003796174.tif 000015
【図１５】
0003796174.tif 000016
【図１６】
0003796174.tif 000017
【図１７】
0003796174.tif 000018
【図１８】
0003796174.tif 000019
【図１９】
0003796174.tif 000020
【図２０】
0003796174.tif 000021
【図２１】
0003796174.tif 000022
【図２２】
0003796174.tif 000023
【図２３】
0003796174.tif 000024
【図２４】
0003796174.tif 000025
【図２５】
0003796174.tif 000026
【図２６】
0003796174.tif 000027
【図２７】
0003796174.tif 000028
【図２８】
0003796174.tif 000029
【図２９】
0003796174.tif 000030
【図３０】
0003796174.tif 000031
【図３１】
0003796174.tif 000032
【図３２】
0003796174.tif 000033
【図３３】
0003796174.tif 000034
【図３４】
0003796174.tif 000035
【図３５】
0003796174.tif 000036
【図３６】
0003796174.tif 000037
【図３７】
0003796174.tif 000038
【図３８】
0003796174.tif 000039
【図３９】
0003796174.tif 000040