(57)【特許請求の範囲】
【請求項１】
少なくとも、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理装置であって、カラーバランス決定部とカラーバランス計算部とを含み、
前記カラーバランス決定部は、前記第1の画像の基準画素値および前記第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第1の画像の少なくとも1つのゲイン係数
【数１】
0006538176.tif 000051
および前記第2の画像の少なくとも1つのゲイン係数
【数２】
0006538176.tif 000052
を含むグローバル・ゲイン・ベクトル（t）を決定するように適合され、前記第1および第2の画像の基準画素は、前記第1および第2の画像の共有カラーシーンを表し、
前記カラーバランス計算部は、
前記第1の画像の前記少なくとも1つのゲイン係数
【数３】
0006538176.tif 000053
に基づいて前記第1の画像のカラーバランスを行い、
前記第2の画像の前記少なくとも1つのゲイン係数
【数４】
0006538176.tif 000054
に基づいて前記第2の画像のカラーバランスを行う、
ように適合された、画像処理装置。
【請求項２】
前記第1の画像および前記第2の画像は、各々、少なくとも3つのカラーチャンネルを含み、
前記カラーバランス決定部は、前記画像のカラーチャンネルごとに別々のコスト関数を最小化するように適合され、
前記カラーバランス計算部は、
カラーチャンネルごとに別々に前記第1の画像のカラーバランスを行い、
カラーチャンネルごとに別々に前記第2の画像のカラーバランスを行う、
ように適合された、請求項1に記載の画像処理装置。
【請求項３】
前記第1の画像と前記第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンであり、
前記少なくとも1つの同じ物体または領域は、前記第1のカメラと前記第2のカメラの共有された視野内にある、請求項1または2に記載の画像処理装置。
【請求項４】
前記第1の画像と前記第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンであり、
前記少なくとも1つの同じ色は、前記第1のカメラと前記第2のカメラの共有された視野内にはない、請求項1または2に記載の画像処理装置。
【請求項５】
前記画像処理装置は、少なくとも、前記第1のカメラによって記録された前記第1の画像と、前記第2のカメラによって記録された前記第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスを行うように適合され、
前記カラーバランス決定部は、前記カラーバランス計算部が、結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、前記第1の画像と前記第2の画像のカラーバランスを行った後で、
前記カラーバランスがとられた第2の画像の基準画素値および前記第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第2の画像の少なくとも1つのさらなるゲイン係数および前記第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルを決定する
ように適合され、
前記カラーバランスがとられた第2の画像および前記第3の画像の基準画素は、前記カラーバランスがとられた第2の画像と前記第3の画像の共有カラーシーンを表し、
前記カラーバランス計算部は、
前記第2の画像の前記少なくとも1つのさらなるゲイン係数に基づいて、前記カラーバランスがとられた第2の画像のカラーバランスを行い、
前記第3の画像の前記少なくとも1つのゲイン係数に基づいて、前記第3の画像のカラーバランスを行う
ように適合された、請求項1から4のいずれか一項に記載の画像処理装置。
【請求項６】
前記所定のコスト関数を最小化することは、
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T
を最小化することを含み、
jは画素番号であり、yj（1）は、前記第1のカメラによって測定された画素番号jの値であり、yj（2）は、前記第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように前記画素jの前記基準色値に乗じなければならないゲイン係数である、請求項1から5のいずれか一項に記載の画像処理装置。
【請求項７】
グローバル・ゲイン・ベクトル（t）は、
J＝Y・t
を得るために仮定され、
Y＝［y（1）  y（2）］    、
y（n）＝［y1（n）  …  yi（n）  …  yl（n）］T    、および
t＝［a（2）  −a（1）］T
であり、
tは、前記グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび前記第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、
前記所定のコスト関数を最小化することは、
行列Ryy＝YT・Yの非自明な零空間を、好ましくは、Ryyの固有値分解を行うことによって決定することであって、
【数５】
0006538176.tif 000055
であり、Ryyは、その主対角線に固有値を有する対角行列であり、
【数６】
0006538176.tif 000056
は、ユニタリ行列である、前記決定することと、
最小固有値
【数７】
0006538176.tif 000057
を有する固有ベクトルを、第1のカラーバランスをとる情報
【数８】
0006538176.tif 000058
および第2のカラーバランスをとる情報
【数９】
0006538176.tif 000059
として用いることであって、
【数１０】
0006538176.tif 000060
である、前記用いることと、
を含む、請求項6に記載の画像処理装置。
【請求項８】
前記カラーバランスを行うことは、
前記第1のカメラの画素値yj（1）を前記ゲイン係数
【数１１】
0006538176.tif 000061
で除することと、
前記第2のカメラの画素値yj（2）を前記ゲイン係数
【数１２】
0006538176.tif 000062
で除することと、
を含む、請求項7に記載の画像処理装置。
【請求項９】
請求項1から8のいずれか一項に記載の画像処理装置と、少なくとも、第1のカメラおよび第2のカメラとを含む、イメージングシステム。
【請求項１０】
前記第1のカメラおよび前記第2のカメラは、少なくとも部分的に共有された視野を有する、請求項9に記載のイメージングシステム。
【請求項１１】
第3のカメラを含む、請求項9に記載のイメージングシステム。
【請求項１２】
前記カメラの各々は、前記カメラのさらなる少なくとも1つと少なくとも部分的に共有された視野を有する、請求項11に記載のイメージングシステム。
【請求項１３】
少なくとも、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理方法であって、
前記第1の画像の基準画素値および前記第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第1の画像の少なくとも1つのゲイン係数
【数１３】
0006538176.tif 000063
および前記第2の画像の少なくとも1つのゲイン係数
【数１４】
0006538176.tif 000064
を含むグローバル・ゲイン・ベクトル（t）を決定するステップであって、前記第1および第2の画像の基準画素は、前記第1および第2の画像の共有カラーシーンを表す、ステップと、
前記第1の画像の前記少なくとも1つのゲイン係数
【数１５】
0006538176.tif 000065
に基づいて前記第1の画像のカラーバランスを行うステップと、
前記第2の画像の前記少なくとも1つのゲイン係数
【数１６】
0006538176.tif 000066
に基づいて前記第2の画像のカラーバランスを行うステップと、
が行われる、画像処理方法。
【請求項１４】
前記第1の画像および前記第2の画像は、各々、少なくとも3つのカラーチャンネルを含み、
前記グローバル・ゲイン・ベクトル（t）を決定するステップは、前記画像のカラーチャンネルごとに別々のコスト関数を最小化するステップを含み、
前記第1の画像のカラーバランスを行うステップは、カラーチャンネルごとに別々にカラーバランスを行うステップを含み、
前記第2の画像のカラーバランスを行うステップは、カラーチャンネルごとに別々にカラーバランスを行うステップを含む、請求項13に記載の画像処理方法。
【請求項１５】
前記第1の画像と前記第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンであり、
前記少なくとも1つの同じ物体または領域は、前記第1のカメラと前記第2のカメラの共有された視野内にある、請求項13または14に記載の画像処理方法。
【請求項１６】
前記第1の画像と前記第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンであり、
前記少なくとも1つの同じ色は、前記第1のカメラと前記第2のカメラの共有された視野内にはない、請求項13または14に記載の画像処理方法。
【請求項１７】
少なくとも、前記第1のカメラによって記録された前記第1の画像と、前記第2のカメラによって記録された前記第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスを行うステップと、
結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、前記第1の画像と前記第2の画像のカラーバランスを行った後で、前記カラーバランスがとられた第2の画像の基準画素値および前記第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第2の画像の少なくとも1つのさらなるゲイン係数および前記第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルを決定するステップであって、前記カラーバランスがとられた第2の画像および前記第3の画像の基準画素は、前記カラーバランスがとられた第2の画像と前記第3の画像の共有カラーシーンを表す、ステップと、
前記第2の画像の前記少なくとも1つのさらなるゲイン係数に基づいて、前記カラーバランスがとられた第2の画像のカラーバランスを行うステップと、
前記第3の画像の前記少なくとも1つのゲイン係数に基づいて、前記第3の画像のカラーバランスを行うステップと、
を含む、請求項13から16のいずれか一項に記載の画像処理方法。
【請求項１８】
前記所定のコスト関数を最小化するステップは、
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T
を最小化するステップを含み、
jは画素番号であり、yj（1）は、前記第1のカメラによって測定された画素番号jの値であり、yj（2）は、前記第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように前記画素jの前記基準色値に乗じなければならないゲイン係数である、請求項13から17のいずれか一項に記載の画像処理方法。
【請求項１９】
グローバル・ゲイン・ベクトル（t）は、
J＝Y・t
を得るために仮定され、
Y＝［y（1）  y（2）］    、
y（n）＝［y1（n）  …  yi（n）  …  yl（n）］T    、および
t＝［a（2）  −a（1）］T
であり、
tは、前記グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび前記第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、
前記所定のコスト関数を最小化するステップは、
行列Ryy＝YT・Yの非自明な零空間を、好ましくは、Ryyの固有値分解を行うことによって決定するステップであって、
【数１７】
0006538176.tif 000067
であり、Ryyは、その主対角線に固有値を有する対角行列であり、
【数１８】
0006538176.tif 000068
は、ユニタリ行列である、ステップと、
最小固有値
【数１９】
0006538176.tif 000069
を有する固有ベクトルを、第1のカラーバランスをとる情報
【数２０】
0006538176.tif 000070
および第2のカラーバランスをとる情報
【数２１】
0006538176.tif 000071
として用いるステップであって、
【数２２】
0006538176.tif 000072
である、ステップと、
を含む、請求項18に記載の画像処理方法。
【請求項２０】
前記カラーバランスを行うステップは、
前記第1のカメラの画素値yj（1）を前記ゲイン係数
【数２３】
0006538176.tif 000073
で除するステップと、
前記第2のカメラの画素値yj（2）を前記ゲイン係数
【数２４】
0006538176.tif 000074
で除するステップと、
を含む、請求項19に記載の画像処理方法。
【請求項２１】
コンピュータプログラムがコンピュータ上で動作するときに請求項13から20のいずれか一項に記載の方法を行うためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各々、画像のカラーバランスを行うイメージングシステム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
異なる特性を有するカメラ間で確実に色域のバランスをとる能力は、多くの応用領域での大きな需要である。パノラマ画像形成、すなわち画像連結を処理するときには、人間の視覚系は隣接する画像の色差を見つけるのが非常にうまいので、カラーバランスのとれた入力画像を利用できることが特に重要である。
【０００３】
例示的なカラーバランスをとる方法は、次の2つのカテゴリに分類される：
・ハードウェア・カメラ・レジスタ較正、
・カメラ画像の後処理。
【０００４】
第1のカテゴリの方法は、何らかの所望の色応答を得るために、内部カメラレジスタ、例えばゲイン、露光などを修正する。ハードウェア較正の一般的な概念は、一般的なオプティマイザを用いて、カラーチャートのターゲット画像とカメラ画像の色の間で最も一致する状態を求めて各カメラのハードウェアレジスタ値の空間を探索することである。カメラごとに、オプティマイザはレジスタ値を繰り返し調整し、画像を取得し、コストを算出する。オプティマイザは、典型的に、すべてのカメラがターゲット画像に十分接近するまで、または前の反復から大きな改善がなくなるまで動作する。しかし、ハードウェア・カメラ・レジスタ較正は、典型的に、その範囲と精度が多くの場合不適切であるため、色の一貫性を達成するために十分でない。
【０００５】
したがって、取得後の画像が処理され、色較正が行われる第2のカテゴリの方法が望ましい。それらの方法は、より高精度の品質向上を提供する。
【０００６】
加えて、カメラ内部レジスタ較正と画像後処理の品質向上の両方が適用される、上記2つの分類の組み合わせが考えられ得る。
【０００７】
しかし、上述の例示的なカラーバランスをとる手法は、次のようないくつかの問題がある。
・それらは、標準化されたカラーサンプルを含む既知のターゲットに関してのみ色較正を行う。
・システムが再較正されなければならない場合、例えば、作業環境の照明条件が変化した場合に、予め定義されたパターンを用いる必要性は柔軟性の欠如を意味する。
・較正されるカメラはオーバーラップしている視野を有する必要がある。カラーバランスをとらなければならないカメラ間のオーバーラップ領域は、色較正パターンを含めるのに十分な大きさでなければならない。または、較正パターンがないならば、色域のバランスをとることではなく、2個のカメラ間で色合わせのみが行われる。
・共有視野が最小化される大規模なカメラアレイでは、この要件は厳しい制約である。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明では、カメラ対間で色域のバランスをとるための新規な技術が提案される。この装置および方法は、基準色パターンの使用を要求せず、有利には、非常に高速な解の推定のために、オンラインシナリオでのリアルタイム制約、例えば、リアルタイムに動的にカラーバランスをとることに対処することを可能にする単純な線形モデルを仮定する。
【０００９】
・公知のカラーチャートの使用、およびカメラ間でバランスをとるために視野の一部を共有する必要性に関する、前に説明した例示的な手法の問題を克服するために、以下の技術が提案される。
【００１０】
・生産の不正確さ、ノイズ、および他の要因により、全く同じモデル／製造者のカメラでさえも、異なる色域を有する可能性が高い。
【００１１】
・目標は、各カメラの色域を次のように変換することである。
・変換された色域との間の差が最小化される。
・各カメラの変換された色域が基準色に向かう。
【００１２】
・提案される手法は、カラーチャートの使用を必要としない。すなわち、基準色の知識は必ずしもバランスをとることに要求されない。
【００１３】
・この手法は、各カメラが、必ずしもカラーチャートのものではなく、同じシーンの画像を取り込むことを要求するのみである。
【００１４】
・入力／出力は線形モデルで表され、非常に高速なパラメータ推定、および短い処理時間を可能とする。
【００１５】
・高速処理は、動的環境照明条件のバランスをとるためのリアルタイムの連続色較正を可能とする。
【００１６】
したがって、本発明の目的は、較正ターゲットの使用を要求せずに正確な色較正を可能とする装置および方法を提供することである。
【００１７】
この目的は、装置の請求項1の特徴、システムの請求項9の特徴、および方法の請求項13の特徴によって解決される。さらにこれは、関連するコンピュータプログラムの請求項14の特徴によって解決される。従属クレームには、さらなる展開を含む。
【００１８】
本発明の第1の態様によれば、少なくとも、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理装置が提供される。この画像処理装置は、カラーバランス決定部と、カラーバランス計算部とを含む。カラーバランス決定部は、第1の画像の基準画素値および第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像の少なくとも1つのゲイン係数および第2の画像の少なくとも1つのゲイン係数を含むグローバル・ゲイン・ベクトルを決定するように適合される。そこでの第1および第2の画像基準画素は、第1および第2の画像の共有カラーシーンを表す。カラーバランス計算部は、第1の画像の少なくとも1つのゲイン係数に基づいて第1の画像のカラーバランスを行い、第2の画像の少なくとも1つのゲイン係数に基づいて第2の画像のカラーバランスを行うように適合される。これにより、カラーチャートまたは基準パターンの画像を取り込む必要なくカラーバランスを行うことが可能である。
【００１９】
第1の態様の第1の実装形態によれば、第1の画像および第2の画像は、各々、少なくとも3つのカラーチャンネルを含む。バランス決定部は、そして、画像のカラーチャンネルごとに別々のコスト関数を最小化するように適合される。カラーバランス計算部は、そして、カラーチャンネルごとに別々に第1の画像のカラーバランスを行い、カラーチャンネルごとに別々に第2の画像のカラーバランスを行うように適合される。これにより、カラー画像を処理することが可能である。
【００２０】
第1の態様の第2の実装形態によれば、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンである。少なくとも1つの同じ物体または領域は、第1のカメラと第2のカメラの共有視野内にある。これにより、よりいっそう正確なカラーバランスを行うことが可能である。
【００２１】
その代わりに、第1の態様の第3の実装形態では、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンである。少なくとも1つの同じ色は、第1のカメラと第2のカメラの共有視野内にはない。これにより、それぞれのカメラが共有視野を有さない場合でさえ、カラーバランスを行うことが可能である。
【００２２】
第1の態様の第4の実装形態によれば、この画像処理装置は、少なくとも、第1のカメラによって記録された第1の画像と、第2のカメラによって記録された第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスを行うように適合される。カラーバランス決定部は、カラーバランス計算部が、結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、第1の画像と第2の画像のカラーバランスを行った後で、第2のカラーバランスがとられた画像の基準画素値および第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第2の画像の少なくとも1つのさらなるゲイン係数および第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルを決定するように適合される。カラーバランスがとられた第2の画像および第3の画像の基準画素は、カラーバランスがとられた第2の画像と第3の画像の共有カラーシーンを表す。カラーバランス計算部は、そして、第2の画像の少なくとも1つのさらなるゲイン係数に基づいて第2のカラーバランスがとられた画像のカラーバランスを行い、第3の画像の少なくとも1つのゲイン係数に基づいて第3の画像のカラーバランスを行うように適合される。これにより、2つより多くの画像のカラーバランスを行うことが可能である。
【００２３】
第1の態様の第5の実装形態によれば、所定のコスト関数を最小化することは、
式、
yj（1）＝a（1）・xj          （1）、
yj（2）＝a（2）・xj          （2）
を立てることであって、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、xjは、画素jの基準色値であり、a（1）は、yj（1）に到達するようにxjに乗じなければならないゲイン係数であり、a（2）は、yj（2）に到達するようにxjに乗じなければならないゲイン係数である、前記立てることと、
式（1）にa（2）を乗じ、式（2）にa（1）を乗じて、
yj（1）・a（2）＝a（1）・xj・a（2）、
yj（2）・a（1）＝a（2）・xj・a（1）、
を得ることと、
結果として得られる式を減算して、
yj（1）・a（2）−yj（2）・a（1）＝0
を得ることと、
コスト関数を
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T          （3）
として決定することと、
を含む。
【００２４】
第1の態様の第6の実装形態によれば、所定のコスト関数を最小化することは、
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T、
を最小化することを含み、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である。
【００２５】
これにより、非常に効率的にカラーバランスをとることが可能である。
【００２６】
第1の態様の第5または第6の実装形態による第7の実装形態では、グローバル・ゲイン・ベクトルtは、
J＝Y・t          （4）
を得るために仮定され、
Y＝［y（1）  y（2）］          （5）、
y（n）＝［y1（n）  …  yi（n）  …  yl（n）］T          （6）、および
t＝［a（2）  −a（1）］T          （7）
であり、
tは、グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、所定のコスト関数を最小化することは、
行列Ryy＝YT・Yの非自明な零空間を、好ましくは、Ryyの固有値分解を行うことによって決定することであって、
【００２７】
【数１】
0006538176.tif 000002
【００２８】
であり、Ryyは、その主対角線に固有値を有する対角行列であり、
【００２９】
【数２】
0006538176.tif 000003
【００３０】
は、ユニタリ行列である、前記決定することと、
最小固有値
【００３１】
【数３】
0006538176.tif 000004
【００３２】
を有する固有ベクトルを、第1のカラーバランスをとる情報
【００３３】
【数４】
0006538176.tif 000005
【００３４】
および第2のカラーバランスをとる情報
【００３５】
【数５】
0006538176.tif 000006
【００３６】
として用いることであって、
【００３７】
【数６】
0006538176.tif 000007
【００３８】
である、前記用いることと、
を含む。
【００３９】
これにより、よりいっそう高い正確さのカラーバランスをとることが実現され得る。
【００４０】
第1の態様の第7の実装形態による第8の実装形態では、カラーバランスを行うことは、
第1のカメラの画素値yj（1）をゲイン係数
【００４１】
【数７】
0006538176.tif 000008
【００４２】
で除することと、
第2のカメラの画素値yj（2）をゲイン係数
【００４３】
【数８】
0006538176.tif 000009
【００４４】
で除することと、
を含む。これにより、低計算量のカラーバランスをとることが可能である。
【００４５】
本発明の第2の態様によれば、第1の態様または第1の態様の実装形態のうちの1つによる画像処理装置と、少なくとも、第1のカメラおよび第2のカメラとを含むイメージングシステムが提供される。これにより、画像を記録し、画像のカラーバランスをとることが可能である。
【００４６】
第2の態様の第1の実装形態によれば、第1のカメラと第2のカメラとは、少なくとも部分的に共有された視野を有する。これにより、特に正確なカラーバランスを行うことが可能である。
【００４７】
第2の態様の第2の実装形態によれば、本イメージングシステムは、第3のカメラを含む。これにより、2個より多くのカメラによる画像記録および記録された画像のカラーバランスを行うことが可能である。
【００４８】
第2の態様の第2の実装形態による第3の実装形態では、カメラの各々は、少なくとも1個の別のカメラと少なくとも部分的に共有された視野を有する。2個より多くのカメラも用いて、これにより、特に正確なカラーバランスをとることを実現することが可能である。
【００４９】
本発明の第3の態様によれば、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理方法が提供される。本方法は、第1の画像の基準画素値および第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像の少なくとも1つのゲイン係数および第2の画像の少なくとも1つのゲイン係数を含むグローバル・ゲイン・ベクトルを決定するステップを含み、第1および第2の画像の基準画素は、第1および第2の画像の共有カラーシーンを表す。さらに、本方法は、第1の画像の少なくとも1つのゲイン係数に基づいて第1の画像のカラーバランスを行うステップと、第2の画像の少なくとも1つのゲイン係数に基づいて第2の画像のカラーバランスを行うステップとを含む。これにより、基準パターンの必要なく、低計算量の高い正確さのカラーバランスを行うことが可能である。
【００５０】
第3の態様の第1の実装形態によれば、第1の画像および第2の画像は、各々、少なくとも3つのカラーチャンネルを含む。画像のカラーチャンネルごとに別々のコスト関数が最小化される。第1の画像と第2の画像のカラーバランスをとることは、カラーチャンネルごとに別々に行われる。これにより、カラー画像を処理することが可能である。
【００５１】
第3の態様の第2の実装形態によれば、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンである。少なくとも1つの同じ物体または領域は、第1のカメラと第2のカメラの共有視野内にある。これにより、よりいっそう正確なカラーバランスを行うことが可能である。
【００５２】
その代わりに、第3の態様の第3の実装形態では、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンである。少なくとも1つの同じ色は、第1のカメラと第2のカメラの共有視野内にはない。これにより、それぞれのカメラが共有視野を有さない場合でさえ、カラーバランスを行うことが可能である。
【００５３】
第3の態様の第4の実装形態によれば、少なくとも、第1のカメラによって記録された第1の画像と、第2のカメラによって記録された第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスが行われる。結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、第1の画像と第2の画像のカラーバランスが行われた後で、第2のカラーバランスがとられた画像の基準画素値および第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第2の画像の少なくとも1つのさらなるゲイン係数および第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルが決定される。カラーバランスがとられた第2の画像および第3の画像の基準画素は、カラーバランスがとられた第2の画像と第3の画像の共有カラーシーンを表す。そして、第2の画像の少なくとも1つのさらなるゲイン係数に基づいて、第2のカラーバランスがとられた画像のカラーバランスが行われる。第3の画像の少なくとも1つのゲイン係数に基づいて、第3の画像のカラーバランスが行われる。これにより、2つより多くの画像のカラーバランスを行うことが可能である。
【００５４】
第3の態様の第5の実装形態によれば、所定のコスト関数を最小化するステップは、
式、
yj（1）＝a（1）・xj          （1）、
yj（2）＝a（2）・xj          （2）
を立てるステップであって、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、xjは、画素jの基準色値であり、a（1）は、yj（1）に到達するようにxjに乗じなければならないゲイン係数であり、a（2）は、yj（2）に到達するようにxjに乗じなければならないゲイン係数である、ステップと、
式（1）にa（2）を乗じ、式（2）にa（1）を乗じて、
yj（1）・a（2）＝a（1）・xj・a（2）、
yj（2）・a（1）＝a（2）・xj・a（1）、
を得るステップと、
結果として得られる式を減算して、
yj（1）・a（2）−yj（2）・a（1）＝0
を得るステップと、
コスト関数を
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T          （3）
として求めるステップと、
を含む。
【００５５】
第3の態様の第6の実装形態によれば、所定のコスト関数を最小化するステップは、
コスト関数を
J’＝［yj（1）  yj（2）］［a（2）  −a（1）］T
として決定するステップであって、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である、ステップ
を含む。
【００５６】
これにより、非常に効率的にカラーバランスをとることが可能である。
【００５７】
第3の態様の第5または第6の実装形態による第7の実装形態では、グローバル・ゲイン・ベクトルtは、
J＝Y・t          （4）、
Y＝［y（1）  y（2）］          （5）、
y（n）＝［y1（n）  …  yi（n）  …  yl（n）］T          （6）、
t＝［a（2）  −a（1）］T          （7）
を得るために仮定され、tは、グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、所定のコスト関数を最小化するステップは、
行列Ryy＝YT・Yの非自明な零空間を、好ましくは、Ryyの固有値分解を行うことによって決定するステップであって、
【００５８】
【数９】
0006538176.tif 000010
【００５９】
であり、Ryyは、その主対角線に固有値を有する対角行列であり、
【００６０】
【数１０】
0006538176.tif 000011
【００６１】
は、ユニタリ行列である、ステップと、
最小固有値
【００６２】
【数１１】
0006538176.tif 000012
【００６３】
を有する固有ベクトルを、第1のカラーバランスをとる情報
【００６４】
【数１２】
0006538176.tif 000013
【００６５】
および第2のカラーバランスをとる情報
【００６６】
【数１３】
0006538176.tif 000014
【００６７】
として用いるステップであって、
【００６８】
【数１４】
0006538176.tif 000015
【００６９】
である、ステップと、
を含む。
【００７０】
これにより、よりいっそう高い正確さのカラーバランスをとることが実現され得る。
【００７１】
第3の態様の第7の実装形態による第8の実装形態によれば、カラーバランスを行うステップは、
第1のカメラの画素値yj（1）をゲイン係数
【００７２】
【数１５】
0006538176.tif 000016
【００７３】
で除するステップと、
第2のカメラの画素値yj（2）をゲイン係数
【００７４】
【数１６】
0006538176.tif 000017
【００７５】
で除するステップと、
を含む。これにより、低計算量のカラーバランスをとることが可能である。
【００７６】
本発明の第4の態様によれば、コンピュータプログラムがコンピュータ上で動作するときに前に説明した方法を行うためのプログラムコードを有するコンピュータプログラムが提供される。
【００７７】
一般に、本出願において説明されるすべての構成、装置、要素、ユニットおよび手段などは、ソフトウェアまたはハードウェア要素またはそれらの任意の種類の組み合わせによって実現され得ることに留意されなければならない。さらに、装置は、プロセッサであってもよく、プロセッサを含んでいてもよく、本出願において説明される要素、ユニット、および手段の機能は、1つ以上のプロセッサにおいて実現されてよい。本出願において説明される様々なエンティティによって行われるすべてのステップ、ならびに様々なエンティティによって行われると説明される機能は、それぞれのエンティティがそれぞれのステップおよび機能を行うように適合され、または構成されることを意味することが意図される。以下の説明または特定の実施形態において、一般のエンティティによって行われる特定の機能またはステップが、その特定のステップまたは機能を行うそのエンティティの特定の詳細な要素の説明に反映されていない場合でさえ、それらの方法および機能を、ソフトウェアまたはハードウェア要素、またはそれらの任意の種類の組み合わせに関して実現され得ることが当業者には明らかなはずである。
【００７８】
以下で、添付図面を参照して、本発明の実施形態に関して本発明が詳細に説明される。
【図面の簡単な説明】
【００７９】
【図１】ブロック図において本発明の第2の態様によるイメージングシステムの一実施形態の概要を示す。
【図２】ブロック図において本発明の第1の態様による画像処理装置の実施形態を示す。
【図３】ブロック図において本発明の第1の態様のさらなる実施形態を示す。
【図４】ブロック図において本発明の第1の態様の別の実施形態を示す。
【図５】フローチャートにおいて本発明の第3の態様の実施形態を示す。
【発明を実施するための形態】
【００８０】
最初に、我々は、図1に沿って、本発明の第1および第2の態様によるイメージングシステムおよび画像処理装置の全体的な構成および機能を示す。さらに、図2〜図4に沿って、我々は、本発明のそれぞれの態様の構成および機能について詳しく説明する。最後に、図5に関して、第3の態様による本発明の方法の実施形態の機能が説明される。異なる図における同様なエンティティおよび参照番号は、部分的に省略された。
【００８１】
図1には、本発明の第2の態様による本発明のイメージングシステム1の実施形態が示されている。イメージングシステム1は、複数のカメラ11、12、13、14と、本発明の第1の態様による画像処理装置10とを含む。カメラ11〜14は、画像処理装置10に接続されている。カメラ11、12、13、14によって生成された画像11a、12a、13a、14aは、カメラ11〜14によって画像処理装置10に渡される。画像処理装置10は、個々の画像11a〜14aのカラーバランスを行い、カラーバランスがとられた画像11b、12b、13b、14bを生成する。カラーバランスを行うために、画像11a〜14aの間で、基準画素を表す少なくとも1つのカラーシーンを共有する画像の対が形成される。それぞれの対のカラーバランスが行われる。対のカラーバランスが行われた後で、対のすでにカラーバランスがとられた画像間でさらなるカラーバランスが行われる。2つより多くの画像のカラーバランスをとることについては、図3および図4に関する詳しい説明が参照される。画像の対のカラーバランスをとることに関するさらなる詳細については、図2に関する詳しい説明が参照される。
【００８２】
図2には、本発明の第1の態様の画像処理装置10の実施形態が示されている。画像処理装置10は、バランス決定部20を含み、それにカラーバランス計算部21が接続されている。
【００８３】
第1のカメラ11によって生成された第1の画像11aおよび第2のカメラ12によって生成された第2の画像12aが、カラーバランス決定部20に提供される。第1の画像11aおよび第2の画像12aは、各々、第1および第2の画像の共有カラーシーンを表す基準画素を含む。カラーシーンは、空間内の1つ以上の視点から測定された自然界のビューのスペクトル輝度である。共有カラーシーンは、第1のカメラ11と第2のカメラ12の共有ビュー内の少なくとも1つの同じ物体もしくは領域を取り込んだ、または共有視野内にない可能性のある少なくとも1つの同じ色（例えば、一様に青い空の異なる領域）を取り込んだシーンもしくはシーン部分である。
【００８４】
カラーバランス決定部20は、基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像11aの少なくとも1つのゲイン係数
【００８５】
【数１７】
0006538176.tif 000018
【００８６】
および第2の画像12aの少なくとも1つのゲイン係数
【００８７】
【数１８】
0006538176.tif 000019
【００８８】
を含むグローバル・ゲイン・ベクトルtを決定する。これらのゲイン係数は、カラーバランス計算部21に渡され、カラーバランス計算部21は、第1の画像11aの画素値をゲイン係数
【００８９】
【数１９】
0006538176.tif 000020
【００９０】
で除することによって、かつ第2の画像12aの画素値をゲイン係数
【００９１】
【数２０】
0006538176.tif 000021
【００９２】
で除することによって、第1の画像11aおよび第2の画像12aのカラーバランスを行う。カラーバランス計算部21によるこの計算から得られるものが、第1のカラーバランスがとられた画像11bおよび第2のカラーバランスがとられた画像12bである。
【００９３】
以下に、カラーバランス決定部20およびカラーバランス計算部21内で行われる詳細な数学的処理が示される。
【００９４】
複数のJ＝2個のカメラを仮定すると、各チャンネルにおける各カメラの出力は、画素集合
【００９５】
【数２１】
0006538176.tif 000022
【００９６】
として与えられ、
【００９７】
【数２２】
0006538176.tif 000023
【００９８】
【数２３】
0006538176.tif 000024
【００９９】
であり、xiは、基準画像のi番目の画素（例えば、物体の「真の」色値）を表し、xi∈｛xi,r，xi,g，xi,b｝であり、インデックスr、g、bは、それぞれ、カメラのカラーチャンネル、赤、緑、青に対応し、または、｛HSV｝、｛YUV｝などのようないくつかの他のカラーベースにも対応する。
上付き文字はカメラインデックスを表す。したがって、
【０１００】
【数２４】
0006538176.tif 000025
【０１０１】
であり、j∈｛1，…，J｝である。
【０１０２】
画素xiで表される共通基準マルチチャンネル画像に合わせてカメラを較正するために、我々はチャンネルゲイン係数aiを特定する。
【０１０３】
各カメラの出力にその他のカメラのゲインを乗じることは、同一の数量に導く。よって、我々の手法では、我々は、数量
【０１０４】
【数２５】
0006538176.tif 000026
【０１０５】
を最小化する。
仮定するモデルでは、グローバル・チャンネル・ゲイン係数を基準画像の全画素について決定しなければならない。
J：＝Y・t          （4）
と定義する。
Y：＝［y（1）  y（2）］          （5）
であり、
y（n）：＝［y1（n）  …  yi（n）  …yl（n）］T          （6）
であり、
ベクトルは画素値を用いて作られ、｛・｝Tは、転置演算子を表し、
【０１０６】
【数２６】
0006538176.tif 000027
【０１０７】
である。
ベクトルのエネルギーを最小化することは、行列RYY：＝YTYの非自明な零空間を決定することと等価である。我々は、これを、好ましくは、RYYの固有値分解によって決定する。
【０１０８】
【数２７】
0006538176.tif 000028
【０１０９】
であり、
【０１１０】
【数２８】
0006538176.tif 000029
【０１１１】
は、その主対角線に固有値を有する対角行列であり、
【０１１２】
【数２９】
0006538176.tif 000030
【０１１３】
は、ユニタリ行列である。
零空間は、ゼロ値の固有値
【０１１４】
【数３０】
0006538176.tif 000031
【０１１５】
に対応する固有ベクトルによって張られる。
【０１１６】
実際には、カメラノイズにより、固有値は、一般に、すべてノイズとは異なる。したがって、我々は最小固有値を有する固有ベクトルを選択する。この固有ベクトルは、そして、tの推定値と解釈される。両方のカメラを較正するために。出力は、
【０１１７】
【数３１】
0006538176.tif 000032
【０１１８】
における推定ゲイン係数で除される。
【０１１９】
結果として得られるゲイン係数は、
i）カメラ補正された色が最小限の差を有し、
ii）補正された色が、未知であるが共通の基準色に近づく
ように推定される。
【０１２０】
共有カラーシーンが、第1の画像と第2の画像が必ず視野を共有していることを意味しないことに留意することが重要である。共有カラーシーンは、単に、どの画像も同一のオブジェクトまたは領域を表し、これにより視野を共有している、または画像が、視野を共有せず、単にほぼ一致した色の物体を表すことを意味する。
【０１２１】
さらに、カラー画像の場合には、上述のプロセスが画像の異なるカラーチャンネルごとに別々に行われることに留意することが重要である。これは、画像のカラーチャンネルごとに別々のコスト関数が最小化され、画像の個々のカラーチャンネルごとに別々のカラーバランスが行われることを意味する。
【０１２２】
図3には、上記のプロセスを2つより多くの画像に拡張したものが示されている。特に、図3は、画像処理装置10の異なる実施形態を示す。ここでの画像処理装置10も、カラーバランス決定部20と、カラーバランス計算部21とを含む。例えば、図2に示すような第1の画像11aと第2の画像12aのカラーバランスがすでに行われている。第2の画像12aのゲイン係数に対応するゲイン係数
【０１２３】
【数３２】
0006538176.tif 000033
【０１２４】
がすでに利用可能である。カラーバランス決定部20は、第2の画像12aと、第3のカメラ13によって生成された第3の画像13aと、ゲイン係数
【０１２５】
【数３３】
0006538176.tif 000034
【０１２６】
とを供給され、それらから第3の画像13aのさらなるゲイン係数
【０１２７】
【数３４】
0006538176.tif 000035
【０１２８】
を算出する。このゲイン係数は、第3の画像13aと共にカラーバランス計算部21に渡される。これらから、カラーバランスがとられた第3の画像13bが計算される。以下に、簡単に記載されたプロセスの基礎となる詳細な数学的処理が示される。
2個のカメラのすべてのチャンネルについて我々はすでに
【０１２９】
【数３５】
0006538176.tif 000036
【０１３０】
および
【０１３１】
【数３６】
0006538176.tif 000037
【０１３２】
という推定値を有すると仮定する。
【０１３３】
【数３７】
0006538176.tif 000038
【０１３４】
を制約することによってチャンネルゲイン
【０１３５】
【数３８】
0006538176.tif 000039
【０１３６】
の推定値を得るために、我々は零空間を決定する問題
【０１３７】
【数３９】
0006538176.tif 000040
【０１３８】
であり、
RYY’：＝［y（1）  y（3）］T［y（1）  y（3）］          （10）
【０１３９】
【数４０】
0006538176.tif 000041
【０１４０】
【数４１】
0006538176.tif 000042
【０１４１】
を再度考察する。
（9）を用いて、我々は
【０１４２】
【数４２】
0006538176.tif 000043
【０１４３】
を得る。未知のベクトルの第2の係数が0であることを保証するRYY’の逆数については、我々は
【０１４４】
【数４３】
0006538176.tif 000044
【０１４５】
を用いる。
ryy,11、行列RYY’の第1行第1列の要素を用いて。よって、
【０１４６】
【数４４】
0006538176.tif 000045
【０１４７】
であり、ベクトルbにおけるa（1）について、前のステップからの推定値
【０１４８】
【数４５】
0006538176.tif 000046
【０１４９】
を用いた。
【０１５０】
対のカメラから2つの画像が与えられ、チャンネルゲイン係数は、
i）カメラ補正された色が最小限の差を有し、
ii）補正された色が基準色に近づく
ように推定される。較正自体は、最終的に、画素を推定チャンネル・ゲイン・パラメータで除することによって行われる。
【０１５１】
さらに、図4には、2個より多くのカメラの較正を可能にする、提案されるイメージングシステム1の全体構造が再度示されている。ここでは、画像11a、12a、13a、40a、41aが画像処理装置10に提供され、画像処理装置10は対ごとのカラーバランスを行う。この例では、画像11aおよび12aは、カラーバランスがとられた画像11b、12bを生成するために用いられる。得られたゲイン係数
【０１５２】
【数４６】
0006538176.tif 000047
【０１５３】
は、結果としてカラーバランスがとられた第3の画像13bとなる、第3の画像13aの増分のカラーバランスを行うために用いられる。したがって、それはさらなる画像40a、41を用いて継続される。
【０１５４】
図5には、本発明の第3の態様の実施形態が示されている。任意選択の第1のステップ100で、少なくとも第1および第2の画像11a、12aが記録される。画像は、前に説明したような共有カラーシーンを含む。
【０１５５】
第2のステップ101で、第1の画像11aのゲイン係数
【０１５６】
【数４７】
0006538176.tif 000048
【０１５７】
および第2の画像12aのゲイン係数
【０１５８】
【数４８】
0006538176.tif 000049
【０１５９】
を含むグローバル・ゲイン・ベクトルtが、第1および第2の画像11a、12aからの基準画素値に基づいてコスト関数を最小化することによって決定される。
【０１６０】
第3のステップ102で、第1および第2の画像11a、12aのカラーバランスが、それぞれのゲイン係数
【０１６１】
【数４９】
0006538176.tif 000050
【０１６２】
を用いて行われる。
【０１６３】
個々のステップの詳細については、図1〜4に関する詳しい説明も参照される。
【０１６４】
本発明は、例に限定されず、特に特定の数の画像に限定されない。また本発明は、視野がオーバーラップしている画像にも、オーバーラップしていない画像にも限定されない。例示的な実施形態の特性は、任意の組み合わせにおいて用いられ得る。
【０１６５】
本発明は、ここでの様々な実施形態に関して説明された。しかし、図面、本開示および添付の請求項の考察から、特許請求される発明の実施においてこの技術分野の当業者によって、開示された実施形態への他の変形が理解され、実現され得る。請求項において、「含む（comprising）」という語は他の要素またはステップを排除せず、不定冠詞「a」または「an」は複数を排除しない。単一のプロセッサまたは他のユニットが、請求項に記載されたいくつかの項目の機能を満たし得る。ある手段が普通に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に用いることができないことを示さない。
【０１６６】
本発明の実施形態は、少なくとも、コンピュータシステムのようなプログラム可能な装置上で動作するときに本発明による方法のステップを行い、または、プログラム可能な装置が本発明による装置もしくはシステムの機能を行うことを可能にするためのコード部分を含む、コンピュータシステム上で動作するためのコンピュータプログラムにおいて実現され得る。
【０１６７】
コンピュータプログラムは、特定のアプリケーションプログラムおよび／またはオペレーティングシステムのような命令のリストである。コンピュータプログラムは、例えば、サブルーチン、関数、プロシージャ、オブジェクトメソッド、オブジェクトインプリメンテーション、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／動的ロードライブラリ、および／またはコンピュータシステム上での実行のために設計された他の命令のシーケンス、のうちの1つ以上を含み得る。
【０１６８】
コンピュータプログラムは、内部でコンピュータ読み取り可能な記憶媒体上に記憶され、またはコンピュータ読み取り可能な伝送媒体を介してコンピュータシステムに送信されてもよい。コンピュータプログラムの全部または一部が、情報処理システムに永続的に、取り外し可能に、または遠隔で結合された、一時的または非一時的なコンピュータ読み取り可能な媒体上で提供されてもよい。コンピュータ読み取り可能な媒体は、例えば、限定しないが、単にいくつか挙げると、任意の数の以下のもの、ディスクおよびテープ記憶媒体を含む磁気記憶媒体、コンパクトディスク媒体（例えば、CD−ROM、CD−Rなど）およびデジタル・ビデオ・ディスク記憶媒体のような光記憶媒体、FLASHメモリ、EEPROM、EPROM、ROMのような半導体ベースのメモリユニットを含む不揮発性メモリ記憶媒体、強磁性デジタルメモリ、MRAM、レジスタ、バッファまたはキャッシュ、メインメモリ、RAMなどを含む揮発性記憶媒体、コンピュータネットワーク、ポイントツーポイント電気通信設備、および搬送波伝送媒体を含むデータ伝送媒体、を含み得る。
【０１６９】
コンピュータプロセスは、典型的には、実行する（動作する）プログラムまたはプログラムの部分、現在のプログラム値および状態情報、ならびにプロセスの実行を管理するためにオペレーティングシステムによって用いられるリソースを含む。オペレーティングシステム（OS）は、コンピュータのリソースの共有を管理し、それらのリソースをアクセスするために用いられるインターフェースをプログラマに提供するソフトウェアである。オペレーティングシステムは、システムデータおよびユーザ入力を処理し、システムのユーザおよびプログラムへのサービスとして、タスクおよび内部システムリソースを割り当て、管理することによって応答する。
【０１７０】
コンピュータシステムは、例えば、少なくとも1つの処理ユニット、関連付けられたメモリ、および複数の入力／出力（I/O）装置を含み得る。コンピュータプログラムを実行するとき、コンピュータシステムは、コンピュータプログラムに従って情報を処理し、I/O装置を介して結果としての出力情報を生成する。
【０１７１】
ここで論じられる接続は、例えば、中間装置を介して、それぞれのノード、ユニットもしくは装置から、またはそれぞれのノード、ユニット、もしくは装置に信号を転送するのに適した任意の種類の接続であり得る。したがって、違ったふうに示し、または言及しない限り、接続は、例えば、直接接続であっても間接接続であってもよい。接続は、単一の接続、複数の接続、単方向接続、または双方向接続であるものとして図示され、または説明され得る。しかし、異なる実施形態は接続の実装を変え得る。例えば、双方向接続ではなく、別々の単方向接続が用いられてもよく、その逆も同様である。また、複数の接続は、複数の信号を逐次に、または時間多重化方式で転送する単一の接続で置き換えられ得る。同様に、複数の信号を搬送する単一の接続は、これらの信号のサブセットを搬送する様々な異なる接続に分離され得る。したがって、信号を転送するために多くの選択肢が存在する。
【０１７２】
この技術分野の当業者は、論理ブロック間の境界は単なる例示であること、代替の実施形態は、論理ブロックまたは回路要素をマージし、または様々な論理ブロックまたは回路要素に対して代替の機能分解を課し得ることを理解するであろう。よって、ここで示すアーキテクチャは単なる例示であること、実際には同じ機能を実現する他の多くのアーキテクチャが実装され得ることが理解されるべきである。
【０１７３】
よって、同じ機能を実現する構成要素の任意の配置は、所望の機能が実現されるように有効に「関連付け」される。したがって、特定の機能を実現するために組み合わされたここでの任意の2つの構成要素は、アーキテクチャにも中間構成要素にも関係なく、所望の機能が実現されるように互いに「関連付け」されると考えられ得る。同様に、このように関連付けされた任意の2つの構成要素は、所望の機能を実現するために互いに「動作可能に接続され」または「動作可能に結合され」ていると見られ得る。
【０１７４】
さらに、この技術分野の当業者は、上述の動作の間の境界は単なる例示であると理解するであろう。複数の動作は、単一の動作に結合されてもよく、単一の動作は、追加的な動作として分散されてもよく、動作は、少なくとも部分的に時間的にオーバーラップして実行されてもよい。さらに、代替の実施形態は特定の動作の複数のインスタンスを含んでもよく、動作の順序は様々な他の実施形態において変更されてもよい。
【０１７５】
また例えば、例または例の一部は、物理的回路の、または任意の適切な種類のハードウェア記述言語におけるような物理回路に変換可能な論理表現の、ソフトまたはコード表現として実現され得る。
【０１７６】
また本発明は、プログラム可能でないハードウェアにおいて実装された物理装置またはユニットに限定されず、また、本出願で「コンピュータシステム」と一般に表される、メインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、ノートパッド、携帯情報端末、電子ゲーム、自動車および他の組み込みシステム、携帯電話機および他の様々な無線機器のような、適切なプログラムコードに従って動作することによって所望の装置機能を行うことができるプログラム可能な装置またはユニットにおいて適用され得る。
【符号の説明】
【０１７７】
10  画像処理装置
11  第1のカメラ
12  第2のカメラ
13  第3のカメラ
14  カメラ
20  カラーバランス決定部
21  カラーバランス計算部
【図１】
0006538176.tif 000075
【図２】
0006538176.tif 000076
【図３】
0006538176.tif 000077
【図４】
0006538176.tif 000078
【図５】
0006538176.tif 000079