(57)【特許請求の範囲】
【請求項１】
被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
【請求項２】
被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
【請求項３】
前記画素対応付け手段は、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することを特徴とする請求項２に記載の設定パラメータ最適化装置。
【請求項４】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、
その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置。
【請求項５】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、
その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置。
【請求項６】
前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うことを特徴とする請求項１に記載の設定パラメータ最適化装置。
【請求項７】
被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段、
前記撮影画像間で対応付けられた各画素それぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段、
として機能させることを特徴とする設定パラメータ最適化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設定パラメータ最適化装置およびそのプログラムに係り、特に、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した撮影画像の設定パラメータを制御する設定パラメータ最適化装置およびそのプログラムに関する。
【背景技術】
【０００２】
マルチカメラの映像から自由視点の映像を合成する研究は、近年、イメージベースレンダリング技術(Image-Based Rendering;ＩＢＲ)において非常に大きな注意を引いてきた。それは、自由視点の映像を合成する研究の応用分野として、文化遺産や伝統舞踊の映像保存、自由視点テレビ、教育アプリケーション、顔認証セキュリティシステム、娯楽等の様々な分野が発見されてきたからである。マルチカメラシステムにおいては、視点変更時（カメラの切り替え時）に視聴者が不自然さを感じなくするために、撮影画像を幾何補正したり、色補正したりすることが必要である。換言すると、ＩＢＲに対してマルチカメラの映像を利用するためには幾何補正や色補正が必要となる。
【０００３】
さらに快適な視聴を実現するためには、（１）カメラ間においては、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを最適化する必要がある。また、（２）撮影画像間においては、色の強度や視差等のパラメータを最適化する必要がある。以下では、簡便のため、これらの種々のパラメータのうち、色補正のパラメータを例示して説明することとする。
【０００４】
コンピュータビジョンの分野では、色補正は、必ずしも必要なものではない。しかしながら、色が補正されれば、パターンマッチングやパターン認識を援助することになる。そのため、コンピュータビジョンの分野においては、色補正を考慮することは有効な手法であると言える。
【０００５】
ＩＢＲ用のカメラの幾何補正は２つのステップで実施される。第１ステップは、撮影前にカメラを極力正確な位置に置くステップであり、第２ステップは、撮影後にカメラキャリブレーション（カメラ撮影のパラメータを調整すること）を行って画像を修正するステップである。
【０００６】
また、色補正のステップも幾何補正のステップと非常に類似したものである。つまり、色補正のステップでは、第１ステップが、カメラの調整量（パラメータ）であるゲイン量やガンマ補正、ズーム、露光時間、絞り量を撮影前に極力調整するステップであり、第２ステップが、撮影された画像を修正するステップ（画像の設定パラメータを調整するステップ）である。
【０００７】
一般的に、マルチカメラシステムは以下の（Ａ１）〜（Ａ３）の特徴を有している。
（Ａ１）すべてのカメラのカラーフィルタは同じである。
（Ａ２）すべてのカメラの絞り量を完全に同じものにすることは非常に困難である。この絞り量の違いを補償するためゲイン量を調整する。しかし、ゲイン量がＲＧＢチャンネルで共通化されているカメラや、数種類の中からゲイン量を選ぶ程度の粗っぽい調整機能しか有していないカメラでは、十分に補償しきれない。残念ながら、現状では、ほとんどのカメラは、このようなタイプのカメラである。
（Ａ３）ゲイン量やズームなどのカメラの特徴量のレベルは線形に変化するものではなく、かつカメラの個体差もある。そのため、ゲイン量やズームなどの応答は、完全には同じものになることはない。
【０００８】
これらの（Ａ１）〜（Ａ３）の特徴を考慮した色補正の方法が知られている（非特許文献１〜３参照）。例えば、非特許文献１，２では、（Ａ１）の理由でＲＧＢの各チャンネルを独立で考えることにしている。ただし、カメラのカラーフィルタがＣＭＹ（シアン，マジェンダ，イエロー）である場合には、ＣＭＹの各チャンネルで考える。この場合、入力データがＲＧＢであるとすると、ＲＧＢからＣＭＹに変換した後に色補正し、その後にＣＭＹからＲＧＢに変換することになる。
なお、マルチカメラにおいて色補正を色差空間で行う方法も存在するが、処理が比較的煩雑になってしまう（特許文献１参照）。
【０００９】
また、例えば、非特許文献１〜３では、（Ａ２）と（Ａ３）の理由で非線形の変換を考えることにしている。
これに対して、カラーフィルタの色空間において、線形変換で色補正を行うものも存在する（特許文献２参照）。しかし、線形変換では、電子回路の非線形性などに起因して色合いの違いが発生してしまう。
【００１０】
特許文献２に記載された方法は、カメラ間の色の違いを得るために、カラーパターンボード（基準チャート）を使う。カラーパターンボードを利用する手法には、以下の（Ｂ１）、（Ｂ２）の利点がある。
（Ｂ１）カラーパターンボードを工夫することで、希望する色相のデータを得られる。そのため、色相のほぼ全域のデータを得ることも可能である。
（Ｂ２）カメラ間において対応する色を容易に特定することができる。なお、カメラ“１”、カメラ“２”の２台で同一シーンを撮影したきに、３次元空間中の一点が両カメラに写っているときに、それらの写っている点を対応点と呼ぶ。また、このときの各対応点の色を「対応する色」と呼ぶ。
【００１１】
それに対して、カラーパターンボードを使わずにカメラ間の色の違いを得る手法も存在している。これらの手法には、以下の（Ｃ１）〜（Ｃ３）の利点がある。
（Ｃ１）カラーパターンボードを用意しなくても良い。逆にカラーパターンボードを使うことを想定すると、例えば、サッカー場のような大規模な空間を撮影する場合には、非常に大きなカラーパターンボードが必要となり、これを用意することは容易ではない。
（Ｃ２）カメラ間において、対応する色を撮影された画像内からピックアップするならば、撮影された画像内で実際に使われている輝度のすべてを利用して補正量を求めることも可能である。一方、カラーパターンボードの色だけでは、一部の輝度しか使えない場合もある。このような例としては、外光が入射してくる窓が被写体の脇にある状態の撮影が挙げられる。カラーパターンを被写体付近に置くと、カラーパターンよりも窓のほうが明るく写る。このとき、カラーパターンを撮影してもカラーパターンからは高輝度の領域のデータを得られない。つまり、撮影した画像に高輝度の領域があっても、その領域は補正値の算出に使われないことになる。そのため、この領域の補正量を作成するために何らかの追加処理が必要になってしまう。
（Ｃ３）もし、カラーパターンボードがあっても無くても同じ結果が得られるならば、無いほうが容易なのでよい。
【００１２】
非特許文献１〜３は、カラーパターンボードを使わずにカメラ間の色の違いを得る手法であって、マルチカメラのうちある特定のカメラで撮影された撮影画像（以下、参照画像という）を予め定めておき、他のカメラで撮影した補正対象の撮影画像（以下、対象画像という）が参照画像と同じ色合いになるように補正するものである。このように２台のカメラ間で対応する色を抽出すると、妥当であるとは言えない色ばかりが抽出されてしまう。そこで、これらの方法では、参照画像と対象画像との差分に相当するエネルギを定義して、このエネルギを最小にする対応色を求めてＲＧＢチャンネル毎にルックアップテーブルを算出し、算出したルックアップテーブルを用いて色補正を行っていた。これらの方法には、以下の（Ｄ１）〜（Ｄ４）の利点がある。
（Ｄ１）カラーパターンボードを使用しない。
（Ｄ２）ＲＧＢチャンネルを独立に処理する。
（Ｄ３）非線形の変換で色補正を行う（ルックアップテーブルを利用する）。
（Ｄ４）オクルージョン問題にも対応できる。
【００１３】
前記した非特許文献１、２と、非特許文献３とでは、色補正の手順において相違点が存する。この相違点を具体的に説明するため、マルチカメラが例えば４台のカメラで構成されているものとする（カメラ“０”、カメラ“１”、カメラ“２”、カメラ“３”）。
【００１４】
非特許文献１、２に記載された方法では、カメラ“０”の撮影画像を参照画像として、カメラ“１”、カメラ“２”、カメラ“３”の撮影画像を第１対象画像、第２対象画像、第３対象画像とする場合、「参照画像と第１対象画像」、「参照画像と第２対象画像」、「参照画像と第３対象画像」のすべての組み合わせにおいて、各対象画像は参照画像に色合いが類似するように補正される。ここで、それぞれの補正は互いに独立に行われる。
【００１５】
また、非特許文献３に記載された方法では、初めに例えばカメラ“０”の撮影画像を参照画像として、カメラ“０”に最近接したカメラ“１” を対象画像として調整する。次に、このカメラ“１”の撮影画像を新たに参照画像として、カメラ“１”に最近接したカメラ“２” を対象画像として調整する。以下、同様に、参照画像を次々に変更して、再びカメラ“０”の撮影画像を参照画像とするまで繰り返す。つまり、カメラが一直線に配列されている場合やコの次状に配置されている場合には一往復して、例えば「０→１→２→３→２→１→０」の順番に調整される。また、カメラが円周状に配置されている場合には一周して、例えば「０→１→２→３→０」の順番に調整されることになる。
【特許文献１】特開２００５−４７７６号公報（段落００５６、００５７、図３）
【特許文献２】特開２００４−８８２４７号公報（段落００４７〜００４９、図２）
【非特許文献１】K. Yamamoto, T. Yendo, T. Fujii, M. Tanimoto and D. Suter, “Colour Correction for Multiple-camera System by using Correspondences,” The journal of the institute of Image Information and Television Engineers, vol. 61,no. 2, pp. 213-222, Feb. 2007
【非特許文献２】K. Yamamoto, T. Yendo, T. Fujii and M. Tanimoto, “Colour Correction of Multi-view Video by Using Correspondences,” Forth Symposium on Intelligent Media Integration for Social Information, pp. 65-66, Dec. 2006
【非特許文献３】M. P. Tehrani, A. Ishikawa, S. Sakazawa and A. Koike, “Colour Correction of Multiview Camera System Using Matched Feature Points,” Forum on Information Technology 2007, pp. 371-372, Sep. 2007
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、非特許文献１、２に記載された方法では、仮に、第１対象画像が参照画像に対してプラス側に補正され、かつ第２対象画像が参照画像に対してマイナス側に補正された場合には、「参照画像と第１対象画像との色の強度の差」および「参照画像と第２対象画像との差」が等しくても、「第１対象画像と第２対象画像」との間では、色の強度の差が大きくなり、色合いが類似したものにはならなくなる可能性がある。
また、非特許文献３に記載された方法では、最近接したカメラ間で画像を調整するので、１以上スキップした画像間では、色合いが類似したものにはならない可能性がある。また、対象人物を中心に円周状に配置されている場合には、対象人物の後ろ側の撮影画像と、対象人物の正面側の撮影画像とは著しく異なるので、順番に類似させていったときに著しく異なる画像を前の画像に類似させてしまうと、それを境にその後の画像の色合いが極めて不自然なものとなる。
つまり、従来の方法では、２台のカメラの撮影画像間では妥当な色補正ができるが、マルチカメラ全体では、必ずしも妥当な色補正にはなっていないという問題があった。
【００１７】
本発明は、以上のような問題点に鑑みてなされたものであり、マルチカメラで撮影された各撮影画像が均一となるように設定パラメータを最適化することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の設定パラメータ最適化装置は、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。
【００１９】
かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、画像情報の設定パラメータは、例えば、色の強度や視差のパラメータを示す。そして、設定パラメータ最適化装置は、パワー値算出手段によって、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することでパワー値を算出する。ここで、パワー値算出手段は、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。また、パワー関数は、設定変更用のパラメータベクトルにおける各成分の設定変更値について、対応リストが作成された各撮影画像間の差分を最小化させるための関数である。
【００２０】
そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。したがって、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアのうち、対応リストが作成されたすべての組み合わせを考慮しているので、従来のようにある特定の撮影画像とその他の撮影画像とを単純に組み合わせるだけであったり、また、最近接のカメラに対応した撮影画像間のみを組み合わせるだけであったりする場合の問題点を解消することができる。ここで、選択可能なすべての撮影画像ペアの組み合わせ数は、例えば、マルチカメラを構成するカメラ台数から任意の２台を選択するコンビネーションで与えられる。この設定パラメータ最適化装置は、撮影画像ペアとして選択されたすべての組み合わせに対して画素の対応付けを試み、画素の対応付けがなされたすべての撮影画像ペアから対応リストを作成するので、総パワー値算出手段は、選択可能なすべての撮影画像ペアの組み合わせのうち、実質的に有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対する、パワー値の総和である総パワー値を算出することとなる。
【００２１】
そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。なお、撮影画像間の差分（誤差）を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。
ここで、各撮影画像を同等に扱う場合には、撮影画像ペアの両方の撮影画像のパラメータベクトルの各成分の設定変更値を制御することができる。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。また、特定の撮影画像を参照画像としてパラメータの変更を行わず、かつその他の撮影画像については同等の扱いとして参照画像に合わせて設定変更値を制御することもできる。この場合には、その他の撮影画像は、参照画像に類似すると共に、その他の撮影画像間も類似させることができる。その結果、マルチカメラ全体として撮影画像が均一となる。
【００２２】
また、請求項２に記載の設定パラメータ最適化装置は、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。
【００２３】
かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、カメラの設定パラメータは、例えば、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを示す。
【００２４】
そして、設定パラメータ最適化装置は、パワー値算出手段によって、前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。
【００２５】
また、請求項３に記載の設定パラメータ最適化装置は、請求項２に記載の設定パラメータ最適化装置において、前記画素対応付け手段が、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することとした。
【００２６】
かかる構成によれば、設定パラメータ最適化装置は、カメラの設定パラメータとして、例えば、角度や位置等のカメラ配置のパラメータが変更された場合に、カメラ配置の変更後に撮影された撮影画像を取得し、画素対応付け手段によって、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。
【００２７】
また、請求項４に記載の設定パラメータ最適化装置は、請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、前記総パワー値を算出することとした。
【００２８】
かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として画像ペアパワー値を算出し、算出結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。
【００２９】
また、請求項５に記載の設定パラメータ最適化装置は、請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、前記総パワー値を算出することとした。
【００３０】
かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として算出した画像ペアパワー値を、固定された撮影画像について積算し、積算結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。
【００３１】
また、請求項６に記載の設定パラメータ最適化装置は、請求項１に記載の設定パラメータ最適化装置において、前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うこととした。
【００３２】
かかる構成によれば、設定パラメータ最適化装置は、色の強度を示すパラメータとして、ＲＧＢ３チャンネルに対して個別にパラメータベクトルを扱うことができる。このパラメータベクトルは、例えば、２５６個のパラメータ成分を有し、各成分が０〜２５５のいずれかの値をとりうるように設定することができる。これにより、設定パラメータ最適化装置は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【００３３】
また、請求項７に記載の設定パラメータ最適化プログラムは、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、画素対応付け手段、対応リスト作成手段、パワー値算出手段、総パワー値算出手段、最小化手段として機能させることとした。
【００３４】
かかる構成によれば、設定パラメータ最適化プログラムは、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。そして、設定パラメータ最適化プログラムは、パワー値算出手段によって、前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化プログラムは、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化プログラムは、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。
【発明の効果】
【００３５】
請求項１または請求項７に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となるように補正される。
【００３６】
請求項２に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各カメラのパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。
【００３７】
請求項３に記載の発明によれば、設定パラメータ最適化装置は、カメラ配置のパラメータを最適化することで入力撮影画像が変化したときに、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。
【００３８】
請求項４または請求項５に記載の発明によれば、設定パラメータ最適化装置は、撮影画像ペア間のパワー値として算出した画像ペアパワー値に基づいて、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像を均一化できる。
【００３９】
請求項６に記載の発明によれば、設定パラメータ最適化装置は、各撮影画像が均一となるように色の強度を示すパラメータを最適化するので、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照して本発明の設定パラメータ最適化装置を実施するための最良の形態（以下「実施形態」という）として第１〜第３実施形態について詳細に説明する。
【００４１】
（第１実施形態）
［マルチカメラパラメータ補正装置の構成］
図１は、本発明の第１実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。カメラＶは、被写体を撮影するものであり、撮影した被写体の映像（画像信号）を設定パラメータ最適化装置２に出力している。なお、カメラＶの台数は３台以上であればよく、また、それらの配置は任意である。
【００４２】
マルチカメラパラメータ補正装置１は、設定パラメータ最適化装置２を含み、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０と、補正実行手段４０と、記憶手段５０とを備えている。
【００４３】
設定パラメータ最適化装置２は、被写体を共有する３以上の複数のカメラＶで撮影するマルチカメラから取得した各カメラＶで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するものである。本実施形態では、設定パラメータ最適化装置２は、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０とを備えている。
【００４４】
画素対応付け手段１０は、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素を対応付けるものである。対応付けた点を対応点という。具体的には、画素対応付け手段１０は、一方の撮影画像の画素の座標（ｈ0p，ｗ0p）と、他方の撮影画像の画素の座標（ｈ1p，ｗ1p）とを対応付ける。なお、この具体例は後記する第３実施形態において詳しく説明する。
【００４５】
対応リスト作成手段２０は、撮影画像間で対応付けられた各画素に既にそれぞれ設定されているパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成するものである。具体的には、対応リスト作成手段２０は、一方の撮影画像の対応点の色と、他方の撮影画像の対応点の色、すなわち対応色（ｑ0uとｑ1u、ｕ＝１，２，…，1000など）を、対応付けられたすべての画素にわたって対応付けた対応リストを作成する。なお、この具体例は後記する第３実施形態において詳しく説明する。
【００４６】
テーブル計算手段３０は、パワー値算出手段３１と、総パワー値算出手段３２と、最小化手段３３とを備えている。
【００４７】
パワー値算出手段３１は、対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するものである。具体的には、一方の撮影画像に対応する色の強度の設定変更値（ｃ00，…，ｃ2550）と、他方の撮影画像に対応する色の強度設定変更値（ｃ01，…，ｃ2551）との差分（Ｅin）を最小化させる。ことのとき、パワー関数は（Ｅin＋Ｆik）の形式で表現できる。なお、この具体例は後記する第３実施形態において詳しく説明する。
【００４８】
総パワー値算出手段３２は、対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出するものである。具体的には、総パワー値Ｅ0は、例えば、ΣiΣnＥin（ｉ=０〜２５５，ｎ＝０〜ＫN−１、ＫN＝組み合わせ総数）のように表される。なお、この具体例は後記する第３実施形態において詳しく説明する。
【００４９】
最小化手段３３は、総パワー値を最小化または最大化するように、撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとすることで撮影画像間の差分を最小化させるものである。なお、撮影画像間の差分（誤差）を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。以下では、一例として、総パワー値を最小化することで撮影画像間の誤差を最小化するものとして説明する。ここで、最小化手段３３が総パワー値を最小化させる方法は、特に限定されず、従来公知の方法を利用することができる。例えば、最急降下法（Steepest descent method）や、確率伝播法の１つであるＬＢＰ（Loopy Belief Propagation）法を用いてもよい。なお、ＬＢＰ法については、例えば、「K. P. Murphy, Y.Weiss and M.I.Jordan, Uncertainty in Artificial Intelligence, pages 467-475(1999)」に記載されている。
【００５０】
補正実行手段４０は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力するものである。
【００５１】
なお、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０とは、例えば、ＣＰＵ（Central Processing Unit）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。
【００５２】
記憶手段５０は、例えば、所定のプログラム等を記憶するＲＯＭ（Read Only Memory）を備える。また、記憶手段５０は、画素対応付け手段１０、対応リスト作成手段２０、テーブル計算手段３０および補正実行手段４０による演算処理等に利用されるＲＡＭ（Random Access Memory）等を備える。また、記憶手段５０は、対応リスト記憶部５１と、ルックアップテーブル記憶部５２とを備えている。対応リスト記憶部５１およびルックアップテーブル記憶部５２は、例えば、一般的なハードディスク等から構成される。
【００５３】
対応リスト記憶部５１は、撮影画像ペア毎に画素対応付け手段１０によって対応付けられた対応点の座標等をフレーム別に記憶するものである。
ルックアップテーブル記憶部５２は、最小化手段３３で求められた総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したルックアップテーブルをカメラ毎に記憶するものである。具体的には、カメラ毎のルックアップテーブルは、さらに、ＲＧＢチャンネル別に作成される。なお、この具体例は後記する第３実施形態において詳しく説明する。
【００５４】
なお、設定パラメータ最適化装置２は、例えば、キーボードやマウス等から構成された入力装置Ｍから、各種情報を入力可能に構成され、各種情報の入力状態を、例えば、液晶ディスプレイ等の出力装置Ｄに表示するように構成されている。そのため、マルチカメラパラメータ補正装置１の操作者が、入力装置Ｍを用いて所望の撮影画像ペアの組み合わせを予め指定することも可能である。
【００５５】
［マルチカメラパラメータ補正装置の動作］
図２は、図１に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。マルチカメラパラメータ補正装置１は、画素対応付け手段１０によって、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素の対応付けを、選択可能なすべての撮影画像ペアについて行い（ステップＳ１０１）、対応リスト作成手段２０によって、各画素に既に設定されているパラメータの既設定値により対応リストを、選択可能なすべての撮影画像ペアについて作成する（ステップＳ１０２）。
【００５６】
そして、マルチカメラパラメータ補正装置１のテーブル計算手段３０は、最小化手段３３によって、画素が対応付けられた撮影画像ペアを選択し（ステップＳ１０３）、パワー値算出手段３１によって、パラメータベクトルの各成分についてパワー値をそれぞれ算出する（ステップＳ１０４）。そして、マルチカメラパラメータ補正装置１は、最小化手段３３によってまだ選択されていない撮影画像ペアがある場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０３に戻る。一方、画素が対応付けられた撮影画像ペアをすべて選択した場合（ステップＳ１０５：Ｙｅｓ）、マルチカメラパラメータ補正装置１は、テーブル計算手段３０の総パワー値算出手段３２によって、総パワー値を算出する（ステップＳ１０６）。総パワー値が最小化されていない場合、すなわち、各撮影画像のパラメータベクトルがまだ最適化されていない場合（ステップＳ１０７：Ｎｏ）、マルチカメラパラメータ補正装置１は、最小化手段３３によって、各撮影画像のパラメータベクトルを制御し（ステップＳ１０８）、ステップＳ１０３に戻る。
【００５７】
一方、ステップＳ１０７において、総パワー値が最小化された場合、すなわち、各撮影画像のパラメータベクトルが最適化された場合（ステップＳ１０７：Ｙｅｓ）、マルチカメラパラメータ補正装置１は、最小化手段３３によって、現状の最小状態を与えるときの各パラメータベクトルによりルックアップテーブルを決定する（ステップＳ１０９）。そして、マルチカメラパラメータ補正装置１は、補正実行手段４０によって、ルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力する（ステップＳ１１０）。
【００５８】
＜第１変形例＞
総パワー値算出手段３２は、総パワー値を算出する際に、撮影画像ペアとして対応付けられたすべての組み合わせを考慮するものとして説明したが、撮影画像ペアとして対応づけた撮影画像において、マルチカメラ全体において均一化を図る際に好ましくないような画像（エラー画像）が含まれていた場合には、それを排除することができる。その具体的方法について図３（ａ）を参照して説明する。
【００５９】
この第１変形例では、総パワー値算出手段３２は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出する。そして、総パワー値算出手段３２は、その算出結果が、予め定められた閾値を超えた場合（ケース１）、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段３２は、その算出結果が、撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合（ケース２）、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。
【００６０】
ここで、具体例を説明する。図３（ａ）の４つのブロックは、４台のカメラを示している。なお、ブロック内の数字は、カメラのインデックスを示す。カメラのインデックスが例えば“１”のカメラに固定した場合に、総パワー値算出手段３２は、インデックスが“１”のカメラと“２”のカメラとの画像ペアパワー値Ｅ1,2を算出する。同様に、“１”のカメラと“３”のカメラのカメラペア、“１”のカメラと“４”のカメラとのカメラペアについても画像ペアパワー値Ｅ1,3、Ｅ1,4を算出する。
（ケース１）では、Ｅ1,2、Ｅ1,3、Ｅ1,4のうち、単純に例えばＥ1,4が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
（ケース２）では、集合｛Ｅ1,2、Ｅ1,3、Ｅ1,4｝うち、例えばＥ1,4が集合においてその統計的偏り度が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。統計的偏り度は、例えば、平均値や分散度等である。統計的偏り度の閾値とは、例えば、平均値の±ａ％、分散度の±ασ％のように定義することができる。ここで、ａ、α、σは予め定められた値を示す。
【００６１】
＜第２変形例＞
エラー画像が含まれていた場合の排除方法の例（第２変形例）について図３（ｂ）を参照して説明する。この第２変形例では、総パワー値算出手段３２は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算する。
そして、総パワー値算出手段３２は、その積算結果が、予め定められた閾値を超えた場合（ケース３）、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段３２は、その積算結果が、撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合（ケース４）、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。
【００６２】
ここで、具体例を説明する。図３（ｂ）の４つのブロックは、４台のカメラのいずれか固定した場合の画像ペアパワー値をそれぞれ算出した算出値の積算結果（ΣＥ1,j、ΣＥ2,j、ΣＥ3,j、ΣＥ4,j）を示している。ここで、例えば、ΣＥ1,jは、画像ペアパワー値Ｅ1,2、Ｅ1,3、Ｅ1,4の和を示す。以下、同様である。
（ケース３）では、ΣＥ1,j、ΣＥ2,j、ΣＥ3,j、ΣＥ4,jのうち、単純に例えばΣＥ4,jが閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
（ケース４）では、集合｛ΣＥ1,j、ΣＥ2,j、ΣＥ3,j、ΣＥ4,j｝うち、例えばΣＥ4,jが集合においてその統計的偏り度が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。ここで、統計的偏り度は図３（ａ）で説明したものと同様である。
【００６３】
第１実施形態によれば、設定パラメータ最適化装置２は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとする。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。
【００６４】
（第２実施形態）
図４は、本発明の第２実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。図４に示すマルチカメラパラメータ補正装置１Ａは、撮影画像の画像情報のパラメータの代わりにカメラのパラメータを最適化する点が第１実施形態と異なっている。そのため、マルチカメラパラメータ補正装置１Ａは、図１に示した構成と同様であるが、その機能が異なっている。図４において、同一の構成には同一の符号を付し、以下では、異なる機能のみを説明する。
【００６５】
設定パラメータ最適化装置２Ａは、被写体を共有する複数個のカメラＶで撮影するマルチカメラから取得した各カメラＶで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御するものである。ここで、カメラのパラメータには、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータが含まれる。なお、カメラの角度や位置等を指定するパラメータには、横方向の回転（パン）、上下方向の回転（チルト）、上下方向の移動（ハイト）、カメラを被写体に近づけたり遠ざけたりする移動（ドリー）が含まれる。また、被写体を拡大・縮小するズーム量や被写体にカメラレンズの焦点合わせを行うフォーカス量等のカメラレンズのパラメータを含めてもよい。
【００６６】
画素対応付け手段１０は、カメラＶの設定パラメータの更新により撮影画像間で、共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新する。
【００６７】
対応リスト作成手段２０は、撮影画像ペアに対応して各カメラにそれぞれ設定されている各カメラＶのパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成する。
【００６８】
パワー値算出手段３１は、対応リストが作成された各撮影画像を撮影した各カメラＶに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、対応リストに対応付けられているパラメータの既設定値を適用することで、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。
【００６９】
最小化手段３３は、総パワー値を最小化するように、撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラＶのパラメータベクトルの各成分の設定変更値を制御し、総パワー値が最小状態を与えるときの各パラメータベクトルを、被写体を共有する各カメラＶの設定パラメータとする。
【００７０】
補正実行手段４０は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルから、各カメラの補正されたパラメータを読み込み、各撮影画像を撮影したカメラＶに補正指令信号を出力する。なお、補正実行手段４０が外部に出力する補正後映像とは、補正指令信号に応じて各カメラＶがパラメータを調整した後に、マルチカメラパラメータ補正装置１Ａが、各カメラＶから取得する映像信号を意味する。
【００７１】
第２実施形態によれば、設定パラメータ最適化装置２は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像を撮影したカメラの設定パラメータとする。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。第２実施形態の設定パラメータ最適化装置２は、カメラのパラメータを最適化した後に、第１実施形態で説明したように撮影画像の画像情報のパラメータを最適化すれば、マルチカメラ全体としての撮影画像の均一化にさらに寄与することとなる。
【００７２】
（第３実施形態）
第３実施形態は、設定パラメータ最適化装置２において、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うものである。この場合の設定パラメータ最適化装置２およびそれを含むマルチカメラパラメータ補正装置１の構成は第１実施形態と同様である。ただし、マルチカメラパラメータ補正装置１は、色補正を行うマルチカメラ色補正装置として機能する。したがって、以下では、色補正に必要な色（輝度）の強度のパラメータの最適化、および具体的な色補正について詳細に説明する。
【００７３】
［カメラ間の組み合わせ］
以下では、マルチカメラのカメラＶ間の組み合わせの１つ１つをＶＮ（View Network）として定義し、各組み合わせを総称してＶＮＳ（View Networks）とする。ＶＮは、カメラペアを示す。また、カメラペアを構成する各カメラＶでそれぞれ撮影された撮影画像ペアをも示す。ここで、カメラＶの台数や配置は特に限定されるものではない。
【００７４】
ＶＮＳの具体例を図５に示す。図５に示した例では、マルチカメラパラメータ補正装置１（図１参照）に、６台のカメラ（Ｖ0〜Ｖ5）が接続されているものとする。マルチカメラパラメータ補正装置１（図１参照）が、撮影画像ペアを組み合わせる方法は、大別して２つ挙げられる。
【００７５】
第１の方法は、マルチカメラパラメータ補正装置１（図１参照）が、撮影画像ペアを組み合わせるときに、自動的に6Ｃ2（＝１５）通りの組み合わせをすべて選択し、画素の対応付けが可能なすべての撮影画像ペアから、必要に応じてエラー画像を除去した組み合わせを用いて総パワー値を算出する方法である。この場合、自動選択の結果、図５に示すような９つのＶＮＳ（ＶＮ0〜ＶＮ8）が選択されたものとすることができる。
【００７６】
第２の方法は、マルチカメラパラメータ補正装置１（図１参照）の操作者が、入力装置Ｍを用いて所望の撮影画像ペアの組み合わせ、すなわちＶＮＳ（ＶＮ0〜ＶＮ8）を予め指定する方法である。このときに、所望のカメラ（Ｖ2）で撮影された撮影画像を参照画像に指定することもできる。以下の説明では、撮影画像ペアの組み合わせる方法は、第２の方法、つまり、所望の撮影画像ペアの組み合わせを予め指定しておき、さらに、所望のカメラで撮影された撮影画像を参照画像に指定するものとして説明する。このとき、所望のカメラを「参照カメラ」と呼び、補正対象の対象画像を撮影したその他のカメラを「対象カメラ」と呼ぶことにする。
【００７７】
［色補正についての全体計算手順］
図６は、色補正の流れを示すフローチャートである。図６中の長方形は計算ステップを表し、台形はループを表している。最初にステップ１で、マルチカメラの中から参照カメラとＶＮＳを手動で選ぶ。後のステップで、他のカメラ（対象カメラ）を参照カメラの色に似るように補正するので、ここでは望ましい色合いのカメラを参照カメラとして選ぶことが重要である。
【００７８】
ステップ１の後には、マルチカメラパラメータ補正装置１（図１参照）は、以下のステップを対象カメラごとに行う。
ステップ２では、ある時刻での対象カメラと参照カメラとの対応点を検出する。
ステップ３では、ＲＧＢのチャンネルごとに対応点から対応色を検出する。
ステップ４では、ＲＧＢのチャンネルごとに、補正量を表すルックアップテーブル（ＬＵＴ：lookup table）を算出する。この計算では、３次元空間中に置かれた撮影対象の１点から発する光は、どの方向にも同じ強さで発せられるという規則（ランベルト則：Lambertian condition）を仮定している。言い換えれば、対応点は同じ色になるということを仮定している。
ステップ５では、ＬＵＴを用いてフレームごとに対象カメラの画像（ビデオ映像）の色補正を実行する。
【００７９】
本手法では、ＲＧＢのチャンネルごとにＬＵＴを用意するため、ＲＧＢを独立に、かつ非線形変換で補正できる。また、カラーパターンボードの代わりに、対応点から対応色を求めるため、カラーパターンボードの用意は不変で、かつオクルージョン問題にも対応できる。以下、前記したステップ１〜５について、一般化して説明する。
【００８０】
［ステップ１：事前準備］
ここでは、ステップ２以降の説明で用いるカメラやＶＮＳの記号表記をまとめて説明する。マルチカメラを構成するＫV個のカメラＶk（０≦ｋ＜ＫV）によるカメラ集合を式（１）で示す。ｋはカメラのインデックスである。そして、式（２）に示すように、このうちの１台のカメラを参照カメラＲとする。また、式（３）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を、各カメラＶを併記して一般に（Ｖ0n，Ｖ1n）と表記することとする。ここで、ｎはＶＮＳのインデックスすなわちカメラペア（または撮影画像ペア）のインデックスである。ｎの総数はＫNである（０≦ｎ＜ＫN））。また、Ｖの下付の「０」と「１」は、カメラペア（または撮影画像ペア）のいずれか一方を指す。つまり、（Ｖ0n，Ｖ1n）のカッコ内の「Ｖ0n」、「Ｖ1n」は、式（４）に示すように、カメラ集合の中から対応付けられたカメラペア（または撮影画像ペア）のうちのいずれか一方を指す。
【００８１】
【数１】
0004831514.tif 000002
【００８２】
なお、ステップ２〜５の説明で詳述するが、ここでは、対応付けられたカメラペア（または撮影画像ペア）の中では、Ｖ0nの色合いをＶ1nの色合いに類似させるように補正するものとする。つまり、対応付けられたカメラペア（または撮影画像ペア）の中では、Ｖ1nが基準側としてそのパラメータベクトルは固定され、かつ、Ｖ0nが制御側としてそのパラメータベクトルが変動可能に制御されて双方のエネルギ差を示すパワー値が算出される。Ｖ0nは、参照カメラであっても対象カメラであってもよく、そのパラメータベクトルは固定され、かつ、Ｖ1nは常に対象カメラでなければならずそのパラメータベクトルは変動可能に制御されて、双方の差を示すパワー値が算出される。言い換えると、対象カメラはＶ0nであるときにはそのパラメータベクトルが固定され、Ｖ1nであるときにはそのパラメータベクトルは変動可能に制御される。一方、参照カメラＲはＶ0nになることはできずＶ1nにだけなり得るものであって、そのパラメータベクトルは常に固定されて双方のエネルギ差を示すパワー値が算出される。これにより、参照カメラＲはそのパラメータベクトルが常に固定され、かつ、すべての対象カメラはそのパラメータベクトルは変動可能に制御された状態でＶＮＳ全体の総パワー値が算出されることとなる。
【００８３】
［ステップ２：対応点の抽出］
このステップの目的は、前記した式（３）に示すすべてのＶＮＳすなわちカメラペア（または撮影画像ペア）から対応点リストＰn（ｆ）を作ることである。図７は、画素対応付けの一例を模式的に示す図である。図７は対応点の例を示したもので、図中の太い線は対応点の一部を示している。この例では、人物の「右肩」、「右脇」、「左手」、「左脇」が対応点として抽出されている様子を示したが、実際には数多くの対応点が抽出される。
【００８４】
ここでは、ＳＩＦＴ（Scale Invariant Feature Ttansform）を修正なしで用いた。
ＳＩＦＴとは、ガウスフィルタ処理を施した画像を複数枚つくり、それらから特徴点を抽出し、その特徴点付近の輝度分布から対応点を決定する方法である。なお、ＳＩＦＴについては、「D. G. Lowe、“Distinctive Image Features from Scale-Invariant Keypoints”、International Journal of Computer Vision、vol．60、no．2、p．91-110、Jan．2004」に詳細が記載されているので、ここでは説明を省略する。
【００８５】
対応リスト作成手段２０（図１参照）は、画素対応付け手段１０（図１参照）で対応付けられたＶＮすなわちカメラペアにおいて、撮影画像ペアの中の一方（以下、制御側画像という）Ｉ0n（ｆ）と他方（以下、基準側画像という）Ｉ1n（ｆ）とから、ＳＩＦＴによって、式（５）に示す対応点リストＰn（ｆ）を作る。ここで、Ｉ0n（ｆ）とＩ1n（ｆ）は、Ｖ0nとＶ1nの映像中のｆ番目のフレーム画像をそれぞれ示す。
【００８６】
【数２】
0004831514.tif 000003
【００８７】
式（５）において、（ｈ0p，ｗ0p）はＶ0n側の対応点を示し、（ｈ1p，ｗ1p）はＶ1n側の対応点を示す。また、ｐは対応点のインデックスであり、Ｐn（ｆ）はｆ番目のフレームにおける対応点の個数を示す。式（６）に示すＦは、対応付けられたＶＮすなわちカメラペアの映像におけるフレーム総数である。なお、式（５）および式（６）において、すべてのフレームを用いる表記としたが、これは一例であって必ずしも全フレームを利用する必要はない。
【００８８】
［ステップ３：対応色の抽出］
このステップの目的は、式（５）に示した対応点リストＰn（ｆ）から、対応リスト（対応色のリスト）Ｑnを作ることである。図８はＱnの例を示したものである。図８には、全対応色のほんの一部を例として記載してある。図８（ａ）、図８（ｂ）および図８（ｃ）には、それぞれ、Ｒチャンネル、ＧチャンネルおよびＢチャンネルにおいて、全対応色のほんの一部を例として記載してある。撮影画像から対応点の色を持ってきて対応色として扱うのが、非常にシンプルな方法である。しかしながら、本実施形態では、ガウスフィルタ処理した画像を複数枚つくり、そこから対応色をピックアップすることにした。
【００８９】
ガウスフィルタ処理した２枚の画像から、対応色をピックアップする例を図９に示す。撮影画像から対応点の色をピックアップすると、その対応点には高い空間解像度の色成分が含まれるのと同時に、白色ノイズも含まれることになる。一方、ガウスフィルタ処理でぼかした画像はその反対である。高い空間解像度の色成分も、白色ノイズも含まれない。この両方のメリットを活かすために、複数枚のガウスフィルタ処理した画像からピックアップすることにした。
【００９０】
対応リスト（対応色のリスト）Ｑnは、以下のようにして定式化される。Ｖ0nとＶ1nの映像中のｆ番目のフレーム画像をそれぞれ示す制御側画像Ｉ0n（ｆ）と基準側画像Ｉ1n（ｆ）を式（７）および式（８）で表す。ここで、Ｉor、Ｉog、Ｉobは、制御側画像Ｉ0n（ｆ）のＲＧＢチャンネルをそれぞれ示す。また、Ｉ1r、Ｉ1g、Ｉ1bは、基準側画像Ｉ1n（ｆ）のＲＧＢチャンネルをそれぞれ示す。
【００９１】
【数３】
0004831514.tif 000004
【００９２】
ステップ３はすべての計算をＲＧＢのチャンネル毎に行うので（図６参照）、煩雑さを避けるため、チャンネルを表記しない記号Ａを導入する。つまり、Ｉor、Ｉog、ＩobをＡoに置き換え、Ｉ1r、Ｉ1g、Ｉ1bをＡ1に置き換える。このとき、制御側および基準側でそれぞれガウスフィルタ処理を施した画像Ａ0s、Ａ1sは、式（９）および式（１０）で表される。ここで、ｇ（σ，Ａ）は、Ａにσのガウスフィルタ処理を施す変換関数を示し、ｓ（１≦ｓ≦Ｓ）は、σのインデックスを示している。また、Ｓはガウスフィルタ処理した画像の総数である。なお、σが非常に小さい場合には、ガウスフィルタ処理した画像も撮影画像も同じになる。そのため、本実施形態で「ガウスフィルタ処理した画像」と言う場合には、撮影画像そのものも含めることとする。
【００９３】
【数４】
0004831514.tif 000005
【００９４】
式（９）および式（１０）で表される画像Ａ0s、Ａ1sを用いると、対応リスト（対応色のリスト）Ｑnは、式（１１）のように表される。式（１１）において、（ｑ0u，ｑ1u）はＶ0n側の画像（画像Ａ0sに対応）とＶ1n側の画像（画像Ａ1s）との対応色を示す。ここで、ｕは、対応色リスト中の対応色のインデックスを示し、ＫQnは、対応色リスト中の対応色の総数を示している。
【００９５】
【数５】
0004831514.tif 000006
【００９６】
式（１２）において、ａ0s（ｈp0，ｗp0）は画像Ａ0s（Ｖ0n側の画像）において画像Ａ1s（Ｖ1n側の画像）に対応している対応点（ｈp0，ｗp0）の輝度を示す。また、ａ1s（ｈp1，ｗp1）は画像Ａ1s（Ｖ1n側の画像）においては画像Ａ0s（Ｖ0n側の画像）に対応している対応点（ｈp1，ｗp1）の輝度を示す。
【００９７】
具体的には、例えば、対応点リストＰn（ｆ）のＦフレーム分が３００組の対応点で構成されていて、ガウスフィルタ処理した画像のインデックスｓが「０」である場合（実際には処理していない第０番目の画像＝撮影画像の場合）、Ｒチャンネル用に画像Ａ00および画像Ａ10から３００組の対応色をピックアップすることになる。なお、ｎは、０≦ｎ＜ＫNの範囲で１つに固定されているものとする。
【００９８】
同様に、ＧとＢチャンネル用にも画像Ａ00および画像Ａ10からそれぞれ３００組の対応色をピックアップする。
また、ガウスフィルタ処理した画像のインデックスｓが「１」である場合（第１番目の処理画像の場合）、ＲＧＢ各チャンネル用に画像Ａ01および画像Ａ11から３００組の対応色をピックアップする。
さらに、ガウスフィルタ処理した画像のインデックスｓが「２」である場合（第２番目の処理画像の場合）、ＲＧＢ各チャンネル用に画像Ａ02および画像Ａ12から３００組の対応色をピックアップする。
結局、Ｒチャンネル用の対応リスト（対応色のリスト）Ｑnには、９００組の対応色が作られる。同様に、ＧとＢチャンネル用のＱnに対してもそれぞれ９００組の対応色が作られることになる。
【００９９】
［ステップ４：ルックアップテーブル（ＬＵＴ）の算出］
このステップの目的は、カメラＶkの撮影画像の輝度（ｂik、０≦ｂik＜２５６）から、大よその補正輝度（ｃik、０≦ｃik＜２５６）への修正を表すルックアップテーブル（ＬＵＴ）をカメラ毎に作ることである。このテーブルを、前記した式（１１）に示す対応リスト（対応色のリスト）Ｑnから作る。図１０（ａ）、図１０（ｂ）および図１０（ｃ）には、それぞれ、Ｒチャンネル、ＧチャンネルおよびＢチャンネルにおいて、ＬＵＴの例としてテーブルの最初と最後だけを例として記載してある。図１０において、入力値（Captured）は、撮影画像の輝度（ｂik、０≦ｂik＜２５６）を示し、近似値（approximate）は大よその補正輝度（ｃik、０≦ｃik＜２５６）を示す。
【０１００】
式（１３）は、撮影画像の輝度ｂikと補正輝度ｃikとの関係式である。式（１３）中のｆCkはこのときの変換関数を表す。また、式（１４）は、撮影画像の輝度ｂikの集合Ｂkを示し、式（１５）は、大よその補正輝度ｃikの集合Ｃkを示す。
【０１０１】
【数６】
0004831514.tif 000007
【０１０２】
カメラＶkのルックアップテーブル（ＬＵＴ）は、図１０のようにテーブル状に作成するとき、あるいは、テーブルの各列の値を算出するときには、集合Ｂkと集合Ｃkの両方に相当する。また、カメラＶkのルックアップテーブル（ＬＵＴ）から参照されて実際の補正に用いられる輝度は、式（１５）に示す集合Ｃkである。この意味でルックアップテーブル（ＬＵＴ）というときには、ＬＵＴは集合Ｃkに相当する。したがって、以下では、ルックアップテーブル（ＬＵＴ）のことをＣkと表記することとする。式（１６）は、この意味のルックアップテーブル（ＬＵＴ）Ｃkの集合Ｃを示すものである。集合Ｃの個数は、カメラの個数と同じなので、ＫV個である。なお、本実施形態では、この表記を用いていても文脈によっては、Ｃkが集合Ｂkと集合Ｃkの両方に相当する場合も含まれる場合もある。
【０１０３】
【数７】
0004831514.tif 000008
【０１０４】
このステップ４では、式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃを求める。ただし、参照カメラＲにおいては、撮影画像の輝度ｂikを補正しないので、補正輝度ｃikは、撮影画像の輝度ｂikに固定される。参照カメラＲ（＝Ｖk(R)）が基準側のカメラＶ1nになるようなＶＮＳのインデックスｎにおいては、撮影画像の輝度ｂik(R)は、輝度（パラメータ）の成分を示すインデックスｉ（０〜２５５）と同じ値（成分の値：式（１４）においては、これをあらためてインデックスｎと表記した）に固定されるので、参照カメラＲにおける集合Ｂk(R)も固定である。つまり、参照カメラＲのルックアップテーブル（ＬＵＴ）Ｃk(R)では、特別に、集合Ｂk(R)＝集合Ｃk(R)となる。したがって、実質的には、各対象カメラＶkにおいて、ｂikに対応するｃikの値（変動可能な値）を求めることになる。
【０１０５】
式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃの求め方の概要を図１１に模式的に示す。図１１において、縦長のブロック「view  ０」〜「view  ＫV−１」は、それぞれ、カメラＶ0〜ＶKV-1を示す。なお、view（カメラ）のインデックスは「ｋ」である。また、縦長のブロック「view  ０」〜「view  ＫV−１」の間に配置された「ＶＮ0」〜「ＶＮ2」は、それぞれ、ＶＮ（カメラ間の組み合わせ）すなわちカメラペア（撮影画像ペア）を示す。なお、ＶＮのインデックスは「ｎ」であり、図１１では、一例としてｎ＝０，１，２のみを代表で示した。これは、図５を反映したものに相当する。
【０１０６】
図１１において、縦長のブロック「view  ０」〜「view  ＫV−１」において、丸はノードを示し、カメラＶ0〜ＶKV-1（あるいは各撮影画像）のパラメータベクトルの各成分に相当する。この場合、パラメータベクトルの成分の値は、「ｂik」である。また、縦長のブロック「view  ０」〜「view  ＫV−１」において、ノードに重ねて示した長方形はノードのラベルを示す。この場合、ラベルの値は、「ｃik」である。この値は、テーブル計算手段３０（図１参照）が反復処理を行って総パワー値が最小化された状態によって求められる。
【０１０７】
図１１において、「ＶＮ0」〜「ＶＮ2」を介したカメラ間のノードを接続するリンクは、カメラ間（あるいは各撮影画像）のエネルギＥinを示す。ここで、ｎはＶＮのインデックスである。本実施形態では、エネルギＥinは、式（１７）で定義され、パワー関数に相当する。
また、カメラ内でノード間を接続するリンクは、隣り合うノード間（あるいはパラメータベクトルの隣り合う成分間）のエネルギＦikを示す。ここで、ｋはview（カメラ）のインデックスである。本実施形態では、エネルギＦinは、式（１８）で定義される。
【０１０８】
【数８】
0004831514.tif 000009
【０１０９】
式（１７）のσfと式（１８）のλは、定数パラメータである。式（１７）に示したエネルギＥinを表すグラフを図１２に示す。図１２において、空間を示す３軸のうち幅方向の横軸（ｃi＾（Ｖ0n））は、ＶＮのインデックスが「ｎ」であるカメラペア（撮影画像ペア）の制御側のカメラについてのノードのラベル（輝度の成分がインデックス「ｉ」であるラベル）の値をそれぞれ示す。また、奥行き方向の縦軸（ｃi＾（Ｖ1n））は、ＶＮのインデックスが「ｎ」であるカメラペア（撮影画像ペア）の基準側のカメラについてのノードのラベル（輝度の成分がインデックス「ｉ」であるラベル）の値をそれぞれ示す。ここで、横軸（ｃi＾（Ｖ0n））の値は、縦軸（ｃi＾（Ｖ1n））の値を基準にして求められる。そして、この縦軸（ｃi＾（Ｖ1n））の値は、他のカメラペア（撮影画像ペア）の基準側のカメラについてのノードのラベルの値を基準にして求められるときには横軸に配される。以下、同様に反復される。
【０１１０】
また、図１２に示す残りの高さ方向の軸は、エネルギＥinを示す。エネルギＥinは、平面視の座標で示すと（０，０）から（２５５，２５５）に向けた領域において小さい値となっている（深く窪んでいる）。
【０１１１】
本実施形態では、式（１７）に示したエネルギＥinについてのインデックスｉ，ｎについての総和と、式（１８）に示したエネルギＦikについてのインデックスｉ，ｋについての総和とを加算した結果を、総パワー値とする。この総パワー値は、前記した式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃを変化させたときに、式（１９）の右辺のargmin関数において最小化させる対象となる。また、式（１９）の左辺のｆCは、式（２０）で定義され、前記した式（１３）に示したカメラＶk毎の変換関数ｆCkの集合を示す。つまり、式（１９）の右辺に示した総パワー値が最小となるときに、式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃが、式（１９）に示す変換関数の集合ｆCとして求められることとなる。
【０１１２】
【数９】
0004831514.tif 000010
【０１１３】
本手法は、誤対応に強いだけではなく、サブピクセル問題にも強いと言える。前記したステップ３においては、対応色をピックアップするのにガウスフィルタ処理した画像を用いた。そのため、対応点の中にはシャープな画像からピックアップされたものもあれば、ぼけた画像からのものもある。サブピクセルの場合には、誤った「対応する色」がシャープな画像から得られ、正しいものがぼけた画像から得られることになる。一方、サブピクセルでない場合には、より正しい「対応する色」がシャープな画像から得られ、そうでないものがぼけた画像から得られることになる。結局、対応点リストＱnには、正しいものとそうでないものが含まれることになる。ステップ４ではすべての対応点が使われる。しかしながら、ステップ４によれば、カメラ間で正しい「対応する色」から作られるエネルギＥinは集まり、そうではない「対応する色」から作られるエネルギＥinは散らばるため、そうではない「対応する色」をわざわざ選別しなくても自動的に選別される。その結果、すべての対応点を使ったとしてもＬＵＴの質には影響しないことになる。つまり、妥当なＬＵＴが生成される。
【０１１４】
さらに、ガウスフィルタ処理した画像の数を増やすことにより、正しい対応色が得られる確率が高くなる。例えば、ＲＧＢのチャンネル毎にそれぞれ９００組の対応色が、対応リスト（対応色のリスト）Ｑnにある場合、前記した式（１７）に示すエネルギＥinにおいて、ＫQnが９００となり、ｕについて９００回の加算が行われるからである。
【０１１５】
［ステップ５：画像の色補正の実行］
このステップの目的は、ＬＵＴ Ｃkを用いて、対象カメラＶkの撮影画像Ａから、補正後画像Ｚを作ることである。このことは、厳密には、カメラペア（撮影画像ペア）で考えたときに、対象カメラＶkが制御側であるのか基準側であるのかによって式（２１）または式（２２）のように定式化される。なお、式（２１）のＡo（ｈ，ｗ）は、制御側画像Ｉ0n（ｆ）のＲＧＢチャンネル（Ｉor、Ｉog、Ｉob）の（ｈ，ｗ）であり、式（２２）のＡ1（ｈ，ｗ）は、基準側画像Ｉ1n（ｆ）のＲＧＢチャンネル（Ｉ1r、Ｉ1g、Ｉ1b）の（ｈ，ｗ）である。
【０１１６】
【数１０】
0004831514.tif 000011
【０１１７】
第３実施形態によれば、設定パラメータ最適化装置２は、色の強度を示すパラメータとして、ＲＧＢ３チャンネルに対して個別にパラメータベクトルを扱うことができる。したがって、設定パラメータ最適化装置２は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【０１１８】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、第３実施形態では、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを一例として説明したが、色の強度の代わりに、輝度や色彩を扱ってもよい。また、色に限定されることなく、例えば、視差をパラメータとして最適化するようにしてもよい。
【０１１９】
視差に関してマルチカメラ全体として撮影画像を均一化することは、カメラの配置にも依存している。例えば、カメラがマトリックス状に配置されたマルチカメラであれば、以下のようなものが想定される。隣り合ったカメラペアの撮影画像において着目している被写体の位置の差分（画像間差分）と、当該カメラペアの一方を含むような隣り合ったカメラペアにおける別の画像間差分とを類似させることが、視差に関してマルチカメラ全体として撮影画像を均一化することとなる。これによれば、カメラペアからステレオ視で取得される対象物までの距離情報が、どのカメラペアを選択しても均一な値として取得可能となる。
【０１２０】
また、設定パラメータ最適化装置２は、一般的なコンピュータを、前記した画素対応付け手段１０と、対応リスト作成手段２０と、パワー値算出手段３１と、総パワー値算出手段３２と、最小化手段３３として機能させるプログラム（設定パラメータ最適化プログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、設定パラメータ最適化装置２と同等の効果を奏することができる。
【実施例】
【０１２１】
本発明の効果を確認するために、第３実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置について実験を行った。
［予備実験］
＜実験方法＞
最終結果（色補正された画像）の表示だけでは、マルチカメラ全体においてカメラ間の色合いがどの程度均一化されたことになるのかを客観的に示す数値を提示できないので、予め定められた割合の数値を指標として改善効果を調べる予備実験を行った。
予備実験では、「ファジー（Fuzzy）」というテストシーケンスと、これを用いた「歪んだファジー（Distorted fuzzy）」というテストシーケンスとを作成した。
【０１２２】
ファジー（Fuzzy）には、以ドの（Ｔ１）〜（Ｔ７）の特徴がある。
（Ｔ１）ファジーは、８枚の画像で構成されている。
（Ｔ２）８枚の画像を図１３に示すように左側から右側に向けて順に画像Ｆ0，画像Ｆ1，…，画像Ｆ7とする。なお、図１３では、両端を除く６枚の図示を省略した。
（Ｔ３）８枚の画像は、１台のカメラによって撮影されたものである。
（Ｔ４）高精度な移動装置にカメラを取り付けて、わずかに横方向に移動させては止めるという動作を８回繰り返し、止めた際に被写体を撮影した。
（Ｔ５）止める度に１０回ずつ撮影し、止めた際の１０回の平均画像を１枚の画像として８枚の画像を生成した。そのため、ファジーには、カメラの受光素子などで発生するホワイトノイズは無い。
（Ｔ６）撮影中には、照明などの環境は変化してない。
（Ｔ７）ファジー（Fuzzy）という名称の由来は、カメラの前にたくさんの物を乱雑に置いたためである。
【０１２３】
歪んだファジー（Distorted fuzzy）ｇΓ（Ｆk）は、式（２３）に示すように、ガンマ曲線と線形で変換して作成した。ここで、ｆγはγでのガンマ曲線変換を表している。また、ｋ＝０，１，…，７である。
【０１２４】
【数１１】
0004831514.tif 000012
【０１２５】
前記パラメータ（γ，ａ，ｂ）の値を決めた後に、Ｆkの全ピクセルをｇΓ（・）で変換して歪んだファジー（Distorted fuzzy）を作成した。図１４に、Ｆkと変換関数ｇΓ（Ｆk）との関係を示すグラフ形状の例を示した。図１４（ａ）はγ＜１の場合、図１４（ｂ）はγ＝１の場合、図１４（ｃ）はγ＞１の場合をそれぞれ示している。
【０１２６】
ファジーは、前記した（Ｔ１）〜（Ｔ７）の特徴を有しているので、ファジーに対して以下の（Ｕ１）の処理および（Ｕ２）の処理を行った後の画像（補正後画像）は、その処理を行う前の画像（つまりファジーのオリジナル画像）と同じであるか、または、よく似ると想像される。
（Ｕ１）ファジーのうちの１枚（例：Ｆ0）を、ガンマ曲線変換などで歪ませる。
（Ｕ２）ファジーのうちの他の１枚（例：Ｆｌ）を参照画像（参照カメラＲで撮影した撮影画像に相当する画像）として、（Ｕ１）で作成した「歪んだ画像」の色合いを参照画像に類似させるように色補正する。
【０１２７】
この予備実験では、ファジーのオリジナル画像と、その補正後画像との類似度を、ＰＳＮＲ（Peak Signal to Noise Ratio）により測定した。ＰＳＮＲは、画像の信号と混入したノイズとの比率を示すものである。予備実験では、ＲＧＢチャンネルそれぞれについてＰＳＮＲ［ｄＢ］を測定し、式（２４）に示すように、各チャンネルのＰＳＮＲの平均をＰＳＮＲrgbとして評価に用いた。
【０１２８】
【数１２】
0004831514.tif 000013
【０１２９】
ファジーＦk（ｋ＝０，１，…，７）に対して、式（２３）に示す変換関数を適用することで、式（２５）に示すＧk（ｋ＝０，１，…，７）を準備した。ここでは、インデックスｋに応じて、式（２６）〜式（３０）に示すように、ガンマ曲線関数（Γ）を変化させている。例えば、式（２６）は、ｋ＝０，２，４，６に対して、ガンマ曲線関数（Γ）は、γ＝0,8、ａ＝0.7、ｂ＝20となっている。式（２５）に示すＧk（ｋ＝０，１，…，７）は、実際には複数のカメラで撮影した画像を歪ませたものではないが、複数のカメラＶkで撮影した画像を歪ませた画像に相当することになる。
【０１３０】
【数１３】
0004831514.tif 000014
【０１３１】
また、実際には複数のカメラはないが、８個のカメラＶk（０≦ｋ＜８）によって、マルチカメラが構成されているものと想定したときのカメラ集合を式（２９）で示す。以下、同様である。ここで、ｋはカメラのインデックスである。カメラ集合Ｖは、撮影画像集合に対応するので、ファジー（８枚のオリジナル画像）に相当することとなる。そして、式（３０）に示すように、インデックスｋが「３」であるカメラを参照カメラＲであるものと想定する。これは、ファジーのうち、インデックスｋが「３」である画像Ｆ3に相当することとなる。
【０１３２】
【数１４】
0004831514.tif 000015
【０１３３】
また、式（３１）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を定義する。
つまり、カメラ間の組み合わせ、すなわちカメラペア（撮影画像ペア）を１８組として予め指定した。これは、ファジーのうち、カメラのインデックスに対応したインデックスｋに関して、１８組の画像ペアを作ることに相当する。
【０１３４】
【数１５】
0004831514.tif 000016
【０１３５】
前記した式（２５）〜式（３１）の条件の下、マルチカメラパラメータ補正装置１（図１参照）は、テーブル計算手段３０によって、カメラのインデックスｋに対応して、ＲＧＢ各チャンネル毎に、式（３２）に示すルックアップテーブル（ＬＵＴ）Ｃkを算出した。
【０１３６】
【数１６】
0004831514.tif 000017
【０１３７】
ここで、８枚の撮影画像が同一視点の画像であればＰＳＮＲを容易に測定することができる。この場合、比較したい２枚の画像について、一方の画像をその画像のＬＵＴに対応した変換関数ｆで変換した補正画像と、他方の画像をその画像のＬＵＴに対応した変換関数ｆで変換した補正画像とからＰＳＮＲを測定する。しかしながら、８枚の撮影画像は、多視点に対応しているので前記した単純な組み合わせ方法ではＰＳＮＲを測定できない。そこで、補正実行手段４０（図１参照）は、前記した式（２５）に示すガンマファイルタ処理された画像Ｇk（ｋは、０≦ｋ＜８のいずれか）を、式（３３）に示すように、ＬＵＴ  Ｃk（ｋは、０≦ｋ＜８のそれぞれ）に対応した変換関数ｆCk（ｋは、０≦ｋ＜８のそれぞれ）で変換することで、対応する補正画像Ｈk（ｋは、０≦ｋ＜８のいずれか）を求めた。
【０１３８】
【数１７】
0004831514.tif 000018
【０１３９】
式（３３）において、画像Ｇkと対応する補正画像Ｈkのインデックスｋは共通である（ｋは、０≦ｋ＜８のいずれか、例えばｋ＝７）。一方、変換関数ｆ中のインデックスｋは、０≦ｋ＜８のそれぞれである。これは、従来からの通例にしたがった表記である。
【０１４０】
次に、インデックスｋが「７」である画像を対象にして、ＰＳＮＲを測定した。ここでは、インデックスｋが「７」である画像について、ＬＵＴ  Ｃk（ｋは、０≦ｋ＜８のそれぞれ）に対応した変換関数ｆCk（ｋは、０≦ｋ＜８のそれぞれ）でそれぞれ変換した補正画像を、式（３４）に示すように、Ｈk7のように表記することとする。ここで、上付の「７」は、画像のインデックスを示し、下付の「ｋ」は変換関数ｆ中のインデックスｋ（０≦ｋ＜８のいずれか）を示す。例えば、Ｈ77は、インデックスｋが「７」である画像について、ＬＵＴ  Ｃ7に対応した変換関数ｆC7で変換した補正画像を示す。ちなみに、参照カメラのインデックスｋを「３」としたので、ここで想定するｋ＝７のカメラ（画像）は、対象カメラ（対象画像）である。
【０１４１】
【数１８】
0004831514.tif 000019
【０１４２】
式（３４）中のｆCk（ｇΓk（・））は、理想的には１つに識別される変換関数となるべきである。すなわち、ｆCk（ｇΓk（・））は、ｋに関わらずにすべての補正画像Ｈk7に対して、同じであるべきである。しかしながら、従来知られている他の手法では、ｆCk（ｇΓk（・））は、すべての補正画像に対して同じであるものとして取り扱うものでは決してない。仮に、隣り合った２つのカメラにおいてｆCk（ｇΓk（・））が同じであるならば、マルチカメラの視点変更時（カメラの切り替え時）に視聴者が不自然さを感じなくすることが可能となる。このとき、補正画像Ｈ77と補正画像Ｈk7との間のＰＳＮＲrgbの数値は、ｋによらずに同様なものとなるはずである。
【０１４３】
［実験結果］
補正画像Ｈ77および補正画像Ｈk7のＰＳＮＲrgbの測定結果を図１５に示す。
本手法（実施例）の比較例として、参照画像の色合いに類似させるように参照画像に対してその他の対象画像を独立に補正する手法（非特許文献１の手法）を用いた。これに対して、本手法（実施例）は、参照画像の色合いに対象画像を類似させつつ対象画像どうしの色合いをも類似させる手法である。
【０１４４】
図１５に示すように、比較例のＰＳＮＲrgbは、１行目と７行目、つまり、（Ｈ77，Ｈ07）、（Ｈ77，Ｈ67）の２通りの場合に、ＰＳＮＲrgbの数値が、他の５通りの場合に比べて著しく小さくなった。このことは、補正画像間の関係は、ときどき劣化する場合があることを意味する。このような外れ値が生じた理由としては、比較例は、実施例と異なって、参照カメラ（参照画像）と当該対象カメラ（対象画像）との間の一対一の対応だけを考慮して各カメラに対するルックアップテーブルを独立に算出したためであると考えられる。結論として、対象カメラ間（Ｈ77，Ｈk7）でＰＳＮＲrgbを計算したときには、ＰＳＮＲrgbがときどき小さくなる場合がある。
【０１４５】
しかしながら、実施例で得られたＰＳＮＲrgbのそれぞれの数値（７通り）は、ばらつきが小さく、外れ値らしきものもなく、さほど変わらない値になっている。このことは、実施例における補正画像間の関係は、比較例における補正画像間の関係よりも良好であることを意味する。そして、このことを示すことが、本実施例を用いた予備実験の目的でもあったのである。なお、実施例のＰＳＮＲrgbの平均値（３１．９）は、比較例の平均値（３３．５）より小さい。このことは本当の最小でなく、極小（いわゆるローカルミニマム）を最小と扱った可能性が高いことを示唆している。したがって、最小化する処理をさらに行うことが望ましい。
【０１４６】
［本実験］
マルチカメラパラメータ補正装置１（図１参照）を用いて、実写のマルチカメラ映像についての色補正を行った。具体的には、５個のカメラＶk（０≦ｋ＜５）によって、マルチカメラを構成した。このときのカメラ集合を式（３５）で示す。そして、式（３６）に示すように、インデックスｋが「０」であるカメラを参照カメラＲであるものとした。また、式（３７）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を定義した。つまり、カメラ間の組み合わせ、すなわちカメラペア（撮影画像ペア）を１０組として予め指定した。この組み合わせは、５台のカメラについての実質的な全組み合わせになっている（１０＝5Ｃ2）。
【０１４７】
【数１９】
0004831514.tif 000020
【０１４８】
このときに利用した撮影画像を図１６に示し、実験結果を図１７に示す。
図１６（ａ）〜図１６（ｅ）は、各カメラＶ0〜Ｖ4で撮影された撮影画像を模式的に示す図である。ここでは、５枚の撮影画像の色合いが向上することを強調し、かつ簡単に説明するために、以下のように、簡略化した。すなわち、各撮影画像に表示されている人物の上着の右半身側のハッチング領域が一様にある色（ＲＧＢチャンネルを合成した色）になっているものとする。そのとき、ハッチングの本数が多いほど色の強度が大きいことを示すものとする。また、色の強度は、実際の結果を正確に反映するものではない。さらに、５枚の撮影画像に写る人物の画面上の大きさ、向きおよび配置は、カメラの配置を正確に反映するものではない。図１７（ａ）〜図１７（ｅ）は、図１６（ａ）〜図１６（ｅ）にそれぞれ対応するものであり、その表示方法は図１６と同様である。
【０１４９】
撮影画像については、図１６（ａ）〜図１６（ｅ）に示すように、カメラＶ0（参照カメラ）で撮影された参照画像（以下、単に画像Ｖ0のように表記する）の色の強度を基準にすると、画像Ｖ1の強度は非常に大きく、画像Ｖ2の強度は非常に小さい。また、画像Ｖ3，Ｖ4の強度はある程度大きい。したがって、マルチカメラ全体では色合いが大きく異なる。
【０１５０】
一方、補正画像については、図１７（ａ）に示すように、画像Ｖ0については変化はない。図１７（ｂ）に示すように画像Ｖ1の強度は補正前に比べて小さくなって画像Ｖ0の強度に近づいている。図１７（ｃ）に示すように画像Ｖ2の強度は補正前に比べて大きくなって画像Ｖ0の強度に近づいている。図１７（ｄ）に示すように画像Ｖ3の強度は補正前に比べて非常に小さくなっているが、画像Ｖ0の強度との差分はあまり変化していない。図１７（ｅ）に示すように画像Ｖ4の強度は補正前に比べて小さくなって画像Ｖ0の強度に近づいている。したがって、マルチカメラ全体として撮影画像が均一となるように補正され、色合いが均一化されている。なお、図１７では正確な色合いの変化を表現することはできないが、正確な色合いおよび詳細な実験結果については、「K. Yamamoto and R. Oi，“Color Correction for Multi-view Video by Minimizing Energy of View Networks”，ACCV’07 Workshop on Multi-dimensional and Multi-view Image Processing，2007年11月19日」に記載されている。
【図面の簡単な説明】
【０１５１】
【図１】本発明の第１実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。
【図２】図１に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。
【図３】エラー処理を説明するための説明図である。
【図４】本発明の第２実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。
【図５】カメラペアを模式的に示す図である。
【図６】色補正の流れを示すフローチャートである。
【図７】画素対応付けの一例を模式的に示す図である。
【図８】撮影画像間のＲＧＢチャンネルのパラメータの対応リストを模式的に示す図である。
【図９】ガウスフィルタ処理を施した画像を模式的に示す図である。
【図１０】撮影画像のＲＧＢチャンネルのルックアップテーブルを模式的に示す図である。
【図１１】ルックアップテーブルの決定方法を説明するための図である。
【図１２】対応色で作られるエネルギの一例を模式的に示すグラフである。
【図１３】予備実験で用いた撮影画像を模式的に示す図である。
【図１４】画像の色強度と変換関数との関係を示すグラフ形状の例を示す図である。
【図１５】予備実験の実験結果を示す表である。
【図１６】実験で用いた撮影画像を模式的に示す図である。
【図１７】実験結果の補正画像を模式的に示す図である。
【符号の説明】
【０１５２】
１（１Ａ）  マルチカメラパラメータ補正装置
２（２Ａ）  設定パラメータ最適化装置
１０    画素対応付け手段
２０    対応リスト作成手段
３０    テーブル計算手段
３１    パワー値算出手段
３２    総パワー値算出手段
３３    最小化手段
４０    補正実行手段
５０    記憶手段
５１    対応リスト記憶部
５２    ルックアップテーブル記憶部
Ｖ      カメラ
Ｍ      入力装置
Ｄ      出力装置
【図１】
0004831514.tif 000021
【図２】
0004831514.tif 000022
【図３】
0004831514.tif 000023
【図４】
0004831514.tif 000024
【図５】
0004831514.tif 000025
【図６】
0004831514.tif 000026
【図７】
0004831514.tif 000027
【図８】
0004831514.tif 000028
【図９】
0004831514.tif 000029
【図１０】
0004831514.tif 000030
【図１１】
0004831514.tif 000031
【図１２】
0004831514.tif 000032
【図１３】
0004831514.tif 000033
【図１４】
0004831514.tif 000034
【図１５】
0004831514.tif 000035
【図１６】
0004831514.tif 000036
【図１７】
0004831514.tif 000037