(57)【要約】【課題】マルチカメラの境界に対する及び／又は多重表示された重複しているか又は重複に近い複合画像の色及び明るさを正規化し、変更する方法を提供する。【解決手段】複合画像を形成する二つのソース画像間の色差は、各ソース画像領域からカラーピクセルを観察し、各ソース画像のピクセルによって形成された色空間内のクラスタの重心を決め、領域間のベクトル色差の尺度である重複するか又は重複に近いソース画像領域についてのクラスタの重心間の差を決めることによって、推定される。少なくとも二つの重複するソース画像領域間のベクトル色差は、これらの画像全体に渡って補間又はマッピングされる。【選択図】      図４
2005004776.tif 000002
【特許請求の範囲】
【請求項１】
複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、
第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、
前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるステップと、
各色分布のクラスタの重心を決めるステップと、
ソース画像の重心間の差を決めるステップと、
差の補間に基づいて、前記複合画像について各ソース画像の色を調節するステップと、を備えた、
方法。
【請求項２】
前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えた、請求項１に記載の方法。
【請求項３】
他のソース画像と重複する各ソース画像の色分布の重心を決めるステップをさらに備えた、請求項２に記載の方法。
【請求項４】
前記複合画像を構成する重複する画像の数が二つよりも多い、請求項１に記載の方法。
【請求項５】
前記差の補間に基づく各ソース画像の色の調節が前記複合画像全体に渡る、請求項１に記載の方法。
【請求項６】
前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項１に記載の方法。
【請求項７】
複合画像を構成する個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、
第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、
前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるステップと、
各色分布のクラスタの重心を決めるステップと、
ソース画像の重心間の差を決めるステップと、
前記差の一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節するステップと、を備えた、
方法。
【請求項８】
前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えた、請求項７に記載の方法。
【請求項９】
前記他のソース画像と重複する各ソース画像の色分布の重心を決めるステップをさらに備えた、請求項８に記載の方法。
【請求項１０】
前記複合画像を構成する重複する画像の数が二つよりも多い、請求項７に記載の方法。
【請求項１１】
前記差の補間に基づく各ソース画像の色の調節が前記複合画像全体に渡る、請求項７に記載の方法。
【請求項１２】
前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項７に記載の方法。
【請求項１３】
複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、
第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、第一分布決定要素と、
前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための、第二分布決定要素と、
各色分布のクラスタの重心を決めるための、重心決定要素と、
ソース画像の重心間の差を決めるための、差決定要素と、
差の補間に基づいて、前記複合画像について各ソース画像の色を調節するための、調節要素と、を備える、
システム。
【請求項１４】
前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるための、第三分布決定要素をさらに備える、請求項１３に記載のシステム。
【請求項１５】
前記重心決定要素が、他のソース画像と重複する各ソース画像の色分布の重心を決める、請求項１４に記載のシステム。
【請求項１６】
前記複合画像を構成する重複する画像の数が二つよりも多い、請求項１３に記載のシステム。
【請求項１７】
前記差の補間に基づく各ソース画像の色の調節が複合画像全体に渡る、請求項１３に記載のシステム。
【請求項１８】
前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項１３に記載のシステム。
【請求項１９】
複合画像を構成する個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、
第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、第一分布決定要素と、
前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための、第二分布決定要素と、
各色分布のクラスタの重心を決めるための、重心決定要素と、
ソース画像の重心間の差を決めるための、差決定要素と、
前記差の一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節するための、調節要素と、を備える、
システム。
【請求項２０】
前記複合画像を構成する前記個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるための、第三分布決定要素をさらに備える、請求項１９に記載のシステム。
【請求項２１】
前記重心決定要素が、他のソース画像と重複する各ソース画像の色分布の重心を決める、請求項２０に記載のシステム。
【請求項２２】
前記複合画像を構成する重複する画像の数が二つよりも多い、請求項１９に記載のシステム。
【請求項２３】
前記差の補間に基づく前記各ソース画像の色の調節が前記複合画像全体に渡る、請求項１９に記載のシステム。
【請求項２４】
前記差の補間に基づく前記各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項１９に記載のシステム。
【請求項２５】
複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するコンピュータプログラムであって、
第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めることと、
前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めることと、
各色分布のクラスタの重心を決めることと、
ソース画像の重心間の差を決めることと、
差の補間に基づいて、前記複合画像について各ソース画像の色を調節することと、を含む、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、デジタル画像処理に関連した発明であり、特に複数のソースからの画像の色の正規化に関する。すなわち、本発明は、複合画像の色を変更する方法、システム及びこれを実行するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
複数のデジタル画像を結合して拡張された画像モザイクにする、種々の方法及びシステムが存在する。これは、たとえば継ぎ目又は他の結合特徴のない、単一の画像のように見える複合画像又はモザイクを生じるように達成されることが望ましい。重複しているか又は重複に近い隣接している画像部分間の境界は、しばしばコントラスト、強度、解像度、及び色についてかなり差を有し、複合画像又はモザイクにおいて視認可能な継ぎ目として現れる。
【０００３】
マルチカメラビデオシステムは、典型的には色較正を必要とする。すべてのビデオカメラのカラーバランス及びシャッター速度を較正することには、時間の消費という欠点があり、マルチカメラシステムのダイナミックレンジを犠牲にする可能性がある。さらに、屋外の環境では、あるカメラの画像領域には直射日光があり、他のカメラの画像領域には種々の程度の陰があるという状況は避け難い。すべてのカメラが一定のシャッター速度を用いる場合には、直射日光のあるカメラの画像領域は露出過度になる傾向があり、他のカメラの画像領域は露出不足になる傾向がある。しかしながら、隣接するカメラの利得がかなり異なる場合には、大きいダイナミックシーン明暗度レンジを補償するために自動利得制御を使用すると、好ましくない画像の継ぎ目を生じる可能性がある。
【０００４】
特許文献１０では、たとえば、複合又はモザイク画像を形成する個々の画像間の重複する領域内の色彩間の比較に基づいて、カラー画像を組み合わせる。二つの重複する画像については、特許文献１０では、第二の画像の色を調整する、ＲＧＢ複合信号間の色空間アフィン変換を決定するために、画像重複領域に対して最小二乗のフィットを実行し、画像重複領域内の第二の画像の色は、第一の画像重複領域の色と最もよく調和する。結果として生じるアフィン変換は、次に第二の画像の全体に適用される。目的関数の二つよりも多い重複画像への拡張は、アフィン変換を一つを除くすべての画像に起因させることによって実行され、ここで、変換は未変換の又は参照の画像についてであり、次に二乗されたＲＧＢ色差をすべての重複領域内のすべてのピクセルへ加算することによって実行される。
【０００５】
たとえば、特許文献１５では、二つの画像の色を補正するために、カラー画像を組み合わせて画像間の重複領域内の情報を使用する。重複領域でのカラーバンドの望ましくないアーチファクトを補償するために、画像の色は重複領域からのピクセル情報に基づいて調節され、二つの画像を互いに整列させるようにする。重複領域内の明るさ、コントラスト及びガンマパラメータが、画像の色の強度を修正するために用いられる。特許文献１５では、フルカラー補正が重複領域内で実行されるように、色補正を次第に減少させる。重複する領域の外側では、補正の一部のみが実行され、この補正の一部は、重複領域からのピクセルの距離が増加するに従って、１００％から０％まで次第に減少することが望ましい。
【０００６】
たとえば、特許文献１３では、カラー画像を含む第一及び第二のデジタル画像を処理し、重複する画像の中身が、共通の画像データを含む重複領域を定義する。重複領域内のカラー画像のピクセルデータは処理されて、複合画像を生じる。
【０００７】
【特許文献１】米国特許第４，９０７，０７５号
【特許文献２】米国特許第５，０４７，８４２号
【特許文献３】米国特許第５，１４０，４１２号
【特許文献４】米国特許第５，４３２，７１２号
【特許文献５】米国特許第５，５２８，２９０号
【特許文献６】米国特許第５，６１１，０００号
【特許文献７】米国特許第５，７４５，３０５号
【特許文献８】米国特許第５，８３５，０９９号
【特許文献９】米国特許第５，９９３，００１号
【特許文献１０】米国特許第６，０７５，９０５号
【特許文献１１】米国特許第６，１４８，１１８号
【特許文献１２】米国特許第６，２１５，９１４号
【特許文献１３】米国特許第６，２７８，４６３号
【特許文献１４】米国特許第６，３３１，８６０号
【特許文献１５】米国特許第６，３４９，１５３号
【特許文献１６】米国特許第６，３８５，３４９号
【特許文献１７】米国特許第６，３９６，９６０号
【特許文献１８】米国特許第６，４６３，１７２号
【非特許文献１】ジェイ．フット（Ｊ．Ｆｏｏｔｅ）及びディ．キンバー（Ｄ．Ｋｉｍｂｅｒ）著「フライカム：実用的なパノラマビデオ（ＦｌｙＣａｍ：  Ｐｒａｃｔｉｃａｌ  Ｐａｎｏｒａｍｉｃ  Ｖｉｄｅｏ．）」マルチメディアについてのＩＥＥＥ国際会議及び博覧会の予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ）、コラムＩＩＩ、Ｐ．１４１９〜１４２２、２０００年
【非特許文献２】ニコレスク、エム．（Ｎｉｃｏｌｅｓｃｕ，Ｍ）及びメディオーニ、ジー．（Ｍｅｄｉｏｎｉ，Ｇ）著「電子的パン−チルト−ズーム：インテリジェントルームシステムへのソリューション（Ａ  Ｓｏｌｕｔｉｏｎ  ｆｏｒ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｏｍ  Ｓｙｓｔｅｍｓ）」マルチメディアについてのＩＥＥＥ国際会議及び博覧会の予稿集（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ）、第３巻、Ｐ．１５８１〜１５８４、２０００年
【非特許文献３】アイムーブ．コムプレスリリース（ｉＭｏｖｅ．ｃｏｍ  ｐｒｅｓｓ  ｒｅｌｅａｓｅ）「ｉＭｏｖｅが第二世代球形ビデオカメラを発表（ｉＭｏｖｅ  Ｒｅｌｅａｓｅｓ  ２ｎｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｓｐｈｅｒｉｃａｌ  Ｖｉｄｅｏ  Ｃａｍｅｒａ」２０００年１２月１２日、ｈｔｔｐ：／／ｗｗｗ．ｉｍｏｖｅｉｎｃ．ｃｏｍ／０７／ｎｅｗｓ＿ａｎｄ＿ｅｖｅｎｔｓ／ＸＸｖｉｅｗ＿ｒｅｌｅａｓｅ．ａｓｐ？ｒｅｌｅａｓｅ＝ｉＭｏｖｅ＋Ｒｅｌｅａｓｅｓ＋２ｎｄ＋Ｇｅｎｅｒａｔｉｏｎ＋Ｓｐｈｅｒｉｃｈａｌ＋Ｖｉｄｅｏ＋Ｃａｍｅｒａ
【非特許文献４】ラスカー、アール．（Ｒａｓｋａｒ，Ｒ．）、ウェルチ、ジー．（Ｗｅｌｃｈ，Ｇ）及びフッチ、エッチ．（Ｆｕｃｈｓ，Ｈ）「画像ワーピング及び強度混合を用いた、継ぎ目なしの撮影の重複（Ｓｅａｍｌｅｓｓ  Ｐｒｏｊｅｃｔｉｏｎ  Ｏｖｅｒｌａｐｓ  Ｕｓｉｎｇ  Ｉｍａｇｅ  Ｗａｒｐｉｎｇ  ａｎｄ  Ｉｎｔｅｎｓｉｔｙ  Ｂｌｅｎｄｉｎｇ）」仮想システム及びマルチメディアについての第４回国際会議、日本国岐阜県、１９９８年１１月、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｕｎｃ．ｅｄｕ／〜ｓｔｃ／ｐｕｂｓ／ＶＳＭＭ＿ｓｅａｍｌｅｓｓ．ｐｄｆ
【非特許文献５】アール．スゼリスキィ（Ｒ．Ｓｚｅｌｉｓｋｉ）著「テレリアリティへの応用のための画像モザイク（Ｉｍａｇｅ  ｍｏｓａｉｃｉｎｇ  ｆｏｒ  ｔｅｌｅ−ｒｅａｌｉｔｙ  ａｐｐｌｉｃａｔｉｏｎｓ）」、コンピュータビジョンの応用へのＩＥＥＥ研究会（ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＷＡＣＶ‘９４））、Ｐ．４４〜５３、フロリダ州サラソタ、１９９４年１２月、ＩＥＥＥコンピュータ学会（ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ）
【非特許文献６】エス．チェン（Ｓ．Ｃｈｅｎ）著「クイックタイムＶＲ−仮想環境ナビゲーションへの画像ベースのアプローチ（ＱｕｉｃｋＴｉｍｅ  ＶＲ−ａｎ  ｉｍａｇｅ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ  ｔｏ  ｖｉｒｔｕａｌ  ｅｎｖｉｒｏｎｍｅｎｔ  ｎａｖｉｇａｔｉｏｎ）」コンピュータグラフィックス年次大会シリーズ、Ｐ．２９〜３８、ＡＣＭシーグラフ、１９９５年（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ，ｐｐ．２９−３８，ＡＣＭ  ＳＩＧＧＡＰＨ，１９９５）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明によるシステム及び方法の種々の例示的な実施の形態では、マルチカメラ及び／又は多重表示された重複又は重複に近い画像同士の境界の両側で、色及び明るさの一貫性が向上される。
【０００９】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合及び／又はモザイク画像の重複する画像の継ぎ目における好ましくないアーティファクトを軽減する。
【００１０】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合及び／又はモザイク画像の重複する画像の継ぎ目のいずれかの側で色及び明るさ／強度を調節する。
【００１１】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像又はモザイク画像を構成するできる限り多くの画像について色補正を実行する。
【００１２】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像又はモザイク画像を構成する画像の色及び強度の不整合を軽減する。
【００１３】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合又はモザイク画像の画像継ぎ目についての色を段階的に変化させ、継ぎ目がより認識されにくいようにする。
【００１４】
本発明によるシステム及び方法の種々の例示的な実施の形態では、複合又はモザイク画像についての急激な色の変化を避けるために、重複領域の外側の色を変更させる。
【００１５】
本発明によるシステム及び方法の種々の例示的な実施の形態では、各ソース画像領域内のカラーピクセル値から、複合又はモザイク画像を形成する二つのソース画像間の色差を推定する。
【００１６】
本発明によるシステム及び方法の種々の例示的な実施の形態では、各ソース画像のピクセルによって形成された色空間内のクラスタの重心を決める。
【００１７】
本発明によるシステム及び方法の種々の例示的な実施の形態では、重複又は重複に近いソース画像領域について、領域間のベクトル色差の尺度として、クラスタの重心間の差を決める。
【００１８】
本発明によるシステム及び方法の種々の例示的な実施の形態では、少なくとも二つの重複するソース画像領域間のベクトル色差をこれらの画像について補間又はマッピングする。
【００１９】
本発明によるシステム及び方法の種々の例示的な実施の形態では、重複領域と重複領域の外側の領域とを調和させるために、カラークラスタの重心を移動させる。
【００２０】
本発明によるシステム及び方法の種々の例示的な実施の形態では、カメラの利得制御から得られるダイナミックレンジを保存しつつ、色差及び明度差を段階的にし、かつ好ましくない差を少なくするために、複数の画像の複合についてなだらかにする。
【課題を解決するための手段】
【００２１】
本発明の第１の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、重複するソース画像の色分布のクラスタを形成するために、前記重複するソース画像の色分布を決めるステップと、各色分布のクラスタの重心を決めるステップと、ソース画像の重心間の差を決めるステップと、差の補間に基づいて、前記複合画像について各ソース画像の色を調節するステップと、を備えた、方法である。
【００２２】
本発明の第２の態様は、上記第１の態様において、前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えたことを特徴とする。
【００２３】
本発明の第３の態様は、上記第２の態様において、他のソース画像と重複する各ソース画像の色分布の重心を決めるステップをさらに備えたことを特徴とする。
【００２４】
本発明の第４の態様は、上記第１の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。
【００２５】
本発明の第５の態様は、上記第１の態様において、前記差の補間に基づく各ソース画像の色の調節が前記複合画像全体に渡ることを特徴とする。
【００２６】
本発明の第６の態様は、上記第１の態様において、前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。
【００２７】
本発明の第７の態様は、複合画像を構成する個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、重複するソース画像の色分布のクラスタを形成するために、前記重複するソース画像の色分布を決めるステップと、各色分布のクラスタの重心を決めるステップと、ソース画像の重心間の差を決めるステップと、前記差の一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節するステップと、を備えた、方法である。
【００２８】
本発明の第８の態様は、上記第７の態様において、前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えたことを特徴とする。
【００２９】
本発明の第９の態様は、上記第８の態様において、前記他のソース画像と重複する各ソース画像の色分布の重心を決めるステップをさらに備えたことを特徴とする。
【００３０】
本発明の第１０の態様は、上記第７の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。
【００３１】
本発明の第１１の態様は、上記第７の態様において、前記差の補間に基づく各ソース画像の色の調節が前記複合画像全体に渡ることを特徴とする。
【００３２】
本発明の第１２の態様は、上記第７の態様において、前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。
【００３３】
本発明の第１３の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、分布決定要素と、重複するソース画像の色分布を形成するために、前記重複するソース画像の色分布を決めるための、分布決定要素と、各色分布のクラスタの重心を決めるための、重心決定要素と、ソース画像の重心間の差を決めるための、差決定要素と、差の補間に基づいて、前記複合画像について各ソース画像の色を調節するための、調節要素と、を備える、システムである。
【００３４】
本発明の第１４の態様は、上記第１３の態様において、前記複合画像を構成する個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるための、分布決定要素をさらに備えることを特徴とする。
【００３５】
本発明の第１５の態様は、上記第１４の態様において、前記重心決定要素が、他のソース画像と重複する各ソース画像の色分布の重心を決めることを特徴とする。
【００３６】
本発明の第１６の態様は、上記第１３の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。
【００３７】
本発明の第１７の態様は、上記第１３の態様において、前記差の補間に基づく各ソース画像の色の調節が複合画像全体に渡ることを特徴とする。
【００３８】
本発明の第１８の態様は、上記第１３の態様において、前記差の補間に基づく各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。
【００３９】
本発明の第１９の態様は、複合画像を構成する個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、分布決定要素と、重複するソース画像の色分布のクラスタを形成するために、前記重複するソース画像の色分布を決めるための、分布決定要素と、各色分布のクラスタの重心を決めるための、重心決定要素と、ソース画像の重心間の差を決めるための、差決定要素と、前記差の一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節するための、調節要素と、を備える、システムである。
【００４０】
本発明の第２０の態様は、上記第１９の態様において、前記複合画像を構成する前記個々のソース画像の数が二つよりも多く、他のソース画像と重複する各ソース画像の色分布を決めるための、分布決定要素をさらに備えることを特徴とする。
【００４１】
本発明の第２１の態様は、上記第２０の態様において、前記重心決定要素が、他のソース画像と重複する各ソース画像の色分布の重心を決めることを特徴とする。
【００４２】
本発明の第２２の態様は、上記第１９の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。
【００４３】
本発明の第２３の態様は、上記第１９の態様において、前記差の補間に基づく前記各ソース画像の色の調節が前記複合画像全体に渡ることを特徴とする。
【００４４】
本発明の第２４の態様は、上記第１９の態様において、前記差の補間に基づく前記各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。
【００４５】
本発明の第２５の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するコンピュータプログラムであって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めることと、重複するソース画像の色分布を形成するために、前記重複するソース画像の色分布を決めることと、各色分布のクラスタの重心を決めることと、ソース画像の重心間の差を決めることと、差の補間に基づいて、前記複合画像について各ソース画像の色を調節することと、を含む、コンピュータプログラムである。
【００４６】
本発明によるシステム及び方法の種々の他の特徴及び利点は、次の例示的な実施の形態の詳細な説明から明らかになるであろう。
【発明を実施するための最良の形態】
【００４７】
マルチカメラのパノラマ的な結像システムは、次第に人気が高まっている。しかしながら、マルチカメラ又はマルチディスプレイの結像システムの重大な問題は、色及び明るさの画像境界についての一貫性である。複数のソースから画像を連結することによって画像を構成する場合には、光学的な形状寸法（ｇｅｏｍｅｔｒｙ）がほとんど完全であっても、色差及び強度差が好ましくない継ぎ目のアーティファクト（不自然なパターン）を引き起こす。マルチカメラシステムについては、異なるシーンの照度、自動利得制御、及びアナログビデオフォーマットに特有の色の変異性は、画像の継ぎ目についての強度差の原因となる。
【００４８】
図１は、二台のビデオカメラによって形成された二つの重複する画像の一例を示す。図１では、異なるカメラ間の利得制御の違いによって、白板が二つの画像内でかなり異なる色の強度を有する。さらに、カメラ及び／又はディスプレイのレンズは、それらの視野に渡って、特に広角では、一様でない明るさの反応を有する。
【００４９】
本発明によるシステム及び方法の種々の例示的な実施の形態では、目に見える不一致を軽減するために、画像の継ぎ目のいずれかの側における色及び強度を調整することによって、この問題を改善する。目は段階的な色の変化にはあまり敏感でないため、本発明による種々のシステム及び方法においては、実用的な数の画像について色補正を適用する。これにより、複合画像内の色及び光強度値の不整合の影響を大幅に減少する。
【００５０】
本発明によるシステム及び方法は、一つの重複する領域を有する二つの異なるソースからの少なくとも二つの画像に関連しているので、本発明のシステム及び方法の種々の例示的な実施の形態では、少なくとも二つの画像間の色差を推測でき、その色差を補正することができる。本発明のシステム及び方法によると、画像の位置合わせ、すなわち重複領域を判断することは、周知又は今後開発される任意の技術によって達成される。本発明によるシステム及び方法の種々の例示的な実施の形態では、画像領域が重複しない場合には、重複に近い領域を使用しても良い。
【００５１】
本発明によるシステム及び方法の種々の例示的な実施の形態では、典型的には色較正を必要とするマルチカメラビデオシステムを用いる。マルチカメラビデオシステムの色較正は、たとえばカラーバランスを較正してすべてのビデオカメラについてシャッター速度を同一に設定することによって実現されても良い。上述のように、これには欠点がある。
【００５２】
本発明によるシステム及び方法の種々の例示的な実施の形態では、マルチカメラシステムにおけるビデオカメラの制限されたダイナミックレンジを補償するために多くのカメラで見出される自動利得制御を使用しても良い。隣接するカメラでの利得が大幅に異なる場合には、好ましくない画像重複領域が生ずることがある。本発明によるシステム及び方法の種々の例示的な実施の形態では、全画像のパノラマについての利得の差をなだらかにし、カメラの利得制御から得られる増加したダイナミックレンジを維持しつつ、変化を段階的にし、好ましくない変化をより低減する。
【００５３】
上述したように、複合又はモザイク画像（パノラマ画像を含む）の重複領域は、一つよりも多い装置によって撮像された複合又はモザイク画像の一部として定義されている。一般的に、重複領域は継ぎ目線によって輪郭が描かれるか又は境界を定められるか又は定義され、複合又はモザイク画像を作り出すためにどの画像ピクセルが用いられるかを表す。画像領域が重複しない場合には、非常に近接した領域が用いられても良く、本発明によるシステム及び方法の種々の例示的な実施の形態の適用性は失われない。重複に近い状況では、継ぎ目線は重複に近い領域も定義する。
【００５４】
各重複領域は、特定の重複領域に相当するソース画像の領域である、一つよりも多いソース領域を有する。図１では、ソース領域は点線の輪郭を有する二つの四辺形によって示されている。図２は、画像とこれらの画像の領域との間の関係を示す。ソース画像は結合され、たとえば画像のワープ又は幾何学的な補正を用いることによって、最終的な「複合画像」又は「モザイク画像」になる。
【００５５】
本発明によるシステム及び方法の種々の例示的な実施の形態では、最初に二つの画像１１１と２２２の間の色差を推定することによって、複合画像内の色及び強度の不整合の影響を大幅に減少する。本発明によるシステム及び方法の一つの例示的な実施の形態では、重複領域３３３ＳＲ内のピクセルの色分布を観察することによって、二つの重複する画像間の色差を推定する。色差は、ソース領域１１１ＳＲ及び２２２ＳＲからのピクセルの統計値を比較することによって推定可能である。たとえば、ＲＧＢ又はＨＳＶのような色空間を考えると、ソース領域１１１ＳＲからのすべてのピクセルは、クラスタを形成する。二つのソース領域１１１ＳＲ及び２２２ＳＲからのクラスタの重心間の差は、補正されなければならない色差の尺度として用いられる。
【００５６】
図３は、ソース領域１１１ＳＲと２２２ＳＲからの二つのクラスタを示している。図３では、一つのクラスタは他のクラスタよりも明るくかつ赤い。重心は、算術平均又は幾何学的平均及び中央値のような、様々な方法を用いて決められる。本発明のシステム及び方法による一つの例示的な実施の形態では、クラスタ内の位置までの距離の平均二乗誤差を最小限にするように、算術平均が用いられている。ＲＢＧ色空間内では、カラー画像の重心は次のように定式化されても良く、ここではＮは画像のピクセルの数である。
2005004776.tif 000003
他の式がカラー画像の重心を定式化するために用いられても良く、次の式である。
2005004776.tif 000004
これらの式は計算処理上単純であるから、均一のテクスチャを有する画像に広く用いられる。その他の式が、本発明によるシステム及び方法に用いられても良い。さらに、任意の特定の色空間を使用できる。たとえば、ユークリッド距離が知覚上の差と良く相関している色空間は、ユークリッド距離が知覚上の色の距離と良く相関していない色空間よりも、良く機能することもある。
【００５７】
二つの重心間の差は、色空間内のベクトルである。この距離だけ一つの重心を移動させると、他の重心と一致する。同様に、このベクトルを第一のソース領域の各ピクセルに加えると、このピクセルは第二のソース領域の対応するピクセルの色により近くなる。このようにして、このオフセットを加えると、一つのソース領域の色は他のソース領域の色と調和するようになる。このアプローチは、一つのクラスタを他のクラスタの中に取り入れる特定のアフィン変換として一般化が可能である。アフィン変換の使用例が、特許文献８において見出される。その内容は、全体として参照することによって本明細書中に組み込まれている。
【００５８】
本発明によるシステム及び方法の種々の例示的な実施の形態は、重複領域内の色を単に調和させているのではない。本発明によるシステム及び方法の種々の例示的な実施の形態では、画像の継ぎ目について段階的に色を変化させ、これらの画像の継ぎ目がより知覚されにくくする。本発明によるシステム及び方法の一つの例示的な実施の形態では、重複領域の外側の色は、色の急激な変化を避けるために変更される。これを行なうために、本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像についてベクトル差を補間する。図４は、本発明によるシステム及び方法の一つの例示的な実施の形態では、二つの画像について色の補正をどのようにして補間するかを示している。重複領域は、重複領域を含むすべての列の中のすべてのピクセルに色補正ベクトルの半分を加える及び／又は減ずることによって、補正される。すなわち、色補正ベクトルの半分が一つのソース画像の重心に加えられ、色補正ベクトルの半分が他のソース画像の重心から減らされる。このようにして、両方のソース領域の重心が、図４において「Ｃ」と示されている二つの重心間の線の中間点まで動かされる。重複領域の外側のピクセルの列も、画像の中心からの距離と比例して補正される。丁度重複領域の境界にある列は、「ｃ」のオフセットだけ補正されても良い。このオフセットは、列が画像の中心に近づくにつれて、比例して０まで減少する。この線形の補間は、本技術分野における通常の知識を有する者によって良く理解されるように、たとえば図８で示されたように重心が追加されると、二次、双一次（バイリニア）、双三次（バイキュービック）、又はより高次の補間まで拡張可能である。
【００５９】
図４に関連して、本発明によるシステム及び方法の一つの例示的な実施の形態では、次のような方法で色補正のアルゴリズムを定式化する。これに関連して、ＭA及びＭBは、各ソース画像のピクセルの中間点である。画像ソース領域Ａの幅は、ピクセルにおいてＷA−Ｏとして定義されている。画像ソース領域Ｂの幅は、ピクセルにおいて（ＷB−ＷA）＋Ｏとして定義されている。複合画像の重複領域の幅は、ピクセルにおいてＷOとして定義されている。色空間内では、Ａ及びＢは、それぞれソース領域Ａ及びＢからのピクセルの重心又は平均値である。Ｃは、Ａ及びＢの中間点又は平均値である。図４で示されている種々の幾何学的な関係は、二つの重複した画像の単純なケースについてである。この場合には、各ソース画像は三つの領域を有する。それは、一定の色補正を有する重複領域、重複領域と線形的に変化する色補正を有する画像の中間点との間にある領域、及びエッジにある補正されていない領域である。上述した定義を用いる、本発明によるシステム及び方法の一つの例示的な実施の形態では、ソース画像Ａの三つの領域内のあるピクセル列ｒに対する付加的な色のオフセットＯは、次の式を用いて計算可能である。
2005004776.tif 000005
2005004776.tif 000006
2005004776.tif 000007
【００６０】
同様に、ソース画像Ｂ内のあるピクセル列ｒに対するオフセットＯは、次のようにして決定される。
2005004776.tif 000008
2005004776.tif 000009
2005004776.tif 000010
【００６１】
本発明によるシステム及び方法の種々の例示的な実施の形態は、上述のように、次元に拘わらない任意の共通の色空間に有効であり、一次元のグレースケール画像にも有効である。さらに、本発明によるシステム及び方法の種々の例示的な実施の形態は、上述のように、並行移動（ｔｒａｎｓｌａｔｉｏｎ）というよりもむしろ、アフィン変換に一般化できる。アフィン変換は線形であるから、アフィン変換は補間及び反転が可能である。
【００６２】
図６は、上述した技術を用いた、色の正規化の結果を示す。色の変化はわずかであるから、画像の下半分は、比較のために補正されていないままにしてある。白板の対応する領域が、上側の補正された領域において良く色合わせされていることに注意すべきである。
【００６３】
本発明のシステム及び方法の種々の例示的な実施の形態によると、二つの画像のみが補正される場合には、補間が、中心から中心までの代わりに、画像の幅全体に渡って実行可能である。すなわち、上述の例示的な実施の形態では、ＭA＝０であり、ＭB＝ＷBである。本発明のシステム及び方法の種々の例示的な実施の形態によると、重複領域が特に広い場合には、補間は重複領域を超えて延長できる。すなわち、ＷO＝０である。本発明のシステム及び方法の種々の例示的な実施の形態によると、色補正を実行するためには、画像は全く重複する必要がない。画像が全く重複しないところでは、ソース領域は、「近い（ｃｌｏｓｅ）」画像領域であっても良い。たとえば、ソース画像が左右に接しようとする場合には、ソース領域は左のソース画像の最も右の部分及び右のソース画像の最も左の部分であっても良い。
【００６４】
本発明によるシステム及び方法は、線形の補間に限定されない。たとえば、任意の一対一のマッピングもまた用いることができる。「一対一」とは任意の入力が唯一の出力を有することを意味することに注意すべきである。さらに、本発明によるシステム及び方法の種々の例示的な実施の形態が、線形的に連結された画像というよりもむしろ、任意に重複した画像に適用可能である。たとえば、図７で示されるように、任意の数の画像が、重複あり又はなしで連結できる。図７では、画像の中心間に網目が構成されている。任意の二つの画像間の変換が、上述したように計算できる。これにより、すべての網目の辺の中心点で多くの変換がなされる。任意の個々のピクセルに対する色補正は、たとえば、隣接する網目の辺の最も近い中心から補間することによって見出され得る。図７は、（１）〜（７）に示されたように、七つの重複領域を識別する。各重複領域は、継ぎ目１０によって定義される。複合画像／モザイク画像の重複領域（１）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（２）は、画像ソース領域Ｂ、Ｃ、Ｅ及びＦから成る。複合画像／モザイク画像の重複領域（３）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（４）は、画像ソース領域Ａ〜Ｆから成る。複合画像／モザイク画像の重複領域（５）は、画像ソース領域Ｂ、Ｃ、Ｅ及びＦから成る。複合画像／モザイク画像の重複領域（６）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（７）は、画像ソース領域Ｃ、Ｅ及びＦから成る。複数の画像ソースの正規化は、得られたピクセルが最大許容ピクセルレベルを超えないように、スケーリングすることによって実行しても良い。スケーリングの一つの例示的な方法は、すべてのピクセル値の最大値で各ピクセル値を除算し、それによってすべてのピクセルに対する値が０と１の間の値となり、次に最大許容ピクセル値を乗算することを含む。これによって、確実にピクセル値が最大値以下となる。
【００６５】
本発明によるシステム及び方法が重複領域内の白色で明るい継ぎ目を処理している場合には、色の補正が最適な色の位置合わせを実行することが推測可能である。たとえば、継ぎ目があまりにも暗いか又は単一の基調となる色相を有する場合には、補正係数は他の条件については不適切であるかも知れない。しかしながら、補正された画像はこれらの特定の照明条件についての色差を依然として最小にする。本発明によるシステム及び方法の一つの例示的な実施の形態では、パノラマ的なビデオシステムが用いられており、システムの起動時又は利用者コマンドによって色が一旦正規化される。大きい照明の変化がない場合は、この処理はほとんど最適である。あるいは、本発明によるシステム及び方法の他の実施の形態では、たとえば均一に照明された中位のグレーの継ぎ目のような較正の継ぎ目を結像する場合には、色補正が事前計算可能である。本発明のシステム及び方法の他の例示的な実施の形態によると、色補正の係数は、設定された時間間隔毎又はソース画像から検出された照明の変化に応じて、周期的に計算し直されても良い。
【００６６】
本発明による方法の一つの例示的な実施の形態が、図５（ａ）及び図５（ｂ）で概説されている。ステップＳ１０００で処理が始まる。制御は次にステップＳ１０１０に進み、ソース画像の色分布のクラスタを形成するために、たとえばピクセルの列を含む、第一のソース画像内のピクセル及び／又はピクセル群の色分布が決定される（第一分布決定要素）。次に、制御はステップＳ１０２０に進み、ソース画像の色分布のクラスタを形成するために、たとえばピクセルの列を含む、重複するソース画像内のピクセル及び／又はピクセル群の色分布が決定される（第二分布決定要素）。制御は次にステップＳ１０３０に進み、第一のソース画像の色分布のクラスタの重心が決定される。次に制御はステップＳ１０４０に進み、そこでは重複するソースのカラー画像の色分布のクラスタの重心が決定される（重心決定要素）。制御は次にステップＳ１０５０に進み、モザイク／複合画像内にさらに重複するソース画像領域があるかが判断される。重複するソース画像領域がなければ、制御はステップＳ１０８０に移る。重複するソース画像領域があれば、制御はステップＳ１０６０に進み、追加の重複する画像ソース領域の色分布のクラスタを形成するために、たとえばソースＣのような、追加の重複する画像ソース内のピクセルの色分布が決定される（第三分布決定要素）。次に、ステップＳ１０７０では、追加の重複する画像ソース領域の色分布のクラスタの重心が決定される（重心決定要素）。次に、制御はステップＳ１０５０に戻り、複合／モザイク画像を形成する別の重複するソース画像領域があるかを判断する。別の重複するソース画像領域がなければ、制御はステップ１０８０に進む。別の重複するソース画像領域があれば、処理はステップＳ１０６０とＳ１０７０を経てステップＳ１０５０に戻り、ステップＳ１０５０内の結果がＮＯになるまで繰り返し、ＮＯとなれば、上述したように、制御はステップＳ１０８０に移る。
【００６７】
ステップＳ１０８０では、色分布のクラスタのすべての重心間の差が決定される（差決定要素）。この差は、ΔＣとして表現されても良い。次に、制御はステップＳ１０９０に進み、複合画像についての重心のベクトルの差の補間によって、各ソース領域の色が調節される（調節要素）。ステップＳ１０９０は以下に詳細に説明される。制御は次にステップＳ１１００に進み、複合／モザイク画像の調節された色が許容可能かが判断される。許容可能であれば、制御はステップＳ１１１０に進み、ここで処理が終了する。許容可能でなければ、次に制御はステップＳ１０１０に戻る。
【００６８】
ステップＳ１０９０は、多くの異なる方法で実行されても良い。本発明による方法の一つの例示的な実施の形態においては、図４との関連で説明したように、ステップＳ１０９０は、一定の付加的な色補正のオフセットＯを決めることによって開始する。オフセットＯは、たとえば、重複領域ＷO内のピクセル列、ピクセル行及び他のピクセルの幾何学的配列のような、ピクセル群についてのＣ−Ａに等しい。このとき、線形的に変動する付加的な補正のオフセット
2005004776.tif 000011
は、重複領域と画像の中間点との間の領域内のピクセル行に対して決められる。次に、一定の付加的な色補正のオフセットＯ＝０が、画像の中間点と画像の遠いエッジ、すなわち重複領域を定義するのを補助するエッジと対向する画像のエッジ、との間の領域内でピクセル行に対して決められる。
【００６９】
本発明の方法による他の例示的な実施の形態では、重複していて補正が必要な二つのソース画像のみしかない場合には、重複領域と画像の中間点との間の領域での線形の補間が、重複領域と画像の遠いエッジとの間に適用されても良い。この例示的な実施の形態では、画像の中間点と画像の遠いエッジとの間の領域に関する、上述した一定の付加的な色補正は用いられない。
【００７０】
含まれている重心の数及び重心が決められているソース領域の重複面積のサイズに基づいて、図７で示された網目の配列内の重心には、種々の重み付けがされても良い。複数の重心については、補間された値は、たとえば双一次、双三次、又はより高次の補間技術を用いて決定できる。
【００７１】
図８は、マルチカメラ結像システムにおいて色を正規化するために用いられる、本発明によるシステムの例示的な実施の形態を示す。コミュニケーションバス１００には四つのカメラＣ１、Ｃ２、Ｃ３及びＣ４が接続されている。カメラの数は変更しても良い。コミュニケーションバス１００に更に接続されているのは、カラー画像検出器及び分析器３００、並びにユーザインタフェース／データプロセッサ４００であり、ユーザインタフェース／データプロセッサ４００はディスプレイ４０１、データプロセッサ４０２、メモリ４０３及び入力装置４０４を含んでいても良い。ユーザインタフェース／データプロセッサは、たとえばパーソナルコンピュータであっても良い。各カメラは、コントラスト制御、カラーバランス、明るさ及び／又は暗さ制御、利得制御、雑音低減等のための、従来の制御を有する。カラー画像検出器及び分析器は上述した補間並びにマッピング及びピクセルデータ処理を実行可能である。カメラの利得制御を含む、信号をカメラＣ１、Ｃ２、Ｃ３、Ｃ４等に帰還させるために、ユーザ入力が有る場合でも又は無い場合でもパーソナルコンピュータ又は他のデータプロセッサが使用可能であり、複合画像についての色を正規化する。尚、カラー画像検出器及び分析器３００においては、図５に示される処理について、コンピュータ・プログラムがメモリ４０３（記憶手段）に格納されて、プロセッサ４０２（処理手段）により実行されても良く、また、他の任意の記憶手段に格納されて、入力手段及び出力手段を含む、他の任意のコンピュータまたはデータプロセッサにより実行されても良く、また、複数のコンピュータまたはデータプロセッサが協働して実行されても良い。
【００７２】
本発明は上述の特定の実施の形態に関連して述べてきたが、多くの代替物、結合、修正及び変更が、本技術分野における当業者には自明のことであることは明らかである。したがって、上述したこの発明の例示的な実施の形態は、例示的であり、制限しないことを意図されている。本発明の精神及び範囲から逸脱せずに種々の変更が可能である。
【図面の簡単な説明】
【００７３】
【図１】異なるカラーバランスを有する二つの重複する画像の例示的な斜視図である。
【図２】複合又はモザイク画像を重ね合わせ（オーバレイ）して形成するために結合された二つの重複する画像の例示的な概略図である。
【図３】図２で示された二つの画像の三次元ＲＧＢ色空間内のカラーピクセルのクラスタの例示的な斜視図である。
【図４】一つの重複領域を含む複合画像内の任意の色空間における、図２の二つの画像のピクセルのクラスタの重心の相関関係を示す、例示的な説明図である。
【図５（ａ）】本発明による色の正規化の例示的な方法のフローチャートである。
【図５（ｂ）】本発明による色の正規化の例示的な方法のフローチャートである。
【図６】図５のフローチャート内で記述された方法に従って、色補償された図１の二つの重複する画像の例示的な斜視図である。
【図７】複合又はモザイク画像を形成するために結合された任意の数のソース画像の例示的な概略図であり、各ソース画像の中心は他のソース画像の中心に網目によって結合されている。
【図８】本発明によるマルチカメラ結像系システムの色を正規化するために使用されるシステムの例示的な概略図である。
【符号の説明】
【００７４】
１１１、２２２：ソース画像
３３３：複合画像
３３３ＳＲ：重複領域
【図１】
2005004776.tif 000012
【図２】
2005004776.tif 000013
【図３】
2005004776.tif 000014
【図４】
2005004776.tif 000015
【図５（ａ）】
2005004776.tif 000016
【図５（ｂ）】
2005004776.tif 000017
【図６】
2005004776.tif 000018
【図７】
2005004776.tif 000019
【図８】
2005004776.tif 000020