(57)【要約】  入力画像ＩＩ中の色を基準画像ＲＩの色に調節するために、マッチング基準ポイントＲＰが前記入力画像ＩＩ及び前記基準画像ＲＩ中に与えられ、前記マッチング基準ポイントＲＰの支配色が決定され、出力画像ＯＩを得るために、前記マッチング基準ポイントの前記支配色に基づいて、前記入力画像ＩＩ中の色が変換される（３０，４０）。
2011525083.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中の色を基準画像の色に調節する方法であって、
前記入力画像及び前記基準画像中にマッチング基準ポイントを与えるステップと、
前記マッチング基準ポイントの支配色を決定するステップと、
出力画像を得るために、前記マッチング基準ポイントの前記支配色に基づいて、前記入力画像中の色を変換するステップとを有する、方法。
【請求項２】
前記変換するステップは、
前記マッチング基準ポイントの前記支配色の間の色セット差分を計算するステップと、
前記出力画像の色を得るために、前記色セット差分を前記入力画像の色に付加するステップとを有する、請求項１に記載の方法。
【請求項３】
前記基準画像及び前記入力画像における前記マッチング基準ポイントを自動的に検出するステップを更に有する、請求項１に記載の方法。
【請求項４】
前記自動的に検出するステップは、
視覚的に際立ったエリアからの代表的な色に属するポイントを選択するステップと、
マッチング代表的ポイントのペアを得るために、選択されたポイント及びこれらに対応する支配色をマッピングするステップとを有する、請求項３に記載の方法。
【請求項５】
入力画像中の色を基準画像の色に調節するデバイスであって、
前記入力画像及び前記基準画像中にマッチング基準ポイントを与える手段と、
前記マッチング基準ポイントの支配色を決定する手段と、
出力画像を得るために、前記マッチング基準ポイントの前記支配色に基づいて、前記入力画像中の色を変換する手段とを有する、デバイス。
【請求項６】
前記変換する手段は、
前記マッチング基準ポイントの前記支配色の間の色セット差分を計算し、
前記出力画像の色を得るために、前記色セット差分を前記入力画像の色に付加するようにプログラムされる、請求項５に記載のデバイス。
【請求項７】
前記基準画像及び前記入力画像における前記マッチング基準ポイントを自動的に検出する手段を更に有する、請求項５に記載のデバイス。
【請求項８】
前記マッチング基準ポイントを自動的に検出する手段は、
視覚的に際立ったエリアからの代表的な色に属するポイントを選択し、
マッチング代表的ポイントのペアを得るために、選択されたポイント及びこれらに対応する支配色をマッピングするようにプログラムされる、請求項７に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色調節のための方法及びデバイスに関する。
【背景技術】
【０００２】
立体写真、監視、ＴＶ番組制作、ウェディング又はスポーツのビデオ撮影のような様々な専門的又は準専門的なアプリケーションは複数のカメラを用いる。デジタル静止及びビデオカメラの利用可能性及び値頃感の増大により、パーティ等のイベント、ミュージアムの訪問及び休日も、多くの人々により記録される。これは、そのイベントのより良い表現のために交換又は組み合わせられ得るコンテンツの大きな集まりを提供する。
【０００３】
異なるカメラ記録を組み合わせるプロセスは、フレームの正確な時間同期、コンテンツの評価、最も評価されたコンテンツを含むセグメントの選択を含む。期待される結果は、単一のカメラから取得されたようにシームレス及び均一に見える、組み合わせられた画像又はビデオである。
【０００４】
異なるカメラは、ハードウェア及びソフトウェアの特性に基づいて異なる記録品質を提供する。自動カメラ設定は、同一の条件に基づき記録するときに異なるカメラに対して異なる結果をもたらす。また、ユーザは、ホワイトバランス、シャッタ速度等のようなこれらの設定をカスタマイズすることができる。これは、同じ時間、空間及び物理的条件で記録されるが、画像又はビデオの異なる色の再現をもたらす。この差異は、個々のカメラにとっては僅かなものであるが、これらの記録が一緒に行われたときに、シーン全体の効果は人の気を散らす。
【０００５】
専門的な制作において、カメラは、同一色及び自然色を再生するために、異なるカメラのパラメータを調整することにより同期される。後処理の間、Adobe Premiere Pro、Adobe Photoshop、Final Cut Proのようなソフトウェアエディタは、１つのクリップにおける異なる色を基準として手動で選択し、その基準に従って他のクリップからの色を調節することにより不一致を修正するためのツールを提供する。好ましい一致を達成するために、ユーザは、ハイライト、中間調、陰影、明るさ、コントラスト等の幾つかのパラメータを試さなければならない。これは、非常に時間を消費し、多くの場合においてほとんど不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、とりわけ、改良された色調節を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、独立請求項により規定されている。有利な実施形態は、従属請求項において規定されている。
【０００８】
本発明によれば、入力画像及び基準画像中にマッチング基準ポイントを与え、マッチング基準ポイントの支配色を決定し、出力画像を得るために、マッチング基準ポイントの支配色に基づいて入力画像の色を変換することにより、入力画像中の色が基準画像の色に調節される。
【０００９】
本発明は、ポイント自身の色値ではない各ポイントでの支配色を用いて、２つの画像からの代表的なポイントを比較することに基づいている。支配色を用いる利点は、個々の画素値よりもノイズに対してより堅牢であることである。２つの画像のマッチングポイントの支配色は、色修正されるべき画像に適用される変換（例えば、線形）を計算するために用いられる。本発明は、ユーザの嗜好に応じて完全な自動又は半自動で行われ得る。好ましい実施形態において、これは、カメラ設定及び光条件のような任意の追加の情報を必要としない。
【００１０】
これら及び本発明の他の態様は、後述される実施形態から明らかになり、この実施形態を参照して説明されるだろう。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態を示す。
【発明を実施するための形態】
【００１２】
図１は、本発明の半自動の実施形態を示している。このアプローチにおいて、ユーザは、基準画像ＲＩ、及び、基準画像ＲＩに調節されるべき入力画像ＩＩを与えるだけでなく、代表的なポイントのマッチしたペアも与える。基準画像ＲＩ及び入力画像ＩＩの双方に関して、ブロック１０，２０において、代表的なポイントでの支配色が計算される。これは、色ノイズに対して非常に堅牢な画素での色情報を与える。好ましい実施形態において、論文"Mean Shift Analysis and Applications", D. Comaniciu and P. Meer, in Proceedings ICCV (2) 1999, pp. 1197-1203の平均シフトアルゴリズムが、代表的なポイントのそれぞれに対して支配色を計算するために用いられる。我々は、（例えばヒストグラムにより推定される）推定された濃度が或る近傍において局所的に支配的である色として局所的な支配色を規定する。これを見る他の手法は、色空間の一部における支配色が色空間のその部分の最も典型的な表現であることである。我々が画素色から開始する局所的な支配色を計算する手法は、我々が局所的な色に到達するまでの濃度勾配の上昇によるものである。好ましいアルゴリズム、平均シフトは、ヒストグラムの計算及び空間全体の任意の他の濃度推定の必要なく、これを行う。アルゴリズムは、選択された画素の色値で開始し、そのポイントでの濃度を推定し、その濃度の勾配を推定し、より高い濃度のポイントに向かってジャンプする。この推定は、放射状カーネル（radial kernel）を用いて行われる。我々の好ましい実施において、我々は、５ΔＥ（ＣＩＥ  Ｌａｂ色空間における標準距離）のサイズをもつガウスカーネル（Gaussian kernel）を用いる。
【００１３】
単純な実施形態では、ブロック３０において、色セット差分が計算される。１Ｄの色の差分の場合において、その差分は、標準的な演算上の差分、又は、所与の色空間におけるマッチする支配色の色座標間の割合として計算され得る。例えば、支配色のセットにおける２つの色ｃ及びｄの線形ＲＧＢの差分は、ｃ〜ｄとして計算され得る。そして、支配色のセットの差分は、線形変換による入力画像ＩＩの画像の色調節についてのブロック４０において用いられる。例えば、テスト画像中の画素が色ａをもつ場合には、この画素は、ａ+（ｃ−ｄ）に変換される。出力画像ＯＩは、基準画像ＲＩの色にマッチさせるように調節された入力画像ＩＩのバージョンである。しかしながら、本発明はこの単純な実施形態に限定されるものではない。原理上、適合基準（例えば、最小二乗法）を用いた支配色のセットにおけるマッチングポイントに基づく任意の変形関数（例えば、線形、二次方程式）が用いられ、斯様な変換において、別個のステップとしての色セット差分計算３０の必要性はない。
【００１４】
示されない第２の実施形態において、マッチング基準ポイントＲＰは、ユーザにより与えられる必要はないが、基準画像ＲＩ及び入力画像ＩＩにおいて自動的に検出されるだろう。この目的を達成するために、少なくとも１つの基準ポイントＲＰは、大きなエリア、焦点が合っている、及び／又は、前景、背景若しくは派手なオブジェクトのような、入力画像における視覚的に際立ったエリアをカバーする領域からの各色に属するように選択される。斯様な領域及びオブジェクトは、画像分割、前景／背景分類技術、及び、オブジェクト検出アルゴリズムを用いて計算される。２つの入力画像において同一色領域を見つけるために、各ポイント及びこれらに対応する支配色がマッチされるべきである。それ故、マッピング技術は、以下の態様でこれらの空間及び色情報に基づいて入力画像からの支配色に対して用いられる。全体画像が処理され、全ての局所的支配色が抽出される。マッピングは、一のセットから、或るタイプの変換の最小適合誤差を最小にする他のセットへの取り得るマッピング空間における検索として実施される（例えば、３×３行列により与えられた線形変換）。この変換は、多くの色空間において行われ得るが、前述された我々の好ましい実施は、単純で速く、依然として我々のテストデータに対して良好な結果を与えるソースＲＧＢを用いる。
【００１５】
本発明は、複数のカメラからのイベントのビデオ記録がサマリの中で組み合わせられるアプリケーションに適用され得る。また、本発明は、誤って明るくされた写真を修正するために適用され得る。一般に、本発明は、自動及び半自動の双方の手段による、複数のカメラからの画像の色同期に対して適用され得る。異なるカメラからのビデオがオンライン又はオフライン編集のために記録される、ミキサにおけるハードウェア実装に適している。この実装は、異なる記録からビデオマッシュアップを作成するか、又は、パノラマ画像を作るような、ビデオ／写真を編集するのに役立つ。ビデオの場合において、ショット又はシーンからのキーフレームは、その後（同一のショット／シーンの）全てのフレームに適用される変換関数を計算するために、入力画像として用いられ得る。
【００１６】
要約すれば、専門家又は準専門家は、立体写真、監視、ＴＶ番組制作及びスポーツのビデオ撮影のような異なる目的のために複数のカメラを用いる。多くのアマチュアは、ウェディング、パーティ及びバケーションのような社交イベントにおいて携帯電話機又はカムコーダに組み込まれたカメラを用いる。斯様なイベントからの理想的なビデオサマリは、異なるカメラからの最良のセグメントを含むだろう。同様に、理想的なフォトコラージュ又はパノラマは、事実を最も良く表す写真を含むだろう。しかしながら、異なるカメラは、カメラの品質、設定及び照明条件の違いにより、同一オブジェクトの異なる結果をもたらす。異なるカメラからの記録の組み合わせは、色補正を必要とする。そうでなければ、その効果は、継ぎはぎであり非常に人の気を散らす。既存のツールは、所望のマッチを実現するために、幾つかのパラメータの手動調整を必要とする。本発明の好ましい実施形態では、２つの画像の色が、カメラ設定及び照明条件に関する如何なる追加のデータを必要とすることなく同期される。画像間のカラーオフセットは、マッチする代表的なポイントからの支配色の差異により計算される。そして、オフセット値に応じて他の画像に対して一の画像を変換するために線形変換が用いられる。本発明の一実施形態は、所望の照度をもつ他の画像を用いて、或る位置で誤って明るくされた画像を修正するために用いられてもよい。
【００１７】
前述した実施形態は、本発明を限定するよりもむしろ例示であり、当業者は、特許請求の範囲から逸脱することなく多くの代替実施形態を設計することができることが留意されるべきである。請求項において、括弧内の如何なる参照符号も、請求項を限定するものとして考慮されるべきではない。"有する"という用語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素の単数表記は、斯様な要素の複数の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより、及び／又は、適切にプログラムされたプロセッサにより実施され得る。幾つかの手段を列挙するデバイスに係る請求項において、これらの手段の幾つかは、一のハードウェア及び同一アイテムのハードウェアにより具現され得る。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有利に用いられ得ないことを示すものではない。
【図１】
2011525083.tif 000003
【国際調査報告】
2011525083.tif 000004
2011525083.tif 000005