(57)【要約】【課題】従来の色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であるが、本発明では、これをさらに高次元・高自由度な補正モデルに拡張することを目的とする。【解決手段】本発明では、同一シーンを異なる視点から撮影した画像間のカラーマッチングを目的として、画素値の１次元輝度、２次元色差、あるいは３次元ＲＧＢヒストグラムをマッチングさせることにより色補正の自動化を行う。画素値ヒストグラムを画像と見なせば、画像間の幾何学的な位置合わせに用いられるＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを適用することができる。反復毎にヘッセ行列を計算しない。【選択図】図１
2020155907.tif 000002
【特許請求の範囲】
【請求項１】
画像から画素値のヒストグラムを計算するヒストグラム計算部と、
画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑化部と、
ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理部と、
基準画像の入力画像から得られた前記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理部と、
前記ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理部と、を備える
ことを特徴とする自動色補正処理装置。
【請求項２】
請求項１に記載の自動色補正処理装置において、
前記ヒストグラムマッチング処理部によりヒストグラムマッチングにより推定された色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３ＤＬＵＴ生成部をさらに備える
ことを特徴とする自動色補正処理装置。
【請求項３】
請求項２に記載の自動色補正処理装置において、
前記色補正パラメータは、
異なる視点から同一シーンを撮影した画像間において、前記ヒストグラム計算部と前記ガウシアン平滑化部と前記トーンマッピング処理部と前記ヒストグラムマッチング処理部とで処理して得られたものである
ことを特徴とする自動色補正処理装置。
【請求項４】
画像から画素値のヒストグラムを計算するヒストグラム計算工程と、
画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑化工程と、
ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理工程と、
基準画像の入力画像から得られた前記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理工程と、
前記ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理工程と、を有する
ことを特徴とする自動色補正処理方法。
【請求項５】
請求項４に記載の自動色補正処理方法において、
前記ヒストグラムマッチング処理工程によりヒストグラムマッチングにより推定された色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３ＤＬＵＴ生成工程をさらに備える
ことを特徴とする自動色補正処理方法。
【請求項６】
請求項２に記載の自動色補正処理方法において、
前記色補正パラメータは、
異なる視点から同一シーンを撮影した画像間において、前記ヒストグラム計算工程と前記ガウシアン平滑化工程と前記トーンマッピング処理工程と前記ヒストグラムマッチング処理工程とで処理して得られたものである
ことを特徴とする自動色補正処理方法。
【請求項７】
同一シーンを異なる視点から撮影した画像間のカラーマッチングにおいて、画素値ヒストグラムをマッチングさせる工程と、
ヒストグラムマッチングにヒストグラムを画像と見なして、前記ヒストグラム画像としての画素値の勾配情報に基づく最適化アルゴリズムを用いることにより、色補正モデルを推定する工程と、
前記画素値の勾配情報に基づく色補正パラメータ推定の最適化アルゴリズムにおける反復過程で、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化する工程と、を有する
ことを特徴とする自動色補正処理方法。
【請求項８】
請求項７に記載の自動色補正処理方法において、
前記処理は、全て、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付も必要としない
ことを特徴とする自動色補正処理方法。
【請求項９】
請求項４乃至請求項８のいずれか一項に記載の自動色補正処理方法を遂行する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動色補正処理方法及び自動色補正処理装置に関する。
【背景技術】
【０００２】
色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Ｃｏｌｏｒ  ｇｒａｄｉｎｇ）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート）を用いたカメラの色調整は色校正（カラーキャリブレーション）として、異なる機種のカメラ間の色合わせはカラーマッチングとして知られている。図１（ａ）は、複数のカメラ間の色合わせ（カラーマッチング）のために、それぞれ異なる視点から同一のカラーチャートを撮影する様子を示す概念図である。
【０００３】
色補正処理としては、本願発明者らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャートを自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット（Ｇａｍｕｔ）誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって、妥当な色補正結果を得るための方法を、例えば下記非特許文献１等において提示した。
【０００４】
また、本願発明者は、参照板（カラーチャート）を撮影した画像からＲＧＢ画素値データを抽出して、観測誤差の性質を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定した。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適な変換モデルを決定し、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を、例えば下記非特許文献２等において、提示した。
【０００５】
また、本願発明者は、超精度くりこみ法により最適に推定した色補正パラメータ結果に対して、事後的な補正を行うことにより、厳密なホワイトバランスを実現するとともに、レベル制約を課した場合の高自由度な色補正モデルの推定における過剰な当てはめを幾何学的モデル選択により回避した。しかし、実際の色補正を行う場面では、カラーチャートを設置して、色校正することが難しい場合もあると思われる。そこで、カラーチャートを用いずに、撮影したシーン画像間でのカラーマッチングを行うことを考えるものとした。図１（ｂ）は、同一シーンを異なる視点から撮影した映像間の色合わせを概念的に説明する図である。ＳＩＦＴ作用素等の特徴点抽出処理による特徴点を用いて画像間の位置合わせを行う方法が知られている。図２（ａ）は、ＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）作用素により抽出した特徴点をマッチングした画像例を示すものである。また、ＳＩＦＴ作用素等の特徴点抽出処理による特徴点のＲＧＢ値を用いて色補正を行った研究（下記非特許文献６乃至８等）もある。
【０００６】
しかし、画像中の特徴点は、“画素値”データとしては適切ではない。なぜなら、物体におけるコーナー、エッジ等の形状に関する特徴点の“画素値”は背景の影響を受けるからである。また、画像圧縮によるノイズの影響も受けやすいものと考えられる。このため、画像間の幾何学的な位置合わせではなく色補正のためには、できるだけ平坦な領域における‘画素値”をデータとして用いることが望ましい。図２（ｂ），（ｃ）はＲＧＢ画素値の３次元プロット例を示す図であり、（ｂ）は画像中の赤枠（紙面上方側の矩形枠）、緑枠（紙面下方側の矩形枠）内のＲＧＢ画素値を３次元プロットする場合について示し、（ｃ）は正規化ＲＧＢ［０，１］領域に、画素値とそれぞれの誤差の楕円体（信頼区間９５％）を表示する図である。
【０００７】
また、本願発明者らは、３Ｄ映像を撮影する２台のカメラ間のカラーマッチングを行うために、カラーチャートを用いずに、左右２枚の画像間のＲＧＢ毎の１次元ヒストグラムをマッチングした。また、Ｒｅｉｎｈａｒｄらは、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値・標準偏差値を揃える処理を行った。（下記非特許文献９及び非特許文献１０ご参照）いずれの場合も、従来の色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であるが、本発明では、これをさらに高次元・高自由度な補正モデルに拡張することを考えるものである。
【０００８】
さらに、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能とすること、また、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正すること、また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応すること、さらには、回転やスケール変換、複雑な変形運動に対応することを目的とする発明であって、ＣＭＯＳセンサを用いたカメラにより撮影された映像における回転動き歪み変形の補正（ローリングシャッタ回転歪み補正）と、揺れの補正を同時に行う映像安定化処理に関する発明が下記特許文献１に開示されている。
【０００９】
特許文献１では、ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化するように、回転を含む一般的な運動の場合に拡張して、動きパラメータを“逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”の更新量を１次近似した”近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”により推定することが開示されている。これはすなわち、画像間の幾何学的な位置合わせに関する技術思想である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１６−２２００８３号公報
【特許文献２】US6,711,293Bl, David G. Lowe, METHOD AND APPARATUS FOR IDENTIFYING SCALE INVARIANT FEATURES IN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN AN IMAGE,Date of Patent: Mar. 23, 2004
【特許文献３】US2009/0238460Al, Ryuji Funayama, Hiromichi Yanagihara, Luc Van Gool, Tinne Tuytelaars, Herbert Bay, ROBUST INTEREST POINT DETECTOR AND DESCRIPTOR, Date of Patent: Sep. 24, 2009
【非特許文献】
【００１１】
【非特許文献１】松永力、趙延軍、和田雅徳、カラーチャートを用いた複数の再撮モニタとカメラの最適色補正、第１６回画像センシングシンポジウム（ＳＳＩＩ２０１０）講演論文集、横浜（パシフィコ横浜）、２０１０年６月。
【非特許文献２】松永力、３次元幾何学変換と幾何学的モデル選択による最適カラーマッチング／カラーキャリブレーション、第２３回画像センシングシンポジウム（ＳＳＩＩ２０１７）講演論文集、横浜（パシフィコ横浜）、２０１７年６月。
【非特許文献３】松永力、最適レベル補正と幾何学的モデル選択による高精度色補正・画像処理パイプラインの構築を目指して、ＶｉＥＷ２０１７ビジョン技術の実利用ワークショップ講演論文集、横浜（パシフィコ横浜）、２０１７年１２月。
【非特許文献４】D. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60-2 (January 2004), 91-110.
【非特許文献５】G. Bradski, K. Konolige, V. Rabaud and E. Rublee, ORB: An efficient alternative to SIFT or SURF, 2011 IEEE International Conference on Computer Vision (ICCV 2011), Barcelona, 2011, pp. 2564-2571.
【非特許文献６】S. A. Fezza, M. C. Larabi and K. M. Faraoun, Feature-based color correction of multiview video for coding and rendering enhancement, IEEE Transactions on Circuits and Systems for Video Technology, 24-9(September 2014), 1486-1498.
【非特許文献７】Q. Wang, X. Sun, and Z. Wang, A robust algorithm for color correction between two stereo images, Proceedings of the 9th Asian conference on Computer Vision-Volume Part II (ACCV'09), Xi'an, China, September 2009, pp. 405-416.
【非特許文献８】H. Zeng, K.-K. Ma, C. Wang and C. Cai, SIFT-flow-based color correction for multi-view video, Image Communication, 36-C (August 2015), 53-62.
【非特許文献９】松永力、趙延軍、和田雅徳、３Ｄ映像のための自動色補正、第１７回画像センシングシンポジウム(SSII2011)講演論文集、横浜(パシフィコ横浜)、２０１１年６月。
【非特許文献１０】E. Reinhard, M. Ashikhmin, B. Gooch and Ｐ. Shirley, Color transfer between images,IEEE Transactions on Computer Graphics and Applications, 21-5(2001), 34-41.
【非特許文献１１】B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence-Volume 2 (IJCAI'81), Vancouver, BC, Canada, August 1981, pp. 674-679.
【非特許文献１２】S. Baker and I. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision, 56-3 (2004), 221-255.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であるが、本発明では、これをさらに高次元・高自由度な補正モデルに拡張することを目的とする。
【課題を解決するための手段】
【００１３】
本発明では、同一シーンを異なる視点から撮影した画像間のカラーマッチングを目的として、画素値の１次元輝度、２次元色差、あるいは３次元ＲＧＢヒストグラムをマッチングさせることにより色補正の自動化を行う。画素値ヒストグラムを画像と見なせば、画像間の幾何学的な位置合わせに用いられるＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを適用することができる。反復毎にヘッセ行列を計算しない逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを１次近似した近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより、計算コストを低減することができる。
【発明の効果】
【００１４】
同一シーンを異なる視点から撮影した画像間のカラーマッチングを自動化することができる。すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付けも必要としない。
【図面の簡単な説明】
【００１５】
【図１】（ａ）は複数のカメラ間の色合わせ（カラーマッチング）のために、それぞれ異なる視点から同一のカラーチャートを撮影する様子を示す概念図であり、（ｂ）は同一シーンを異なる視点から撮影した映像間の色合わせを概念的に説明する図である。
【図２】（ａ）はＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）作用素により抽出した特徴点をマッチングした画像例を示すものであり、（ｂ），（ｃ）はＲＧＢ画素値の３次元プロット例を示す図であって、（ｂ）が画像中の赤枠（紙面上方側の矩形枠）、緑枠（紙面下方側の矩形枠）内のＲＧＢ画素値を３次元プロットする場合について示し、（ｃ）が正規化ＲＧＢ［０，１］領域に、画素値とそれぞれの誤差の楕円体（信頼区間９５％）を表示する図である。
【図３】Ｌｕｃａｓ−Ｋａｎａｄｅヒストグラムマッチング処理全体の説明をするブロック概念図である。
【図４】画像のヒストグラム例を示すものであり、（ａ）は原画像、（ｂ）は１次元輝度ヒストグラム、（ｃ）は２次元色差ヒストグラム（３次元プロット）、（ｄ）は２次元色差ヒストグラムの画像表示（２５５以上は２５５にクリップ処理）、（ｅ）は１次元ＲＧＢヒストグラム、（ｆ）は３次元ＲＧＢヒストグラム（ImageJ, An open platform for scientific image analysis, https://imagej.net/Welcomeによる表示）である。
【図５】Ｌwhiteを変化させたときの１次元射影（分数）変換Ｌｄをプロットしたものであり、１次元射影（分数）変換によるグローバル・トーンマッピング処理関数を説明する図である。
【図６】２次元／３次元幾何学変換による四角形/立方体の変形を示す図である。
【図７】Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム手順を説明する図である。
【図８】逆結合／近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム手順を説明する図である。
【図９】カラーマッチング評価結果（１）を示す図であって、擬似多視点画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均、平均収束回数、括弧内は標準偏差である。
【図１０】カラーマッチング画像例（１）を示す図であって、擬似多視点画像の場合、（ａ）基準画像とその射影変換による入力原画像（ｂ）、（ｃ）基準画像(Reference）と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。
【図１１】カラーマッチング評価結果（２）を示す図であり、動画像列からの２画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均・平均収束回数、括弧内は標準偏差である。
【図１２】カラーマッチング画像例（２）を示す図であり、動画像列からの２画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラム。
【図１３】カラーマッチング評価結果（３）を示す図であり、ステレオ画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均、平均収束回数、括弧内は標準偏差である。
【図１４】カラーマッチング画像例（３）を示す図であり、ステレオ画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（lnput）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。
【発明を実施するための形態】
【００１６】
本実施形態で説明する自動色補正処理方法等は、同一シーンを異なる視点から撮影した二つ以上の画像間のカラーマッチングを目的として、画素値の１次元輝度、２次元色差、あるいは３次元ＲＧＢヒストグラムをマッチングさせることにより色補正の自動化を行う。画素値ヒストグラムを画像と見なせば、画像間の幾何学的な位置合わせに用いられるＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを適用することができる。反復毎にヘッセ行列とその逆行列を計算しない逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを１次近似した近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを用いて、計算コストを低減する。すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付けも必要としない。
【００１７】
本発明は以下のような特筆すべき特徴を有している。
・同一シーンを異なる視点から撮影した画像間のカラーマッチングにおいて、画素値ヒストグラムをマッチングさせることにより自動化を行う。
・ヒストグラムマッチングにヒストグラムを画像と見なして、そのヒストグラム画像としての画素値の勾配情報に基づく最適化アルゴリズムを用いることにより、従来の画素値の平均値・標準偏差による簡易な色補正モデルを超える高次元・高自由度な色補正モデルを推定することが可能となり、高精度な色補正結果が得られる。
・画素値の勾配情報に基づく色補正パラメータ推定の最適化アルゴリズムにおける反復過程で、２階微分であるヘッセ行列とその逆行列を反復毎に計算するのではなく、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化するものとする。
・すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付も必要としない。
【００１８】
さらに、本発明にかかる装置を具現化する一例として、
・画像から画素値のヒストグラムを計算するヒストグラム計算部、
・画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑部、
・ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理部、
・基準画像の入力画像から得られた上記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理部、
・ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理部、を備える画像処理装置とすることができる。
【００１９】
このような装置等を実現する方法としては、例えばベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
【００２０】
また、カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、色補正処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。
【００２１】
さらに、異なる視点から同一シーンを撮影した画像間において、ヒストグラムマッチングにより推定した色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成すれば、ソフトウェア／ハードウェアのいずれも色補正処理の高速化が図れる。
【００２２】
図３は、Ｌｕｃａｓ−Ｋａｎａｄｅヒストグラムマッチング処理全体の説明をするブロック概念図である。基準画像（Ｒｅｆ）と入力画像（Ｉｎ）を入力して、基準画像の色明るさに入力画像を合わせる。はじめに、それぞれのヒストグラムを計算して（Ｈｉｓｔｏｇｒａｍ）、ヒストグラム画像として、ガウシアン平滑化（Ｇａｕｓｓｉａｎ  Ｓｍｏｏｔｈｉｎｇ）を行う。そして、ヒストグラム画像のレベルをトーンマッピング処理（Ｔｏｎｅ  Ｍａｐｐｉｎｇ）により変換する。
【００２３】
そして、レベル変換されたヒストグラム画像を用いて、Ｌｕｃａｓ−Ｋａｎａｄｅマッチング処理（Ｌｕｃａｓ−Ｋａｎａｄｅ  Ｍａｔｃｈｉｎｇ）を行い、色補正パラメータを推定する。推定した色補正パラメータ（ＣｏｒｒｅｃｔＰａｒａｍｅｔｅｒ）を用いて、入力画像を色補正（Ｃｏｌｏｒ  Ｃｏｒｒｅｃｔ）して出力（Ｏｕｔ）することが図３から理解できるものとなる。
【００２４】
また、図４は、画像のヒストグラム例を示すものであり、（ａ）は原画像、（ｂ）は１次元輝度ヒストグラム、（ｃ）は２次元色差ヒストグラム（３次元プロット）、（ｄ）は２次元色差ヒストグラムの画像表示（２５５以上は２５５にクリップ処理）、（ｅ）は１次元ＲＧＢヒストグラム、（ｆ）は３次元ＲＧＢヒストグラム（ImageJ, An open platform for scientific image analysis, https://imagej.net/Welcomeによる表示）である。
【００２５】
図４においては、画像の１次元輝度ヒストグラム、２次元色差値ヒストグラム、１次元ＲＧＢヒストグラム、そして、３次元ＲＧＢヒストグラムである。１次元輝度、１次元ＲＧＢヒストグラムのビン数（区間数）はいずれも６４であり、２次元色差ヒストグラムは、６４×６４＝４０９６、３次元ヒストグラムは９×９×９＝７２９である。
【００２６】
【数１】
2020155907.tif 000003
【００２７】
【数２】
2020155907.tif 000004
【００２８】
アフィン変換を施しても直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。各部分の長さの比も保たれる。その結果、平行な直線は平行な直線に、平行な平面は平行な平面に写像される。しかし、スケールや角度は変化するので、たとえば立方体は平行六面体になる。図６Ａ及び図６Ｂに、２次元／３次元幾何学変換による四角形/立方体の変形を示す。
【００２９】
画像の色を表現する方法として、ＲＧＢ色空間が広く使われているが、映像信号では、人間の視覚特性を考慮した輝度色差ＹＣｂＣｒが用いられている。明るさを表す輝度信号Ｙと色合いを表す色差信号ＣｂＣｒからなり、人間の視覚は、明るさに対して色の感度が低いことから、水平・垂直方向の解像度を間引くことにより、伝送・蓄積等に掛かるコストを低減している。色差信号ＣｂＣｒは、それぞれ、青色Ｂから輝度値Ｙを引いたＢ−Ｙ、赤色Ｒから輝度値Ｙを引いたＲ−Ｙが［−０．５，０．５］区間になるように係数を掛けたものである。
【００３０】
ガンマ補正されたＲＧＢ言号から輝度色差信号ＹＣｂＣｒへの変換は次のようになる。
【００３１】
【数３】
2020155907.tif 000005
【００３２】
Ｙ´，ＣＢ，ＣＲを各８ビットとすると、Ｙ´には２２０レベルを割り当て、黒レベルを１６、白ピークレベルを２３５とする。ＣＢ，ＣＲについては２２５レベルを割当て、信号は１６〜２４０の範囲とし、０言号のレベルを１２８とする。
【００３３】
【数４】
2020155907.tif 000006
【００３４】
例えば、３次元ＲＧＢアフィン変換の場合、
【００３５】
【数５】
2020155907.tif 000007
【００３６】
【数６】
2020155907.tif 000008
【００３７】
【数７】
2020155907.tif 000009
【００３８】
【数８】
2020155907.tif 000010
【００３９】
【数９】
2020155907.tif 000011
【００４０】
変換パラメータｐは微小であるから、パラメータ同士の積を無視する１次近似を行った。
このような逆結合の1次近似である“減算”によって、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの効率化が図れることから、これを“近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”と呼ぶことにする。
逆結合／近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム手順を図８に示す。手順の番号は、図７のＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムと対応している。手順９のそれぞれの場合のパラメータ更新の式の違いに注意する。
【００４１】
評価用画像として、同一画像を射影変換することにより生成した擬似多視点画像、連続する動画像列からの２画像、実際のステレオ画像を用いる。３次元ＲＧＢ色空間における相似変換により色変換した画像の基準画像に対する色補正パラメータを推定して、色補正する。色補正モデルには、１次元輝度・２次元色差、あるいは３次元ＲＧＢ色空間におけるアフィン変換を用いる。
【００４２】
図９、図１１、図１３は、各評価用画像１０組の結果である。相似変換パラメータを変えて、１組につき１００回行った。擬似多視点画像の場合は、正規乱数による射影変換も変えている。Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、逆結合・近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを用いて、それぞれ１次元輝度・２次元色差ヒストグラムマッチング３次元ＲＧＢヒストグラムマッチングによる結果である。ヒストグラムのビン数（区間数）は、それぞれ６４，６４×６４，６４×６４×６４とした。収束条件は、いずれもパラメータ更新量ベクトルのノルム||△p||が１×１０−３以下とした。真の入力原画像と色補正画像の間の差分二乗画像の平均色差とともに、平均収束回数も示す。比較のために、ＲＧＢ毎の画素値の平均標準偏差マッチングによる結果も示す。
【００４３】
ここで、図９は、カラーマッチング評価結果（１）を示す図であって、擬似多視点画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均、平均収束回数、括弧内は標準偏差である。
【００４４】
また、図１０は、カラーマッチング画像例（１）を示す図であって、擬似多視点画像の場合、（ａ）基準画像とその射影変換による入力原画像（ｂ）、（ｃ）基準画像(Reference)と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。
【００４５】
いずれの評価画像の場合も、輝度色差ヒストグラムマッチングの結果よりも、ＲＧＢヒストグラムマッチングの結果の方が、色差△Ｅ*abの平均が低く、ＲＧＢ平均標準偏差マッチングの結果よりも低い（△Ｅ*abが０で厳密に一致する）。凝似多視点画像の場合には、ＲＧＢヒストグラムマッチングの結果の入力原画像と色補正画像の間の色差は、実用的な許容限界（厳格色差）を越えている。△Ｅ*abにおける丁度可知差異（Just Noticeable Difference, JND）は、2.3と言われている。遠方のシーンをズームにより撮影する場合には、平面と見なせるため、平面射影変換により近似ができて、擬似的な多視点画像による評価は十分現実的である。
【００４６】
同一カメラによる動画像列からの２画像は、いずれも時間的に１０フレーム離れた２画像を用いたが、ある程度のパン、チルト、ズーム、局所的な移動物体によるオクルージョンに対して、ヒストグラム特徴は不変と見なせる。しかし、ステレオ画像は奥行きによるオクルージョンが大きくなるため、画像や色変換によっては、十分な補正結果が得られていない。それでも、ＲＧＢ平均標準偏差マッチングより色差は低い。
【００４７】
ＲＧＢ平均標準偏差マッチングは反復を行わない簡易な方法であるものの、色変換がＲＧＢ色空間における並進スケール変換と見なせる場合には、十分な色補正結果が得られる。しかし、ＲＧＢ色空間における回転による色変換を補正することはできない。カメラのパン、チルト、ズーム、局所的な移動物体によるオクルージョンに対しても、十分な補正が行われない。
【００４８】
いずれの評価画像の場合も、色変換は、ＲＧＢ色空間における相似変換によるが、輝度色差色空間では十分補正することはできない。カメラの内部では、リニアマトリクス処理として、ＲＧＢ混合処理が行われている。カラーマッチングのためには、ＲＧＢ色空間による補正が適しているだろう。
【００４９】
Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムに関しては、いずれの方法でも収束はしており、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムがやや収束が速く、近似逆結合、通常の（順方向）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの順に収束が遅くなる傾向が見られる。色差の平均は、通常の（順方向）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムがやや低いようである。その他は同程度であった。
【００５０】
ここで、図１１は、カラーマッチング評価結果（２）を示す図であり、動画像列からの２画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均・平均収束回数、括弧内は標準偏差である。
【００５１】
また、図１２は、カラーマッチング画像例（２）を示す図であり、動画像列からの２画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。
【００５２】
図１０、図１２、図１４は、各評価用画像における画像例を示す図である。各図中（ｇ）は、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの反復回数に対する残差のグラフであり、順方向（FA）、逆結合（IC）、近似逆結合（Approx.IC）である。（ｈ）は入力原画像と色変換／色補正画像の間の差分オフセット画像（差分値０が１２８）のＲＧＢ毎のヒストグラムも、入力色変換画像（Conv）、ＲＧＢ毎の平均標準偏差マッチング（ＲＧＢ）に対して、３次元ＲＧＢヒストグラムマッチングの結果（LK）が差分値０に集中している。
【００５３】
ここで、図１３は、カラーマッチング評価結果（３）を示す図であり、ステレオ画像の場合、原画像と色補正画像の間の色差△Ｅ*abの平均、平均収束回数、括弧内は標準偏差である。
【００５４】
また、図１４は、カラーマッチング画像例（３）を示す図であり、ステレオ画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（lnput）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct)のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。
【００５５】
上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。
【産業上の利用可能性】
【００５６】
本発明は、映像機器全般に適用可能であって、特に、映像制作に用いられる色調整作業を伴う業務用映像機器等にも好適である。
【図１】
2020155907.tif 000012
【図２】
2020155907.tif 000013
【図３】
2020155907.tif 000014
【図４】
2020155907.tif 000015
【図５】
2020155907.tif 000016
【図６】
2020155907.tif 000017
【図７】
2020155907.tif 000018
【図８】
2020155907.tif 000019
【図９】
2020155907.tif 000020
【図１０】
2020155907.tif 000021
【図１１】
2020155907.tif 000022
【図１２】
2020155907.tif 000023
【図１３】
2020155907.tif 000024
【図１４】
2020155907.tif 000025