(57)【要約】【課題】カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法と画像処理装置を提案することを目的とする。【解決手段】３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮して統計的に推定する工程と、複数の異なる自由度の３次元幾何学変換モデルの中から、前記３次元幾何学変換モデルの複雑さと当てはまりのよさをバランスする最適な前記３次元幾何学変換モデルを選択する工程と、選択された前記３次元幾何学変換モデルによる色補正処理を計算する工程と、を有するカラーマッチング処理方法とする。【選択図】図６
2018152804.tif 000002
【特許請求の範囲】
【請求項１】
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮して統計的に推定する工程と、
複数の異なる自由度の３次元幾何学変換モデルの中から、前記３次元幾何学変換モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する工程と、
前記選択された３次元幾何学変換モデルによる色補正処理を計算する工程と、を有する
ことを特徴とするカラーマッチング処理方法。
【請求項２】
請求項１に記載のカラーマッチング処理方法において、
前記誤差の共分散行列を考慮した統計的に推定する工程は、超精度くりこみ法を利用した推定である
ことを特徴とするカラーマッチング処理方法。
【請求項３】
請求項１または請求項２に記載のカラーマッチング処理方法において、
前記複数の異なる自由度の３次元幾何学変換モデルは、全次項（フル）の２次元多項式変換（Ｐｏｌｙ２ｆｕｌｌ）と、２次項のみの２次元多項式変換（Ｐｏｌｙ２）と、アフィン変換（Ａｆｆｉｎｅ）と、射影変換（Ｈｏｍｏ）と、双線形変換（Ｂｉｌｉｎｅａｒ）のうち少なくとも一つを含む
ことを特徴とするカラーマッチング処理方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載のカラーマッチング処理方法において、
前記３次元幾何学変換モデルを選択する工程は、幾何学的ＡＩＣ（Ｇ−ＡＩＣ）または幾何学的ＭＤＬ（Ｇ−ＭＤＬ）による選択である
ことを特徴とするカラーマッチング処理方法。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載のカラーマッチング処理方法において、
選択された前記３次元幾何学変換モデルは、２次項のみの２次元多項式変換モデルである
ことを特徴とするカラーマッチング処理方法。
【請求項６】
請求項１乃至請求項５のいずれか一項に記載のカラーマッチング処理方法において、
選択された前記３次元幾何学変換モデルによる色補正処理を計算する工程は、３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する
ことを特徴とするカラーマッチング処理方法。
【請求項７】
請求項２に記載のカラーマッチング処理方法において、
前記超精度くりこみ法を利用した推定は、カラーチャートを撮影した画像から抽出したＲＧＢデータと前記共分散行列とを用いる
ことを特徴とするカラーマッチング処理方法。
【請求項８】
カラーチャートを撮影した画像からＲＧＢデータと共分散行列を抽出するデータ抽出部と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の前記共分散行列を考慮した統計的な方法により推定するパラメータ推定部と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する３次元幾何学変換モデル選択部と、
前記選択された３次元幾何学変換モデルによる色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、
前記選択された３次元幾何学変換モデルによる色補正処理を生成された前記３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部と、を備える
ことを特徴とする画像処理装置。
【請求項９】
カラーチャートを撮影した画像からＲＧＢデータと共分散行列を抽出するデータ抽出工程と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の前記共分散行列を考慮した統計的な方法により推定するパラメータ推定工程と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する３次元幾何学変換モデル選択工程と、
前記選択された３次元幾何学変換モデルによる色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成工程と、
前記選択された３次元幾何学変換モデルによる色補正処理を生成された前記３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理工程と、を有する
ことを特徴とするカラーマッチング処理方法。
【請求項１０】
請求項８に記載の画像処理装置は、
ベースバンドビデオ信号を処理するハードウェア装置により実現された画像処理装置であるか、
ＭＸＦファイルを処理するソフトウェアを有し、前記ソフトウェアを実行するコンピュータをベースとした画像処理装置であるか、
前記ＭＸＦファイルをベースバンドビデオ信号に変換するか、または逆変換する装置を用いて構成された画像処理装置であるか、のいずれか一つである
ことを特徴とする画像処理装置。
【請求項１１】
請求項１乃至請求項７及び請求項９のいずれか一項に記載のカラーマッチング処理方法は、
カメラ映像を動画像圧縮したもの、またははＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で前記カラーマッチング処理方法による処理を遂行される
ことを特徴とするカラーマッチング処理方法。
【請求項１２】
請求項１乃至請求項７及び請求項９のいずれか一項に記載のカラーマッチング処理方法において、
ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、前記カラーマッチング処理方法によるカラーマッチング処理またはカラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する
ことを特徴とするカラーマッチング処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラ間での色合わせ補正等に適用可能な最適カラーマッチング処理方法と画像処理装置に関する。
【背景技術】
【０００２】
カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチングや、理想カラーチャート画像間のカラーキャリブレーションを含む画像・映像の色補正処理全般に関する色補正モデルとしては、高次の多項式モデルや明示的なモデルは未知としてニューラルネットワークが従来用いられている。また、モデルのパラメータ推定の方法としては、従来いずれも最小二乗法を用いている。このような方法は、下記非特許文献に記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】G.D.Finlayson,S.D.Hordley and l.TastI,Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision （ICCV'03）,Volume 2, 2003, pp.792-799.
【非特許文献２】V.Cheung,S.Westland,D.Connah and C.Ripamonti,A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms,Coloration Technology,120-1,2004,pp.19-25.
【非特許文献３】A.Ilie and G.Welch,Ensuring color consistency across multiple cameras,Tenth IEEE International Conference on Computer Vision （ICCV'05）,volume 2,2005,pp.1268-1275.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のカラーマッチングのための色補正モデルとしては、多項式モデルやニューラルネットワーク等、様々な色補正モデルが用いられてきたが、カメラの撮像や映像圧縮によるノイズ（誤差）の影響を考慮した推定方法は用いられていない。また、色補正モデルのパラメータの推定精度が低いと、十分な色補正結果が得られない。
【０００５】
また、色補正モデルのパラメータ自由度の高いモデルの当てはまりがよくなるのは当然であるが、そのモデルの妥当性が示されているとは言い難い。具体的には、高い自由度を有するモデル（すなわち、パラメータの数が多いモデル）の場合には、参照板（カラーチャート）には良好に適用可能となるが、それ以外の現実の画像に適用しようとすると不適切な色補正結果が生じることも少なくない。また、自由度の高い複雑な色補正モデルを実現するためには、計算コスト（典型的には処理時間）が掛かることが知られており、現実的ではない。
【０００６】
上述のように、従来、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、これを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法は知られていない。従って、本発明は、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法と画像処理装置を提案することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点に鑑み、本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。
【０００８】
ここで、誤差の共分散行列を考慮した統計的に最適な方法は、後述するいわゆる超精度くりこみ法である。また、複数の異なる自由度の幾何学変換モデルは、例えば、全次項（フル）の２次元多項式変換や２次項のみの２次元多項式変換やアフィン変換等である。また、幾何学的モデル選択は、例えば、幾何学的ＡＩＣや幾何学的ＭＤＬである。さらに、モデルの複雑さと当てはまりのよさをバランスする最適な選択・決定された３次元幾何学変換モデルは、本発明においては典型的には、幾何学的ＭＤＬにより選択された２次項のみの２次元多項式変換となる。
【発明の効果】
【０００９】
本発明により、カメラの撮像や映像圧縮に起因するノイズ（誤差）を考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法を実現できる。従って、色補正の精度が向上するとともに、処理時間と補正当てはまりの良好さとを高次元でバランスした現実的で最適な処理方法と画像処理装置を実現できる。
【図面の簡単な説明】
【００１０】
【図１】カラーマッチングの結果の一例を示す図である。
【図２】デジタルカメラ２４機種のすべての組み合わせにおける幾何学的ＡＩＣ／幾何学的ＭＤＬによるモデル選択の結果を示す図である。
【図３】２４機種のデジタルカメラからすべての２機種の組み合わせのカラーマッチングの結果を示す図である。
【図４】カラーキャリブレーションの例を説明する図である。
【図５】（ａ）は３次元２次多項式変換行列（２次項のみ）の計算の偏差Ｂを示す図であり、（ｂ）はＲＭＳ（平方平均二乗）誤差Ｄを示す図であり、いずれも横軸はデータ点に加えた誤差の標準偏差σである。ただし、各σに対して100,000回試行した。ともに、最小二乗法（LeastSquares）と超精度くりこみ法（HyperRenorm）とＫＣＲ下界（ＫＣＲＬＢ）の結果をそれぞれ示している。また、（ｃ）は計算値ｈの真の値「ｈ（上方にバー）」に垂直な成分Δ⊥ｈを示す図である。
【図６】カラーマッチング処理を説明するブロック図である。
【図７】（ａ）は３ＤＬＵＴ補間処理ブロック図であり、（ｂ）は３ＤＬＵＴデータ配置を示す図である。
【発明を実施するための形態】
【００１１】
（発明の概要１）
本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定することを提案する。また、本発明では、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
【００１２】
そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。本発明による技術思想は、カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチング、理想カラーチャート画像間のカラーキャリブレーションに適する。また、本発明は、ノンリニア編集ソフトウェア各種による実現も可能である。
【００１３】
従って、本発明においては、誤差の共分散行列を考慮した統計的に最適な推定方法を用いることによって、誤差やノイズが除去された最高精度の色補正モデルのパラメータを推定することが可能となり、色補正の精度が向上する。また、幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適かつ現実的なモデルを決定することができる。これにより、カラーチャート以外の未知の画像に対しても適切な色補正処理が行われる。さらに、３次元幾何学変換による色補正処理の計算を３次元ルックアップテーブル（３ＤＬＵＴ）補間により行うことで、色補正処理の計算に掛かるコストを固定化できるものとなる。
【００１４】
本発明の特徴の一つは、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを、誤差の共分散行列を考慮して推定するところにある。また、本発明の特徴の他の一つは、複数の異なる自由度の３次元幾何学変換モデルを推定して、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するところにある。また、本発明の特徴の他の一つは、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、色補正処理に掛かる計算コストを固定化するところにある。
【００１５】
また、カラーチャートを撮影した画像からＲＧＢデータ、およびそれらの共分散行列を抽出するデータ抽出部と、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に最適な方法により推定するパラメータ推定部と、複数の異なる自由度の幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部とを備える画像処理装置とすることに本発明の特徴がある。
【００１６】
上記本発明の実現方法としては、例えば、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である.カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である.ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、カラーマッチング／カラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。
【００１７】
（発明の概要２）
【００１８】
図６は、カラーマッチング処理を説明するブロック図である。カラーマッチング処理の手順は、次の１）〜５）のようになる。
【００１９】
１）参照板（カラーチャート）を撮影したカラーチャートsource画像とカラーチャートtarget画像をデータ抽出部へ入力し、それぞれのＲＧＢデータ、およびそれらの共分散行列を抽出する。
【００２０】
２）ＲＧＢデータ、およびそれらの共分散行列をパラメータ推定部へ入力して、統計的に最適な推定方法である超精度くりこみ法により、カラーチャートtarget画像を基準として、カラーチャートsource画像をカラーマッチングするための３次元ＲＧＢ色空間における３次元幾何学変換モデルのパラメータを推定する。
【００２１】
３）複数の異なる自由度の３次元幾何学変換モデルのパラメータ推定の結果から、ＲＧＢデータ、およびそれらの共分散行列による当てはめ残差を計算し、最も自由度の高い一般モデルから二乗ノイズレベルを推定し、パラメータ推定したすべてのモデルにおける幾何学的モデル選択規準を、モデル選択部で計算する。そして、当該モデル選択部は、幾何学的モデル選択規準が最小になるモデルのパラメータを出力する。
【００２２】
４）選択された幾何学変換モデルのパラメータベクトルｈを用いて、３ＤＬＵＴ生成部が、３ＤＬＵＴデータを生成する。
【００２３】
５）基準となるカラーチャートtarget画像にカラーマッチングしたいsource画像／映像入力に対して、３ＤＬＵＴデータを用いた３ＤＬＵＴ補間により色補正処理を行い、色補正処理部が、source画像／映像の色補正を出力する。
【００２４】
また、カラーマッチング処理の上記図６の手順のうち、１）乃至４）までは、現実の補正処理よりも前に予め遂行しておくことが好ましい「最適パラメータ学習」である。また、上記手順５）は、最適パラメータ学習の結果である最適パラメータベクトルｈから生成した３ＤＬＵＴデータを用いた３ＤＬＵＴ補間処理による色補正処理である。
【００２５】
ここで、ＲＧＢデータおよびそれらの共分散行列の抽出について、以下に説明する。
【００２６】
【数１】
2018152804.tif 000003
【００２７】
３次元ＲＧＢ色空間における３次元幾何学変換モデルの定義、および超精度くりこみ法による最適なパラメータを推定するパラメータ推定部、幾何学的モデル選択によるモデル選択部の詳細については、後述する。
【００２８】
【数２】
2018152804.tif 000004
【００２９】
（Ａｂｓｔｒａｃｔ）
以下の説明においては、参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定する。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
【００３０】
そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示す。カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行う。さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。
【００３１】
（１  はじめに）
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告BT.2020規格（Recommendation ITU-R BT.2020-1,  Parameter values for ultra-high definition television systems for production and international programme exchange （2014））として規定されている。
【００３２】
映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）も、拡張された信号レベルを圧縮するための非線形の伝達関数が国際標準として規定された（Recommendation ITU-R BT.2100,  Image parameter values for high dynamic range television for use in production and international programme exchange （2016））。
【００３３】
色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Color grading）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート（参考文献［１９］参照））を用いたカメラの色調整は、カラーキャリブレーションとして、異なる機種のカメラ間の色合わせは、カラーマッチングとして知られている。
【００３４】
また、松永ら（参考文献［１８］参照）は、再撮モニタや複数台のカメラ間の色合わせのために、参照板（カラーチャート）を自動認識して、観測誤差を考慮した色補正パラメータを最適に推定するとともに、ガマット誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって、妥当な色補正結果を得るための方法を示した。
【００３５】
また、松永（参考文献［１５］参照）は、次世代テレビ放送４Ｋ／８Ｋ（スーパーハイビジョン）におけるBT.2020色空間から、現行地上デジタル放送におけるBT.709（G.D.Finlayson, S.D.Hordley and I.Tastl, Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision（ICCV’03）, Volume 2, 2003, pp.792-799.）色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。
【００３６】
そして、ＲＧＢ色空間における３次元ルックアップテーブル（３ＤＬＵＴ）補間（参考文献［１３］参照）による計算精度を実験的に評価した。
【００３７】
コンピュータビジョンにおけるカメラのキャリブレーション（参考文献［１６］，［２０］参照）は、カメラの内部／外部パラメータを推定する基本的な処理であり、幾何学的な当てはめ問題のひとつである。
【００３８】
金谷は、画像から得られた誤差を含む観測データに対して、幾何学的な当てはめを行う統計的に最適な理論を構築し、推定精度の理論限界を達成する種々の方法を開発し、コンピュータビジョンに現れる様々なパラメータ推定問題に用いてきた（参考文献［６］，［９］，［１０］，［１２］参照）。
【００３９】
一方、カラーキャリブレーションでは、様々なモデルが用いられているものの（参考文献［３］，［２］，［５］，［１］参照）、撮像における誤差の影響まで考慮した最適な推定方法は用いられていない（松永ら（参考文献［１８］参照）によるものだけのようである．）。
【００４０】
自由度の高いモデルの当てはまりがよくなるのは当然であるが、そのモデルの妥当性が示されているとは言い難い。参照板（カラーチャート）にはよく当てはまるが、それ以外の画像では不適切な色補正結果が生じることも少なくない（機械学習における「過学習」に相当する）。
【００４１】
本説明では、高次の多項式変換まで含めた３次元ＲＧＢ色空間における幾何学変換モデルを誤差の共分散行列を考慮して最適に推定し、幾何学的モデル選択により現実的な変換モデルを決定する。そして、３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間（参考文献［１３］参照）により計算して、実際のデジタルカメラ間のカラーマッチングを行う。
【００４２】
本説明の構成は、２章で３次元ＲＧＢ色空間における幾何学変換として、３次元の射影変換、アフィン変換、多項式変換を定義する。３章で、それらの幾何学変換を推定する方法を説明する。
【００４３】
最も簡易な方法は最小二乗法であるが、データに含まれている誤差の性質を考慮していないため、精度が低い。そこで、誤差の性質を明示的に記述し、誤差の共分散行列を考慮した最適な推定方法として超精度くりこみ法（参考文献［９］，［１０］，［１１］，［１２］参照）の手順を示す。
【００４４】
また、４章で、複数の異なる自由度の幾何学変換の推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬ（参考文献［６］，［７］参照）によるモデルの複雑さと当てはまりのよさをバランスする最適なモデルの決定方法を説明する。
【００４５】
また、５章で、実際の異なる機種の様々なデジタルカメラで撮影したカラーチャート画像間の複数の異なる自由度の３次元幾何学変換を推定し、それらの幾何学的モデル選択した幾何学変換モデルによる色補正処理を３ＤＬＵＴ補間により計算したカメラ間のカラーマッチングの結果を示す。カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行う。
【００４６】
さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。そして、６章で纏めるものとする。
【００４７】
（２  ３次元幾何学変換）
（２．１  ３次元射影変換）
３次元ＲＧＢ色空間における「３次元射影変換」を考える。空間点（ｒ，ｇ，ｂ）、（ｒ’，ｇ’，ｂ’）をスケール定数ｆ０によって各成分のオーダーを揃えた４次元同次ベクトルｘ、ｘ’で表し、３次元射影変換行列を４×４行列Ｈで表す。
【００４８】
【数３】
2018152804.tif 000005
【００４９】
ただし、Ｚ［・］は４次元ベクトルの第４成分を１にする正規化作用素である。式（２）を各成分毎に書くと
【００５０】
【数４】
2018152804.tif 000006
【００５１】
ただし、ベクトルａ，ｂの内積を（ａ，ｂ）と書く。
【００５２】
平面内の場合と同様に、射影変換によって直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。しかし、長さや角度や比は保たれないので、たとえば立方体は一般の六面体に写像される（参考文献［１２］，［１０］参照）。
【００５３】
（２．２  ３次元アフィン変換）
３次元アフィン変換行列は、式（１）においてｈ４１＝ｈ４２＝ｈ４３＝０とした次の４×４行列Ｈで表される。
【００５４】
【数５】
2018152804.tif 000007
【００５５】
【数６】
2018152804.tif 000008
【００５６】
アフィン変換を施しても直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。各部分の長さの比も保たれる。その結果、平行な直線は平行な直線に、平行な平面は平行な平面に写像される。しかし、スケールや角度は変化するので、たとえば立方体は平行六面体になる（参考文献［１２］，［１０］参照）。
【００５７】
（２．３  ３次元多項式変換）
３次元２次多項式変換行列は、次の行列Ｈで表される。
【００５８】
【数７】
2018152804.tif 000009
【００５９】
各成分毎に書くと、
【００６０】
【数８】
2018152804.tif 000010
【００６１】
３次元２次多項式変換モデルの自由度（＝パラメータ数−１）は３０である（ベクトルｈのノルムが１になるように正規化するから。）。表１に３次までの多項式による変換モデルの項を示す。３次元１次多項式変換はアフィン変換である。
【００６２】
【表１】
2018152804.tif 000011
【００６３】
（３  最適推定）
（３．１  最小二乗法）
【００６４】
【数９】
2018152804.tif 000012
【００６５】
（３．２  誤差と共分散行列）
【００６６】
【数１０】
2018152804.tif 000013
【００６７】
近似によって次のように計算できる（参考文献［６］，［９］，［１０］，［１２］参照）。
【００６８】
【数１１】
2018152804.tif 000014
【００６９】
【数１２】
2018152804.tif 000015
【００７０】
diag（０，０，０，１，１，１）とすればよい（カラーキャリブレーションは、一方が誤差を含まない理想的なカラーチャート（参考文献［１９］参照）画像の場合に相当する。異なるカメラによる２画像間のカラーマッチングは、２画像ともに誤差を含む）。これらはいずれも誤差の分布が一様等方であることを仮定しているが、センサによっては誤差の分布が不均一な非等方性であることは珍しくない（ＲＧＢデータの場合、各値には相関があり、カメラの分光感度特性から、Ｒ，Ｇに対してＢの感度は相対的に低い）（参考文献［６］，［１４］，［１７］，［８］参照）。
【００７１】
（３．３）超精度くりこみ法
超精度くりこみ法（参考文献［９］，［１０］，［１１］，［１２］参照）の手順は次のようになる。
【００７２】
【数１３】
2018152804.tif 000016
【００７３】
に対して
【００７４】
【数１４】
2018152804.tif 000017
【００７５】
となるベクトルである（アフィン変換、射影変換、双線形変換は、ｅ（ｋ）＝０になる。２次以上の多項式変換は、
【００７６】
【数１５】
2018152804.tif 000018
【００７７】
の２次以上の項に対応する成分を１、それ以外を０とすればよい）。
【００７８】
【数１６】
2018152804.tif 000019
【００７９】
をｈ１，・・・，ｈｐとするとき、次のように計算される。
【００８０】
【数１７】
2018152804.tif 000020
【００８１】
式（３８）のＮは正値とは限らないから、式（３９）を通常のプログラムツールを使って解くには、
【００８２】
【数１８】
2018152804.tif 000021
【００８３】
の形に書き直して、絶対値最大の一般固有値１／λに対する単位一般固有ベクトルを計算する。
【００８４】
（４  幾何学的モデル選択）
【００８５】
【数１９】
2018152804.tif 000022
【００８６】
からノイズレベルσの次の不偏推定量が得られる（参考文献［６］，［７］参照）。
【００８７】
【数２０】
2018152804.tif 000023
【００８８】
【数２１】
2018152804.tif 000024
【００８９】
（Ｇ−ＭＤＬ）は次のように計算される（参考文献［６］，［７］参照）。
【００９０】
【数２２】
2018152804.tif 000025
【００９１】
（複雑さ）をバランスする最適なモデルである（参考文献［６］，［７］参照）。
【００９２】
（５  シミュレーション実験）
（５．１  カラーマッチング）
異なる２４機種のデジタルカメラにより撮影されたカラーチャート画像（http://vision．middlebury．edu/color/）から、すべての２機種の組み合わせを３次元幾何学変換により色補正処理する。それぞれのカラーチャート画像から２４色のＲＧＢデータと共分散行列を抽出し、超精度くりこみ法により幾何学変換を推定する。推定する幾何学変換モデルとしては、アフィン変換、射影変換、双線形変換、２次多項式変換（２次項のみ）、２次多項式変換（フル）の５つとする。
【００９３】
推定されたモデルから当てはめ残差を計算して、幾何学的ＡＩＣ（Ｇ−ＡＩＣ）、幾何学的ＭＤＬ（Ｇ−ＭＤＬ）によるモデル選択を行う。選択された幾何学変換モデルによる色補正処理を行ったカラーチャートsource画像とカラーチャートtarget画像間のＲＭＳ（平方平均二乗）誤差の平均と標準偏差により評価する。
【００９４】
変換の計算の際には、それぞれの画像におけるＲＧＢデータの重心座標を原点として、原点からデータヘの平均距離が
【００９５】
【数２３】
2018152804.tif 000026
【００９６】
となるように正規化を行う（参考文献［４］参照）。各変換の定式化では、データをＯ（１）に揃えるための定数ｆ０による正規化を用いているが、データの重心移動と重心からの平均距離による正規化を行うことにより、さらに計算が安定化する。正規化を行うため、幾何学的ＭＤＬ（４５）におけるＬは１とする。
【００９７】
図１はカラーマッチングの結果の一例である。同図（ｂ）のカラーチャートtarget画像（SonyDSC-F828）を基準として、（ａ）のカラーチャートsource画像（PanasonicDMCLX3）との間の幾何学変換を推定して、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデル選択を行った。
【００９８】
その結果、図２に示すように、Ｇ−ＡＩＣは最も自由度の高い一般モデルである２次多項式変換（フル）を選択し、Ｇ−ＭＤＬは最も自由度の低いアフィン変換モデルを選択した。図１（ｃ）はＧ−ＭＤＬに選ばれたアフィン変換により、カラーチャートsource画像（ａ）を色補正処理した結果である。カラーチャートtarget画像（ｂ）との間のＲＭＳ誤差は5.11であった。図１（ｄ）〜図１（ｈ）に推定したすべてのモデルのＲＧＢ３次元色空間のプロットを示す。
【００９９】
すなわち、図１に示すカラーマッチング例において、（ａ）はカラーチャートsource画像（PanasonicDMCLX3）であり、（ｂ）はカラーチャートtarget画像（SonyDSC-F828）であり、（ｃ）はカラーチャートtarget画像を基準として、カラーチャートsource画像を幾何学的ＭＤＬによるモデル選択結果である３次元アフィン変換により色補正した結果（カラーチャートtarget画像とのＲＭＳ誤差5.11）を示し、（ｄ）は推定したアフィン変換のＲＧＢ３次元色空間プロットを示し、（ｅ）は推定した射影変換のＲＧＢ３次元色空間プロットを示し、（ｆ）は推定した双線形変換のＲＧＢ３次元色空間プロットを示し、（ｇ）は推定した２次多項式変換（２次項のみ）のＲＧＢ３次元色空間プロットを示し、（ｈ）は推定した２次多項式変換（フル）のＲＧＢ３次元色空間プロットを示すものである。
【０１００】
また、図１中の表は各変換モデルにおける当てはめ残差と幾何学的ＡＩＣ（Ｇ−ＡＩＣ）、幾何学的ＭＤＬ（Ｇ−ＭＤＬ）の結果を示しており、ここで、各変換モデルにおける表内の括弧内の数値はモデルの自由度であり、また表内の下線は選ばれたモデルを示すものである。
【０１０１】
図１中の表は、各変換モデルにおける当てはめ残差とＧ−ＡＩＣ、Ｇ−ＭＤＬの結果である。また、図２は、デジタルカメラ２４機種のすべての組み合わせにおける幾何学的ＡＩＣ／幾何学的ＭＤＬによる、３次元ＲＧＢ色空間の幾何学モデル選択の結果を示す図である。Ｇ−ＡＩＣにより最も多く選ばれたモデルは２次多項式変換（フル）であり、Ｇ−ＭＤＬにより最も多く選ばれたモデルは２次項のみの２次多項式変換であった。
【０１０２】
常にＧ−ＡＩＣはより複雑なモデルを選び、Ｇ−ＭＤＬはより単純なモデルを選ぶ。このような傾向は他の応用でも見られる（参考文献［６］，［７］，［１６］，［１８］，［１７］，［８］参照）。これは、それぞれの選択規準を計算する式（４４）、式（４５）より、幾何学的ＭＤＬのモデルの自由度に対するペナルティが幾何学的ＡＩＣより大きいことから説明される。
【０１０３】
一般モデルである２次多項式変換（フル）の当てはめ残差は当然最も小さいが、図１における３次元ＲＧＢ色空間のプロットの結果を見ると、変換された空間は大きく歪んでいることがわかる。本書面では、より自由度の低い単純なモデルを選ぶ幾何学的ＭＤＬによるカラーマッチングの結果がどの程度なのかを評価する（勿論幾何学的ＡＩＣによるカラーマツチングの結果はさらに当てはめ残差が小さい。）。
【０１０４】
図３は、２４機種のデジタルカメラからすべての２機種の組み合わせのカラーマッチングの結果を説明する図である。横軸は基準となるとなるカラーチャートtarget画像を撮影したカメラの機種名であり、残りの２３機種のカメラとの間の幾何学変換を推定して幾何学的ＭＤＬによりモデル選択を行い、３次元ルックアップテーブル（３ＤＬＵＴ）補間により色補正処理を行ったsource画像と、２４機種のデジタルカメラによるカラーチャートtarget画像（これが基準）と、の間のＲＭＳ（平方平均二乗）誤差の平均と標準偏差の結果である。３ＤＬＵＴサイズは、17×17×17とした。図３に示すように、いずれのカメラにおいても十分なカラーマッチングの結果が得られている。
【０１０５】
（５．２  カラーキャリブレーション）
カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像（参考文献［１９］参照）の間の最適な３次元幾何学変換モデルを決定する。カラーマッチング同様、異なる自由度の幾何学変換モデルを超精度くりこみ法により推定し、幾何学的モデル選択により最適な幾何学変換モデルを決定する。そして、選択された幾何学変換モデルによりシーン画像を色補正する。
【０１０６】
図４はカラーキャリブレーションの例を説明する図である。幾何学的ＭＤＬにより射影変換モデルが選択された。図４（ａ）はカラーチャートを含むシーン画像（http://files.is.tue.mpg.de/pgehler/projects/color/index.html）を示す図であり、図４（ｂ）は選択された３次元射影変換によりシーン画像図４（ａ）を色補正した色補正画像（すなわち、幾何学的ＭＤＬにより選択されたシーン画像と理想カラーチャート画像の間の３次元射影変換で補正したもの）であり、図４（ｃ）は理想カラーチャート画像（参考文献［１９］参照）である。
【０１０７】
（５．３  数値シミュレーション）
超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。２４機種のデジタルカメラのカラーマッチングにおいて、幾何学的ＭＤＬによるモデル選択の結果が最も多かった２次項のみの２次多項式変換モデルにおいて数値シミュレーションを行う。図１（ａ），（ｂ）のカラーチャート画像間で超精度くりこみ法により推定した２次項のみの２次多項式変換を真の値とする。そして、図１（ａ）のカラーチャートsource画像の２４色のデータを真のデータとして、真の変換により変換した結果をtarget画像における真のデータとする。
【０１０８】
source画像、target画像の真のデータにそれぞれ独立に期待値０、標準偏差σの正規乱数誤差を加えて、最小二乗法と超精度くりこみ法により変換行列を計算する。計算の際には、カラーマッチング同様、データの重心が原点になるように移動して、原点からデータヘの平均距離が
【０１０９】
【数２４】
2018152804.tif 000027
【０１１０】
になるように正規化を行う（参考文献［４］参照）。ただし、source画像の真のデータに対する重心座標と正規化のためのスケールをtarget画像の真のデータに対しても用いた。データの共分散行列はデフォルト単位行列Ｉ６×６とした。
【０１１１】
【数２５】
2018152804.tif 000028
【０１１２】
【数２６】
2018152804.tif 000029
【０１１３】
ただし、ｈ（ａ）はａ回目の試行の解である。ＲＭＳ誤差Ｄの理論限界を表すＫＣＲ下界は次のようになる（参考文献［６］，［９］，［１０］，［１２］参照）。
【０１１４】
【数２７】
2018152804.tif 000030
【０１１５】
【数２８】
2018152804.tif 000031
【０１１６】
２次項のみの２次多項式変換の計算結果の偏差を図５（ａ）に、ＲＭＳ誤差を図５（ｂ）に示す。すなわち、図５（ａ）は３次元２次多項式変換行列（２次項のみ）の計算の偏差Ｂを示す図であり、図５（ｂ）はＲＭＳ（平方平均二乗）誤差Ｄを示す図であり、いずれも横軸はデータ点に加えた誤差の標準偏差σである。ただし、各σに対して100,000回試行した。ともに、最小二乗法（LeastSquares）と超精度くりこみ法（HyperRenorm）とＫＣＲ下界（ＫＣＲＬＢ）の結果をそれぞれ示している。また、図５（ｃ）は計算値ｈの真の値
【数２９】
2018152804.tif 000032
に垂直な成分Δ⊥ｈを示す図である。
【０１１７】
最小二乗法は、偏差、ＲＭＳ誤差ともに超精度くりこみ法に比べて大きい。そして、図５に示すように、超精度くりこみ法は精度の理論限界であるＫＣＲ下界にほぼ一致している。
【０１１８】
６  まとめ
参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定した。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定した。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示した。
【０１１９】
カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行った。さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認した。
【０１２０】
（参考文献一覧）
［１］A. Chakrabarti, D. Scharstein and T. Zickler, An empirical camera model for Internet color vision, British Machine Vision Conference （BMVC2009）, London, UK, September 2009.
［２］V. Cheung, S. Westland, D. Connah and C. Ripamonti, A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms, Coloration Technology, 1201, 2004, pp. 19-25.
［３］G.D.Finlayson, S.D.Hordley and I.Tastl, Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision（ICCV’03）, Volume 2, 2003, pp.792-799.
［４］R. I. Hartley. In defense of the eight-point algorithm, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19-6 （June 1997）, pp. 580-593.
［５］A. Ilie and G. Welch, Ensuring color consistency across multiple cameras, Tenth IEEE International Conference on Computer Vision （ICCV'05）, Volume2,2005,pp．1268-1275
［６］K.Kanatani,  Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, April 1996, reprinted Dover Publications, New York, U.S.A., July 2005.
［７］K. Kanatani, Uncertainty modeling and model selection for geometric inference, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26-10 （2004）, pp. 1307-1319.
［８］K. Kanatani and C. Matsunaga, Computing internally constrained motion of 3-D sensor data for motion interpretation, Pattern Recognition, 46-6 （2013-6）, pp. 1700-1709.
［９］K. Kanatani, Y. Sugaya and Y. Kanazawa, Ellipse Fitting for Computer Vision: Implementation and Applications, Synthesis Lectures on Computer Vision （Eds.Gerard Medioni and Sven Dickinson）, Morgan & Claypool Publishers, San Rafael, CA, U.S., April, 2016.
［１０］K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation: Geometric Analysis and Implementation, Springer International, Cham, Switzerland, December, 2016.
［１１］K. Kanatani, A. Al-Sharadqah, N. Chernov and Y. Sugaya, Hyper-renormalization: Non-minimization approach for geometric estimation, IPSJ Transactions on Computer Vision Applications, Vol. 6 （2014）, pp.143-159.
［１２］金谷  健一,菅谷  保之,金津  靖，「3次元コンピュータビジョン計算ハンドブック」，森北出版, 2016年10月．
［１３］H.R.Kang, Computational Color Technology, SPIE Publications, May 2006
［１４］松永  力，２次元／３次元幾何学変換の統一的な最適計算，第18回画像センシングシンポジウム（SSII2012）講演論文集，横浜（パシフィコ横浜），2012年６月．
［１５］松永  力, 広色域映像のための最適色域マッピング, 第22回画像センシングシンポジウム（SSII2016）講演論文集, 横浜（パシフィコ横浜）, 2016年6月．
［１６］松水  力, 金谷健一, 平面パタンを用いる移勤カメラの校正：最適計算, 信頼性評価, および幾何学的ＡＩＣによる安定化, 電子情報通信学会論文誌A, Vol.J83-A, No.6（2000-6）, pp.694-701，
［１７］松永  力，金谷  健一，内部拘束を持つ３次元運動の最適計算法と幾何学的モデル選択への応用，ビジョン技術の実利用ワークショップ（ViEW2012）,横浜（パシフィコ横浜，2012年12月．
［１８］松永力, 趙延軍, 和田雅徳, カラーチャートを用いた複数の再撮モニタとカメラの最適色補正, 第16回画像センシングシンポジウム（SSII2010）講演論文集, 横浜（パシフイコ横浜）, 2010年6月．
［１９］C.S.McCamy, H.Marcus and J.G.Davidson,  A color-rendition chart,  Journal of Applied Photographic Engineering, 2-3（Summer 1976）, pp.95-99. http:／／www.xrite.com／
［２０］Z.Zhang, A flexible new technique for camera calibration,  IEEE Transactions on Pattern Analysis and Machine Intelligence, 22-11 （2000）, pp.1330-1334.
【産業上の利用可能性】
【０１２１】
本発明は、画像・映像の色補正処理全般（例えば、色域変換、ＨＤＲ変換を行うカラーグレーディング処理も含む）に適用可能であり、４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像にも好適である。
【図１】
2018152804.tif 000033
【図２】
2018152804.tif 000034
【図３】
2018152804.tif 000035
【図４】
2018152804.tif 000036
【図５】
2018152804.tif 000037
【図６】
2018152804.tif 000038
【図７】
2018152804.tif 000039