(57)【要約】【課題】ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。【解決手段】カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備える色補正装置とする。【選択図】図１
2011259047.tif 000002
【特許請求の範囲】
【請求項１】
カラー基準信号を記憶するリファレンス記憶部と、
前記カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、
前記バッファが記憶する再撮モニタ撮影信号と、前記リファレンス記憶部が記憶する前記カラー基準信号と、を比較し、前記再撮モニタ撮影信号と前記カラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、
算出された前記補正パラメータを記憶する補正パラメータ記憶部と、
入力された映像データに対して、前記補正パラメータ記憶部に記憶された前記補正パラメータに基づく補正処理を遂行する補正処理部と、を備える
ことを特徴とする色補正装置。
【請求項２】
請求項１に記載の色補正装置において、
前記カラー基準信号を前記リファレンス記憶部から読み出して前記再撮モニタに出力することにより、前記カラー基準信号に対応する前記カラー基準映像を前記再撮モニタに表示させる
ことを特徴とする色補正装置。
【請求項３】
請求項１または請求項２に記載の色補正装置において、
前記補正処理部は、前記リファレンス記憶部に記憶された前記カラー基準信号を読み出して、前記カラー基準信号に対して前記補正パラメータに基づく補正処理を遂行して検証信号を前記再撮モニタに出力し、
前記バッファは、前記検証信号を表示する前記再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、
前記比較演算部は、前記リファレンス記憶部に記憶された前記カラー基準信号と、前記バッファが記憶する前記再撮モニタ撮影検証信号とを比較して、差異の有無を検証する
ことを特徴とする色補正装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の色補正装置と、
前記カラー基準信号に対応した前記カラー基準映像を表示する再撮モニタと、
前記再撮モニタを撮影した前記再撮モニタ撮影信号を前記色補正装置に出力するビデオカメラと、
を備えることを特徴とするビデオカメラシステム。
【請求項５】
請求項１乃至請求項３のいずれか一項に記載の色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、
再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、
前記再撮モニタに表示された前記カラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、
取得した前記再撮モニタ撮影信号と、前記リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、
算出した前記補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程と、を有する
ことを特徴とする色補正方法。
【請求項６】
請求項５に記載の色補正方法において、
前記再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、前記リファレンス記憶部に記憶する前記カラー基準信号を前記色補正装置が出力し、出力に基づいたカラー基準映像を前記再撮モニタに表示させる工程である
ことを特徴とする色補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色補正装置と色補正方法とビデオカメラシステムとに関する。
【背景技術】
【０００２】
放送局用ビデオカメラを複数台用いて撮影する場合には、使用するビデオカメラ間での厳密な色合わせが必要となる。一般には、このようなビデオカメラ間での色合わせは、放送局等のスタッフが予め手動で調整することが知られている。
【０００３】
放送局用ビデオカメラにおいては、各ビデオカメラ毎に、ＣＣＤ（電荷結合素子）等の撮像素子の前面に配置されるカラーフィルタや色分解プリズムの分光特性が微妙に異なる。このため、ビデオカメラ間での色合いを補正しない場合には、同一の対象を撮影する場合でも、撮影された出力映像の色あいがビデオカメラ間で異なることとなってしまう。
【０００４】
複数のビデオカメラ間で色合わせを行う技術としては、基準となる撮像装置と、この基準となる撮像装置に対して色あいを整合させる他の撮像装置とで、所定の同色、例えばカラーチャート内の各色を同じ条件で撮影し、撮影の結果得られた撮影データを比較して、色あいを整合させるべき他のビデオカメラから出力される色データを適宜補正する補正方法が提案されている。
【０００５】
また、基準となるビデオカメラを必要とせずに、各ビデオカメラ毎の操作によって、容易に複数のビデオカメラ間の色合わせを行うことができるようにした色補正装置を実現することを目的とし、所定の色についての基準となる色情報を発生する基準色情報発生手段を備えるとともに、基準色情報発生手段によって発生される情報とビデオカメラによって所定の色を撮像して得られる信号とに基づいて決定される補正内容に従って、ビデオカメラによって撮像して得られる信号を補正する補正手段を備えることにより、ビデオカメラによって撮像して得られる信号に基づく色を基準となる色に合わせる提案が、例えば下記特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５６１０号公報
【非特許文献１】K. Kanatani, Statistical Optimization for GeometricComputation: Theory and Practice, Elsevier Science,Amsterdam, The Netherlands (1996); reprinted DoverPublications, New York, U.S.A. (2005).
【非特許文献２】金谷健一, 菅谷保之, 制約付きパラメータ推定のための拡張FNS 法, 情報処理学会研究報告, 2007-CVIM-158-4,(2007-3), 鹿児島市(鹿児島大), 25-32.
【非特許文献３】新妻弘崇, 金谷健一, 最適な射影変換の新しい計算アルゴリズム, 情報処理学会研究報告, 2009-CVIM-169-37,(2009-11), 金沢市(金沢工業大学), 1-8.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、オペレータが色補正を手動で遂行する場合には、相当の熟練と工数とがかかることとなる。また、色補正パラメータを、簡便な最小二乗法を用いて算出する場合には、正確な補正パラメータが算出できない懸念が生じる。
【０００８】
特に、ガマット誤差や観測誤差を補正できるように考慮された補正パラメータの演算は従来為されておらず、白バランスや黒バランスが取れないという問題が生じていた。
【０００９】
本発明はこのような問題点に鑑みなされたものであり、ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の色補正装置は、カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備えることを特徴とする。
【００１１】
また、本発明の色補正装置は、好ましくはカラー基準信号をリファレンス記憶部から読み出して再撮モニタに出力することにより、カラー基準信号に対応するカラー基準映像を再撮モニタに表示させることを特徴とする。
【００１２】
また、本発明の色補正装置は、さらに好ましくは補正処理部が、リファレンス記憶部に記憶されたカラー基準信号を読み出して、カラー基準信号に対して補正パラメータに基づく補正処理を遂行して検証信号を再撮モニタに出力し、バッファは、検証信号を表示する再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、比較演算部は、リファレンス記憶部に記憶されたカラー基準信号と、バッファが記憶する再撮モニタ撮影検証信号とを比較して、差異の有無を検証することを特徴とする。
【００１３】
また、本発明のビデオカメラシステムは、上述のいずれかの色補正装置と、カラー基準信号に対応したカラー基準映像を表示する再撮モニタと、再撮モニタを撮影した再撮モニタ撮影信号を色補正装置に出力するビデオカメラとを備えることを特徴とする。
【００１４】
また、本発明の色補正方法は、上述のいずれかの色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、再撮モニタに表示されたカラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、取得した再撮モニタ撮影信号と、リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、算出した補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程とを有することを特徴とする。
【００１５】
また、本発明の色補正方法は、好ましくは再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、リファレンス記憶部に記憶するカラー基準信号を色補正装置が出力し、出力に基づいたカラー基準映像を再撮モニタに表示させる工程であることを特徴とする。
【発明の効果】
【００１６】
ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供できる。
【図面の簡単な説明】
【００１７】
【図１】再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステムを説明する概念図である。
【図２】色補正装置が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステムについて説明する概念図である。
【図３】予め補正パラメータの算出やその検証が終了した色補正装置を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【図４】色補正装置の比較演算部についてさらに詳細に説明する概念図である。
【図５】ビデオカメラシステムにおける色補正装置の処理フローを説明する概要図である。
【図６】計算した３次元アフィン変換のＲＭＳ誤差を説明する図である。
【図７】（ａ）が理想ランプ（ｒａｍｐ）画像と波形表示、（ｂ）が色変換画像と波形表示、（ｃ）がクリップされたデータを除外した場合の１次式による色補正モデル、（ｄ）が色補正モデル（ｃ）による色補正画像と波形表示、（ｅ）がレベル制約を課した多項式色補正モデル、（ｆ）色補正モデル（ｅ）の４次多項式モデルによる色補正画像と波形表示を説明する図である。
【図８】マクベスチャート等の標準的な既知のカラーチャートを、複数のビデオカメラで撮影し、色補正装置を用いて補正する場合について説明する概要図である。
【図９】色変換モデルの例（３次元アフィン変換）である。
【図１０】色変換モデルの例（３次元アフィン変換＋クリップ処理）である。
【発明を実施するための形態】
【００１８】
本実施形態の色補正装置は、複数台の再撮モニタやカメラの色調整を自動化するために、カラーチャートを撮影した画像から、その色レベルを画像処理によって自動的に認識する。
【００１９】
取得した色レベルが既知のカラーチャートのオリジナルの色レベルとなるように、再撮モニタへの出力を補正するための色補正パラメータを、色レベルの観測誤差や色空間におけるガマット誤差の影響を考慮して最適に計算し、補正処理を遂行する色補正装置となる。
【００２０】
また、実施形態の色補正装置は、従来のように人手による外観観察に依存した色補正をすることはなく、かつ最小二乗法によって色補正パラメータを算出するものではない。このため、実施形態の色補正装置は、観測誤差やガマット誤差の影響により色補正パラメータが正確に算出できず、特にガマット誤差に起因して白バランスや黒バランスが取れないとの従来の問題を解決できる。
【００２１】
また、ガマット誤差が存在する場合でも、複数の色補正モデルを仮定した計算（多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法）した結果から最適なモデルを選択適用し、好ましくは白レベルまたは黒レベルをレベル制約とした演算処理とする色補正装置を実現できる。
【００２２】
この色補正装置により、いわゆる白とび黒つぶれといったクリップ処理によるいわば足切りされた上限または下限の映像データについても、自然な色合いとなるように補正することが可能となり、すなわちガマット誤差についても対応可能となる。
（実施形態の概要）
【００２３】
図１は、再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステム１０００を説明する概念図である。
【００２４】
図１において、再撮モニタ２００は例えばスタジオ内等に設置されており、複数の照明２５０（１），２５０（２）により演出されている。また、色補正装置１００は、カラー基準信号を予め記憶しているリファレンス記憶部１５０を備える。
【００２５】
カラー基準信号は、既知の基準となる色あいを表現する例えばＲＧＢ信号強度であってもよく、典型的にはマクベスカラーチャート等のキャリブレーションターゲットを所定の条件下で撮影して取得した複数色各々の基準信号である。
【００２６】
再撮モニタ２００は、色補正装置１００から取得したカラー基準信号をカラー基準映像２１０として表示する。また、ビデオカメラ３００は、カラー基準映像２１０が表示された再撮モニタ２００を撮影した再撮モニタ撮影信号を、色補正装置１００へ出力する。
【００２７】
色補正装置１００は、ビデオカメラ３００から取得した再撮モニタ撮影信号をフレームバッファ１４０に記憶する。また、色補正装置１００は、リファレンス記憶部１５０に記憶するカラー基準信号と、フレームバッファ１４０に記憶する再撮モニタ撮影信号とを比較演算し、再撮モニタ撮影信号とカラー基準信号との差異を低減させるため、再撮モニタ２００に付与する映像信号に遂行するべき補正パラメータを算出する比較演算部１３０を備える。
【００２８】
また、色補正装置１００は、比較演算部１３０で算出された補正パラメータを記憶する補正パラメータ記憶部１１０を備える。また、色補正装置１００は、入力された撮影映像やＶＴＲ映像に対して、補正パラメータ記憶部１１０に記憶している補正パラメータに基づいた補正処理を遂行して出力する補正処理部１２０を備える。
【００２９】
これにより、色補正装置１００に入力されたＶＴＲ映像等は、補正処理部１２０において補正パラメータ記憶部１１０に記憶している補正パラメータに基づいてガマット誤差や観測誤差が適切に補正され、再撮モニタ２００に出力されて表示されることとなる。従って、ビデオカメラ３００で撮影した映像の中に含まれる再撮モニタ２００の表示画面は、色合いが自然で適切な映像として鑑賞できることとなる。
【００３０】
図２は、色補正装置１００が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステム２０００について説明する概念図である。図２においては、図１と対応する部位には同一の符号を付して、説明の重複を避けるためにここではその説明を省略する。
【００３１】
図２に示すように、色補正装置１００の補正処理部１２０は、補正パラメータ記憶部１１０に記憶した補正パラメータを用いて、リファレンス記憶部１５０に予め記憶しているカラー基準信号に対して補正処理を遂行する。
【００３２】
補正処理されたカラー基準信号は検証信号として再撮モニタ２００に出力されて、出力された検証信号に対応する検証映像２２０として再撮モニタ２２０に表示される。再撮モニタ２２０に表示された検証映像２２０は、ビデオカメラ３００で撮影され、再撮モニタ撮影検証信号として色補正装置１００にフィードバックされる。
【００３３】
比較演算部１３０は、リファレンス記憶部１５０が記憶するカラー基準信号と、ビデオカメラ３００からフィードバックされた再撮モニタ撮影検証信号とを比較し、再撮モニタ撮影検証信号がカラー基準信号から色ずれを生じているか否かを検証する。比較演算部１３０は、検証した結果をビデオエンジニア等のオペレータに通知するように出力してもよい。
【００３４】
この処理により、補正パラメータが適切であるか否かを検証することができる。補正パラメータは、再撮モニタ２００の配置環境、例えば照明２５０（１），２５０（２）の種類や数や位置、および再撮モニタ２００自体の特性によっても異なるものとなることが予想される。このため、色補正装置１００が、適宜検証処理を遂行し、各場面において補正パラメータが適切であるのか否か確認することが好ましい。
【００３５】
また、ビデオカメラ３００が撮影して出力した再撮モニタ撮影検証信号は、マスタモニタ４００に入力されて表示され、その表示画面中には検証映像２２０を表示する再撮モニタ２００が、再撮モニタ検証映像４１０として表示される。
【００３６】
再撮モニタ検証映像４１０は、視聴者が見るべき映像の色合いを反映した映像である。すなわち、色補正装置１００は、視聴者が見るビデオカメラ３００からの出力映像に含まれる再撮モニタ２００の画面映像を、自然な色合いとして表示されるように補正するものである。
【００３７】
これにより、例えばニュース番組等において、視聴者が見る画面内にニュースキャスターの背景に設置された他の再撮モニタが含まれる場合に、再撮モニタ内すなわち画面内の小さな画面内に表示される映像についても、色合いが自然になるように補正処理をする色補正装置を実現できる。
【００３８】
図３は、予め補正パラメータの算出やその検証が終了した色補正装置１００を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【００３９】
色補正装置１００には、ＶＴＲ映像や他のビデオカメラによる撮影映像が入力される。入力映像は、補正処理部１２０において、補正パラメータ記憶部１１０に記憶される補正パラメータを用いて色補正処理が遂行される。
【００４０】
色補正処理が遂行された入力映像は、色補正装置１００から再撮影モニタ２００へと伝送されて画面表示２３０される。再撮モニタ２００は、例えばニュースキャスター等の背景に設置されて照明２５０（１），２５０（２）等により演出される。
【００４１】
演出が施された再撮モニタ２００は、ニュースキャスターと共にビデオカメラ３００により撮影される。通常、演出効果は、スタジオ内の現実の有体物（例えばキャスターの衣服や人物自体）等をターゲットとして調整されるため、同じ演出下で撮影された再撮モニタ２００内の画面表示２３０は、一般にはビデオカメラ３００で撮影した場合に色合いが不自然になることが知られている。
【００４２】
しかし、色補正装置１００は、ビデオカメラ３００で撮影された映像中に含まれる再撮モニタ２００の画面表示２３０が自然な色合いとなるように、予め算出した補正パラメータを用いて補正された入力映像を、再撮モニタ２００に表示させる。
【００４３】
このため、図３に示すように、ビデオカメラ３００で撮影した映像をマスタモニタ４００に表示させた場合に、マスタモニタ４００の画面内に含まれる再撮モニタ２００が表示する再撮モニタ入力映像４２０は、別途ビデオエンジニア等によるマニュアル補正処理をする必要がなく、自然な色合いの画面として表示されることとなる。
【００４４】
なお、図１乃至図３においては、説明の便宜上、ビデオカメラ３００が一台である場合について説明したが、ビデオカメラ３００は複数台備えられるビデオカメラシステムとしてもよい。複数台の場合には各ビデオカメラ３００間の色補正については、相互に差異がないように予め別途調整されていることが好ましい。
【００４５】
また、図１乃至図３においては、説明の便宜上、再撮モニタ２００が一台である場合について説明したが、再撮モニタ２００は複数台備えられてもよい。複数台の再撮モニタ２００各々に対応した適切な補正パラメータが色補正装置１００により演算されて、記憶される。そして、色補正装置１００から各再撮モニタ２００に対して、それぞれ別個独立に補正処理された映像信号を出力して表示させてもよい。この場合には、各再撮モニタ２００に対応して各々複数の補正パラメータ記憶部１１０を備えてもよく、色補正装置１００のその他の機能についても各再撮モニタ２００に対応して複数備えてもよい。
【００４６】
また、複数の再撮モニタ２００の特性や配置環境、演出等が全く同一であって、同一の補正パラメータによる処理が好ましい場合には、複数の再撮モニタ２００に対して同一の補正パラメータを適用して補正処理した映像を出力して表示させてもよい。
【００４７】
図４は、色補正装置１００の比較演算部１３０についてさらに詳細に説明する概念図である。図４に示すように、比較演算部１３０は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１を備える。
【００４８】
多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法の少なくともいずれかの方法による補正モデルの演算をするものとする。演算される補正モデルは、例えば３次元並進変換モデル、剛体変換モデル、相似変換モデル、アフィン変換モデル、射影変換モデル等としてもよい。
【００４９】
多拘束ＦＮＳ法は観測誤差を良好に補正することが可能であり、多拘束拡張ＦＮＳ法は黒レベル制約または白レベル制約とするので観測誤差に加えてガマット誤差を良好に補正することができる。多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、最小二乗法による解を初期値としてそれを反復することにより、最適解を計算する。このため、数値計算としては、行列の固有値・固有ベクトルの計算を収束判定条件が満たされるまで、繰り返して実行することとなる。一方、従来手法の最小二乗法の場合には一回の固有値計算のみで終了することとなります。
【００５０】
また、比較演算部１３０は、算出された複数モデルのなかから最適モデルを選択するための基準を決定する選択基準算出部１３３を備える。選択基準算出部１３３は、モデルの当てはまりの良さ（すなわちパラメータ数の多さ）だけでモデル選択が為されることがないように、当てはまりとパラメータ数の小さなモデルが選択されるような基準を算出する。
【００５１】
より具体的には、選択基準算出部１３３は、幾何学的ＡＩＣまたは幾何学的ＭＤＬのいずれか任意の一つを選択基準として演算する。
【００５２】
ここでモデル選択について金谷の論文に詳述されているので、これを一部引用して以下簡単に基本となる概念について説明する。
【００５３】
「平面上に与えられた複数の点に直線、または２次曲線、または３次曲線、またはそれ以上の次数の曲線を当てはめたいとする。何を当てはめたらよいであろうか。素朴なアイディアは、まず直線、２次曲線、３次曲線、・・・ を順に当てはめ、データ点との食い違い（これを数量的に評価したものを「残差」と呼ぶ）が最も小さいものを選ぶことである。しかし、これではうまくいかない。なぜなら、高次の曲線ほどデータ点によく当てはまり、十分高い次数の曲線を選べばすべてのデータ点を通るもの（残差が０）が得られるからである。これは本来の目的に合わない。なぜなら、曲線を当てはめる目的は背後にある「真の曲線」を少数のしかも誤差のあるデータから推定することだからである。一般に、誤差のあるデータから真の構造を推定するために導入する未知パラメータをもつ数式を「モデル」と呼ぶ。当然、調節するパラメータの個数（これを「自由度」と呼ぶ）が多いほどデータによく合致する（すなわち残差が減少する）。そして、自由度が十分大きいほどモデルがデータの誤差によくフィットしてしまう。これを防いで最も適切なモデルを選ぶにはどうすればよいであろうか。これが「モデル選択」の課題である。（モデル選択規準について）上記の問題は次のように考えることもできる。曲線当てはめでは、直線は２次曲線の２次の係数が０になる特別の場合である。同様に、２次曲線は３次曲線の特別な場合であり、３次曲線は４次曲線の特別な場合である。すなわち、それぞれの次数の曲線の集合には包含関係があり、直線の集合は２次曲線の集合の部分集合であり、２次曲線の集合は３次曲線の集合の部分集合であり、どの次数の曲線の集合もより高い次数の集合の部分集合である。一方、残差は観測データとモデルとの「距離」に相当している。残差を最小にするモデルとは観測データに最も「近い」モデルにほかならない。しかし、モデルに包含関係があると、最も近いモデルは当然ながら最も大きい集合から選ばれる。なぜなら、部分集合に限定すると距離は増えこそすれ減ることはないからである。このことから、部分集合の元が選ばれるためには距離だけでなく、より自由度の小さいモデルを優先する何らかの評価が必要である。これを測るのが「モデル選択規準」であり、一般に次の形をしている。（残差）＋（自由度に対するペナルティ） 第１項の残差を減らそうとして高い自由度のモデルを選べば第２項が大きくなる。それに対して、両者の和を最小にするモデルを選べば両者がバランスするものが選ばれる。このようなモデル選択規準として「赤池のＡＩＣ」、「Ｓｃｈｗａｒｚ のＢＩＣ」、 「Ｒｉｓｓａｎｅｎ のＭＤＬ」、 「Ｍａｌｌｏｗｓ のＣｐ」などいろいろなものが提案されている。しかし、どのモデルが選ばれるかは用いる規準に依存し、絶対的なものはない」（金谷健一，モデル選択による動画像理解，ＴＥＬＥＣＯＭ ＦＲＯＮＴＩＥＲ， Ｎｏ． ４４， Ａｕｇｕｓｔ ２００４， ｐｐ． ４−１０．）。
【００５４】
また、比較演算部１３０は、選択基準算出部１３３で算出された基準に従って、適用するべき色補正モデルを選択する色補正モデルの選択部１３２を備える。色補正モデルの選択部１３２は、選択基準算出部１３３で算出された基準に従って計算し、計算された結果が最小の値となるモデルを選択する。直感的には、計算結果が最小の値となるモデルが、パラメータの数が比較的少なくかつフィッティングが良好であるバランスの取れたモデルであるということができる。
【００５５】
また、比較演算部１３０は、選択された色補正モデルに基づいて補正パラメータを算出する補正パラメータ算出部１３４を備える。補正パラメータ算出部１３４が算出する補正パラメータは、例えばＲＧＢ色空間においては、ＲＧＢ各々の白レベル、黒レベル、ガンマレベルの計９個の補正パラメータとしてもよい。
【００５６】
図５は、ビデオカメラシステム１０００における色補正装置１００の処理フローを説明する概要図である。以下、図８に示すフローに従って、順次色補正装置１００の処理について説明する。
【００５７】
（ステップＳ５１０）
色補正装置１００は、リファレンス記憶部１５０に記憶しているカラー基準信号を再撮モニタ２００に出力する。カラー基準信号は、マクベスチャートの画像信号やカラーバーの画像信号等、映像業界において色合い校正（ｃｏｒｒｅｃｔｉｏｎ）に用いられる複数の色領域から構成されたキャリブレーションターゲットの画像信号を用いることができる。
【００５８】
また、リファレンス記憶部１５０に記憶しているカラー基準信号と同一のカラー基準信号を記憶した他のリファレンス出力装置を別途備え、色補正装置１００からの出力に代えてリファレンス出力装置から再撮モニタ２００に対して当該カラー基準信号を供給してもよい。
【００５９】
（ステップＳ５２０）
再撮モニタ２００が、色補正装置１００から入力されたカラー基準信号に対応するカラー基準映像２１０を表示する。
【００６０】
（ステップＳ５３０）
カラー基準映像２１０を表示する再撮モニタ２００を、所望の演出効果が為された環境下でビデオカメラ３００が撮影する。ここで、予め補正パラメータを算出しようとする場合の所望の演出効果とは、その後の現実のビデオカメラ３００による本番撮影時に再撮モニタ２００に対して為される照明等環境条件と同一のものとすることが好ましい。
【００６１】
（ステップＳ５４０）
色補正装置１００は、カラー基準映像２１０を表示した再撮モニタ２００を撮影したビデオカメラ３００の再撮モニタ撮影信号を、フレームバッファ１４０に取り込む。
【００６２】
（ステップＳ５５０）
比較演算部１３０の多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、複数の色補正モデルを算出する。色補正モデルは、後述する式（１３）における自由度を示すパラメータｈの個数（最大で１２個）に対応して、異なるものとなる。
【００６３】
（ステップＳ５６０）
色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、その値が最小となる色補正モデルを最適なものとして選択する。一般に、色補正モデルは、パラメータの数を増大させて演算量を増大させる程より緻密かつフィッティングしたモデルとなることが知られている。一方で、パラメータの数を増大すればするほど演算負荷が増大するので演算処理時間や消費電力や発熱量が増大するトレードオフの関係にある。
【００６４】
しかし、色補正装置１００の色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、パラメータの数を増大させすぎずかつフィッティングとのバランスがとれたモデルを選択することができる。
【００６５】
（ステップＳ５７０）
補正パラメータ算出部１３４は、ステップＳ５６０で選択された色補正モデルを用いて補正パラメータを算出する。典型的には、補正パラメータ算出部１３４は、ＲＧＢ各々についての白レベル、黒レベル、ガンマレベルを算出することができる。
【００６６】
（ステップＳ５８０）
色補正装置１００の補正パラメータ記憶部１１０は、ステップＳ５７０で算出された補正パラメータを記憶する。なお、再撮モニタ２００が複数台ある場合には、各再撮モニタに対応して補正パラメータを各々算出し記憶してもよい。上述したステップＳ５１０乃至ステップＳ５８０までが、現実の補正処理を入力映像に遂行するための準備段階である。なお、ステップＳ５８０の終了後、図２においてすでに説明した検証段階を有することとしてもよい。
【００６７】
（ステップＳ５９０）
再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力が、色補正装置１００に対してあるかないかを判断する。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がある場合には、ステップＳ５ａ０へと進む。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がない場合には、ステップＳ５９０で待機する。
【００６８】
（ステップＳ５ａ０）
補正処理部１２０は、補正パラメータ記憶部１１０に記憶された補正パラメータを用いて入力映像を補正する。
【００６９】
（ステップＳ５ｂ０）
再撮モニタ２００が、補正された入力映像２３０を表示する。
【００７０】
（ステップＳ５ｃ０）
補正された入力映像２３０を表示している再撮モニタ２００を、ビデオカメラ３００が撮影する。なお、ビデオカメラ３００自体については、予め色合い調整済であることが好ましい。
【００７１】
（ステップＳ５ｄ０）
ビデオカメラ３００で取得した映像を、マスタモニタ４００に表示する。マスタモニタ４００に表示された画像中には、補正された入力映像２３０を表示している再撮モニタ２００（すなわち再撮モニタ入力映像４２０）が存在する。
【００７２】
補正された入力映像２３０は、再撮モニタ２００に対する演出やその表示特性を色補正装置１００により予め補正されているので、ビデオカメラ３００で再撮モニタ２００と同アングル内に撮影されたニュースキャスター等の被写体と同等の自然な色合いとして、マスタモニタ４００に表示されることとなる。
【００７３】
次に、色補正装置１００が遂行する色補正処理に関する本発明者による論文を一部引用して、その補正処理について説明する。
【００７４】
テレビ局で多く行われている「再撮」と呼ばれる演出のために複数のモニタ間の色調整の自動化を行う。既知の色レベルからなるカラーチャートを撮影した画像から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７５】
テレビ局では、スタジオセット内にモニタを配置して、その中に番組のタイトルや番組内容に則した様々な映像を表示して、その画面をカメラで撮影する「再撮」と呼ばれる演出を多く行っている。
【００７６】
このときに問題となるのが、スタジオ照明と再撮モニタの色温度の違いにより、モニタ内の映像の色が正しく見えないことであり、色温度を合わせるためのモニタの色調整が頻繁に行われる。再撮モニタが複数台の場合には、モニタ間でも色を合わせなければならず、台数が増すほど、手間が掛かる。これは、撮影に使用する複数のカメラ間の色調整に関しても同様である。
【００７７】
本稿では、このような複数のモニタあるいはカメラ間における色調整作業を自動化するために、マクベスチャートのような既知の色レベルからなるカラーチャート（色票）を撮影した画像（写真・ビデオ業界ではマクベスチャートとも呼ばれて、ほぼ標準的に用いられているものであり、カメラの場合には実際のカラーチャートを撮影し、モニタの場合にはカラーチャートをモニタ上に表示させてカメラで撮影すればよい）から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７８】
（色補正パラメータの最適推定）
色補正には多くの研究があるが、色補正パラメータの推定において、画像中に含まれる観測誤差や色空間のレベルに関する制限によるガマット誤差の影響は十分考慮されてはいない。色補正モデルの推定には、最小二乗法を用いたり、色補正モデルには、高次の多項式モデルや明示的なモデルを未知としてニューラルネットワークを用いている。
【００７９】
ＲＧＢ３次元色空間において、カラーマトリクスと呼ばれる３×３行列の乗算と３次元オフセットベクトルの加算による次のような色変換モデルを考える（［図９］参照）。
【数１】
2011259047.tif 000003
【００８０】
ここで、
【数２】
2011259047.tif 000004
2011259047.tif 000005
【００８１】
入力はカラーチャートにおける真の色データ
2011259047.tif 000006
であり、その出力（カラーチャートを撮影した観測画像における色データ）
2011259047.tif 000007
には、正規分布に従う誤差
2011259047.tif 000008
が含まれると仮定する。
【００８２】
これは、いわゆる回帰問題（“出力誤差モデル”）であり、Ｎ組の色対応データ
2011259047.tif 000009
が与えられたときの尤度は次のようになる。
【数３】
2011259047.tif 000010
2011259047.tif 000011
【００８３】
ただし、ベクトル
2011259047.tif 000012
の内積を
2011259047.tif 000013
と書く。
2011259047.tif 000014
とすると（一様等方性）、結局
【数４】
2011259047.tif 000015
【００８４】
この尤度を最大にする
2011259047.tif 000016
および
2011259047.tif 000017
が色変換モデルのパラメータおよび残差分散の最尤推定量を与える。
【００８５】
これは、説明変数
2011259047.tif 000018
が与えられたとき、目的変数
2011259047.tif 000019
の確率分布
2011259047.tif 000020
が平均
2011259047.tif 000021
、共分散行列
2011259047.tif 000022
の（多次元）正規分布で与えられると仮定している。
【００８６】
尤度関数
2011259047.tif 000023
の自然対数をとれば、対数尤度
【数５】
2011259047.tif 000024
2011259047.tif 000025
が得られる。最尤推定量を求めるためには、対数尤度
2011259047.tif 000026
を最大にする
2011259047.tif 000027
および
2011259047.tif 000028
を求めればよい。この対数尤度を最大にする
2011259047.tif 000029
を求めるためには、
【数６】
2011259047.tif 000030
を最小にする
2011259047.tif 000031
を求めればよいことがわかる。すなわち、色変換モデルの場合、最尤法は最小二乗法に帰着する。
【００８７】
ところが、実際に必要なのは色変換パラメータではなく、その“逆変換”である色補正パラメータである。そこで、入力と出力を入れ替えて、色補正モデルのパラメータを推定する。したがって、
【数７】
2011259047.tif 000032
を最小にするパラメータを推定することを考える。ここで、［数６］と［数７］の
2011259047.tif 000033
は同じものではない。その意味も“変換”とその逆変換である“補正”であることには注意が必要である。
【００８８】
これは、入力に誤差が含まれる“入力誤差モデル”となるが、パラメータの２次形式で表されるから、解はモーメント行列の最小固有値に対する単位固有ベクトルとして推定することができる。しかし、得られる解には統計的な偏差が生じることが知られている。金谷は［数７］の問題を「幾何学的当てはめ」として一般的に定式化し、それを最適に推定する方法を提案している。
【００８９】
すなわち、幾何学的当てはめと幾何学的ＡＩＣ／幾何学的ＭＤＬについて、「幾何学的当てはめ」とは「拘束式」
【数Ａ１】
2011259047.tif 000034
と変数
2011259047.tif 000035
の複数の実現値
2011259047.tif 000036
からパラメータ
2011259047.tif 000037
を推定する問題である。誤差は正規分布に従い、各
2011259047.tif 000038
の正規化共分散行列
2011259047.tif 000039
（一般には特異行列）は既知とする。この問題の「最尤推定」はマハラノビス距離
【数Ａ２】
2011259047.tif 000040
を拘束式
2011259047.tif 000041
のもとで未知数
2011259047.tif 000042
に関して最小化することである。その残差（
2011259047.tif 000043
の最小値）を
2011259047.tif 000044
とし、ノイズレベルを
2011259047.tif 000045
とすると
2011259047.tif 000046
は第１近似において自由度
2011259047.tif 000047
の
2011259047.tif 000048
分布に従う。ただし、
2011259047.tif 000049
は拘束条件（［数Ａ１］のランク（独立なものの数）であり、
2011259047.tif 000050
は未知数
2011259047.tif 000051
の自由度である。これからノイズレベル
2011259047.tif 000052
の次の不偏推定量が得られる。
【数Ａ３】
2011259047.tif 000053
【００９０】
拘束式［数Ａ１］がデータ空間（変数
2011259047.tif 000054
の空間）に
2011259047.tif 000055
次元モデル（多様体）
2011259047.tif 000056
を定義するとき、その幾何学的ＡＩＣおよび幾何学的ＭＤＬは次のように定義される。
【数Ａ４】
2011259047.tif 000057
【数Ａ５】
2011259047.tif 000058
【００９１】
ここに
2011259047.tif 000059
はある基準長であり、データ
2011259047.tif 000060
が
2011259047.tif 000061
となるように選ぶ。ただし、ノイズレベルは一般モデルにより［数Ａ３］で推定する。
【００９２】
ここでは、ＣｈｏｊｎａｃｋｉらのＦＮＳ法を複数の拘束式に対応させた新妻・金谷の多拘束ＦＮＳ法による２次元平面の射影変換行列の最適推定に基づき、３次元アフィン変換による色補正パラメータの最適計算を定式化する。
【００９３】
（３次元アフィン変換）
式（１）の色変換は、３次元のアフィン変換であり、ＲＧＢ３次元色空間における対応する色データ
2011259047.tif 000062
をスケール定数
2011259047.tif 000063
によって各成分のオーダーをそろえた４次元同次ベクトルを改めて
2011259047.tif 000064
で表し、３次元アフィン変換行列を
2011259047.tif 000065
行列
2011259047.tif 000066
で表す。（色データの量子化ビット数８ビットのため
2011259047.tif 000067
とした。）
【数８】
2011259047.tif 000068
2011259047.tif 000069
【００９４】
これらを用いると３次元アフィン変換は次のように書ける。
【数９】
2011259047.tif 000070
【００９５】
ただし、
2011259047.tif 000071
は４次元ベクトルの第４成分を１とする正規化作用素である。行列
2011259047.tif 000072
には定数倍の不定性がある。そこで以下、適当な定数を掛けて
2011259047.tif 000073
と正規化する（行列のノルムは
2011259047.tif 000074
と定義する）。［数９］を各成分毎に書くと、
【数１０】
2011259047.tif 000075
【数１１】
2011259047.tif 000076
【数１２】
2011259047.tif 000077
【００９６】
１３次元ベクトル
2011259047.tif 000078
を次のように定義する。
【数１３】
2011259047.tif 000079
【数１４】
2011259047.tif 000080
【数１５】
2011259047.tif 000081
【数１６】
2011259047.tif 000082
【００９７】
正規化
2011259047.tif 000083
は［数１３］の
2011259047.tif 000084
が単位ベクトルであること（
2011259047.tif 000085
）と等価である。３次元アフィン変換の各成分毎の［数１０］［数１１］［数１２］から次の拘束式を得る。
【数１７】
2011259047.tif 000086
（３次元アフィン変換の最適計算）
【００９８】
2011259047.tif 000087
個の色データ
2011259047.tif 000088
と対応する色データ
2011259047.tif 000089
が与えられたとき、それらの間の３次元アフィン変換を最適に計算したい。データ
2011259047.tif 000090
を代入した［数１４］［数１５］［数１６］のベクトル
2011259047.tif 000091
をそれぞれ
2011259047.tif 000092
と書く。データに誤差があるとき、解くべき問題は
2011259047.tif 000093
となるような１３次元ベクトル
2011259047.tif 000094
を計算することである。そのためには誤差の統計的性質を考慮する必要がある。各色データ
2011259047.tif 000095
は真値
2011259047.tif 000096
に期待値０、標準偏差
2011259047.tif 000097
の正規分布に従う誤差が加わると仮定する。最尤推定は次の目的関数
2011259047.tif 000098
を最小にする
2011259047.tif 000099
を求めることである。
【数１８】
2011259047.tif 000100
【００９９】
ただし、
2011259047.tif 000101
は
2011259047.tif 000102
を
2011259047.tif 000103
要素とする
2011259047.tif 000104
行列の（ムーア・ペンローズの）一般逆行列の
2011259047.tif 000105
要素である。
【数１９】
2011259047.tif 000106
【０１００】
ここで、
2011259047.tif 000107
は
2011259047.tif 000108
の正規化共分散行列である。
2011259047.tif 000109
はデータ
2011259047.tif 000110
の正規化共分散行列
2011259047.tif 000111
から線形近似によって次のように計算できる。
【数２０】
2011259047.tif 000112
【０１０１】
ただし、
2011259047.tif 000113
は
2011259047.tif 000114
のヤコビ行列（各成分の
2011259047.tif 000115
に関する微分を並べた行列）に
2011259047.tif 000116
を代入した値である（詳細省略）。
【０１０２】
●データ
2011259047.tif 000117
の正規化共分散行列
2011259047.tif 000118
は、再撮モニタを色補正する場合には、モニタに誤差のないカラーチャートを表示したものをカメラで撮影するため、
2011259047.tif 000119
とする。
【０１０３】
●カメラを色補正する場合には、実際のカラーチャートをカメラで撮影するため、
2011259047.tif 000120
とする。
2011259047.tif 000121
は６次の単位正方行列である。
（多拘束ＦＮＳ法）
［数１８］を
2011259047.tif 000122
で微分すると次のようになる。
【数２１】
2011259047.tif 000123
【０１０４】
ただし、
2011259047.tif 000124
行列
2011259047.tif 000125
を次のように置いた。
【数２２】
2011259047.tif 000126
【０１０５】
上式中の
2011259047.tif 000127
は次のように定義する。
【数２３】
2011259047.tif 000128
［数１８］を最小にするには［数２１］より
2011259047.tif 000129
を解けばよく、固有値問題を反復して解くＣｈｏｊｎａｃｋｉらのＦＮＳ法を用いることができる。多拘束ＦＮＳ法の手順は次のようになる。
【０１０６】
１．
2011259047.tif 000130
の初期値
2011259047.tif 000131
を与える。
２．［数２２］の
2011259047.tif 000132
を計算する。
３．固有値問題
2011259047.tif 000133
の最小固有値
2011259047.tif 000134
に対する単位固有値ベクトル
2011259047.tif 000135
を計算する。
４．符号を除いて
2011259047.tif 000136
であれば次のアフィン変換行列
2011259047.tif 000137
を返して終了する。そうでなければ
2011259047.tif 000138
としてステップ２に戻る（
2011259047.tif 000139
は単位ベクトルへの正規化）。ここで、解の更新に
2011259047.tif 000140
を用いるのは、“中点”
2011259047.tif 000141
を用いることを意味しており、これは反復の収束を行うための工夫である。
【０１０７】
（最小二乗法）
反復には初期値が必要であり、最も簡便なものが最小二乗法である。［数１８］で
2011259047.tif 000142
（クロネッカのデルタ：
2011259047.tif 000143
で１、それ以外で０）と置くと次のようになる。
【数２４】
2011259047.tif 000144
【０１０８】
これは次のように変形される。
【数２５】
2011259047.tif 000145
【０１０９】
ただし、次のように置いた。
【数２６】
2011259047.tif 000146
［数２５］は
2011259047.tif 000147
の２次形式であるから、これを最小化する単位ベクトル
2011259047.tif 000148
はモーメント行列
2011259047.tif 000149
の最小固有値に対する単位固有ベクトルである。
（精度の評価と理論限界）
【０１１０】
アフィン変換行列
2011259047.tif 000150
を表す［数１３］の１３次元単位ベクトル
2011259047.tif 000151
の推定値を
2011259047.tif 000152
、誤差がない場合の真値を
2011259047.tif 000153
とするとき、誤差
2011259047.tif 000154
を次のように定義する。
【数２７】
2011259047.tif 000155
【０１１１】
2011259047.tif 000156
は
2011259047.tif 000157
に直交する方向に射影した成分を得る射影行列である。
2011259047.tif 000158
は１３次の単位正方行列である。これから推定値
2011259047.tif 000159
の共分散行列が次のように定義できる。
【数２８】
2011259047.tif 000160
【０１１２】
金谷の統計的最適化理論によれば、どのように
2011259047.tif 000161
を推定しても、それが不偏推定量であればその共分散行列
2011259047.tif 000162
には次の下界があることが示される。
【数２９】
2011259047.tif 000163
【０１１３】
ただし、
2011259047.tif 000164
は左辺引く右辺が正値対称行列であることを示す。右辺の
2011259047.tif 000165
は［数２２］の行列
2011259047.tif 000166
を色データの真値
2011259047.tif 000167
の真値
2011259047.tif 000168
を用いて計算した値である。また
2011259047.tif 000169
はランク１２の（ムーア・ペンローズの）一般逆行列を表す。（
2011259047.tif 000170
対称行列
2011259047.tif 000171
のランク
2011259047.tif 000172
の一般逆行列
2011259047.tif 000173
とは、
2011259047.tif 000174
の大きい
2011259047.tif 000175
個の固有値を逆数に置き換え、残りの固有値を０に置き換えた行列である。）
【０１１４】
［数２９］の右辺は「ＫＣＲ下界」と呼ばれる。［数２９］の両辺の平方根を取り、［数２８］より
2011259047.tif 000176
であることに注意すると、次の平方平均二乗（ＲＭＳ）誤差の下界が得られる。
【数３０】
2011259047.tif 000177
【０１１５】
（レベル制約付き最適推定とモデル選択）
色空間における色変換処理であることから、厳密にはレベルに関する制限であるクリップ処理が付く（［図１０］参照）。
【０１１６】
すなわち、［数１］の３次元アフィン変換による色変換は次のようになる。
【数３１】
2011259047.tif 000178
【０１１７】
ここで、
2011259047.tif 000179
であり、
2011259047.tif 000180
は色空間における最大レベルである。
2011259047.tif 000181
は色データをＲＧＢ３次元色空間における３次元ベクトルと見なして、そのベクトルの方向を保存する様に各色成分を各上限下限成分にクリップする処理である（詳細省略）。
【０１１８】
色空間のレベルに関する制限であるクリップ処理によって生じるガマット誤差は、色補正パラメータの推定に影響を及ぼす。
【０１１９】
色補正パラメータの推定において、クリップ処理による影響を避ける素朴な方法としては、色空間の上限下限近傍の色データを用いない方法が考えられるが、そうすると、色空間の上限下限の色レベルにおいて、正しい色補正の結果が得られない。クリップ処理された色空間の上限下限近傍のディテールを復元することは不可能である。しかし、明らかに上限下限の色レベルにおける色補正の結果が異なることは望ましくない。
【０１２０】
そこで、観測画像にはガマット誤差が含まれることを考慮して、色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する。最適化の手法には、変数間の内部拘束を自動的に満たす解を求めるようにＦＮＳ法を拡張した拡張ＦＮＳ法を用いる。
【０１２１】
（内部拘束）
データ
2011259047.tif 000182
は、
2011259047.tif 000183
次元ベクトルであり、それらの真の値
2011259047.tif 000184
は次の拘束式を満たすとする。
【数３２】
2011259047.tif 000185
【０１２２】
ただし、
2011259047.tif 000186
は未知の
2011259047.tif 000187
次元ベクトルである。問題は誤差のあるデータ
2011259047.tif 000188
から
2011259047.tif 000189
を推定することである。
【０１２３】
［数３２］の形では未知ベクトルのスケールが不定となるので、
2011259047.tif 000190
と正規化するが、これも一つの内部拘束である。そして、これ以外に
2011259047.tif 000191
に次の
2011259047.tif 000192
の内部拘束が存在するとする。
［数３３］
2011259047.tif 000193
【０１２４】
これら
2011259047.tif 000194
個の式は代数的に独立であるとする。最尤推定量
2011259047.tif 000195
は
【数３４】
2011259047.tif 000196
【０１２５】
を内部拘束
2011259047.tif 000197
のもとで最小化するものである。
【０１２６】
ここで、
【数３５】
2011259047.tif 000198
【０１２７】
（多拘束拡張ＦＮＳ法）
多拘束拡張ＦＮＳ法の手順は次のようになる。
１．
2011259047.tif 000199
の初期解を与える。
２．次の行列
2011259047.tif 000200
を計算する。
【数３６】
2011259047.tif 000201
ここで、
【数３７】
2011259047.tif 000202
３．ベクトル
2011259047.tif 000203
を計算し、これにシュミットの直交化を施した正規直交系
2011259047.tif 000204
を求める。
４．次の射影行列
2011259047.tif 000205
を計算する。
【数３８】
2011259047.tif 000206
ここで、
2011259047.tif 000207
は
2011259047.tif 000208
次の単位正方行列である。
５．次の行列
2011259047.tif 000209
を計算する。
【数３９】
2011259047.tif 000210
６．固有値問題
【数４０】
2011259047.tif 000211
の絶対値の小さい
2011259047.tif 000212
個の固有値に対する単位固有ベクトル
2011259047.tif 000213
を求める。
７．現在の解
2011259047.tif 000214
を次のように
2011259047.tif 000215
に射影した
2011259047.tif 000216
を計算する。
【数４１】
2011259047.tif 000217
８．次の
2011259047.tif 000218
を計算する。
【数４２】
2011259047.tif 000219
９．
2011259047.tif 000220
なら
2011259047.tif 000221
を返して終了する。そうでなければ、
2011259047.tif 000222
としてステップ２（行列
2011259047.tif 000223
の計算）に戻る。
【０１２８】
（色補正モデルの選択）
ガマット誤差が生じている場合、線形の色変換であったとしても、十分な色補正結果を得るためには、例えば、その逆変換である色補正モデルを多項式モデルとすると、高次の項が含まれる必要がある。しかし、ガマット誤差が含まれているかどうかは未知であり、また、ガマット誤差が含まれている場合にも、その色補正モデルも未知である。色補正モデルの次数にも限界があり、一般に過剰な高次項を含む色補正モデルによる色補正は不安定になる。そこで、複数の色補正モデルを当てはめた結果から、モデル選択によって現実的な色補正モデルを選択することを考える。
【０１２９】
「幾何学的当てはめ」における代表的なモデル選択の規準には「幾何学的ＡＩＣ」と「幾何学的ＭＤＬ」がある。金澤・金谷は画像モザイク生成のために幾何学的ＡＩＣによる幾何学的モデル選択を用いた。松永・金谷は移動カメラのキャリブレーションのために幾何学的ＡＩＣと幾何学的ＭＤＬによる幾何学的モデル選択を用いた。Ｋａｎａｔａｎｉは複数の運動物体の分離に幾何学的ＡＩＣと幾何学的ＭＤＬを用いた。
【０１３０】
３次元アフィン変換モデルを最も自由度の高い一般モデルとすると、その自由度は１２であり、そのパラメータを最適に推定した結果の目的関数
2011259047.tif 000224
の当てはめ残差
2011259047.tif 000225
から二乗ノイズレベルを次のように推定する。
【０１３１】
【数４３】
2011259047.tif 000226
【０１３２】
３次元アフィン変換モデルの幾何学的ＡＩＣと幾何学的ＭＤＬは、パラメータを最適に推定した結果の目的関数の当てはめ残差
2011259047.tif 000227
と［数４３］より推定した二乗ノイズレベル
2011259047.tif 000228
から次のように計算される。
【数４４】
2011259047.tif 000229
【数４５】
2011259047.tif 000230
【０１３３】
ここで
2011259047.tif 000231
は基準長であり、色データの量子化ビット数８ビットの場合２５５とする。３次元アフィン変換のランクは３、補正モデルの次元は３である。モデルの次元の項は各モデルに共通の場合には除外してもよい。
【０１３４】
その他のモデルも同様にしてパラメータを最適に推定した結果の目的関数の当てはめ残差
2011259047.tif 000232
と［数４３］より推定した一般モデルの二乗ノイズレベル
2011259047.tif 000233
から計算することができる。幾何学的ＡＩＣあるいは幾何学的ＭＤＬが最小になるモデルを選択すればよい。
【０１３５】
（実験）
（３次元アフィン変換による色補正パラメータの最適推定の数値シミュレーション）
理想カラーチャートによる基準画像となるように、観測画像を３次元アフィン変換により基準画像の色レベルに補正する行列
2011259047.tif 000234
は次のようになる。
【０１３６】
【数４６】
2011259047.tif 000235
【０１３７】
カラーチャートの真の色レベルをデータ
2011259047.tif 000236
として、対応する観測画像の色データ
2011259047.tif 000237
に独立に期待値０、標準偏差
2011259047.tif 000238
の正規乱数誤差を加えた。ただし、色データに対してはクリップ処理は行わなかった。そして計算したアフィン変換行列
2011259047.tif 000239
を［数１３］の単位ベクトル
2011259047.tif 000240
の形に表し、その誤差を［数２７］の
2011259047.tif 000241
とする。これを各
2011259047.tif 000242
で誤差を変えて１０００回試行し、そのＲＭＳ誤差を次のように評価した。
【数４７】
2011259047.tif 000243
【０１３８】
2011259047.tif 000244
は誤差
2011259047.tif 000245
の
2011259047.tif 000246
回目の試行の値である。［図６］（ｃ）は横軸に
2011259047.tif 000247
をとって最小二乗法、多拘束ＦＮＳ法のＲＭＳ誤差ＥをＫＣＲ下界（［数３０］の右辺）とともにプロットしたものである。これから分かるように最小二乗法に対して多拘束ＦＮＳ法は、色データがクリップ処理されていない場合においては、精度の理論限界にほぼ到達している。
【０１３９】
（多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択）
［図７］は１次元理想ランプ（ｒａｍｐ）画像に色変換として線形変換を行った場合の簡単な例である。色補正パラメータを推定するために、クリップされていない色データのみを用いた場合と、クリップされていない色データとレベル制約を課した場合を比較する。
【０１４０】
多項式モデルを拡張ＦＮＳ法により最適に推定する。図中、計算に用いた色データは「◇Ｄａｔａ」で示す。色補正モデルには、多項式モデルとして１次から４次多項式を用いる。１次元多項式モデルによる色補正パラメータの最適推定は、拘束式が一つだから、次の目的関数Ｊを白・黒レベルを拘束条件として最小化すればよい。白・黒レベルの制約を課すことにより多項式モデルの自由度は２減る。１次式モデルの場合、２点をレベル制約とすると一意にパラメータが決まってしまうので、白レベルのみの拘束条件とした。
【数４８】
2011259047.tif 000248
【０１４１】
例えば、２次多項式モデルによる補正の場合、
2011259047.tif 000249
であり、ある特定の色レベル
2011259047.tif 000250
が特定の色レベル
2011259047.tif 000251
に補正されるとすると、色レベルに関する内部拘束は次のようになる。
【数４９】
2011259047.tif 000252
【０１４２】
クリップされていない色データのみによる色補正結果では、クリップされた色データのレベルが正しく補正されていない［同図（ｃ）］。白・黒レベルを拘束条件としたことにより、厳密に白・黒レベルに補正されている［同図（ｆ）］。モデル選択の結果は、幾何学的ＡＩＣにより４次多項式モデルが選ばれ、幾何学的ＭＤＬにより３次多項式モデルが選ばれた。幾何学的ＭＤＬの方が退化モデルを選ぶ傾向がある。
【０１４３】
（カラーチャート検出の画像処理）
カラーチャートを撮影した画像から画像処理によってカラーチャートの色レベルを自動的に検出する。ＲＧＢ成分毎の各々の画像を複数のしきい値により複数の２値画像へ変換する。それら複数の２値画像中の矩形領域を境界追跡処理によって抽出する。そのようにして得られた矩形領域の大きさと４つの頂点のなす角度、矩形領域内の画素値の平均と分散から、得られた矩形領域がカラーチャートの一部であるかどうかを判定する。そのようにして選別した矩形領域の左上頂点座標によってソートして２方向に整列させて、矩形領域全体として２４色からなるカラーチャートを同定する。各矩形領域の重心座標からの一定領域中の画素の平均値をその領域における色レベルとして用いる。
【０１４４】
（実画像実験（再撮モニタ映像の色補正））
画像処理によりカラーチャートの色レベルを自動的に検出する。理想カラーチャートの色レベルに揃えるための色補正パラメータを最適に推定して、撮影画像を色補正する。観測画像における特定の色レベル
2011259047.tif 000253
がカラーチャート中の特定の色レベル
2011259047.tif 000254
に色補正されるとする。３次元アフィン変換により色補正される場合には、
2011259047.tif 000255
が内部拘束になる。
【０１４５】
カラーチャート中の白レベルを拘束条件として、多拘束拡張ＦＮＳ法によりレベル制約付き最適推定した色補正パラメータによる色補正結果が得られる。ここでは、モニタ映像だけでなく撮影画像全体を色補正している。（実際には、モニタに映す映像のみ色補正する。）
【０１４６】
カラーチャートの色レベルのＲＭＳ誤差は２７．７であり、厳密に白バランスが取れている。レベル制約を課さずに多拘束ＦＮＳ法により最適推定した場合のＲＭＳ誤差は１９．３であり、それよりはやや上回っているが、最小二乗推定した場合の３２．７よりは下回っている。
【０１４７】
（まとめ）
再撮モニタの色補正を行うために、既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して、撮影画像中のカラーチャートの色レベルを自動的に検出した。観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った。
【０１４８】
今後の課題としては、ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである。色補正モデルとして、３次元アフィン変換モデル、１次元多項式モデルを用いたが、その他のモデルも検討してもよい。具体的な応用例として、立体視映像の撮影への適用も考えられる。
【０１４９】
図８は、マクベスチャート等の標準的な既知のカラーチャート８２１０を、複数のビデオカメラ８３００（１），８３００（２）で撮影し、色補正装置８１００を用いて補正する場合について説明する概要図である。カラーチャート８２１０は、４×６で２４色の異なる色を示すマス目で構成されている。
【０１５０】
色補正装置８１００は、複数のビデオカメラ８３００（１），８３００（２）で各々撮影した各映像の色合いが、カラーチャート８２１０に対応する所定の色合いとして取得されているか否かを検証し、カラーチャート８２１０に対応する所定の色合いとなるように補正した後、ビデオスイッチャ８９００に出力する。
【産業上の利用可能性】
【０１５１】
本発明は、放送用途や産業用途のビデオカメラシステム等に幅広く利用できる。
【符号の説明】
【０１５２】
１００・・色補正装置、２００・・再撮モニタ・・、３００・・ビデオカメラ、１０００・・ビデオカメラシステム。
【図１】
2011259047.tif 000256
【図２】
2011259047.tif 000257
【図３】
2011259047.tif 000258
【図４】
2011259047.tif 000259
【図５】
2011259047.tif 000260
【図６】
2011259047.tif 000261
【図７】
2011259047.tif 000262
【図８】
2011259047.tif 000263
【図９】
2011259047.tif 000264
【図１０】
2011259047.tif 000265