(57)【要約】【課題】より実際の色への再現性に優れた色補正方法等を提供する。【解決手段】画像取得ステップＳ１０と、トーンカーブ生成ステップＳ１１と、補正ステップＳ１２とを含み、トーンカーブ生成ステップＳ１１は、ＲＧＢの色要素のそれぞれについて、第１画像に含まれるカラーチャートにおけるモノクロの複数の階調のパッチを対象として画素の画素値と理想値との組を２次元座標上にプロットし、そのプロットにおける近似１次直線を算出する第１サブステップＳ２０と、算出された近似１次直線を平行移動させることで、上記プロットにおけるすべての組が含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、カラーチャートにおけるカラーの複数の階調のパッチを対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する第２サブステップＳ２１等を含む。【選択図】図８Ｂ
2014192859.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対する色補正方法であって、
カラー及びモノクロの複数の階調のパッチから構成されるカラーチャートと共に被写体が撮影されて生成されたデジタル画像である第１画像を取得する画像取得ステップと、
取得された前記第１画像に含まれるカラーチャートのパッチを構成する画素の画素値と当該画素の理想値とを用いて、前記ＲＧＢの色要素のそれぞれについて、前記第１画像の色を補正するのに用いられる第１トーンカーブを生成するトーンカーブ生成ステップと、
生成された前記第１トーンカーブを用いて、前記第１画像を色補正する補正ステップとを含み、
前記トーンカーブ生成ステップは、前記ＲＧＢの色要素のそれぞれについて、
前記第１画像に含まれる前記カラーチャートにおけるモノクロの複数の階調のパッチを対象として画素の画素値と理想値との組を２次元座標上にプロットし、前記プロットにおける近似１次直線を算出する第１サブステップと、
算出された前記近似１次直線を平行移動させることで、前記プロットにおけるすべての組が含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、前記カラーチャートにおけるカラーの複数の階調のパッチを対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する第２サブステップと、
算出された前記近似３次曲線を前記第１トーンカーブとして出力する第３サブステップとを含む
色補正方法。
【請求項２】
前記画像取得ステップではさらに、前記第１画像の生成における撮影と同じ撮影条件で被写体が撮影されて生成されたデジタル画像である少なくとも１つの第２画像を取得し、
前記トーンカーブ生成ステップでは、前記第１画像に含まれるカラーチャートを用いて、前記色要素のそれぞれごとに、前記第２画像の色を補正するのに用いられる第２トーンカーブを生成し、
前記補正ステップでは、生成された前記第２トーンカーブを用いて、前記第２画像を色補正する
請求項１記載の色補正方法。
【請求項３】
前記第３サブステップでは、前記ＲＧＢの色要素のそれぞれについて、前記第２サブステップで算出された前記近似３次曲線における白飛び及び黒つぶれの割合が小さくなるように、前記近似３次曲線を前記２次元座標における前記理想値の軸方向にシフトさせ、得られた前記近似３次曲線を前記第１トーンカーブとして生成する
請求項１又は２記載の色補正方法。
【請求項４】
前記第３サブステップでは、前記ＲＧＢの色要素のそれぞれに対する前記近似３次曲線における白飛び及び黒つぶれの割合の合計が最小となるように、前記ＲＧＢの色要素のそれぞれに対する前記近似３次曲線を同じようにシフトさせる
請求項３記載の色補正方法。
【請求項５】
さらに、前記第１画像における前記カラーチャートの位置をユーザから取得するカラーチャート位置認識ステップを含み、
前記第１画像に含まれる前記カラーチャートのパッチを構成する画素の画素値については、前記カラーチャート位置認識ステップで取得された位置に基づいて前記カラーチャートの前記第１画像における位置が特定され、特定された前記カラーチャートの位置と、予め定められた前記カラーチャートと前記パッチとの位置関係とを用いることで前記パッチの位置が特定され、特定された前記パッチの位置に基づいて前記パッチを構成する画素の画素値が特定される
請求項１〜４のいずれか１項に記載の色補正方法。
【請求項６】
ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対する色補正のためのプログラムであって、
請求項１記載のステップをコンピュータに実行させるプログラム。
【請求項７】
ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対して色補正を行う色補正装置であって、
カラー及びモノクロの複数の階調のパッチから構成されるカラーチャートと共に被写体が撮影されて生成されたデジタル画像である第１画像を取得する画像取得部と、
取得された前記第１画像に含まれるカラーチャートのパッチを構成する画素の画素値と当該画素の理想値とを用いて、前記ＲＧＢの色要素のそれぞれについて、前記第１画像の色を補正するのに用いられる第１トーンカーブを生成するトーンカーブ生成部と、
生成された前記第１トーンカーブを用いて、前記第１画像を色補正する補正部とを備え、
前記トーンカーブ生成部は、前記ＲＧＢの色要素のそれぞれについて、
前記第１画像に含まれる前記カラーチャートにおけるモノクロの複数の階調のパッチを対象として画素の画素値と理想値との組を２次元座標上にプロットし、前記プロットにおける近似１次直線を算出する第１処理部と、
算出された前記近似１次直線を平行移動させることで、前記プロットにおけるすべての組が含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、前記カラーチャートにおけるカラーの複数の階調のパッチを対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する第２処理部と、
算出された前記近似３次曲線を前記第１トーンカーブとして出力する第３処理部とを有する
色補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対する色補正方法、プログラム及び装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮影によって、ＲＧＢの色要素で表現されるカラーのデジタル画像が得られる。ところが、カメラによる撮影では、太陽光やＬＥＤ光等の光源の違い、カメラのレンズの特性にともなう色味の変化等により、実際の色とは違う記録がされてしまう。そのために、撮影によって得られたデジタル画像に対して色補正が行われる。
【０００３】
デジタル画像に対する色補正は、編集者が主観に頼ってＡｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐ（アドビシステムズ社の登録商標）等の写真編集ソフトを利用して、カラーバランス等を考慮して手動で調整することができる。このような手動による色補正は、客観性に欠け、実際の色への再現性に乏しい。
【０００４】
そのために、従来、被写体の撮影時に、カラーチャート（色見本）も一緒に撮影しておき、得られたデジタル画像に含まれるカラーチャートでの画素値を用いることで、デジタル画像を自動で色補正する技術が提案されている（例えば、特許文献１、２参照）。
【０００５】
特許文献１では、フィルムにカラーチャートと被写体を撮影しておく。そして、カラーチャートの各色票の色を正しい色に表示させるための係数を演算する。最後に、この係数を用いて被写体の画像データを補正する。これにより、撮影条件に拘らず、常に正しい色の画像を再現できるというものである。
【０００６】
また、特許文献２では、カラーチャートの各パッチの理想ＲＧＢ値を設定する。そして、撮影したカラーチャートの原画像のＲ値、Ｇ値、Ｂ値をそれぞれ表す第１〜第３のトーンカーブを設定する。さらに、各トーンカーブ上に変曲点を設定し、最適値導出手法を繰り返し使用し、変曲点を変位させてトーンカーブを変形し、一定の条件を満たすトーンカーブに基づき、目的画像を色変換する。これにより、デジタルカメラによって撮影された同一の被写体の画像の色を、撮影条件やカメラの種類によらずに、近似した色に再現できるというものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−４６４４８号公報
【特許文献２】特開２００２−２８１５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１、２での色補正では、目的画像に対して、撮影条件やカメラの種類によらずに近似した色に再現できるものの、実際の色への再現性において必ずしも十分ではないと考えられる。それは、特許文献１ではグレースケールを他のカラーとして区別していないこと、特許文献２では白・黒という白飛びや黒つぶれによって同色内でも数値のばらつきが最も多いとされる２色に重点をおいて補正を行っているからである。
【０００９】
そこで、本発明は、このような問題に鑑みてなされたものであり、より実際の色への再現性に優れた色補正方法、プログラム及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る色補正方法の一形態は、ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対する色補正方法であって、カラー及びモノクロの複数の階調のパッチから構成されるカラーチャートと共に被写体が撮影されて生成されたデジタル画像である第１画像を取得する画像取得ステップと、取得された前記第１画像に含まれるカラーチャートのパッチを構成する画素の画素値と当該画素の理想値とを用いて、前記ＲＧＢの色要素のそれぞれについて、前記第１画像の色を補正するのに用いられる第１トーンカーブを生成するトーンカーブ生成ステップと、生成された前記第１トーンカーブを用いて、前記第１画像を色補正する補正ステップとを含み、前記トーンカーブ生成ステップは、前記ＲＧＢの色要素のそれぞれについて、前記第１画像に含まれる前記カラーチャートにおけるモノクロの複数の階調のパッチを対象として画素の画素値と理想値との組を２次元座標上にプロットし、前記プロットにおける近似１次直線を算出する第１サブステップと、算出された前記近似１次直線を平行移動させることで、前記プロットにおけるすべての組が含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、前記カラーチャートにおけるカラーの複数の階調のパッチを対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する第２サブステップと、算出された前記近似３次曲線を前記第１トーンカーブとして出力する第３サブステップとを含む。
【００１１】
これにより、第１処理部によって、カラーチャートでのグレースケールを用いた近似１次直線が算出されるので、グレースケールでのカラーバランスを整えながら、全体の明るさを調整する色補正が可能になる。そして、第２処理部によって、グレースケールのすべての点（画素値と理想値との組）が含まれる範囲に曲線が入るように、カラーの点（画素値と理想値との組）を用いた近似３次曲線が算出されるので、第１処理部１４ａで整えられたカラーバランスを保ちながら誤差を小さくする色補正が可能になる。このようなグレースケールだけによる明るさの調整と、その結果を維持したうえでのカラーを用いた微調整の２段階によるトーンカーブの生成により、従来よりも実際の色への再現性に優れた色補正が可能になる。
【００１２】
ここで、前記画像取得ステップではさらに、前記第１画像の生成における撮影と同じ撮影条件で被写体が撮影されて生成されたデジタル画像である少なくとも１つの第２画像を取得し、前記トーンカーブ生成ステップでは、前記第１画像に含まれるカラーチャートを用いて、前記色要素のそれぞれごとに、前記第２画像の色を補正するのに用いられる第２トーンカーブを生成し、前記補正ステップでは、生成された前記第２トーンカーブを用いて、前記第２画像を色補正してもよい。
【００１３】
これにより、カラーチャートと共に撮影されていないデジタル画像であっても、同様の色補正が可能になる。
【００１４】
また、前記第３サブステップでは、前記ＲＧＢの色要素のそれぞれについて、前記第２サブステップで算出された前記近似３次曲線における白飛び及び黒つぶれの割合が小さくなるように、前記近似３次曲線を前記２次元座標における前記理想値の軸方向にシフトさせ、得られた前記近似３次曲線を前記第１トーンカーブとして生成してもよい。より具体的には、前記第３サブステップでは、前記ＲＧＢの色要素のそれぞれに対する前記近似３次曲線における白飛び及び黒つぶれの割合の合計が最小となるように、前記ＲＧＢの色要素のそれぞれに対する前記近似３次曲線を同じようにシフトさせてもよい。
【００１５】
これにより、第１トーンカーブにおける白飛び及び黒つぶれがある場合に、デジタル画像の明るい部分や暗い部分の色情報が損失してしまい、色補正によって実際の色に再現できないという不具合が回避される。つまり、カラーバランスを維持したまま、全体の明るさを調整することで色情報の損失を防ぐことができる。
【００１６】
また、さらに、前記第１画像における前記カラーチャートの位置をユーザから取得するカラーチャート位置認識ステップを含み、前記第１画像に含まれる前記カラーチャートのパッチを構成する画素の画素値については、前記カラーチャート位置認識ステップで取得された位置に基づいて前記カラーチャートの前記第１画像における位置が特定され、特定された前記カラーチャートの位置と、予め定められた前記カラーチャートと前記パッチとの位置関係とを用いることで前記パッチの位置が特定され、特定された前記パッチの位置に基づいて前記パッチを構成する画素の画素値が特定されてもよい。
【００１７】
これにより、カラーチャートの位置を指示するだけで、個々のパッチの位置が認識されるので、個々のパッチの画素値を取得する処理が自動化される。
【００１８】
なお、本発明は、以上のような色補正方法として実現できるだけでなく、色補正方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムが格納されたＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現したり、プログラム及びそのプログラムを実行するＣＰＵ等によって実現される色補正装置として実現したりすることもできる。
【発明の効果】
【００１９】
本発明に係る色補正方法、プログラム及び装置により、撮影によって得られたカラーのデジタル画像に対して、論理的かつ客観的に自動で色補正が実行され、従来よりも高い精度で実際の色が再現される。
【００２０】
よって、デジタル画像の高精細化が進んできた今日における本発明の意義は極めて高い。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態で使用されるカラーチャートの例を示す図
【図２】本発明の実施の形態における色補正の対象となるデジタル画像（写真）の例を示す図
【図３】図２の写真に写っているカラーチャートの各パッチの画素値と理想値との対応（点）をプロットした図
【図４】図２の写真に写っているカラーチャートの２４色のパッチの画素値と理想値との違いを示す図
【図５】図２の写真に写っているカラーチャートのグレースケールにおける色のバランスを示す図
【図６】本発明の実施の形態における色補正装置の機能構成を示すブロック図
【図７】同色補正装置によるカラーチャート及びパッチの位置認識処理を説明する図
【図８Ａ】同色補正装置の動作を示すフローチャート
【図８Ｂ】図８Ａにおけるトーンカーブ生成ステップの詳細を示すフローチャート
【図９】同色補正装置の第１処理部によって算出された近似１次直線の例を示す図
【図１０】同色補正装置の第２処理部によって算出された近似３次曲線の例を示す図
【図１１】同色補正装置の第３処理部による処理の例を示す図
【図１２】同色補正装置によって補正された画像の分析結果を示す図
【発明を実施するための形態】
【００２２】
（本発明の基礎となった知見）
本発明に係る色補正方法、プログラム及び装置の具体的な態様を説明する前に、まず、本発明の基礎となった知見を説明する。
【００２３】
本発明者は、デジタルカメラで被写体と共に図１に示されるカラーチャートを撮影することで得られた４０００万画素のデジタル画像（以下、デジタル画像を「写真」ともいう。）に含まれるカラーチャートのＲＧＢのそれぞれにおける実際のＲＧＢ値（理想値）と写真のＲＧＢ値（画素値）との違いを分析した。分析に用いられた写真は、例えば、図２に示されるような写真である。なお、本明細書において、「実際の色（ＲＧＢ値）」とは、現実の被写体及びカラーチャートの色（ＲＢＧ値）、つまり、理想値を指す。ここで、ＲＧＢ値（あるいは、画素値）は、各色の明度であり、本実施の形態では、０〜２５５までの２５６段階で表わされる。たとえば、３色すべてが０なら黒、すべてが２５５なら白となる。
【００２４】
なお、ここで使用したカラーチャートは、図１に示されるように、グレースケール６階調のパッチとＲ，Ｇ，Ｂのそれぞれ６階調を組み合わせて作られた１８色のパッチ（合計２４個のパッチ）から構成されるＸ−Ｒｉｔｅ社のものである。また、カラーチャートにおける実際のＲＧＢ値（理想値）は、カラーチャートに付随しているデータシートに記載されている値を使用した。デジタルカメラとして、ＰＥＮＴＡＸ社の６４５Ｄを使用した。分析には、数値計算ソフトＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ社の登録商標）を用いた。
【００２５】
図３は、ＲＧＢの色要素ごとに（図３の（ａ）は赤、図３の（ｂ）は緑、図３の（ｃ）青）、写真に写っているカラーチャートの各パッチを構成する画素の画素値と当該画素の理想値との対応（点）をプロットした図である。ここで、Ｘ軸は画素値、Ｙ軸はその理想値である。ＲＧＢの色要素ごとに、合計２４個のパッチに対応する２４個の点がプロットされている。なお、一つのパッチを構成する画素の画素値は、代表値であり、例えば、当該パッチに属する複数の画素の画素値の平均である。以下、「一つのパッチを構成する画素の画素値（あるいは、単に「一つのパッチの画素値」）」とは、当該パッチの画素値の代表値を意味する。図３の（ａ）〜（ｃ）のそれぞれにおいて示されている直線は、参考用の直線であり、Ｘ座標値とＹ座標値とが同じとなる点の集合である（以下、この直線を「理想直線」と呼ぶ）。写真の色が実際のカラーチャートの色と同じである場合には、上記点は、この直線上にプロットされることになる。
【００２６】
本図から、ＲＧＢのどの要素においても写真の画素値が理想値よりも低くなっており、全体に暗く（明度が低く）なっていることがわかる。また、３色を比較すると、青の方が各点の位置が理想直線に近いことから、全体として赤と緑の要素による違いが実際の色との違いを大きくしている要因ではないかと考えられる。しかし、赤と緑の点がほぼ一直線上に並んでいるのに対し、青の点の位置にはばらつきがあることから、とくに青は補正が難しいことがうかがえる。
【００２７】
ところで、グレースケール（モノクロの階調）によって、ＲＧＢの３要素での色のバランスを評価することができる。グレースケールは白と黒との混色で得られた色（白と黒自体も含む）であり、無彩色と同義である。無彩色とは彩度が０で、ＲＧＢで表現すると各要素の値がみな同じ（Ｒ値＝Ｇ値＝Ｂ値）でなければならない。以下の表１は、上記写真における６段階のグレースケールで見る色のバランスを示している。つまり、上記写真に写ったカラーチャートのモノクロにおける６種類のパッチごとに、ＲＧＢ値（画素値）、及び、そのパッチにおけるＲＢＧ値の最大値と最小値との差が示されている。
【００２８】
【表１】
2014192859.tif 000003
【００２９】
表１では、どの色においても各要素の値は異なり、赤が低く、青が高くなっている。また、明度が低くなる（白から黒になる）につれて、その差は小さくなっていることがわかる。このことから、写真は全体に青みがかっており、その傾向は明るい部分ほど顕著であると言える。
【００３０】
図４は、ＲＧＢの色要素ごとに（図４の（ａ）及び（ｄ）は赤、図４の（ｂ）及び（ｅ）は緑、図４の（ｃ）及び（ｆ）は青）、上記写真に写ったカラーチャートの２４色のパッチにおける画素値と理想値との違いを示す図である。つまり、図４の（ａ）〜（ｃ）は、それぞれ、図３の（ａ）〜（ｃ）に対応する。ただし、図４の（ａ）〜（ｃ）には、図３における理想直線に加えて、理想直線と平行する、２４個の点から最小二乗法等によって定まる近似１次直線も描かれている。また、図４の（ｄ）〜（ｆ）は、画素値ごとの度数分布（１００分率）を示すヒストグラムである。横軸は画素値を示し、縦軸は１００分率を示す。
【００３１】
図４の（ａ）〜（ｃ）から、次のことが分かる。図４の（ａ）〜（ｃ）における近似１次直線と理想直線とは、いずれも、画素値と理想値とが等しい値を通る直線であることから、これら２本の直線間の距離から、明度による色のバランスと、実際と写真との明度を比較することができる。ＲＧＢの３要素すべてにおいて、理想直線よりも近似１次直線が上にあることから、全体的に写真の方が実際よりも暗いことがわかる。その程度については、実際と写真との差の平均値として表される。赤では約６０、緑では約５０、青では約２７と３色で異なっている。また、２４点の位置と近似１次直線の位置との関係について着目してみると、ＲＢＧの３要素すべてにおいて、画素値（明度）の低い範囲では近似１次直線より下に多くの点があり、画素値の高い範囲では近似１次直線より上に多く点がある。このことから、写真の暗い部分は実際よりもさらに暗くなっており、明るい部分は実際よりさらに明るくなっていると言える。
【００３２】
一方、図４の（ｄ）〜（ｆ）から、次のことが分かる。ＲＧＢの３要素すべてにおいて、いくつかのピークが見られるが、値の低い範囲と高い範囲ではその画素値が占める個数の割合（１００分率）は限りなく０に近くなっている。ここで、色補正はカラーチャートにある色を元に行うので、その色が占める割合と、その割合から全体として誤差がどのくらいあるかを数値で示すと、次の通りである。つまり、カラーチャートの色が全体を占める割合は、赤が約１１％、緑が１５％、青が約１２％となっている。写真全体に見る誤差は、赤で３．７、緑で１．５、青で６．５であった。図４の（ａ）〜（ｃ）に示された誤差は、赤が約１０．５、緑が約３．２、青が約４．６となっている。このことから、赤と緑については、図４の（ａ）、（ｂ）の誤差よりも図４の（ｄ）、（ｅ）の誤差の方が約半分と小さくなっており、全体の占める割合が小さい値で誤差が大きく、占める割合が大きい値で誤差が小さいといえる。一方、青については、図４の（ｃ）の誤差に比べて、図４の（ｆ）の誤差が１．４倍に大きくなっており、これは逆に全体の占める割合が大きいところで誤差が大きいと考えられる。
【００３３】
図５は、上記写真に写ったカラーチャートのグレースケール（モノクロの６色のパッチ）における色のバランスを示す図である。ここで、上段（図５の（ａ）〜（ｆ））、中段（図５の（ｇ）〜（ｌ））、下段（図５の（ｍ）〜（ｒ））は、それぞれ、Ｒ、Ｇ、Ｂの値であり、左から右に、白から黒に向かうグレースケールの６色に対応して区切られている。それぞれの図は各色で示した値の画素数がヒストグラム（横軸が画素値、縦軸が度数（１００分率））で表示されている。本図から分かるように、どの色の要素においても値の幅は約２０であり、そのピークは１５％を超える正規分布の形をしている。このことから、同色でのばらつきが少なく、各色１点を代表値にすることが可能であることを裏付けている。また、それぞれの色を見ると、どの色においても各要素の値は異なり、赤が低く、青が高くなっている。その結果は、図４に示された実際と写真との差の平均値に現れた結果と同じである。また、明度が低くなる（白から黒になる）につれて、その差は小さくなっていることもわかる。
【００３４】
以上の分析結果から、写真の編集において、実際のカラーチャートの値に近づけるための色補正には、（１）全体の明るさ（どの色要素も明るくするが、その程度は赤、緑、青の順に小さくする）の調整、（２）（１）によって生じたカラーバランスを維持しながら誤差をできるだけ小さくする微調整（とくにＲ，Ｇにおいては全体で占める割合が大きい部分の誤差は小さかったので、その値を維持し、全体の占める割合の小さい値について誤差を小さくする）、という２つが必要であることがわかる。
【００３５】
以上の知見に基づいて、本発明者は、カラーのデジタル画像に対して、論理的かつ客観的に自動で色補正を行ない、従来よりも高い精度で実際の色を再現できる色補正方法、プログラム及び装置を考案したので、以下、その実施の形態について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。
【００３６】
また、以下で説明する実施の形態は、本発明に係る色補正方法、プログラム及び装置の一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態などは一例であり、本発明に係る色補正方法、プログラム及び装置を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３７】
図６は、本発明の実施の形態における色補正装置１０の機能構成を示すブロック図である。この色補正装置１０は、ＲＧＢの色要素で表現されるカラーのデジタル画像（写真）に対して色補正を行う装置であって、入力部１１、制御部１２、表示部１６、及び、記憶部１７を備える。なお、本図には、写真を取得する先となるデータ源の例として、デジタルカメラ２０も併せて図示されている。
【００３８】
入力部１１は、ユーザからの指示を取得する入力デバイスであり、例えば、マウス、キーボード等である。
【００３９】
表示部１６は、補正の前後における写真、色補正装置１０で得られる分析結果等を表示するディスプレイであり、例えば、ＬＣＤ等である。
【００４０】
記憶部１７は、補正の前後における写真、一時的に発生するデータ等を格納するメモリであり、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の不揮発性メモリ等である。
【００４１】
制御部１２は、デジタルカメラ２０から取得した写真に対して色補正を行う処理部であり、画像取得部１３、トーンカーブ生成部１４、及び、補正部１５を有する。この制御部１２は、例えば、制御プログラムと、その制御プログラムを実行するＣＰＵ等を有するパーソナルコンピュータ（ＰＣ）によって実現される。具体的には、上述したＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ社の登録商標）を用いて色補正用プログラムを作成し、ＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ社の登録商標）がインストールされたコンピュータで色補正用プログラムを実行することで実現してもよいし、作成した色補正用プログラムをＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ社の登録商標）のコンパイラを用いて独立したアプリケーションプログラムに変換し、変換後のアプリケーションプログラムを一般のコンピュータで実行することで実現してもよい。
【００４２】
画像取得部１３は、カラー及びモノクロの複数のパッチから構成されるカラーチャートと共に被写体が撮影されて生成されたデジタル画像（写真）である第１画像を取得する。ここでは、画像取得部１３は、デジタルカメラ２０から写真を取得する。
【００４３】
トーンカーブ生成部１４は、画像取得部１３で取得された第１画像に含まれるカラーチャートのパッチを構成する画素の画素値と当該画素の理想値とを用いて、ＲＧＢの色要素のそれぞれについて、第１画像の色を補正するのに用いられる第１トーンカーブを生成する処理部であり、第１処理部１４ａ、第２処理部１４ｂ及び第３処理部１４ｃを有する。
【００４４】
第１処理部１４ａは、ＲＧＢの色要素のそれぞれについて、画像取得部１３で取得された第１画像に含まれるカラーチャートにおけるモノクロの複数の階調のパッチ（ここでは、６階調のパッチ）を対象として画素の画素値と理想値との組を２次元座標上にプロットし、そのプロットにおける近似１次直線を算出する。
【００４５】
第２処理部１４ｂは、ＲＧＢの色要素のそれぞれについて、第１処理部１４ａで算出された近似１次直線を平行移動させることで、モノクロを対象とした第１処理部１４ａによるプロットのすべてが含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、第１画像に含まれるカラーチャートにおけるカラーの複数の階調のパッチ（ＲＧＢのそれぞれにおける６階調のパッチ、つまり、合計１８個のパッチ）を対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する。
【００４６】
第３処理部１４ｃは、第２処理部１４ｂで算出された近似３次曲線を第１トーンカーブとして出力する。このとき、オプション処理として、第３処理部１４ｃは、ＲＧＢの色要素のそれぞれについて、第２処理部１４ｂで算出された近似３次曲線における白飛び及び黒つぶれの割合が小さくなるように、その近似３次曲線を２次元座標における理想値の軸（ここでは、Ｙ軸）方向にシフトさせ、得られた近似３次曲線を第１トーンカーブとして生成する。具体的には、第３処理部１４ｃは、第２処理部１４ｂで算出されたＲＧＢの色要素のそれぞれに対する近似３次曲線における白飛び及び黒つぶれの割合の合計が最小となるように、それら３本の近似３次曲線を同じようにシフトさせることで、第１トーンカーブを生成する。
【００４７】
なお、「白飛び」とは、トーンカーブにおいて、補正前の値（画素値）が最大値（２５５）に満たないのに、補正後の値（補正値）が最大値（２５５）となってしまう領域をいう。また、「黒つぶれ」とは、トーンカーブにおいて、補正前の値（画素値）が最小値（０）より大きいのに、補正後の値（補正値）が最小値（０）となってしまう領域をいう。
【００４８】
補正部１５は、トーンカーブ生成部１４で生成された第１トーンカーブを用いて、第１画像を色補正する。
【００４９】
なお、画像取得部１３は、第１画像の生成における撮影と同じ撮影条件で被写体が撮影されて生成されたデジタル画像（写真）である少なくとも１つの第２画像を取得してもよい。これは複数の選択が可能である。このときには、トーンカーブ生成部１４は、第１画像に含まれるカラーチャートを用いて、ＲＧＢの色要素のそれぞれごとに、第２画像の色を補正するのに用いられる第２トーンカーブを生成する。そして、補正部１５は、トーンカーブ生成部１４で生成された第２トーンカーブを用いて、第２画像を色補正する。これにより、カラーチャートが写っていない写真に対しても色補正が可能になる。ここで、第２トーンカーブは、基本的には、第１トーンカーブと同じものである。ただし、白飛び、黒つぶれを防ぐためのトーンカーブのシフト処理だけは、カラーチャートのない画像でその必要性とシフトの程度を決定する必要がある。つまり、トーンカーブをシフトする必要がある場合のみ、第１トーンカーブと第２トーンカーブとが異なることになる。そのために、第１トーンカーブに定数を加えて第２トーンカーブを生成するステップを追加すればよい。シフトの必要がない場合は定数が０で第１トーンカーブと第２トーンカーブが同じになるという仕組みである。
【００５０】
なお、第１画像におけるカラーチャートの位置の認識については、入力部１１から取得されるユーザの指示に基づいて行われる。このとき、第１画像に含まれるカラーチャートのパッチを構成する画素の画素値については、まず、ユーザから指示された位置に基づいてカラーチャートの第１画像における位置（ここでは、４隅の位置）が特定され、次に、特定されたカラーチャートの位置と、予め定められたカラーチャートと各パッチとの位置関係とを用いることで、各パッチの位置が特定され、最後に、特定された各パッチの位置に基づいて各パッチを構成する画素の画素値が特定される。
【００５１】
具体的には、図７のカラーチャートの表示例に示されるように、ユーザは、写真に写っているカラーチャートの４隅の十字をマウスでクリックする。これにより、カラーチャートの位置が認識される。なお、各パッチの境界周辺では、画素値にばらつきが見られるため、少し内側で切り抜き（図７における各パッチにおいて、４本の直線で囲まれる矩形領域内で切り抜き）、各色のＲＧＢ値を一つの画素で代表するのではなく、方眼分割されている各矩形領域内のすべての画素の画素値の平均をとり、その値を各パッチのＲＧＢ値（画素値）としている。これによって、カラーチャートの色情報がより正確に得ることができる。
【００５２】
次に、以上のように構成された本実施の形態における色補正装置１０の動作（本発明に係る色補正方法）について説明する。
【００５３】
図８Ａは、本実施の形態における色補正装置１０の動作を示すフローチャートである。
【００５４】
まず、画像取得部１３は、第１画像としての写真を取得する（画像取得ステップＳ１０）。具体的には、画像取得部１３は、デジタルカメラ２０で生成されたＪＰＥＧ等の画像ファイルを、ＵＳＢケーブル又はメモリカードを介して、取得し、補正の対象となる写真（図６の記憶部１７に示される「原画像」）として、記憶部１７に格納する。
【００５５】
そして、トーンカーブ生成部１４は、画像取得部１３で取得された第１画像に含まれるカラーチャートのパッチを構成する画素の画素値と当該画素の理想値とを用いて、ＲＧＢの色要素のそれぞれについて、第１画像の色を補正するのに用いられる第１トーンカーブを生成する（トーンカーブ生成ステップＳ１１）。具体的には、トーンカーブ生成部１４は、記憶部１７に格納された写真（「原画像」）に写っているカラーチャートを用いて、第１トーンカーブを生成し、記憶部１７に格納する（図６の記憶部１７に示される「トーンカーブ」）。
【００５６】
最後に、補正部１５は、トーンカーブ生成部１４で生成された第１トーンカーブを用いて、第１画像を色補正する（補正ステップＳ１２）。具体的には、補正部１５は、記憶部１７に格納されている写真（図６の記憶部１７に示される「原画像」）と第１トーンカーブ（図６の記憶部１７に示される「トーンカーブ」）とを用いて、写真に色補正を行い、補正後の写真を、「補正画像」として記憶部１７に格納するとともに、表示部１６に表示する。
【００５７】
図８Ｂは、図８Ａにおけるトーンカーブ生成ステップＳ１１の詳細な手順を示すフローチャートである。
【００５８】
第１トーンカーブの生成では、まず、第１処理部１４ａは、ＲＧＢの色要素のそれぞれについて、画像取得部１３で取得された第１画像に含まれるカラーチャートにおけるモノクロの複数の階調のパッチ（ここでは、６階調のパッチ）を対象として画素の画素値と理想値との組を２次元座標上にプロットし、そのプロットにおける近似１次直線を算出する（第１サブステップＳ２０）。具体的には、第１処理部１４ａは、記憶部１７から写真（「原画像」）を読み出し、その写真に写っているカラーチャートのグレースケールにおける６個のパッチを対象として、２次元座標（Ｘ軸が座標値、Ｙ軸が理想値）上にプロットし、最小二乗法等を用いて、そのプロットの近似１次直線を算出する。
【００５９】
図９の（ａ）〜（ｃ）は、それぞれ、ＲＧＢの色要素について第１処理部１４ａによって算出された近似１次直線の例を示す図である。なお、本図に示される近似１次直線は、上述したグレースケールの６個のパッチだけを対象として算出されているが、プロットされている点については、参考のために、カラーのパッチの１８点を含む合計２４点が図示されている。
【００６０】
グレースケールの理想値は、ＲＧＢの３要素すべての値が同じであることから、第１サブステップＳ２０においてグレースケールのみを用いて近似１次直線を導き出すことにより、グレースケールでのカラーバランスを整えながら、全体の明るさを調整するトーンカーブ（近似１次直線）が生成される。
【００６１】
次に、第２処理部１４ｂは、ＲＧＢの色要素のそれぞれについて、第１処理部１４ａで算出された近似１次直線を平行移動させることで、モノクロを対象とした第１処理部１４ａによるプロットにおけるすべての組が含まれる範囲を設定し、設定した範囲内に近似３次曲線が入るように、第１画像に含まれるカラーチャートにおけるカラーの複数の階調のパッチ（ＲＧＢのそれぞれにおける６階調のパッチ、つまり、合計１８個のパッチ）を対象とした画素の画素値と理想値との組を用いた近似３次曲線を算出する（第２サブステップＳ２１）。
【００６２】
具体的には、第２処理部１４ｂは、グレースケールのバランスを崩さないために、グレースケールの６点の範囲内で近似曲線（ここでは、近似３次曲線）を作る。そのために、図１０に示されるように、まず、第２処理部１４ｂは、第１処理部１４ａで算出された近似１次直線を平行移動させ、グレースケールの６点がすべて含まれる範囲を設定する（図１０の点線）。そして、第２処理部１４ｂは、その中に曲線が入るように残りのカラーの１８点で、最小二乗法等を用いて、近似３次曲線を描く（図１０の２本の点線で囲まれた範囲内に描かれた近似３次曲線）。なお、図１０の（ａ）〜（ｃ）は、それぞれ、ＲＧＢの色要素について第２処理部１４ｂによって算出された近似３次曲線の例を示す図である。ここでは、プロットされている点については、グレースケールの６点だけが示されている。また、図１０の（ａ）〜（ｃ）のそれぞれにおける２本の点線で囲まれる範囲内には、近似１次直線と近似３次曲線とが図示されている。
【００６３】
なお、近似曲線について、より誤差を小さくするために、さらに高次の曲線を描くことも可能であるが、急激な値の変化による不自然さを防ぐために、３次曲線が好ましい。
【００６４】
このように、第２サブステップＳ２１では、第１サブステップＳ２０で整えられたカラーバランスを保ちながら誤差（実際と写真との色の誤差）を小さくするトーンカーブ（近似３次曲線）が生成される。
【００６５】
最後に、第３処理部１４ｃは、第２処理部１４ｂで算出されたＲＧＢの色要素のそれぞれに対する近似３次曲線における白飛び及び黒つぶれの割合の合計が最小となるように、それら３本の近似３次曲線を同じようにシフトさせることで、第１トーンカーブを生成する（第３サブステップＳ２２）。
【００６６】
トーンカーブが写真の値で０以上から始まる場合又は補正値が２５５以上となる場合は、白飛び又は黒つぶれの現象を起こす。こうした場合には、写真の明るい部分や暗い部分の色情報を損失することになり、写真を色補正によって実際の色に再現することはできない。このような場合は、カラーバランスを維持したまま、全体の明るさを調整することで色情報の損失を防ぐ必要がある。そのために、第３処理部１４ｃは、Ｒ、Ｇ、Ｂの３要素において、第２処理部１４ｂで算出された３本の近似３次曲線を同じように上下させ、白飛び及び黒つぶれになる割合の合計が最も小さくなる位置を計算し、その位置まで近似３次曲線をシフトさせ、得られた近似３次曲線を、最終的なトーンカーブ（第１トーンカーブ）として生成する。
【００６７】
図１１の（ａ）〜（ｃ）は、それぞれ、ＲＧＢの色要素についての第３処理部１４ｃによる処理の例を示す図である。ここでは、第２処理部１４ｂで算出された３本の近似３次曲線における白飛び及び黒つぶれになる割合の合計が最も小さくなるように、３本の近似３次曲線が下方にシフトされる様子が示されている。
【００６８】
このような第３サブステップＳ２２における処理によって、カラーバランスを維持しながら、トーンカーブ（近似３次曲線）における白飛び及び黒つぶれの割合が削減され、明るさを適切に調整するトーンカーブ（第１トーンカーブ）が生成される。
【００６９】
図１２は、本実施の形態における色補正装置１０によって補正された画像の分析結果を示す図であり、補正前の分析結果を示す図４に対応する。つまり、図１２の（ａ）〜（ｃ）は、ＲＧＢの色要素ごとに、補正後の写真に写っているカラーチャートの各パッチを構成する画素の画素値と当該画素の理想値との対応（２４個の点）をプロットした図であり、図１２の（ｄ）〜（ｆ）は、画素値ごとの分布（１００分率）を示すヒストグラムである。
【００７０】
図１２の（ａ）〜（ｃ）には、図４の（ａ）〜（ｃ）と同様に、理想直線と、その理想直線と平行する２４個の点の近似１次直線とが描かれているが、それら理想直線と近似１次直線とがほぼ重なっている。このことから、実際と補正後の写真のカラーチャートの値がほぼ同じであることがわかる。
【００７１】
以下の表２は、数値で見た補正前と補正後の写真の分析結果を示している。
【００７２】
【表２】
2014192859.tif 000004
【００７３】
この表２には、「実際と写真との差の平均値」、「全体の明度を考慮しての実際と写真との差（誤差）」、及び、「写真全体に見る誤差」の３つの評価に関して、補正前の写真と補正後の写真での値が示されている。ここで、「実際と写真との差の平均値」は、２４点それぞれにおいて実際のカラーチャートのＲＧＢ値から写真でのカラーチャートのＲＧＢ値を引いて差を出し、その合計を２４で割ることで平均したものである。また、「全体の明度を考慮しての実際と写真との差（誤差）」は、次の手順で算出された値である。つまり、まず、写真でのカラーチャートのＲＧＢ値が実際のカラーチャートのＲＧＢ値と等しい直線に平行な２４点における近似一次曲線（直線）を導き出す。これが写真のＲＧＢ値における全体の明度を考慮した理論値の集合である。そして、この直線を利用し、２４点それぞれにおいて、理論値から写真のカラーチャートのＲＧＢ値の差をとり、その合計を２４で割ることで平均する。また、「写真全体にみる誤差」は、次の手順で算出された値である。つまり、まず、２４点それぞれにおいて、「全体の明度を考慮しての実際と写真との差（誤差）」での算出手順と同様に、理論値から写真のカラーチャートのＲＧＢ値の差をとる。同時に写真全体においてカラーチャートのＲＧＢ値と同じ値を示すピクセル数をカウントさせ、写真全体のピクセル数に対してその値がしめる割合を２４色すべてにおいて計算する。そして、これら２つの要素をそれぞれ掛けて合計する。このようにして得られた値は、カラーチャートのＲＧＢ値と同じ値を示したピクセルのみの値であるため、写真全体（１００％）に換算することで写真全体での誤差を表すと考えられる。
【００７４】
表２から分かるように、「実際と写真との差の平均値」については、本実施の形態の色補正によって、どの色要素とも格段に小さくなっている。また、「全体の明度を考慮しての実際と写真との差（誤差）」についても、本実施の形態の色補正によって、赤と緑は約３分の１にまで小さくなっている。青については、点にばらつきが見られ、それほど大きな改善は見られなかった。「写真全体に見る誤差」については、補正前の画像全体で占める割合が大きい部分の誤差はもともと小さかったので、数値の上では、本実施の形態の色補正による大きな変化は見られなかった。
【００７５】
以下の表３は、補正後の写真における６段階のグレースケールで見る色のバランスを示しており、補正前の写真について同様の結果を示す表１に対応する。
【００７６】
【表３】
2014192859.tif 000005
【００７７】
この表３では、表１と比較して、どの色も値の幅は断然に小さくなっており、白にいたっては０になっている。このことから、本実施の形態の色補正により、色のバランスが大きく改善されることがわかる。
【００７８】
なお、本実施の形態では、一つの写真についての分析結果が示されたが、他の写真についても、本実施の形態の色補正により、実際に近い色に補正され、色表現が格段に改善されることを確認している。
【００７９】
以上のように、本実施の形態によれば、カラーチャートを入れて撮影したカラーのデジタル画像のすべてに対して、自動で色補正を行うことができる。また、同じ撮影条件で撮影することで、同じトーンカーブを利用して、カラーチャートが写っていない複数枚の画像を同時に色補正することも可能である。また、カラーチャートを元にした分析結果を表示することにより、画像のもつ色に関する特徴や誤差の傾向を知る目安にもなると考えられる。さらに、大事な情報を損失しないようにカラーバランスを維持しながらの明るさ調整が行えるので、用途によって使い分けることも可能である。
【００８０】
より詳しくは、本実施の形態における色補正装置１０によれば、第１処理部１４ａによって、カラーチャートでのグレースケールを用いた近似１次直線が算出されるので、グレースケールでのカラーバランスを整えながら、全体の明るさを調整する色補正が可能になる。そして、第２処理部１４ｂによって、グレースケールの６点がすべて含まれる範囲に曲線が入るように、カラーの１８点を用いた近似３次曲線が算出されるので、第１処理部１４ａで整えられたカラーバランスを保ちながら誤差を小さくする色補正が可能になる。さらに、第３処理部１４ｃによって、上記近似３次曲線におけるカラーバランスを維持しながら、近似３次曲線における白飛び及び黒つぶれの割合が小さくなるように近似３次曲線がシフトされるので、カラーバランスを維持しながら、明るさを適切に調整する色補正が可能になる。
【００８１】
これにより、撮影によって得られたカラーのデジタル画像に対して、論理的かつ客観的に自動で色補正が行われ、従来よりも高い精度で実際の色が再現される。
【００８２】
以上、本発明に係る色補正方法、プログラム及び装置の実施の形態について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、各種変形を実施の形態に施したもの、又は、実施の形態における構成要素を組み合わせて構築される別の形態も、本発明に含まれる。
【００８３】
たとえば、上記実施の形態では、色補正装置１０は、白飛び及び黒つぶれを補正する第３処理部１４ｃを備えたが、このような機能をもつ処理部を必ずしも備える必要はない。撮影によって得られた写真によっては、第２処理部１４ｂで算出された近似３次曲線に白飛び及び黒つぶれが生じていない、あるいは、無視できる程度に白飛び及び黒つぶれの割合が少ない場合があるからである。よって、第３処理部１４ｃは、第２処理部１４ｂで算出された近似３次曲線における白飛び及び黒つぶれの量を特定し、その量が一定量以下である場合には、上記実施の形態で説明した近似３次曲線のシフト処理をすることなく、第２処理部１４ｂで算出された近似３次曲線を最終的な補正用のトーンカーブとしてそのまま出力してもよい。
【００８４】
また、上記実施の形態では、色補正装置１０は、プログラムとそれを実行するプロセッサ等によってソフトウェア的に実現されたが、ＬＳＩ等の専用の電子回路によってハードウェア的に実現されてもよい。
【産業上の利用可能性】
【００８５】
本発明は、ＲＧＢ（赤、緑及び青）の色要素で表現されるカラーのデジタル画像に対する色補正方法、プログラム及び装置として、特に、論理的かつ客観的に自動で色補正を行う色補正方法等として、高精度の再現性が求められる、例えば、図書館や美術館の原資料や公文書などの長期保存のために情報を電子化して保存するデジタルアーカイブにおける写真の色補正プログラム等として、利用できる。
【符号の説明】
【００８６】
１０  色補正装置
１１  入力部
１２  制御部
１３  画像取得部
１４  トーンカーブ生成部
１４ａ  第１処理部
１４ｂ  第２処理部
１４ｃ  第３処理部
１５  補正部
１６  表示部
１７  記憶部
２０  デジタルカメラ
【図３】
2014192859.tif 000006
【図４】
2014192859.tif 000007
【図５】
2014192859.tif 000008
【図６】
2014192859.tif 000009
【図１】
2014192859.tif 000010
【図２】
2014192859.tif 000011
【図７】
2014192859.tif 000012
【図８Ａ】
2014192859.tif 000013
【図８Ｂ】
2014192859.tif 000014
【図９】
2014192859.tif 000015
【図１０】
2014192859.tif 000016
【図１１】
2014192859.tif 000017
【図１２】
2014192859.tif 000018