(57)【要約】  第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、第１の色信号を用いた画像信号を受け取る画像信号入力部と、第１の色信号がその信号の定義域端又は特定の色域端の近傍色かを判定するクリップ判定部と、信号定義域端又は特定の色域端の近傍色と判定されたピクセルについて、クリッピングされていない最近傍のピクセルまでの距離を算出する距離計算部と、各ピクセルの色信号に対する色信号調整量を決定する調整量決定部と、各ピクセルの色信号を色信号調整量によって調整して第２の色信号を得る色信号調整部と、第２の色信号を用いた画像信号を出力する画像信号出力部と、を備える。
2009093294.tif 000002
【特許請求の範囲】
【請求項１】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
第１の色信号が、前記第１の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。
【請求項２】
前記第１の色信号を用いた画像信号は、前記第１の色信号が定義される色空間とは異なる色空間で定義された色信号から色空間の変換を受け、前記第１の色信号が定義された色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされていることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記第１の色信号へ変換する前の前記異なる色空間は、ＡｄｏｂｅＲＧＢ、ｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ、ＤＣＩ標準、ＮＴＳＣのいずれかであることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記画像信号入力部は、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記調整量決定部は、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記色信号調整部は、処理対象の領域内がなめらかすぎるグラデーションにならないように、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される前記第３の色信号へ色空間を変換する色空間変換部をさらに備え、
前記調整量決定部は、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、
前記色信号調整部は、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第２の色信号を得ると共に、
前記画像信号出力部は、前記第２の色信号を出力することを特徴とする請求項１に記載の画像信号処理装置。
【請求項７】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換部をさらに備え、
前記画像信号出力部は、前記第３の色信号を用いた画像信号を出力することを特徴とする請求項１に記載の画像信号処理装置。
【請求項８】
前記第１の色空間はｘｖＹＣＣであって、前記第３の色空間はＲＧＢである、請求項６又は７に記載の画像信号処理装置。
【請求項９】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。
【請求項１０】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第１の色信号が、前記第１の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。
【請求項１１】
前記第１の色信号を用いた画像信号は、前記第１の色空間とは異なる色空間で定義された色信号から変換を受け、前記第１の色信号を定義する色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされていることを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１２】
前記画像信号入力ステップは、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１３】
前記色信号調整ステップは、処理対象の領域内がなめらかすぎるグラデーションにならないよう、処理後の前記第２の色信号に適当な色ノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１４】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記調整量決定ステップは、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、
前記色信号調整ステップは、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第３の色信号を得ると共に、
前記画像信号出力ステップは、前記第３の色信号を出力することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１５】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記画像信号出力ステップは、前記第３の色信号を用いた画像信号を出力することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１６】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、日本国に２００８年１月２４日に出願した特願２００８−１３７４６号の日本特許出願を優先権主張の基礎とするものであり、これらの日本特許出願の内容は、本願明細書の一部をなすものとしてここに挙げておく。【０００２】
本発明は、画像信号処理装置及び画像映像信号処理プログラムに関する。特に、画像信号の定義域を超える色域を持つ画像出力装置において、画像信号の記録過程における信号のクリッピング等による色の変化を補償し、画像出力装置の広い色域を有効に利用するための画像信号処理装置及び画像信号処理プログラムに関する。
【背景技術】
【０００３】
従来、カメラとディスプレイ、ディスプレイとプリンタ等、異なる画像入出力処理装置の間で色再現性を確保するために、ｓＲＧＢやｓＹＣＣ等の標準色空間を基準とする方法が広く用いられている。【０００４】
また、近年、カメラやスキャナ等の入力デバイス及びディスプレイやプリンタ等の出力デバイスの双方において、ｓＲＧＢ、ｓＹＣＣを超える色域を扱えるものが存在する。そのようなデバイスの広い色域を有効に活用しつつ、従来用いられていたｓＲＧＢ、ｓＹＣＣ信号との互換性も確保する方法が提案されている（例えば、特許文献１参照。）。【０００５】
この特許文献１において提案された方法では、ｓＹＣＣと同一の色度座標を持つ３原色をプライマリに用いた上でγカーブをｓＹＣＣ規格から拡張し、ｓＹＣＣ規格では未使用だったＣｂ、Ｃｒの値域を使用することで、従来のｓＹＣＣ規格の上位互換となるような広色域の色信号を伝達する。【０００６】
また、プリンタの分野では、ディスプレイ上に表示されたカラー画像のＲＧＢ値をＣＭＹＫ等のインク量に変換して印刷する。この場合に一般的に、当該ディスプレイと当該プリンタが共通に扱える色域は正確に再現しつつ、両者の色域が重ならない部分については適切なマッピングが行われている。例えば、プリンタの色域を超えるＲＧＢ信号が入力された場合は、Ｌ＊ａ＊ｂ＊色空間内で当該プリンタの色域表面上の最も近い点に写像することで、ディスプレイ上の表示色とプリンタからの出力色の相違が最小になるような色変換処理を行っている（例えば、特許文献２参照）。【０００７】
逆に、ディスプレイの色域がプリンタの色域よりも狭い場合に関しては、例えば、入力色信号の色相を維持したまま、ディスプレイの色域を超えない範囲で輝度・彩度を線形に拡張することで、当該ディスプレイの色域を有効に使用した広色域表示を行う方法が開示されている（例えば、特許文献３参照）。【０００８】
【特許文献１】特許第３８００４２７号公報
【特許文献２】特開２００６−３３２４６号公報
【特許文献３】特開２００３−１５３０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の方法では色信号の変換を全ピクセル共通の処理によって行っていたため、ピクセル毎の誤差は最小になっても、空間方向の特徴が潰されて不自然な画像となることがあった。【００１０】
例えば、ＡｄｏｂｅＲＧＢの色域を特許文献１に記載の方法でＹ、Ｃｂ、Ｃｒの信号に変換すると、飽和度の高い赤・緑・シアンは色差信号の定義域に収まらない（図１）。このような場合、特許文献１に記載の方法では元の色信号の彩度を低下させて色差信号の定義域内に収めたり、色差信号を単純にクリッピングする。しかし、上記方法では、同一色相・同一輝度で、彩度のみが異なり、且つ、色差信号の定義域外となるようなグラデーションは、変換後に単一の色のベタ塗りとなるという不具合を生じる。例えば、図２のように中心に向かって彩度が大きくなるグラデーションされた領域は、図３に示すように定義域外となる領域全体にわたってベタ塗りにクリッピングされてしまう。また、特許文献２に代表される色域表面への写像処理にも同様の問題がある。【００１１】
また、このような色域の圧縮処理によって何等かの信号定義域表面もしくは色域表面への写像が行われた場合、特許文献３に代表される従来の色域拡張の手法では、単一色のベタ塗りから元のグラデーションのような空間方向の特徴を復元することはできず、出力デバイスの色域表面の色を用いたベタ塗りへの変換が行われるだけである。例えば、図３の（ｂ）の例では、定義域外となってベタ塗りとされた領域について色域拡張を行う場合には、図４の（ｃ）に示す元のグラデーションを復元することはできず、図４の（ｂ）に示すように、全体として均一値を付加するだけである。特に、自然画の表示において、このようなベタ塗り部分が生じることは主観的な画質に対する悪影響が大きい。【００１２】
このような不具合を軽減するため、単純なクリッピングではなく、信号定義域もしくは色域表面近くのある一定の範囲の値に色域を圧縮するという方法もある。しかし、この方法では圧縮先の値の範囲をある程度大きく取らないと効果が認められず、一方で圧縮先の値の範囲を大きく取るほどにそのような色域圧縮処理を仮定しないデバイスとの間で色再現性が損なわれるという問題がある。【００１３】
例えば、図５に示すように、ＡｄｏｂｅＲＧＢの色域を特許文献１に記載の方法でＹ、Ｃｂ、Ｃｒの信号に変換するについて説明する。この場合、色差信号の定義域表面から内部に４の幅（領域２０２）を設けて色域の圧縮を行うと、（領域２０１）の色を用いたグラデーションは、（領域２０２）に圧縮される。このため、Ｃｒに関して高々４値に量子化されてしまうので、偽輪郭を発生させる原因となる。圧縮先の値の幅（領域２０２）を大きく持たせればこの問題は解決するものの、このような処理を仮定しない表示デバイスで表示させた場合には色再現性が損なわれる領域が拡大するという問題が生じる。【００１４】
そこで、本発明の目的は、クリッピングされた可能性のある色信号を含む画像信号の入力を受けた場合にも、クリッピングを考慮しながら出力デバイスのガマット全体を有効に利用できる画像信号処理装置及び画像信号処理プログラムを提供することである。
【課題を解決するための手段】
【００１５】
以上の問題を解決するため、本発明に係る画像信号処理装置は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
第１の色信号が、前記第１の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。【００１６】
また、前記第１の色信号を用いた画像信号は、前記第１の色信号が定義される色空間とは異なる色空間で定義された色信号から色空間の変換を受け、前記第１の色信号が定義された色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされている。【００１７】
さらに、前記第１の色信号へ変換する前の前記異なる色空間は、ＡｄｏｂｅＲＧＢ、ｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ、ＤＣＩ標準、ＮＴＳＣなどのほか、特定の撮像装置の原色色度座標に基づくＲＡＷ  ＲＧＢ等であってもよい。【００１８】
前記画像信号入力部は、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けることとしてもよい。この場合、前記調整量決定部は、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定してもよい。【００１９】
前記色信号調整部は、処理対象の領域内がなめらかすぎるグラデーションにならないように、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行ってもよい。【００２０】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される前記第３の色信号へ色空間を変換する色空間変換部をさらに備えてもよい。この場合、前記調整量決定部は、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、前記色信号調整部は、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第２の色信号を得ると共に、前記画像信号出力部は、前記第２の色信号を出力してもよい。【００２１】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換部をさらに備えてもよい。この場合、前記画像信号出力部は、前記第３の色信号を用いた画像信号を出力することとしてもよい。【００２２】
なお、前記第１の色空間はｘｖＹＣＣであって、前記第３の色空間はＲＧＢであってもよい。【００２３】
本発明に係る画像信号処理装置の別構成は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。【００２４】
本発明に係る画像信号処理方法は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第１の色信号が、前記第１の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。【００２５】
また、前記第１の色信号を用いた画像信号は、前記第１の色空間とは異なる色空間で定義された色信号から変換を受け、前記第１の色信号を定義する色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされている。【００２６】
さらに、前記画像信号入力ステップは、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することとしてもよい。【００２７】
前記色信号調整ステップは、処理対象の領域内がなめらかすぎるグラデーションにならないよう、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行ってもよい。【００２８】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含んでもよい。この場合に、前記調整量決定ステップは、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、前記色信号調整ステップは、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第３の色信号を得ると共に、前記画像信号出力ステップは、前記第３の色信号を出力することとしてもよい。【００２９】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含んでもよい。この場合に、前記画像信号出力ステップは、前記第３の色信号を用いた画像信号を出力してもよい。【００３０】
本発明に係る画像信号処理プログラムの別構成は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。
【発明の効果】
【００３１】
本発明に係る画像信号処理装置及び画像信号処理プログラムによれば、クリッピングを受けた可能性のある色信号を用いた画像信号を受け取った場合でも、色忠実再現性をほとんど保ったままで、クリッピングを考慮しながらディスプレイのガマット全体を有効に利用できる。【００３２】
本発明に係る画像信号処理装置及び画像信号処理プログラムは、例えば、単純なクリッピングもしくはごく狭い値の範囲への色域圧縮を仮定する。まず、入力信号の色域の定義域もしくは特定の色域表面付近の色のみが連続する領域を検知する。検知された当該領域の外部及び輪郭部の色は保持した上で、当該領域内部では当該領域輪郭部からの距離が離れるほど出力デバイスの色域表面の色に近付くように色変換を行う。これによって、クリッピング等による不自然な色表現を解消することができる。
【図面の簡単な説明】
【００３３】
【図１】ＹＣｒ平面上で複数の色空間の定義域を比較した概略図である。
【図２】（ａ）は、ＡｄｏｂｅＲＧＢ色域を用いた中心に向かってグラデーションを有する画像の例であり、（ｂ）は、（ａ）の中心に向かってｘｖＹＣＣ色空間におけるＣｒの定義域を超える程度を示す概略図である。
【図３】（ａ）は、図２（ａ）をＡｄｏｂｅＲＧＢ色域からｘｖＹＣＣ色空間へと変換した画像の概略図であり、（ｂ）は図２（ｂ）に対応し、Ｃｒ値がｘｖＹＣＣ定義域内へとクリッピングされた様子を示す概略図である。
【図４】（ａ）は、図３（ａ）のクリッピングを受けた領域について従来方法による補正を行った場合の概略図であり、（ｂ）は、従来方法でのＣｒ値の一律補正を示す概略図であり、（ｃ）は、クリッピング前のＣｒ値を示す概略図である。
【図５】ＡｄｏｂｅＲＧＢ色域をｘｖＹＣＣ色空間内へと色域圧縮する概略図である。
【図６】本発明の実施の形態１に係る画像信号処理装置の構成を示すブロック図である。
【図７】本発明の実施の形態１に係る画像信号処理プログラムのフローチャートである。
【図８Ａ】図７の画像信号処理プログラムのより詳細なフローチャートである。
【図８Ｂ】図８Ａのフローチャートの続きのフローチャートである。
【図９Ａ】画像バッファメモリ内の各ピクセルに対する距離パラメータの例を示す概略図である。
【図９Ｂ】距離パラメータ更新ループを１回回した結果を示す概略図である。
【図９Ｃ】距離パラメータ更新ループを２回回した結果を示す概略図である。
【図９Ｄ】距離パラメータ更新ループを３回回した結果を示す概略図である。
【図１０】距離パラメータと色信号調整量との関数ｆの一例を示す概略図である。
【図１１】入力色信号であるｘｖＹＣＣ色空間の定義域とｓＲＧＢ色域及び出力デバイスの色域との関係を示す概略図である。
【図１２Ａ】ピクセルごとのクリップフラグを示す概略図である。
【図１２Ｂ】図１２Ａの座標（６，Ｖ）のクリップフラグが１のピクセルからクリップフラグが０のピクセルまでの距離を示す概略図である。
【図１３】画像の中心に向かってグラデーションを有しない場合に、従来方法での補正では誤った色補正が行われる例を示す概略図である。
【図１４】距離パラメータと色信号調整量との関数ｆの別例を示す概略図である。
【図１５】本発明の実施の形態２に係る画像信号処理装置の構成を示すブロック図である。
【図１６】本発明の実施の形態２に係る画像信号処理プログラムのフローチャートである。
【図１７】本発明の実施の形態３に係る画像信号処理装置の構成を示すブロック図である。
【図１８】本発明の実施の形態３に係る画像信号処理プログラムのフローチャートである。
【図１９】図１８の色信号調整量を決定するステップＳ４２の詳細を示すフローチャートである。
【図２０】本発明の実施の形態５に係る画像信号処理装置の構成を示すブロック図である。
【図２１】本発明の実施の形態５に係る画像信号処理プログラムのフローチャートである。
【図２２】色信号調整量辞書の学習装置の構成を示すブロック図である。
【図２３】色信号調整量辞書の学習プログラムのフローチャートである。
【符号の説明】
【００３４】
１０、１０ａ、１０ｂ、１０ｃ  画像信号処理装置
１１  画像信号入力部
１２  バッファメモリ
１３  クリップ判定部
１４  距離計算部
１５  調整量決定部
１６  色信号調整部
１７  画像信号出力部
１８  色空間変換部
２０  調整量算出部
２１  特徴抽出部
２２  色信号調整量辞書
２３  辞書検索部
３０  色信号調整量辞書学習装置
３１  ｘｖＹＣＣ変換部
３２  特徴抽出部
３３  学習部
【発明を実施するための最良の形態】
【００３５】
本発明の実施の形態に係る画像信号処理装置及び画像信号処理プログラムについて、添付図面を用いて以下に説明する。なお、図面において実質的に同一の部材には同一の符号を付している。【００３６】
（実施の形態１）
図６は、本発明の実施の形態１に係る画像信号処理装置１０の構成を示すブロック図である。この画像信号処理装置１０は、画像信号入力部１１と、画像バッファメモリ１２と、クリップ判定部１３と、距離計算部１４と、調整量決定部１５と、色信号調整部１６と、画像信号出力部１７と、色空間変換部１８とを備える。画像信号入力部１１は、デジタルカメラ等における広色域色信号（例えば、図１に示すＡｄｏｂｅＲＧＢ信号等）からクリッピング等の色域圧縮処理を介して色空間変換されたｘｖＹＣＣ信号を受け付ける。画像バッファメモリ１２は、静止画像データを保持する。また、クリップ判定部１３は、画像信号入力部１１に入力されたｘｖＹＣＣ色信号がｘｖＹＣＣ色域の定義域端か、もしくはＡｄｏｂｅＲＧＢ色域の定義域端の近傍色であるかどうかを判定する。この場合、ｘｖＹＣＣ色域の定義域端の近傍色はＡｄｏｂｅＲＧＢからｘｖＹＣＣへの変換によりクリッピングを受けた可能性があり、ＡｄｏｂｅＲＧＢ色域端の近傍色は撮像装置のＲＡＷ  ＲＧＢ等からＡｄｏｂｅＲＧＢへの変換によりクリッピングを受けた可能性があると判定され、色域拡大処理の対象となる。距離計算部１４は、クリップ判定部１３によりｘｖＹＣＣ色域の定義域端もしくはＡｄｏｂｅＲＧＢ色域の定義域端の近傍色であると判定されたピクセルに対して、同じくクリップ判定部１３によって、ｘｖＹＣＣ色域の定義域もしくはＡｄｏｂｅＲＧＢ色域の定義端近傍色ではないと判定された最近傍ピクセルとの距離を計算する。調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいてｘｖＹＣＣ色信号の色信号調整量を決定する。さらに、色信号調整部１６は、色信号調整量によってｘｖＹＣＣ色信号を調整して、調整後のｘｖＹＣＣ色信号を得る。この場合に、その後のＲＧＢ色信号への変換後に定義域を外れないよう、すなわちディスプレイで表示不可能な色にならないような色信号調整量とする。また、色信号調整部１６は、調整量決定部１５の出力に基づいて、ｘｖＹＣＣ色信号を調整する。色空間変換部１８は、ｘｖＹＣＣ色信号から色空間の変換を行ってディスプレイで表示するＲＧＢ色信号に変換する。画像信号出力部１７は、得られたＲＧＢ色信号を出力する。【００３７】
なお、ｘｖＹＣＣ色信号とは、特許第３８００４２７号公報に基づくＹＣｂＣｒ信号値に対応する。図１に示されるように、ｓＹＣＣ色空間とｘｖＹＣＣ色空間とはいずれもＹＣｂＣｒ信号値によって表されるものである。さらに、ｘｖＹＣＣ色空間は、Ｃｂ値及びＣｒ値についてｓＹＣＣ色空間を拡張したものである。また、広色域のＡｄｏｂｅＲＧＢ色空間は、ｓＹＣＣやｘｖＹＣＣ等とは異なるパラメータによって規定される。そのため、ＡｄｏｂｅＲＧＢの色域をＣｒ−Ｙ平面に表した場合には、図１に示すようにｓＹＣＣ色域及びｘｖＹＣＣ色域のいずれにも収まらず、ｓＲＧＢ色域とも一致しない。【００３８】
図７は、本発明の実施の形態１に係るコンピュータで実行させる画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ｘｖＹＣＣ色信号）を用いた画像信号を受け取る（Ｓ０１）。
（ｂ）第１の色信号（ｘｖＹＣＣ色信号）が、色空間（ｘｖＹＣＣ色空間）の定義域の端部又は特定の色域端部の近傍色であるか否かを判定する（Ｓ０２）。
（ｃ）色空間の定義域の端部、及び、特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する（Ｓ０３）。
（ｄ）最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第１の色信号に対する色信号調整量を決定する（Ｓ０４）。
（ｅ）各ピクセルにおける第１の色信号を色信号調整量によって調整して、第２の色信号を得る（Ｓ０５）。
（ｆ）第２の色信号から、第３の色空間で定義される第３の色信号へ色空間を変換する（Ｓ０６）。
（ｇ）第３の色信号を用いた画像信号を出力する（Ｓ０７）。【００３９】
図８Ａ及び図８Ｂは、図７の画像信号処理プログラムのより詳細なフローチャートである。以下にこの詳細なフローチャートについて説明する。
（ａ）まず、受け付けたｘｖＹＣＣ入力色信号を１画面分全て画像バッファメモリ１２に格納する（Ｓ１１）。これによって、１画面分のｘｖＹＣＣ色信号の格納が完了する。
（ｂ）次に、全ての画素（ピクセル）に対して（Ｓ１２）、クリップ判定部１３によるクリップ判定を行って（Ｓ１３）、クリッピングを受けた可能性のある画素にクリップフラグを立て（例えば１）、画素の距離パラメータを−１にセットする（Ｓ１４）。一方、クリッピングを受けた可能性の無い画素についてはクリップフラグを０にし、画素の距離パラメータを０にセットする（Ｓ１５）。
（ｃ）全ての画素についてクリップ判定の処理が完了したら、Ｓ１７のループからの脱出判定用のフラグを１にセットする（Ｓ１６）。この時点での、画像バッファメモリ１２内の各ピクセルに対する距離パラメータの例を図９Ａに示す。クリッピングを受けた可能性のあるピクセルの距離パラメータ値は−１、それ以外のピクセルの距離パラメータ値は０である。距離パラメータ値−１のピクセルには、見やすいように丸印を付けてある。【００４０】
（ｄ）Ｓ１７のループは、距離計算部１４で行われる処理に相当する。全ての画素について（Ｓ１７）、まず画素のクリップフラグをチェックする（Ｓ１８）。
（ｅ）クリップフラグが立っていれば画素の距離パラメータが既に更新されて０より大きくなっているかどうかを調べる（Ｓ１９）。
（ｆ）距離パラメータが未更新（−１）である場合には、該当画素に隣接する最大８画素に距離パラメータ値が０以上のものがあるかどうかを調べる（Ｓ２０）。
（ｇ）距離パラメータ値が０以上のものがある場合には、隣接画素のうち距離パラメータ値が０以上かつ最小のものに１を足した値を当該画素の距離パラメータとする（Ｓ２１）。
（ｈ）一方、距離パラメータ値が０以上のものが無ければループ脱出フラグを０にリセットする（Ｓ２２）操作を繰り返す。
（ｉ）全ての画素について処理が完了した後、もしループ脱出フラグが立っていなければ（Ｓ２３）、Ｓ１６に戻りＳ１７からのループを繰り返す。
一方、ループ脱出フラグが立っていた場合には、Ｓ１７のループを脱出して次のＳ２４のループに入る。Ｓ１７のループを脱出した時点での距離パラメータは、クリッピングを受けた可能性のある領域の境界までの距離に対応する。
このループを１回回した結果を図９Ｂに示す。距離パラメータ値０のピクセルに隣接するピクセルの距離パラメータ値が１に更新されている。さらにループを２回、３回と回した結果が図９Ｃ、図９Ｄである。図９Ｄの状態からさらにもう１度ループを回すと、距離パラメータ値＝−１のピクセルが無いため、ループ脱出フラグが１のままＳ２３に到達し、Ｓ１７のループを脱出する。【００４１】
（ｊ）Ｓ２４のループは、調整量決定部１５及び色信号調整部１６に相当する処理を各画素について行う処理に対応する。
（ｋ）まず画素のクリップフラグをチェックする（Ｓ２５）。クリップフラグに１が立っていれば、当該画素の距離パラメータを引数とする関数によって、色信号調整量を決定する（Ｓ２６）。ここで用いる関数としては、例えば図１０に示される関数ｆを用いることができる。この関数は［０，１］∈Ｒの定義域を持ち、距離パラメータ値ｄが０付近では色信号調整量の増加が少ない。一方、距離パラメータ値ｄがある程度大きくなると色信号調整量は１に近付き、その後飽和する。この関数ｆでは、距離パラメータ値ｄについて色信号調整量は単調増加するという特性を持つ。このような関数ｆを用いることで、クリッピングを受けた領域外周のピクセルや、領域外周からある程度以上内側のピクセルでは周辺ピクセルとの色差を低く抑えるような変換を行うことができる。【００４２】
（ｌ）次に、Ｓ２６で算出された色信号調整量を用いて、画素の色信号を調整する（Ｓ２７）。例えば図１１に示されるように、入力色信号のＹＣｂＣｒ座標がｘｖＹＣＣ信号定義域のＣｂ軸の下側の端にある場合について説明する。この座標から出力デバイスの色域の定義端までΔＣｂ（＜０）の色差があるとすると、調整後のＣｂ値は、例えば下記の関数ｇを用いて得られる。
ｇ（Ｃｂ、ΔＣｂ、ｄ）＝Ｃｂ＋ΔＣｂ×ｆ（ｄ）
この関数ｇでは、Ｓ２６のステップで算出された色信号調整量ｆ（ｄ）で重み付けされたΔＣｂを元の入力色信号のＣｂに加算することで調整が行われる。なお、ここではｆ（ｄ）は１を超えないので、この方法によれば調整後の色信号値はｄが大きいほど出力デバイスの色域表面に近付く。同様の調整がＣｒについても行われる。このようにして調整されたＹＣｂＣｒ色信号は、ｘｖＹＣＣ色信号の定義域を超える値を持ち得る。【００４３】
（ｍ）各画素について以上の方法で色信号の調整が完了した後に、調整されたｘｖＹＣＣ値からディスプレイの持つ原色ＲＧＢ値への変換が行われる（Ｓ２８）。この色空間の変換は、例えば、各画素のｘｖＹＣＣ値を特許第３８００４２７号公報に開示される方法に従って、一旦、ｓＲＧＢ色空間に写像し、ＸＹＺ色空間を介してディスプレイの原色ＲＧＢ値まで変換を行ってもよい。また、これと等価な他の方法を用いても良く、あるいは全ての計算をあらかじめ算出したルックアップテーブルの参照によって簡略化するなどしてもよい。
以上の方法によって、入力画像データ内からｘｖＹＣＣ信号定義域の端に近い色が連続する領域を見つけ、領域の内側ほどｘｖＹＣＣ信号定義域の外側へと色域を拡大して表示する処理が可能になる。【００４４】
（実施の形態１の変形例１）
上記実施の形態１の距離計算部１４において行う距離計算は、信号定義域端の色が連続する領域の外周から領域内部に向かって幅優先探索で折れ線距離の最小値を更新していくという簡易的なものである。そこで、十分なリソースが確保できる場合、各領域内部の全ピクセルに対して領域外周部の全ピクセルとのユークリッド距離の最小値を求めるようにすれば、より正確な距離が求めることができる。【００４５】
もしくは、各領域内部の全ピクセルで、当該ピクセルから何方向かを探索して領域外周ピクセルまでの距離を求め、その最小値を各ピクセルの距離パラメータとしてもよい。例えば、図１２Ａは、クリッピングされたピクセルをクリップフラグ１を有し、クリッピングされていないピクセルを０で表している。（０）で示されるピクセルは、クリッピングされたピクセルに隣接する、クリッピングされていないピクセルの連続する領域の最外周ピクセルである。図１２Ｂは、座標（６，Ｖ）のクリッピングを受けたピクセルから８方向への、クリッピングを受けていないピクセルまでの距離をカウントする処理を示す概略図である。図１２Ｂの例では、座標（６，Ｖ）のピクセルから距離パラメータ＝０としてスタートし、各方向に対し距離パラメータを１ずつインクリメントしながら（０）のピクセルもしくは画像の外周に当たるまで探索する処理を行っている。座標（６、Ｖ）における距離パラメータは８方向についてそれぞれ求めた距離パラメータの最小値とすればよく、この場合は０となる。なお、色信号調整量を求める関数ｇが引数の距離パラメータに対してある一定値以上で変化量が十分小さくなるようであれば、その値を探索打ち切りの閾値として用いてもよい。【００４６】
また、上記の各例では、各ピクセルが持つ距離パラメータは１つだけであり、領域内のピクセルは領域外の最近傍ピクセルのみを用いて色信号調整量を決定していた。しかし、各ピクセルから複数方向に最近傍ピクセルの探索を行う場合は、発見された全ての方向の最近傍ピクセルへの距離を用いて色信号調整量を決定してもよい。例えば、全方向について、一旦、色信号調整量を計算した上でそれらの最大・最小・平均・中央値等を採ったり、全方向の距離の平均値や中央値等を用いて色信号調整量を求めてもよい。【００４７】
また、上記実施の形態１において、入力されるｘｖＹＣＣ色信号の作成段階で本発明の方法による色域拡大処理を期待した前処理が行える場合には、色信号調整結果の元画像に対する誤差が最小となるような関数ｆ、ｇの種類やパラメータの情報を画像内に埋め込んだり、メタ情報として付加しておいてもよい。画像信号から上記メタ情報を抽出することによって、色域拡大処理を行わないデバイスでの色再現性を保った上で、最適な色域拡大を行うことができる。これによって、色域拡大処理の結果が誤差最小の観点から常に最適であることを保証できる。【００４８】
例えば、図１３の（ａ）及び（ｂ）に示すように、中心部分は定義域内の色信号であるが、その周辺が定義域外となっており、中心とその周辺の境界で色信号が不連続となっている例について説明する。この例では、図１３の（ｂ）についてクリッピングを受けると、円の周辺部分について定義域端の色信号となる。この場合、境界からの距離に応じて色信号調整量が増えるように調整を行うと境界付近で色信号が連続となるような調整となるため、図１３（ｃ）のように中心の円の周辺において（ｂ）の元のグラデーションとは逆の調整が行われてしまう。これに対して、上記変形例では、メタ情報で色信号調整量の最適な決定方法を規定しておくことができるので、図１３の（ａ）及び（ｂ）に対応するような、境界からの距離に応じ調整量が減少する関数をｆ、ｇに指定することで元画像信号の再現が可能となる。【００４９】
また、画像バッファメモリ１２として十分な容量が確保できない場合や、最近傍ピクセルの探索に十分なリソースを割り当てられない場合は、画像バッファメモリ１２のサイズを画像の横１ライン分のみに抑える方法を採用してもよい。この場合、距離計算は横方向のみに対して行う。【００５０】
また、画像バッファメモリ１２の代わりに領域端からの距離を現すカウンタを設けて使用してもよい。この場合、距離のカウントは例えば領域の左端から右方向に行うことしかできない。特に領域の右端付近で色信号調整量が不自然に大きくなってしまう可能性があるが、入力画像の作成段階であらかじめ適切な関数ｆ、ｇやパラメータを算出しておくことによって、悪影響をある程度抑えることができる。例えば、関数ｆとして、図１４に示す別例の関数を選択して、パラメータａ、ｂを適切に定めておくことで、一方向からの距離計算のみでも色域拡大の効果を簡易的に得ることができる。即ち、もしａ＋ｂ＋ａが画面全体に渡って領域の横幅と一致するようにパラメータを定めることができれば、実質的に１ライン分の画像バッファメモリを持っているのと同じ効果を得ることができる。【００５１】
（実施の形態１の変形例２）
上記実施の形態１では、色信号調整量は各ピクセルの距離パラメータに対してなめらかに単調増加する関数を用いている。この方法では、例えば信号定義域端の色によるベタ塗りの領域があった場合、調整後の領域は領域内部に向かうなめらかなグラデーションとなる。なめらかなグラデーションが不自然に見える場合は、調整後の領域にノイズを加える回路を追加してもよい。あるいは、調整量決定部１５で用いられる距離パラメータｄと色信号調整量との関数ｆにノイズを加えた上で使用してもよい。なお、ノイズパターンは、例えば経験則に基づくものを作成して加えてもよく、あるいは、入力信号の作成に用いられた撮像デバイスの暗電流ノイズパターンをテンプレートとして重畳してもよい。【００５２】
（実施の形態２）
図１５は、本発明の実施の形態２に係る画像信号処理装置１０ａの構成を示すブロック図である。この画像信号処理装置１０ａは、実施の形態１に係る画像信号処理装置と比較すると、色空間変換部１８を画像バッファメモリ１２と色信号調整部１６との間に備える点で相違する。すなわち、実施の形態１ではｘｖＹＣＣ色信号をＲＧＢ色信号に変換する前のｘｖＹＣＣ色信号について調整を行っていた。一方、この実施の形態２では、ｘｖＹＣＣ色信号からＲＧＢ色信号に変換後のＲＧＢ色空間内で色調整を行う点で相違する。また、この画像信号処理装置１０ａでは、ＡｄｏｂｅＲＧＢ色信号から所定の色空間の変換を受けたｘｖＹＣＣ色信号が入力され、クリッピングを受けた可能性のあるピクセルを判定し、そのピクセルのｘｖＹＣＣ色信号について色信号調整量を算出して、ｘｖＹＣＣ信号定義域を一部で超えるような広色域ディスプレイの原色ＲＧＢ値へと変換する。この画像信号処理装置１０ａでは、ディスプレイの持つＲＧＢ色域がｘｖＹＣＣ信号定義域外まで拡がっているので、その拡がっている色域の部分を利用してクリッピングの補償を行うことを特徴とする。【００５３】
そのため、調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいて、変換後のディスプレイ原色ＲＧＢ色信号の色信号調整量を決定する。色信号調整部１６は、調整量決定部１５の出力に基づいて、ＲＧＢ色信号を調整する。画像信号出力部１７は、調整後のＲＧＢ色信号を出力する。【００５４】
なお、上記画像信号処理装置では、実施の形態１におけるＹＣｂＣｒ色空間内の調整と異なり、「輝度を一定にして彩度を下げる」という調整はやりにくくなる。その一方で、出力デバイスの色域を超えたかどうかの判定は、ＲＧＢ値のオーバフロー／アンダーフロー判定のみで行うことができる。【００５５】
図１６は、本発明の実施の形態２に係るコンピュータで実行させる画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ｘｖＹＣＣ色信号）を用いた画像信号を受け取る（Ｓ３１）。
（ｂ）第１の色信号（ｘｖＹＣＣ色信号）が、色空間の定義域の端部（ｘｖＹＣＣ色域の定義域端）又は特定の色域端の近傍色（ＡｄｏｂｅＲＧＢ色域の定義域端の近傍色）であるか否かを判定する（Ｓ３２）。
（ｃ）色空間の定義域の端部、及び、特定の色域端の近傍色（ＡｄｏｂｅＲＧＢ色域端の近傍色）のいずれでもないと判定される最近傍ピクセルまでの距離を算出する（Ｓ３３）。
（ｄ）第１の色空間で定義される第１の色信号（ｘｖＹＣＣ色信号）から、第３の色空間で定義される第３の色信号（ＲＧＢ色信号）へ色空間を変換する（Ｓ３４）。
（ｅ）最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第３の色信号（ＲＧＢ色信号）に対する色信号調整量を決定する（Ｓ３５）。
（ｆ）各ピクセルにおける第３の色信号（ＲＧＢ色信号）を色信号調整量によって調整して、第２の色信号（ＲＧＢ色信号）を得る（Ｓ３６）。
（ｇ）第２の色信号（ＲＧＢ色信号）を用いた画像信号を出力する（Ｓ３７）【００５６】
（実施の形態３）
図１７は、本発明の実施の形態３に係る画像信号処理装置１０ｂの構成を示すブロック図である。この画像信号処理装置１０ｂは、実施の形態１及び２に係る画像信号処理装置と比較すると、色空間変換部を有しない点で相違する。また、ＡｄｏｂｅＲＧＢ信号からクリッピング等の色域圧縮処理を介して色空間変換されたｓＹＣＣ信号を受け付ける点においても相違する。【００５７】
この画像信号処理装置１０ｂは、画像信号入力部１１と、画像バッファメモリ１２と、クリップ判定部１３と、距離計算部１４と、調整量決定部１５と、色信号調整部１６と、画像信号出力部１７とを備える。画像信号入力部１１は、デジタルカメラ等における広色域色信号（例えば、図１に示すＡｄｏｂｅＲＧＢ信号等）からクリッピング等の色域圧縮処理を介して色空間変換されたｓＹＣＣ信号を受け付ける。ここでは仮に、ｓＲＧＢ色域へのクリッピングが行われているものと仮定する。画像バッファメモリ１２は、静止画像データを保持する。また、クリップ判定部１３は、画像信号入力部１１に入力されたｓＹＣＣ色信号がｓＲＧＢ色域端の近傍色であるかどうかを判定し、ｓＲＧＢ色域端の近傍色である場合には、ＡｄｏｂｅＲＧＢ等の広色域色空間からｓＲＧＢ色域への変換が行われた際にクリッピングを受けた可能性があると解釈する。距離計算部１４は、クリップ判定部１３によりｓＲＧＢ色域端の近傍色であると判定されたピクセルに対して、同じくクリップ判定部１３によって、ｓＲＧＢ色域端の近傍色ではないと判定された最近傍ピクセルとの距離を計算する。調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいてｓＹＣＣ色信号の色信号調整量を決定する。さらに、色信号調整部１６は、調整量決定部１５の出力に基づいてｓＹＣＣ色信号を調整して、ｘｖＹＣＣ色信号を得る。画像信号出力部１７は、得られたｘｖＹＣＣ色信号を出力する。【００５８】
ここで、クリップ判定部１３と、距離計算部１４と、調整量決定部１５とによって色信号調整量算出部２０を構成する。この色信号調整量算出部２０では、クリッピングを受けた可能性のあるピクセルを判定し、クリッピングを受けていないと判定されたピクセルまでのピクセル距離、すなわち距離パラメータを計算して、その距離パラメータに基づいて色信号調整量を決定する。【００５９】
この画像信号処理装置１０ｂでは、入力画像信号としてｓＲＧＢ色域にクリッピング済のｓＹＣＣ信号を受け取り、クリッピングを受けた可能性のあるピクセルを特定し、各ピクセルに対する色信号調整量を算出する。その後、色信号調整量に基づいて各ピクセルのｓＹＣＣ信号におけるＣｒ値、Ｃｂ値を調整し、ｘｖＹＣＣ信号を得て出力する。この画像信号処理装置１０ｂでは、ｓＹＣＣ信号からｘｖＹＣＣ信号に色域拡大して、ｘｖＹＣＣ信号として出力する。即ち、ｓＹＣＣでオーサリングされた映像ソースを、広色域ディスプレイ向けに色域拡大するコンバータとして応用することができる。【００６０】
上記の例では入力ｓＹＣＣ信号がｓＲＧＢ色域にクリッピングされていることを前提とした処理を行っており、ｓＹＣＣ信号定義域端へのクリッピングは考慮しないが、ＡｄｏｂｅＲＧＢ等の広色域信号から直接ｓＹＣＣ色空間への変換とクリッピングが行われた場合を考慮して、上記実施の形態１と同様の方法でクリッピングの補償を行ってもよい。【００６１】
図１８は、本発明の実施の形態３に係るコンピュータで実行するための画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ここではｓＹＣＣ信号）を用いた画像信号を受け取る（Ｓ４１）。
（ｂ）各ピクセルにおける色信号（ｓＹＣＣ信号）に対する色信号調整量を決定する（Ｓ４２）。
（ｃ）各ピクセルにおける色信号（ｓＹＣＣ信号）を色信号調整量によって調整して、第２の色信号（ｘｖＹＣＣ信号）を得る（Ｓ４３）。
（ｄ）第２の色信号（ｘｖＹＣＣ信号）を用いた画像信号を出力する（Ｓ４４）。【００６２】
図１９は、図１８の色信号調整量を決定するステップ（Ｓ４２）の詳細を示すフローチャートである。
（ａ）第１の色信号（ｓＹＣＣ色信号）が、特定の色域端（ｓＲＧＢ色域端）の近傍色であるか否かを判定する（Ｓ５１）。概色域端の近傍色であれば、ＡｄｏｂｅＲＧＢやｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ等から概色域へのクリッピングの可能性ありと解釈する。
（ｂ）クリッピングを受けた可能性のあるピクセルから、クリッピングを受けていないと判定される最近傍ピクセルまでの距離、すなわち距離パラメータを算出する（Ｓ５２）。
（ｃ）最近傍ピクセルまでの距離（距離パラメータ）に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する（Ｓ５３）。これはクリッピングを受けた可能性のあるピクセルの内側に向かってグラデーションを有すると仮定し、クリッピング部分の境界からの距離パラメータに応じて色信号調整量を変化させるためである。【００６３】
（実施の形態４）
本発明の実施の形態４に係る画像信号処理装置は、実施の形態１から３の画像信号処理装置と比較すると、色信号調整を受けるピクセルを全て同列に扱うのではなく、例えばｘｖＹＣＣ定義域からはみ出した緑・シアンと、赤とをそれぞれ別個に取り扱う点で相違する。この場合には、ＹＣｂＣｒ空間内のＣｂ、Ｃｒ軸の＋方向と−方向にはみ出す色信号をそれぞれ独立に扱う。そのため、図８Ａ及び図８Ｂのフローチャートにおいて、Ｓ１７のループを計４回繰り返して距離パラメータを求める。【００６４】
（実施の形態５）
図２０は、本発明の実施の形態５に係る画像信号処理装置１０ｃの構成を示すブロック図である。この画像信号処理装置１０ｃは、実施の形態１から４に係る画像信号処理装置と比較すると、色信号調整値を算出する調整値算出部２０が、特徴抽出部２１、色信号調整値辞書２２、辞書検索部２３とを備える点で相違する。特徴抽出部２１は、画像信号から、第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する。色信号調整量辞書２２は、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている。辞書検索部２３は、色信号調整量辞書から、特徴画像信号に対応する色信号調整量を得る。【００６５】
上記実施の形態１から３の場合には色信号定義域もしくは特定の色域の端部からのピクセル距離ｄと色信号調整値関数ｆとの関係から色信号調整値を算出していた。一方、この画像信号処理装置１０ｃでは、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録された色信号調整量辞書２２を用いている。この画像信号処理装置１０ｃでは色信号調整量辞書２２によって、特徴画像信号と対応する色信号調整量を得ることができる。なお、この色信号調整量辞書２２は、クリッピングを受けた画像信号から抽出された特徴画像信号と、クリッピング前の画像データを得るための色信号調整値との対応関係を学習させることによって構築される。【００６６】
図２１は、本発明の実施の形態５に係る画像信号処理方法のフローチャートである。
（ａ）ピクセル毎に第１の色空間を用いた画像信号を受け取る（Ｓ６１）。
（ｂ）画像信号から色空間定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する（Ｓ６２）。
例えば、各ピクセルのｘｖＹＣＣ色信号に対して、Ｃｂ、Ｃｒに基づいて下記の色によってｘｖＹＣＣ色域の定義域端からの信号距離Ｄｂ、Ｄｒを算出する。
2009093294.tif 000003
また、Ｄｒについても上記Ｄｂと同様にして求める。上記式に基づいてＤｂ、Ｄｒを算出すると、Ｄｂ、Ｄｒがそれぞれ［−４，＋４］の範囲の値を取る信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする色信号特徴画像を導出できる。ここでは、Ｃｂ、Ｃｒの定義域端から５の領域は定義域外からのクリッピングによって使用される値域と仮定しており、Ｄｂ、Ｄｒは色域圧縮量に相当する。【００６７】
（ｃ）特徴画像信号に基づいて、色信号調整量辞書２２からクリッピング前の画像を復元するための色信号調整量を得る（Ｓ６３）。この色信号調整量辞書２２には、特徴画像信号とクリッピング前の画像を復元するための関数ｇ値を各ピクセルの値とする色信号補正値画像とが関連付けて記録されている。ここで、色信号特徴画像は上記信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素としている。また、上記信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を検索キーとして色信号補正画像を得ることができる。色信号特徴画像と色信号補正画像には、元画像の一部に適当な窓掛けをして作成したものを使用し、窓位置をずらしながら各ピクセルの色信号調整量を求めることができる。
（ｄ）各ピクセルにおける第１の色信号を色信号調整量によって調整して、第２の色信号を得る（Ｓ６４）。
（ｅ）第２の色信号から、第３の色空間で定義される第３の色信号へ色空間を変換する（Ｓ６５）。
（ｆ）第３の色信号を用いた画像信号を出力する（Ｓ６６）。【００６８】
図２２は、色信号調整値辞書学習装置３０の構成を示すブロック図である。この色信号調整値辞書学習装置３０は、ｘｖＹＣＣ変換部３１と、特徴抽出部３２と、学習部３３とを備える。ｘｖＹＣＣ変換部３１は、ＡｄｏｂｅＲＧＢ画像信号からｘｖＹＣＣ画像信号への変換を行うと共に、クリッピング時のＹＣｂＣｒ差分値を算出する。特徴抽出部２１は、ｘｖＹＣＣ画像信号から、その定義域の端部からの信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする特徴画像信号を抽出する。学習部３３は、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とを色信号調整量辞書２２に関連付けて記録する。【００６９】
図２３は、色信号調整値辞書２２の学習方法をコンピュータで実行させる学習プログラムのフローチャートである。
（ａ）ＡｄｏｂｅＲＧＢ画像信号をｘｖＹＣＣ画像信号に変換すると共に、クリッピング時の差分を算出する（Ｓ７１）。
（ｂ）クリッピング後の画像信号から色空間の定義域の端部からの信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする特徴画像信号を抽出する（Ｓ７２）。
（ｃ）特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて学習する（Ｓ７３）。
（ｄ）特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて色信号調整量辞書２２に保存する（Ｓ７４）。
【産業上の利用可能性】
【００７０】
本発明に係る画像信号処理装置及び画像信号処理プログラムは、クリッピングされた可能性のある色信号を含む画像信号の入力を受けた場合にも、クリッピングを考慮しながら出力デバイスのガマット全体を有効に利用できる。そこで、画像信号の定義域を超える色域を持つ画像出力装置として利用できる。
【図１】
2009093294.tif 000004
【図２】
2009093294.tif 000005
【図３】
2009093294.tif 000006
【図４】
2009093294.tif 000007
【図５】
2009093294.tif 000008
【図６】
2009093294.tif 000009
【図７】
2009093294.tif 000010
【図８Ａ】
2009093294.tif 000011
【図８Ｂ】
2009093294.tif 000012
【図９Ａ】
2009093294.tif 000013
【図９Ｂ】
2009093294.tif 000014
【図９Ｃ】
2009093294.tif 000015
【図９Ｄ】
2009093294.tif 000016
【図１０】
2009093294.tif 000017
【図１１】
2009093294.tif 000018
【図１２Ａ】
2009093294.tif 000019
【図１２Ｂ】
2009093294.tif 000020
【図１３】
2009093294.tif 000021
【図１４】
2009093294.tif 000022
【図１５】
2009093294.tif 000023
【図１６】
2009093294.tif 000024
【図１７】
2009093294.tif 000025
【図１８】
2009093294.tif 000026
【図１９】
2009093294.tif 000027
【図２０】
2009093294.tif 000028
【図２１】
2009093294.tif 000029
【図２２】
2009093294.tif 000030
【図２３】
2009093294.tif 000031
【手続補正書】
【提出日】平成22年7月8日(2010.7.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、日本国に２００８年１月２４日に出願した特願２００８−１３７４６号の日本特許出願を優先権主張の基礎とするものであり、これらの日本特許出願の内容は、本願明細書の一部をなすものとしてここに挙げておく。
【０００２】
本発明は、画像信号処理装置及び画像映像信号処理プログラムに関する。特に、画像信号の定義域を超える色域を持つ画像出力装置において、画像信号の記録過程における信号のクリッピング等による色の変化を補償し、画像出力装置の広い色域を有効に利用するための画像信号処理装置及び画像信号処理プログラムに関する。
【背景技術】
【０００３】
従来、カメラとディスプレイ、ディスプレイとプリンタ等、異なる画像入出力処理装置の間で色再現性を確保するために、ｓＲＧＢやｓＹＣＣ等の標準色空間を基準とする方法が広く用いられている。
【０００４】
また、近年、カメラやスキャナ等の入力デバイス及びディスプレイやプリンタ等の出力デバイスの双方において、ｓＲＧＢ、ｓＹＣＣを超える色域を扱えるものが存在する。そのようなデバイスの広い色域を有効に活用しつつ、従来用いられていたｓＲＧＢ、ｓＹＣＣ信号との互換性も確保する方法が提案されている（例えば、特許文献１参照。）。
【０００５】
この特許文献１において提案された方法では、ｓＹＣＣと同一の色度座標を持つ３原色をプライマリに用いた上でγカーブをｓＹＣＣ規格から拡張し、ｓＹＣＣ規格では未使用だったＣｂ、Ｃｒの値域を使用することで、従来のｓＹＣＣ規格の上位互換となるような広色域の色信号を伝達する。
【０００６】
また、プリンタの分野では、ディスプレイ上に表示されたカラー画像のＲＧＢ値をＣＭＹＫ等のインク量に変換して印刷する。この場合に一般的に、当該ディスプレイと当該プリンタが共通に扱える色域は正確に再現しつつ、両者の色域が重ならない部分については適切なマッピングが行われている。例えば、プリンタの色域を超えるＲＧＢ信号が入力された場合は、Ｌ＊ａ＊ｂ＊色空間内で当該プリンタの色域表面上の最も近い点に写像することで、ディスプレイ上の表示色とプリンタからの出力色の相違が最小になるような色変換処理を行っている（例えば、特許文献２参照）。
【０００７】
逆に、ディスプレイの色域がプリンタの色域よりも狭い場合に関しては、例えば、入力色信号の色相を維持したまま、ディスプレイの色域を超えない範囲で輝度・彩度を線形に拡張することで、当該ディスプレイの色域を有効に使用した広色域表示を行う方法が開示されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３８００４２７号公報
【特許文献２】特開２００６−３３２４６号公報
【特許文献３】特開２００３−１５３０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の方法では色信号の変換を全ピクセル共通の処理によって行っていたため、ピクセル毎の誤差は最小になっても、空間方向の特徴が潰されて不自然な画像となることがあった。
【００１０】
例えば、ＡｄｏｂｅＲＧＢの色域を特許文献１に記載の方法でＹ、Ｃｂ、Ｃｒの信号に変換すると、飽和度の高い赤・緑・シアンは色差信号の定義域に収まらない（図１）。このような場合、特許文献１に記載の方法では元の色信号の彩度を低下させて色差信号の定義域内に収めたり、色差信号を単純にクリッピングする。しかし、上記方法では、同一色相・同一輝度で、彩度のみが異なり、且つ、色差信号の定義域外となるようなグラデーションは、変換後に単一の色のベタ塗りとなるという不具合を生じる。例えば、図２のように中心に向かって彩度が大きくなるグラデーションされた領域は、図３に示すように定義域外となる領域全体にわたってベタ塗りにクリッピングされてしまう。また、特許文献２に代表される色域表面への写像処理にも同様の問題がある。
【００１１】
また、このような色域の圧縮処理によって何等かの信号定義域表面もしくは色域表面への写像が行われた場合、特許文献３に代表される従来の色域拡張の手法では、単一色のベタ塗りから元のグラデーションのような空間方向の特徴を復元することはできず、出力デバイスの色域表面の色を用いたベタ塗りへの変換が行われるだけである。例えば、図３の（ｂ）の例では、定義域外となってベタ塗りとされた領域について色域拡張を行う場合には、図４の（ｃ）に示す元のグラデーションを復元することはできず、図４の（ｂ）に示すように、全体として均一値を付加するだけである。特に、自然画の表示において、このようなベタ塗り部分が生じることは主観的な画質に対する悪影響が大きい。
【００１２】
このような不具合を軽減するため、単純なクリッピングではなく、信号定義域もしくは色域表面近くのある一定の範囲の値に色域を圧縮するという方法もある。しかし、この方法では圧縮先の値の範囲をある程度大きく取らないと効果が認められず、一方で圧縮先の値の範囲を大きく取るほどにそのような色域圧縮処理を仮定しないデバイスとの間で色再現性が損なわれるという問題がある。
【００１３】
例えば、図５に示すように、ＡｄｏｂｅＲＧＢの色域を特許文献１に記載の方法でＹ、Ｃｂ、Ｃｒの信号に変換するについて説明する。この場合、色差信号の定義域表面から内部に４の幅（領域２０２）を設けて色域の圧縮を行うと、（領域２０１）の色を用いたグラデーションは、（領域２０２）に圧縮される。このため、Ｃｒに関して高々４値に量子化されてしまうので、偽輪郭を発生させる原因となる。圧縮先の値の幅（領域２０２）を大きく持たせればこの問題は解決するものの、このような処理を仮定しない表示デバイスで表示させた場合には色再現性が損なわれる領域が拡大するという問題が生じる。
【００１４】
そこで、本発明の目的は、クリッピングされた可能性のある色信号を含む画像信号の入力を受けた場合にも、クリッピングを考慮しながら出力デバイスのガマット全体を有効に利用できる画像信号処理装置及び画像信号処理プログラムを提供することである。
【課題を解決するための手段】
【００１５】
以上の問題を解決するため、本発明に係る画像信号処理装置は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
第１の色信号が、前記第１の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。
【００１６】
また、前記第１の色信号を用いた画像信号は、前記第１の色信号が定義される色空間とは異なる色空間で定義された色信号から色空間の変換を受け、前記第１の色信号が定義された色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされている。
【００１７】
さらに、前記第１の色信号へ変換する前の前記異なる色空間は、ＡｄｏｂｅＲＧＢ、ｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ、ＤＣＩ標準、ＮＴＳＣなどのほか、特定の撮像装置の原色色度座標に基づくＲＡＷ  ＲＧＢ等であってもよい。
【００１８】
前記画像信号入力部は、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けることとしてもよい。この場合、前記調整量決定部は、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定してもよい。
【００１９】
前記色信号調整部は、処理対象の領域内がなめらかすぎるグラデーションにならないように、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行ってもよい。
【００２０】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される前記第３の色信号へ色空間を変換する色空間変換部をさらに備えてもよい。この場合、前記調整量決定部は、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、前記色信号調整部は、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第２の色信号を得ると共に、前記画像信号出力部は、前記第２の色信号を出力してもよい。
【００２１】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換部をさらに備えてもよい。この場合、前記画像信号出力部は、前記第３の色信号を用いた画像信号を出力することとしてもよい。
【００２２】
なお、前記第１の色空間はｘｖＹＣＣであって、前記第３の色空間はＲＧＢであってもよい。
【００２３】
本発明に係る画像信号処理装置の別構成は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。
【００２４】
本発明に係る画像信号処理方法は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第１の色信号が、前記第１の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。
【００２５】
また、前記第１の色信号を用いた画像信号は、前記第１の色空間とは異なる色空間で定義された色信号から変換を受け、前記第１の色信号を定義する色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされている。
【００２６】
さらに、前記画像信号入力ステップは、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することとしてもよい。
【００２７】
前記色信号調整ステップは、処理対象の領域内がなめらかすぎるグラデーションにならないよう、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行ってもよい。
【００２８】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含んでもよい。この場合に、前記調整量決定ステップは、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、前記色信号調整ステップは、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第３の色信号を得ると共に、前記画像信号出力ステップは、前記第３の色信号を出力することとしてもよい。
【００２９】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含んでもよい。この場合に、前記画像信号出力ステップは、前記第３の色信号を用いた画像信号を出力してもよい。
【００３０】
本発明に係る画像信号処理プログラムの別構成は、第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。
【発明の効果】
【００３１】
本発明に係る画像信号処理装置及び画像信号処理プログラムによれば、クリッピングを受けた可能性のある色信号を用いた画像信号を受け取った場合でも、色忠実再現性をほとんど保ったままで、クリッピングを考慮しながらディスプレイのガマット全体を有効に利用できる。
【００３２】
本発明に係る画像信号処理装置及び画像信号処理プログラムは、例えば、単純なクリッピングもしくはごく狭い値の範囲への色域圧縮を仮定する。まず、入力信号の色域の定義域もしくは特定の色域表面付近の色のみが連続する領域を検知する。検知された当該領域の外部及び輪郭部の色は保持した上で、当該領域内部では当該領域輪郭部からの距離が離れるほど出力デバイスの色域表面の色に近付くように色変換を行う。これによって、クリッピング等による不自然な色表現を解消することができる。
【図面の簡単な説明】
【００３３】
【図１】ＹＣｒ平面上で複数の色空間の定義域を比較した概略図である。
【図２】（ａ）は、ＡｄｏｂｅＲＧＢ色域を用いた中心に向かってグラデーションを有する画像の例であり、（ｂ）は、（ａ）の中心に向かってｘｖＹＣＣ色空間におけるＣｒの定義域を超える程度を示す概略図である。
【図３】（ａ）は、図２（ａ）をＡｄｏｂｅＲＧＢ色域からｘｖＹＣＣ色空間へと変換した画像の概略図であり、（ｂ）は図２（ｂ）に対応し、Ｃｒ値がｘｖＹＣＣ定義域内へとクリッピングされた様子を示す概略図である。
【図４】（ａ）は、図３（ａ）のクリッピングを受けた領域について従来方法による補正を行った場合の概略図であり、（ｂ）は、従来方法でのＣｒ値の一律補正を示す概略図であり、（ｃ）は、クリッピング前のＣｒ値を示す概略図である。
【図５】ＡｄｏｂｅＲＧＢ色域をｘｖＹＣＣ色空間内へと色域圧縮する概略図である。
【図６】本発明の実施の形態１に係る画像信号処理装置の構成を示すブロック図である。
【図７】本発明の実施の形態１に係る画像信号処理プログラムのフローチャートである。
【図８Ａ】図７の画像信号処理プログラムのより詳細なフローチャートである。
【図８Ｂ】図８Ａのフローチャートの続きのフローチャートである。
【図９Ａ】画像バッファメモリ内の各ピクセルに対する距離パラメータの例を示す概略図である。
【図９Ｂ】距離パラメータ更新ループを１回回した結果を示す概略図である。
【図９Ｃ】距離パラメータ更新ループを２回回した結果を示す概略図である。
【図９Ｄ】距離パラメータ更新ループを３回回した結果を示す概略図である。
【図１０】距離パラメータと色信号調整量との関数ｆの一例を示す概略図である。
【図１１】入力色信号であるｘｖＹＣＣ色空間の定義域とｓＲＧＢ色域及び出力デバイスの色域との関係を示す概略図である。
【図１２Ａ】ピクセルごとのクリップフラグを示す概略図である。
【図１２Ｂ】図１２Ａの座標（６，Ｖ）のクリップフラグが１のピクセルからクリップフラグが０のピクセルまでの距離を示す概略図である。
【図１３】画像の中心に向かってグラデーションを有しない場合に、従来方法での補正では誤った色補正が行われる例を示す概略図である。
【図１４】距離パラメータと色信号調整量との関数ｆの別例を示す概略図である。
【図１５】本発明の実施の形態２に係る画像信号処理装置の構成を示すブロック図である。
【図１６】本発明の実施の形態２に係る画像信号処理プログラムのフローチャートである。
【図１７】本発明の実施の形態３に係る画像信号処理装置の構成を示すブロック図である。
【図１８】本発明の実施の形態３に係る画像信号処理プログラムのフローチャートである。
【図１９】図１８の色信号調整量を決定するステップＳ４２の詳細を示すフローチャートである。
【図２０】本発明の実施の形態５に係る画像信号処理装置の構成を示すブロック図である。
【図２１】本発明の実施の形態５に係る画像信号処理プログラムのフローチャートである。
【図２２】色信号調整量辞書の学習装置の構成を示すブロック図である。
【図２３】色信号調整量辞書の学習プログラムのフローチャートである。
【発明を実施するための形態】
【００３４】
本発明の実施の形態に係る画像信号処理装置及び画像信号処理プログラムについて、添付図面を用いて以下に説明する。なお、図面において実質的に同一の部材には同一の符号を付している。
【００３５】
（実施の形態１）
図６は、本発明の実施の形態１に係る画像信号処理装置１０の構成を示すブロック図である。この画像信号処理装置１０は、画像信号入力部１１と、画像バッファメモリ１２と、クリップ判定部１３と、距離計算部１４と、調整量決定部１５と、色信号調整部１６と、画像信号出力部１７と、色空間変換部１８とを備える。画像信号入力部１１は、デジタルカメラ等における広色域色信号（例えば、図１に示すＡｄｏｂｅＲＧＢ信号等）からクリッピング等の色域圧縮処理を介して色空間変換されたｘｖＹＣＣ信号を受け付ける。画像バッファメモリ１２は、静止画像データを保持する。また、クリップ判定部１３は、画像信号入力部１１に入力されたｘｖＹＣＣ色信号がｘｖＹＣＣ色域の定義域端か、もしくはＡｄｏｂｅＲＧＢ色域の定義域端の近傍色であるかどうかを判定する。この場合、ｘｖＹＣＣ色域の定義域端の近傍色はＡｄｏｂｅＲＧＢからｘｖＹＣＣへの変換によりクリッピングを受けた可能性があり、ＡｄｏｂｅＲＧＢ色域端の近傍色は撮像装置のＲＡＷ  ＲＧＢ等からＡｄｏｂｅＲＧＢへの変換によりクリッピングを受けた可能性があると判定され、色域拡大処理の対象となる。距離計算部１４は、クリップ判定部１３によりｘｖＹＣＣ色域の定義域端もしくはＡｄｏｂｅＲＧＢ色域の定義域端の近傍色であると判定されたピクセルに対して、同じくクリップ判定部１３によって、ｘｖＹＣＣ色域の定義域もしくはＡｄｏｂｅＲＧＢ色域の定義端近傍色ではないと判定された最近傍ピクセルとの距離を計算する。調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいてｘｖＹＣＣ色信号の色信号調整量を決定する。さらに、色信号調整部１６は、色信号調整量によってｘｖＹＣＣ色信号を調整して、調整後のｘｖＹＣＣ色信号を得る。この場合に、その後のＲＧＢ色信号への変換後に定義域を外れないよう、すなわちディスプレイで表示不可能な色にならないような色信号調整量とする。また、色信号調整部１６は、調整量決定部１５の出力に基づいて、ｘｖＹＣＣ色信号を調整する。色空間変換部１８は、ｘｖＹＣＣ色信号から色空間の変換を行ってディスプレイで表示するＲＧＢ色信号に変換する。画像信号出力部１７は、得られたＲＧＢ色信号を出力する。
【００３６】
なお、ｘｖＹＣＣ色信号とは、特許第３８００４２７号公報に基づくＹＣｂＣｒ信号値に対応する。図１に示されるように、ｓＹＣＣ色空間とｘｖＹＣＣ色空間とはいずれもＹＣｂＣｒ信号値によって表されるものである。さらに、ｘｖＹＣＣ色空間は、Ｃｂ値及びＣｒ値についてｓＹＣＣ色空間を拡張したものである。また、広色域のＡｄｏｂｅＲＧＢ色空間は、ｓＹＣＣやｘｖＹＣＣ等とは異なるパラメータによって規定される。そのため、ＡｄｏｂｅＲＧＢの色域をＣｒ−Ｙ平面に表した場合には、図１に示すようにｓＹＣＣ色域及びｘｖＹＣＣ色域のいずれにも収まらず、ｓＲＧＢ色域とも一致しない。
【００３７】
図７は、本発明の実施の形態１に係るコンピュータで実行させる画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ｘｖＹＣＣ色信号）を用いた画像信号を受け取る（Ｓ０１）。
（ｂ）第１の色信号（ｘｖＹＣＣ色信号）が、色空間（ｘｖＹＣＣ色空間）の定義域の端部又は特定の色域端部の近傍色であるか否かを判定する（Ｓ０２）。
（ｃ）色空間の定義域の端部、及び、特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する（Ｓ０３）。
（ｄ）最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第１の色信号に対する色信号調整量を決定する（Ｓ０４）。
（ｅ）各ピクセルにおける第１の色信号を色信号調整量によって調整して、第２の色信号を得る（Ｓ０５）。
（ｆ）第２の色信号から、第３の色空間で定義される第３の色信号へ色空間を変換する（Ｓ０６）。
（ｇ）第３の色信号を用いた画像信号を出力する（Ｓ０７）。
【００３８】
図８Ａ及び図８Ｂは、図７の画像信号処理プログラムのより詳細なフローチャートである。以下にこの詳細なフローチャートについて説明する。
（ａ）まず、受け付けたｘｖＹＣＣ入力色信号を１画面分全て画像バッファメモリ１２に格納する（Ｓ１１）。これによって、１画面分のｘｖＹＣＣ色信号の格納が完了する。
（ｂ）次に、全ての画素（ピクセル）に対して（Ｓ１２）、クリップ判定部１３によるクリップ判定を行って（Ｓ１３）、クリッピングを受けた可能性のある画素にクリップフラグを立て（例えば１）、画素の距離パラメータを−１にセットする（Ｓ１４）。一方、クリッピングを受けた可能性の無い画素についてはクリップフラグを０にし、画素の距離パラメータを０にセットする（Ｓ１５）。
（ｃ）全ての画素についてクリップ判定の処理が完了したら、Ｓ１７のループからの脱出判定用のフラグを１にセットする（Ｓ１６）。この時点での、画像バッファメモリ１２内の各ピクセルに対する距離パラメータの例を図９Ａに示す。クリッピングを受けた可能性のあるピクセルの距離パラメータ値は−１、それ以外のピクセルの距離パラメータ値は０である。距離パラメータ値−１のピクセルには、見やすいように丸印を付けてある。
【００３９】
（ｄ）Ｓ１７のループは、距離計算部１４で行われる処理に相当する。全ての画素について（Ｓ１７）、まず画素のクリップフラグをチェックする（Ｓ１８）。
（ｅ）クリップフラグが立っていれば画素の距離パラメータが既に更新されて０より大きくなっているかどうかを調べる（Ｓ１９）。
（ｆ）距離パラメータが未更新（−１）である場合には、該当画素に隣接する最大８画素に距離パラメータ値が０以上のものがあるかどうかを調べる（Ｓ２０）。
（ｇ）距離パラメータ値が０以上のものがある場合には、隣接画素のうち距離パラメータ値が０以上かつ最小のものに１を足した値を当該画素の距離パラメータとする（Ｓ２１）。
（ｈ）一方、距離パラメータ値が０以上のものが無ければループ脱出フラグを０にリセットする（Ｓ２２）操作を繰り返す。
（ｉ）全ての画素について処理が完了した後、もしループ脱出フラグが立っていなければ（Ｓ２３）、Ｓ１６に戻りＳ１７からのループを繰り返す。
一方、ループ脱出フラグが立っていた場合には、Ｓ１７のループを脱出して次のＳ２４のループに入る。Ｓ１７のループを脱出した時点での距離パラメータは、クリッピングを受けた可能性のある領域の境界までの距離に対応する。
このループを１回回した結果を図９Ｂに示す。距離パラメータ値０のピクセルに隣接するピクセルの距離パラメータ値が１に更新されている。さらにループを２回、３回と回した結果が図９Ｃ、図９Ｄである。図９Ｄの状態からさらにもう１度ループを回すと、距離パラメータ値＝−１のピクセルが無いため、ループ脱出フラグが１のままＳ２３に到達し、Ｓ１７のループを脱出する。
【００４０】
（ｊ）Ｓ２４のループは、調整量決定部１５及び色信号調整部１６に相当する処理を各画素について行う処理に対応する。
（ｋ）まず画素のクリップフラグをチェックする（Ｓ２５）。クリップフラグに１が立っていれば、当該画素の距離パラメータを引数とする関数によって、色信号調整量を決定する（Ｓ２６）。ここで用いる関数としては、例えば図１０に示される関数ｆを用いることができる。この関数は［０，１］∈Ｒの定義域を持ち、距離パラメータ値ｄが０付近では色信号調整量の増加が少ない。一方、距離パラメータ値ｄがある程度大きくなると色信号調整量は１に近付き、その後飽和する。この関数ｆでは、距離パラメータ値ｄについて色信号調整量は単調増加するという特性を持つ。このような関数ｆを用いることで、クリッピングを受けた領域外周のピクセルや、領域外周からある程度以上内側のピクセルでは周辺ピクセルとの色差を低く抑えるような変換を行うことができる。
【００４１】
（ｌ）次に、Ｓ２６で算出された色信号調整量を用いて、画素の色信号を調整する（Ｓ２７）。例えば図１１に示されるように、入力色信号のＹＣｂＣｒ座標がｘｖＹＣＣ信号定義域のＣｂ軸の下側の端にある場合について説明する。この座標から出力デバイスの色域の定義端までΔＣｂ（＜０）の色差があるとすると、調整後のＣｂ値は、例えば下記の関数ｇを用いて得られる。
ｇ（Ｃｂ、ΔＣｂ、ｄ）＝Ｃｂ＋ΔＣｂ×ｆ（ｄ）
この関数ｇでは、Ｓ２６のステップで算出された色信号調整量ｆ（ｄ）で重み付けされたΔＣｂを元の入力色信号のＣｂに加算することで調整が行われる。なお、ここではｆ（ｄ）は１を超えないので、この方法によれば調整後の色信号値はｄが大きいほど出力デバイスの色域表面に近付く。同様の調整がＣｒについても行われる。このようにして調整されたＹＣｂＣｒ色信号は、ｘｖＹＣＣ色信号の定義域を超える値を持ち得る。
【００４２】
（ｍ）各画素について以上の方法で色信号の調整が完了した後に、調整されたｘｖＹＣＣ値からディスプレイの持つ原色ＲＧＢ値への変換が行われる（Ｓ２８）。この色空間の変換は、例えば、各画素のｘｖＹＣＣ値を特許第３８００４２７号公報に開示される方法に従って、一旦、ｓＲＧＢ色空間に写像し、ＸＹＺ色空間を介してディスプレイの原色ＲＧＢ値まで変換を行ってもよい。また、これと等価な他の方法を用いても良く、あるいは全ての計算をあらかじめ算出したルックアップテーブルの参照によって簡略化するなどしてもよい。
以上の方法によって、入力画像データ内からｘｖＹＣＣ信号定義域の端に近い色が連続する領域を見つけ、領域の内側ほどｘｖＹＣＣ信号定義域の外側へと色域を拡大して表示する処理が可能になる。
【００４３】
（実施の形態１の変形例１）
上記実施の形態１の距離計算部１４において行う距離計算は、信号定義域端の色が連続する領域の外周から領域内部に向かって幅優先探索で折れ線距離の最小値を更新していくという簡易的なものである。そこで、十分なリソースが確保できる場合、各領域内部の全ピクセルに対して領域外周部の全ピクセルとのユークリッド距離の最小値を求めるようにすれば、より正確な距離が求めることができる。
【００４４】
もしくは、各領域内部の全ピクセルで、当該ピクセルから何方向かを探索して領域外周ピクセルまでの距離を求め、その最小値を各ピクセルの距離パラメータとしてもよい。例えば、図１２Ａは、クリッピングされたピクセルをクリップフラグ１を有し、クリッピングされていないピクセルを０で表している。（０）で示されるピクセルは、クリッピングされたピクセルに隣接する、クリッピングされていないピクセルの連続する領域の最外周ピクセルである。図１２Ｂは、座標（６，Ｖ）のクリッピングを受けたピクセルから８方向への、クリッピングを受けていないピクセルまでの距離をカウントする処理を示す概略図である。図１２Ｂの例では、座標（６，Ｖ）のピクセルから距離パラメータ＝０としてスタートし、各方向に対し距離パラメータを１ずつインクリメントしながら（０）のピクセルもしくは画像の外周に当たるまで探索する処理を行っている。座標（６、Ｖ）における距離パラメータは８方向についてそれぞれ求めた距離パラメータの最小値とすればよく、この場合は０となる。なお、色信号調整量を求める関数ｇが引数の距離パラメータに対してある一定値以上で変化量が十分小さくなるようであれば、その値を探索打ち切りの閾値として用いてもよい。
【００４５】
また、上記の各例では、各ピクセルが持つ距離パラメータは１つだけであり、領域内のピクセルは領域外の最近傍ピクセルのみを用いて色信号調整量を決定していた。しかし、各ピクセルから複数方向に最近傍ピクセルの探索を行う場合は、発見された全ての方向の最近傍ピクセルへの距離を用いて色信号調整量を決定してもよい。例えば、全方向について、一旦、色信号調整量を計算した上でそれらの最大・最小・平均・中央値等を採ったり、全方向の距離の平均値や中央値等を用いて色信号調整量を求めてもよい。
【００４６】
また、上記実施の形態１において、入力されるｘｖＹＣＣ色信号の作成段階で本発明の方法による色域拡大処理を期待した前処理が行える場合には、色信号調整結果の元画像に対する誤差が最小となるような関数ｆ、ｇの種類やパラメータの情報を画像内に埋め込んだり、メタ情報として付加しておいてもよい。画像信号から上記メタ情報を抽出することによって、色域拡大処理を行わないデバイスでの色再現性を保った上で、最適な色域拡大を行うことができる。これによって、色域拡大処理の結果が誤差最小の観点から常に最適であることを保証できる。
【００４７】
例えば、図１３の（ａ）及び（ｂ）に示すように、中心部分は定義域内の色信号であるが、その周辺が定義域外となっており、中心とその周辺の境界で色信号が不連続となっている例について説明する。この例では、図１３の（ｂ）についてクリッピングを受けると、円の周辺部分について定義域端の色信号となる。この場合、境界からの距離に応じて色信号調整量が増えるように調整を行うと境界付近で色信号が連続となるような調整となるため、図１３（ｃ）のように中心の円の周辺において（ｂ）の元のグラデーションとは逆の調整が行われてしまう。これに対して、上記変形例では、メタ情報で色信号調整量の最適な決定方法を規定しておくことができるので、図１３の（ａ）及び（ｂ）に対応するような、境界からの距離に応じ調整量が減少する関数をｆ、ｇに指定することで元画像信号の再現が可能となる。
【００４８】
また、画像バッファメモリ１２として十分な容量が確保できない場合や、最近傍ピクセルの探索に十分なリソースを割り当てられない場合は、画像バッファメモリ１２のサイズを画像の横１ライン分のみに抑える方法を採用してもよい。この場合、距離計算は横方向のみに対して行う。
【００４９】
また、画像バッファメモリ１２の代わりに領域端からの距離を現すカウンタを設けて使用してもよい。この場合、距離のカウントは例えば領域の左端から右方向に行うことしかできない。特に領域の右端付近で色信号調整量が不自然に大きくなってしまう可能性があるが、入力画像の作成段階であらかじめ適切な関数ｆ、ｇやパラメータを算出しておくことによって、悪影響をある程度抑えることができる。例えば、関数ｆとして、図１４に示す別例の関数を選択して、パラメータａ、ｂを適切に定めておくことで、一方向からの距離計算のみでも色域拡大の効果を簡易的に得ることができる。即ち、もしａ＋ｂ＋ａが画面全体に渡って領域の横幅と一致するようにパラメータを定めることができれば、実質的に１ライン分の画像バッファメモリを持っているのと同じ効果を得ることができる。
【００５０】
（実施の形態１の変形例２）
上記実施の形態１では、色信号調整量は各ピクセルの距離パラメータに対してなめらかに単調増加する関数を用いている。この方法では、例えば信号定義域端の色によるベタ塗りの領域があった場合、調整後の領域は領域内部に向かうなめらかなグラデーションとなる。なめらかなグラデーションが不自然に見える場合は、調整後の領域にノイズを加える回路を追加してもよい。あるいは、調整量決定部１５で用いられる距離パラメータｄと色信号調整量との関数ｆにノイズを加えた上で使用してもよい。なお、ノイズパターンは、例えば経験則に基づくものを作成して加えてもよく、あるいは、入力信号の作成に用いられた撮像デバイスの暗電流ノイズパターンをテンプレートとして重畳してもよい。
【００５１】
（実施の形態２）
図１５は、本発明の実施の形態２に係る画像信号処理装置１０ａの構成を示すブロック図である。この画像信号処理装置１０ａは、実施の形態１に係る画像信号処理装置と比較すると、色空間変換部１８を画像バッファメモリ１２と色信号調整部１６との間に備える点で相違する。すなわち、実施の形態１ではｘｖＹＣＣ色信号をＲＧＢ色信号に変換する前のｘｖＹＣＣ色信号について調整を行っていた。一方、この実施の形態２では、ｘｖＹＣＣ色信号からＲＧＢ色信号に変換後のＲＧＢ色空間内で色調整を行う点で相違する。また、この画像信号処理装置１０ａでは、ＡｄｏｂｅＲＧＢ色信号から所定の色空間の変換を受けたｘｖＹＣＣ色信号が入力され、クリッピングを受けた可能性のあるピクセルを判定し、そのピクセルのｘｖＹＣＣ色信号について色信号調整量を算出して、ｘｖＹＣＣ信号定義域を一部で超えるような広色域ディスプレイの原色ＲＧＢ値へと変換する。この画像信号処理装置１０ａでは、ディスプレイの持つＲＧＢ色域がｘｖＹＣＣ信号定義域外まで拡がっているので、その拡がっている色域の部分を利用してクリッピングの補償を行うことを特徴とする。
【００５２】
そのため、調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいて、変換後のディスプレイ原色ＲＧＢ色信号の色信号調整量を決定する。色信号調整部１６は、調整量決定部１５の出力に基づいて、ＲＧＢ色信号を調整する。画像信号出力部１７は、調整後のＲＧＢ色信号を出力する。
【００５３】
なお、上記画像信号処理装置では、実施の形態１におけるＹＣｂＣｒ色空間内の調整と異なり、「輝度を一定にして彩度を下げる」という調整はやりにくくなる。その一方で、出力デバイスの色域を超えたかどうかの判定は、ＲＧＢ値のオーバフロー／アンダーフロー判定のみで行うことができる。
【００５４】
図１６は、本発明の実施の形態２に係るコンピュータで実行させる画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ｘｖＹＣＣ色信号）を用いた画像信号を受け取る（Ｓ３１）。
（ｂ）第１の色信号（ｘｖＹＣＣ色信号）が、色空間の定義域の端部（ｘｖＹＣＣ色域の定義域端）又は特定の色域端の近傍色（ＡｄｏｂｅＲＧＢ色域の定義域端の近傍色）であるか否かを判定する（Ｓ３２）。
（ｃ）色空間の定義域の端部、及び、特定の色域端の近傍色（ＡｄｏｂｅＲＧＢ色域端の近傍色）のいずれでもないと判定される最近傍ピクセルまでの距離を算出する（Ｓ３３）。
（ｄ）第１の色空間で定義される第１の色信号（ｘｖＹＣＣ色信号）から、第３の色空間で定義される第３の色信号（ＲＧＢ色信号）へ色空間を変換する（Ｓ３４）。
（ｅ）最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第３の色信号（ＲＧＢ色信号）に対する色信号調整量を決定する（Ｓ３５）。
（ｆ）各ピクセルにおける第３の色信号（ＲＧＢ色信号）を色信号調整量によって調整して、第２の色信号（ＲＧＢ色信号）を得る（Ｓ３６）。
（ｇ）第２の色信号（ＲＧＢ色信号）を用いた画像信号を出力する（Ｓ３７）
【００５５】
（実施の形態３）
図１７は、本発明の実施の形態３に係る画像信号処理装置１０ｂの構成を示すブロック図である。この画像信号処理装置１０ｂは、実施の形態１及び２に係る画像信号処理装置と比較すると、色空間変換部を有しない点で相違する。また、ＡｄｏｂｅＲＧＢ信号からクリッピング等の色域圧縮処理を介して色空間変換されたｓＹＣＣ信号を受け付ける点においても相違する。
【００５６】
この画像信号処理装置１０ｂは、画像信号入力部１１と、画像バッファメモリ１２と、クリップ判定部１３と、距離計算部１４と、調整量決定部１５と、色信号調整部１６と、画像信号出力部１７とを備える。画像信号入力部１１は、デジタルカメラ等における広色域色信号（例えば、図１に示すＡｄｏｂｅＲＧＢ信号等）からクリッピング等の色域圧縮処理を介して色空間変換されたｓＹＣＣ信号を受け付ける。ここでは仮に、ｓＲＧＢ色域へのクリッピングが行われているものと仮定する。画像バッファメモリ１２は、静止画像データを保持する。また、クリップ判定部１３は、画像信号入力部１１に入力されたｓＹＣＣ色信号がｓＲＧＢ色域端の近傍色であるかどうかを判定し、ｓＲＧＢ色域端の近傍色である場合には、ＡｄｏｂｅＲＧＢ等の広色域色空間からｓＲＧＢ色域への変換が行われた際にクリッピングを受けた可能性があると解釈する。距離計算部１４は、クリップ判定部１３によりｓＲＧＢ色域端の近傍色であると判定されたピクセルに対して、同じくクリップ判定部１３によって、ｓＲＧＢ色域端の近傍色ではないと判定された最近傍ピクセルとの距離を計算する。調整量決定部１５は、クリップ判定部１３及び距離計算部１４の出力に基づいてｓＹＣＣ色信号の色信号調整量を決定する。さらに、色信号調整部１６は、調整量決定部１５の出力に基づいてｓＹＣＣ色信号を調整して、ｘｖＹＣＣ色信号を得る。画像信号出力部１７は、得られたｘｖＹＣＣ色信号を出力する。
【００５７】
ここで、クリップ判定部１３と、距離計算部１４と、調整量決定部１５とによって色信号調整量算出部２０を構成する。この色信号調整量算出部２０では、クリッピングを受けた可能性のあるピクセルを判定し、クリッピングを受けていないと判定されたピクセルまでのピクセル距離、すなわち距離パラメータを計算して、その距離パラメータに基づいて色信号調整量を決定する。
【００５８】
この画像信号処理装置１０ｂでは、入力画像信号としてｓＲＧＢ色域にクリッピング済のｓＹＣＣ信号を受け取り、クリッピングを受けた可能性のあるピクセルを特定し、各ピクセルに対する色信号調整量を算出する。その後、色信号調整量に基づいて各ピクセルのｓＹＣＣ信号におけるＣｒ値、Ｃｂ値を調整し、ｘｖＹＣＣ信号を得て出力する。この画像信号処理装置１０ｂでは、ｓＹＣＣ信号からｘｖＹＣＣ信号に色域拡大して、ｘｖＹＣＣ信号として出力する。即ち、ｓＹＣＣでオーサリングされた映像ソースを、広色域ディスプレイ向けに色域拡大するコンバータとして応用することができる。
【００５９】
上記の例では入力ｓＹＣＣ信号がｓＲＧＢ色域にクリッピングされていることを前提とした処理を行っており、ｓＹＣＣ信号定義域端へのクリッピングは考慮しないが、ＡｄｏｂｅＲＧＢ等の広色域信号から直接ｓＹＣＣ色空間への変換とクリッピングが行われた場合を考慮して、上記実施の形態１と同様の方法でクリッピングの補償を行ってもよい。
【００６０】
図１８は、本発明の実施の形態３に係るコンピュータで実行するための画像信号処理プログラムのフローチャートである。
（ａ）ピクセル毎に第１の色信号（ここではｓＹＣＣ信号）を用いた画像信号を受け取る（Ｓ４１）。
（ｂ）各ピクセルにおける色信号（ｓＹＣＣ信号）に対する色信号調整量を決定する（Ｓ４２）。
（ｃ）各ピクセルにおける色信号（ｓＹＣＣ信号）を色信号調整量によって調整して、第２の色信号（ｘｖＹＣＣ信号）を得る（Ｓ４３）。
（ｄ）第２の色信号（ｘｖＹＣＣ信号）を用いた画像信号を出力する（Ｓ４４）。
【００６１】
図１９は、図１８の色信号調整量を決定するステップ（Ｓ４２）の詳細を示すフローチャートである。
（ａ）第１の色信号（ｓＹＣＣ色信号）が、特定の色域端（ｓＲＧＢ色域端）の近傍色であるか否かを判定する（Ｓ５１）。概色域端の近傍色であれば、ＡｄｏｂｅＲＧＢやｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ等から概色域へのクリッピングの可能性ありと解釈する。
（ｂ）クリッピングを受けた可能性のあるピクセルから、クリッピングを受けていないと判定される最近傍ピクセルまでの距離、すなわち距離パラメータを算出する（Ｓ５２）。
（ｃ）最近傍ピクセルまでの距離（距離パラメータ）に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する（Ｓ５３）。これはクリッピングを受けた可能性のあるピクセルの内側に向かってグラデーションを有すると仮定し、クリッピング部分の境界からの距離パラメータに応じて色信号調整量を変化させるためである。
【００６２】
（実施の形態４）
本発明の実施の形態４に係る画像信号処理装置は、実施の形態１から３の画像信号処理装置と比較すると、色信号調整を受けるピクセルを全て同列に扱うのではなく、例えばｘｖＹＣＣ定義域からはみ出した緑・シアンと、赤とをそれぞれ別個に取り扱う点で相違する。この場合には、ＹＣｂＣｒ空間内のＣｂ、Ｃｒ軸の＋方向と−方向にはみ出す色信号をそれぞれ独立に扱う。そのため、図８Ａ及び図８Ｂのフローチャートにおいて、Ｓ１７のループを計４回繰り返して距離パラメータを求める。
【００６３】
（実施の形態５）
図２０は、本発明の実施の形態５に係る画像信号処理装置１０ｃの構成を示すブロック図である。この画像信号処理装置１０ｃは、実施の形態１から４に係る画像信号処理装置と比較すると、色信号調整値を算出する調整値算出部２０が、特徴抽出部２１、色信号調整値辞書２２、辞書検索部２３とを備える点で相違する。特徴抽出部２１は、画像信号から、第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する。色信号調整量辞書２２は、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている。辞書検索部２３は、色信号調整量辞書から、特徴画像信号に対応する色信号調整量を得る。
【００６４】
上記実施の形態１から３の場合には色信号定義域もしくは特定の色域の端部からのピクセル距離ｄと色信号調整値関数ｆとの関係から色信号調整値を算出していた。一方、この画像信号処理装置１０ｃでは、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録された色信号調整量辞書２２を用いている。この画像信号処理装置１０ｃでは色信号調整量辞書２２によって、特徴画像信号と対応する色信号調整量を得ることができる。なお、この色信号調整量辞書２２は、クリッピングを受けた画像信号から抽出された特徴画像信号と、クリッピング前の画像データを得るための色信号調整値との対応関係を学習させることによって構築される。
【００６５】
図２１は、本発明の実施の形態５に係る画像信号処理方法のフローチャートである。
（ａ）ピクセル毎に第１の色空間を用いた画像信号を受け取る（Ｓ６１）。
（ｂ）画像信号から色空間定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する（Ｓ６２）。
例えば、各ピクセルのｘｖＹＣＣ色信号に対して、Ｃｂ、Ｃｒに基づいて下記の色によってｘｖＹＣＣ色域の定義域端からの信号距離Ｄｂ、Ｄｒを算出する。
2009093294.tif 000032
また、Ｄｒについても上記Ｄｂと同様にして求める。上記式に基づいてＤｂ、Ｄｒを算出すると、Ｄｂ、Ｄｒがそれぞれ［−４，＋４］の範囲の値を取る信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする色信号特徴画像を導出できる。ここでは、Ｃｂ、Ｃｒの定義域端から５の領域は定義域外からのクリッピングによって使用される値域と仮定しており、Ｄｂ、Ｄｒは色域圧縮量に相当する。
【００６６】
（ｃ）特徴画像信号に基づいて、色信号調整量辞書２２からクリッピング前の画像を復元するための色信号調整量を得る（Ｓ６３）。この色信号調整量辞書２２には、特徴画像信号とクリッピング前の画像を復元するための関数ｇ値を各ピクセルの値とする色信号補正値画像とが関連付けて記録されている。ここで、色信号特徴画像は上記信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素としている。また、上記信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を検索キーとして色信号補正画像を得ることができる。色信号特徴画像と色信号補正画像には、元画像の一部に適当な窓掛けをして作成したものを使用し、窓位置をずらしながら各ピクセルの色信号調整量を求めることができる。
（ｄ）各ピクセルにおける第１の色信号を色信号調整量によって調整して、第２の色信号を得る（Ｓ６４）。
（ｅ）第２の色信号から、第３の色空間で定義される第３の色信号へ色空間を変換する（Ｓ６５）。
（ｆ）第３の色信号を用いた画像信号を出力する（Ｓ６６）。
【００６７】
図２２は、色信号調整値辞書学習装置３０の構成を示すブロック図である。この色信号調整値辞書学習装置３０は、ｘｖＹＣＣ変換部３１と、特徴抽出部３２と、学習部３３とを備える。ｘｖＹＣＣ変換部３１は、ＡｄｏｂｅＲＧＢ画像信号からｘｖＹＣＣ画像信号への変換を行うと共に、クリッピング時のＹＣｂＣｒ差分値を算出する。特徴抽出部２１は、ｘｖＹＣＣ画像信号から、その定義域の端部からの信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする特徴画像信号を抽出する。学習部３３は、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とを色信号調整量辞書２２に関連付けて記録する。
【００６８】
図２３は、色信号調整値辞書２２の学習方法をコンピュータで実行させる学習プログラムのフローチャートである。
（ａ）ＡｄｏｂｅＲＧＢ画像信号をｘｖＹＣＣ画像信号に変換すると共に、クリッピング時の差分を算出する（Ｓ７１）。
（ｂ）クリッピング後の画像信号から色空間の定義域の端部からの信号距離ベクトル（Ｙ，Ｄｂ，Ｄｒ）を要素とする特徴画像信号を抽出する（Ｓ７２）。
（ｃ）特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて学習する（Ｓ７３）。
（ｄ）特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて色信号調整量辞書２２に保存する（Ｓ７４）。
【産業上の利用可能性】
【００６９】
本発明に係る画像信号処理装置及び画像信号処理プログラムは、クリッピングされた可能性のある色信号を含む画像信号の入力を受けた場合にも、クリッピングを考慮しながら出力デバイスのガマット全体を有効に利用できる。そこで、画像信号の定義域を超える色域を持つ画像出力装置として利用できる。
【符号の説明】
【００７０】
１０、１０ａ、１０ｂ、１０ｃ  画像信号処理装置
１１  画像信号入力部
１２  バッファメモリ
１３  クリップ判定部
１４  距離計算部
１５  調整量決定部
１６  色信号調整部
１７  画像信号出力部
１８  色空間変換部
２０  調整量算出部
２１  特徴抽出部
２２  色信号調整量辞書
２３  辞書検索部
３０  色信号調整量辞書学習装置
３１  ｘｖＹＣＣ変換部
３２  特徴抽出部
３３  学習部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
第１の色信号が、前記第１の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。
【請求項２】
前記第１の色信号を用いた画像信号は、前記第１の色信号が定義される色空間とは異なる色空間で定義された色信号から色空間の変換を受け、前記第１の色信号が定義された色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされていることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記第１の色信号へ変換する前の前記異なる色空間は、ＡｄｏｂｅＲＧＢ、ｗｉｄｅ  ｇａｍｕｔ  ＲＧＢ、ＤＣＩ標準、ＮＴＳＣのいずれかであることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記画像信号入力部は、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記調整量決定部は、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記色信号調整部は、処理対象の領域内がなめらかすぎるグラデーションにならないように、処理後の前記第２の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される前記第３の色信号へ色空間を変換する色空間変換部をさらに備え、
前記調整量決定部は、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、
前記色信号調整部は、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第２の色信号を得ると共に、
前記画像信号出力部は、前記第２の色信号を出力することを特徴とする請求項１に記載の画像信号処理装置。
【請求項７】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換部をさらに備え、
前記画像信号出力部は、前記第３の色信号を用いた画像信号を出力することを特徴とする請求項１に記載の画像信号処理装置。
【請求項８】
前記第１の色空間はｘｖＹＣＣであって、前記第３の色空間はＲＧＢである、請求項６又は７に記載の画像信号処理装置。
【請求項９】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整部と、
前記第２の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。
【請求項１０】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第１の色信号が、前記第１の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。
【請求項１１】
前記第１の色信号を用いた画像信号は、前記第１の色空間とは異なる色空間で定義された色信号から変換を受け、前記第１の色信号を定義する色空間で表現できない色域の色信号から変換された第１の色信号はトリミングされていることを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１２】
前記画像信号入力ステップは、前記画像信号と共に前記画像信号の前記第１の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１３】
前記色信号調整ステップは、処理対象の領域内がなめらかすぎるグラデーションにならないよう、処理後の前記第２の色信号に適当な色ノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１４】
第１の色空間で定義される前記第１の色信号から、前記第１の色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記調整量決定ステップは、各ピクセルにおける前記第３の色信号に対する色信号調整量を決定し、
前記色信号調整ステップは、前記各ピクセルにおける前記第３の色信号を前記色信号調整量によって調整して、第３の色信号を得ると共に、
前記画像信号出力ステップは、前記第３の色信号を出力することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１５】
前記第２の色信号を、前記第２の色信号が定義される色空間と異なる第３の色空間で定義される第３の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記画像信号出力ステップは、前記第３の色信号を用いた画像信号を出力することを特徴とする請求項１０に記載の画像信号処理プログラム。
【請求項１６】
第１の色信号を用いた画像信号を受け取り、第２の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第１の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第１の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第２の色信号を得る色信号調整ステップと、
前記第２の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009093294.tif 000033
【図２】
2009093294.tif 000034
【図３】
2009093294.tif 000035
【図４】
2009093294.tif 000036
【図５】
2009093294.tif 000037
【図６】
2009093294.tif 000038
【図７】
2009093294.tif 000039
【図８Ａ】
2009093294.tif 000040
【図８Ｂ】
2009093294.tif 000041
【図９Ａ】
2009093294.tif 000042
【図９Ｂ】
2009093294.tif 000043
【図９Ｃ】
2009093294.tif 000044
【図９Ｄ】
2009093294.tif 000045
【図１０】
2009093294.tif 000046
【図１１】
2009093294.tif 000047
【図１２Ａ】
2009093294.tif 000048
【図１２Ｂ】
2009093294.tif 000049
【図１３】
2009093294.tif 000050
【図１４】
2009093294.tif 000051
【図１５】
2009093294.tif 000052
【図１６】
2009093294.tif 000053
【図１７】
2009093294.tif 000054
【図１８】
2009093294.tif 000055
【図１９】
2009093294.tif 000056
【図２０】
2009093294.tif 000057
【図２１】
2009093294.tif 000058
【図２２】
2009093294.tif 000059
【図２３】
2009093294.tif 000060
【国際調査報告】
2009093294.tif 000061
2009093294.tif 000062
2009093294.tif 000063
2009093294.tif 000064
2009093294.tif 000065