(57)【特許請求の範囲】
【請求項１】
異なる色再現装置間で画像の色合わせを行うための色再現域圧縮方法において、
色合わせの対象となる画像の色彩値を装置の特性に依存する少なくとも３つの色分解値に変換し、色分解値を色彩値に逆変換する変換ステップと、
前記逆変換された後の色彩値と前記変換ステップにより前記色分解値に変換される前の色彩値とのノルムを閾値処理することによって、前記変換ステップにより前記色分解値に変換される前の色彩値が対象とする色再現装置で再現可能かどうかを判定する色再現域判定ステップと、
前記逆変換された後の色彩値と前記変換ステップにより前記色分解値に変換される前の色彩値との差に明度成分、色味成分で異なる特性のフィルタリング処理を施し、フィルタリング処理後の画像の２乗ノルムと前記色再現域判定ステップによる判定結果との和によって定義される評価関数を最小化するように前記変換前の色彩値を最適化する最適化ステップと
を具備することを特徴とする色再現域圧縮方法。
【請求項２】
前記変換ステップにおける色変換は、３から５層のフィードフォワード型のニューラルネットワーク、又はルックアップテーブルのいずれかを用いることを特徴とする請求項１記載の色再現域圧縮方法。
【請求項３】
前記最適化ステップの評価関数は、オリジナル画像と前記変換ステップにおける双方向変換後の画像との差の対象となる画素を中心とする点広がり関数、または、インパルス応答によって定義され、対象とする画素とその周辺の画素とのコントラストによって定義される色差を含むことを特徴とする請求項１記載の色再現域圧縮方法。
【請求項４】
前記色彩値は、カラー画像を構成するＣＩＥ（Commission Internationale de I'Eclairage）が色彩値として規定するＸ，Ｙ，Ｚ三刺激値、Ｌ＊，ａ＊，ｂ＊値、Ｌ＊，u＊，ｖ＊値、あるいは、色の見えを予測するモデルによって定義されるＬ，Ｃ，Ｈ値のいずれか一つを用いることを特徴とする請求項１記載の色再現域圧縮方法。
【請求項５】
前記色分解値は、カラー画像を構成するＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）値の加法混色の三原色であることを特徴とする請求項１記載の色再現域圧縮方法。
【請求項６】
前記色分解値は、カラー画像を構成するC（シアン）、M（マゼンタ）、Y（イエロー）、または、C（シアン）、M（マゼンタ）、Y（イエロー）、K（ブラック）値の減法混色の三原色であることを特徴とする請求項１または３記載の色再現域圧縮方法。
【請求項７】
対象とする画像の各画素の少なくとも３つの色彩値を対応する電気信号、または、光信号として入力する入力手段と、
前記入力手段から送られてくる少なくとも３つの色彩値と対象とする色再現装置の少なくとも３つのデバイス値との間の双方向の色変換を行う変換手段と、
前記変換手段による双方向の色変換における変換前の色彩値と変換後の色彩値との間のノルムを計算し、閾値処理を施す色再現域抽出手段と、
前記変換手段による双方向の色変換によって得られる再現画像と前記入力手段から入力された色彩値との間の差の画像に明度成分、色味成分で異なる特性のフィルタリング処理を施した後、２乗ノルムを算出するフィルタリング手段と、
前記色再現域抽出手段と前記フィルタリング手段の出力の和で表される評価関数を最小化するように前記入力手段から入力された色彩値を最適化する最適化手段と、
前記最適化手段により最適化された色彩値に基づいて前記変換手段から出力されたデバイス値を光、あるいは、電気信号等の任意の信号として出力する出力手段と、
を具備することを特徴とする色再現域圧縮装置。
【請求項８】
異なる色再現装置間で画像の色合わせを行う際の色再現域の違いを修正する色再現域圧縮装置であって、
入力画像の対象とする画素の少なくとも３つの色彩値を、中間表色系とデバイス値からなる色空間との間の双方向の色変換を予め学習させられた２つのニューラルネットワーク、又は２つのルックアップテーブルによって色変換する変換手段と、
前記変換手段による双方向の色変換前後の色彩値の差のノルムに閾値処理を施すことによって、前記入力画像の対象とする画素の少なくとも３つの色彩値が対象とする色再現装置の色再現域の内か外かを判別する色再現域抽出手段と、
前記変換手段による双方向の色変換によって得られる再現画像と前記入力画像の差の画像に対し、明度成分、色味成分で異なる空間周波数特性を有するバンドパスフィルタのインパルス応答を畳み込み演算あるいは、周波数軸上での掛け算によってフィルタリングを施した画像の２乗ノルムを計算するフィルタリング手段と、
前記２つのニューラルネットワークの結合係数、又はルックアップテーブルのテーブル値とフィルタ係数を記憶しておく記憶装置と、
前記色再現域抽出手段とフィルタリング手段の出力の和で表される評価関数を最小化するように再現画像の色彩値を調節する最適化手段と、
を具備する色再現域圧縮装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、異なる色再現装置間の色合わせにおいて、入力画像の全ての色を、出力デバイスで再現可能な色再現域内に写像する色再現域圧縮方法および装置に関し、特に、人間の視覚の空間周波数特性を考慮した新しい色差を色合わせの評価に用いることにより、見た目に最も好ましい再現画像を得ることが可能な色再現域圧縮方法及び装置に関する。
【０００２】
【従来の技術】
これまでに色再現メディアとして開発されているものには、カラーディスプレイ、昇華型プリンタ、インクジェット型プリンタ、写真、商用印刷機など多くの種類がある。一般にこのような装置では、色の再現方式（混色法）やトーン再現法（網点、ディザ法、誤差拡散法など）、又は、使用する原色の分光特性の違いなどにより、その装置が再現できる色の範囲(Color Gamut) が大きく異なる。例えば、ディスプレイの色再現域は、昇華型プリンタの色再現域よりかなり広いことが知られている。このような色再現域の大きさが異なる２つの装置間で色合わせを行う場合、一方のデバイスで再現不可能な色が必ず存在する。このため、このような色再現域外の色を、対象とするデバイスでどのように再現したら良いかという問題が生じる。
【０００３】
一般に画像を観察する人間の視覚系は、自然画像のような隣り合った画素が何らかの複雑なコンテキストを持つ場合、その関係（画像の空間周波数特性）を保持することによって、多少画素毎の色がオリジナルと異なっていても色の違いを検知しずらくなるという特性を有する。一方、色票のような単色の場合は、画像の周波数特性は一定であるため、色の違いが自然画の場合に比べて検知され易くなる。
【０００４】
【発明が解決しようとする課題】
しかし、これまでに提案されてきた色再現域圧縮法では、こうした人間の視覚系の空間周波数特性が全く考慮されていない。更に、オリジナルの画像と再現画像との間の画素ごとに色再現域圧縮を行う方法であるため、自然画像の色再現域圧縮において実用に耐えうる色再現域圧縮を実現できないという問題が指摘されている。
【０００５】
このように、従来では自然画像の適切な色再現域圧縮法を実現することは困難であり、人間の視覚系の空間周波数特性を考慮したより実用的な画像の色再現域圧縮の技術が要求されている。
【０００６】
この発明は、前記実情を鑑みてなされたものであり、自然画像のような隣り合う画素が互いに何らかのコンテキストを持つような場合に、その関係を保持すると同時に、各画素の色差を最小とするように色再現域を圧縮する方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る色再現域圧縮方法は、異なる色再現装置間で画像の色合わせを行うための色再現域圧縮方法であって、色合わせの対象となる画像の色彩値を装置の特性に依存する少なくとも３つの色分解値に変換し、色分解値を色彩値に逆変換する変換ステップと、前記逆変換された後の色彩値と前記変換ステップにより前記色分解値に変換される前の色彩値とのノルムを閾値処理することによって、前記変換ステップにより前記色分解値に変換される前の色彩値が対象とする色再現装置で再現可能かどうかを判定する色再現域判定ステップと、前記逆変換された後の色彩値と前記変換ステップにより前記色分解値に変換される前の色彩値との差に明度成分、色味成分で異なる特性のフィルタリング処理を施し、フィルタリング処理後の画像の２乗ノルムと前記色再現域判定ステップによる判定結果との和によって定義される評価関数を最小化するように前記変換前の色彩値を最適化する最適化ステップとを具備することを特徴とする。
【０００８】
即ち、中間表色系と色分解値（デバイス値）との間の双方向の色変換を行う場合に、入力された画素の色彩値が色再現域内であれば、この双方向の変換は恒等写像となり、双方向の変換後に中間表色系上で変換誤差の範囲内で同じ点に写像されるのに対し、色再現域外の場合は、中間表色系からデバイス値へ変換した際に、デバイス値の範囲（一般には０〜２５５の範囲）外の値に写像されるが、例えばニューラルネット（ニューラルネットワーク）の出力ユニットの入出力特性がシグモイド特性であるため、写像された値はデバイス値の範囲内に押し込められ、そのため、この値を再度中間表色系に写像した際に、中間表色系上では、もとの与えられた点が対象のデバイスの色再現域からはずれるほど全く違った場所に写像され、これによって、色再現域からどれくらい離れているか（または、内にあるか）を判別し、さらに、オリジナルと再現画像の対象とする画素の色差を、画像の空間周波数成分を考慮した色差と色再現域からの距離を表す関数との和によって定義される評価関数を最小化するように再現画像の色彩値を調節することによって適切な色再現域圧縮を実現するようにしている。
【０００９】
ここで、前記双方向色変換には、３から５層のフィードフォワード型のニューラルネットワーク、又はルックアップテーブル（ＬＵＴ）を用いることが望ましい。
【００１０】
更に、前記評価関数で用いる色差は、オリジナル画像と前記変換ステップにおける双方向変換後の画像（再現画像）との差の対象となる画素を中心とする点広がり関数（Point Spread Function ）、または、インパルス応答によって定義され、単に、オリジナル画像と再現画像の対象とする画素の色差だけによって定義されるのではなく、対象とする画素とその周辺の画素とのコントラストの両方を用いて定義することが望ましい。
【００１１】
又、前記評価関数で用いる、対象とする画素の色が色再現域内にあるかどうかを表す関数として、双方向の色変換によって得られる色彩値と変換前の色彩値との間の差に対する閾値関数を用いることが望ましい。
【００１２】
又、前記色彩値は、カラー画像を構成するＣＩＥ（Commission Internationale de I'Eclairage）  が色彩値として規定するＸ，Ｙ，Ｚ三刺激値、Ｌ* ，ａ* ，ｂ* 値、Ｌ* ，ｕ* ，ｖ* 値、あるいは、色の見えを予測するColor Appearance  モデルによって定義される色彩値のいずれか一つを用いるよことが望ましい。
【００１３】
又、前記色分解値（デバイス値）は、カラー画像を構成するＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）値の加法混色の三原色、または、C （シアン）、M （マゼンタ）、Y （イエロー）、または、C （シアン）、M （マゼンタ）、Y （イエロー）、K （ブラック）値の減法混色の三原色である。
【００１４】
又、最適化手法には、最急降下法（steepest descent method ）、または、極値探索の一般的な手法である非線形最適化法のいずれか一方を用いることができる。
【００１５】
又、前記ニューラルネットは、学習機能を有し、出力ユニットの入出力特性がシグモイド特性あるいは、線形特性を有する。
又、前記点広がり関数、または、インパルス応答の周波数特性はバンドパス特性を用いることが望ましい。
【００１６】
又、この発明に係る第１の色再現域圧縮装置は、対象とする画像の各画素の色の色彩値を対応する電気信号、または、光信号として入力する入力手段と、前記入力手段から送られてくる少なくとも３つの色彩値と対象とする色再現装置の少なくとも３つのデバイス値との間の双方向の色変換を行う変換手段と、前記変換手段による双方向の色変換における変換前の色彩値と変換後の色彩値との間のノルムを計算し、閾値処理を施す色再現域抽出手段と、前記変換手段による双方向の色変換によって得られる再現画像と前記入力手段との間の差の画像に空間周波数に対するフィルタリング処理を施した画像の２乗ノルムを算出するフィルタリング手段と、前記色再現域抽出手段と前記フィルタリング手段の出力の和で表される評価関数を最小化するように再構成画像の色彩値を調節する最適化手段と、前記最適化手段によって色再現域圧縮された画像を光、あるいは、電気信号等の任意の信号として出力する出力手段とを具備することを特徴とする。
【００１７】
この発明に係る第２の色再現域圧縮装置は、異なる色再現装置間で画像の色合わせを行う際の色再現域の違いを修正する装置であって、入力手段に入力された画像の対象とする画素の前記少なくとも３つの色彩値を、前記中間表色系とデバイス値からなる色空間との間の双方向の色変換を予め学習させられた２つのニューラルネット、又は２つのＬＵＴによって色変換する変換手段と、前記変換手段による双方向の色変換前後の色彩値の差のノルムに閾値処理を施すことによって、前記入力手段に入力された入力画像の対象とする画素の少なくとも３つの色彩値が対象とする色再現装置の色再現域の内か外かを判別する色再現域抽出手段と、前記変換手段による双方向の色変換によって得られる再現画像と前記入力手段の出力画像の差の画像に対し、空間周波数特性がバンドパスになるように設計された点広がり関数（フィルタのインパルス応答）を畳み込み演算あるいは、周波数軸上での掛け算によってフィルタリングを施した画像の２乗ノルムを計算するフィルタリング手段と、前記２つのニューラルネットワークの結合係数（又はＬＵＴのテーブル値）とフィルタ係数を記憶しておく記憶装置と、色再現域抽出手段とフィルタリング手段の出力の和で表される評価関数を最小化するように再現画像の色彩値を調節する最適化手段を具備することを特徴とする。ここで、前記変換手段で用いられる２つのニューラルネットは、少なくとも３つの色彩値をその色彩値に対応する少なくとも３つのデバイス値に変換する第１のニューラルネットとそれによって得られた少なくとも３つのデバイス値を再度少なくとも３つの色彩値に変換する第２のニューラルネットを含み、前記２つのニューラルネットは、学習機能を有する３から５層の多層フィードフォワード型のニューラルネットであり、少なくとも３つの色彩値からその色彩値に対応するデバイス値への変換とデバイス値から色彩値への変換をそれぞれ学習させられており、また、第１のニューラルネットワークの出力ユニットの入・出力特性はシグモイド特性であり、第２のニューラルネットワークの出力ユニットの入・出力特性は線形である。前記変換手段としてＬＵＴを用いる場合、少なくとも３つの色彩値をその色彩値に対応する少なくとも３つのデバイス値に変換する第１のＬＵＴと、これによって得られた少なくとも３つのデバイス値を再度、少なくとも３つの色彩値に変換する第２のＬＵＴから構成される。前記色再現域抽出手段と前記フィルタリング手段の出力の和で表される評価関数を最小化するという条件のもとで変換手段の入力である対象とする画像の各画素の少なくとも３つの色彩値を最適化手法を用いて最適化することによって、画像の空間周波数に基づく色再現域圧縮を実現する。
【００１８】
従って、この発明の画像の空間周波数に基づく色再現域圧縮方法および装置においては、ニューラルネットワークの学習機能を有効に利用することにより、対象とする色再現装置の色がＣＭＹ値、または、ＣＭＹＫ値で表現される場合にも、ＲＧＢ値で表現される場合であってもこれらの色に関するデバイス値と色彩値との間の双方向の変換を高精度に実現し、十分な精度で対象とする色再現装置の色再現域を抽出することができる。
【００１９】
また、双方向の色変換によって得られる再現画像と対象とする画像の差の画像に対し、空間周波数特性がバンドパスになるように設計された点広がり関数（フィルタのインパルス応答）を畳み込み演算あるいは、周波数軸上での掛け算によってフィルタリングを施した画像の２乗ノルムと、色変換前後の色彩値画像のノルムに閾値処理を施した画像との和を評価関数とする最適化処理によって、画像の空間周波数特性を考慮した色再現域圧縮が実現できる。
【００２０】
【発明の実施の形態】
先ず、この発明に係る色再現域圧縮装置の基本的な考え方について説明する。従来から、高等動物の視覚系は、バンドパス的な空間周波数特性を持つことが知られている。即ち、低い周波数成分や高い周波数成分に対する感度は鈍く、２つの画像の空間周波数成分の内バンドパス成分が良く一致していれば、高・低周波数成分が多少異なっていても人間にはその違いを検知しにくいことが知られている。また、色味成分と明るさ成分を比較すると、明るさ成分の方がより高周波成分にピーク感度をもつことが実験的に調べられている。これは、色味に関してはかなりぼけた画像でしか違いが判別できず、逆に、明るさ成分は色味成分に比べより高周波成分の一致さえ十分であればその違いを判別しにくいことを意味している。
【００２１】
この発明は、このような人間の視覚系の空間周波数感度に関する知見に基づくものである。即ち、色味と明るさ成分それぞれに異なるピーク周波数を持つフィルタをかけ、その２乗ノルムで表される画像間の色差が最小となるように対象とする画像の色再現域外の画素および、対象画素近傍の画素の色を圧縮する。この処理では、色再現域外の画素だけでなく、その画素近傍の画素（色再現域内であっても）も色調整されるが、バンドパス成分がなるべく一致するように明度・色味成分別々に修正される。このため、人間の目にはほとんどその違いが検知できないように調整が可能な、画像の空間周波数特性を考慮した色再現域圧縮が実現される。
【００２２】
この発明に係る画像の空間周波数特性を考慮した色再現域圧縮では、学習したニューラルネット（ニューラルネットワーク）を用いて画像の各画素の色彩値とデバイス値との間の双方向色変換を行う。本願で記載される双方向色変換とは、色彩値からデバイス値（色分解値）への変換処理、及び、変換されたデバイス値から再び色彩値への変換処理を意味する。さらに、前記変換前後の画像の色彩値のノルムに閾値処理を施した画像と、オリジナルと双方向色変換後の色彩値画像の２乗ノルムに明るさ成分、色味成分それぞれ別のピーク周波数を持つ空間フィルタをかけた画像の和を最小化するという条件が含まれるが詳細は後述する。
【００２３】
以下、図面を参照してこの発明の一実施形態に係る、画像の空間周波数特性を考慮した色再現域圧縮装置を説明する。
この発明の実施形態である色再現域圧縮装置の機能構成を図１に示す。図１に示されるように色再現域圧縮装置は、入力部１０、色再現域圧縮部２０、画像出力部３０により構成される。
【００２４】
入力部１０は、外部からの画像入力信号を受け、対応する色彩値画像を電気信号として出力する。画像出力部３０は、入力されるデバイス値に従ってディスプレイや紙に画像を出力する出力装置であり、カラーＤＴＰ(Desk Top Publishing) における電子写真式プリンタ等やカラーディスプレイ等の出力装置を適用することができる。
【００２５】
色再現域圧縮部２０は、色再現域圧縮処理全体の制御を司る制御部２１と、２つのニューラルネットワーク（ＮＮ１，ＮＮ２）２２ａ，２２ｂにより構成される変換部２２と、双方向色変換が施される前後の色彩値のノルムに対し、閾値処理を施すことにより色再現域を抽出する色再現域抽出部２３と、入力部からの画像と変換部での双方向色変換によって得られる画像との差画像に対し、その明度成分、色味成分において異なるピーク周波数を持つバンドパスフィルタをかけ、その２乗ノルムを求めるフィルタリング部２４と、所定の条件の下で色再現域抽出部とフィルタリング部の出力の和を最小化する最適化処理部２５と、前記変換部２２とフィルタリング部２４に係る各種パラメータを記憶するメモリ２６とにより構成される。
【００２６】
制御部２１は、変換部２２，色再現域抽出部２３、フィルタリング部２４、最適化処理部２５、及びメモリ２６を制御し、ニューラルネットワーク２２ａ，２２ｂの学習処理を含む、色再現域圧縮に係る各種処理を行う。変換部２２では、後述する変換機能を有するように学習処理が施される。色再現域抽出部２３では、変換部２２による変換前後の画像の各画素間の差のノルムに閾値処理が施され、画像の各画素の色が色再現域内に入っているかどうかの判別が行われる。フィルタリング部２４では、メモリ２６に記憶されているフィルタ係数を用いて、入力部から送られた画像と、変換部２２での双方向変換で求められた画像の差画像に対しフィルタリング処理が施され、フィルタリングされた画像全体の２乗ノルムが計算される。最適化処理部２５では、フィルタリング部２４の出力と色再現域抽出部２３の出力の画像全体の和で定義される評価関数を最小にするという条件を満たすように最適化が行われ、色再現域圧縮された画像が求められる。
【００２７】
また、変換部２２は、任意の値（色彩値）を持つ初期値の電気信号を、デバイス値（色分解値）へ変換し、さらに、その結果を再度色彩値に変換する。この変換部２２に用いられる２つのニューラルネットワーク２２ａの一例を図２に、ニューラルネットワーク２２ｂの一例を図３に示す。ニューラルネットワーク２２ａは、少なくとも３つの色彩値から少なくとも３つのデバイス値への変換を行う機能を有し、ニューラルネットワーク２２ｂは、少なくとも３つのデバイス値から少なくとも３つの色彩値への変換を行う機能を有する。このような機能は学習によって実現される。図２、図３に示されるニューラルネット２２ａ，２２ｂは、それぞれ色彩値、デバイス値に対応する出力ユニットＵ１、Ｕ２、…Ｕｎ（ｎは色彩値、又はデバイス値で用いられる値、又は色の数に対応する）を有し、入力層のユニット数は３、ニューラルネットワーク２２ａの中間層ユニット数が１３、ニューラルネットワーク２２ｂの中間層ユニット数は１２で構成される。ここで、ニューラルネットワーク２２ａの出力ユニットの入出力特性がシグモイド特性であるのに対し、ニューラルネットワーク２２ｂの出力ユニットは線形特性を持つ。また、ニューラルネットワーク２２ａ，２２ｂ共に、中間層は入出力関係がシグモイド関数によって表される神経回路素子により構成され、入力層は線形の神経回路素子であっても良い。ただし、中間ユニット数は、対象とする色再現装置の特性に合わせて調整することができる。
【００２８】
制御部２１は、変換部２２、色再現域抽出部２３、フィルタリング部２４、最適化処理部２５を用い、変換部２２から出力される各電気信号の差のノルム、即ち、双方向色変換前後の画像間の差のノルムに対して閾値処理を施す。更に、制御部２１は、色再現域抽出部２３において、閾値処理の施された値の画像全体の和をとった値と、フィルタリング処理を施した差画像の２乗ノルムの画像全体の和とから定義される評価関数を最小化するように、色再現域外と判定された画素の色彩値を最適化する。このような処理が行われることにより、適切に色再現域圧縮された画像が求められる。
【００２９】
メモリ２６は、変換部２２において、学習処理が施された２つの３層フィードフォワード型ニューラルネットワーク２２ａ，２２ｂの結合係数や、フィルタリング部２４で使用されるフィルタ係数を記憶する。
【００３０】
次に、２つのニューラルネットワークで構成される変換部２２、フィルタリング部２４、色再現域抽出部２３、及び最適化処理部２５について詳細に説明する。
【００３１】
先ず、変換部２２について説明する。図１に示される入力部１０により、画像上の各画素の少なくとも３つの色彩値がそれぞれ、対応する電気信号に変換される。即ち、入力部１０からは、変換元の色のＬ* ａ* ｂ* 値、Ｌ* ｕ* ｖ* または、ＸＹＺ三刺激値、あるいはColor Appearance  モデルのＬＣＨ値である色彩値を示す電気信号が出力される。
【００３２】
変換部２２では、入力部から出力される色彩値が図２に示されるニューラルネットワーク２２ａの入力として供給される。色彩値が与えられると、図２に示すような構造を持つニューラルネットワークの中間層ユニットの出力Ｈi は以下の式に従って出力される。
【００３３】
【数１】
0003639405.tif 000002
【００３４】
ここで、Ｗ(h) ijはｊ番目の入力ユニットとｉ番目の中間ユニットの結合係数を表し、またＩi は中間ユニットの出力、ｂj はバイアス値を表す。また、出力層ユニットの出力Ｏi も同様に次式に従って出力される。
【００３５】
【数２】
0003639405.tif 000003
【００３６】
但し、Ｗ（ｏ）ijはｊ番目の中間ユニットとｉ番目の出力ユニットの結合係数を表し、また、Ｈi は前記（１）式で定義されるｉ番目の中間ユニットの出力値である。また、ｎ、ｍ、ｋはそれぞれ入力層、中間層、出力層のユニット数である。
【００３７】
この時、入力層のユニットの特性は入力をそのまま出力するような特性であり、また、中間層ユニットの関数ｆ( ｘ) は次式で定義される［０，１］の間で単調増加であるシグモイド関数で表される特性である。
【００３８】
【数３】
0003639405.tif 000004
【００３９】
また、出力ユニットはシグモイド関数で表される特性である。ただし、中間・出力層はバイアスユニットからの入力があってもよい。
次に、図２に示されるニューラルネット２２ａの色変換によって得られたデバイス値は図３に示されるニューラルネット２２ｂの入力として与えられ、前記（１），（２）式で示される同様な計算に従って色彩値に変換される。ただし、図３のニューラルネットの出力ユニットの特性はシグモイド関数であっても良くまた線形であってもかまわない。一般には線形特性であることが好ましい。
【００４０】
この２つのニューラルネットの結合係数は、それぞれ各出力ユニットの出力と、教師信号として与えられるデバイス値、又は、色彩値との２乗誤差が最小となるように予め学習・修正される。学習には、ランメルハート（Rumelhert ）が提案したバックプロパゲーションアルゴリズムやその改良型の学習則などが用いられ、それぞれ色彩値からデバイス値、デバイス値から色彩値への変換を学習する。学習を終えたニューラルネットワークの結合係数はメモリ２６に記憶される。ただし、このメモリは装置外部で学習された結合係数をロードすることも可能である。即ち、必ずしも装置内部でネットワークの学習を行う必要がなく、予め別の装置で学習して得た結合係数を有効に利用することが可能である。
【００４１】
次に、フィルタリング部２４について説明する。フィルタリング部２４では、入力部１０からのオリジナル画像と変換部２２の出力画像との差に明度成分、色味成分で異なる特性を持つフィルタを用いてフィルタリング処理が行われる。フィルタリング部２４は、フィルタリング処理が施された値の２乗ノルムとして次式で定義される知覚差異量ＰＤ（ｒ，o ）を出力する。
【００４２】
【数４】
0003639405.tif 000005
これを差分形式で書けば、
【００４３】
【数５】
0003639405.tif 000006
となる。但し、２ω＋１はフィルタサイズである。ここで、明度成分、色味成分にかけるフィルタを一次元で表したものを図４（ａ）〜（ｃ）に示す。ここで、フィルタは次式で定義されるＤＯＧ関数を用いる。
【００４４】
【数６】
0003639405.tif 000007
【００４５】
また、（４）式のＰＤ（ｒ，o ）は、一般に色の差異を表すＣＩＥ色差に対応する値である。ここで、ＣＩＥ色差と知覚差異量ＰＤ（ｒ，o ）との違いを図５（ａ），（ｂ）に示す。この図からわかるように、ＣＩＥ色差はオリジナルと再現画像間の対応する画素だけの差を表すのに対し、知覚差異量ＰＤ（ｒ，o ）は、対応する画素とその周辺の画素の色の違いを総合的に表わす値である。
次に、色再現域抽出部２３について説明する。色再現域抽出部２３では、変換部２２の双方向色変換の精度Ｍ（ｒ）
【００４６】
【数７】
0003639405.tif 000008
に閾値処理Ｔ［・］を施すことによって対象画素が色再現域の内か外かを判別する。ここでこの閾値処理Ｔ［・］は次式で定義される。
【００４７】
【数８】
0003639405.tif 000009
【００４８】
ただし、閾値（threshold ）は色再現域内の最大のＭ（ｒ）であるとする。図６（ａ），（ｂ）はこの時の色再現域抽出部での抽出の概念を示している。色彩値、デバイス値間の双方向色変換を行う場合、もし、入力の色彩値が色再現域外である場合は、色彩値からデバイス値への変換で得られた値は、デバイス値の範囲（０から２５５）を越える値となるが、色彩値からデバイス値への変換を行うニューラルネットワークの出力ユニットの特性がシグモイド状であるため、範囲を越えた値は無理矢理、０から２５５の範囲内に押し込められる。この場合、再度デバイス値から色彩値への変換を行って得られる値は、双方向変換前の色彩値と全く違った値となる。一方、色再現域内の色彩値は、双方向変換後に変換前の色彩値とほぼ同じ（変換の精度範囲内で）点に写像される。色再現域抽出部ではこうした原理を用いて対象とする画素の色再現域の内外を判定する。図７に実際にプリンタの色再現域を抽出した結果の３次元表示と、対象とする色が色再現域内か外かの判定結果を示す。
【００４９】
図７（ａ）に示されるように一般に色再現域は非常に複雑な形状を持つ。また、図７（ｂ）からわかるように色再現域外に位置するデータは、双方向色変換後では変換誤差が大きくなり、色再現域内のデータは逆に変換誤差の範囲内の小さな誤差を持つようになる。
次に、最適化処理部２５について説明する。最適化処理部２５では、ＰＤ（ｒ，ｏ）とＴ［Ｍ（ｒ）］を用いて定義される評価関数
【００５０】
【数９】
0003639405.tif 000010
を最小とするように最急降下法を用いて最適化を行う。即ち、次式で色彩値画像ｒ（ｘ，ｙ）の更新を行う。
【００５１】
【数１０】
0003639405.tif 000011
【００５２】
この最適化処理によって色再現域圧縮された画像（デバイス値）は、電気信号や光信号等任意の信号として出力部３０に送られ、出力画像として紙やディスプレイに出力される。
【００５３】
次に、この実施形態における変換部２２の学習について説明する。図８にニューラルネットワークで構成される変換部２２の学習処理の流れを示す。ここで、変換部２２の２つのニューラルネット２２ａ，２２ｂの学習は入力・出力が入れ替わるだけであとは全く同じであるため、簡略のため図２に示されるニューラルネット２２ａの学習処理についてだけ説明する。
【００５４】
この実施形態では、先ず、ＣＭＹのデバイス値をそれぞれ０％から１００％まで１０％間隔で変えて、プリンタで印刷した１３３１色の色票を分光測色器で測色する。これにより得られる分光反射率を用いてＬ* ａ* ｂ* が算出され、色彩値として用いられる。尚、学習データは、このデータのうちの２１６色だけを用いる。
【００５５】
先ず、３層フィードフォワード型ニューラルネットワークの入力層に少なくとも３つの色彩値を入力する（ステップＳ１０）。同時に、出力層に対して教師信号として入力層に与えた色彩値に対応するデバイス値を与える（ステップＳ１１）。次にバックプロパゲーション学習則に基づく学習処理が施される（ステップＳ１２）。ステップＳ１２における学習処理が、２１６色票に対して行われる。即ち、出力層より出力される値が教師信号であるデバイス値に近づくようにニューラルネットワーク内のユニットの結合の強さ（結合係数）が変更される。この後、２１６色票全部に対し行われたかどうか判断される（ステップＳ１３）。もし、全部終了していなければ、次の色票のデータに変更し、ステップＳ１０から再度学習する（ステップＳ１３，ＮＯ）。全部終了したら次のステップへ進む（ステップＳ１３，ＹＥＳ）。
【００５６】
この後、ステップＳ１２における学習が、所定の学習条件、例えば、結合係数を変更した回数が所定回数に達しているかや、出力層から出力される値と教師信号であるデバイス値との誤差が所定の誤差範囲内であるかどうか等が判定される（ステップＳ１4 ）。所定の学習条件を満たしている場合には、３層のフィードフォワード型ニューラルネットワーク結合係数がメモリ２６に保存され、学習処理が終了する（ステップＳ１４，ＹＥＳ）。又、学習条件が満たされていない場合、再びステップＳ１０から学習処理が実行される（ステップＳ１４，ＮＯ）。
【００５７】
次に、この実施形態における、色再現域圧縮処理を図９のフローチャートを参照して説明する。
前述の学習処理により求められた２つのニューラルネットそれぞれの結合係数を用いて、入力部１０に入力された画像の色再現域圧縮処理が行われる。これらの色再現域圧縮処理は、前述したように制御部２１の制御の下で実施される。
【００５８】
先ず、入力部１０から入力された色彩値画像が色再現域圧縮部２０に送られる（ステップＳ２０）。次に、色再現域圧縮部２０では、変換部２２とフィルタリング部２４にそれぞれメモリ２６からニューラルネットの結合係数とフィルタ係数がロードされ、セットされる（ステップＳ２１，ステップＳ２２）。入力部１０からの画像が変換部２２で双方向色変換され（ステップＳ２３）、その出力が変換部２２の入力初期画像としてセットされる（ステップＳ２４）。次に、再度変換部２２で双方向色変換がなされ、変換部出力が計算される（ステップＳ２６）。
【００５９】
また、フィルタリング部２４では、前記（４）式で定義される計算式に従って、変換部出力と入力部１０の出力を用いてＰＤ（ｒ，ｏ）が計算される（ステップＳ２６）。一方、色再現域抽出部２３では、変換部２２の双方向色変換前後の画像を用いて、（７）、（８）式からＴ［Ｍ（ｒ）］が計算される（ステップＳ２７）。
【００６０】
この後、最適化処理部２５において、フィルタリング部２４の出力と色再現域抽出部２３の出力を用いて定義される評価関数を最小化するようにＰＤ（ｒ，ｏ）の最急降下方向に変換部２２の入力が制御される（ステップＳ２７、ステップＳ２８）。次に、評価関数の値が最適化の条件を満たしているどうかが判定され、もし満たしていなければステップＳ２５に戻り、処理を繰り返す（ステップＳ３０，ＮＯ）。もし、満たしていれば次のステップに進む（ステップＳ３０，ＹＥＳ）。そして、変換部２２の入力を最初のニューラルネット２２ａによって変換することによって得られるデバイス値画像を出力部に転送する。ここで、この色再現域圧縮処理における情報（データ）の流れを図１０に示す。
【００６１】
又、図１１は、対象とする画像（図１２）に対し、実際に色再現域圧縮処理を行った場合の、最適化処理による評価関数の値の減少の様子を示している。ここで、図１２の画像で黒く塗りつぶされている部分が、対象とする色再現装置で再現不可能な部分を示している。また、図１１には評価関数のＬ* 成分（明るさ）と  ａ* ，ｂ* 成分（色味）及びそれらの和（評価関数全体）をそれぞれ示してある。また、ＰＤ（ｒ，o ）とＴ［Ｍ（ｒ）］それぞれの変化の様子も同時に示している。この図から、評価関数の値は最適化処理によって単調減少することがわかる。こうした処理によって、入力画像の色再現域圧縮を行う。
【００６２】
ここで、この発明による色再現域圧縮と従来法との違いを明らかにするために、一次元の場合にそれぞれの方法で色再現域圧縮を行った結果を図１３に示す。ここでは、従来法として、色差最小法(minimized  ΔE ）、及び、正規化法（normalize ）との比較を示している。色差最小法では、色再現域外の画素は色再現域の境界線状に全て写像され、色再現域内の画素値はオリジナルと同じ点に写像される。また、正規化法は、全ての画素値が変更され、色再現域内で完全に直線となるように色再現域が圧縮されている一方、コントラストがオリジナルに比べ減少する。これに対し、この発明による方法では、圧縮された結果はシグモイド状の線になり、単に色再現域外の点を内に押し込めるだけでなく、コントラストを保持するように色再現域内の点も同時に修正される。こうした圧縮は、画素ごとに非線形に色再現域を圧縮することでも同様に行うことが可能であるが、その場合とこの発明との最も大きな違いは、この発明による方法では、対象画素が画像内でどのように布置されているかによって、修正の度合いが変化する点にある。
【００６３】
次に、この発明による方法と色差最小法を用いてそれぞれ色再現域圧縮した場合のオリジナル画像と再現画像との間の色差画像の違いを比較した結果を図１４に示す。
【００６４】
図１４（ａ）がこの発明による方法で再現された画像と色差画像であり、図１４（ｂ）が色差最小法による再現画像と色差画像である。ここで色差画像は、より大きな値を持つ部分をより黒く表示している。双方の色差画像から、色差最小法では、色再現域外の部分だけに色差があらわれているのに対し、この発明による方法では、単に色再現域外の部分だけでなく色再現域内の部分にも色差が生じており、色差画像がかなりぼけた画像となっており、これによって、再現画像のコントラストが保存されていることが分かる。また、この発明による方法では、中間周波数成分の誤差が小さくなるようにフィルタリング処理をして最適化しているため、色差最小法に比べ中間周波数成分の誤差はより小さくなっている。
【００６５】
さらに、実際に見た目に良い結果が得られる方法を判定するために、従来法とこの発明による方法で色再現域圧縮した画像を一対比較法(paired comparison method ）によって被験者にその善し悪しを判定させた結果を図１５に示す。従来法としては、ニューラルネットによって色彩値をデバイス値に変換しそのままプリンタに出力する直接法、画像の彩度成分を９０パーセント圧縮してからニューラルネットによって色彩値をデバイス値に変換し、プリンタで出力した９０％−正規化法、色差最小法とした。
【００６６】
この結果では、被験者が最も好ましいと判定した割合をパーセンテージで示している。この場合、それぞれのパーセンテージは左から３７％、４７％、３３％、８３％であり、ほとんどの被験者がこの発明による方法によって色再現域圧縮した画像が最も好ましいと判定したことがこの結果から分かる。
【００６７】
【発明の効果】
以上、詳記したようにこの発明によれば、ニューラルネットワークの学習機能を有効に利用することにより、画像がＣＩＥが規定するＬ* ａ* ｂ* 値、または、Ｌ* u * ｖ* 値であっても、あるいは、ＸＹＺ値であっても、さらに、Color Appearance  モデルのＬＣＨ値の場合でも、これらの色に関する色彩値とＣＭＹ値、または、ＣＭＹＫ値、あるいは、ＲＧＢ値で表現されるデバイス値との間の双方向色変換を高精度に実現することができる。また、十分に学習させられたニューラルネットの汎化能力によって、入力に学習に用いなかった未知のデータが入力された場合であっても、入力データに対応する適切な出力を得ることができる。
【００６８】
更に、画像の空間周波数成分を考慮するためのフィルタリング処理とニューラルネットの出力ユニットの特性を利用した双方向色変換による色域抽出を用い、人間の視覚の空間周波数成分のうち最も感度の高い空間周波数成分を可能な限り一致させる、即ち、画像のコントラストを保存し、かつ、可能な限りオリジナルの色彩値に近い色彩値に写像することによって、これまでには実現されなかった、見た目に最も好ましい再現画像を得ることのできる非常に信頼性の高い色再現域圧縮を実現することが可能となる。
【図面の簡単な説明】
【図１】この発明に係る実施形態における画像の空間周波数を考慮した色再現域圧縮装置の概略構成を示すブロック図。
【図２】この発明の実施形態における変換部に用いられる、色彩値からデバイス値への変換を行うフィードフォワード型のニューラルネットの一構成例を示す概略図。
【図３】この発明の実施形態における変換部に用いられる、デバイス値から色彩値への変換を行うフィードフォワード型のニューラルネットの一構成例を示す概略図。
【図４】この発明の実施形態におけるフィルタリング部に用いられる空間フィルタの形状を一次元表示したグラフ。
【図５】この発明の実施形態における知覚的差異量と従来の色差との違いを示す概念図。
【図６】この発明の実施形態における色再現域抽出部での双方向色変換による色再現域抽出の原理を示す概念図。
【図７】この発明の実施形態において用いられる実際のプリンタの色再現域の３次元表示と色再現域内外での双方向色変換による変換誤差の違いを示す模式図。
【図８】この発明の実施形態における３層フィードフォワード型ニューラルネットワークに色彩値からデバイス値への変換を学習させる処理を示すフローチャート。
【図９】この発明の実施形態における色再現域圧縮処理を示すフローチャート。
【図１０】この発明の実施形態における各種情報（計算結果）の流れを示す図。
【図１１】この発明の実施形態における色再現域圧縮装置の最適化処理部における最適化処理による評価関数の減少の様子を示すグラフ。
【図１２】この発明の実施形態において、前記評価関数の減少を示すグラフの作成処理に適用されたディスプレイ上に表示された中間調画像の写真。
【図１３】この発明の実施形態における色再現域圧縮装置の処理結果と従来法で圧縮した結果の１次元の場合についての比較を示すグラフ。
【図１４】この発明の実施形態における色再現域圧縮装置の処理結果と従来法で圧縮した結果のオリジナル画像と再現画像との間の色差画像の違いを比較した結果を示すディスプレイ上に表示された中間調画像の写真。
【図１５】この発明の実施形態における色再現域圧縮装置の処理結果と３種類の従来法で圧縮した結果の画像を用いてどの方法で色再現域圧縮を行った場合に最も好ましい画像になるかを一対比較法を用いて被験者に判定させた結果を示すグラフ。
【符号の説明】
１０…入力部
２０…色再現域圧縮部
３０…画像出力部
２１…制御部
２２…変換部
２３…色再現域抽出部
２４…フィルタリング部
２５…最適化処理部
２６…メモリ
【図１】
0003639405.tif 000012
【図２】
0003639405.tif 000013
【図３】
0003639405.tif 000014
【図４】
0003639405.tif 000015
【図５】
0003639405.tif 000016
【図６】
0003639405.tif 000017
【図７】
0003639405.tif 000018
【図８】
0003639405.tif 000019
【図９】
0003639405.tif 000020
【図１０】
0003639405.tif 000021
【図１１】
0003639405.tif 000022
【図１２】
0003639405.tif 000023
【図１３】
0003639405.tif 000024
【図１４】
0003639405.tif 000025
【図１５】
0003639405.tif 000026