(57)【要約】 【課題】意味を持つ色調関係の崩れを少なく抑えて色変換することのできる色変換方法を提供する。【解決手段】第１の色空間Ｍ１に存在しかつ複数のオブジェクト（大領域Ａ、Ｂ、Ｃ、中領域ａ１〜ａ３、ｂ１〜ｂ３など）で構成された元画像を第２の色空間Ｍ２内の画像に色変換する際に、第１の色空間における２つのオブジェクト間の色差と該２つのオブジェクト間の第２の色空間内へ色変換した後の色差との差分を歪みとし、この歪みを解消する方向に働く力を応力とした場合に、元画像を構成するオブジェクトの各々について、他のオブジェクトとの間に生じる歪みに対する応力特性（図中、オブジェクト間の実線は応力を表わす）を決定し、応力の総和が小さくなるように色変換する。【選択図】図８
2009296372.tif 000002
【特許請求の範囲】
【請求項１】
第１の色空間に存在しかつ複数のオブジェクトで構成された元画像を第２の色空間内の画像に色変換する色変換方法において、
前記第１の色空間における２つのオブジェクト間の色差と前記第２の色空間内へ色変換した後の前記２つのオブジェクト間の色差との差分を歪みとし、この歪みを解消する方向に働く力を応力とした場合に、前記元画像を構成するオブジェクトの各々について、他のオブジェクトとの間に生じる歪みに対する応力の特性を決定し、前記応力の総和が小さくなるように前記色変換を行う
ことを特徴とする色変換方法。
【請求項２】
前記応力の特性は、前記元画像のオブジェクト構造に基づいて決定する
ことを特徴とする請求項１に記載の色変換方法。
【請求項３】
前記総和が最小になるように前記色変換を行う
ことを特徴とする請求項１または２に記載の色変換方法。
【請求項４】
前記色変換の結果、任意のオブジェクトの色調の変化量または任意の２つのオブジェクト間の前記歪みが所定の閾値を超える場合は、該色変換の可否または色変換に関する条件の変更をユーザに問い合わせる
ことを特徴とする請求項１乃至３のいずれか１つに記載の色変換方法。
【請求項５】
前記色変換する際に、所定のオブジェクトに対する色調変化を所定の色領域内に制限する
ことを特徴とする請求項１乃至４のいずれか１つに記載の色変換方法。
【請求項６】
前記応力の特性は、非線形である
ことを特徴とする請求項１乃至５のいずれか１つに記載の色変換方法。
【請求項７】
前記応力を輝度または明るさの成分に関する応力と他の成分に関する応力とに分けると共に、輝度または明るさ成分に関する応力が前記他の成分に関する応力より大きくなるようにそれぞれの応力の特性を設定した
ことを特徴とする請求項１乃至６のいずれか１つに記載の色変換方法。
【請求項８】
前記色変換後に残留する応力が所定値以上となったオブジェクトに対して、その残留する応力に応じた装飾を施す
ことを特徴とする請求項１乃至７のいずれか１つに記載の色変換方法。
【請求項９】
特定のオブジェクトの色変換に関する制約条件の設定を受け付ける
ことを特徴とする請求項１乃至８のいずれか１つに記載の色変換方法。
【請求項１０】
特定パターンに属するオブジェクトを検出し、その検出したオブジェクトの色変換に関して所定の制約条件を設定する
ことを特徴とする請求項１乃至９のいずれか１つに記載の色変換方法。
【請求項１１】
第１の画像と第２の画像とを前記色変換する場合に、前記第１の画像を構成するオブジェクトの中に前記第２の画像を構成するいずれかのオブジェクトと所定以上の関連強度を有するオブジェクトがある場合は、それら所定以上の関連強度を有するオブジェクトの色変換に関して所定の制約条件を設定する
ことを特徴とする請求項１乃至１０のいずれか１つに記載の色変換方法。
【請求項１２】
前記制約条件は、（１）オブジェクトの色調変化を所定の色領域内に制限する、（２）オブジェクトの前記第１の色空間における色と色変換後の前記第２の色空間における色との差分を歪みとして該歪みに対する応力を設定する、（３）所定の定義に基づいて定めた色とオブジェクトを色変換した後の前記第２の色空間における色との差分を歪みとして該歪みに対する応力を設定する、のうちの少なくとも１つである
ことを特徴とする請求項９乃至１１のいずれか１つに記載の色変換方法。
【請求項１３】
第１の色空間に存在しかつ複数のオブジェクトで構成された元画像を第２の色空間内の画像に色変換する色変換方法において、
前記元画像を構成する各オブジェクト間に関連度を設定し、オブジェクト間の色差の変化が前記関連度の強いオブジェクト間ほど小さくなるようにして前記色変換を行う
ことを特徴とする色変換方法。
【請求項１４】
前記関連度は、前記元画像のオブジェクト構造に基づいて決定する
ことを特徴とする請求項１３に記載の色変換方法。
【請求項１５】
前記元画像を構成するオブジェクトの数が３以上の場合にのみ、前記色変換を実行する
ことを特徴とする請求項１乃至１４のいずれか１つに記載の色変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１の色空間に存在する元画像を第２の色空間内へ色変換する色変換方法に関する。
【背景技術】
【０００２】
モニタ画面に表示可能な色の範囲（編集色空間）とプリンタやプロジェクタなどの出力デバイスで出力可能な色の範囲（出力色空間）とは一致しない場合が多い。そのため、モニタ画面を見ながら編集した画像を出力デバイスで出力するとモニタ画面で確認した色と異なる色で出力されることがある。そこで、編集色空間と出力色空間とのカラーマッチングを確保する技術が各種提案されている。
【０００３】
たとえば、出力デバイスの色空間をエミュレートすることで、モニタ画面上で出力時の色調を確認しながら編集可能にした編集装置がある（たとえば、特許文献１参照。）。また、再現可能な色の範囲（ガマット）に弾性変形を加えることで彩度をできるだけ維持しながら色変換する色変換方法が提案されている（たとえば、特許文献２参照。）。
【０００４】
また、使用されている色数（ノード数）を、隣り合っていない色を統合するなどのルールに従って縮約し、色数を減らして色を再配置する技術（たとえば、特許文献３参照。）、カラー画像を白黒化する際に衝突する（同一グレーレベルに変換される）色彩のグレースケール表現にテクスチャを加える技術（たとえば、特許文献４参照。）、隣接する領域で色調差が小さい場合に枠を付ける、テクスチャを加える、などの装飾を施すことによって識別性を確保する技術（たとえば、特許文献５参照。）、などもある。
【０００５】
【特許文献１】特開２００４−１３９４９６号公報
【特許文献２】特開平７−１２３２８３号公報
【特許文献３】特開平１０−１４９３４７号公報
【特許文献４】特開２００２−２１８２６３号公報
【特許文献５】特開２００７−９４５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
編集色空間内で出力デバイスの色空間をエミュレートする場合、正確なカラーマッチングは色空間の共通領域でしか成立しない。このため、出力側の色空間が小さい場合には色差を圧縮することは避けられない。たとえば、図３に示す画像Ｐは、大領域Ａ、大領域Ｂ、大領域Ｃ（背景）の要素（オブジェクト）に分けられ、大領域Ａはさらに中領域ａ１と中領域ａ２と中領域ａ３（背景）の各要素で構成され、大領域Ｂは中領域ｂ１と中領域ｂ２と中領域ｂ３（背景）の各要素で構成され、中領域ａ２にはさらに小領域ａ２１と小領域ａ２２と小領域ａ２３（背景）とで構成されるというオブジェクト構造を備えている。図２８（ａ）は、大領域Ａのオブジェクト構造と、大領域Ｂのオブジェクト構造と、大領域Ｃのオブジェクト構造を、その色度の関係について個別に表したものである。なお、小領域は図示省略してある。オブジェクト相互の位置関係はそれらの色調関係を示している。またオブジェクト同士を結ぶ実線はそのオブジェクト間の関連強度の強さを表している。これらのオブジェクトで構成される画像Ｐを編集装置のモニタ画面の有する第１の色空間Ｍ１において表すと図２８（ｂ）のようになる。この画像Ｐを第２の色空間Ｍ２を有する出力デバイスをエミュレートしてモニタ画面に表示するシステムで扱う場合、図２８（ｃ）に示すように、第１の色空間Ｍ１と第２の色空間Ｍ２の共通領域に画像Ｐを圧縮して収めることになり、オブジェクト間の色差や彩度のレンジが小さくなってしまう。
【０００７】
また、画像Ｐをガマットの弾性変形により彩度を維持しながら出力デバイスの色空間Ｍ２内へ色変換すると、図２８（ｄ）に示すように、ある方向の色差は圧縮され、別の方向には伸長されてしまい、意図しない色関係の歪みが生じてしまう。たとえば、大領域Ｂを構成する３つのオブジェクトｂ１、ｂ２、ｂ３は本来、三角形状の色配置であったものが、色空間Ｍ２へ色変換するとほぼ一直線上に並ぶような色配置となってしまい、大領域Ｂを構成するオブジェクトｂ１、ｂ２、ｂ３相互の色関係が大きく崩れている。編集者がオブジェクトｂ１、ｂ２、ｂ３の色関係に何らかの意味を持たせていたような場合には、その意図が失われた出力画像になってしまう。
【０００８】
また、特許文献３の技術では、編集者の識別意図と関わりなく、隣り合っていない色を統合するといったルールに従ってノード数を縮約するので、たとえば、領域別に色分けされた円グラフの離れた領域が同一色に統合されてしまうなど、異なる色調で表現したいオブジェクトが同一色に統合されてしまう可能性があり、色に意味がある場合に、その意味が失われてしまう場合がある。
【０００９】
また枠やテクスチャなどの装飾を施す技術は識別性を確保するために有効であるが、色変換においては、色調による識別性の確保を優先し、装飾の付加は極力控えることが望ましい。
【００１０】
本発明は、上記の問題を解決しようとするものであり、意味を持つ色調関係の崩れを少なく抑えて色変換することのできる色変換方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１２】
［１］第１の色空間に存在しかつ複数のオブジェクトで構成された元画像を第２の色空間内の画像に色変換する色変換方法において、
前記第１の色空間における２つのオブジェクト間の色差と前記第２の色空間内へ色変換した後の前記２つのオブジェクト間の色差との差分を歪みとし、この歪みを解消する方向に働く力を応力とした場合に、前記元画像を構成するオブジェクトの各々について、他のオブジェクトとの間に生じる歪みに対する応力の特性を決定し、前記応力の総和が小さくなるように前記色変換を行う
ことを特徴とする色変換方法。
【００１３】
上記発明では、各オブジェクト間に応力特性を設定し、応力の総和が小さくなるように色変換するので、応力が大きく働く応力特性を設定したオブジェクト間の色調変化を少なく抑えて、第１の色空間から第２の色空間へ色変換することができる。オブジェクトとは、画一的色変換処理を行う画像内の１要素あるいはその要素の関連ある集合のことである。たとえば、ベタ塗りや類似テクスチャで埋められた一つの領域や、背景、文字、グラフ、写真などである。
【００１４】
［２］前記応力の特性は、前記元画像のオブジェクト構造に基づいて決定する
ことを特徴とする［１］に記載の色変換方法。
【００１５】
上記発明では、オブジェクト構造に基づいて各オブジェクト間の応力特性を設定する。オブジェクト構造とは画像を構成する各オブジェクトの配置関係やつながり方などである。オブジェクト自体の属性（文字、図形、写真などの種類、フォントの種類、サイズ、カラー、モノクロなど）をオブジェクト構造の要素に含めてもよい。
【００１６】
［３］前記総和が最小になるように前記色変換を行う
ことを特徴とする［１］または［２］に記載の色変換方法。
【００１７】
上記発明では、応力の総和が最小となるように最適化される。
【００１８】
［４］前記色変換の結果、任意のオブジェクトの色調の変化量または任意の２つのオブジェクト間の前記歪みが所定の閾値を超える場合は、該色変換の可否または色変換に関する条件の変更をユーザに問い合わせる
ことを特徴とする［１］乃至［３］のいずれか１つに記載の色変換方法。
【００１９】
上記発明では、色変換によるオブジェクトの色調変化、あるいはオブジェクト間の色差の変化量（歪み）が閾値より大きい場合は、オペレータの意図しないあるいは許容範囲を超える色調変化が生じているおそれがあるので、オペレータに当該色変換の是非あるいは色変換の条件の変更を問い合わせる。条件には、たとえば、応力特性の設定に関する制約などがある。
【００２０】
［５］前記色変換する際に、所定のオブジェクトに対する色調変化を所定の色領域内に制限する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の色変換方法。
【００２１】
上記発明では、制限対象のオブジェクトが所定の色領域から外れるような色変換が防止される。たとえば、橙、赤などの色名に対応する色領域を定めておき、所定の色名に属するオブジェクトが色変換によってその色名に対応する色領域から出ないように制限する。
【００２２】
［６］前記応力の特性は、非線形である
ことを特徴とする［１］乃至［５］のいずれか１つに記載の色変換方法。
【００２３】
上記発明では、非線形にすることで色変換における色調変化を様々に高い自由度で制限、制約することができる。また、きめ細かい色調制御が可能になり、応力の総和を最小にするという手法の実現に寄与する。
【００２４】
［７］前記応力を輝度または明るさの成分に関する応力と他の成分に関する応力とに分けると共に、輝度または明るさ成分に関する応力が前記他の成分に関する応力より大きくなるようにそれぞれの応力の特性を設定した
ことを特徴とする［１］乃至［６］のいずれか１つに記載の色変換方法。
【００２５】
上記発明では、色変換によって生じる色差の変化（歪み）を、輝度または明るさの成分と、該成分を含まない（たとえば、色相など）成分とに分け、それぞれに応力特性を設定する。輝度や明るさ成分は色相や彩度などの他の成分に比べて視覚的に大きな影響を与えるので、輝度や明るさ成分の歪みに対する応力が他の成分の歪みに対する応力より大きく作用するように応力特性を個別設定すれば、資料の「見やすさ」をより良く維持して色変換することができる。
【００２６】
［８］前記色変換後に残留する応力が所定値以上となったオブジェクトに対して、その残留する応力に応じた装飾を施す
ことを特徴とする［１］乃至［７］のいずれか１つに記載の色変換方法。
【００２７】
上記発明では、変換先の色空間が非常に小さく、オブジェクト間に残留応力が残らざるを得ない場合においても、輪郭やテクスチャを付与するなどの装飾を施すことで、残留応力による識別性の低下が補填され、編集環境（第１の色空間）におけるオブジェクト設定の意図をより良く生かした資料を第２の色空間に作成することができる。
【００２８】
［９］特定のオブジェクトの色変換に関する制約条件の設定を受け付ける
ことを特徴とする［１］乃至［８］のいずれか１つに記載の色変換方法。
【００２９】
上記発明では、設定した制約条件の下で色変換が行われる。これにより、たとえば、絶対的色調そのものに意義があるオブジェクトの色調を重視することができ、より作画意図に合った色調バランスの資料を第２の色空間に作成することができる。
【００３０】
［１０］特定パターンに属するオブジェクトを検出し、その検出したオブジェクトの色変換に関して所定の制約条件を設定する
ことを特徴とする［１］乃至［９］のいずれか１つに記載の色変換方法。
【００３１】
上記発明では、たとえば、「人の顔」など特定パターンのオブジェクトを検出し、そのオブジェクトが「人の顔」として定めた所定の色領域を出ないように制約条件を自動設定して色変換が行われる。これにより、「人の顔」等、多くの人が記憶色を有するオブジェクトの色調をその記憶色から外れぬよう重視することができ、より好ましい色調の資料を第２の色空間に作成することができる。
【００３２】
［１１］第１の画像と第２の画像とを前記色変換する場合に、前記第１の画像を構成するオブジェクトの中に前記第２の画像を構成するいずれかのオブジェクトと所定以上の関連強度を有するオブジェクトがある場合は、それら所定以上の関連強度を有するオブジェクトの色変換に関して所定の制約条件を設定する
ことを特徴とする［１］乃至［１０］のいずれか１つに記載の色変換方法。
【００３３】
上記発明では、複数ページにわたる資料において繰り返し引用されるパターン等の色調を揃えるように考慮することが可能になり、より好ましい色調バランスの資料を第２の色空間に作成することができる。たとえば、複数のページの資料に会社のロゴマークなど関連強度の高い類似したオブジェクトが存在する場合に、そのロゴマークの色調が複数ページの資料内で統一されるように色変換することが可能になる。
【００３４】
［１２］前記制約条件は、（１）オブジェクトの色調変化を所定の色領域内に制限する、（２）オブジェクトの前記第１の色空間における色と色変換後の前記第２の色空間における色との差分を歪みとして該歪みに対する応力を設定する、（３）所定の定義に基づいて定めた色とオブジェクトを色変換した後の前記第２の色空間における色との差分を歪みとして該歪みに対する応力を設定する、のうちの少なくとも１つである
ことを特徴とする［９］乃至［１１］のいずれか１つに記載の色変換方法。
【００３５】
上記発明では、（１）の場合、色変換後の色が設定した色領域から外へ出ないように制約される。（２）の場合、元の色から色調が大きく外れないように制約される。（３）の場合、たとえば、色名に対応する色領域から出ないように制約する。制約条件として例示の手法を用いることにより、簡単に条件付加を行うことができる。
【００３６】
［１３］第１の色空間に存在しかつ複数のオブジェクトで構成された元画像を第２の色空間内の画像に色変換する色変換方法において、
前記元画像を構成する各オブジェクト間に関連度を設定し、オブジェクト間の色差の変化が前記関連度の強いオブジェクト間ほど小さくなるようにして前記色変換を行う
ことを特徴とする色変換方法。
【００３７】
上記発明では、オブジェクト間に関連度を設定し、関連度の強いオブジェクト間の色差の変化が少なくなるように色変換する。たとえば、オブジェクト間の色調変化によってそのオブジェクト間の識別性が低下する度合いの高いものほど関連度を高く設定すれば、識別性が低下しないように色変換することができる。
【００３８】
［１４］前記関連強度は、前記元画像のオブジェクト構造に基づいて決定する
ことを特徴とする［１３］に記載の色変換方法。
【００３９】
［１５］前記元画像を構成するオブジェクトの数が３以上の場合にのみ、前記色変換を実行する
ことを特徴とする［１］乃至［１４］のいずれか１つに記載の色変換方法。
【００４０】
上記発明では、オブジェクトが３以上存在することによって応力特性あるいは関連度を２種以上定義することが可能になる。
【発明を実施するための最良の形態】
【００４１】
以下、図面に基づき本発明の実施の形態を説明する。
【００４２】
図１は、本発明の実施の形態に係る色変換方法を使用して色変換を行う画像処理システム１０の構成を示している。画像処理システム１０は、通信部１１ａや撮像部１１ｂ、スキャナ部１１ｃなど１または２以上の任意の画像入力デバイスで構成された画像入力部１１と、この画像入力部１１によって取得した画像を各種フォーマットの画像ファイルにして記憶する画像記憶部１２と、画像記憶部１２に記憶されている画像の編集機能や色変換のための条件の設定機能などを果たす編集処理部１３と、編集中や編集前後の画像などを表示する第１の画像出力デバイスとしてのモニタ装置１４と、画像編集に係る各種の操作や色変換のための条件の入力操作などをオペレータから受ける指示入力部１５と、設定された条件に従って色変換を実行する画像処理部１６と、色変換後の画像を可視化して出力する第２の画像出力デバイス１７とから構成される。
【００４３】
画像記憶部１２には、たとえば、ハードディスク装置など大容量の記憶装置が使用される。編集処理部１３および画像処理部１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを主要部として構成される。ＲＯＭに格納されたプログラムに従ってＣＰＵが各種の処理を実行することで、編集処理部１３および画像処理部１６の機能が実現される。モニタ装置１４は、カラーのディスプレイ装置で構成される。指示入力部１５は、キーボード、マウスなどで構成される。第２の画像出力デバイス１７は、プリンタ１７ａや投影型ディスプレイ１７ｂなど画像を可視化する１または２以上の任意のデバイスでよい。
【００４４】
モニタ装置１４の表示可能な色領域を第１の色空間、第２の画像出力デバイス１７の可視化出力可能な色領域を第２の色空間とする。第１の色空間と第２の色空間は再現可能な色領域が異なっている。
【００４５】
指示入力部１５を通じてオペレータから処理対象に指定された画像ファイルは画像記憶部１２から読み出され、編集処理部１３に取り込まれてモニタ装置１４に表示される。オペレータはモニタ装置１４上の画像を見て色の確認や各種の編集操作を行う。指示入力部１５から編集操作が入力されると、画像処理部１６はモニタ装置１４に表示されている画像（画像ファイル）をその入力された編集操作に従って編集・加工する。さらに画像処理部１６は編集・加工の終了した画像ファイル（第１の色空間に存在する元画像）を指示入力部１５から入力された条件に従って第２の色空間内の画像に色変換した後、第２の画像出力デバイス１７へ出力し、第２の画像出力デバイス１７はその画像を可視化出力する。
【００４６】
図２は、画像処理部１６が行う色変換に係る処理の概略を示している。まず、色変換の対象となる元画像の画像情報（画像ファイル）を画像記憶部１２から取得する（ステップＳ１０１）。次に、その元画像をオブジェクトに分割し、オブジェクト構造を定義する。
【００４７】
ここで、オブジェクトとは、画一的色変換処理を行う画像内の１要素のことである。典型的にはベタ塗りや類似テクスチャで埋められた一つの領域や、類似フォントで記載された一連の文があるが、いくつかの構成要素で成り立つ１領域、例えば肌色のベタ塗りと点、線要素の結合で表された顔パターン等を一つのオブジェクトとして設定しても良く、いくつかのオブジェクトをグループ化し、より大領域（あるいは上位階層）のオブジェクトと定義しても良い。
【００４８】
なお、自然画像等の領域内に広大な画像階調を有する画像を処理対象とする際にもオブジェクトを定義する。この場合のオブジェクトは単一処理を行う領域ではなく、自然画像内の代表的な画像階調を示し、該代表値を用いて色変換条件を定めた後、画像階調の変換条件を定める。自然画像のオブジェクトについては後に詳述する。
【００４９】
図３に示す元画像Ｐは、大領域Ａ、大領域Ｂ、大領域Ｃ（背景）の３つのオブジェクトに大きく分割され、さらに大領域Ａは中領域ａ１と中領域ａ２と中領域ａ３（背景）の各オブジェクトに分割され、大領域Ｂは中領域ｂ１と中領域ｂ２と中領域ｂ３（背景）の各オブジェクトに分割され、さらに中領域ａ２は小領域ａ２１と小領域ａ２２と小領域ａ２３（背景）の各オブジェクトに分割される。小領域をさらに細かくオブジェクトに分割してもかまわない。たとえば、どこまで分割するかを設定変更可能にしておき、設定された階層まで分割を行うようにすることができる。
【００５０】
図４は、図３に示す元画像Ｐのオブジェクト構造を示している。各々のオブジェクトが階層構造をとっている。実際には上位にあるオブジェクトに完全には包含されない下位オブジェクトも考えられ、このような場合には上位階層から中間階層を跳び越して直接関連線が引かれる関係も定義できる。応力の総和は各々の関連線（オブジェクト間を結ぶ線）について求めて加算すればよく、関連線の数に特段の制限は無い。
【００５１】
図２のステップＳ１０２における「オブジェクトの分割」は、ハードコピーの原稿をスキャナ部１１ｃや別体の複合機のスキャン機能を利用して読み取った場合等、画像情報が構造化されていない場合に行う作業であり、色変換の対象となる元画像がすでにオブジェクト構造で構築されている場合（たとえば、プレゼンテーション作成ソフトで配置された各種パターン、フォント等）は必要なく、すぐにオブジェクト構造を定義する作業に取り掛かることができる。なお既に構造化されている場合であっても、領域の一部が構造化されていない情報である場合はその領域をオブジェクトに分割する処理が必要となる。
【００５２】
オブジェクトの分割および構造化（ステップＳ１０２）が完了すると、続いて、関連オブジェクト間の歪みに対する「応力特性」を定義し決定する（ステップＳ１０３）。歪みは、対象となる２つのオブジェクト間の色差の変化を示す指標として定義する。すなわち、第１の色空間における２つのオブジェクト間の色差と該２つのオブジェクト間の第２の色空間内へ色変換した後の色差との差分を歪みとする。この歪みを解消する方向に働く力を応力とし、元画像を構成するオブジェクトの各々について、他のオブジェクトとの間に生じる歪みに対する応力特性を決定する。
【００５３】
図５は、歪みの一例をＣＩＥＬＡＢ表色系にて示したものである。色変換前の第１の色空間におけるオブジェクトａ１とオブジェクトａ２の色差をΔＥ、第２の色空間内へ色変換後のオブジェクトａ１とオブジェクトａ２の色差をΔＥ´としたとき、歪みはａｂｓ（ΔＥ−ΔＥ´）で表わされる。なおａｂｓ（数値）はその数値の絶対値を表す。図５の例では、色変換の前後でオブジェクトａ１の色は変化せず、オブジェクトａ２のみ色が変化している。したがって、色変換によりオブジェクトａ２の移動した距離が歪みＱとなっている。
【００５４】
ΔＥはＣＩＥＬＡＢ色空間の座標値を元に算出されるが、色差の計算方法はこれに限定されるものではなく、ΔＥ００等、別に提案されている計算方法や、ＣＩＥＬｕｖ等、各種の均等色空間を元に算出することができ、また、ＣＩＥＣＡＭ０２等の「色の見え」に関するモデルを適用した色空間で算出しても良い。さらに、人の視覚特性は明るさ変化に対する空間分解能力が高いことから、明るさ関係の維持がより重要な意味を持つことが考えられる。明るさ方向の座標値の変化を本来の均等色空間の定義より大きく設定した仮想色空間を仮定し、その中でΔＥを算出して、明るさ方向の変化をより大きな歪みとして捉え、オブジェクト間の明るさ関係をより強く維持するようにしてもよい。
【００５５】
図６は、各種の応力特性を例示している。横軸は歪み、縦軸は応力としてグラフ化している。図６（ａ）は正負の歪みに対してリニアな応力特性を例示したものである。すなわち、バネのような単純な弾性を定義したものであり、直線の傾きが大きいほど、応力が強い（色差が維持されやすい）特性となる。
【００５６】
応力特性は非線形であってもかまわない。たとえば、図６（ｂ）は伸び方向（正の歪み、色差が大きくなる方向）より縮み方向（負の歪み、色差が小さくなる方向）に対してより大きな応力を与えるようにした応力特性の一例を示している。つまり色差拡大方向は容認する応力特性である。また、へき力のみで定義してもよい。なお、応力特性は、実用上は歪み値を入力としその歪み値に対する応力値を出力とするルックアップテーブルで構成することができる。
【００５７】
さらに応力を、オブジェクトの色（輝度成分を含む）を構成する成分のうち輝度または明るさの成分に関する応力と他の成分に関する応力とに分けると共に、輝度または明るさ成分の歪みに関する応力が他の成分に関する応力より大きくなるようにそれぞれの応力の特性を個別に設定してもよい。図６（ｃ）は輝度方向の歪みに対する応力特性２１と、他の成分（輝度成分を含まない色相などの成分）に対する応力特性２２とを個別に設定し、かつ輝度方向の歪みに対する応力が輝度成分を含まない色相などの成分に対する応力より大きくなるように設定した場合の応力特性２１、２２の一例を示している。
【００５８】
人の視覚特性は明るさ変化に対する空間分解能力が高いことから、明るさ関係の維持がより重要な意味を持つことが考えられる。従って、図６（ｃ）のように、明るさ方向と色差（本図においては明るさを伴わない「色相」や「彩度」方向の変化を表す）に別々の応力特性を与えることもでき、これによってオブジェクト間の明るさ関係をより維持する特性を付与することができる。
【００５９】
成分毎の応力特性を設定することで色差全体として非線形の応力特性が設定される。成分別のように複数の歪みを定義した場合、各々の歪みから応力を算出し、合算すればよい。なお、後述する最適化の手法（図１８、１９）のように繰り返し検証を行う場合、ベクトル、スカラー、どちらの加算でも実用上問題は生じない。
【００６０】
このほか、応力特性は種々の形に変えることができ、ある閾値を境に急に応力が大きくなってもよく、この形を用いて種々の障壁を定義することができる。すなわち、色変換する際に、所定のオブジェクトに対する色調変化を所定の色領域内に制限することができる。たとえば、色の属性として「色名」を定義し、その色名として認識される色領域の境界に応力の障壁を設け、障壁内の色を有するオブジェクトが障壁の外の領域へ色変換されないように制限してもよい。
【００６１】
図７（ａ）は、色名障壁の一例であり、色領域２５は橙色の範囲を定義したものであり、色領域２６は赤色の範囲を定義したものである。例えば赤い色の場合、ある範囲の色調変化は認識できたとしても色としては「赤である」という範囲が存在する。この範囲を超え、たとえば「橙である」という色調に変化させることは避けた方が良い場合があり、そのような場合に障壁を定義する。
【００６２】
このような障壁を得るための応力特性の一例を図７（ｂ）に示す。歪みがある値を超えるところで応力が急増あるいは無限大となるようにすることで、障壁が形成される。かかる応力特性を当該のオブジェクトについて定義することで、必要なオブジェクトに対してのみ、障壁を機能させることができる。このように色名障壁を設けることにより、白調整の自由度を保ちつつ、「赤」から「橙」などオブジェクトの色名が変わるような変化を未然に防止することができ、より自然な色調バランスの資料を作成することができる。
【００６３】
例えば赤い色の場合、ある範囲の色調変化は認識できたとしても色としては「赤である」という範囲が存在する。この範囲を超え、例えば「橙である」という色調に変化させることは避けた方が良い場合があり、そのような場合に障壁を定義する。実際には色変換の結果が障壁を乗り越えるポイントで急激に応力が大きくなる、図７（ｂ）のような応力特性を当該のオブジェクトについて定義することで、必要なオブジェクトに対してのみ、障壁を機能させることが出来る。
【００６４】
応力特性の設定基準には次のようなものがある。  
（１）連結しているものは応力が強い
（２）輝度差のあるものは応力が強い
（３）輪郭のある領域は輪郭外との応力が弱い
【００６５】
図８は、図４に示すオブジェクト構造を有する画像Ｐの各オブジェクト間に応力特性を設定した状態を模式的に示している。図中の一点差線は包含関係を、実線はオブジェクト相互間の応力特性を示し、太い実線ほど歪みに対する応力が大きいことを示している。なお、オブジェクト間の微小な応力については記載を省略してある。
【００６６】
応力特性の設定の詳細は後述するが、たとえば、図３に示す画像Ｐの大領域Ｃと大領域Ｂのように、一方のオブジェクトが明確な輪郭で囲まれている場合には、両者の色調関係が多少変化しても資料としての識別性に損失は生じない。そのため、大領域Ｃと大領域Ｂの間には歪みに対する応力を大きく設定する必要はなく、図８に示すように、大領域Ｃと大領域Ｂの間は弱い応力で結ばれる。
【００６７】
図２に戻って説明を続ける。次に画像処理部１６は、元画像を構成するオブジェクトの各々について、他のオブジェクトとの間の、第１の色空間における色差を算出する（ステップＳ１０４）。なおステップＳ１０４の処理の実行位置は、ステップＳ１０２とステップＳ１０３の間に移動されてもかまわない。
【００６８】
次に、使用される第２の画像出力デバイス１７の色空間情報（第２の色空間で表現可能な色領域の範囲を示す情報）を取得する（ステップＳ１０５）。
【００６９】
次に、元画像の各オブジェクトを第２の色空間内へ色変換した場合の応力の総和が最小となるように元画像の各オブジェクトを第２の色空間に配置し（ステップＳ１０６）、この配置結果に基づいてする元画像の画像情報を色変換して（ステップＳ１０７）処理を終了する（エンド）。
【００７０】
上記した本実施の形態の色変換方法について、文字、写真、グラフなどを含む図９の元画像Ｐ２を処理対象とした場合を例にしてさらに詳しく説明する。
【００７１】
図１０は、図９に示す元画像Ｐ２のオブジェクト構造を示している。文字、グラフ（パターン）、連続階調オブジェクトの写真、が大きな構成要素として含まれる例である。なお、上位階層におけるオブジェクトの色調は次のように扱う。  
（１）隣接するものが単一オブジェクトであれば、この色調を利用する。  
（２）背景と各種文字のような場合は各々の要素について応力を考慮する→計算上、背景と文字を同一領域内のオブジェクトと考える。  
（３）写真など連続階調の場合は、隣接領域近傍画素の平均値を用いる。
【００７２】
図９に示すように、大領域Ａの背景３１と写真３２との間には明確な輪郭がないので、かかる点からすれば、背景３１と写真３２のオブジェクト間は「応力強い」の関係にあるべきものである。しかしながら写真には階調があり、写真領域近傍の階調が広い範囲に分布する場合は、写真領域そのものが、断片的にではあっても、明確な輪郭を有していると考えられる。そこで、本実施の形態では背景３１と写真３２との間の応力特性３３を低く設定するようにしている。
【００７３】
次に、図９に示す写真３２のような連続階調領域をオブジェクト分割する方法を例示する。ここでは、連続階調から所定の規則によっていくつかの代表点を設定し、各代表点をそれぞれオブジェクトとして扱い、応力を設定する、という分割法を用いる。以下詳細に説明する。
【００７４】
図１１は、連続階調領域に関する第１の分割法によるオブジェクト分割処理の流れを示している。画像の色調ヒストグラム（直接的には３次元空間のヒストグラムとなるが、たとえば画像情報を主成分分析し、寄与率の大きな１ないし２軸を用いて主成分ヒストグラムを作成しても良い）を作成し（ステップＳ２０１）、その中から高密度の領域（ヒストグラムのピーク）を検出し（ステップＳ２０２）、多く存在する場合はその代表点（効率的には外殻に位置するもの）を抽出して（ステップＳ２０３）オブジェクトの色調とする。抽出したオブジェクト間の応力特性は均一に（各オブジェクト間に同一の応力特性を）設定する。
【００７５】
図１２は、連続階調領域の色調のヒストグラム（２次元）から検出された各ピークを色座標上に黒丸で示したものである。また、検出されたピークのうち外殻に位置するものを破線で結んで示してある。このように、ピークが多く存在する場合には外殻に位置するピークが代表点（連続階調領域を構成するオブジェクト）に設定される（ステップＳ２０４）。
【００７６】
図１３は、連続階調領域に関する第２の分割法によるオブジェクト分割処理の流れを示している。第２の分割法では、色調ヒストグラムの「裾」を取り囲む凸包を求め、凸包の頂点を求め、該頂点をオブジェクトの代表点とする。詳細には、画像の色調ヒストグラムを作成し（ステップＳ２２１）、その中から所定密度以上の領域を抽出し（ステップＳ２２２）、その抽出した各領域の凸包を定義し（ステップＳ２２３）、各凸包の頂点を抽出してオブジェクトとし(ステップＳ２２４)、抽出したオブジェクト間の応力特性を均一に（各オブジェクト間に同一の応力特性を）設定する。
【００７７】
どちらの分割法においても、実際の画像情報は連続階調であるから、画像内オブジェクトの明確な境界は存在せず、色変換の実画像への適用も明確な境界を設けて行うことは出来ない。そこで、図１４に示すように、実画像情報の近傍にある複数のオブジェクトの色調変化に、処理対象画像情報とオブジェクト各々との距離に応じた重み付け係数を付与し、該重み付け係数とオブジェクトの変換値を元に処理対象画像情報の色変換を行うようにしてもよい。
【００７８】
次に、追加の応力設定について説明する。
【００７９】
応力特性をオブジェクト相互間のみに定義した場合、応力の総和が最低となる点が一義的に定まらない場合がある。オブジェクトの色分布に対して出力デバイスの色再現域（第２の色空間）が非常に大きな場合（どこに配置しても応力の総和が０になる場合）や、単純な多角形で示されるようなモデルでは応力が小さくなる配置パターンがいくつか存在する場合がある。
【００８０】
そのような場合に、図１５に示すように、編集環境（第１の色空間４１）の原色点４５ａ〜４５ｆや、編集環境における、対象オブジェクト自身の色度点（初期色）４４との間に応力特性（図中、双方向の矢印で表示）を定義すると、上記のような条件においても応力の総和が最小となる点４３を第２の色空間４２内で安定して（一義的に）求めることができるようになる。なお、原色点４５ａ〜４５ｆや対象オブジェクト自身の色度点４４との間に生じる歪みに対して発生させる応力は小さくてかまわない。
【００８１】
次に、画像をオブジェクトに分割する処理を図１６に基づいて説明する。まず、分割対象の画像（画像データ）を取得し（ステップＳ３０１）、該画像データがすでにオブジェクト構造で構築されている（たとえば、プレゼンテーション作成ソフトで配置された各種パターン、フォント等）か否かを判別する（ステップＳ３０２）。構造化されている場合は（ステップＳ３０２；Ｙｅｓ）、その構造化されている各領域をオブジェクトとし、それぞれの領域にラベリングを行う（ステップＳ３０３）。既に構造化されている他にさらに構造化の必要な領域があるか否かを判断し、さらなる構造化の必要がない場合は（ステップＳ３０４；Ｎｏ）、ステップＳ３０７へ移行する。
【００８２】
画像がオブジェクト構造で構築されていない場合（ステップＳ３０２；Ｎｏ）もしくはさらに構造化する必要がある場合は（ステップＳ３０４；Ｙｅｓ）、処理対象の画像について、エッジ情報を元に輪郭を抽出し（ステップＳ３０５）、閉領域を検出してラベリングを行い、過剰に細分化された領域の整理を必要に応じて行ってオブジェクトと定義する。（ステップＳ３０６）。そして、各々のオブジェクトの連接および包含関係、処理対象の画像が既にオブジェクト構造で構築されている場合にはグループ化の定義や図面貼り付け、レイヤー構造情報等からツリー図（たとえば、図４）の階層および連結関係（オブジェクト構造）を定義する（ステップＳ３０７）。
【００８３】
オブジェクトに分割する方法は上記の方法に限定されるものではなく、一般的な任意の領域抽出処理を使用してもかまわない。
【００８４】
次に、応力特性を決定する処理について具体的手法を説明する。図１７は、応力特性を決定する処理の概略を示している。なお、当該処理の前に、前述した方法等により、オブジェクト分割およびツリー図の作成（オブジェクト構造の特定）が行われる。応力特性を決定する処理では、つながりのあるオブジェクト（関連線で結ばれたオブジェクト間）について、境界の輪郭有無、オブジェクトの接触状態など複数の評価パラメータにより点数付けし、その総点数を元に応力特性（歪みに対する応力の強さ）を定義する。
【００８５】
詳細には、オブジェクト構造のツリー図において連結のある任意の２つのオブジェクトを評価対象に選択し、該評価対象のオブジェクト間の関連強度を評価する（ステップＳ４０１）。続いて各オブジェクトの属性に対応した基本点を付与する（ステップＳ４０２）。たとえば、写真ならば３点、グラフならば５点、標題ならば７点を基本点として与える。各オブジェクトの属性に対して与える基本点の値は予め設定されて画像処理部１６の図示しない不揮発メモリなどに記憶されている。
【００８６】
次に、評価対象のオブジェクト間の境界に輪郭（輪郭線）が存在するか否かを調べ、輪郭がある場合は（ステップＳ４０３；Ｙｅｓ）、輪郭の強さに応じて点数を付与する（ステップＳ４０４）。輪郭の強さは、たとえば、輪郭線の太さ、色、線種などによって評価する。
【００８７】
次に、評価対象のオブジェクト同士の接触がある場合は（ステップＳ４０５；Ｙｅｓ）、その接触距離の長さに応じた点数を付与する（ステップＳ４０６）。接触距離が長いほど、評価対象オブジェクト間の識別力を確保する必要が生じるので点数を高くする。
【００８８】
評価対象のオブジェクトが文字と背景の関係にある場合は（ステップＳ４０７；Ｙｅｓ）、文字の属性（装飾の有無、フォント種、線の太さなど）に応じて点数を付与する（ステップＳ４０８）。背景と文字との識別性が低い場合ほど点数を高くする。ここでは、装飾文字の場合、テクスチャなどで識別性が確保される前提から背景と近い色の文字色が使用されるケースが多いことに鑑み、装飾文字の場合は高い点数を付与するようにしている。
【００８９】
次に、評価対象のオブジェクト同士に色調関係があれば（ステップＳ４０９；Ｙｅｓ）、その色調関係の種類に応じた点数を付与する（ステップＳ４１０）。ここでは、白黒は１点、パレット色は３点、フルカラーの場合は５点を付与する。フルカラーの場合はパレット色に比べて近似した色が使用される可能性があるため、色変換による色調変化が生じ難いように、点数を高くしてある。
【００９０】
その後、各評価パラメータにて付与した点数を合計し（ステップＳ４１１）、その合計点に応じた応力特性を当該評価対象のオブジェクト間に設定する（ステップＳ４１２）。
【００９１】
連結関係のあるすべてのオブジェクト間について上記の評価が終了したか否かを調べ、未終了の場合は（ステップＳ４１３；Ｎｏ）、評価対象を次のオブジェクトの組み合わせに切り替えて（ステップＳ４１４）ステップＳ４０１以降の処理を行う。連結関係のあるすべてのオブジェクト間について評価が終了した場合は（ステップＳ４１３；Ｙｅｓ）、処理を終了する（エンド）。
【００９２】
なお、評価パラメータは上記に限定されず、いくつあってもよく、そのパラメータの特性に応じて適宜加点する点数を定めればよい。たとえば、次のような項目を評価してもよい。  
（１）当該オブジェクトの内部コントラスト；この場合、コントラストが高いほど応力は小さくてよい、すなわち、コントラストが低いほど付与する点数を高くする。  
（２）当該オブジェクトの特殊性；たとえば、顔パターンなど視覚識別性の高いものの応力は小さくてよい（顔パターンなどの場合に付与する点数を少なくする、あるいは減点する。）。  
（３）連接関係；あるオブジェクトが多数のオブジェクトと接している場合、多様なオブジェクトに囲まれた当該オブジェクトの識別性が高まると考えられるので、応力は小さくてよい。すなわち、接触するオブジェクトが少ない場合は付与する点数を高くする、あるいは接触するオブジェクト数が多いほど減点するようにする。  
（４）オブジェクト形態；たとえば、頂点のある形、独立性の高い形の応力は小さくてもよい。
【００９３】
複数用意された評価パラメータのうちのどれを使用するかを選択可能に構成されてもよい。たとえば、複数の評価パラメータを含む評価パラメータ群を複数種類設定しておき、文書パターン（営業報告書／投資家向けＩＲ／学会発表など文書の種類）やオペレータの好みによっていずれの評価パラメータ群を使用するかを選択可能に構成されてもよい。また、ユーザが任意の評価パラメータや評価パラメータ群を設定できるようにするとよい。
【００９４】
また、顔パターンなど予め定めた特性を有するパターンを自動抽出し、これを１つのオブジェクトとし、該オブジェクトの色調変化が制限されるように該オブジェクトに対して制約条件を自動設定するように構成されてもよい。たとえば、「人の顔」に対する色領域を予め設定しておき、顔パターンとして抽出されたオブジェクトに対して、「人の顔」に対する色領域から外れないような障壁の応力特性を自動設定するように構成されてもよい。
【００９５】
次に、デバイスの色空間情報の求め方について説明する。第１の画像出力デバイス１４や第２の画像出力デバイス１７などのデバイスの色空間は、汎用のＩＣＣプロファイル作成ツールと測色器を用いて取得することができる。
【００９６】
また、たとえば、以下の手法で簡易的に求めて利用することもできる。  
（ａ）原色（たとえば、Ｙ（イエロ）、Ｍ（マゼンタ），Ｃ（シアン）、Ｋ（ブラック））の特性を基に、濃度加法則やノイゲバウア方程式（特開２００３−２７６３４０号公報など参照）を解き、色域の外殻を概算する。  
（ｂ）スクリーン投影型のプロジェクタにおいては、ＲＧＢの現職に白色フレア（白色スクリーンから反射する室内散乱光）を加算したモデルから求める。
【００９７】
次に、応力の総和を最小にする方法を説明する。１つの画像には複数のオブジェクトがあり、各々の間に様々な応力特性が定義されている。応力の総和が最小になる条件は公知の数学的、あるいは物理的、解析的手法で求めればよい。
【００９８】
図１８は、初期条件からの試行錯誤で応力の総和が最小となる最適解を求める手法を示している。該方法の概要は次のとおりである。従来例に則り色変換を行い、その場合の応力の総和を求める。次に応力ベクトルの方向にオブジェクトの変換値を移動させ、再び応力の総和を求める。これを繰り返し、応力の総和が充分小さくなった、あるいは１サイクルあたりの総和の減少量が小さくなった時点で実用的最適解が得られたとする。
【００９９】
より詳細には、従来から使用されているいずれかの方法で色変換を行い（ステップＳ５０１）、該色変換により生じたオブジェクト相互間の歪み量を算出する（ステップＳ５０２）。そして、各オブジェクト間に定義した応力特性に基づき、各歪み量に対応する応力を算出する（ステップＳ５０３）。これらの応力の総和を求め、前回求めた応力の総和からの減少量を算出する（ステップＳ５０４）。なお、初回は減少量の算出はパスする。
【０１００】
減少量が所定値以下でない場合もしくは初回の場合は（ステップＳ５０５；Ｎｏ）、オブジェクト各々について応力のかかる方向に色調をわずかに変化させて（ステップＳ５０６）ステップＳ５０２に戻る。なお障壁や色域境界では摩擦係数０で滑るものとして移動方向を計算する。
【０１０１】
減少量が所定値以下となった場合は（ステップＳ５０５；Ｙｅｓ）、最適解が見つかったとして処理を終了する。
【０１０２】
ただし、上記の処理では応力の総和に極小値が多数存在する場合、これらにトラップされて最小値（最適値）が見い出せない場合がある。そこで、「初期値をいくつか用意する」、「ある確率で色調変化にランダムな変化を与える」といった手法で極小トラップからの脱出を図ることも有効である。
【０１０３】
図１９は上記改良を施した場合の処理の流れを示している。複数の初期条件から一つの条件を選択する（ステップＳ５２１）。次にその初期条件を用いて通常の色変換（周知の任意の方法でよい）を実施する（ステップＳ５２２）。該色変換により生じたオブジェクト相互間の歪み量を算出し（ステップＳ５２３）、各オブジェクト間に定義した応力特性に基づき、各歪み量に対応する応力を算出する（ステップＳ５２４）。これらの応力の総和を求め、前回求めた応力の総和からの減少量を算出する（ステップＳ５２５）。初回は減少量の算出はパスする。
【０１０４】
減少量が所定値以下でない場合もしくは初回の場合は（ステップＳ５２６；Ｎｏ）、オブジェクト各々について応力のかかる方向に色調をわずかに変化させる（ステップＳ５２７）。なお障壁や色域境界では摩擦係数０で滑るものとして移動方向を計算する。また、所定回数に１回の割合で色調をランダムに変化させて（ステップＳ５２８）ステップＳ５２３に戻る。
【０１０５】
減少量が所定値以下となった場合は（ステップＳ５２６；Ｙｅｓ）、変換結果が適切となった場合または充分繰り返した場合を除き（ステップＳ５２９；；Ｎｏ）、初期条件を変更して（ステップＳ５３０）、ステップＳ５２１に戻り、処理を継続する。変換結果が適切となったまたは充分繰り返した場合は(ステップＳ５２９；Ｙｅｓ)、本処理を終了する（エンド）。
【０１０６】
図１９の処理では、最終解と最良解は一致しない（試行錯誤の途中で最良解が出る）場合も考えられる。そのため、図１９では記載を省略してあるが、試行錯誤中の最適解は常に保持しておき、充分繰り返した後に、保持されている最適解同士を比較してより良い最適解を求めるようになっている。
【０１０７】
以上のように応力の総和が最小となるように色変換を施した結果、応力がゼロになるケースもあるが、応力が残る場合もある。この残った応力（これを、残留応力とする）のうち大きなものは、当該残留応力の作用するオブジェクト間の色調関係を狂わせるので識別性低下の要因になる。そこで、予め定めた閾値以上の残留応力がオブジェクト間に残った場合は、そのオブジェクトに対し、残留応力に相当する分の装飾を施して必要な識別性を確保する。
【０１０８】
装飾には大別してオブジェクトに輪郭を与えるもの、オブジェクト領域に視認可能なテクスチャを付加するものがある。どちらを採用するかは、元々のオブジェクト領域の輪郭有り無しで選択すると良い。
【０１０９】
なお、本来、色差による領域識別と、テクスチャや輪郭による領域識別とは視覚的に異なるものであるので同一視はできないが、観察条件（概略の観察距離、環境および画像の明るさ）が特定できる条件では、色差ΔＥを有するパターン（オブジェクト）同士の識別性と同等の識別性を有するテクスチャを、官能評価により統計的に定めることができる。
【０１１０】
図２０は、色差ΔＥと輪郭およびテクスチャの構造の強さとの関係を官能評価により取得してグラフ化したものの一例である。テクスチャの構造の強さとは、たとえば、テクスチャとなる模様の濃淡差の大きさなどである。なお、テクスチャや輪郭の効果は、観察状態における構造の視覚コントラストに大きく影響を受け、構造が過度に微細化（空間周波数が高い）した状態では効果が大きく損なわれる。このため画像の観察条件を推定し、効果のある空間周波数特性のパターンを有するテクスチャや輪郭を用いることが好ましい。
【０１１１】
図２１は、残留応力を装飾に変換する処理の流れを示している。事前準備として、図２０に示すような、色差と装飾パターンとの関係を官能評価で取得しておく（ステップＳ６００）。以後の処理は、残留応力が所定の閾値以上のオブジェクトに対して行う。まず、残留応力の解消対象となっている一組（２個）のオブジェクトについて、残留応力の必要解消量とそのオブジェクト間に定義されている応力特性とから、解消すべき色差（歪み）を算出する（ステップＳ６０１）。またそのオブジェクトの構造（輪郭と内部テクスチャの強さの関係）を評価する（ステップＳ６０２）。そのオブジェクトが輪郭を有するなど、「輪郭が強い」と評価した場合は（ステップＳ６０３；Ｙｅｓ）、解消すべき色差に対応する強さのテクスチャを事前準備した図２０のグラフなどから求め、その求めたテクスチャを解消対象のオブジェクトの一方に付与して（ステップＳ６０５）処理を終了する。「輪郭が強い」と評価しない場合は（ステップＳ６０３；Ｎｏ）、解消すべき色差に対応する強さの輪郭を事前準備した図２０のグラフなどから求め、その求めた輪郭を解消対象のオブジェクトの一方に付与して（ステップＳ６０４）処理を終了する。
【０１１２】
なお、装飾は、装飾されるオブジェクトに関連する全てのオブジェクトとの間に影響を与えるから、原則として、オブジェクトに定義されている応力特性の数の少ない方（関連するオブジェクトの少ない方）、あるいは空間的に、他に包含される方、に施すのが妥当である。
【０１１３】
次に、色変換に関してオペレータから追加の指示（変換オプションの設定）を受ける処理について説明する。
【０１１４】
本発明による色変換で、オブジェクトの色調変化が大きくなった場合に、オペレータにメッセージを表示し、追加の指示を求めるようにする。図２２は、色変換に関する追加の指示をオペレータから受け付ける処理の流れを示している。前述した本発明の手法を用いて応力の総和が最小となるように色変換する色調を決定した後（ステップＳ６２１）、該色変換により生じた色調変化量の中の最大値が所定の許容値を超えるか否かを判断する（ステップＳ６２２）。すなわち、色変換による任意のオブジェクトの色調の変化量または任意の２つのオブジェクト間に生じた歪みが所定の閾値（許容値）を超えるか否かを判断する。
【０１１５】
許容値以下の場合は（ステップＳ６２２；Ｎｏ）、処理を終了する（エンド）。許容値を超える場合は（ステップＳ６２２；Ｙｅｓ）、モニタ装置１４に、図２３に例示するような、メッセージ５１と、色変換した結果のシミュレーション画像５２と、色変換に関する追加の指示をオペレータから受けるための操作ボタン５３などを含む指示入力画面５０を表示する（ステップＳ６２３）。図２３の指示入力画面５０の場合、追加の指示の選択肢（変換オプション）として、
（１）同一色名範囲に制限、
（２）元の色調を重視、
（３）最大限色調維持、
の３つの選択肢が表示されている。
【０１１６】
オペレータは編集環境の色調を保持したいなど色調変化を少なく抑えたいオブジェクトがある場合は、シミュレーション画像５２の当該領域をクリックして選択し、変換オプションをラジオボタンで選択し、再変換釦５３ａを押下する。
【０１１７】
上記操作がなされた場合は（ステップＳ６２４；Ｙｅｓ）、選択されたオブジェクトに対して選択された変換オプションに対応する制約条件が設定されて（ステップＳ６２５）ステップＳ６２１へ移行し、該制約条件の下で応力の総和が最小となるように色変換が再実行される。続行釦５３ｂが操作されると（ステップＳ６２４；Ｎｏ）、オペレータからの追加の指示を受ける処理は終了する（エンド）。この場合、現在の色変換の状態（シミュレーション画像５２の状態）で第２の画像出力デバイス１７による出力が実行される。
【０１１８】
たとえば、図２３の指示入力画面５０にて「同一色名範囲に制限」の変換オプションが選択されると、図７に示すように、色名毎の色領域２５、２６に対応する障壁（図７ｂのような応力特性）が制約条件として設定される。また、図２３の指示入力画面５０にて「元の色調を重視」の変換オプションが選択されると、各オブジェクトに対してそのオブジェクトの第１の色空間における色度点（初期色）との間に応力特性が設定され、初期色との色調差が抑制される。「最大限色調維持」の変換オプションが選択されると、初期色との間により大きな応力が作用するように応力特性が設定される。
【０１１９】
オペレータから受け付ける変換オプション（色変換に関する条件）は例示したものに限定されず、他の種類の条件であってもかまわない。
【０１２０】
このように、色変換の結果生じた任意のオブジェクトの色調の変化量または任意の２つのオブジェクト間の歪みが許容値を超える場合に、該色変換の可否または色変換に関する条件の変更をオペレータに問い合わせるので、オペレータの意図しない色変換の実施が防止される。また、  指示入力画面５０のような画面にて変換オプションを列挙し、選択指示を受けるようにしたので、容易にオペレータの指示を反映した色変換を行うことができ、非常に特性差の大きなデバイス間の色変換においても、簡単に効果的な資料作成が可能になる。
【０１２１】
次に、複数ページの画像を処理する場合について説明する。画像ファイルが複数ページの画像で構成される場合、ページ相互間の関連を考慮して色変換することが望ましい。たとえば、プレゼンテーション資料が複数ページある場合には、同一の意味付けをしたパターン（たとえば、会社のロゴマーク）が繰り返し現れることがある。このような場合に、繰り返し現れるパターン（類似オブジェクト）が同一の色調に保たれるよう、制約条件を付加することも好ましい。
【０１２２】
図２４は、複数ページの画像を色変換する場合の処理の流れを示している。１ページ分のオブジェクトについて、前述した本発明の手法によりオブジェクト構造と応力特性を定義する作業(ステップＳ７０１)を、全ページに対して終了するまで繰り返し行う(ステップＳ７０２；Ｎｏ)。全ページ終了すると（ステップＳ７０２；Ｙｅｓ）、次に、処理対象の複数ページの画像の中から類似するオブジェクト（所定以上の関連強度を有するオブジェクト）の組みを抽出し(ステップＳ７０３)、その組に属する類似のオブジェクト間に応力特性を設定する（ステップＳ７０４）。類似オブジェクトは一連の画像群に複数存在する可能性があるため、類似オブジェクトのすべての組みに対してステップＳ７０３、Ｓ７０４の処理を施す。すなわち、類似オブジェクトのすべての組みに対してステップＳ７０３、Ｓ７０４の終了していない場合は（ステップＳ７０５；Ｎｏ）ステップＳ７０３に戻る。
【０１２３】
すべての類似オブジェクトの組みに対して応力特性の設定が完了すると(ステップＳ７０５；Ｙｅｓ)、全ページ分のオブジェクトを対象にして、歪みに対する応力の総和が最小となるように、オブジェクトの色調を調整し（ステップＳ７０６）処理を終了する（エンド）。
【０１２４】
これにより、同じ組に属する類似オブジェクト間に応力が作業するので、類似オブジェクトの色調が近似するようになる。なお、類似オブジェクト間に他のオブジェクト間よりも大きな応力が働くように類似オブジェクト間の応力特性を設定することが望ましい。
【０１２５】
抽出された類似オブジェクトの色変換法は、上記の方法に限定されず、適宜の方法を選択して用いればよい。たとえば、以下の別態様がある。なお、上記ステップＳ７０３の処理を以下に示す（Ｊ）の処理を置き換え、上記ステップＳ７０６の処理を以下に示す（Ｋ）の処理に置き換えることで、図２４に示す処理が別態様に対応した処理となる。
【０１２６】
＜別態様１＞
（Ｊ）抽出されたオブジェクトと初期色間に応力特性を付与する。  
（Ｋ）各々のページについて、応力の総和が最小となるように色調を調整する。
なお、初期色との間の応力特性を他のオブジェクト間の応力特性に比べて大きな応力が働くように設定することが望ましい。
【０１２７】
＜別態様２＞
（Ｊ）抽出されたオブジェクト近傍に障壁を定義する。  
（Ｋ）各々のページについて、応力の総和が最小となるように色調を調整する。
【０１２８】
＜別態様３＞
（Ｊ）各々のページについて応力の総和の最低化処理を行い、その総和が最も大きいページの当該オブジェクトの変換後の色調近傍に障壁を設ける。  
（Ｋ）各々のページについて、応力の総和が最小となるように色調を調整する。
【０１２９】
類似オブジェクトの抽出法には次のようなものがある。
（１）同じパターンが繰り返されているデザインの同一要素は類似するオブジェクトとする。たとえば、編集履歴情報を取得し、同一テンプレートの同一要素やコピー＆ペーストした要素で、追加調整していないものは、より高い類似性があると判断することができる。
（２）オペレータが特に留意すべき同一要素について指示できる様にしても良い。
（３）同じパターンが繰り返されているデザインの中に、類似したタイミングで繰り返し現れる色調のオブジェクトは、その形態が異なっていても類似性を高く判断することができる。  
（４）顔、鉛筆、指差しマーク等の特有パターンを抽出し、それに連接して現れるパターン同士は類似すると推定する。例えば、図２５に示すような同一の指差しマーク６１が繰り返し出現し、各指差しマーク６１に付随する「吹き出し」６２、６３の形状が相違する場合でも「吹き出し」の色調が統一されている場合は、これらの「吹き出し」６２、６３を類似オブジェクトの組とする。
【０１３０】
図２６は、類似オブジェクトの抽出処理の流れの一例を示している。オペレータから指定を受けた場合は（ステップＳ７２１；Ｙｅｓ）、その指定された複数のオブジェクトを類似オブジェクトに設定する（ステップＳ７２２）。なお、オペレータの指定したオブジェクトの類似性（関連強度）を仮評価し、組み合わせに無理がある場合は、警告メッセージを表示するように構成されてもよい。
【０１３１】
処理対象の画像や文書データの作成過程の履歴情報がある場合は（ステップＳ７２３；Ｙｅｓ）、コピーとペーストの組みで生成されたオブジェクトを探し出し、さらにその中から同一階調値を有するものを抽出して類似オブジェクトの組に設定する（ステップＳ７２４）。
【０１３２】
テンプレートが使用されている場合は（ステップＳ７２５；Ｙｅｓ）、テンプレートの同一構成要件でありかつ同一階調を有するものを抽出して類似オブジェクトの組に設定する（ステップＳ７２６）。
【０１３３】
さらに残ったオブジェクトをパターン特性に基づいてグループ化する（ステップＳ７２７）。そして１つのグループを抽出し、形態、色調共に類似性（関連強度）が高い場合に類似オブジェクトの組に設定する（ステップＳ７２８）。全グループについてステップＳ７２８の評価を終了していない場合は（ステップＳ７２９；Ｎｏ）、評価対象を次の組（グループ）に切り替え（ステップＳ７３０）ステップＳ７２８へ移行する。全グループについてステップＳ７２８の評価を終了すると（ステップＳ７２９；Ｙｅｓ）処理を終了する（エンド）。
【０１３４】
なお、形態や文面を基にした一般的なパターンマッチングにより類似オブジェクトの組を検出するように構成されてもよく、類似オブジェクトの検出方法は任意に定めればよい。
【０１３５】
また、各組の類似オブジェクトに対して設定する応力特性はその類似性（関連強度）に応じて応力の大小を定めてもよい。たとえば、ロゴマークのように完全一致を必要とする場合は、極めて大きな応力が働くように応力特性を設定する。これに比べて、吹き出しのようにある程度の違いが許容される類似オブジェクトについては応力をロゴマークの場合に比べて小さく設定する。これらオブジェクトと設定する応力との関係は、例えば複数の考えられる場合について、プリセットのテーブルとして用意しておけばよい。
【０１３６】
図２７は、本発明の手法による色変換の結果を模擬的に示したものである。図２７（ａ）は、図３に示す画像Ｐをオブジェクト分割し、そのオブジェクト間に作用する応力をオブジェクト間の実線で表し、これを編集装置の有する第１の色空間Ｍ１に配置した状態を示している（図２８（ｂ）に対応）。なお、小領域および弱い応力は図示省略してある。図２７（ｂ）は、第１の色空間Ｍ１において図２７（ａ）に示すように表わされた画像Ｐを本実施の形態に係る色変換方法によって第２の画像出力デバイス１７の有する第２の色空間Ｍ２内へ色変換した状態を示している。
【０１３７】
本実施の形態に係る色変換方法では、オブジェクト相互の関係について応力特性を定義して色変換を行うので、応力が強い特性を与えられているオブジェクト間の色調関係、すなわち、図中、太い実線で結ばれているオブジェクト間の色調関係が保持されるよう色変換がなされ、図２７（ｂ）のように色変換される。また、大領域Ｂと他の大領域Ａ、Ｃとの関係のように、応力特性の弱いオブジェクト間に大きな歪みが生じることになるが、前述の通り、資料の説明効果に影響が小さい関係（色差があっても識別性に影響を与えにくいオブジェクト間）に対し選択的に歪みを与えているのであり、これによって資料の説明効果を最大限に生かした色調配置が可能になっている。
【０１３８】
図２８（ｃ）、（ｄ）に示す色変換に比べて、関連するオブジェクト間（大領域Ａ内の中領域同士や大領域Ｂ内の中領域同士）の色調変化が少なく抑えられつつ、第２の色空間Ｍ２を有効活用した（彩度も高い）画像が得られている。
【０１３９】
このように、本実施の形態に係る色変換方法では、色変換対象の画像に複数配置されているオブジェクトの構造に基づき、色調関係が重要な意味を持つオブジェクト間の色調差を優先的に保つよう色変換が行えるため、画像の編集環境（第１の色空間）と表示環境（第２の色空間）が異なっていても特段の画像再調整を強いられることなく、効果的な画像の印刷や投影が可能になり、意図通りの効果を持つ資料によりプレゼンテーションを行う等が可能になる。
【０１４０】
なお、本発明の効果はオブジェクト数が３以上の場合に生じる。また本発明の効果はオブジェクト間の関連が多く定義できる場合によりよく発現するので、オブジェクト数が３以上の所定数以上の場合に、効率的な画像処理が実現される。なお、オブジェクト数のほかにも、「関連が定義されたオブジェクト間が所定値（たとえば、３）以上の場合に本発明の色変換を実施」の条件や、「関連が定義されたオブジェクト間の応力特性の種類が２以上となった場合に本発明の色変換を実施」の条件を用いてもよく、これらを複合（「かつ」、「または」で結合）した条件を用いても良い。
【０１４１】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成はこれら実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１４２】
たとえば、応力の総和が最小になるように色変換したが、最小になるまで最適化しなくても、応力の総和が、従来方法で色変換した状態に比べて小さくなるようすれば、本発明の効果、すなわち、識別性に影響のある色調変化を少なく抑える（あるいは、意味のある色調関係を維持する）効果をある程度得ることができる。
【０１４３】
また、実施の形態では、オブジェクト構造に基づいて応力特性を決定したが、他の要素、たとえば、ユーザによる応力の指定や維持すべき色調関係の指定など、あるいはこれらのみに基づいて応力特性を定めてもよい。
【０１４４】
応力特性は、言い換えると、オブジェクト間の関連度を設定していることに相当する。つまり、応力が強いほど、色調関係が維持されるように作用するので、関連度の強いオブジェクト間ほど、色変換による色彩の変化が小さくなるように色変換されることになる。なお、関連度は応力特性として定めなくてもよく、関連度を数ランクに設定し、上位ランクの関連度が設定されたオブジェクト間ほど色変換による色調の変化量が少なくなるように色変換すればよい。たとえば、ランク別に色調変化の許容量を定めておき、従来方法により色変換した結果、許容量を超える色調変化のあるオブジェクトについて、その色調変化が少なくなるように色配置を移動させる、といった処理を繰り返し行い、すべてのオブジェクトが該当ランクの許容量内に収まるように調整するような方法でもかまわない。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施の形態に係る色変換方法によって色変換を行う画像処理システムの構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理部が行う色変換処理の概略を示す流れ図である。
【図３】元画像の一例を示す正面図である。
【図４】図３に示す元画像のオブジェクト構造を示す説明図である。
【図５】色変換によって生じる歪みの一例をＣＩＥＬＡＢ表色系にて示した説明図である。
【図６】各種の応力特性を例示した説明図である。
【図７】色名障壁および障壁を作るための応力特性の一例を示す説明図である。
【図８】図４に示すオブジェクト構造を有する画像Ｐの各オブジェクト間に応力特性を設定した状態を模式的に示す説明図である。
【図９】文字、写真、グラフなどを含む元画像の例を示す正面図である。
【図１０】図９に示す元画像Ｐ２のオブジェクト構造を示す説明図である。
【図１１】連続階調領域に関する第１の分割法によるオブジェクト分割処理を示す流れ図である。
【図１２】連続階調領域の色調のヒストグラムから検出された各ピークを色座標上に表した説明図である。
【図１３】連続階調領域に関する第２の分割法によるオブジェクト分割処理を示す流れ図である。
【図１４】連続階調領域に対する実画像処理法を示す流れ図である。
【図１５】オブジェクト間以外で応力特性を定義した状態を例示した説明図である。
【図１６】画像をオブジェクトに分割する処理を示す流れ図である。
【図１７】応力特性を決定する処理の概略を示す流れ図である。
【図１８】応力の総和が最小となる最適解を求める処理を示す流れ図である。
【図１９】応力の総和が最小となる最適解を求める処理を示す流れ図である。
【図２０】色差ΔＥと輪郭およびテクスチャの構造の強さとの関係を示す説明図である。
【図２１】残留能力を装飾に変換する処理を示す流れ図である。
【図２２】色変換に関する追加の指示をオペレータから受け付ける処理を示す流れ図である。
【図２３】指示入力画面の一例を示す正面図である。
【図２４】複数ページの画像を色変換する場合の処理を示す流れ図である。
【図２５】類似オブジェクトの一例（吹き出しの形状が異なる指差しマーク）を示す説明図である。
【図２６】類似オブジェクトの抽出処理を示す流れ図である。
【図２７】本発明の効果（第１の色空間にある画像を本実施の形態に係る色変換方法で第２の色空間に色変換した結果）を示す説明図である。
【図２８】従来の方法で色変換した例を示す説明図である。
【符号の説明】
【０１４６】
１０…画像処理システム
１１…画像入力部
１１ａ…通信部
１１ｂ…撮像部
１１ｃ…スキャナ部
１２…画像記憶部
１３…編集処理部
１４…モニタ装置（第１の画像出力デバイス）
１５…指示入力部
１６…画像処理部
１７…第２の画像出力デバイス
１７ａ…プリンタ
１７ｂ…投影型ディスプレイ
２１…輝度方向の歪みに対する応力特性
２２…他の成分に対する応力特性
２５…色名「橙」に対応する色領域
２６…色名「赤」に対応する色領域
３１…大領域Ａの背景
３２…写真
３３…応力特性
４１…第１の色空間
４２…第２の色空間
４３…応力の総和が最小となる点
４４…対象オブジェクト自身の色度点
４５ａ〜４５ｆ…原色点
５０…指示入力画面
５１…メッセージ
５２…シミュレーション画像
５３…操作ボタン
５３ａ…再変換釦
５３ｂ…続行釦
６１…指差しマーク
６２、６３…吹き出し
Ｍ１…第１の色空間
Ｍ２…第２の色空間
Ｐ、Ｐ２…元画像
【図１】
2009296372.tif 000003
【図２】
2009296372.tif 000004
【図４】
2009296372.tif 000005
【図５】
2009296372.tif 000006
【図６】
2009296372.tif 000007
【図７】
2009296372.tif 000008
【図８】
2009296372.tif 000009
【図１０】
2009296372.tif 000010
【図１１】
2009296372.tif 000011
【図１２】
2009296372.tif 000012
【図１３】
2009296372.tif 000013
【図１４】
2009296372.tif 000014
【図１５】
2009296372.tif 000015
【図１６】
2009296372.tif 000016
【図１７】
2009296372.tif 000017
【図１８】
2009296372.tif 000018
【図１９】
2009296372.tif 000019
【図２０】
2009296372.tif 000020
【図２１】
2009296372.tif 000021
【図２２】
2009296372.tif 000022
【図２３】
2009296372.tif 000023
【図２４】
2009296372.tif 000024
【図２６】
2009296372.tif 000025
【図２７】
2009296372.tif 000026
【図２８】
2009296372.tif 000027
【図３】
2009296372.tif 000028
【図９】
2009296372.tif 000029
【図２５】
2009296372.tif 000030