(57)【要約】【課題】所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラムを提供する。【解決手段】本色変換処理プログラムは、入力画像の画素毎に、互いに異なる複数のスケールの各々を有する領域についての局所特徴量を算出し、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられた色分布をデータベースから取得し、各スケールでの画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、所定の色テーマを基にして生成された色変換テーブルを用いて理想変換画素値を算出し、各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値を算出する変換色決定手段と、入力画像の各画素の画素値をこの変換先画素値に変換する色変換手段として機能する。【選択図】図４
2014067129.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
前記色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させることを特徴とする色変換処理用プログラム。
【請求項２】
前記データベースは、複数の学習用画像の各々について算出された大域特徴量を当該学習用画像毎に記憶し、さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを、当該学習用画像毎に対応付けて記憶し、
前記色分布決定手段は、
前記入力画像の大域特徴量を算出し、算出された当該大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも１つの学習用画像を前記データベースから取得し、
前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも１つの学習用画像の局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する
ことを特徴とする請求項１に記載の色変換処理用プログラム。
【請求項３】
前記色分布決定手段は、
取得された前記少なくとも１つの学習用画像において当該スケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも１つの学習用画像における階調化された局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布を前記データベースから取得し、統合してコスト計算用色分布とする
ことを特徴とする請求項２に記載の色変換処理用プログラム。
【請求項４】
前記変換色決定手段は、
当該変換前画素値と当該理想変換画素値との間の当該変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、前記入力画像の色変換を実施した際の画素毎の変換コストを、当該変換前画素値と当該変換先画素値との色距離が大きくなるほどより大きな値をとる第１のコスト部分と、当該スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第２のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより前記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、前記入力画像の画素毎に変換強度を決定し、
前記色変換部は、前記入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことを特徴とする請求項１から３のいずれか１項に記載の色変換処理用プログラム。
【請求項５】
前記データベースは、複数の学習用画像における前記複数のスケールの各々についての各領域について局所特徴量として算出されたＳＩＦＴ（Scale Invariant Feature Transform）特徴量と、当該色分布とを記憶し、
前記色分布決定手段は、前記複数のスケールの各々について、前記入力画像の分割された各領域におけるＳＩＦＴ特徴量を、局所特徴量として算出する
ことを特徴とする請求項１から４のいずれか１項に記載の色変換処理用プログラム。
【請求項６】
前記変換色決定手段は、前記入力画像の各画素における変換前画素値が、当該画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することを特徴とする請求項１から５のいずれか１項に記載の色変換処理用プログラム。
【請求項７】
入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有することを特徴とする色変換処理装置。
【請求項８】
入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
前記色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第１のステップと、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する第２のステップと、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する第３のステップと、
前記入力画像の各画素の画素値を、第３のステップで決定された対応する変換先画素値に変換する第４のステップと
を有することを特徴とする色変換処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の色を変換する色変換処理技術に関する。
【背景技術】
【０００２】
近年、携帯端末の内蔵カメラやデジタル撮影装置を使用して、誰でも簡単に静止画像や動画像といった画像を撮影することができる。撮影された画像は、他人に公開・提供されたり、さらにはウェブ（Web）上で共有されたりすることも多い。しかしながら、一般のユーザが撮影した画像は、ユーザが伝えたい内容を必ずしも表現できているわけではない。このため、モバイル端末の多くのカメラアプリケーションや画像共有ウェブサイトでは、画像を見る者の主観的印象を変化させるような画像処理効果を施すための機能が用意されている。このような機能を用いて、ユーザが画像を通して伝えたいと感じている内容を画像上に表現する目的で、この画像に変換処理を施す機会が増えている。
【０００３】
特に、画像の色は画像を見る者の主観的印象に非常に大きな影響を与えるため、ユーザは、画像の色を所望の形に変換することによって、伝えたいと感じている内容をより適切に画像上に表現することができる。
【０００４】
従来、このような色変換処理技術として、画像の色情報をユーザが所望する色情報に変換する装置が種々開発されている。例えば、特許文献１には、ポインティングデバイスによって指示された位置の色情報を算出し、その色情報を中心とした一定の範囲内にある色情報を持つ画素をユーザの所望する色情報に変換する色変換装置が開示されている。
【０００５】
また、非特許文献１には、画像全体の色をユーザの所望する色テーマに基づいて変換するための技術が開示されている。この技術では、ユーザによって選択された、複数の色情報のセットである色テーマに基づいて、画像の色情報が変換される。元画像は領域分割され、各領域内のテクスチャ情報から変換後の色情報が決定される。この際、変換画像が不自然な印象を持たないように、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて色変換が行われる。この技術では、特許文献1の技術と比較して、より簡便に、ユーザの選択した色テーマに基づいて画像の色を変換し、画像に対する印象を変化させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２８７８０号公報
【非特許文献】
【０００７】
【非特許文献１】Baoyuan Wang, Yizhou Yu, Tien-Tsin Wong, Chun Chen, Ying-Qing Xu,"Data-driven image color theme enhancement", ACM Trans. on Graphics(TOG), vol. 29, Issue 6, 146ページ, 2010年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述したような従来技術を用いても、画像の色を、安定して自然な色に変換することは非常に困難である。
【０００９】
例えば、自然を撮影した写真等の自然画像において、空に対応する画像部分の色は、青系統の色であることが自然であり、草原に対応する画像部分の色は、緑系統の色であることが自然である。ここで、ある選択された色テーマに基づいて、空に対応する画像部分の色を赤系統の色に変換してしまうと、変換後の画像が不自然な印象を持たざるを得なくなる。
【００１０】
しかしながら、特許文献１の色変換処理では、ユーザが所定範囲の中から色情報を選択することによって、指定場所の色が、この選択された色情報に基づいて変換される。従って、特許文献１の技術は、画像の色を安定して自然な色に変換することを、何ら保証するものではない。
【００１１】
一方、非特許文献１の技術では、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて、色変換が行われる。従って、確かに特定のテクスチャにおいては、このテクスチャにありがちな色への変換が実行され易い。しかしながら、色変換対象の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合、変換後の色に有効な制約を持たせることが困難となる。例えば、ある程度平坦なテクスチャを有する領域は、種々の色に変換される可能性を有してしまう。従って、この領域について、青系統又は緑系統に限定する、といった変換後の色の制約を課すことは困難である。その結果、変換後の画像が不自然な色を有する場合も生じてしまう。
【００１２】
そこで、本発明は、所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラム、装置及び方法を提供することを目的とする。ここで、「自然な色」とは、色変換すべき画像中において色を変換される対象が、他の多数の画像中において高い頻度で備えている色であって、当該対象は通常その色を有するものと認識されているような色を指す。
【課題を解決するための手段】
【００１３】
本発明によれば、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
この色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させる色変換処理用プログラムが提供される。
【００１４】
この本発明による色変換処理用プログラムの一実施形態として、
データベースは、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶し、さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを、学習用画像毎に対応付けて記憶し、
色分布決定手段は、
入力画像の大域特徴量を算出し、算出された大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも１つの学習用画像をデータベースから取得し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも１つの学習用画像の局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の当該色分布をコスト計算用色分布に決定する
ことも好ましい。
【００１５】
さらに、上述した本発明による色変換処理用プログラムの一実施形態において、色分布決定手段は、
取得された少なくとも１つの学習用画像においてスケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも１つの学習用画像における階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布をデータベースから取得し、統合してコスト計算用色分布とする
ことも好ましい。
【００１６】
さらに、本発明による色変換処理用プログラムの他の実施形態として、
変換色決定手段は、
変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストを、変換前画素値と変換先画素値との色距離が大きくなるほどより大きな値をとる第１のコスト部分と、スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第２のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより上記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度を決定し、
色変換部は、入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことも好ましい。
【００１７】
さらにまた、本発明による色変換処理用プログラムの他の実施形態として、
上記データベースは、複数の学習用画像における複数のスケールの各々についての各領域について局所特徴量として算出されたＳＩＦＴ（Scale Invariant Feature Transform）特徴量と、色分布とを記憶し、
色分布決定手段は、複数のスケールの各々について、入力画像の分割された各領域におけるＳＩＦＴ特徴量を、局所特徴量として算出する
ことも好ましい。
【００１８】
さらに、本発明による色変換処理用プログラムによれば、
変換色決定手段は、入力画像の各画素における変換前画素値が、この画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することも好ましい。
【００１９】
本発明によれば、また、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有する色変換処理装置が提供される。
【００２０】
本発明によれば、さらにまた、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
この色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第１のステップと、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する第２のステップと、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する第３のステップと、
入力画像の各画素の画素値を、第３のステップで決定された対応する変換先画素値に変換する第４のステップと
を有する色変換処理方法が提供される。
【発明の効果】
【００２１】
本発明の色変換処理プログラム、装置及び方法によれば、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明による色変換処理方法の一実施形態を概略的に示す説明図である。
【図２】学習用画像を処理して学習用画像データベースに記憶させる一実施形態を概略的に示す説明図である。
【図３】色テーマ及び色変換テーブルに係る一実施形態を概略的に示す説明図である。
【図４】本発明による色変換処理装置の一実施形態における機能構成図である。
【図５】本発明による色変換処理方法の一実施形態を示すフローチャートである。
【図６】入力画像の大域特徴量に基づいて学習用画像データベースからＮ個の類似した学習用画像を取得する方法の一実施形態を示すフローチャート、及び入力画像の各画素における変換コストを算出する方法の一実施形態を示すフローチャートである。
【図７】本発明の色変換処理方法における作用効果の概略を示す説明図である。
【発明を実施するための形態】
【００２３】
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
【００２４】
図１は、本発明による色変換処理方法の一実施形態を概略的に示す説明図である。
【００２５】
図１に示した実施形態によれば、最初に、色変換処理を行う対象である入力画像が、ユーザによる指示操作によって、又は処理装置への入力によって、指定される。ここで、入力画像には、写真ファイル等の静止画像、及びビデオファイル等の動画像が含まれる。
【００２６】
また、変換後の色の組合せを選択する際の基準となる、複数の色のセットである「色テーマ」が、ユーザによる指示操作によって、複数の「色テーマ」を格納した色テーマ記憶部１０３から読み出されて指定される。この「色テーマ」に基づいて、入力画像の色を変換することによって出力（変換後）画像が生成される。
【００２７】
本発明の色変換処理方法は、自然な色変換のための基準となる複数の「学習用画像」を準備し、さらに、
（ａ）複数の「学習用画像」の各々を領域分割した際の、各領域について算出された「局所特徴量」と、当該各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを対応付けて記憶する学習用画像データベース１０２
を利用する。ここで、
（ａ１）「学習用画像」の領域分割は、１つの「スケール」又は複数の「スケール」の各々を有する領域による分割である。ここで、「スケール」は、例えば画像内の局所的な領域を円形で定義する場合にはこの円の半径に該当し、また画像を縦横で等分割する場合には、分割数に該当する。このうち、複数の「スケール」の各々について領域分割される場合、画像内の局所的な領域を複数の大きさで定義することを目的に複数の「スケール」が予め定義され、「局所特徴量」と「色分布」とは、各「スケール」について対応付けて記憶される。
【００２８】
また、「局所特徴量」は、対象画像内の各領域の特徴を表す量である。「局所特徴量」は、画像内の領域におけるテクスチャの特徴を表す、ＳＩＦＴ（Scale Invariant Feature Transform）等のテクスチャ特徴量とすることができる。「局所特徴量」として採用可能なテクスチャ特徴量としては、他に、Ｇａｂｏｒ特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量等が挙げられる。ＳＩＦＴ特徴量については、後に図２を用いて説明される。
【００２９】
さらに、一実施形態として、
（ａ２）学習用画像データベース１０２は、複数の「学習用画像」の各々について算出された「大域特徴量」を「学習用画像」毎に記憶し、
（ａ３）さらに、複数の「学習用画像」の各々を１つの「スケール」又は互いに異なる複数の「スケール」の各々をもって領域分割した際の、各領域について算出された「局所特徴量」と、各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを、「学習用画像」毎に対応付けて記憶する
ことも好ましい。
【００３０】
ここで、「大域特徴量」は、対象画像全体の特徴を表す、画像１つに対して１つ与えられる量である。「大域特徴量」は、ある画像に同一な又は類似（近似）する画像を取得するための比較基準となる量であればどのような特徴量であってもよく、例えば、画像全体のテクスチャの特徴を表す、ＧＩＳＴ特徴量等のテクスチャ特徴量とすることができる。また、複数の特徴量の組合せをもって「大域特徴量」とすることも可能である。ＧＩＳＴ特徴量については、後に図２を用いて説明される。
【００３１】
このように、「学習用画像」の「大域特徴量」を算出・記憶しておくことによって、後に、入力画像の「大域特徴量」と比較して、入力画像の色変換の基準とするのにより適した「学習用画像」を選択することが可能となる。
【００３２】
次いで、図１に示すように、
（ｂ１）入力画像の画素毎に、この画素ｐ（ｘ，ｙ）を含んだ領域であって互いに異なる複数の「スケール」（図１ではスケール１、２及び３）の各々を有する領域について「局所特徴量」を算出する。次いで、
（ｂ２）入力画像の画素ｐ（ｘ，ｙ）の各々について、「スケール」毎に算出された「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」に対応付けられて記憶された「色分布」を学習用画像データベース１０２から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する。
【００３３】
また、「大域特徴量」を記憶した学習用画像データベース１０２を利用する一実施形態として、
（ｂ３）入力画像の「大域特徴量」を算出し、算出された「大域特徴量」との近似度がより高い「大域特徴量」を有する順に（少なくとも１つの）Ｎ個の「学習用画像」を学習用画像データベース１０２から取得し、
（ｂ４）入力画像の画素の各々について、「スケール」毎に、取得されたＮ個の「学習用画像」の「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」、に対応付けられて記憶された色分布を学習用画像データベース１０２から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する
ことも好ましい。
【００３４】
また、更なる具体的手法として、
（ｂ５）取得された少なくとも１つの「学習用画像」において「スケール」毎に各領域について算出された「局所特徴量」を、例えばｋ−Ｍｅａｎｓ法を用いてｎｋ階調にクラスタリングして、所定の数ｎｋの特徴量値に階調化し、
（ｂ６）入力画像の画素の各々について、「スケール」毎に、取得されたＮ個の「学習用画像」における階調化された「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する階調化された「局所特徴量」、の値をとる全ての領域内の画素の画素値の分布である「色分布」を学習用画像データベース１０２から取得し、統合して「コスト計算用色分布」とする
ことも好ましい。
【００３５】
本発明においては、このように事前学習用の「学習用画像」の学習用画像データベース１０２から、各「スケール」についての画素毎の「コスト計算用色分布」を算出・決定する。次いで、これらの「コスト計算用色分布」を利用することによって、入力画像の色を、多数の「学習用画像」において高い頻度で出現する自然な色に変換する点に特徴を有する。
【００３６】
さらに、図１に示すように、
（ｃ１）指定された「色テーマ」を基にして、ある画素値からある画素値への変換を規定した「色変換テーブル」を生成し、
（ｃ２）入力画像の各画素における変換前の変換前画素値に対し、「色変換テーブル」を用いて、理想的な変換先である「理想変換画素値」を算出する。
【００３７】
次いで、
（ｄ１）学習用画像データベース１０２から取得された各「スケール」についての「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる「スケール」毎の「変換コスト」を規定し、
（ｄ２）色空間において入力画像の変換前画素値と「理想変換画素値」との間に位置する「変換先画素値」であって、「スケール」毎の「変換コスト」の全体（「変換コスト」から算出される総合的な変換コスト）を最小化する「変換先画素値」を算出・決定し、
（ｅ）入力画像の各画素の画素値を、決定された対応する「変換先画素値」に変換する。
【００３８】
ここで、「変換先画素値」を決定するための具体的手法として、
（ｄ３）入力画像の変換前画素値と「理想変換画素値」との間の「変換先画素値」の位置を示すパラメータとして規定された「変換強度」αを規定し、
（ｄ４）予め設定した複数の「変換強度」α値の各々の下で、入力画像の色変換を実施した際の画素毎の「変換コスト」Ｅｄを、
（ａ）変換前画素値と「変換先画素値」との色距離が大きくなるほどより大きな値をとる第１のコスト部分Ｅｄ０と、
（ｂ）「スケール」毎の「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる第２のコスト部分Ｅｄｊと
の和（Ｅｄ０＋Ｅｄｊ）として算出し、
（ｄ５）コストボリュームフィルタリング法を用いて、隣接する画素との間における「変換先画素値」の差が大きくなるほど大きくなる重みＷにより「変換コスト」Ｅｄを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に「変換強度」αを決定する
ことも好ましい。
【００３９】
以上に説明した「変換先画素値」（変換強度α、変換色）の決定手法によれば、入力画像の各画素における「変換前画素値」が、この画素を含んでおり互いに異なる「スケール」を有する領域それぞれのテクスチャの特徴からして、とり得る確率の低い色に相当する画素値には変換されないように、「変換先画素値」を算出することが可能となる。これにより、所定の「色テーマ」の下で、入力画像の色を、画像部分の「局所特徴量」に応じた自然な色に安定して変換した出力（変換後）画像を生成することができる。
【００４０】
図２は、学習用画像を処理して学習用画像データベース１０２に記憶させる一実施形態を概略的に示す説明図である。
【００４１】
図２（Ａ）に示した実施形態によれば、最初に、多数の学習用画像が準備される。これらの学習用画像は、画像の種類に関係なく無作為に収集してもよいが、例えば、色変換対象である入力画像が自然を被写体として撮影又は描画された画像（自然画像）であれば、同様の自然画像を多数、学習用画像として収集することも好ましい。
【００４２】
次いで、学習用画像の各々について、大域特徴量としてのＧＩＳＴ特徴量が算出される。次いで、算出されたＧＩＳＴ特徴量が、学習用画像毎に学習用画像データベース１０２に記憶される。
【００４３】
ここで、ＧＩＳＴ特徴量は、画像の構図を反映した特徴量であり、画像全体を、例えば４×４の、グリッド状に分割し、分割した各領域内で濃淡情報の周期と、その濃淡の方向を表したＧａｂｏｒ特徴量とを合わせて１つの特徴量としたものである。ＧＩＳＴ特徴量については、例えば、A.Oliva and A.Torralba, "Modeling the shape of the scene: a holistic representation of the spatial envelope" Int. Journal of Computer Vision, 42(3), 145.175, 2001年、において詳細に説明されている。
【００４４】
次いで、学習用画像の各々について、領域分割を実施し、各領域について局所特徴量としてのＳＩＦＴ特徴量と、領域に含まれる複数の画素における画素値の分布を表す色分布としての色ヒストグラムとを算出する。さらに、これらＳＩＦＴ特徴量と色ヒストグラムとを対応付けて、学習用画像データベース１０２に記憶する。
【００４５】
この学習用画像の領域分割は、１つのスケールを有する領域、又は複数のスケール（図２ではスケール１〜３）の各々を有する領域、による分割である。このうち、複数のスケールの各々について領域分割される場合、ＳＩＦＴ特徴量と色ヒストグラムとは、各スケール（１〜３）について対応付けて学習用画像データベース１０２に記憶される。
【００４６】
分割の際の領域は、種々の形状とすることができるが、簡略的な方法として、半径Ｒ０の円としてもよい。この場合、領域分割は、図２に示したように、学習用画像上にこの円が互いに隣接して並ぶ形で実施される。ここで、半径Ｒ０が領域のスケールとなる。当然に、複数スケールの各々を有する領域による領域分割の場合、これらの領域はそれぞれ、例えば半径Ｒ０、Ｒ１、Ｒ２、・・・を有する。
【００４７】
また、各領域において算出されるＳＩＦＴ特徴量は、１つの特徴点の周辺におけるパターンの輝度勾配についてのヒストグラムによって記述される量である。ＳＩＦＴ特徴量は、濃淡画像の輝度勾配の特徴を表し、色情報は一切使用されずに算出される。ＳＩＦＴ特徴量については、例えば、David G. Lowe, "Object Recognition from Local Scale-Invariant Features" Proceedings of the International Conference on Computer Vision-Vol. 2, September 20-25, 1150ページ, 1999年において詳細に説明されている。
【００４８】
また、各領域に含まれる複数の画素（領域内の全画素）における画素値の分布を表す色分布として、色ヒストグラムを生成する。色ヒストグラムの一実施例を図２（Ｂ）に示す。色ヒストグラムの横軸は、後に図３（Ｂ）を用いて説明する色相色空間内の座標（０（０）〜３６０°（２５５））であり、縦軸は、当該色相の出現頻度又は（相対）画素数である。この色ヒストグラムを用いることによって、対応する（スケールを有する）ＳＩＦＴ特徴量を有する画像部分における色相の特徴が把握される。
【００４９】
以上に述べた学習用画像処理の結果、学習用画像データベース１０２には、図２（Ａ）に示したように、
（ａ）複数の学習用画像と、
（ｂ）各学習用画像に対応付けられたＧＩＳＴ特徴量（大域特徴量）と、
（ｃ）（スケール（１〜３）毎に）各学習用画像（の各領域）について、互いに対応付けられたＳＩＦＴ特徴量（局所特徴量）及び色ヒストグラム（色分布）と
が格納される。
【００５０】
図３は、色テーマ及び色変換テーブルに係る一実施形態を概略的に示す説明図である。
【００５１】
図３（Ａ）に、色テーマの例を示す。色テーマは、変換後の色の組合せを選択する際の基準となる、１つのテーマとしての複数（例えば５つ）の色のセットである。入力画像の色を、この「色テーマ」に基づいて変換することによって出力（変換後）画像が生成される。例えば、茶色系の色を多く含む「色テーマ」が使用されれば、入力画像は、例えば閲覧者にノスタルジックな印象を与えるセピア調の出力画像に変換される。また、鮮やかな色が並ぶ「色テーマ」が使用されれば、例えば閲覧者に華やかな印象を与えるカラフルな出力画像が生成される。
【００５２】
尚、色テーマについては、例えば、オンラインで色テーマを共有するカラーテーマ共有サービス（例えば、［平成２４年９月８日検索］、インターネット＜URL: http://kuler.adobe.com/#themes/＞）が存在する。
【００５３】
この色テーマがユーザによって指定されると、指定された色テーマに基づいて、色変換前の色情報と色変換後の色情報とが対応付けられた色変換テーブルが生成される。この色変換テーブルが表現する色変換は、理想的な色変換であり、入力画像の変換前画素値を理想変換画素値（図１）に変換する際の変換に相当する。また、色情報とは、予め選択された所定の色空間で定義された画素値であり、例えば、ＲＧＢ色空間（モデル）で定義された値や、ＨＳＶ色空間（モデル）で定義された値をとる。当然、その他の色空間での定義も可能である。以下の実施形態では、理解し易さの点から、色相（Hue）、彩度（Saturation）及び明度（Value）の３つの成分を有するＨＳＶ色空間における、色相のみを色情報（画素値）とする。
【００５４】
色相は、図３（Ｂ）に示した色相環で定義される。色相環は、ある色相（例えば赤）を始点ゼロとして、個々の色相を０〜３６０度（°）で定義する。または、０〜３６０°の範囲の色相を２５６の区域に分けて、色相（区域）を赤から始めて０、１、・・・、２５５の値で表してもよい。
【００５５】
色相環の各色相は、同じく図３（Ｂ）に示すように、理想的な変換先として、指定された色テーマに挙げられた（例えば５つの）色相のうち、最も色距離の短い色相に対応付けられる。色変換テーブルは、この対応関係を記録したものとなる。
【００５６】
図３（Ｃ）に、入力画像の変換前画素値、変換テーブルによる理想変換画素値、及び出力画像となる変換先画素値の関係を示す。図３（Ｃ）によれば、色相を示す色空間に、
（ａ）入力画像の１つの画素における変換前画素値（色相）ｃと、
（ｂ）この変換前画素値（色相）ｃを変換テーブルを用いて色変換した、理想的な変換先である理想変換画素値（色相）ｃ＊と、
（ｃ）（ａ）の変換前画素値（色相）ｃを、本発明による色変換処理によって色変換した際の出力画像の対応画素値である変換先画素値（色相）ｃ’と
が示されている。
【００５７】
出力画像の変換先画素値（色相）ｃ’における図３（Ｃ）の色相色空間での位置は、変換前画素値ｃと理想変換画素値ｃ＊との間の位置を示すパラメータとして規定された「変換強度」αで表現される。即ち、変換先画素値（色相）ｃ’は、変換前画素値ｃと理想変換画素値ｃ＊との間において、α：（１−α）の色距離比の位置にある。
【００５８】
本発明においては、学習用画像データベース１０２から取得されたコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の「変換コスト」を算出し、これら変換コストの全体を最小化するように、入力画像の各画素における図３（Ｃ）の変換強度αを算出することによって、対応する変換先画素値（色相）ｃ’を決定する。
【００５９】
図４は、本発明による色変換処理装置の一実施形態における機能構成図である。
【００６０】
図４に示した色変換処理装置１は、入力部１００を介して入力した入力画像を、色テーマに基づき、同じく入力部１００を介して入力した複数の学習用画像の解析処理結果を用いて色変換し、出力部から色変換後の出力画像を出力する。色テーマも、入力部１００を介して色テーマ記憶部１０３に入力することができる。ここで、出力部１０１は、色変換部１５０から出力された出力（色変換）画像を、外部の表示手段、印刷手段、記録手段、又は通信手段等に送信するインタフェースである。
【００６１】
この色変換処理装置１は、入力部１００と、出力部１０１と、学習用画像データベース１０２と、色テーマ記憶部１０３と、プロセッサ・メモリとを備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００６２】
学習用画像データベース１０２は、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶する。さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラム（色分布）とを、学習用画像毎に対応付けて記憶する。
【００６３】
色テーマ記憶部１０３は、入力部１００から入力した、又は別ルートから入手した複数の色テーマを記憶する。色テーマ記憶部１０３は、ユーザによるインタフェースを介しての指定操作によって、指定された色テーマを、色変換デーブル生成部１４０に出力してもよい。
【００６４】
プロセッサ・メモリは、機能構成部として、
（ａ）入力した学習用画像を処理して学習用画像データベース１０２に記憶させる学習用画像処理部１１と、
（ｂ）入力画像のスケール毎の特徴量からスケール毎のコスト計算用色ヒストグラムを算出・決定する色分布決定部１２と、
（ｃ）入力画像の画素毎に、変換コストＥｄから算出される総合的な変換コストを最小化する変換強度αを算出して色変換後の出力画像の画素値を決定する変換色決定部１３と、
（ｄ）色変換テーブル作成部１４０と、
（ｅ）色変換部１５０と
を有している。
【００６５】
学習用画像処理部１１は、大域特徴量算出部１１０と、領域分割部１１１と、局所特徴量算出部１１２と、色分布算出部１１３とを有している。
【００６６】
大域特徴量算出部１１０は、入力された複数の学習用画像の各々について大域特徴量を算出し、算出された大域特徴量を、学習用画像毎に学習用画像データベース１０２に記憶させる。領域分割部１１１は、入力された複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割する。
【００６７】
局所特徴量算出部１１２及び色分布算出部１１３はそれぞれ、領域分割された各学習用画像の各領域についての局所特徴量、及び各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラムを算出し、これら局所特徴量と色ヒストグラムとを学習用画像毎に対応付けて、学習用画像データベース１０２に記憶させる。
【００６８】
色分布決定部１２は、大域特徴量算出部１２０と、学習用画像取得部１２１と、クラスタリング部１２２と、各スケール領域決定部１２３と、局所特徴量算出部１２４と、コスト計算用色分布取得部１２５とを有している。
【００６９】
大域特徴量算出部１２０は、入力された入力画像の大域特徴量を算出する。学習用画像取得部１２１は、算出された大域特徴量との近似度がより高い大域特徴量を有する順に（少なくとも１つの）Ｎ個の学習用画像を学習用画像データベース１０２から取得する。
【００７０】
クラスタリング部１２２は、取得されたＮ個の学習用画像においてスケール毎に各領域について算出されている局所特徴量を、例えばｋ−ｍｅａｎｓ法を用いてクラスタリングし、所定の数ｎｋの特徴量値に階調化する。
【００７１】
各スケール領域決定部１２３は、入力された入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域を決定する。局所特徴量算出部１２４は、決定された各スケールにおける画素毎の領域について局所特徴量を算出する。
【００７２】
コスト計算用色分布取得部１２５は、入力画像の画素の各々について、スケール毎に、取得されたＮ個の学習用画像におけるｎｋ個に階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース１０２から取得し、統合してコスト計算用色ヒストグラムとする。
【００７３】
変換色決定部１３は、理想変換画素値算出部１３０と、所定強度下コスト算出部１３１と、変換強度決定部１３２とを有している。
【００７４】
理想変換画素値算出部１３０は、入力された入力画像の各画素における変換前画素値に対し、色変換テーブル生成部１４０で生成された色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出する。
【００７５】
所定強度下コスト算出部１３１は、入力画像の変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度αを規定し、複数の変換強度α値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストＥｄを、変換前画素値と変換先画素値との色距離ｄが大きくなるほどより大きな値をとる第１のコスト部分Ｅｄ０と、スケール毎のコスト計算用色ヒストグラムにおいて頻度が低い色ほどより大きな値をとる第２のコスト部分Ｅｄｊとの和として算出する。
【００７６】
変換強度決定部１３２は、例えばコストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みＷにより変換コストＥｄを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度αを決定する。
【００７７】
色変換テーブル部１４０は、指定された色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する。また、色変換部１５０は、入力された入力画像の各画素の画素値を、変換強度決定部１３２において決定された変換強度αの変換先画素値に変換する。
【００７８】
図５は、本発明による色変換処理方法の一実施形態を示すフローチャートである。尚、本フローチャートでは、図２を用いて説明した、学習用画像を処理して学習用画像データベース１０２に記憶させる処理が実施されていることを前提としている。
【００７９】
［色変換処理方法全体フロー］
（Ｓ５００）入力画像の大域特徴量に基づいて、学習用画像データベース１０２からＮ個の類似した学習用画像を取得する。このステップについては、後に図６（Ａ）に示すフローチャートを用いて詳述する。
（Ｓ５０１）取得されたＮ個の学習用画像の既に算出されたＳＩＦＴ特徴量（局所特徴量）を、例えばｋ−ｍｅａｎｓ法を用いてクラスタリングし、所定の数ｎｋの特徴量値に階調化する。
次いで、入力画像の各画素について、色変換先である変換先画素値（変換強度α）を算出する。
【００８０】
最初に、画像にｘｙ座標系を設定し、入力画像の画素の座標を（ｘ，ｙ）とする。この場合、ｘは入力画像の列の番号（列成分）に相当し、ｙは入力画像の行の番号（行成分）に相当する。また、入力画像における列成分ｘの範囲をimage_width（列数）とし、列成分ｙの範囲をimage_height（行数）とする。
【００８１】
図３（Ｃ）に示したように、入力画像の画素（ｘ，ｙ）における変換前画素値（色相ｈ）をｃ＝ｈ（ｘ，ｙ）とし、理想変換画素値（色相）をｃ＊とすると、変換先画素値（色相）ｃ’は、
（１）  ｃ’＝ｆ（ｘ，ｙ，α）＝（１−α）ｃ＋αｃ＊
と表される。式（１）において、αは、変換先画素値（色相）ｃ’の変換強度である。α＝０は、ｃ’＝ｃ、即ち色変換されないことを示し、α＝１は、ｃ’＝ｃ＊、即ち理想的な（色変換テーブル通りの）色変換が実施されることを示す。入力画像の各画素（ｘ、ｙ）における変換強度αを算出・決定することによって、入力画像全体の色変換が実現される。
【００８２】
ここで、変換強度αを、例えば０.１間隔で刻んだ値にそれぞれ固定し、各変換強度α（＝０，０.１，０.２，・・・,１）における変換コストから算出される総合的な変換コストを最適化（最小化）することによって、入力画像の各画素の変換強度αを決定する。尚、固定された変換強度αの総数をＮαとする。例えば、α＝０，０.１，０.２，・・・,１である場合、Ｎα＝１１となる。
【００８３】
図５に戻って、
（Ｓ５０２）変換強度αｉ（＝０，０.１，０.２，・・・,１）を指定するパラメータｉをゼロに設定する。
（Ｓ５０３）変換強度α＝αｉとする。
（Ｓ５０４、Ｓ５０５）画素のｘ座標及びｙ座標をそれぞれゼロに設定する。
（Ｓ５０６）式（１）を用いて、ｃ’＝ｆ（ｘ，ｙ，α）を算出する。
【００８４】
（Ｓ５０７）入力画像の各画素における変換コストＥｄを算出する。このステップにおける変換コストＥｄの算出方法については、後に図６（Ｂ）に示すフローチャートを用いて詳述する。
【００８５】
（Ｓ５０８）列成分ｘを１だけ増分する。
（Ｓ５０９）列成分ｘ値がimage_width未満か否か（入力画像の列数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０６に戻り、増分した次の列成分ｘにおいて変換先画素値ｃ’＝ｆ（ｘ，ｙ，α）を算出して、変換コストＥｄを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップＳ５１０に進む。
【００８６】
（Ｓ５１０）行成分ｙを１だけ増分する。
（Ｓ５１１）行成分ｙ値がimage_height未満か否か（入力画像の行数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０５に戻り、増分した次の行成分ｙにおいて再度、各列成分ｘについて変換先画素値ｃ’＝ｆ（ｘ，ｙ，α）を算出して、変換コストＥｄを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップＳ５１２に進む。
【００８７】
（Ｓ５１２）変換強度αｉを指定するパラメータｉを１だけ増分する。
（Ｓ５１３）パラメータｉがＮα未満か否か（固定された変換強度αの総数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０３に戻り、増分した次のパラメータで指定される次の変換強度αをもって、ステップＳ５０４以降（変換先画素値の算出、及び変換コストの算出）を繰り返す。一方、偽の判定が行われた際、ステップＳ５１４に進む。
【００８８】
（Ｓ５１４）コストボリュームフィルタリング法を用いて、各変換強度α値（＝０，０.１，０.２，・・・,１）について入力画像の画素（ｘ，ｙ）毎に算出された変換コストＥｄから算出される総合的な変換コストを最小化（最適化）するように、入力画像の画素（ｘ，ｙ）毎に変換強度αを決定する。尚、コストボリュームフィルタリング法による変換強度αの最適化については、後に図６（Ｂ）に示すフローチャートの説明に合わせて説明される。
【００８９】
（Ｓ５１５）入力画像における各画素値を、最適化された変換強度αに係る変換先画素値に変換する。以上、本実施形態における色変換処理方法が完了する。
【００９０】
図６（Ａ）は、入力画像の大域特徴量に基づいて学習用画像データベース１０２からＮ個の類似した学習用画像を取得する方法（図５のステップＳ５００）の一実施形態を示すフローチャートである。また、図６（Ｂ）は、入力画像の各画素における変換コストＥｄを算出する方法（図５のステップＳ５０７）の一実施形態を示すフローチャートである。
【００９１】
［図６（Ａ）：入力画像の大域特徴量に基づく学習用画像の取得方法］
（Ｓ６００）入力画像のＧＩＳＴ特徴量（大域特徴量）を算出する。
（Ｓ６０１）学習用画像を指定するパラメータｐ（ｐ＝０，１，・・・，Ｎｐ−１）をゼロに設定する。
【００９２】
（Ｓ６０２）入力画像のＧＩＳＴ特徴量ベクトルＶｅと、学習用画像のＧＩＳＴ特徴量ベクトルＶｐとの特徴量距離Ｄｐを算出する。
ここで、特徴量距離Ｄｐは、特徴量ベクトル空間における両ベクトル間のユークリッド距離、即ち、
（２）  Ｄｐ＝（Σｔ（Ｖｅ）ｔ２−（Ｖｐ）ｔ２）０.５
となる。式（２）において、（Ｖｅ）ｔ及び（Ｖｐ）ｔは特徴量ベクトルのｔ成分であり、Σｔは、成分ｔについての総和（summation）である。尚、特徴量ベクトルを、予め主成分分析等で求めた変換行列で次元圧縮しておくことも好ましい。
（Ｓ６０３）学習用画像を指定するパラメータｐを１だけ増分する。
【００９３】
（Ｓ６０４）パラメータｐがＮｐ未満か否か（記憶された学習用画像の総数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ６０２に戻り、増分した次のパラメータで指定される次の学習用画像のＧＩＳＴ特徴量Ｖｐをもって特徴量距離Ｄｐを算出する。一方、偽の判定が行われた際、ステップＳ６０５に進む。
（Ｓ６０５）類似度がより高い順（特徴量距離Ｄｐがより短い順）に、所定のＮ個の学習用画像を、学習用画像データベース１０２から取得する。
【００９４】
［図６（Ｂ）：入力画像の各画素における変換コストＥｄの算出方法］
図６（Ｂ）のコスト算出方法では、重みαを変換強度αｉとし（α＝αｉ）、重みα＝αｉにおける画素（ピクセル）位置ｐ＝（ｘ、ｙ）での変換コストをＥｄ（ｐ，αｉ）とする。重みα＝αｉが固定された場合の各画素のＥｄ（ｐ，αｉ）が決定されると、各重みα＝αｉについての、画素毎の変換コストが記されたコストマップが生成される。例えば、αｉ＝０，０.１，０.２，・・・,１ならば、コストマップは１１枚生成される。
【００９５】
次いで、これらのコストマップを利用したコストボリュームフィルタリング法によって、隣接する画素の変換強度αｉができるだけ近い値であって、各画素の変換コストＥｄ（ｐ，αｉ）から算出される総合的な変換コストができるだけ小さくなるように、各画素の変換強度αｉが算出・決定される。
【００９６】
具体的に、重みα＝αｉにおける画素（ピクセル）位置ｐ＝（ｘ、ｙ）での変換コストＥｄ（ｐ，αｉ）は、次式
（３）Ｅｄ（ｐ，αｉ）＝Ｅｄ０＋Σｊ（Ｅｄｊ）
として定義されることができる。ここで、Σｊは、スケールを区別するパラメータｊについての総和（summation）である。
【００９７】
式（３）でのＥｄ０は、式（１）ｃ’＝（１−α）ｃ＋αｃ＊に変換された場合の初期値としての第１コスト成分である。Ｅｄ０は、例えば、
（４）  Ｅｄ０＝｜ｃ−ｃ’｜
として、即ち返還前画素値（色相）ｃと変換先画素値（色相）ｃ’との色距離として、規定されることができる。
【００９８】
また、式（３）でのＥｄｊは、スケールＲｊにおける重みα＝αｉでの画素ｐ＝（ｘ，ｙ）毎の第２コスト成分である。Ｅｄｊは、例えば、
（５）  Ｅｄｊ＝−Ｉ（ｄｊ）・ｌｏｇ（Ｐｊ（ｃ’））
として規定されることができる。
【００９９】
ここで、
（ａ）Ｐｊ（ｃ’）は、入力画像のＳＩＦＴ特徴量に最も近似する（距離ｄｋｊが最短の）ＳＩＦＴ特徴量に対応するクラスタＣｊの有する色ヒストグラムから算出された、変換先画素値（色相）ｃ’の出現確率であり、
（ｂ）Ｉ（ｄｊ）は、入力画像のＳＩＦＴ特徴量と、同特徴量に最も近似するＳＩＦＴ特徴量との距離ｄｊから算出される出現確率Ｐｊの確率分布の信頼度（信頼係数）である。
Ｉ（ｄｊ）は、ｄｊの値が大きくなるにつれて単調に減少する。また、Ｅｄｊは、出現確率Ｐｊ（ｃ’）が大きくなるにつれて減少し、出現確率Ｐｊ（ｃ’）がゼロに近づくと無限大に近づく。
【０１００】
ここで、コストボリュームフィルタリング法を用いて、入力画像の画素毎に、式（３）のＥｄ（ｐ，αｉ）から算出される総合的な変換コストをできるだけ小さくする変換強度αｉ（コストマップ）を選択する。
【０１０１】
コストボリュームフィルタリング法は、画像処理におけるマルチラベル問題で広く用いられる手法であり、画像中の画素にラベルを付与する際に、当該画素へ各ラベルを付与するコストと隣接画素とのラベルの近さとを考慮し、最適ラベルを求める手法である。当該画素へ各ラベルを付与するコストをデータ項（Ｅｄ）として表し、隣接画素とのラベルの近さを重み(Ｗ)として表すと、コストボリュームフィルタリング法では、ラベルliを画素pに付与した場合のコストは
（６）  Ｅ（ｐ，lｉ）＝Ｗ（ｐ，αｉ）*Ｅｄ（ｐ，lｉ）
として定義される。
【０１０２】
本発明の実施形態においては、変換強度αがコストボリュームフィルタリング法のラベルに対応し、変換強度αを求めるための総合的な変換コストは、次式のように表わされる。
（７）  Ｅ（ｐ，αｉ）＝Ｗ（ｐ，αｉ）＊Ｅｄ（ｐ，αｉ）
ここで、隣接画素との変化における滑らかさを評価する重みＷは、次式
（８）  Ｗ（ｐ，αｉ）＝Σk｜ｆ（ｐ，αｉ）-ｆ（ｑk，αｉ）｜
*（１／（２πσ２）ｅｘｐ（−（|ｐ−ｑk|２／(２σ２）））)
のように表される。式（８）において、ｑkは画素ｐの隣接画素を示す。また｜ｆ（ｐ，αｉ）-ｆ（ｑk，αｉ）｜は、変換強度αｉを適用した際のｐとｑkとの色相（変換先画素値）の差であり、この色相（変換先画素値）差は、ｐとｑｋとの空間的距離|ｐ−ｑk|が小さいほど重みＷにより強く影響する。
【０１０３】
式（７）および（８）を用いて、各画素ｐにおいて、総合的な変換コストＥ（ｐ，αｉ）をより小さくする変換強度αｉ（コストマップ）が選択され、これにより、変換先画素値（色相）ｃ’が決定される。
【０１０４】
尚、コストボリュームフィルタリング法については、例えば、Rhemann, C., Hosni, A., Bleyer, M., Rother, C., and Gelautz, M. "Fast cost-volume filtering for visual correspondence and beyond" IEEE Computer Vision and Pattern Recognition (CVPR), 3017-3024ページ,
2011年において詳細に説明されている。
【０１０５】
以下、図６（Ｂ）に示したフローチャートを用いて以上に説明した処理のうち、変換コストＥｄを算出する部分を追っていく。
（Ｓ７００）Ｅｄ（ｐ，αｉ）を、初期値Ｅｄ０に設定する。
（Ｓ７０１）領域のスケールを指定するパラメータｊ（＝１，２，・・・、Ｎｒ−１）をゼロに設定する。
（Ｓ７０２）領域のスケールをＲ＝Ｒｊとする。
【０１０６】
（Ｓ７０３）入力画像の各画素について、スケールＲ毎にＳＩＦＴ特徴量を算出する。
（Ｓ７０４）入力画像の各画素について、スケールＲ毎に、取得されたＮ個の学習用画像におけるｎｋ個に階調化されたＳＩＦＴ特徴量のうち、この画素を含む領域について算出された入力画像のＳＩＦＴ特徴量に最も近似するＳＩＦＴ特徴量（クラスタ）を決定する。
【０１０７】
ここで、入力画像における半径（スケール）Ｒｊ（ｊ＝０，１，・・・，ＮＲ−１）でのＳＩＦＴ特徴量の特徴量ベクトルをｖｅｊとし、Ｎ個の学習用画像における半径（スケール）Ｒｊ（但しスケールが１つのみの場合はＲ０）での階調化されたＳＩＦＴ特徴量の特徴量ベクトルをｖｋ（ｊ）（ｋ＝０，１，・・・，ｎｋ−１）とすると、各スケールにおいて、特徴量ベクトル間のユークリッド距離ｄｋｊは、
（９）  ｄｋｊ＝（Σｓ（ｖｅｊ）s２−（ｖｋ（ｊ））s２）０.５
となる。式（９）において、（ｖｅｊ）s及び（ｖｋ（ｊ））sは特徴量ベクトルのｓ成分であり、Σｓは、成分ｓについての総和（summation）である。各スケールにおいて、このユークリッド距離ｄｋｊが最も小さくなる学習用画像の（階調化された）ＳＩＦＴ特徴量を最も近似するＳＩＦＴ特徴量（クラスタ）とすることができる。
【０１０８】
また、このように、このステップＳ７０４において、入力画像のＳＩＦＴ特徴量と、当該ＳＩＦＴ特徴量に最も近似するＳＩＦＴ特徴量（クラスタ）の距離ｄｊが決定される。
【０１０９】
（Ｓ７０５）決定されたＳＩＦＴ特徴量（クラスタ）の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース１０２から取得し、統合してコスト計算用色ヒストグラムとする。即ち、入力画像のＳＩＦＴ特徴量に最も近似する（距離ｄｋｊが最短の）ＳＩＦＴ特徴量に対応するクラスタＣｊの有する色ヒストグラムを算出・決定する。
（Ｓ７０６）クラスタＣｊの色ヒストグラムから、変換先画素値（色相）ｃ’の出現確率Ｐｊ（ｃ’）を算出する。
【０１１０】
（Ｓ７０７）距離ｄｊと、出現確率Ｐｊ（ｃ’）とから、スケールＲについて、返還前画素値（色相）ｃから変換先画素値（色相）ｃ’に変換した場合の変換コストＥｄｊを算出する。ここで、Ｅｄｊは、式（３）Ｅｄｊ＝−Ｉ（ｄｊ）・ｌｏｇ（Ｐｊ（ｃ’））を用いて算出されることができる。
（Ｓ７０８）変換コストＥｄ＝Ｅｄ＋Ｅｄｊとする。
【０１１１】
（Ｓ７０９）領域のスケールを指定するパラメータｊを１だけ増分する。
【０１１２】
（Ｓ６１０）パラメータｊがＮＲ未満か否か（設定された領域のスケールの数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ７０２に戻り、増分した次のパラメータで指定されるスケールＲをもって入力画像のＳＩＦＴ特徴量を算出し、スケールＲでの変換コスト算出処理を実施する。一方、偽の判定が行われた際、入力画像の各画素における変換コストＥｄの算出処理が完了する。
【０１１３】
図７は、本発明の色変換処理方法における作用効果の概略を示す説明図である。
【０１１４】
図７に示したように、以上に述べた本発明に係る色変換処理を実施することによって、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
【０１１５】
具体的には、色変換対象である入力画像と指定された色テーマとから色変換テーブルが形成され、理想的な変換先である理想変換画素値ｃ＊が決定される。次いで、学習用画像データベースを利用して、各画素における領域のスケール毎のコスト計算用色ヒストグラムが決定される。
【０１１６】
その後、各変換強度α＝αｉにおける各画素（ピクセル）の変換コストＥｄ（ｐ，αｉ）を算出し、最適な変換強度αを導出することによって、各画素において、種々のスケールの局所特徴量に応じて高い頻度で使用される自然な画素値（色相）であって、隣接する画素の変換強度αｉができるだけ近い画素値（色相）が実現する。
【０１１７】
特に、本発明においては、入力画像における種々のスケールの局所特徴量を利用している。従って、入力画像の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合であっても、少なくとも１つのスケールにおいては、このスケールの領域内においてテクスチャの特徴を捉えることが可能となる。その結果、学習用画像データベースから、この特徴を捉えられたテクスチャに対応する色ヒストグラムを取得し、変換コスト算出の際の基準の１つとすることによって、この画像部分の色を、（この画像部分のテクスチャにおいて高い頻度で使用される）自然な色に変換することが安定的に可能となる。
【０１１８】
さらに、学習用画像の大域特徴量を算出し、学習用画像の検索用ラベルとしてデータベースに記憶しておくことによって、多数の学習用画像の中から、入力画像全体のテクスチャの特徴に類似しており、それ故に自然な色への変換のための基準としてより適している学習用画像を選択することが可能となる。
【０１１９】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１２０】
１  色変換処理装置
１００  入力部
１０１  出力部
１０２  学習用画像データベース
１０３  色テーマ記憶部
１１  学習用画像処理部
１１０、１２０  大域特徴量算出部
１１１  領域分割部
１１２、１２４  局所特徴量算出部
１１３  色分布算出部
１２  色分布決定部
１２１  学習用画像取得部
１２２  クラスタリング部
１２３  各スケール領域決定部
１２５  コスト計算用色分布取得部
１３  変換色決定部
１３０  理想変換画素値算出部
１３１  所定強度下コスト算出部
１３２  変換強度決定部
１４０  色変換テーブル生成部
１５０  色変換部
【図１】
2014067129.tif 000003
【図４】
2014067129.tif 000004
【図５】
2014067129.tif 000005
【図６】
2014067129.tif 000006
【図７】
2014067129.tif 000007
【図２】
2014067129.tif 000008
【図３】
2014067129.tif 000009