(57)【要約】【課題】画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求める。【解決手段】特徴ベクトル化部５は、画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出部５ａと、複数の局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成部５ｂと、算出された処理対象となる１つの局所特徴量に最も近い代表局所特徴量を選択する最近傍代表局所特徴量選択部５ｃと、選択された当該代表局所特徴量と処理対象となる１つの局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出部５ｄと、求められた差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化部５ｅと、を備え、正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求める。【選択図】図２
2015094973.tif 000002
【特許請求の範囲】
【請求項１】
画像データから前記画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化手段を備える画像処理装置であって、
前記特徴ベクトル化手段は、
画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出手段と、
複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成手段と、
前記局所特徴量算出手段により算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択手段と、
前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出手段と、
前記差分ベクトル和算出手段により求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化手段と、を備え、
前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする画像処理装置。
【請求項２】
学習フェーズと運用フェーズを備え、
前記学習フェーズにおいて、前記特徴ベクトル化手段により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する関係学習手段と、
前記運用フェーズにおいて、前記特徴ベクトル化手段により求められた特徴ベクトルに基づいて、前記対応関係情報から画像処理条件を決定する画像処理条件決定手段と、
前記画像処理条件決定手段により決定された画像処理条件に従って前記画像データを処理対象として画像修正を行う画像修正手段と、を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記局所特徴量算出手段は、
前記画像データからＳＵＲＦ法又はＳＩＦＴ法を用いて局所特徴量を算出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記差分ベクトル和算出手段は、
前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求めることを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記画像処理条件決定手段は、
複数の修正内容についての修正内容候補情報を提示する提示手段と、
前記修正内容候補情報への選択操作を入力する選択操作入力手段と、を備えたことを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記代表局所特徴量作成手段は、
前記局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記関係学習手段は、
前記特徴ベクトル化手段により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を、サポートベクターマシン又はニューラルネットワークを用いて学習することを特徴とする請求項２記載の画像処理装置。
【請求項８】
画像データから前記画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化ステップを備える画像処理装置であって、
前記特徴ベクトル化ステップは、
画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出ステップと、
複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成ステップと、
前記局所特徴量算出ステップにより算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択ステップと、
前記最近傍代表局所特徴量選択ステップにより選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出ステップと、
前記差分ベクトル和算出ステップにより求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化ステップと、を備え、
前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする画像処理方法。
【請求項９】
請求項８記載の各ステップをコンピュータに実行させるための画像処理プログラム。
【請求項１０】
請求項９記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データに対して画像修正処理を行う場合に画像の統一感を向上させるのに好適な画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、撮影される画像の数が以前に比べて非常に増加しており、それに伴い撮影した画像を修正するための工数も大きく増加している。また、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などでは、複数画像での統一感や同じような色調についての再現性が求められている。
このような複数画像での統一感を自動的な画像修正処理によって得るための従来技術としては以下の特許文献が報告されている。
【０００３】
特許文献１に、主要被写体の幾何特徴量から統一感のある画像修正処理を行う技術が開示されている。
詳しくは、特許文献１には、複数の画像をまとめて出力する場合に、統計的手法を用いて複数の画像における主要被写体、背景を自動的に修正し、見栄えの良いレイアウト出力を提供する目的で、複数のデジタル画像を画像入力部により入力し、入力された複数のデジタル画像の各々から主要被写体の幾何特徴量を処理基準決定機能により認識し、認識された各々の幾何特徴量から、複数のデジタル画像を構成する各々の画像の主要被写体に対して幾何的に一定の統一が図られるように画像処理機能により補正を施し、画像出力部から出力する技術が開示されている。
また、特許文献２には、代表色から色調を統一する技術が開示されている。さらに、特許文献３には、顔領域を検出して統一感のある画像修正処理を行う技術が開示されている。
しかし、今までの主要被写体の幾何特徴量、代表色、顔領域情報などにより自動的に統一感のある画像修正処理を行う技術では、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対して用いた場合、十分な統一感が得られないといった問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１乃至３に記載された技術にあっては、上述した通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対して用いた場合、十分な統一感が得られないという問題は解消できていない。
そこで、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対しても、画像修正処理の統一感を向上させることが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることが可能な画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、上記課題を解決するため、画像データから前記画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化手段を備える画像処理装置であって、前記特徴ベクトル化手段は、画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出手段と、複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成手段と、前記局所特徴量算出手段により算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択手段と、前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出手段と、前記差分ベクトル和算出手段により求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化手段と、を備え、前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係わる画像処理装置による処理概要について説明するための図である。
【図２】本発明の実施形態に係わる画像処理装置の構成について説明するための図である。
【図３】本発明の実施形態に係わる画像処理装置の処理の流れについて説明するための図である。
【図４】本発明の実施形態に係わる画像処理装置による学習フェーズでの特徴ベクトル化の処理の流れについて説明するための図である。
【図５】本発明の実施形態に係わる画像処理装置による運用フェーズでの特徴ベクトル化の処理の流れについて説明するための図である。
【図６】本発明の実施形態に係わる画像処理装置による特徴ベクトルの算出について説明するための図である。
【図７】グループ毎に仕分けられた画像処理条件の一例として、シーンと画像修正内容の対応関係の例を示す図である。
【発明を実施するための形態】
【０００８】
本発明の実施形態について説明する。
本発明は、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対してのグループ化の精度を高め、グループ毎の画像修正処理の統一感を向上させる処理に際して、以下の特徴を有する。
要するに、予め学習フェーズにおいて、訓練用画像データからから複数の局所領域における局所特徴量を算出し、算出した局所特徴量から複数個の代表局所特徴量を作成し、訓練用画像データの局所特徴量に対して最も近い代表局所特徴量を選択する。次いで、その代表局所特徴量と局所特徴量との差分ベクトルを算出し、この差分ベクトルを代表局所特徴量毎に和を取る処理を対象となる全ての局所特徴量に対して行い、和を取った差分ベクトルの長さを１に正規化する。次いで、その正規化した代表局所特徴量毎の差分ベクトルを並べて訓練用画像データに対する１個の特徴ベクトルとし、この特徴ベクトルと画像修正処理との対応関係を示す対応関係情報を学習しておく。
【０００９】
例えば、空の青さを修正する場合に、旅行パンフレットでは空をより青くするが、会社説明のパンフレットではあまり青くしない等、使用する画像の特徴により修正内容が異なるので、このような画像の特徴ベクトルと画像修正処理との関係を学習しておく。
次に運用フェーズにおいては、対象画像（通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告で使用する画像など）の特徴ベクトル化を行い、上記学習フェーズで学習した関係を用いて画像修正処理条件を決定し、画像修正処理を行う。
上記のような特徴ベクトル化の方法と画像修正処理との関係の学習により、従来技術よりも画像特徴と画像修正処理との対応関係を示す対応関係情報をより高精度に表現できることが特徴になっている。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１０】
まず、図１を参照して、本発明の実施形態に係わる画像処理装置による処理概要について説明する。
図１（ａ）は画像処理装置の処理対象となる、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用する大量の画像を示し、図１（ｂ）はそれらの画像を特徴ベクトル化しておき、特徴ベクトルによるグループ化を示す。図１（ｃ）はグループ化後の各グループを示し、図１（ｄ）はその特徴ベクトルを用いて画像処理条件を決定することを示す。図１（ｅ）は画像処理条件毎に画像修正処理を行うことにより、グループ毎に統一感のある画像修正処理を行うことの概要を示したものである。
【００１１】
次に、図２を参照して、本発明の実施形態に係わる画像処理装置のブロック構成について説明する。
データ入力部２は、例えばファイル入力装置などであり、外部から画像データを読み込む。記憶部３は、例えばメモリなどであり、データ（例えば、訓練画像データ、対象画像データ、局所特徴量、代表局所特徴量、差分ベクトル、特徴ベクトル、グループ分類データ、グループ化パラメータ等）を保持する。
制御部４は、画像処理装置全体を制御する。詳しくは、制御部４は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、データ収集処理を実行する。
【００１２】
画像処理装置１は、画像処理機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、システムまたは装置に供給する。そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを読み出して実行する。
この場合、記録媒体から読み出されたプログラムコード自体が前述した画像処理装置１の機能を実現する。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体がある。
【００１３】
特徴ベクトル化部５は、画像データから該画像データの検出対象となる領域の特徴となる１つの特徴ベクトルを算出する。詳しくは、特徴ベクトル化部５は、局所特徴量算出部５ａ、代表局所特徴量作成部５ｂ、最近傍代表局所特徴量選択部５ｃ、差分ベクトル和算出部５ｄ、差分ベクトル正規化部５ｅからなる。
局所特徴量算出部５ａは、一般的によく知られているＳＵＲＦ法（SURF: Speeded-Uｐ Robust Features）やＳＩＦＴ法（ＳＩＦＴ：Scale Invariant Feature Transformation）などを用いて、画像データから代表される局所特徴量を算出する。
【００１４】
ここでは、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transformation）法を用いて特徴点抽出及び特徴量抽出を行なう際の方法について説明する。
この特徴点抽出処理においては、まず、画像データに含まれるノイズを取り除き、安定した特徴点を得るために、画像データにガウスフィルタを適用して平均化処理を行う。そして、ある周波数以上の成分をカットする処理を行う。また、ガウスフィルタを適用した画像の二次微分を算出し、その極値を特徴点候補とする。さらに、ノイズに由来する特徴点を取り除くために、極値の絶対値が所定の閾値以上の点のみを特徴点として採用する。なお、特徴点候補を得るために二次微分を算出しているのは、均一な領域ではなく、変化があるエッジ部を画像から抽出するためである。また、撮影において斜めから光源照射がなされたときにおいて、一定の傾きで変化する領域が画像に生ずることがあるが、このような領域を特徴点候補としないためである。二次微分の算出は、具体的には、静脈画像とガウス導関数の畳み込み積分により行われる。また、これにより特徴点の位置座標が取得される。
【００１５】
代表局所特徴量作成部５ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する部分であり、作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
最近傍代表局所特徴量選択部５ｃは、処理対象となる１個の局所特徴量に最も近い代表局所特徴量を選択するものである。
差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量との差分ベクトルを求め、その差分ベクトルの代表局所特徴量毎の和として差分ベクトル和を求める。
差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで割って正規化し、正規化差分ベクトル和を出力する。
【００１６】
関係学習部６は、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習するものである。学習の方法としては一般的な機械学習のアルゴリズムを用いればよく、例えば、多変量解析、線形回帰、ニューラルネット、Support vector machine（ＳＶＭ）、ＡｄａＢｏｏｓｔなどを用いることができる。
関係学習部６は、上記複数のアルゴリズムを用いて夫々に学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係値のうちいずれかの値が閾値を超えていたら行が変わったと判定することにしている。しかし、これらを予め学習したサポートベクターマシンＳＶＭ（Support vector machine）やニューラルネットワークのような認識器へストロークＡを入力して行が変わったかどうか判定してもよい。
【００１７】
なお、サポートベクターマシンＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。訓練サンプルから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。
一方、ニューラルネットワーク（Neural network：神経回路網）は、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。
このように、関係学習部６は、サポートベクターマシン又はニューラルネットワークを用いて、特徴ベクトル化部５により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習することで、高精度かつ高速にグループ化を行うことができる。
【００１８】
画像処理条件決定部７は、グループ毎の画像処理条件を決定するものであり、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
画像処理条件決定部７は、複数の修正内容を示す修正内容候補情報をモニタに表示することでユーザに提示する。
これにより、自動的に選択された修正内容をユーザが変更できるようになる。
画像修正部８は、前記決定した画像処理条件で画像修正処理を行うものであり、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正を行う。
【００１９】
次に、図３を参照して、本発明の実施形態に係わる画像処理装置の処理の流れについて説明する。
本実施形態の処理では、学習フェーズと運用フェーズに分かれている。
まず、学習フェーズの処理について説明する。
学習フェーズにおいて、データ入力部２は、訓練画像データとグループ分類データをファイル等から読み込む（ステップＳ１）。
特徴ベクトル化部５は、訓練画像データを特徴ベクトル化する（ステップＳ２）。
なお、特徴ベクトル化の方法については、後にさらに詳しく説明する。
関係学習部６は、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する（ステップＳ３）。
【００２０】
学習の方法としては、一般的な機械学習のアルゴリズムを用いればよく、例えば、多変量解析、線形回帰、ニューラルネット、Support vector machine（ＳＶＭ）、ＡｄａＢｏｏｓｔなどを用いることができる。また、学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係情報は記憶部３に保持し、後に運用フェーズで利用する。この結果、表１に示すようにグループ分けを行うことができる。
【００２１】
多変量解析手法としては、例えば、特許４２６６５８４号の段落［００４０］から［００４４］に記載されているように、特異値分解により多変量解析を行うことができる。なお、特許４２６６５８４号の記載では「テキストデータ特徴ベクトル」となっているがテキストデータに限らず一般的な特徴ベクトルについて同様の処理が可能である。
【００２２】
線形回帰手法としては、例えば、特許４０１２８９１号の段落［００２７］から［００３４］に記載されているように、線形モデル式での観測データの誤差の二乗和が最小なるように求めればよい。なお、特許４０１２８９１号の記載では「接触角データ」を対象としているが、線形回帰はそれに限らず一般的なデータについて同様の処理が可能である。また、参考文献として、「パターン認識と機械学習  上」（丸善出版）の第３章を参照してもよい。
【００２３】
ニューラルネットとしては、例えば、特開平０５−３４６９１５号に記載されている。詳しくは、入出力のサンプル｛（ｘｉ，ｙｉ）｝に対して、入力ベクトルのなす空間と出力ベクトルのなす空間との直和空間上の任意の確率密度Ｐｗ（ｘ，ｙ）を、確率密度獲得部により学習によって推定し獲得する。この場合、確率密度Ｐｗ（ｘ，ｙ）は、予め学習パラメータｗをもっており、確率密度獲得部の確率密度算出部では、入出力のサンプル｛ｘｉ，ｙｉ｝が得られる確率Ｌ（ｗ）を算出する。確率密度推定部では、算出された確率Ｌ（ｗ）に最尤推定法を適用して直和空間上の確率密度Ｐｗ（ｘ，ｙ）を推定する。学習による推定がなされた結果の確率密度Ｐｗ（ｘ，ｙ）に基づき入出力関係を推定することができる。なお、本発明では、入力は「特徴ベクトル」、出力は「画像修正内容」としてその関係を学習すればよい。
その他に、特許３６１８００７号に記載の方法を用いてもよい。
また、参考文献として、「パターン認識と機械学習  上」（丸善出版）の第５章を参照してもよい。
【００２４】
Support vector machine（ＳＶＭ）手法としては、例えば、特許５１５７８４８号の段落［００４４］から［００５５］に記載されている。詳しくは、分類したい二つのベクトル群の境界位置に存在するベクトル（Support Vector）を見つけて、Support Vectorと超平面との距離が最大となるように超平面を設定することにより分類の学習が行われる。本発明では、同じ「画像修正」に対応する「特徴ベクトル」を１つのベクトル群とし、その他の「画像修正」に対応する「特徴ベクトル」をもう一つのベクトル群とすることにより、「特徴ベクトル」と「画像修正」の関係を学習できる。
【００２５】
ＡｄａＢｏｏｓｔ手法としては、例えば、特許５１５７８４８号の段落［００６０］から［００７１］に記載されている。詳しくは、複数の弱識別器の結果の重み付き多数決を採ることで高精度な判定結果を得ることができる。また、特許５１５７８４８号にも記載されているように、ＡｄａＢｏｏｓｔ手法もＳＶＭ手法と同様に分類学習に用いることができる。このため、本発明では、同じ「画像修正」に対応する「特徴ベクトル」を１つのベクトル群とし、その他の「画像修正」に対応する「特徴ベクトル」をもう一つのベクトル群とすることにより、「特徴ベクトル」と「画像修正」の関係を学習できる。
【００２６】
次に、運用フェーズの処理について説明する。
運用フェーズにおいて、まず、データ入力部２は、入力画像データをファイル等から読み込む（ステップＳ４）。
次いで、特徴ベクトル化部５は、入力画像データを特徴ベクトル化する（ステップＳ５）。
特徴ベクトル化の方法については、学習フェーズと同様に後にさらに詳しく説明する。
画像処理条件決定部７は、学習フェーズで学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を記憶部３から読み出ておく（ステップＳ６）。画像処理条件決定部７は、対応関係情報を利用して特徴ベクトル化部５により求められた特徴ベクトルに対応する画像処理条件を決定する（ステップＳ７）。
【００２７】
次いで、画像処理条件決定部７は、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
ここで、図７にグループ毎の画像処理条件の例を示す。
図７には、シーン認識の対象となるグループ、検出対象、修正目標（画像処理条件）、最終生成物を示している。修正目標においては、最終的に色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
例えば、一番上の「ファッション」のグループでは、人物や共通背景や共通アイテムを検出対象とし、人物の色調の画像処理条件については肌調子を規準に整えるように決定し、共通背景については共通物の色味、調子を揃えるように決定する。「ファッション」のグループでは、通販カタログや広告や雑誌を最終生成物として想定している。
また、５番目の「夜景」のグループでは、コントラストの画像処理条件をメリハリが付くように高めに決定する。さらに、６番目の「ホテルの部屋」のグループでは、明るさの画像処理条件を暗部が潰れないように決定する。
このように、画像処理条件決定部７では、図７に示すように、シーン認識の対象となるグループ毎に画像処理条件となる修正目標が決定される。
次いで、画像修正部８は、決定した画像処理条件で画像修正処理を行う（ステップＳ８）。画像修正部８は、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正を行う。この結果、図７に示すように、画像修正処理を行った最終生成物の画像が生成される。
【００２８】
次に、図４を参照して、本発明の実施形態に係わる画像処理装置の学習フェーズでの特徴ベクトル化の処理の流れを説明する。
まず、局所特徴量算出部５ａは、訓練画像データから複数の局所領域における局所特徴量を算出する（ステップＳ１１）。局所特徴量の算出には、例えば公知のＳＵＲＦ法やＳＩＦＴ法等が利用できる。
【００２９】
ＳＩＦＴ法としては、例えば、特開２０１３−０７７２９６号公報の段落［００３２］から［００４４］に記載されている。詳しくは、バンドパスフィルタによりスケール検出を行い、フィルタで検出された値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極小値、極大値）になっている画素をキーポイントとして検出する。キーポイントのうち過検出となった部分を削除することによりキーポイントのローカライズを行い、画像データの回転をロバストにするためにオリエンテーションを算出する。画像データをオリエンテーションの方向に回転してから特徴ベクトルを算出することにより、局所特徴量を求めることができる。
これにより、画像データからＳＩＦＴ法を用いて局所特徴量を算出することで、高精度かつ高速に局所特徴量を算出することができる。
【００３０】
ＳＵＲＦ法としては、例えば、特開２０１３−０７６９８６号公報の段落［００４７］から［００５８］に記載されている。詳しくは、各解像度でヘシアン（ヘッセ行列）を計算し、その行列式が最も大きくなる解像度を主解像度として選択し、該解像度のグラディエントを、当該位置でのグラディエントとして用いることで局所特徴量を求めることができる。
これにより、ＳＵＲＦ法を用いて特徴点抽出処理及び特徴量抽出処理を行なうことで、高精度かつ高速に局所特徴量が算出できるという効果がある。
【００３１】
次いで、代表局所特徴量作成部５ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する（ステップＳ１２）。
次いで、代表局所特徴量の作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
ここで、訓練画像毎に以下の処理を行う。
【００３２】
Ｋ−平均法は、一般には以下のような流れで実装される。データの数をｎ、クラスタの数をＫとしておく。
各データｘｉ（ｉ＝１…ｎ）に対してランダムにクラスタを割り振る。
［２］割り振ったデータをもとに各クラスタの中心Ｖｊ（ｊ＝１…Ｋ）を計算する。計算は通常割り当てられたデータの各要素の算術平均が使用される。
［３］各ｘｉと各Ｖｊとの距離を求め、ｘｉを最も近い中心のクラスタに割り当て直す。
［４］上記の処理で全てのｘｉのクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値を下回った場合に、収束したと判断して処理を終了する。そうでない場合は新しく割り振られたクラスタからＶｊを再計算して上記の処理を繰り返す。
このように、局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成することで、高精度に代表局所特徴量を作成することができる。
【００３３】
差分ベクトル和算出部５ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（ステップＳ１３）。
次いで、処理対象の１枚の画像に含まれる各局所特徴量について以下の処理を行う（ステップＳ１４）。なお、局所特徴量は一般的にベクトルで表現されており、ベクトル間の距離はベクトルとベクトルの差の長さで計算可能である。
次いで、最近傍代表局所特徴量選択部５ｃは、処理対象の１個の局所特徴量に最も近いベクトル間の距離を有する局所特徴量を代表局所特徴量として選択する（ステップＳ１５）。
次いで、差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ１６）。
次いで、差分ベクトル和算出部５ｄは、差分ベクトルを代表局所特徴量毎の和に加算して差分ベクトル和を求める（ステップＳ１７）。
次いで、処理対象画像に含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップＳ１４に戻って処理を続行し、完了していればステップＳ９に進む（ステップＳ１８）。
【００３４】
次いで、差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する（ステップＳ１９）。
次いで、特徴ベクトル化部５は、各代表局所特徴量に対する正規化差分ベクトル和を夫々に並べて対象画像についての１個の特徴ベクトルとする（ステップＳ２０）。
全ての訓練画像について処理が完了したか否かを判定し、まだ処理すべき画像が残っていればステップＳ１３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（ステップＳ２１）。
【００３５】
次に、図５を参照して、本発明の実施形態に係わる画像処理装置による運用フェーズでの特徴ベクトル化の処理の流れについて説明する。
まず、局所特徴量算出部５ａは、入力画像データから複数の局所領域における局所特徴量を算出する（ステップＳ３１）。局所特徴量としては、例えばＳＵＲＦ法やＳＩＦＴ法等が利用できる。
次いで、データ入力部２は、学習フェーズで作成したｋ個の代表局所特徴量を読み込む（ステップＳ２３）。代表局所特徴量の読み込みは、例えば、ファイル等の外部記憶装置から読み込んでもよいし、記憶部３の内部メモリ等から読み込んでもよい。
次いで、差分ベクトル和算出部５ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（ステップＳ３３）。
次いで、処理対象の１枚の画像に含まれる各局所特徴量について以下の処理を行う（ステップＳ３４）。なお、局所特徴量は一般的にベクトルで表現されており、ベクトル間の距離はベクトルとベクトルの差の長さで計算可能である。
【００３６】
次いで、最近傍代表局所特徴量選択部５ｃは、処理対象の１個の局所特徴量に最も近いベクトル間の距離を有する局所特徴量を代表局所特徴量として選択する（ステップＳ３５）。
次いで、差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ３６）。
次いで、差分ベクトル和算出部５ｄは、差分ベクトルを代表局所特徴量毎の和に加算することで差分ベクトル和を求める（ステップＳ３７）。
次いで、処理対象画像に含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップＳ３４に戻って処理を続行し、完了していればステップＳ３９に進む（ステップＳ３８）。
次いで、差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する（ステップＳ３９）。
次いで、特徴ベクトル化部５は、各代表局所特徴量に対する正規化差分ベクトル和を並べて対象画像の１個の特徴ベクトルとする（ステップＳ４０）。
次いで、全ての訓練画像について処理が完了したか否かを判定し、まだ処理すべき画像が残っていればステップＳ３３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（ステップＳ４１）。
【００３７】
次に、図６を参照して、本発明の実施形態に係わる画像処理装置による特徴ベクトルの算出処理について説明する。
図６（Ａ）は、学習フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、代表局所特徴量作成部５ｂは、局所特徴量（ｃ）から代表局所特徴量作成処理（ｄ）を行うことによりｋ個の代表局所特徴量（ｅ）を生成する。
図６（Ｂ）は、学習フェーズまたは運用フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像または入力画像（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、差分ベクトル和算出部５ｄは、各局所特徴量（ｄ）について、最も近い代表局所特徴量との差分ベクトルを求めて和（ｅ）を取る。次いで、差分ベクトル正規化部５ｅは、差分ベクトル和（ｅ）を該差分ベクトル和の長さで除算して正規化（ｆ）し、正規化差分ベクトル和を出力する。各代表局所特徴量に対する正規化差分ベクトル和（ｇ）を並べて（ｈ）対象画像の１個の特徴ベクトル（ｉ）を生成する。
【００３８】
予め学習フェーズにおいて、訓練用画像データから局所特徴量を算出し、算出した局所特徴量から複数個の代表局所特徴量を作成し、訓練用画像データの局所特徴量に対して最も近い代表局所特徴量を選択する。次いで、その代表局所特徴量と局所特徴量との差分ベクトルを算出し、この差分ベクトルを代表局所特徴量毎に和を取る処理を対象となる全ての局所特徴量に対して行い、和を取った差分ベクトルを長さを１に正規化する。次いで、その正規化した代表局所特徴量毎の差分ベクトルを並べて訓練用画像データに対する１個の特徴ベクトルとし、この特徴ベクトルと画像修正処理との関係を学習しておく。
例えば、空の青さを修正する場合に、旅行パンフレットでは空をより青くするが、会社説明のパンフレットではあまり青くしない等、画像の特徴により修正内容が異なる。このような場合に、画像データの１つの特徴ベクトルと画像修正処理との対応関係を示す対応関係情報を学習しておく。
次に、運用フェーズにおいては、対象画像（通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告で使用する画像など）についての特徴ベクトル化を行って特徴ベクトルを求める。次いで、学習しておいた対応関係情報から当該特徴ベクトルに対応する画像修正処理条件を決定し、決定された画像修正処理条件に従って画像修正処理を行う。
【００３９】
本実施形態によれば、画像データから画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化部５（特徴ベクトル化手段）を備える画像処理装置であって、特徴ベクトル化部５（特徴ベクトル化手段）は、画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出部５ａ（局所特徴量算出手段）と、複数の局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成部５ｂ（代表局所特徴量作成手段）と、局所特徴量算出部５ａ（局所特徴量算出手段）により算出された処理対象となる１つの局所特徴量に最も近い代表局所特徴量を選択する最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）と、最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）により選択された当該代表局所特徴量と処理対象となる１つの局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）と、差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）により求められた差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化部５ｅ（差分ベクトル正規化手段）と、を備え、正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求める。
これにより、画像データから複数の局所領域における局所特徴量を算出し、複数の局所特徴量から代表となる複数の代表局所特徴量を作成し、算出された処理対象となる１つの局所特徴量に最も近い代表局所特徴量を選択すると、選択された当該代表局所特徴量と処理対象となる１つの局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求め、求められた差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求めておき、正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求める。
この結果、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることができる。
【００４０】
本実施形態によれば、学習フェーズと運用フェーズを備え、学習フェーズにおいて、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する関係学習部６（関係学習手段）と、運用フェーズにおいて、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルに基づいて、対応関係情報から画像処理条件を決定する画像処理条件決定部７（画像処理条件決定手段）と、画像処理条件決定部７（画像処理条件決定手段）により決定された画像処理条件に従って画像データを処理対象として画像修正を行う画像修正部８（画像修正手段）と、を備えている。
これにより、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習しておき、運用フェーズにおいて、求められた特徴ベクトルに基づいて、対応関係情報から画像処理条件を決定し、決定された画像処理条件に従って画像データを処理対象として画像修正を行うことでき、特徴ベクトルと画像修正処理との関係を学習することにより、従来技術よりも画像特徴と画像修正処理との対応関係を示す対応関係情報をより高精度に表現できることができる。この結果、画像修正処理の統一感を向上させることができる。
【００４１】
本実施形態によれば、局所特徴量算出部５ａ（局所特徴量算出手段）は、画像データからＳＵＲＦ法又はＳＩＦＴ法を用いて局所特徴量を算出する。
これにより、高精度かつ高速に局所特徴量を算出することができる。
本実施形態によれば、差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）は、最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）により選択された当該代表局所特徴量と処理対象となる１つの局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求める。
これにより、選択された当該代表局所特徴量と処理対象となる１つの局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求めることができる。
【００４２】
本実施形態によれば、画像処理条件決定部７（画像処理条件決定手段）は、複数の修正内容についての修正内容候補情報をモニタに提示する（提示手段）と、修正内容候補情報への選択操作をマウスから入力する（選択操作入力手段）と、を備える。
これにより、自動的に選択された修正内容をユーザが変更できるようになる。
本実施形態によれば、代表局所特徴量作成部５ｄ（代表局所特徴量作成手段）は、局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成する。
これにより、高精度に代表局所特徴量を作成することができる。
本実施形態によれば、関係学習部６（関係学習手段）は、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を、サポートベクターマシン又はニューラルネットワークを用いて学習する。
これにより、高精度かつ高速にグループ化を行うことができる。
【符号の説明】
【００４３】
１…画像処理装置、２…データ入力部、３…記憶部、４…制御部、５…特徴ベクトル化部、５ａ…局所特徴量算出部、５ｂ…代表局所特徴量作成部、５ｃ…最近傍代表局所特徴量選択部、５ｄ…差分ベクトル和算出部、５ｅ…差分ベクトル正規化部、６…関係学習部、７…画像処理条件決定部、８…画像修正部
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００５−１５１２８２公報
【特許文献２】特開２００６−３４３９７７公報
【特許文献３】特許４８７５４７０号
【図１】
2015094973.tif 000003
【図２】
2015094973.tif 000004
【図３】
2015094973.tif 000005
【図４】
2015094973.tif 000006
【図５】
2015094973.tif 000007
【図６】
2015094973.tif 000008
【図７】
2015094973.tif 000009