(57)【特許請求の範囲】
【請求項１】
受け付けた画像に含まれた画像要素の分布に基づいて特定される画像の種類についての、標識、当該受け付けた画像が当該画像の種類であるという条件の下での当該受け付けた画像に当該標識が出現する確率、及び、当該受け付けた画像内における当該標識の出現確率の確率分布を表すパラメータ、が関連付けられた情報に基づいて、前記受け付けた画像内における位置が互いに異なる複数の部分画像それぞれについて、当該部分画像を代表する位置に出現する確率が上位であると計算される、当該部分画像に関連付けられる標識の候補を特定する標識候補特定手段、
前記各部分画像について、標識、当該部分画像に当該標識が出現する確率、及び、当該標識に対応する部分画像の特徴量がある値である確率の確率分布を表すパラメータ、が関連付けられた情報と、当該部分画像の特徴量と、に基づいて、前記標識の候補のそれぞれについての、当該標識の候補に対応する当該部分画像の特徴量がある値である確率を計算する計算手段、
前記各部分画像について、前記計算手段による計算結果に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段、
複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段、
としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項２】
前記画像出力手段が、前記各部分画像に関連付けられる標識に対応する値と、前記記憶手段に記憶されている画像に関連付けられる標識に対応する値と、の比較結果に基づいて特定される画像を出力する、
ことを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
受け付けた画像に含まれた画像要素の分布に基づいて特定される画像の種類についての、標識、当該受け付けた画像が当該画像の種類であるという条件の下での当該受け付けた画像に当該標識が出現する確率、及び、当該受け付けた画像内における当該標識の出現確率の確率分布を表すパラメータ、が関連付けられた情報に基づいて、前記受け付けた画像内における位置が互いに異なる複数の部分画像それぞれについて、当該部分画像を代表する位置に出現する確率が上位であると計算される、当該部分画像に関連付けられる標識の候補を特定する標識候補特定手段と、
前記各部分画像について、標識、当該部分画像に当該標識が出現する確率、及び、当該標識に対応する部分画像の特徴量がある値である確率の確率分布を表すパラメータ、が関連付けられた情報と、当該部分画像の特徴量と、に基づいて、前記標識の候補のそれぞれについての、当該標識の候補に対応する当該部分画像の特徴量がある値である確率を計算する計算手段と、
前記各部分画像について、前記計算手段による計算結果に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段と、
複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段と、
を含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
画像を複数の部分に分割して、識別器を用いて各部分が何を表しているかを特定して、その特定結果に基づいて、この画像に類似する画像を選択して出力する画像検索技術が存在する。
【０００３】
また、画像を識別する技術が存在する。特許文献１には、画像の誤識別を防止しつつ識別処理の速度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０４４２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、本発明の構成を有しない場合と比較して、画像検索の精度が向上する画像処理プログラム及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、画像処理プログラムであって、受け付けた画像に含まれた画像要素の分布に基づいて、前記画像内における位置が互いに異なる複数の部分画像それぞれに関連付けられる標識の候補を特定する標識候補特定手段、前記各部分画像について、当該部分画像の特徴量に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段、複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段、としてコンピュータを機能させることとしたものである。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理プログラムであって、前記標識候補特定手段が、学習対象となる少なくとも１つの画像に基づいて特定される画像内における位置と当該位置に対応する標識の候補との関係に基づいて、前記標識の候補を特定することとしたものである。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理プログラムであって、前記標識候補特定手段が、学習対象となる少なくとも１つの画像に基づいて画像の種類毎に特定される画像内における位置と当該位置に対応する標識の候補との関係に基づいて特定される、前記受け付けた画像の種類に基づいて、前記標識の候補を特定することとしたものである。
【０００９】
請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理プログラムであって、前記画像出力手段が、前記各部分画像に関連付けられる標識に対応する値と、前記記憶手段に記憶されている画像に関連付けられる標識に対応する値と、の比較結果に基づいて特定される画像を出力することとしたものである。
【００１０】
請求項５に記載の発明は、画像処理装置であって、受け付けた画像に含まれた画像要素の分布に基づいて、前記画像内における位置が互いに異なる複数の部分画像それぞれに関連付けられる標識の候補を特定する標識候補特定手段と、前記各部分画像について、当該部分画像の特徴量に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段と、複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段と、を含むこととしたものである。
【発明の効果】
【００１１】
請求項１，５に記載の発明によれば、本発明の構成を有しない場合と比較して、画像検索の精度が向上する。
【００１２】
請求項２に記載の発明によれば、画像内における位置が考慮された標識の候補の特定が行われる。
【００１３】
請求項３に記載の発明によれば、画像の種類及び画像内における位置が考慮された標識の候補の特定が行われる。
【００１４】
請求項４に記載の発明によれば、本発明の構成を有しない場合と比較して、出力の対象となる画像の特定が容易になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。
【図２】本発明の一実施形態に係る画像処理装置により実現される機能の一例を示す機能ブロック図である。
【図３】相関モデルデータの一例を示す図である。
【図４】部分画像分類モデルデータの一例を示す図である。
【図５】標識分布情報の一例を示す図である。
【図６】本実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【図７】単位情報の一例を示す図である。
【図８】学習用部分画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１７】
図１のハードウェア構成図に例示するように、本実施形態における画像処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、画像処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。
【００１８】
図２は、本実施形態に係る画像処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、画像処理装置１０は、本実施形態では、例えば、画像記憶部２０、画像受付部２２、画像領域分割部２４、部分画像特徴抽出部２６、全体画像特徴抽出部２８、コードブック情報記憶部３０、画像種類特定部３２、標識候補特定部３４、モデルデータ記憶部３６、標識特定部３８、標識分布情報生成部４０、類似度算出部４２、画像出力部４４、を含むものとして機能する。画像記憶部２０、コードブック情報記憶部３０、モデルデータ記憶部３６は記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。
【００１９】
これらの要素は、コンピュータである画像処理装置１０にインストールされたプログラムを、画像処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信手段を介して画像処理装置１０に供給される。
【００２０】
画像記憶部２０は、本実施形態では、例えば、検索対象となる複数の画像（検索対象画像）を記憶する。
【００２１】
画像受付部２２は、例えば、利用者から検索条件となる画像（検索条件画像）を受け付ける。検索条件画像は、例えば、データベースに保存されている画像、電子文書中の画像、検索条件であるキーワードに基づいて検索結果として特定された画像、デジタルカメラなどのカメラにより撮像された画像、などである。なお、検索条件画像の情報源は限定されない。
【００２２】
画像領域分割部２４は、例えば、画像を複数の領域に分割する。画像領域分割部２４は、例えば、検索条件画像を複数の領域に分割する。領域分割の方法は、例えば、検索条件画像を、予め定められた８×８画素の矩形領域に等分割する方法や、ｋ−ｍｅａｎｓ法などのクラスタリング手法により、互いに画像特徴（例えば、色など）が近い画像要素（例えば、画素）が結合された領域に分割する方法などが挙げられる。なお、各領域が互いに重なり合っても構わない。
【００２３】
部分画像特徴抽出部２６は、例えば、画像に含まれる画像要素（例えば、画素）の分布に基づいて、画像内における位置が互いに異なる複数の部分画像それぞれの特徴（部分画像特徴）を抽出する。部分画像特徴抽出部２６は、本実施形態では、例えば、検索条件画像に含まれる画素の分布に基づいて、検索条件画像内における位置が互いに異なる複数の部分画像（検索条件部分画像）それぞれの部分画像特徴を抽出する。検索条件部分画像は、例えば、画像領域分割部２４によって検索条件画像を分割した各領域内の画像に対応する。部分画像特徴抽出部２６は、例えば、検索条件部分画像内の画素のＲＧＢ色空間、Ｌａｂ色空間、ＹＢｒ色空間などにおける色成分の平均、あるいは、平均と分散の組合せなどを部分画像特徴として抽出する。なお、部分画像特徴抽出部２６は、例えば、検索条件部分画像内の画素の、３スケール、８方向のＧａｂｏｒフィルタなどによる演算結果の平均、あるいは、平均と分散の組合せなどを部分画像特徴として抽出してもよい。
【００２４】
全体画像特徴抽出部２８は、例えば、画像（例えば、検索条件画像）に含まれる画像要素（例えば、画素）の分布に基づいて、画像全体に関わる画像特徴である全体画像特徴を抽出する。全体画像特徴抽出部２８は、例えば、まず、検索条件画像全体に含まれる各画素の画像特徴（例えば、ＲＧＢ色空間における色成分など）を特定する。そして、全体画像特徴抽出部２８は、各画素の画像特徴を、例えば、予めコードブック情報記憶部３０に記憶されているコードブック情報により量子化する。そして、全体画像特徴抽出部２８は、検索条件画像内の各画素についての量子化の結果のヒストグラムを全体画像特徴として抽出する。すなわち、全体画像特徴抽出部２８は、いわゆる、Ｂａｇ  ｏｆ  ｆｅａｔｕｒｅｓの特徴量を抽出する。なお、検索条件画像に含まれる各画素について特定される画像特徴として、上述の様々な色成分や、Ｇａｂｏｒフィルタの演算結果などを用いても構わない。
【００２５】
画像種類特定部３２は、例えば、検索条件画像から抽出された全体画像特徴に基づいて、この検索条件画像の種類（画像カテゴリ）を特定する。画像カテゴリの例としては、風景、屋内、人物、建物、動物などが挙げられる。画像種類特定部３２は、例えば、各画像カテゴリに関連づけられている画像特徴と、検索条件画像から抽出された全体画像特徴と、の比較結果に基づいて、検索条件画像の画像カテゴリを特定する。
【００２６】
標識候補特定部３４は、画像に含まれる画像要素の分布に基づいて、各部分画像に関連付けられる標識（ラベル）（以下、部分画像ラベルと呼ぶ。）の候補（以下、部分画像ラベル候補と呼ぶ。）を特定する。また、標識候補特定部３４は、画像に含まれる画像要素の分布に基づいて特定される画像の種類（画像カテゴリ）に基づいて、各部分画像に関連付けられる部分画像ラベル候補を特定してもよい。標識候補特定部３４は、例えば、検索条件画像の全体画像特徴に基づいて、各検索条件部分画像に関連づけられるラベルの候補（検索条件部分画像ラベル候補）を特定する。標識候補特定部３４は、例えば、画像カテゴリ−部分画像ラベル相関モデルを用いて、各検索条件部分画像に対応する検索条件部分画像ラベル候補を特定する。
【００２７】
図３は、画像カテゴリ−部分画像ラベル相関モデルを実現した具体的なデータの一例である相関モデルデータ４６の一例を示す図である。本実施形態では、相関モデルデータ４６は、予め、モデルデータ記憶部３６に記憶されている。
【００２８】
相関モデルデータ４６は、例えば、画像カテゴリと、部分画像ラベル名と、画像の画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）と、複数の相関モデルパラメータ（第１相関モデルパラメータ〜第Ｎ相関モデルパラメータ）と、を含む。図３に例示する相関モデルデータ４６では、例えば、画像カテゴリが風景である画像については、部分画像ラベル名が「山」である部分画像ラベルが８０％の確率で出現することが表されている。
【００２９】
相関モデルパラメータは、例えば、検索条件部分画像ラベルがＬであるという条件の下で、その検索条件部分画像ラベルが検索条件画像内の位置ｘに出現する確率Ｐ（ｘ｜Ｌ）を次式に例示する混合ガウス分布で表した際のパラメータの組合せ（第ｉ相関モデルパラメータについては、重みλｉ、平均μｉ、分散共分散行列Σｉの組合せ）を示すデータである。
【数１】
0005413156.tif 000002
【００３０】
そして、標識候補特定部３４は、画像カテゴリが特定された検索条件画像について、相関モデルデータ４６に基づいて、次式に例示するように、各検索条件部分画像について、検索条件画像内の位置がｘであるという条件の下で、この位置にＬである検索条件部分画像ラベルが出現する確率Ｐ（Ｌ｜ｘ）を算出する。
【数２】
0005413156.tif 000003
【００３１】
なお、標識候補特定部３４は、Ｐ（ｘ）を計算する必要はない。
【００３２】
標識特定部３８は、例えば、各部分画像について、部分画像の特徴量（例えば、上述の部分画像特徴）に基づいて、部分画像ラベル候補のうちから、この部分画像に関連付けられる標識（部分画像ラベル）を特定する。標識特定部３８は、例えば、各検索条件部分画像について、検索条件部分画像の特徴量に基づいて、検索条件部分画像ラベル候補のうちから、この検索条件部分画像に関連付けられる検索条件部分画像ラベルを特定する。検索条件部分画像ラベルの例としては、例えば、山、海、太陽、机、人物、犬等が挙げられる。標識特定部３８は、特定された検索条件部分画像ラベルを検索条件部分画像に関連付ける。標識特定部３８は、例えば、部分画像分類モデルを表す部分画像分類モデルデータ４８（図４参照）に基づいて、検索条件部分画像ラベルの検索条件部分画像への関連づけを行う。図４は、部分画像分類モデルデータ４８の一例を示す図である。部分画像分類モデルデータ４８は、例えば、予め、モデルデータ記憶部３６に記憶されている。
【００３３】
図４に例示するように、部分画像分類モデルデータ４８は、例えば、部分画像ラベル名、画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ）、複数の部分画像分類モデルパラメータ（第１部分画像分類モデルパラメータ〜第Ｎ部分画像分類モデルパラメータ）、を含む。図４に例示する部分画像分類モデルデータ４８では、例えば、検索条件部分画像には、部分画像ラベル名が「山」である検索条件部分画像ラベルが７％の確率で出現することが表されている。
【００３４】
部分画像分類モデルパラメータは、例えば、検索条件部分画像ラベルがＬであるという条件の下で、この検索条件部分画像ラベルに対応する検索条件部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）を、次式の混合ガウス分布で表した際の確率分布を特徴付けるパラメータの組合せ（第ｉ部分画像分類モデルパラメータについては、重みλｉ、平均μｉ、分散共分散行列Σｉの組合せ）を示すデータである。
【数３】
0005413156.tif 000004
【００３５】
本実施形態では、例えば、標識候補特定部３４が、検索条件部分画像を代表する点（例えば、検索条件部分画像の中心の点や、検索条件部分画像の左上端の点など）の位置ｘにおける、Ｐ（Ｌ｜ｘ）の値を、各検索条件部分画像ラベルについて計算して、Ｐ（Ｌ｜ｘ）の値が大きなものから順にＮ個の検索条件部分画像ラベル候補（例えば、Ｌ１、Ｌ２・・・ＬＮ）を特定する。そして、標識特定部３８が、例えば、予め標識候補特定部３４により絞り込まれたこのＮ個の検索条件部分画像ラベル候補それぞれについて、Ｐ（ｙ｜Ｌ）の値を計算する。そして、標識特定部３８は、例えば、次式に基づいて、この検索条件部分画像に対応する検索条件部分画像ラベルｌａｂｅｌを特定する。標識候補特定部３４及び標識特定部３８は、例えば、上述の処理を各検索条件部分画像に対して実行する。
【数４】
0005413156.tif 000005
【００３６】
標識分布情報生成部４０は、例えば、各部分画像について特定された部分画像ラベルｌａｂｅｌを集計した標識分布情報を生成する。
【００３７】
標識分布情報生成部４０は、例えば、検索条件部分画像ラベルｌａｂｅｌを集計して、各検索条件部分画像ラベルが存在する個数を示すヒストグラムを表す標識分布情報５０（図５参照）を生成する。図５は、標識分布情報５０の一例を示す図である。そして、標識分布情報生成部４０は、生成された標識分布情報５０を検索条件画像に関連づける。
【００３８】
なお、本実施形態では、予め、上述と同様の方法により、画像記憶部２０に記憶されている各検索対象画像についても、検索対象画像に含まれる各部分画像（検索対象部分画像）に部分画像ラベル（検索対象部分画像ラベル）が関連づけられている。そして、標識分布情報生成部４０は、予め、各検索対象画像について、検索対象画像に含まれる各検索対象部分画像に関連づけられた検索対象部分画像ラベルに基づいて、標識分布情報５０を生成する。そして、標識分布情報生成部４０は、この標識分布情報５０を検索対象画像に関連づける。
【００３９】
すなわち、本実施形態では、例えば、検索条件画像にも各検索対象画像にも、その画像に対応する標識分布情報５０が関連づけられていることとなる。
【００４０】
類似度算出部４２は、検索条件画像に関連づけられている標識分布情報５０と、各検索対象画像に関連づけられている標識分布情報５０と、の類似度を算出する。類似度算出部４２は、具体的には、例えば、検索条件画像に関連づけられている標識分布情報５０に対応するヒストグラムと、各検索対象情報に関連づけられている標識分布情報５０に対応するヒストグラムと、の距離を算出する。ヒストグラム間の距離とは、具体的には、例えば、ユークリッド距離やχ２乗距離などである。
【００４１】
画像出力部４４は、類似度算出部４２により算出された類似度に基づいて特定される画像を出力する。画像出力部４４は、例えば、検索条件画像に対応するヒストグラムからの距離が小さいものから順にｎ個のヒストグラムを特定し、それぞれのヒストグラムに対応する検索対象画像をディスプレイなどのＵＩ部１６に表示出力する。なお、画像出力部４４は、類似度算出部４２により算出された類似度に基づいて特定される画像を記憶部１４に出力するようにしてもよい。
【００４２】
ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を図６に示すフロー図を参照しながら説明する。
【００４３】
まず、画像受付部２２が、利用者から検索条件画像を受け付ける（Ｓ１０１）。そして、全体画像特徴抽出部２８が、Ｓ１０１に例示する処理により受け付けた検索条件画像に基づいて、この検索条件画像の全体画像特徴を抽出する（Ｓ１０２）。そして、画像種類特定部３２が、Ｓ１０２に例示する処理により抽出された全体画像特徴に基づいて、検索条件画像の画像カテゴリを特定する（Ｓ１０３）。そして、画像領域分割部２４が、検索条件画像の領域分割を行う（Ｓ１０４）。そして、部分画像特徴抽出部２６が、検索条件画像を分割した各領域に対応する検索条件部分画像の部分画像特徴を抽出する（Ｓ１０５）。そして、標識候補特定部３４が、各検索条件部分画像について、Ｓ１０３に例示する処理により特定された画像カテゴリと、検索条件部分画像内の代表点の位置と、に基づいて、検索条件部分画像に対応する検索条件部分画像ラベル候補を特定する（Ｓ１０６）。そして、標識特定部３８が、各検索条件部分画像について、Ｓ１０５に例示する処理により抽出された部分画像特徴に基づいて、Ｓ１０６に例示する処理で特定された検索条件部分画像ラベル候補のうちから、検索条件部分画像に対応する検索条件部分画像ラベルを特定して、この検索条件部分画像ラベルを検索条件部分画像に関連付ける（Ｓ１０７）。そして、標識分布情報生成部４０が、各検索条件部分画像に関連付けられた検索条件部分画像ラベルを集計して、ヒストグラムに対応する標識分布情報５０を生成して、この標識分布情報５０を検索条件画像に関連づける（Ｓ１０８）。そして、類似度算出部４２が、Ｓ１０８に例示する処理で生成された標識分布情報５０に対応するヒストグラムと、各検索対象画像に関連づけられているヒストグラムと、の距離を算出する（Ｓ１０９）。そして、画像出力部４４が、Ｓ１０９に例示する処理で算出された距離が小さなものから順にｎ個の検索対象画像を特定して、これらの画像をディスプレイなどのＵＩ部１６に表示出力する（Ｓ１１０）。
【００４４】
なお、本実施形態に係る画像処理装置１０で行われる処理の流れは上述の処理例の処理の流れには限定されない。例えば、画像処理装置１０は、Ｓ１０２〜Ｓ１０３に例示する処理と、Ｓ１０４〜Ｓ１０５に例示する処理の順序を入れ替えて実行しても構わない。また、画像処理装置１０は、Ｓ１０２〜Ｓ１０３に例示する処理と、Ｓ１０４〜Ｓ１０５に例示する処理と、を並行して実行しても構わない。
【００４５】
なお、本発明は上述の実施形態に限定されるものではない。
【００４６】
［コードブック情報の生成］
例えば、画像処理装置１０は、予め、コードブック情報の基礎となる複数の画像（以下、コードブック基礎画像と呼ぶ。）に基づいて、上述のコードブック情報を生成するようにしてもよい。具体的には、例えば、画像処理装置１０が、予め複数のコードブック基礎画像を取得して、各コードブック基礎画像について、コードブック基礎画像に含まれる各画素について抽出された画像特徴をｋ−ｍｅａｎｓ法などのクラスタリング手法により分類して、各分類の中心値を特定してもよい。そして、画像処理装置１０が、例えば、分類番号（分類ＩＤ）と、この分類番号（分類ＩＤ）に対応する分類の中心値との組合せを含むコードブック情報を生成して、コードブック情報記憶部３０に出力してもよい。そして、全体画像特徴抽出部２８が、検索条件画像に含まれる画素の画像特徴と各分類の中心値とを比較して、最も近い分類に対応する分類番号（分類ＩＤ）を量子化の結果として特定してもよい。なお、検索対象画像をコードブック基礎画像として用いても構わない。
【００４７】
［画像分類モデルの構築］
また、画像種類特定部３２は、例えば、サポートベクタマシン等の識別器を用いた学習により構築される画像分類モデルを用いて検索条件画像の画像カテゴリを特定してもよい。ここで、サポートベクタマシン等の識別器を用いた画像分類モデルの構築方法の一例について説明する。
【００４８】
画像分類モデルの構築は、例えば、学習コーパスを用いて行われる。学習コーパスは、例えば、複数の単位情報５２を含んでいる（図７参照）。図７は、単位情報５２の一例を示す図である。図７に示すように、単位情報５２は、学習用画像５４と、学習用画像５４に関連付けられた画像カテゴリと、学習用画像５４内の一部の領域に関連付けられたラベルと、を含んでいる。
【００４９】
画像分類モデルの学習の際には、例えば、識別器は、学習用画像５４を、特定の画像カテゴリの画像とその他の画像カテゴリの画像とに分け、特定の画像カテゴリの画像から得られた全体画像特徴量を正例、その他のカテゴリの画像から得られた全体画像特徴量を負例として学習する。
【００５０】
なお、画像処理装置１０は、クラスタリング手法により画像分類モデルを構築してもよい。この場合は、学習用画像５４と画像カテゴリとが予め関連付けられている必要はない。
【００５１】
［相関モデルデータの生成］
また、相関モデルデータ４６は、例えば、予め、複数の学習用画像５４に基づいて生成され、モデルデータ記憶部３６に記憶されていてもよい。ここで、相関モデルデータ４６の生成方法の一例について説明する。
【００５２】
例えば、画像処理装置１０が、ある画像カテゴリＣに関連づけられている複数の学習用画像５４を特定する。そして、画像領域分割部２４が、特定されたこれらの学習用画像５４それぞれについて、複数の領域に分割する。学習用画像５４が分割された各領域は、学習用画像５４の部分画像（以下、学習用部分画像５６と呼ぶ。）に対応する（図８参照）。図８は、図７に示す単位情報５２に含まれる学習用画像５４を複数の領域に分割することにより特定される、学習用部分画像５６の一例を示す図である。
【００５３】
そして、画像処理装置１０は、各学習用部分画像５６に対応するラベル（学習用部分画像ラベル）を特定する。画像処理装置１０は、具体的には、例えば、関連づけられている学習用部分画像５６内の領域の面積が最大であるラベルを、学習用部分画像５６に対応するラベルとして特定する。そして、画像処理装置１０は、特定された学習用部分画像ラベルを学習用部分画像５６に関連づける。
【００５４】
そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について、各学習用部分画像ラベルが学習用部分画像５６に関連づけられている数を計算する。そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について計算される、学習用部分画像５６に関連づけられている各学習用部分画像ラベルの数の比率に基づいて、画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）を計算する。
【００５５】
なお、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について、各学習用部分画像ラベルに関連づけられている学習用部分画像５６内の領域の面積を計算してもよい。そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について計算される、各学習用部分画像ラベルに関連づけられている学習用部分画像５６内の領域の面積の合計の比率に基づいて、画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）を計算してもよい。
【００５６】
また、画像処理装置１０は、例えば、学習用画像５４内における位置に対するラベルの出現確率を、例えば、ある画像カテゴリＣに関連づけられる各学習用画像５４について、あるラベルが関連付けられた学習用部分画像を代表する点（例えば、学習用部分画像の中心の点や、学習用部分画像の左上端の点など）の位置ｘの集計結果であるサンプル集合｛ｘ１，ｘ２，・・・ｘＮ｝を、混合ガウス分布により近似することでモデル化する。画像処理装置１０は、例えば、次式で定義される対数尤度が最大となるλ、μ、Σを特定することで、学習用画像５４内における位置に対するラベルの出現確率をモデル化する。
【数５】
0005413156.tif 000006
【００５７】
［部分画像分類モデルデータの生成］
また、部分画像分類モデルデータ４８は、例えば、予め、複数の学習用画像５４に基づいて生成され、モデルデータ記憶部３６に記憶されていてもよい。ここで、部分画像分類モデルデータ４８の生成方法の一例について説明する。
【００５８】
例えば、画像処理装置１０は、学習コーパスに含まれる各学習用画像５４に関連付けられているラベルの出現回数に基づいて、各ラベルが学習用画像５４に出現する確率（例えば、Ｌであるラベルが学習用画像５４に出現する確率Ｐ（Ｌ）など）を算出する。そして、画像処理装置１０は、学習用部分画像ラベルがＬであるという条件の下で、この学習用部分画像ラベルに対応する学習用部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）を、学習コーパスに含まれる各学習用画像５４について、特定の学習用部分画像ラベルに関連付けられている、学習用部分画像５６の部分画像特徴（例えば、Ｌである部分画像ラベルに関連付けられている学習用画像５４内の部分画像の部分画像特徴）の集計結果｛ｙ１，ｙ２，・・・ｙＮ｝を、混合ガウス分布により近似することでモデル化する。画像処理装置１０は、例えば、次式で定義される対数尤度が最大となるλ、μ、Σを特定することで、学習用部分画像ラベルがＬであるという条件の下で、この学習用部分画像ラベルに対応する部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）をモデル化する。
【数６】
0005413156.tif 000007
【００５９】
なお、上記の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。
【符号の説明】
【００６０】
１０  画像処理装置、１２  制御部、１４  記憶部、１６  ユーザインタフェース（ＵＩ）部、２０  画像記憶部、２２  画像受付部、２４  画像領域分割部、２６  部分画像特徴抽出部、２８  全体画像特徴抽出部、３０  コードブック情報記憶部、３２  画像種類特定部、３４  標識候補特定部、３６  モデルデータ記憶部、３８  標識特定部、４０  標識分布情報生成部、４２  類似度算出部、４４  画像出力部、４６  相関モデルデータ、４８  部分画像分類モデルデータ、５０  標識分布情報、５２  単位情報、５４  学習用画像、５６  学習用部分画像。
【図１】
0005413156.tif 000008
【図２】
0005413156.tif 000009
【図３】
0005413156.tif 000010
【図４】
0005413156.tif 000011
【図５】
0005413156.tif 000012
【図６】
0005413156.tif 000013
【図７】
0005413156.tif 000014
【図８】
0005413156.tif 000015