(57)【要約】【課題】ユーザが画像に抱く印象を的確に定量化すること。【解決手段】本発明の画像解析装置は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、その画像の特徴量ヒストグラム（色ヒストグラム関数）を作成する作成手段（９０Ｄ）と、その画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段（ヒストグラム関数作成部９０Ｄ）と、ユーザに対する前記画像の表示サイズと、画像における主要被写体領域の占有率との組み合わせに応じて、第１頻度に付与すべき重み（Ｇ１）を設定する重み設定手段（９０Ｃ）とを備える。【選択図】    図１
2013084098.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手段と、
前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段と、
ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手段と、
を備えたことを特徴とする画像解析装置。
【請求項２】
前記重み設定手段は、
前記表示サイズが未定であるときには、前記第１頻度に付与すべき重みを前記表示サイズの関数で表す
ことを特徴とする画像解析装置。
【請求項３】
請求項１又は請求項２に記載の画像解析装置において、
前記特徴量ヒストグラムの作成元は、
画像データベースへ登録すべき登録画像である
ことを特徴とする画像解析装置。
【請求項４】
請求項３に記載の画像解析装置において、
前記特徴量ヒストグラムの作成元は、
画像データベースから画像を検索する際に使用されるクエリ画像である
ことを特徴とする画像解析装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像解析装置において、
前記特徴量ヒストグラムは、色ヒストグラムであって、
前記色ヒストグラムの色区間は、予め決められた１１種類のカテゴリカルカラーに対応している
ことを特徴とする画像解析装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像解析装置において、
前記重み付け手段は、
前記画像上の非主要被写体領域上で顕著性の高い特異領域を抽出元とする特徴量の頻度である第２頻度に対して重み付けをするものであり、
前記重み設定手段は、
前記ユーザに対する前記画像の表示サイズと、前記画像における前記特異領域の占有率との組み合わせに応じて、前記第２頻度に付与すべき重みを設定する
ことを特徴とする画像解析装置。
【請求項７】
被写体を撮像して画像を生成する撮像手段と、
前記撮像手段が生成した画像を解析する請求項１〜請求項６の何れか一項に記載の画像解析装置と、
を備えたことを特徴とする撮像装置。
【請求項８】
画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手順と、
前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手順と、
ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手順と、
を含むことを特徴とする画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラなどで生成した画像の特徴を定量化する技術に関する。
【背景技術】
【０００２】
ディジタルカメラの普及に伴い個々のユーザの扱う画像の枚数が膨大化し、画像の蓄積先としてパーソナルコンピュータの他、サーバの選ばれる機会も増えている。
【０００３】
このように膨大な枚数の画像を管理するには、画像検索が有効である（特許文献１等を参照。）。特許文献１に記載された画像検索システムは、ユーザが任意のクエリ画像を入力すると、そのクエリ画像の特徴を定量化し、その特徴に類似する特徴を有した画像を画像データベースの中から検索するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この画像検索システムが検出した画像は、ユーザの所望した画像に必ずしも一致していなかった。
【０００６】
そこで本発明は、ユーザが画像に抱く印象を的確に定量化することのできる画像解析装置、撮像装置、及び画像解析方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像解析装置は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手段と、前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段と、ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手段とを備える。
【０００８】
また、本発明の撮像装置は、被写体を撮像して画像を生成する撮像手段と、前記撮像手段が生成した画像を解析する本発明の画像解析装置とを備える。
【０００９】
また、本発明の画像解析方法は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手順と、前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手順と、ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手順とを含む。
【発明の効果】
【００１０】
本発明によれば、ユーザが画像に抱く印象を的確に定量化することのできる画像解析装置、撮像装置、及び画像解析方法が実現する。
【図面の簡単な説明】
【００１１】
【図１】ディジタルカメラ１０の構成図である。
【図２】登録モードにおける画像処理エンジン９０の動作フローチャートである。
【図３】色ヒストグラム関数の作成処理を説明する図である。
【図４】色ヒストグラム関数の作成処理を説明する別の図である。
【図５】検索モードにおける画像処理エンジン９０の動作フローチャートである。
【図６】クエリ画像を指定するときの表示画面の例である。
【図７】クエリ画像と検索結果との関係を示す表示画面の例である。
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の実施形態としてディジタルカメラを説明する。
【００１３】
図１は、ディジタルカメラ１０の構成図である。図１に示すとおりディジタルカメラ１０には、撮影レンズ２０、メカニカルシャッタ３０、撮像素子５０、タイミングジェネレータ（ＴＧ）７０、アナログフロントエンド（ＡＦＥ）８０、画像処理エンジン９０、モータドライバ１１０、バッファメモリ１３０、表示部１４０、操作部１５０、リムーバブルメモリ１６０などが備えられる。なお、図示省略したが、ディジタルカメラ１０には、メカニカルシャッタ３０が閉じている期間にディジタルカメラ１０の被写界を監視する装置（測光装置、測距装置など）も備えられる。
【００１４】
撮影レンズ２０は、被写体から射出した光束を結像し、撮像素子５０の有効画素領域上に被写体像を形成する。
【００１５】
メカニカルシャッタ３０は、撮影レンズ２０と撮像素子５０との間の光路上に配置されており、ＴＧ７０から供給される駆動信号に応じて、撮像素子５０に向かう光束の光路を開閉する。このメカニカルシャッタ３０は、撮像素子５０から一定以上離れた位置に配置されたレンズシャッタ、或いは、撮像素子５０の近傍に配置されたフォーカルプレーンシャッタなどである。
【００１６】
撮像素子５０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどのカラー撮像素子であって、ＴＧ７０から供給される駆動信号に応じて信号の蓄積及び信号の読み出しを行う。
【００１７】
ＴＧ７０は、画像処理エンジン９０からの指示に応じて、撮像素子５０及びメカニカルシャッタ３０に対して駆動信号を供給すると共に、ＡＦＥ８０及び画像処理エンジン９０に対して同期信号を供給する。
【００１８】
また、ＴＧ７０は、撮像素子５０へ供給する駆動信号のパターンを切り替えることにより、撮像素子５０の１フレーム当たりの露光時間を切り替える。この露光時間は、画像処理エンジン９０が指定したＴｖ値（＝ユーザが入力したＴｖ値又は自動露出演算で算出されたＴｖ値）に応じた値に設定される。
【００１９】
ＡＦＥ８０は、撮像素子５０から出力されるアナログ信号に対してパイプライン処理を施す。ＡＦＥ８０には、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などが備えられており、ＣＤＳ回路は、撮像素子５０から出力されるアナログ信号のノイズ成分を相関二重サンプリングによって除去し、ゲイン回路は、ノイズ除去後のアナログ信号を増幅し、Ａ／Ｄ変換回路は、増幅後のアナログ信号をディジタル信号へと変換する。
【００２０】
なお、ＡＦＥ８０のゲイン（ゲイン回路の信号増幅率）は、画像処理エンジン９０が指定したＳｖ値（＝ユーザが入力したＳｖ値又は自動露出演算で算出されたＳｖ値）に応じた値に設定される。なお、ユーザが入力したＳｖ値とは、所謂「ＩＳＯ感度」のことである。
【００２１】
モータドライバ１１０は、画像処理エンジン９０からの指示に応じて、撮影レンズ２０の少なくとも一部を光軸方向へ駆動し、撮影レンズ２０のフォーカス位置を調整する。また、モータドライバ１１０は、画像処理エンジン９０が指定したＡｖ値（＝ユーザが入力したＡｖ値又は自動露出演算で算出されたＡｖ値）に応じて、撮影レンズ２０の絞り値を調整する。
【００２２】
バッファメモリ１３０は、ＡＦＥ８０から画像処理エンジン９０へと転送されたディジタル信号を蓄積する。撮像素子５０の１フレーム分の信号読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３０に１フレーム分のディジタル信号（１フレーム分の画像データ、以下、「画像」と称す。）が蓄積される。
【００２３】
表示部１４０は、画像処理エンジン９０からの指示に応じて、各種の画像を表示する。表示部１４０が表示する画像には、撮像素子５０が取得した画像、リムーバブルメモリ１６０に格納されていた画像、画像処理エンジン９０が作成したメニュー表示用の画像などがある。なお、表示部１４０は、画像を表示する際、画像の形式を表示に適した形式へと変換する。
【００２４】
操作部１５０は、レリーズボタン、メニューボタンなど、ユーザが操作可能な各種のスイッチを有している。ユーザは、この操作部１５０を介して各種の指示をディジタルカメラ１０へ入力することができる。例えば、ユーザは、詳細画像の取得時における測光エリアやフォーカスエリアをディジタルカメラ１０へ指定することができる。また、例えば、ユーザは、ディジタルカメラ１０のモードを、撮影モード、再生モード、登録モード、検索モードの間で切り換えることができる。
【００２５】
リムーバブルメモリ１６０は、ディジタルカメラ１０が取得した画像や、他のディジタルカメラが取得した画像などを長期に亘って記憶することが可能な不揮発性のメモリである。本実施形態では、このリムーバブルメモリ１６０に画像データベースが構築されているものと仮定する。
【００２６】
画像処理エンジン９０は、操作部１５０を介してユーザから入力された指示と、不図示のプログラムとに従い、ディジタルカメラ１０の各部を制御する。また、画像処理エンジン９０は、ＡＦＥ８０から送出されたディジタル信号に対して信号処理（暗電流補正など）を施したり、バッファメモリ１３０上の画像に対して所定の画像処理（ホワイトバランス調整、色補間、階調変換、色変換など）を施したりすることもできる。
【００２７】
また、画像処理エンジン９０は、ディジタルカメラ１０が登録モードに設定されているときに、ユーザから指定された画像を画像データベースに蓄積する。また、画像処理エンジン９０は、ディジタルカメラ１０が検索モードに設定されているときに、ユーザから指定された画像に類似した画像を、画像データベースから検索する。
【００２８】
なお、登録モード又は検索モードにおける画像処理エンジン９０は、必要に応じて、オブジェクト抽出部９０Ａ、顕著性評価部９０Ｂ、重み設定部９０Ｃ、ヒストグラム関数作成部９０Ｄ、画像比較部９０Ｅの何れかとして機能する。
【００２９】
図２は、登録モードにおける画像処理エンジン９０の動作フローチャートである。以下、図２の各ステップを順に説明する。
【００３０】
ステップＳ１０：画像処理エンジン９０は、画像データベースへ登録すべき画像（登録画像）をユーザに指定させる。例えば、画像処理エンジン９０は、リムーバブルメモリ１６０又はバッファメモリ１３０に蓄積された候補画像のリスト（又は候補画像のサイズ縮小版）を表示部１４０へ表示する。ユーザは、操作部１５０を操作することにより、候補画像の中の１つを登録画像として画像処理エンジン９０へ指定する（図３（Ａ）を参照）。なお、ここでは登録画像の指定がユーザによって行われる例を示したが、撮影モードで取得された直後の画像などが自動的に登録画像に設定されてもよい。
【００３１】
ステップＳ１１：画像処理エンジン９０は、登録画像を必要に応じてバッファメモリ１３０上に読み込み、その登録画像を互いに同型同大の複数の小領域（例えば、２００×２００個の小領域）に分割する（図３（Ｂ）を参照。）。なお、図では小領域の個数を実際よりも少なく描いた。
【００３２】
ステップＳ１２：画像処理エンジン９０のオブジェクト抽出部９０Ａは、登録画像に対してオブジェクト抽出処理を施し、登録画像上に存在する特定の被写体領域を検出する。この被写体領域は、人物の存在領域、撮影時のフォーカスエリアに位置するオブジェクトの存在領域、周辺と比較して合焦度の高いオブジェクトの存在領域などである。
【００３３】
続いて、画像処理エンジン９０は、登録画像上の小領域のうち被写体領域に対応する小領域の集合（例えば、被写体領域を所定割合以上で包含している小領域の集合）を見いだし、その小領域の集合を、主要被写体領域Ａ１に設定する（図３（Ｃ）を参照。）。
【００３４】
ステップＳ１３：画像処理エンジン９０の顕著性評価部９０Ｂは、登録画像の顕著性マップを作成する。この作成時に着目する特徴量は、色、輝度、エッジの方向、エッジ量などである。よって、作成された顕著性マップにおいては、これらの特徴量が周辺画素と比較して顕著な画素ほど、大きな値が割り当てられることになる。
【００３５】
続いて、画像処理エンジン９０は、顕著性マップ上で予め決められた閾値よりも高い値を有した領域（高顕著性領域）を抽出すると、登録画像上で主要被写体領域Ａ１以外の領域から、その高顕著性領域に対応する小領域の集合（例えば、高顕著性領域を５０％以上の割合で包含した小領域の集合）を見いだし、その小領域の集合を、特異領域Ａ２に設定する（図３（Ｃ）を参照）。この特異領域Ａ２は、所謂「うるさい絵柄」であって、登録画像の表示サイズが或る程度大きい場合には、著しく目立つ（周辺の領域に対して際立つ）が、登録画像の表示サイズが或る程度小さい場合には、殆ど目立たない（周辺の領域にとけ込む）。これによって、登録画像は、主要被写体領域Ａ１と、特異領域Ａ２と、それ以外の領域（非特異領域）Ａ３とに領域分けされる。
【００３６】
ステップＳ１４：画像処理エンジン９０の重み設定部９０Ｃは、主要被写体領域Ａ１に関する重みＧ１と、特異領域Ａ２に関する重みＧ２と、非特異領域Ａ３に関する重みＧ３とを設定する。これらの重みＧ１、Ｇ２、Ｇ３は、後述する色ヒストグラムに対する主要被写体領域Ａ１、特異領域Ａ２、非特異領域Ａ３の寄与度比を規定するものである。
【００３７】
先ず、非特異領域Ａ３に関する重みＧ３は、図３（Ｄ）に示すとおり、基準値１に設定される。
【００３８】
一方、主要被写体領域Ａ１に関する重みＧ１は、登録画像における主要被写体領域Ａ１の占有率ｒ１が大きいほど大きく、また、表示サイズＳが大きいほど大きく設定される。このうち占有率ｒ１は、主要被写体領域１に属する小領域の個数によって一義的に決まるが、表示サイズＳは、ユーザが任意に設定することのできるものであり、現時点では未定（未知数）である。よって、重みＧ１は表示サイズＳの関数Ｇ１（Ｓ）＝α×ｒ１×Ｓで表される（但し、αの値は、重みＧ１が重みＧ３より大きくなるように予め決められている。）。以下、重みＧ１（Ｓ）を「重み関数Ｇ１（Ｓ）」と称す。
【００３９】
また、特異領域Ａ２に関する重みＧ２は、登録画像における特異領域Ａ２の占有率ｒ２が大きいほど大きく、また、表示サイズＳが大きいほど大きく設定される。このうち占有率ｒ２は、特異領域Ａ２に属する小領域の個数によって一義的に決まり、表示サイズＳは、前記したとおり現時点では未知数である。よって、重みＧ２は、表示サイズＳの関数Ｇ２（Ｓ）＝β×ｒ２×Ｓで表される（但し、βの値は、重みＧ２が重みＧ３より大きく、かつ重みＧ１より小さくなるように予め決められている。）。以下、重みＧ２（Ｓ）を「重み関数Ｇ２（Ｓ）」と称す。
【００４０】
ステップＳ１５：画像処理エンジン９０のヒストグラム関数作成部９０Ｄは、以下の手順（ａ）〜（ｍ）により、登録画像の色ヒストグラム関数Ｈ（Ｓ）を作成する。ここでは、色ヒストグラム関数Ｈ（Ｓ）を作成に先立ち、主要被写体領域Ａ１の色ヒストグラムＨ１と、特異領域Ａ１の色ヒストグラムＨ２と、非特異領域Ａ３の色ヒストグラムＨ３とが個別に作成されるものとする。
【００４１】
（ａ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ１内の１番目の小領域を着目領域に設定する。
【００４２】
（ｂ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。ここで、カテゴリカルカラーは、赤、橙、黄、緑、青、紫、茶、ピンク、白、黒、灰からなる１１種類の色からなり、これら１１種類の色は、高次脳機能を有した動物（ヒト、サルなど）が確実に区別可能（ネーミング可能）な色である。これら１１種類のカテゴリカルカラーの組み合わせは、使用言語の異なる多様なヒト集団の間でも共通しており、１１種類のカテゴリカルカラーの境界値は、多数のヒトから実験的に得られた統計データに基づき予め決めることが可能である。
【００４３】
（ｃ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ１の色ヒストグラムＨ１のうち、現在の着目カラーに対応する頻度を、１だけ増加させる。
【００４４】
（ｄ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ１内の全ての小領域の間で着目領域を移動させながら手順（ｂ）、（ｃ）を繰り返すことで、主要被写体領域Ａ１の色ヒストグラムＨ１を完成させる（図４（Ａ）参照）。
【００４５】
（ｅ）ヒストグラム関数作成部９０Ｄは、特異領域Ａ２内の１番目の小領域を着目領域に設定する。
【００４６】
（ｆ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。
【００４７】
（ｇ）ヒストグラム関数作成部Ｄは、特異領域Ａ２の色ヒストグラムＨ２のうち、現在の着目カラーに対応する頻度を、１だけ増加させる。
【００４８】
（ｈ）ヒストグラム関数作成部９０Ｄは、特異領域Ａ２内の全ての小領域の間で着目領域を移動させながら手順（ｆ）、（ｇ）を繰り返すことで、特異領域Ａ２の色ヒストグラムＨ２を完成させる（図４（Ａ）参照）。
【００４９】
（ｉ）ヒストグラム関数作成部９０Ｄは、非特異領域Ａ３内の１番目の小領域を着目領域に設定する。
【００５０】
（ｊ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。
【００５１】
（ｋ）ヒストグラム関数作成部９０Ｄは、非特異領域Ａ３の色ヒストグラムＨ３のうち、現在の着目カラーに対応する頻度を、１だけインクリメントする。
【００５２】
（ｌ）ヒストグラム関数作成部９０Ｄは、その他の領域Ａ３内の全ての小領域の間で着目領域を移動させながら手順（ｊ）、（ｋ）を繰り返すことで、非特異領域Ａ３の色ヒストグラムＨ３を完成させる（図４（Ａ）参照）。
【００５３】
（ｍ）ヒストグラム関数作成部９０Ｄは、色ヒストグラムＨ１、色ヒストグラムＨ２、色ヒストグラムＨ３の各々に対して、先のステップで算出した重みＧ１、Ｇ２、重みＧ３を個別に乗算してから、それらヒストグラムの和（線形和）をとることにより、登録画像のトータルの色ヒストグラムＨを算／出する（図４（Ｂ）参照。）。
【００５４】
ここで、重みＧ１、Ｇ２、Ｇ３のうち、重みＧ１、Ｇ２は、表示サイズＳの関数Ｇ１（Ｓ）、Ｇ２（Ｓ）であるので、本ステップで作成される色ヒストグラムＨも、表示サイズＳの関数Ｈ（Ｓ）で表される。図４（Ｂ）では、色ヒストグラムＨの各カテゴリカルカラーの頻度が表示サイズＳの関数である様子を点線で表している。よって、以下では、表示サイズＳの関数である色ヒストグラムＨ（Ｓ）を、「色ヒストグラム関数Ｈ（Ｓ）」と称す。
【００５５】
ステップＳ１６：画像処理エンジン９０は、ステップＳ１５で作成した色ヒストグラム関数Ｈ（Ｓ）を登録画像のタグへ書き込むと共に、その登録画像に対して画像番号を付与してから、その登録画像を画像データベースへ登録し、フローを終了する。なお、この画像番号は、画像データベースに登録された複数の画像を互いに識別するための番号である。
【００５６】
図５は、検索モードにおける画像処理エンジン９０の動作フローチャートである。以下、図５の各ステップを順に説明する。
【００５７】
ステップＳ２１：画像処理エンジン９０は、画像データベースの検索クエリとして使用すべき画像をユーザに指定させる。例えば、画像処理エンジン９０は、リムーバブルメモリ１６０又はバッファメモリ１３０に蓄積された候補画像のリスト（又は候補画像のサイズ縮小版）を表示部１４０へ表示する。ユーザは、操作部１５０を操作することにより、表示中の候補画像の１つを画像処理エンジン９０へ指定する。なお、ユーザによって指定される画像は、画像データベースに登録された画像（すなわち色ヒストグラム関数Ｈ（Ｓ）が作成済みである画像）であってもよいが、ここでは未登録の画像（すなわち色ヒストグラム関数Ｈ（Ｓ）が未作成である画像）であると仮定する。
【００５８】
続いて、画像処理エンジン９０は、画像を表示部１４０に対して適当なサイズで表示する。この状態で、ユーザは、操作部１５０を操作することにより、画像の表示サイズを、図６（Ａ）、（Ｂ）に示すとおり任意に変更することができる。また、この状態で、ユーザは、操作部１５０を操作することにより、画像の表示域（トリミング域）を、図６（Ｃ）、（Ｄ）に示すとおり任意に変化させることもができる。
【００５９】
ユーザは、画像の表示サイズ及び表示域を所望の表示サイズ及び表示域に設定してから、操作部１５０を操作することにより、表示中の画像をクエリ画像として指定する。
【００６０】
画像処理エンジン９０は、ユーザによる指定が行われた時点で、或る画像の全体が表示されていたときには、その画像の全体をクエリ画像とし、ユーザによる指定が行われた時点で、或る画像の一部のみが表示されていたときには、その画像の表示部分をクエリ画像とする。
【００６１】
よって、図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の間では、表示中の画像は同一であるが、図６（Ａ）及び（Ｂ）と、図６（Ｃ）と、図６（Ｄ）との間では、画像の表示域が異なるので、互いに異なるクエリ画像が指定されることになる。
【００６２】
ステップＳ２２：画像処理エンジン９０は、指定されたクエリ画像を必要に応じてバッファメモリ１３０上に読み込み、そのクエリ画像の色ヒストグラム関数Ｈ（Ｓ）を作成する。色ヒストグラム関数Ｈ（Ｓ）の作成方法は、前述したステップＳ１１〜Ｓ１５と同様である。
【００６３】
ステップＳ２３：画像処理エンジン９０は、ユーザによる指定が行われた時点におけるクエリ画像の表示サイズＳを参照する。表示サイズＳは、表示部１４０の表示画面におけるクエリ画像の占有率であり、その占有率が高いほど大きな値を採る。
【００６４】
ステップＳ２４：画像処理エンジン９０は、ステップＳ２２で作成した色ヒストグラム関数Ｈ（Ｓ）に対してステップＳ２３で参照した表示サイズＳの値を当てはめることにより、クエリ画像の色ヒストグラムＨを完成させる。
【００６５】
ステップＳ２５：画像処理エンジン９０は、画像番号ｉを初期値１に設定する。
【００６６】
ステップＳ２６：画像処理エンジン９０は、画像データベースから、画像番号ｉを有した画像を参照画像とし、その参照画像のタグに書き込まれている色ヒストグラム関数Ｈ’（Ｓ）を読み出すと、その色ヒストグラム関数Ｈ’（Ｓ）に対してステップＳ２３で参照した表示サイズＳの値を当てはめることにより、その参照画像の色ヒストグラムＨ’を完成させる。
【００６７】
ステップＳ２７：画像処理エンジン９０の画像比較部９０Ｅは、参照画像とクエリ画像との間の類似度を、例えば以下の手順（ａ）〜（c）により算出する。
【００６８】
（ａ）参照画像の色ヒストグラムＨ’とクエリ画像の色ヒストグラムＨとの各々を、１１種類のカテゴリカルカラーで規定されるカラー空間（次数１１のカラー空間）へと写像する。
【００６９】
（ｂ）カラー空間における色ヒストグラムＨ’の写像先と、カラー空間における色ヒストグラムＨの写像先との間の距離（例えばユークリッド距離）を、参照画像とクエリ画像との間の類似度として算出する。この距離は、色ヒストグラムＨ’、Ｈの間の形状の類似度を表している。
【００７０】
（ｃ）現在の参照画像について算出した類似度を、現在の画像番号ｉに対応づけて記憶する。
【００７１】
ステップＳ２８：画像処理エンジン９０は、現在の画像番号ｉが最終値に達したか否かを判別し、達していなかった場合はステップＳ２９へ移行し、達していた場合にはステップＳ２１０へ移行する。なお、画像番号iの最終値は、画像データベースに登録された画像の総数である。
【００７２】
ステップＳ２９：画像処理エンジン９０は、画像番号ｉをインクリメントしてからステップＳ２６へ移行する。よって、画像データベースに登録された画像の各々について類似度が算出される。
【００７３】
ステップＳ２１０：画像処理エンジン９０は、画像データベースに登録された画像を、類似度の高い順に並べて表示部１４０へ表示する（図７（Ａ）〜（Ｄ）を参照。）。
【００７４】
なお、図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の左側に比較的大きく表示された画像がクエリ画像であり、右側の上下方向に並べて表示された比較的小さな複数の画像が、類似度の高い順に並べられた複数の画像（検索結果）である。
【００７５】
図７（Ａ）、（Ｂ）を比較すると明らかなとおり、クエリ画像として同じ画像が表示されていたとしても、その表示サイズが異なれば、検索結果は異なる。また、図７（Ａ）、（Ｂ）と、図７（Ｃ）と、図７（Ｄ）とを比較すると明らかなとおり、クエリ画像として同じ画像が表示されていたとしても、その表示域が異なれば、検索結果は異なる。
【００７６】
なお、ユーザが操作部１５０を操作することにより、検索結果の中の１つの画像を選択すると、画像処理エンジン９０は、選択された画像をクエリ画像と同じサイズで表示部１４０へ表示する。この際、画像処理エンジン９０は、指定された画像を必要に応じてクエリ画像上に重畳表示させる。また、ユーザが操作部１５０を操作することにより、クエリ画像を選択すると、画像処理エンジン９０は、表示部１４０の表示内容を元の状態に戻す。
【００７７】
また、ユーザは、操作部１５０を操作することにより、クエリ画像として表示されている画像の表示サイズや、その画像の表示域を任意に変更することができる。表示サイズや表示域が変更されると、それに応じて検索結果も変更される（詳細は、以降のステップのとおり。）。
【００７８】
ステップＳ２１１：画像処理エンジン９０は、表示部１４０においてクエリ画像として表示されている画像の表示サイズが変更されたか否かを判別し、変更された場合はステップＳ２３へ移行し、変更されなかった場合はステップＳ２１２へ移行する。つまり、本実施形態では、表示サイズが変更されると、表示サイズＳの値が更新されるので、それによって検索結果も変化する。
【００７９】
ステップＳ２１２：画像処理エンジン９０は、表示部１４０においてクエリ画像として表示されている画像の表示域が変更されたか否かを判別し、変更された場合はクエリ画像が更新されたとみなしてステップＳ２２へ移行し、変更されなかった場合はステップＳ２１３へ移行する。つまり、本実施形態では、表示域が変更されると、クエリ画像が更新されるので、色ヒストグラム関数の作成が改めて行われ、それによって検索結果も変化する。
【００８０】
ステップＳ２１３：画像処理エンジン９０は、フローの終了指示が入力されたか否かを判別し、入力されなかった場合にはステップＳ２１１へ移行し、入力された場合にはフローを終了する。
【００８１】
以上、本実施形態の画像処理エンジン９０は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、その画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を作成する作成手段（ヒストグラム関数作成部９０Ｄ）と、その画像上の主要被写体領域（Ａ１）を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段（ヒストグラム関数作成部９０Ｄ）と、ユーザに対する画像の表示サイズ（Ｓ）と、画像における主要被写体領域（Ａ１）の占有率（ｒ１）との組み合わせに応じて、第１頻度に付与すべき重み（Ｇ１）を設定する重み設定手段（重み設定部９０Ｃ）とを備える。
【００８２】
一般に、ユーザに対する画像の絶対的な表示サイズ（Ｓ）が大きいときには、その表示サイズ（Ｓ）が小さいときよりも主要被写体領域（Ａ１）が目立って見える（周辺の領域に対して際立つ）と考えられる。なぜなら、ヒトがものを見るときの分解能は有限だからである。
【００８３】
したがって、本実施形態の重み設定手段（重み設定部９０Ｃ）のように、主要被写体領域（Ａ１）に関する第１頻度の重み（Ｇ１）を、画像の表示サイズ（Ｓ）と、主要被写体領域（Ａ１）の占有率（ｒ１）との組み合わせに応じて設定すれば、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対する主要被写体領域（Ａ１）の寄与度を、適度に設定することができる。
【００８４】
よって、本実施形態の画像処理エンジン９０は、画像に対するユーザの印象を、画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対して的確に反映させることができる。
【００８５】
また、本実施形態の重み設定手段（重み設定部９０Ｃ）は、表示サイズ（Ｓ）が未定であるときには、第１頻度に付与すべき重み（Ｇ１）を表示サイズ（Ｓ）の関数で表すので、本実施形態の画像処理エンジン９０は、表示サイズ（Ｓ）が確定したタイミングで、特徴量ヒストグラム（色ヒストグラム関数Ｈ）を即座に完成させることができる（ステップＳ２４、Ｓ２６）。
【００８６】
また、本実施形態の画像処理エンジン９０は、登録モードにおいて、画像データベースへ登録すべき登録画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を上記のとおり作成するので（図２参照）、画像データベースには、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））の作成済みの画像が蓄積されることになる。
【００８７】
よって、本実施形態の画像処理エンジン９０は、画像データベースに蓄積された画像の管理（分類、検索など）を、各々の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））により効率的に行うことができる。
【００８８】
さらに、本実施形態の画像処理エンジン９０は、検索モードにおいて、画像データベースの検索で使用されるクエリ画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を上記のとおり作成するので（ステップＳ２２）、クエリ画像に類似した画像を画像データベースから適切に検索することができる。
【００８９】
また、本実施形態の画像処理エンジン９０は、特徴量ヒストグラムとして、色ヒストグラムを作成するものであり、その色ヒストグラムの色区間を、１１種類のカテゴリカルカラーの境界に一致させているので（図４参照）、色ヒストグラムの区間種類及び区間数を、必要最小限にすることができ、効率的である。
【００９０】
また、本実施形態の重み付け手段（ヒストグラム関数作成部９０Ｄ）は、画像上の非主要被写体領域上で顕著性の高い特異領域（Ａ２）を抽出元とする特徴量の頻度である第２頻度に対して重み付けをするものであり、重み設定手段（重み設定部９０Ｃ）は、ユーザに対する画像の表示サイズ（Ｓ）と、画像における特異領域（Ａ２）の占有率（ｒ２）との組み合わせに応じて、第２頻度に付与すべき重み（Ｇ２）を設定する。
【００９１】
一般に、ユーザに対する画像の絶対的な表示サイズ（Ｓ）が大きいときには、その表示サイズ（Ｓ）が小さいときよりも特異領域（Ａ２）が目立って見える（他の領域に対して際立つ）と考えられる。なぜなら、ヒトがものを見るときの分解能は有限だからである。
【００９２】
したがって、本実施形態の重み設定手段（重み設定部９０Ｃ）のように、特異領域（Ａ２）に関する第２頻度の重み（Ｇ２）を、画像の表示サイズ（Ｓ）と、特異領域（Ａ２）の占有率（ｒ２）との組み合わせに応じて設定すれば、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対する特異領域（Ａ２）の寄与度を、適度に設定することができる。
【００９３】
よって、本実施形態の画像処理エンジン９０は、画像に対するユーザの印象を、画像の特徴量ヒストグラム（色ヒストグラムＨ）に対して的確に反映させることができる。
【００９４】
［実施形態への補足］
なお、上述した実施形態では、主要被写体領域をディジタルカメラが自動的に抽出したが、ユーザが指定してもよい。主要被写体領域の抽出方法としては、公知の何れの方法を適用してもよい。
【００９５】
また、上述した実施形態では、画像上で互いに異なる重みの設定される領域の数を３としたが、１又は４以上としてもよい。
【００９６】
また、上述した実施形態では、画像の印象を表す特徴量ヒストグラムとして色ヒストグラムを使用したが、画像がモノクロ画像である場合などは、画像の特徴量ヒストグラムとして輝度ヒストグラムを使用してもよい。或いは、他の特徴量ヒストグラム（エッジ量ヒストグラム、テクスチャーヒストグラムなど）を使用してもよい。特徴量ヒストグラムの種類は、画像を管理する目的に応じて選定されることが望ましい。
【００９７】
また、上述した実施形態では、画像の表示先を、ディジタルカメラ１０の内部モニタとしたが、ディジタルカメラ１０の外部モニタや、印刷用紙などとしてもよい。
【００９８】
また、上述した実施形態では、特徴量ヒストグラムを作成する際に参照される表示サイズＳとして、予め決められた表示先（ここではカメラの内部モニタ）における画像の表示サイズを使用したが、画像の表示先の種類と、その表示先における画像の表示サイズとの組み合わせによって決まる、絶対的な表示サイズを使用してもよい。
【００９９】
また、上述した実施形態では、画像解析機能を搭載したディジタルカメラ（撮像装置）を説明したが、本発明は、ディジタルフォトフレームなどの画像蓄積装置や、インターネットに接続された画像サーバ装置や、パーソナルコンピュータなどにも適用が可能である。
【０１００】
なお、本発明をパーソナルコンピュータへ適用する場合は、画像解析機能をプログラムとしてコンピュータへ搭載してもよい。また、コンピュータに対するプログラムのインストールは、インターネットなどの通信網や、記憶媒体などを介して行われてもよい。
【０１０１】
また、本発明の適用先が何れの装置であったとしても、画像データベースの構築先は、装置の内部メモリであっても装置の外部メモリであっても構わない。例えば、本発明の適用先をパーソナルコンピュータとし、画像データベースの構築先を画像サーバ装置としてもよい。
【符号の説明】
【０１０２】
１０…ディジタルカメラ、２０…撮影レンズ、３０…メカニカルシャッタ、５０…撮像素子、７０…タイミングジェネレータ（ＴＧ）、８０…アナログフロントエンド（ＡＦＥ）、９０…画像処理エンジン、１１０…モータドライバ、１３０…バッファメモリ、１４０…表示部、１５０…操作部、１６０…リムーバブルメモリ、９０Ａ…オブジェクト抽出部、９０Ｂ…顕著性評価部、９０Ｃ…重み設定部、９０Ｄ…ヒストグラム関数作成部、９０Ｅ…画像比較部
【図１】
2013084098.tif 000003
【図２】
2013084098.tif 000004
【図３】
2013084098.tif 000005
【図４】
2013084098.tif 000006
【図５】
2013084098.tif 000007
【図６】
2013084098.tif 000008
【図７】
2013084098.tif 000009