(57)【要約】【課題】画像の印象判定を行い、その結果を画像と共に表示して、ユーザに視覚に分かりやすく提示することのできる撮像装置を提供する。【解決手段】撮像装置であるデジタルカメラ１００は、被写体の像を検出し、この被写体の画像を出力する撮像部１８と、撮像部１８で撮像された画像を記憶する評価画像記憶部５１と、画像を表示する表示部１７と、予め登録された複数の印象ラベル毎に学習画像に基づく学習結果が記憶された学習結果記憶部２２と、複数の印象ラベルの各々に対して設けられ、評価画像記憶部５１に記憶された画像を読み出し、当該画像の特徴量を算出し、この特徴量と学習結果記憶部２２に記憶されている学習結果に基づいて、画像の印象ラベルに対する印象の近接度合いを判定する印象ラベル判定部１１と、印象ラベル判定部１１で判定された印象ラベルに対する印象の近接度合いを画像とともに表示部１７に表示する判定結果出力部１４と、を有する。【選択図】図１
2010016728.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を検出し、前記被写体の画像を出力する撮像部と、
前記撮像部で撮像された画像を記憶する評価画像記憶部と、
前記画像を表示する表示部と、
予め登録された複数の印象ラベル毎に学習画像に基づく学習結果が記憶された学習結果記憶部と、
前記複数の印象ラベルの各々に対して設けられ、前記評価画像記憶部に記憶された前記画像を読み出し、当該画像の特徴量を算出し、前記特徴量と前記学習結果記憶部に記憶されている前記学習結果に基づいて、前記画像の前記印象ラベルに対する印象の近接度合いを判定する印象ラベル判定部と、
前記印象ラベル判定部で判定された前記印象ラベルに対する前記印象の近接度合いを前記画像とともに前記表示部に表示する判定結果出力部と、を有する撮像装置。
【請求項２】
前記画像の判定を行う前記印象ラベル判定部を選択する印象ラベル選択部を有する請求項１に記載の撮像装置。
【請求項３】
前記評価画像記憶部に記憶された前記画像の前処理を行う画像前処理部をさらに有し、
前記印象ラベル判定部は、前記画像前処理部で前処理がされた前記画像を用いて前記印象の近接度合いの判定を行うように構成された請求項１または２に記載の撮像装置。
【請求項４】
前記判定結果出力部は、前記表示部に対して、前記印象の近接度合いを前記画像に重ねてオーバーレイ表示する請求項１〜３いずれか一項に記載の撮像装置。
【請求項５】
前記判定結果出力部は、前記表示部に対して、複数の前記印象ラベル毎に前記印象の近接度合いをグラフ形式で表示する請求項１〜４いずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、例えば、画像データを解析して、当該画像の特徴や印象を表現する単語、すなわち画像特徴量を算出するシステム等が知られている。また、デジタルカメラ等の撮影の際に得られるライブビュー画像に対して、この画像の撮影条件等が変化したことを検知して、画像のヒストグラムを求め、このヒストグラムを適時オーバーレイ表示する技術が知られている（例えば、特許文献１）。
【特許文献１】特許第３５３０９０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の画像特徴量を算出するシステムでは、画像データの解析を目的としたものであって、これらの特徴量に応じて、画像を分類したり検索したりするために、当該画像にタグとして付するだけである。また、画像のヒストグラムをオーバーレイする技術は、単に、撮影時の条件等が変化したことを示すものであって、画像自体の特徴や印象を表示するものではない。そのため、デジタルカメラ等のように画像を撮影して、当該画像を記憶部等に記憶する前の画像や、記憶部に記憶された記録済みの画像に対し、その画像の特徴量から印象等を判定して、その判定結果を表示部に表示する際に、視覚的に分かりやすく提示されないという課題があった。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、画像の印象判定を行い、その結果を画像と共に表示して、ユーザに、視覚的に分かりやすく提示することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明に係る撮像装置は、被写体の像を検出し、この被写体の画像を出力する撮像部と、撮像部で撮像された画像を記憶する評価画像記憶部と、画像を表示する表示部と、予め登録された複数の印象ラベル毎に学習画像に基づく学習結果が記憶された学習結果記憶部と、複数の印象ラベルの各々に対して設けられ、評価画像記憶部に記憶された画像を読み出し、当該画像の特徴量を算出し、この特徴量と学習結果記憶部に記憶されている学習結果に基づいて、画像の印象ラベルに対する印象の近接度合いを判定する印象ラベル判定部と、印象ラベル判定部で判定された印象ラベルに対する印象の近接度合いを画像とともに表示部に表示する判定結果出力部と、を有する。
【０００６】
このような撮像装置は、画像の判定を行う印象ラベル判定部を選択する印象ラベル選択部を有することが好ましい。
【０００７】
また、このような撮像装置は、評価画像記憶部に記憶された画像の前処理を行う画像前処理部をさらに有し、印象ラベル判定部は、画像前処理部で前処理がされた画像を用いて印象の近接度合いの判定を行うように構成されることが好ましい。
【０００８】
また、このような撮像装置において、判定結果出力部は、表示部に対して、印象の近接度合いを画像に重ねてオーバーレイ表示するように構成されることが好ましい。
【０００９】
さらに、このような撮像装置において、判定結果出力部は、表示部に対して、複数の印象ラベル毎に印象の近接度合いをグラフ形式で表示するように構成されることが好ましい。
【発明の効果】
【００１０】
本発明に係る撮像装置を以上のように構成すると、画像に対しての印象ラベル毎の印象の近接度合いが、この画像と共に表示されるので、ユーザに対して、印象判定の結果を視覚的に分かりやすく提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、撮像部で撮像された画像とともに、この画像の印象ラベルに対する印象の近接度合いを表示する画像表示部１０が搭載されたデジタルカメラ１００について、図１〜図３を用いて説明する。図１に示すように、このデジタルカメラ１００は、図示しない光学レンズや撮像素子等を含み、被写体を撮像してその画像を出力する撮像部１８と、ＬＣＤ等から構成される表示部１７と、撮像された画像の前処理を行う画像前処理部１５と、撮像部１８で撮像され、画像前処理部１５で前処理が行われた画像の印象を判定して、当該画像と判定結果とを表示部１７に表示する画像表示部１０と、操作スイッチやタッチパネル等を有し、ユーザからの操作入力を受け付ける操作部１６と、撮像部１８で撮像された評価対象の画像が記憶される評価画像記憶部５１と、後述する印象判定に用いられる学習結果が記憶される学習結果記憶部２２と、を有して構成される。なお、この画像表示部１０は、例えば、処理装置（このデジタルカメラに１００に実装されたＣＰＵやＲＡＭ等）で実行されるプログラム、若しくは、ＡＩＳＣ等の論理回路として構成される。
【００１２】
この画像表示部１０は、詳細には、図２に示すように、印象ラベル毎に設けられ、当該印象ラベルの有する印象の近接度合いを算出して画像の評価を行う複数の印象ラベル判定部１１と、印象ラベル選択部１２と、制御部１３と、を有して構成される。そして、画像の印象判定を行う際に、どの印象ラベル判定部１１を使用するか（どの印象ラベルについて評価を行うか）の選択については、操作部１６からユーザの指示が制御部１３を介して印象ラベル選択部１２に入力されると、印象ラベル選択部１２が選択するようになっている。また、画像表示部１０は、印象ラベル判定部１１による画像の印象判定の結果を表示部１７に出力する判定結果出力部１４、を有して構成される。
【００１３】
複数の印象ラベル判定部１１の各々は、図３に示すように、学習画像記憶部２１に予め登録された学習画像及び印象ラベルに基づいて学習を行う学習処理部１１ａと、学習結果記憶部２２に記憶された学習結果に基づいて、画像の評価を行う評価処理部１１ｂと、を有して構成されている。ここで、評価処理部１１ｂは、記憶装置に格納された画像だけでなく、撮像部１８で撮像されている画像（いわゆる、ライブビュー画像）の印象の判定（評価）も行うことができるように構成されている。
【００１４】
画像表示部１０の印象ラベル判定部１１における画像の具体的な印象判定や、学習画像における学習の具体的な処理の詳細については、後述するとして、まず、本実施形態における画像表示部１０が搭載されたデジタルカメラ１００において、画像を表示する際に、当該画像と共に印象判定の結果を表示する処理、及びその表示画面等について、図４〜図６を用いて説明する。ここで、本実施形態のデジタルカメラ１００は、評価画像記憶部５１に記憶されている画像を表示する画像表示モード、及び、画像の印象判定の結果を画像と共に表示する印象判定モードの、２種類の表示モードの選択が行えるようになっている。この選択は、ユーザが操作部１６からの指示で行う。
【００１５】
（印象判定結果の表示）
それでは、ユーザが、印象判定モードを選択した場合について説明する。図４に示すように、印象判定モードによる画像表示処理が開始されると、画像表示部１０は、どの印象ラベル（印象語）に対しての評価を行うかについての指定を受け付ける（印象ラベル選択ステップＳ１００）。ここで、どの印象ラベル（印象語）に対しての評価を行うかについての指定は、ユーザが操作部１６を操作し、この操作入力が、制御部１３を介して印象ラベル選択部１２に入力される。すると、印象ラベル選択部１２が印象ラベル判定部１１の選択を行う。なお、制御部１３が、所定の条件に基づいて、印象ラベル選択部１２を制御して、自動的に印象ラベル判定部１１の選択をするような構成とすることも可能である。
【００１６】
次に、詳細な処理については後述するが、画像の印象判定の処理が行われる（画像印象判定ステップＳ１０１）。なお、印象判定の対象となる画像は、予め、画像前処理部１５による前処理済みの画像とすることが好ましい。ここで、画像前処理部１５は、学習結果記憶部２２に記憶された前処理格納データテーブル２２３の内容に従って画像の加工を行うものである。なお、前処理格納データテーブル２２３は、図７に示すように、前処理の内容が記憶された前処理カラム２２３ａと、その設定値が記憶された設定値カラム２２３ｂとから構成される。前処理の具体的な方法としては、画像を設定値に設定された画素数に変換する“リサイズ”、画像がＪＰＥＧ形式のときに、ＥＸＩＦ情報に格納されたサムネイルを使用する“ＥＸＩＦサムネイル画像使用”、及び、画像の平滑化を行う“平滑化”等がある。評価を行う画像に対し、このような前処理を施しておくことで、画像のデータ量を少なくして後述する画像の特徴量を算出する際の処理時間が短縮でき、処理の高速化が可能となる。
【００１７】
そして、画像の印象判定が終了すると、選択した印象ラベルについての印象判定の結果（この印象ラベルが有する印象の近接度合い）が、判定結果出力部１４を介して液晶モニター等の表示部１７である画面上にレーダーチャート等のグラフ形式で表示される（判定結果表示ステップＳ１０２）。このとき、画面上には、評価の対象となった画像と判定結果とが、共に重ねられて表示される。つまり、図６（ａ）に示すように、画像２００が、画面上に表示され、その後、判定結果が、図６（ｂ）のようレーダーチャート形式のグラフ２０１で画像２００にオーバーレイ表示される。なお、図６（ｂ）では、“ゴージャス”、“鮮やか”“カラフル”、“フレッシュ”、“クリア”の５つの印象ラベルに対しての判定結果が、５段階の数値として表現される。このように、印象判定の評価結果の表示は、例えば、図６（ｂ）のようにグラフ形式で表示されるので、視覚的に見やすいものとなっている。
【００１８】
また、評価結果の表示は、図６（ｂ）では、レーダーチャート形式として表示した一例を示しているが、棒グラフ形式や折れ線グラフ形式、円グラフ形式などの形式で表示するように構成してもよく、視覚的に見やすい形式であることが好ましい。そして、こられのグラフ形式は、予め指定しておくこともできるし、評価結果を表示した後に、操作部１６でグラフ表示形式の変更を指定して、再表示することも可能である。
【００１９】
評価結果のグラフの表示のＯＮ／ＯＦＦの切り替えは、ユーザが操作部１６から指示できるようになっている。このため、図６（ａ）のように画像２００のみの画面表示と、図６（ｂ）のように画像２００にグラフをオーバーレイ表示する画面表示との切り替えをユーザが選択することができる。図６（ｂ）では、画面上に画像２００と共にオーバーレイ表示している例を示しているが、例えば、画像２００と、評価結果を画面上に並列に配置することも可能であり、どのような位置にグラフを表示させるかの切り替えるように構成することも可能である。なお、画像表示モードにおける画像の表示は、図６（ａ）のようになる。また、画像と共に表示される評価結果の出力先としては、本実施の形態では、デジタルカメラ１００に備わる表示部１７（液晶表示部等のモニター）を例に説明しているが、このデジタルカメラ１００からテレビモニターやパーソナルコンピュータの表示装置等に出力することも可能である。
【００２０】
以上のように、本実施形態のデジタルカメラ１００によれば、その画像の印象判定の結果が画像と共に出力されて表示されるので、当該画像がどのような印象の画像であるかが、即座にわかるようになっている。また、判定の結果が、グラフ形式等の見やすい形式で表示されるので、ユーザにとって、分りやすく、視覚的に見やすく、便利である。
【００２１】
それでは、次に、印象ラベル判定部１１における画像の評価方法の処理の詳細について、図５及び図７〜図１２を用いて説明する。まず、先に、印象ラベル判定部１１の学習処理部１１ａの処理を説明した後に、この学習結果を使用した画像評価の処理について説明する。
【００２２】
（ａ）学習画像による学習
学習処理部１１ａは、ＡｄａＢｏｏｓｔの手法により、複数の学習サンプル（学習画像）を用いて、図８に示す処理手順により画像の印象を判定するための１つの強識別器Ｈ（Ｘ）を構築するものである。この学習処理部１１ａは、学習を開始すると、学習画像記憶部２１に記憶されている複数の学習画像を読み込む（ステップＳ６００）。ここで、学習画像記憶部２１には、図５に示すように、学習画像を記憶する学習画像記憶テーブル２１１と、印象ラベルと学習画像との対応付けを行う印象ラベル記憶テーブル２１２とを有して構成されている。
【００２３】
学習画像記憶テーブル２１１は、学習画像を識別するための画像ＩＤが記憶される画像ＩＤカラム２１１ａと、学習画像が格納されるファイルカラム２１１ｂと、この学習画像の特徴量Ｘ（ｊ）が記憶される特徴量カラム２１１ｃとから構成されている。図５（ａ）においては、７枚の画像が登録されている場合を示しており、ｊは、学習画像の番号を示す。なお、ファイルカラム２１１ｂに学習画像を直接記憶させるのではなく、別の領域に学習画像本体を記憶し、この学習画像のファイル名（又はパス名）をこの領域に記憶するように構成することも可能である。
【００２４】
また、印象ラベル記憶テーブル２１２は、印象ラベルを識別するための印象ＩＤが記憶される印象ＩＤカラム２１２ａと、印象ラベルが記憶される印象ラベルカラム２１２ｂと、当該印象ラベルに対応付けられている学習画像の画像ＩＤが記憶される画像ＩＤカラム２１２ｃと、から構成されている。この画像ＩＤカラム２１２ｃには、複数の画像ＩＤを設定することが可能であり、例えば、印象ＩＤ＝”１”の”ゴージャス”という印象ラベルには、画像ＩＤが”０００１”と”０００２”の２枚の学習画像が設定されている。
【００２５】
なお、画像の特徴量Ｘは、ＭＰＥＧ７で規格化されている、スケーラブルカラー（Scalable Color）やエッジヒストグラム（Edge Histogram）を用いたｎ次元のベクトルとして定義されており、本実施の形態においては、学習画像毎に予め決められた方法により計算されて特徴量カラム２１１ｃに設定されている。
【００２６】
そして、学習処理部１１ａは、学習のステップ数ｔに初期値として”１”を設定し（ステップＳ６１０）、ステップ数ｔが、予め決められた回数（Ｔｍａｘ）を超えたか否かを判断し、Ｔｍａｘを超えるまで、ステップＳ６３０〜ステップＳ６５０を繰り返す（ステップＳ６２０）。この繰り返し処理において、ステップＳ６３０では、ステップＳ６００で読み込んだ学習画像を用いて、繰り返し処理毎の（ｔ回目の）学習における弱識別器ｈ（ｘ，ｔ）が構築される。弱識別器ｈ（ｘ，ｔ）の詳細な構築方法については後述するが、本実施の形態における学習処理部１１ａにおいては、学習画像を予め決められた部分領域に分割し、この部分領域における特徴量の部分ベクトル毎に学習を行い、当該部分領域の部分ベクトル毎の弱識別器ｈi,k（ｘ，ｔ）を構築し（ｉは部分領域の番号であり、ｋは当該部分領域に対応する特徴量の部分ベクトルの番号）、これらの部分領域における特徴量の部分ベクトルに対応する弱識別器の中から最も印象が強い部分領域の特徴量の部分ベクトルを選択し、この部分ベクトルに対応する弱識別器をこの学習処理（ｔ回目の学習処理）における弱識別器ｈ（ｘ，ｔ）として選択するように構成されている。そのため、ｘは、ｔ回目の学習において入力される画像の特徴量（ベクトル量）Ｘのうち、各弱識別器ｈ（ｘ，ｔ）が対応する部分領域における部分ベクトルを表している。
【００２７】
また、ステップＳ６４０では、ステップＳ６３０で構築された弱識別器ｈ（ｘ，ｔ）から、線形結合のためのｔ回目の学習ステップにおける係数αtを算出し、さらに、次の学習ステップ（ｔ＋１回目）で用いるｊ番目の学習画像の重みＤt+1（ｊ）を更新する。そして、ステップＳ６５０でステップ数ｔに１を加算する。
【００２８】
以上のようにして、Ｔｍａｘ回の学習をすることにより、Ｔｍａｘ個の部分領域（ｉ）と、この部分領域における部分ベクトル（ｋ）と、弱識別器ｈ（ｘ，ｔ）との組が決定され、ステップＳ６６０においてこれらの弱識別器ｈ（ｘ，ｔ）を線形結合することにより１つの強識別器Ｈ（Ｘ）が構築される。このステップＳ６６０において弱識別器ｈ（ｘ，ｔ）を線形結合するための係数αtは、上述のようにステップＳ６４０で算出されるが、後述するように、ステップＳ６３０で選択された部分領域における部分ベクトルに対応する弱識別器ｈ（ｘ，ｔ）とその誤り率εtとを用いて、次式（１）として決定される。ここで、１枚の学習画像をｍ個の部分領域に分割したとすると、部分領域の組み合わせの集合はＧ＝｛ｇ１，ｇ２，．．．，ｇｍ｝と表され、ｊ枚目の学習画像の部分領域ｉに対応するｋ番目の部分ベクトルをｘi,j,kとすると、特徴量のベクトルＸは部分ベクトルの集合（Ｘ（ｊ）＝｛ｘ1,j,1，ｘ1,j,2，．．．，ｘ1,j,k1，ｘ2,j,1，ｘ2,j,2，．．．，ｘ2,j,k2，．．．，ｘm,j,1，ｘm,j,2，．．．，ｘm,j,km｝）として表される。なお、ｋ１，ｋ２，．．．，ｋｍは、それぞれの部分領域ｉにおける特徴量の部分ベクトルの数である。
【００２９】
【数１】
2010016728.tif 000003
【００３０】
この式（１）は、弱識別器ｈ（ｘ，ｔ）の信頼性を表しており、誤り率εtが低いほど係数αtが大きくなり、対応する弱識別器ｈ（ｘ，ｔ）のステップＳ６６０での判断の影響が大きくなる。但し、誤り率εtが０．５を超えるときは、弱識別器ｈ（ｘ，ｔ）の判定を逆にすれば誤り率εtを小さくすることができるので、この場合は１から誤り率εtを引いた値を新たな誤り率εtとする。従って、誤り率εtの最悪値は０．５となる。
【００３１】
また、ｔ＋１回目の学習における学習画像の重みＤt+1（ｊ）は、全ての学習画像に対する重みを加算したときに１になる必要があるため、次式（２）に示す条件値Ｚtを満たすように、ｔ回目の学習における重みＤt（ｊ）から次式（３）により求められる。なお、この式（２）及び（３）において、Ｊｍａｘは学習画像の枚数を示し、ｘi,j,kは、弱識別器が選択された部分領域ｉに対応するｊ番目の画像のｋ番目の部分ベクトルを示し、ｙjは、ｊ番目の画像の印象ラベルの有無を表し、この学習を行っている印象ラベル判定部に割り当てられた印象ラベルを有する場合は１、有しない場合は−１となる。
【００３２】
【数２】
2010016728.tif 000004
【００３３】
以上より、ステップＳ６６０で構築される１つの強識別器Ｈ（Ｘ）は、次式（４）で表される。なお、この式（４）において、Ｘは強識別器Ｈで評価される画像の特徴量（ベクトル量）であり、ｘは、特徴量Ｘのうち、ｔ回目の学習において弱識別器ｈ（ｘ，ｔ）が選択された部分領域に対応する部分ベクトルである。
【００３４】
【数３】
2010016728.tif 000005
【００３５】
図１０では、学習全体を通じて、一番選択された頻度の多かった部分領域が画像の印象に影響を与えている領域として特定される様子が示されており、Ｔｍａｘ回行った学習の結果は、学習全体を通じて出現頻度の高かった領域（丸印が付けられた領域）となる。
【００３６】
それでは、図９を用いて、弱識別器ｈ（ｘ，ｔ）を構築するための処理（ステップＳ６３０）の具体的構成について説明する。まず、学習画像を予め決められた複数の部分領域に分割する（ステップＳ６３０１）。例えば、図１０に示すように、横６×縦４の２４の部分領域に分割する（この場合は、ｍ＝２４となる）。なお、ここでは、説明を簡単にするために、縦、横を均等に分割した場合について示しているが、部分領域の大きさは任意に設定することができる。また、これらの分割された部分領域を組み合わせたものを新たな部分領域としても良い。次に上記部分領域の各々における部分ベクトルの数をｋ＝｛ｋ１，ｋ２，．．．，ｋｍ｝とする（ステップＳ６３０２）。そして、部分領域のカウンタｉ及び部分ベクトルのカウンタｋに初期値として”１”を設定し（ステップＳ６３０３）、部分領域ｇ１から順に、部分領域ｇｍまで以下の処理を繰り返す（ステップＳ６３０４）。
【００３７】
まず、上述のステップＳ６００で学習画像記憶部２１から読み込んだすべての学習画像の、部分領域ｇｉにおける特徴量の部分ベクトルを抽出する（ステップＳ６３０５）。上述のように７枚の学習画像がある場合は、ｉ番目の部分領域の処理において抽出された部分ベクトルの集合は、｛ｘi,j,1，ｘi,j,2，．．．，ｘi,j,ki｝（ｊ＝１，２，．．．，７）となる。そして、ｋがｋｉより大きいか、すなわち、ｉ番目の部分領域に対応する全ての特徴量の部分ベクトルについて判定が終わったか否かを判断し（ステップＳ６３０６）、全ての判定が終わっている場合には、ｉに１を加算し（ステップＳ６３０７）、また、ｋに１を設定し（ステップＳ６３０８）、ステップＳ６３０４に戻る。一方、ステップＳ６３０６で全ての部分ベクトルについて判定が終わっていないと判断したときは、ｔ回目の学習において、学習画像の陽性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（５）により算出し、学習画像の陰性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（６）により算出する（ステップＳ６３０９）。ここで、陽性サンプルとは、印象ラベル判定部１１に設定された印象ラベルに割り当てられている学習画像のことを言い、上述のｙj＝１のサンプルであり、反対に陰性サンプルとは、当該印象ラベルに割り当てられていない学習画像のことを言い、上述のｙj＝−１のサンプルである。例えば、図５（ｂ）において、”ゴージャス”という印象ラベルが設定された印象ラベル判定部１１の学習処理部１１ａでは、画像ＩＤが”０００１”と”０００２”の学習画像が陽性サンプルとなり、それ以外の学習画像が陰性サンプルとなる。なお、式（５），（６）において、〜付きのｘは、部分ベクトルの重み付きの平均値であり、添え字の上側の文字は、”Ｙｅｓ”が陽性サンプルに対するものであることを示し、”Ｎｏ”が陰性サンプルに対するものであることを示す。また、ｍ＜ｎである。
【００３８】
【数４】
2010016728.tif 000006
【００３９】
これらの式（５），（６）において、ｎ1は陽性サンプルの枚数を示し、ｎ2は陰性サンプルの枚数を示している。ここで、ｎ＝ｎ1＋ｎ2である。また、λjはｊ番目の学習画像に付加されている印象ラベル数の逆数である。例えば、図５（ｂ）において、画像ＩＤが”０００１”の学習画像には印象ラベルとして”ゴージャス”と”クリア”が付加されており、λ1＝０．５となる。同様に、画像ＩＤが”０００２”の学習画像には”ゴージャス”という印象ラベルだけが付加されているため、λ2＝１．０となる。つまり、このλjは、ｊ番目の学習画像の印象に対する影響力を表しており、多くの印象ラベルが付加されている学習画像ほど、その学習画像の印象に与える影響力は小さくなる。また、Ｄt（ｊ）は、ｔ回目の学習における、ｊ番目のサンプルの重みである。ここで言う重みとは、各学習画像が平均的な特徴量の部分ベクトルである式（５）及び（６）に影響を与える割合のことであり、常に以下の式（７）の関係を満足するものとする。
【００４０】
【数５】
2010016728.tif 000007
【００４１】
なお、この陽性及び陰性サンプルの重みＤt（ｊ）は、学習ステップの回数とともに変化するが、初期値（ｔ＝１）のときの値は、それぞれ、次式（８），（９）により定義され、各学習サンプルの重みを同じとする。
【００４２】
【数６】
2010016728.tif 000008
【００４３】
次に、上述のステップＳ６３０９で算出された特徴量の部分ベクトルの平均値と、各学習画像の特徴量の部分ベクトルとのユークリッド距離を次式（１０），（１１）により算出する（ステップＳ６３１０）。式（１０）において、ｆ1（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陽性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示し、式（１１）において、ｆ2（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陰性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示している。ただし、距離計算は１ノルムなど別のノルムでも代用できる。また、特徴量の部分ベクトルの平均値の添え字のうち、最初のｔは、ｔ回目の学習ステップであることを示す。
【００４４】
【数７】
2010016728.tif 000009
【００４５】
そして、ステップＳ６３１０で算出された距離ｆ1（ｘ），ｆ2（ｘ）を用いて、第ｉ番目の部分領域のｋ番目の部分ベクトルにおいて印象が陽性か陰性かを判定する弱識別器ｈi,k（ｘ，ｔ）を次式（１２）により構築する（ステップＳ６３１１）。ここで、”１”が陽性で、”−１”が陰性を表す。すなわち、この式（１２）で表される弱識別器ｈi,k（ｘ，ｔ）は、評価画像の特徴量の部分ベクトルと学習画像より得られた部分ベクトルの重み付き平均値との距離が、陽性サンプルと近いときに陽性（１）と判断され、陽性及び陰性サンプルとの距離が等しいか若しくは陰性サンプルと近いときに陰性（−１）と判断するものである。
【００４６】
【数８】
2010016728.tif 000010
【００４７】
最後に、上述のステップＳ６３１１で構築された弱識別器ｈi,k（ｘ，ｔ）を用いて、すべての学習画像の第ｉ番目の部分領域に対するｋ番目の部分ベクトルの判定を行い、その判定結果と、印象ラベル記憶テーブル２１２に設定された状態（陽性サンプルか、陰性サンプルか）が一致するかを検査する（ステップＳ６３１２）。この検査の結果、すべての学習画像について、弱識別器による判定結果と設定状態とが一致するときはｋに１を加えた後（ステップＳ６３１５）、ステップＳ６３０６に戻り当該部分領域の次の部分ベクトルについて上記処理を繰り返す（ステップＳ６３１３）。一方、このステップＳ６３１３で何れかの学習画像において判定結果と設定状態とが一致しないときは、次式（１３）により、該当する弱識別器ｈi,k（ｘ，ｔ）（言い換えると、該当する部分領域ｉのｋ番目の部分ベクトル）に対応する誤り率εi,kを算出し（ステップＳ６３１４）、ｋに１を加えた後（ステップＳ６３１５）ステップＳ６３０６に戻る。
【００４８】
【数９】
2010016728.tif 000011
【００４９】
このようなステップＳ６３０９からＳ６３１２までの一連の処理を部分領域の組み合わせの集合Ｇの要素数だけ繰り返す。最終的に、ｉ個の部分領域において、最も誤り率εi,kが低かった弱識別器ｈi,k（ｘ，ｔ）を、ｔ回目の学習における弱識別器ｈ（ｘ，ｔ）として選択し、学習ステップｔと、この弱識別器ｈ（ｘ，ｔ）に関する部分領域の番号ｉ、部分ベクトルの番号ｋ、係数αt及び選択された部分領域における特徴量のｋ番目の部分ベクトルの重み付き平均値とを学習結果記憶部２２の特徴量テーブル２２１及び判定情報テーブル２２２に記憶する（ステップＳ６３１６）。なお、この特徴量テーブル２２１は、図１１（ａ）に示すように印象ＩＤカラム２２１ａと特徴量カラム２２１ｂと、から構成され、印象ＩＤカラム２２１ａに記憶された印象ＩＤ毎に、特徴量カラム２２１ｂにｔ＝１回目からＴｍａｘ回目までの学習で選択された部分領域の番号ｉ及び当該部分領域における部分ベクトルの番号ｋが記憶される。また、判定情報テーブル２２２は、図１１（ｂ）に示すように、印象ＩＤカラム２２２ａと、学習回数カラム２２２ｂと、係数カラム２２２ｃと、平均値カラム２２２ｄと、から構成され、印象ＩＤ毎に、ｔ＝１〜Ｔｍａｘ回までの学習における係数（αt）及び部分ベクトルの重み付き平均値が記憶される。なお、弱識別器ｈi,k（ｘ，ｔ）が選択された部分領域ｉの部分ベクトルｋにおける誤り率εi,kが、ｔ回目の学習における誤り率εtとして選択される。
【００５０】
以上のように、印象ラベル判定部１１の学習処理部１１ａは、学習画像に基づいて、学習処理を行うことにより、学習結果記憶部２２の特徴量テーブル２２１及び判定情報テーブル２２２に、学習処理の結果が記憶されることとなる。
【００５１】
（ｂ）画像の評価
次に、評価処理部１１ｂが、上述の学習結果記憶部２２に記憶されている学習結果に基づいて、式（４）により画像の評価を行う評価処理について具体的に説明する。本実施形態のデジタルカメラ１００によれば、記憶された画像の再生および、撮影時の画像に対し、上述したように、印象判定モードによる画像の表示の実行が開始されると、どの印象ラベル（印象語）に対しての評価を行うかについての選択が行われ（図４のステップＳ１００）、次いで、画像の印象判定の処理が開示される（図４のステップ１０１）。ここで、この画像の印象判定の処理は、評価処理部１１ｂが、上述の学習結果記憶部２２に記憶されている学習結果に基づいて行う処理であり、図１２を示して具体的に説明する。
【００５２】
まず、操作部１６より評価を行う対象となる画像が指定されると、評価画像記憶部５１から評価を行う画像を取得する（ステップＳ７００）。なお、撮像部１８で撮像されている画像（ライブビューの画像）の評価を行う場合には、評価画像記憶部５１は、例えば、このデジタルカメラ１００に搭載されたＲＡＭに相当し、また、既に撮像された画像の評価を行う場合には、評価画像記憶部５１は、このデジタルカメラ１００に搭載されたフラッシュメモリや着脱可能な外部メモリに相当する。このとき、画像は、上述したように、画像前処理部１５によって、図７の前処理格納テーブル２２３に示すような前処理項目カラム２２３ａに設定された前処が施され、前処理済みの画像となっている（あるいは、評価を行う際に、前処理を行うように構成しても良い）。この前処理項目カラム２２３に記憶されている前処理方法のうちどの方法を使用するかの指定は、ユーザが操作部１６から、指示することができるようになっている。評価を行う画像に対して、このような前処理を施しておくことで、画像のデータ量を少なくして、以下の特徴量を算出する際の処理時間が短縮でき、処理の高速化が可能となる。
【００５３】
そして、この画像の特徴量のベクトルＸを算出する（ステップＳ７１０）。なお、画像の特徴量Ｘの計算は、印象ラベル判定部１１毎に行うのではなく、一括して一度だけ行い、その結果を用いて各々の印象ラベル判定部１１が印象判定を行うように構成しても良い。次に、繰り返し回数ｔに初期値として”１”を設定し、この繰り返し回数ｔがＴｍａｘより大きくなるまで次の処理（ステップＳ７４０〜ステップＳ７６０）を繰り返す（ステップＳ７３０）。ステップＳ７４０では、学習結果記憶部２２の特徴量テーブル２２１からｔ回目の学習におけるｉ，ｋを取得し、また、判定情報テーブル２２２からｔ回目の学習における部分領域ｉのｋ番目の部分ベクトルの重み付き平均値を取得する。そして、ステップＳ７５０では、ステップＳ７１０で算出した画像の特徴量のベクトルＸのうち、部分領域ｉにおけるｋ番目の部分ベクトル（ｘ）と、ステップＳ７４０で取得した部分領域ｉのｋ番目の部分ベクトルの重み付き平均値とから、式（１０）〜（１２）により弱識別器ｈ（ｘ，ｔ）の値を求める（ステップＳ７５０）。そして、ステップＳ７６０ではｔに１を加算する。以上のようにして、Ｔｍａｘ個の弱識別器ｈ（ｘ，ｔ）の結果が出ると、最後に、判定情報テーブル２２２からＴｍａｘ個の重みαtの値を読み出し（ステップＳ７７０）、式（４）により、強識別器Ｈ（Ｘ）の値を算出する（ステップＳ７８０）。
【００５４】
以上のような構成によると、評価処理部１１ｂは、画像が、この評価処理部１１ｂが設けられた印象ラベル判定部１１に設定されている印象ラベルに相当する印象を有するか否かを数値として算出することができる。上述のように弱識別器ｈ（ｘ，ｔ）は”１”か”−１”の値が出力されるため、判定結果出力部１４において、強識別器Ｈ（Ｘ）の値が正の値であれば当該印象を有し、０より小さい値であれば当該印象を有しないと判断することができる。あるいは、所定の閾値を設定し、この閾値以上の値であれば当該印象を有し、閾値より小さければ当該印象を有しないと判断することもできる。すなわち、この印象ラベル判定部１１においては、強識別器Ｈ（Ｘ）の値は、印象を有する／有しない（”１”か”−１”か）ではなく、Ｔｍａｘ個の弱識別器と重みαtとの積の総和（線形結合）であるため、判定結果出力部１４は、印象の近接度合いを数値として表現することが可能である。そのため、複数の印象ラベルが設定された印象ラベル判定部１１の各々の演算結果（Ｈ（Ｘ））を比較して、どの印象が最も強いのかというような比較や、順位付けも行うことが可能となっているので、上述したように、それぞれの印象ラベルを軸として、それぞれの演算結果（Ｈ（Ｘ））を並べて、画像と共に表示させることができるようになっている。そして、この演算結果（Ｈ（Ｘ））は、数値として表現することが可能であるので、例えば、それぞれの印象ラベルの中から、もっとも印象の強い印象ラベルを１００として、そのもっとも印象の強い印象ラベルに対する各印象ラベルの比率を算出して、その結果をグラフ形式で表示させることも可能である。
【００５５】
従って、本実施形態における画像表示部１０において、複数の印象ラベルのそれぞれに対応付けられた印象ラベル判定部１１からの判定結果（強識別器Ｈ（Ｘ）の値）から、複数の印象ラベルの値（印象の近接度合い）の各々を上述したように、グラフ形式で画面上に画像と共に表示する構成とすることができるようになっている。しかも、画像の印象の評価結果が、グラフ形式で、画像と共に表示されるので（図６（ｂ）参照）、ユーザが視覚的にも分りやすくなっており好ましい。
【００５６】
以上のような構成の撮像装置であるデジタルカメラ１００（画像表示部１０）によれば、撮像されている画像若しくは撮像されて記憶されている画像に対する複数の印象ラベル毎の印象判定を、学習画像を用いた学習結果に基づいて行い、その判定結果を画像と共に表示させることで、ユーザが視認し易い画面表示を提供することができる。
【図面の簡単な説明】
【００５７】
【図１】画像表示装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】図１の画像表示部の構成を示すブロック図である。
【図３】印象ラベル判定部の構成を示すブロック図である。
【図４】印象判定結果表示の処理を示すフローチャートである。
【図５】学習画像記憶部のデータ構造を示すデータ構造図であって、（ａ）は学習画像記憶テーブルの構造を示し、（ｂ）は印象ラベル記憶テーブルの構造を示す。
【図６】上記デジタルカメラの判定結果である画面を示す模式図であって、（ａ）は画像のみの表示、（ｂ）は、画像に結果をオーバーレイ表示している画面を示す。
【図７】上記判定部のうち、評価対象である画像に対して、評価前に行う前処理を示すデータ構造図。
【図８】上記印象ラベル判定部のうち、学習処理部における処理を示すフローチャートである。
【図９】上記学習処理において、弱識別器を構築する処理の詳細を示すフローチャートである。
【図１０】上述の学習処理部における処理において、印象に影響を与える部分領域が特定される過程を示す説明図である。
【図１１】学習結果記憶部のデータ構造を示すデータ構造図であって、（ａ）は特徴量テーブルの構造を示し、（ｂ）は判定情報テーブルの構造を示す。
【図１２】上記印象ラベル判定部のうち、評価処理部における処理を示すフローチャートである。
【符号の説明】
【００５８】
１１  印象ラベル判定部    １２  印象ラベル選択部    １４  判定結果出力部
１５  画像前処理部    １７  表示部    １８  撮像部
２２  学習結果記憶部    ５１  評価画像記憶部
１００  デジタルカメラ（撮像装置）
【図１】
2010016728.tif 000012
【図２】
2010016728.tif 000013
【図３】
2010016728.tif 000014
【図４】
2010016728.tif 000015
【図５】
2010016728.tif 000016
【図７】
2010016728.tif 000017
【図８】
2010016728.tif 000018
【図９】
2010016728.tif 000019
【図１０】
2010016728.tif 000020
【図１１】
2010016728.tif 000021
【図１２】
2010016728.tif 000022
【図６】
2010016728.tif 000023