(57)【要約】【課題】デジタル画像を支配する印象を特定して、そのデジタル画像の印象を強める効果のある処理を施して表示する画像表示方法、それを実行するプログラム、及び、画像表示装置を提供する。【解決手段】複数の判定部１１を有する印象判定処理部１０において、入力された画像２００の印象ラベルに対する印象判定を、複数の判定部１１ごとに行い、印象決定部４０により、その判定結果が閾値以上となっている印象ラベルを当該画像の印象ラベルとして、表示装置３に画像を表示する際に、決定された印象ラベルの有する印象を強化する処理を画像に対して施す画像表示方法、その実行プログラム、画像表示装置。【選択図】図１
2010026017.tif 000002
【特許請求の範囲】
【請求項１】
画像解析部を有し、予め登録された複数の印象ラベル毎に画像印象の学習結果が記憶された学習結果記憶部にアクセス可能なコンピュータにより実行され、入力された画像の印象を判定し、当該印象を強化して表示装置に出力する画像表示方法であって、
前記画像解析部により、
前記画像から当該画像の特徴量を算出して、当該特徴量と前記学習結果記憶部に記憶されている前記学習結果に基づいて当該画像における前記複数の印象ラベルの各々に対する印象の近接度合いを判定する画像印象判定ステップと、
前記画像印象判定ステップでの前記印象ラベルに対する印象の近接度合いが、閾値以上である印象ラベルを選択して、当該印象ラベルを前記画像の印象ラベルとする印象ラベル決定ステップと、
前記表示装置に前記画像を表示する際に、前記印象ラベル決定ステップにおいて決定された前記印象ラベルが有する印象を強化する画像処理を前記画像に対して施して出力する印象強化画像処理ステップと、
を有する画像表示方法。
【請求項２】
前記画像印象判定ステップにおいて、前記画像に前処理を施して、当該前処理が施された画像の特徴量を算出するように構成された請求項１に記載の画像表示方法。
【請求項３】
前記印象ラベル決定ステップにおいて、閾値以上の前記印象ラベルから、前記印象の近接度合いの最も高い印象ラベルに対して、矛盾する前記印象ラベルを除いて、前記画像の印象ラベルを決定するように構成された請求項１または２に記載の画像表示方法。
【請求項４】
前記画像解析部は、前記印象ラベルごとに当該印象ラベルを有する前記画像の印象を強化する強化色が記憶された印象枠定義テーブルにアクセス可能であり、
前記印象強化画像処理ステップにおいて、前記印象枠定義テーブルから、前記画像の前記印象ラベルに対応する当該画像の印象を強化する前記強化色を取得し、前記画像の周囲に前記強化色を配置して前記表示装置に表示するように構成された請求項１〜３いずれか一項に記載の画像表示方法。
【請求項５】
前記印象枠定義テーブルは、前記印象ラベルごとに前記強化色と矛盾する色を記憶し、
前記印象強化画像処理ステップにおいて、
前記印象ラベル決定ステップにおいて決定された前記画像に対する前記印象ラベルが複数あるときに、最も印象の近接度合いの高い前記印象ラベルに対応する前記矛盾する色を前記印象枠定義テーブルから取得し、
前記印象強化画像処理ステップにおいて、当該矛盾する色を前記画像に配置しないようにした請求項４に記載の画像表示方法。
【請求項６】
請求項１〜５いずれか一項に記載の画像表示方法をコンピュータに実行させるためのプログラム。
【請求項７】
予め登録された複数の印象ラベル毎に画像印象の学習結果が記憶された学習結果記憶部と、
画像を表示する表示装置と、
請求項６に記載のプログラムを実行するコンピュータと、を有する画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法、それを実行するプログラム、及び、画像表示装置に関する。
【背景技術】
【０００２】
従来、デジタル画像を表示するだけでなく、音や光のコントラスなどにより、その視聴環境を向上させて、ユーザが楽しめ、満足感を与えることができるような技術が開発されてきている。例えば、デジタル画像の表示装置に連動する照明設備や、音響設備、若しくは、デジタル画像を表示するディスプレイに加えて他のディスプレイを空間に配置し、ユーザが、デジタル画像を再生する際に、デジタル画像が撮影された場所や時間に基づいて、デジタル画像を表示するディスプレイ以外の設備等が連動して、音や映像などを生成し、視覚的のみならず、聴覚的にも楽しむことのできる空間を形成する技術が開示されている（例えば、特許文献１参照）。しかし、このような方法では、設備が大がかりなものとなり、それらを配置するスペース等の問題から、ユーザが手軽に楽しむことができるものとはなっていない。そこで、デジタル画像から一定の法則に基づいて知覚的に支配的な色を抽出し、デジタル画像の表示の際に、抽出した色の光を生成して、デジタル画像の周囲からその光を発するようにして、視覚的に楽しむことができる技術が提案されている（例えば、特許文献２）。
【特許文献１】米国特許出願公開第２００６／０２０３３１２号明細書
【特許文献１】米国特許出願公開第２００７／０２４２１６２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、この方法では、デジタル画像の周辺部分を６分割して、その画像の抽出された色に基づく光をその６分割された領域からそれぞれ発光させるのみであり、ユーザが満足感を十分に得ることができるものとはなっていない。つまり、この技術では、そのデジタル画像に支配的な色を抽出させて表示する際に、その色に基づく光を周囲から発光させるだけであるので、デジタル画像とその発光色が調和してしまい、視覚的にも画像が単調なものとなってしまうという課題があった。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、デジタル画像を支配する印象を特定して、そのデジタル画像の印象を強める効果のある処理を施して表示することにより、ユーザが視覚的に楽しめ、高い満足感が得られる画像表示方法、それを実行するプログラム、及び、画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、本発明に係る画像表示方法は、画像解析部を有し、予め登録された複数の印象ラベル毎に画像印象の学習結果が記憶された学習結果記憶部にアクセス可能なコンピュータにより実行され、入力された画像の印象を判定し、当該印象を強化して表示装置に出力する画像表示方法であって、画像解析部により、入力された画像から当該画像の特徴量を算出して、当該特徴量と学習結果記憶部に記憶されている学習結果に基づいて当該画像における複数の印象ラベルの各々に対する印象の近接度合いを判定する画像印象判定ステップと、この画像印象判定ステップでの印象ラベルに対する印象の近接度合いが、閾値以上である印象ラベルを選択して、当該印象ラベルを画像の印象ラベルとする印象ラベル決定ステップと、表示装置に画像を表示する際に、印象ラベル決定ステップにおいて決定された印象ラベルが有する印象を強化する画像処理を画像に対して施して出力する印象強化画像処理ステップと、を有する。
【０００６】
このような画像表示方法は、画像印象判定ステップにおいて、画像に前処理を施して、当該前処理が施された画像の特徴量を算出するように構成されることが好ましい。
【０００７】
また、このような画像表示方法は、印象ラベル決定ステップにおいて、閾値以上の印象ラベルから、印象の近接度合いの最も高い印象ラベルに対して、矛盾する印象ラベルを除いて、画像の印象ラベルを決定するように構成されることが好ましい。
【０００８】
また、このような画像表示方法において、印象解析部は、印象ラベルごとに当該印象ラベルを有する画像の印象を強化する強化色が記憶された印象枠定義テーブルにアクセス可能であり、印象強化画像処理ステップにおいて、印象枠定義テーブルから、画像の印象ラベルに対応する当該画像の印象を強化する強化色を取得し、画像の周囲にこの強化色を配置して表示装置に表示するように構成されることが好ましい。
【０００９】
また、このような画像表示方法において、印象枠定義テーブルは、印象ラベルごとに強化色と矛盾する色を記憶し、印象強化画像処理ステップにおいて、印象ラベル決定ステップにおいて決定された画像に対する印象ラベルが複数あるときに、最も印象の近接度合いの高い印象ラベルに対応する矛盾する色を印象枠定義テーブルから取得し、印象強化画像処理ステップにおいて、当該矛盾する色を画像に配置しないようにすることが好ましい。
【００１０】
また、本発明に係る画像表示方法をコンピュータに実行させるためのプログラムを作成することができ、このプログラムは、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークを介してデジタル信号として配信される場合もある。このとき、中間的な処理結果は、メインメモリ等の記憶装置に一時保管される。
【００１１】
また、本発明に係る画像表示装置は、予め登録された複数の印象ラベル毎に画像印象の学習結果が記憶された学習結果記憶部と、画像を表示する表示装置と、上述のプログラムを実行するコンピュータと、を有して構成される。
【発明の効果】
【００１２】
本発明に係る、画像表示方法、プログラム、及び、画像表示装置を以上のように構成すると、その画像の印象を与えている部分領域に基づいて、画像の印象を特定し、ユーザが視覚的に楽しめ、高い満足感が得られるように、その特定した印象を強める効果のある処理を画像に施して表示することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて、本実施形態に係る画像表示装置１００の構成について説明する。この画像表示装置１００は、ＣＰＵや、ＲＡＭ、ＲＯＭ等を有し、プログラムを実行可能なコンピュータ１と、画像を記憶する表示画像記憶装置２と、画像が表示される表示装置３と、を有して構成される。このコンピュータ１においては、プログラムにより実現される画像解析部３０が設けられており、この画像解析部３０は、表示画像記憶装置２から読み出された画像の印象判定を行う印象判定処理部１０と、印象判定処理部１０の評価結果に対して、印象ラベル関係定義記憶部４１のデータを参照して、評価した画像の印象強化処理等を行う印象決定部４０と、を有しており、その印象決定部４０の結果と共に、画像が表示装置３に表示されるように構成されている。
【００１４】
ここで、印象判定処理部１０は、印象ラベル毎に設けられ、学習画像に基づく学習結果を用いて表示画像記憶装置２から読み出されたデジタル画像２００（以下、「画像２００」という）の評価を行う複数の印象ラベル判定部１１と、学習画像が記憶される学習画像記憶部２１と、印象ラベル判定部１１による学習結果が記憶される学習結果記憶部２２と、複数の印象ラベル判定部１１による判定結果を印象決定部４０に出力する判定結果出力部１４と、を有して構成される。この印象判定処理部１０における画像の印象判定の方法等についての詳細は、後述するとして、表示装置３に表示される画像にどのような印象強化処理が施されるのかについて、図２〜図４を用いて説明する。
【００１５】
ユーザが、画像の印象を強化して、視覚的に楽しみたいときには、コンピュータ１においてこの画像解析部３０が実行され、画像の表示再生が開始される。まず、図示しない入力装置等を用いてユーザにより表示装置３に表示したい画像２００が選択され、画像解析部３０は、表示画像記憶装置２からこの画像２００を読み出し（ステップＳ１００）、後述する印象判定処理部１０によりこの画像２００の印象判定を行い、画像２００に対する印象ラベルごとの印象の近接度合いの評価を行う（ステップＳ１０１（画像印象判定ステップ））。そして、印象判定処理部１０の処理が終了すると、次に、印象決定部４０が、各印象ラベルの印象判定の結果から評価対象である画像２００の最終的な印象ラベルを決定する（ステップＳ１０２（印象ラベル決定ステップ））。このとき、印象決定部４０は、印象ラベル関係定義記憶部４１を参照する。この印象ラベル関係定義記憶部４１には、図３（ａ）に示す印象ラベル定義テーブル４１１と、図３（ｂ）に示す印象枠定義テーブル４１２と、が記憶されている。そこで、印象決定部４０は、最終的な印象ラベルを決定する際には、まず、印象ラベル関係定義記憶部４１の印象ラベル定義テーブル４１１を参照するように構成されている。
【００１６】
ここで、印象ラベル定義テーブル４１１は、各印象ラベル判定部１１に割り当てられている印象ラベルを識別するための識別情報（印象ＩＤ）が記憶される印象ＩＤカラム４１１ａ、印象ラベルが管理される印章ラベルカラム４１１ｂ、及び、当該印象ラベルに対して矛盾する印象ラベルが記憶される矛盾する印象ラベルカラム４１１ｃから構成されている。例えば、印象ＩＤカラム４１１ａに“Ａ”として記憶されている印象ラベルは、印象ラベルカラム４１１ｂにおいて、“明るい”が記憶されている。そして、これに対応する矛盾する印象ラベルとして、矛盾する印象ラベルカラム４１１ｃには、“暗い”、”ぼやけた”などの相反する単語が登録されている。その他にも、印象ＩＤが”Ｂ”の印象ラベルとして“鮮明な”が登録され、これと矛盾する印象ラベルとして、“不鮮明な”、”ぼやけた”などの単語が登録されている。なお、矛盾する印象ラベルカラム４１１ｃに登録される順番は、特に限定されていないが、左から、相反する、あるいは矛盾する、あるいは反対語として認識される語句の中で、一番多いものから順に登録することが可能である。
【００１７】
以上より、印象決定部４０は、このステップＳ１０２において上記の印象ラベル定義テーブル４１１を参照して、画像２０の最終的な印象ラベルを決定する。すなわち、印象決定部４０は、印象判定処理部１０の判定結果出力部１４を介して得られた、複数の印象ラベルのうちで相反関係にある印象ラベル（矛盾する印象ラベル）を排除する処理を行い、残った印象ラベルのうちで印象判定結果の印象の近接度合いが最も大きな値を有する印象ラベルをこの画像２００の印象ラベルとして決定する。また、更には、この印象ラベルと相反せず、所定の閾値以上の値を有する印象ラベルをこの画像の印象ラベルとして認識するように構成することも可能である。例えば、最終的に画像１００に強化処理を行う際に、この画像２００に与える印象が、最も大きい印象ラベルのみを画像２００の強化処理に応用してもよいし、一定の閾値以上の印象判定結果を得られた印象ラベルのうち、最も印象の大きい印象ラベルと、この最も印象の大きい印象ラベルに相反しない印象ラベルと、を併用して画像２００の強化処理に応用してもよい。
【００１８】
次に、この画像２００の印象を強化して表示装置３で表示するため、印象決定部４０は、ステップＳ１０２で決定された最終的な印象ラベルに基づいて、画像２００に対して印象強化処理を施す。この印象強化処理としては、印象ラベルに対応した色を選定して、その色の枠色やパターンを画像２００と共に表示するものである。つまり、印象決定部４０は、最終的な印象ラベルに相当する枠色・パターンを印象枠定義テーブル４１２を参照して選択する（ステップＳ１０３（印象強化画像処理ステップ））。
【００１９】
印象ラベル関係定義記憶部４１の印象枠定義テーブル４１２は、印象ＩＤを記憶する印象ＩＤカラム４１２ａと、当該印象ＩＤに対応する印象ラベルを強化するための色が記憶される強化色カラム４１２ｂと、この強化色に矛盾する色が記憶される矛盾色カラム４１２ｃと、を有して構成されている。そのため、このステップＳ１０３においては、印象決定部４０は、最終的な印象ラベル（印象ＩＤ）を強化するための強化色と、この強化色に矛盾する色とを印象枠定義テーブル４１２から取得する。なお、上述のステップＳ１０２において、複数の印象ラベルが最終的に選択されている場合には、相反しない印象ラベルであっても、印象ラベルに対応した色が相容れない色（相反する色若しくは矛盾する色）同士となってしまう場合もあるため、そのような相容れない色も除外するようになっている。ここで、相反する色及び矛盾する色とは、例えば、ある色に対して、補色の関係にある色と、その補色に類似する色、もしくは等差色相の関係にある色である。つまりは、ある色に対しての類似関係にある色以外の色が、相容れない色の一例である。具体的には、例えば、色相環において、赤であれば、青緑や青、緑青、緑などであり、色を二系統に分類した際に赤は、暖色系の色として分類されるので、例えば、寒色系に分類される色は、相容れない色のように定義することもできる。
【００２０】
また、ステップＳ１０３において、印象決定部４０は、画像２００の表示に際して、その選択された色を画像２００に対して、どの様に配置するかの枠のパターンについても決定できるようになっている。例えば、図１には図示していないが、印象ラベル関係定義記憶部４１に幾つかの枠のパターンを予め登録しておき、その記憶されたパターンが、表示装置３に例示されるようにする。そして、ユーザは、押しボタンや、表示パネル等の操作部を操作して、この例示された枠のパターンから１つを選択して、画像の表示の際に使用するように決定することができるようになる。
【００２１】
ここで、例えば、枠の表示例としては、図４（ａ）〜（ｃ）が挙げられる。画面５００は、画像２００を表示するイメージ表示部５０１と、このイメージ表示部５０１の周囲の外周辺部領域５０２とから構成されており、図４（ａ）は、イメージ表示部５０１に画像２００が表示され、その周囲の外周辺部領域５０２にこの画像２００の印象ラベルを強化するための色が配置されている例である。また、図４（ｂ）は、イメージ表示部５０１に画像２００が表示され、その周囲の外周辺部領域５０２とイメージ表示部５０１に表示されている画像２００との間であって、主要な被写体（図４（ｂ）における人物）が表示されていない領域５０１ａに、この画像２００の印象ラベルを強化するための色が配置されている。さらに、図４（ｃ）では、図４（ａ）と図４（ｂ）とで、画像２００の印象ラベルを強化するための色が配置されている領域の両方に色が配置されている。つまり、外周辺部領域５０２と主要な被写体が表示されていない領域５０１ａとの両方に強化するための色が配置される構成となっている。これらは、予め、ユーザが設定しておくこともできるし、表示の際に、最適な表示方法が自動で選択されるようになっていてもよい。
【００２２】
以上のようにして枠のパターンが決定されると、印象決定部４０は、図４（ａ）〜図４（ｃ）の何れかの表示パターン沿って、選択された枠色を画像と共に表示する（ステップＳ１０４）。このように、画像の持つ印象（印象ラベル）に対応した色が、画像と共に表示されるので、ユーザが視覚的に楽しむことのできるものとなる。
【００２３】
なお、以上のような構成において、印象枠定義テーブル４１２の印象ＩＤと印象を強化する強化色との関係は、印象ＩＤに対応する印象ラベルのイメージと合致するような色が設定されていると、さらに、良好である。例えば、印象ラベル定義テーブル４１１において印象ＩＤカラム４１１ａに”Ｃ”と記憶されている印象ラベルは、印象ラベル定義テーブル４１１に定義されているとおり、”落ち着いた”である。この印象ＩＤが”Ｃ”の印象ラベルに対応する色は、印象枠定義テーブル４１２を参照すると、強化色として“青”が登録されていることが分かる。従って、印象ラベル“落ち着いた”に対応する色は“青”となっており、“落ち着いた”の印象ラベルを有する画像には、この印象を強化する際に“青”が使用されることとなる。“青”は、通常、精神を安定させる色として、使用される場合が多く、“落ち着いた”の印象ラベルのイメージと合致しているものであると考えられる。
【００２４】
このように、印象ラベルのイメージと合致するような色が設定されていると、決定された印象ラベルに対応する色により画像の印象を強調する効果が高くなり、その色により強調した画像が表示されれば、画像のイメージが、ユーザの視覚を通して、さらに認識されやすくなり、満足感の高い画像表示となる。以上のような、処理により、ユーザが視覚的にも楽しめる画像の表示として、画像の印象を的確に抽出し、その抽出された印象を強化する色で、画像の枠を形成し、画像を表示する際にその枠と共に表示されるようになっている。
【００２５】
次に、上述のステップＳ１０１において実行される印象判定処理の具体的な内容について図５〜図１２を用いて説明する。図２に示すステップＳ１０１は、印象判定処理部１０における処理であり、具体的に画像２００の印象ラベルの判定を行う方法である。この印象判定処理部１０において、印象ラベル判定部１１の各々は、図５に示すように、学習画像記憶部２１に予め登録された学習画像及び印象ラベルに基づいて学習を行う学習処理部１１ａと、学習結果記憶部２２記憶された学習結果に基づいて、画像２００の評価を行う評価処理部１１ｂとを有して構成されている。
【００２６】
（ａ）学習画像による学習
学習処理部１１ａは、ＡｄａＢｏｏｓｔの手法により、複数の学習サンプル（学習画像）を用いて、図６に示す処理手順により画像の印象を判定するための１つの強識別器Ｈ（Ｘ）を構築するものである。この学習処理部１１ａは、学習を開始すると、学習画像記憶部２１に記憶されている複数の学習画像を読み込む（ステップＳ６００）。ここで、学習画像記憶部２１には、図７に示すように、学習画像を記憶する学習画像記憶テーブル２１１と、印象ラベルと学習画像との対応付けを行う印象ラベル記憶テーブル２１２とを有して構成されている。
【００２７】
学習画像記憶テーブル２１１は、学習画像を識別するための画像ＩＤが記憶される画像ＩＤカラム２１１ａと、学習画像が格納されるファイルカラム２１１ｂと、この学習画像の特徴量Ｘ（ｊ）が記憶される特徴量カラム２１１ｃとから構成されている。図７（ａ）においては、７枚の画像が登録されている場合を示しており、ｊは、学習画像の番号を示す。なお、ファイルカラム２１１ｂに学習画像を直接記憶させるのではなく、別の領域に学習画像本体を記憶し、この学習画像のファイル名（又はパス名）をこのカラムに記憶するように構成することも可能である。
【００２８】
また、印象ラベル記憶テーブル２１２は、印象ラベルを識別するための印象ＩＤが記憶される印象ＩＤカラム２１２ａと、印象ラベルが記憶される印象ラベルカラム２１２ｂと、当該印象ラベルに対応付けられている学習画像の画像ＩＤが記憶される画像ＩＤカラム２１２ｃと、から構成されている。この画像ＩＤカラム２１２ｃには、複数の画像ＩＤを設定することが可能であり、例えば、印象ＩＤ＝”１”の”明るい”という印象ラベルには、画像ＩＤが”０００１”と”０００２”の２枚の学習画像が設定されている。
【００２９】
なお、画像の特徴量Ｘは、ＭＰＥＧ７で規格化されている、スケーラブルカラー（Scalable Color）やエッジヒストグラム（Edge Histogram）を用いたｎ次元のベクトルとして定義されており、本実施の形態においては、学習画像毎に予め決められた方法により計算されて特徴量カラム２１１ｃに設定されている。
【００３０】
そして、学習処理部１１ａは、学習のステップ数ｔに初期値として”１”を設定し（ステップＳ６１０）、ステップ数ｔが、予め決められた回数（Ｔｍａｘ）を超えたか否かを判断し、Ｔｍａｘを超えるまで、ステップＳ６３０〜ステップＳ６５０を繰り返す（ステップＳ６２０）。この繰り返し処理において、ステップＳ６３０では、ステップＳ６００で読み込んだ学習画像を用いて、繰り返し処理毎の（ｔ回目の）学習における弱識別器ｈ（ｘ，ｔ）が構築される。弱識別器ｈ（ｘ，ｔ）の詳細な構築方法については後述するが、本実施の形態における学習処理部１１ａにおいては、学習画像を予め決められた部分領域に分割し、この部分領域における特徴量の部分ベクトル毎に学習を行い、当該部分領域の部分ベクトル毎の弱識別器ｈi,k（ｘ，ｔ）を構築し（ｉは部分領域の番号であり、ｋは当該部分領域に対応する特徴量の部分ベクトルの番号）、これらの部分領域における特徴量の部分ベクトルに対応する弱識別器の中から最も印象が強い部分領域の特徴量の部分ベクトルを選択し、この部分ベクトルに対応する弱識別器をこの学習処理（ｔ回目の学習処理）における弱識別器ｈ（ｘ，ｔ）として選択するように構成されている。そのため、ｘは、ｔ回目の学習において入力される画像の特徴量（ベクトル量）Ｘのうち、各弱識別器ｈ（ｘ，ｔ）が対応する部分領域における部分ベクトルを表している。
【００３１】
また、ステップＳ６４０では、ステップＳ６３０で構築された弱識別器ｈ（ｘ，ｔ）から、線形結合のためのｔ回目の学習ステップにおける係数αtを算出し、さらに、次の学習ステップ（ｔ＋１回目）で用いるｊ番目の学習画像の重みＤt+1（ｊ）を更新する。そして、ステップＳ６５０でステップ数ｔに１を加算する。
【００３２】
以上のようにして、Ｔｍａｘ回の学習をすることにより、Ｔｍａｘ個の部分領域（ｉ）と、この部分領域における部分ベクトル（ｋ）と、弱識別器ｈ（ｘ，ｔ）との組が決定され、ステップＳ６６０においてこれらの弱識別器ｈ（ｘ，ｔ）を線形結合することにより１つの強識別器Ｈ（Ｘ）が構築される。このステップＳ６６０において弱識別器ｈ（ｘ，ｔ）を線形結合するための係数αtは、上述のようにステップＳ６４０で算出されるが、後述するように、ステップＳ６３０で選択された部分領域における部分ベクトルに対応する弱識別器ｈ（ｘ，ｔ）とその誤り率εtとを用いて、次式（１）として決定される。ここで、１枚の学習画像をｍ個の部分領域に分割したとすると、部分領域の組み合わせの集合はＧ＝｛ｇ１，ｇ２，．．．，ｇｍ｝と表され、ｊ枚目の学習画像の部分領域ｉに対応するｋ番目の部分ベクトルをｘi,j,kとすると、特徴量のベクトルＸは部分ベクトルの集合（Ｘ（ｊ）＝｛ｘ1,j,1，ｘ1,j,2，．．．，ｘ1,j,k1，ｘ2,j,1，ｘ2,j,2，．．．，ｘ2,j,k2，．．．，ｘm,j,1，ｘm,j,2，．．．，ｘm,j,km｝）として表される。なお、ｋ１，ｋ２，．．．，ｋｍは、それぞれの部分領域ｉにおける特徴量の部分ベクトルの数である。
【００３３】
【数１】
2010026017.tif 000003
【００３４】
この式（１）は、弱識別器ｈ（ｘ，ｔ）の信頼性を表しており、誤り率εtが低いほど係数αtが大きくなり、対応する弱識別器ｈ（ｘ，ｔ）のステップＳ６６０での判断の影響が大きくなる。但し、誤り率εtが０．５を超えるときは、弱識別器ｈ（ｘ，ｔ）の判定を逆にすれば誤り率εtを小さくすることができるので、この場合は１から誤り率εtを引いた値を新たな誤り率εtとする。従って、誤り率εtの最悪値は０．５となる。
【００３５】
また、ｔ＋１回目の学習における学習画像の重みＤt+1（ｊ）は、全ての学習画像に対する重みを加算したときに１になる必要があるため、次式（２）に示す条件値Ｚtを満たすように、ｔ回目の学習における重みＤt（ｊ）から次式（３）により求められる。なお、この式（２）及び（３）において、Ｊｍａｘは学習画像の枚数を示し、ｘi,j,kは、弱識別器が選択された部分領域ｉに対応するｊ番目の画像のｋ番目の部分ベクトルを示し、ｙjは、ｊ番目の画像の印象ラベルの有無を表し、この学習を行っている印象ラベル判定部に割り当てられた印象ラベルを有する場合は１、有しない場合は−１となる。
【００３６】
【数２】
2010026017.tif 000004
【００３７】
以上より、ステップＳ６６０で構築される１つの強識別器Ｈ（Ｘ）は、次式（４）で表される。なお、この式（４）において、Ｘは強識別器Ｈで評価される画像の特徴量（ベクトル量）であり、ｘは、特徴量Ｘのうち、ｔ回目の学習において弱識別器ｈ（ｘ，ｔ）が選択された部分領域に対応する部分ベクトルである。
【００３８】
【数３】
2010026017.tif 000005
【００３９】
図９では、学習全体を通じて、一番選択された頻度の多かった部分領域が画像の印象に影響を与えている領域として特定される様子が示されており、Ｔｍａｘ回行った学習の結果は、学習全体を通じて出現頻度の高かった領域（丸印が付けられた領域）となる。
【００４０】
それでは、図８を用いて、弱識別器ｈ（ｘ，ｔ）を構築するための処理（ステップＳ６３０）の具体的構成について説明する。まず、学習画像を予め決められた複数の部分領域に分割する（ステップＳ６３０１）。例えば、図９に示すように、横６×縦４の２４の部分領域に分割する（この場合は、ｍ＝２４となる）。なお、ここでは、説明を簡単にするために、縦、横を均等に分割した場合について示しているが、部分領域の大きさは任意に設定することができる。また、これらの分割された部分領域を組み合わせたものを新たな部分領域としても良い。次に上記部分領域の各々における部分ベクトルの数をｋ＝｛ｋ１，ｋ２，．．．，ｋｍ｝とする（ステップＳ６３０２）。そして、部分領域のカウンタｉ及び部分ベクトルのカウンタｋに初期値として”１”を設定し（ステップＳ６３０３）、部分領域ｇ１から順に、部分領域ｇｍまで以下の処理を繰り返す（ステップＳ６３０４）。
【００４１】
まず、上述のステップＳ６００で学習画像記憶部２１から読み込んだすべての学習画像の、部分領域ｇｉにおける特徴量の部分ベクトルを抽出する（ステップＳ６３０５）。上述のように７枚の学習画像がある場合は、ｉ番目の部分領域の処理において抽出された部分ベクトルの集合は、｛ｘi,j,1，ｘi,j,2，．．．，ｘi,j,ki｝（ｊ＝１，２，．．．，７）となる。そして、ｋがｋｉより大きいか、すなわち、ｉ番目の部分領域に対応する全ての特徴量の部分ベクトルについて判定が終わったか否かを判断し（ステップＳ６３０６）、全ての判定が終わっている場合には、ｉに１を加算し（ステップＳ６３０７）、また、ｋに１を設定し（ステップＳ６３０８）、ステップＳ６３０４に戻る。一方、ステップＳ６３０６で全ての部分ベクトルについて判定が終わっていないと判断したときは、ｔ回目の学習において、学習画像の陽性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（５）により算出し、学習画像の陰性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（６）により算出する（ステップＳ６３０９）。ここで、陽性サンプルとは、印象ラベル判定部１１に設定された印象ラベルに割り当てられている学習画像のことを言い、上述のｙj＝１のサンプルであり、反対に陰性サンプルとは、当該印象ラベルに割り当てられていない学習画像のことを言い、上述のｙj＝−１のサンプルである。例えば、図４（ｂ）において、”明るい”という印象ラベルが設定された印象ラベル判定部１１の学習処理部１１ａでは、画像ＩＤが”０００１”と”０００２”の学習画像が陽性サンプルとなり、それ以外の学習画像が陰性サンプルとなる。なお、式（５），（６）において、〜付きのｘは、部分ベクトルの重み付きの平均値であり、添え字の上側の文字は、”Ｙｅｓ”が陽性サンプルに対するものであることを示し、”Ｎｏ”が陰性サンプルに対するものであることを示す。また、ｍ＜ｎである。
【００４２】
【数４】
2010026017.tif 000006
【００４３】
これらの式（５），（６）において、ｎ1は陽性サンプルの枚数を示し、ｎ2は陰性サンプルの枚数を示している。ここで、ｎ＝ｎ1＋ｎ2である。また、λjはｊ番目の学習画像に付加されている印象ラベル数の逆数である。例えば、図７（ｂ）において、画像ＩＤが”０００１”の学習画像には印象ラベルとして”明るい”と”落ち着いた”が付加されており、λ1＝０．５となる。同様に、画像ＩＤが”０００２”の学習画像には”明るい”という印象ラベルだけが付加されているため、λ2＝１．０となる。つまり、このλjは、ｊ番目の学習画像の印象に対する影響力を表しており、多くの印象ラベルが付加されている学習画像ほど、その学習画像の印象に与える影響力は小さくなる。また、Ｄt（ｊ）は、ｔ回目の学習における、ｊ番目のサンプルの重みである。ここで言う重みとは、各学習画像が平均的な特徴量の部分ベクトルである式（５）及び（６）に影響を与える割合のことであり、常に以下の式（７）の関係を満足するものとする。
【００４４】
【数５】
2010026017.tif 000007
【００４５】
なお、この陽性及び陰性サンプルの重みＤt（ｊ）は、学習ステップの回数とともに変化するが、初期値（ｔ＝１）のときの値は、それぞれ、次式（８），（９）により定義され、各学習サンプルの重みを同じとする。
【００４６】
【数６】
2010026017.tif 000008
【００４７】
次に、上述のステップＳ６３０９で算出された特徴量の部分ベクトルの平均値と、各学習画像の特徴量の部分ベクトルとのユークリッド距離を次式（１０），（１１）により算出する（ステップＳ６３１０）。式（１０）において、ｆ1（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陽性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示し、式（１１）において、ｆ2（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陰性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示している。ただし、距離計算は１ノルムなど別のノルムでも代用できる。また、特徴量の部分ベクトルの平均値の添え字のうち、最初のｔは、ｔ回目の学習ステップであることを示す。
【００４８】
【数７】
2010026017.tif 000009
【００４９】
そして、ステップＳ６３１０で算出された距離ｆ1（ｘ），ｆ2（ｘ）を用いて、第ｉ番目の部分領域のｋ番目の部分ベクトルにおいて印象が陽性か陰性かを判定する弱識別器ｈi,k（ｘ，ｔ）を次式（１２）により構築する（ステップＳ６３１１）。ここで、”１”が陽性で、”−１”が陰性を表す。すなわち、この式（１２）で表される弱識別器ｈi,k（ｘ，ｔ）は、評価画像の特徴量の部分ベクトルと学習画像より得られた部分ベクトルの重み付き平均値との距離が、陽性サンプルと近いときに陽性（１）と判断され、陽性及び陰性サンプルとの距離が等しいか若しくは陰性サンプルと近いときに陰性（−１）と判断するものである。
【００５０】
【数８】
2010026017.tif 000010
【００５１】
最後に、上述のステップＳ６３１１で構築された弱識別器ｈi,k（ｘ，ｔ）を用いて、すべての学習画像の第ｉ番目の部分領域に対するｋ番目の部分ベクトルの判定を行い、その判定結果と、印象ラベル記憶テーブル２１２に設定された状態（陽性サンプルか、陰性サンプルか）が一致するかを検査する（ステップＳ６３１２）。この検査の結果、すべての学習画像について、弱識別器による判定結果と設定状態とが一致するときはｋに１を加えた後（ステップＳ６３１５）、ステップＳ６３０６に戻り当該部分領域の次の部分ベクトルについて上記処理を繰り返す（ステップＳ６３１３）。一方、このステップＳ６３１３で何れかの学習画像において判定結果と設定状態とが一致しないときは、次式（１３）により、該当する弱識別器ｈi,k（ｘ，ｔ）（言い換えると、該当する部分領域ｉのｋ番目の部分ベクトル）に対応する誤り率εi,kを算出し（ステップＳ６３１４）、ｋに１を加えた後（ステップＳ６３１５）ステップＳ６３０６に戻る。
【００５２】
【数９】
2010026017.tif 000011
【００５３】
このようなステップＳ６３０９からＳ６３１２までの一連の処理を部分領域の組み合わせの集合Ｇの要素数だけ繰り返す。最終的に、ｉ個の部分領域において、最も誤り率εi,kが低かった弱識別器ｈi,k（ｘ，ｔ）を、ｔ回目の学習における弱識別器ｈ（ｘ，ｔ）として選択し、学習ステップｔと、この弱識別器ｈ（ｘ，ｔ）に関する部分領域の番号ｉ、部分ベクトルの番号ｋ、係数αt及び選択された部分領域における特徴量のｋ番目の部分ベクトルの重み付き平均値とを学習結果記憶部２２の特徴量テーブル２２１及び判定情報テーブル２２２に記憶する（ステップＳ６３１６）。なお、この特徴量テーブル２２１は、図１０（ａ）に示すように印象ＩＤカラム２２１ａと特徴量カラム２２１ｂと、から構成され、印象ＩＤカラム２２１ａに記憶された印象ＩＤ毎に、特徴量カラム２２１ｂにｔ＝１回目からＴｍａｘ回目までの学習で選択された部分領域の番号ｉ及び当該部分領域における部分ベクトルの番号ｋが記憶される。また、判定情報テーブル２２２は、図１０（ｂ）に示すように、印象ＩＤカラム２２２ａと、学習回数カラム２２２ｂと、係数カラム２２２ｃと、平均値カラム２２２ｄと、から構成され、印象ＩＤ毎に、ｔ＝１〜Ｔｍａｘ回までの学習における係数（αt）及び部分ベクトルの重み付き平均値が記憶される。なお、弱識別器ｈi,k（ｘ，ｔ）が選択された部分領域ｉの部分ベクトルｋにおける誤り率εi,kが、ｔ回目の学習における誤り率εtとして選択される。
【００５４】
（ｂ）画像の評価
評価処理部１１ｂは、上述の学習結果に基づいて、式（４）により画像の評価を行うものである。具体的には、図９に示すように、まず、図１においては図示しない入力装置等により評価を行う対象となる画像（上述の画像２００）が指定されると、表示画像記憶装置２から評価を行う画像２００を取得する（ステップＳ７００）。なお、学習結果記憶部２２に、図１２に示すような前処理格納データテーブル２２３を設けておき、この前処理格納データテーブル２２３に設定された情報に基づいて表示画像記憶装置２から取得した画像２００を処理することが望ましい。
【００５５】
具体的には、この前処理格納データテーブル２２３には、前処理情報が記憶される前処理カラム２２３ａと、そのオン／オフ及び設定値が記憶される設定値カラム２２３ｂとから構成されており、画像２００の前処理として、「リサイズ」、「ＥＸＩＦサムネイル画像使用」、「平滑化」、等が記憶されている。「リサイズ」とは取得した画像２００を、設定値カラム２２３ｂに設定されているサイズ（画素数）にリサイズする処理であり、「ＥＸＩＦサムネイル画像使用」とは、画像２００がＥＸＩＦ形式のファイルであるときに、そのファイル内に格納されているサムネイル画像を印象の判断に使用するというものであり、「平滑化」とは画像２００を平滑化する処理である。このように、印象ラベルの評価を行う前に、画像２００に対して前処理を施しておくことで、以下の特徴量を算出する際の処理時間を短縮でき、処理の高速化が可能となる。
【００５６】
そして、この画像２００（若しくは、前処理後の画像）の特徴量のベクトルＸを算出する（ステップＳ７１０）。次に、繰り返し回数ｔに初期値として”１”を設定し、この繰り返し回数ｔがＴｍａｘより大きくなるまで次の処理（ステップＳ７４０〜ステップＳ７６０）を繰り返す（ステップＳ７３０）。ステップＳ７４０では、学習結果記憶部２２の特徴量テーブル２２１からｔ回目の学習におけるｉ，ｋを取得し、また、判定情報テーブル２２２からｔ回目の学習における部分領域ｉのｋ番目の部分ベクトルの重み付き平均値を取得する。そして、ステップＳ７５０では、ステップＳ７１０で算出した画像の特徴量のベクトルＸのうち、部分領域ｉにおけるｋ番目の部分ベクトル（ｘ）と、ステップＳ７４０で取得した部分領域ｉのｋ番目の部分ベクトルの重み付き平均値とから、式（１０）〜（１２）により弱識別器ｈ（ｘ，ｔ）の値を求める（ステップＳ７５０）。そして、ステップＳ７６０ではｔに１を加算する。以上のようにして、Ｔｍａｘ個の弱識別器ｈ（ｘ，ｔ）の結果が出ると、最後に、判定情報テーブル２２２からＴｍａｘ個の重みαtの値を読み出し（ステップＳ７７０）、式（４）により、強識別器Ｈ（Ｘ）の値を算出する（ステップＳ７８０）。
【００５７】
以上のような構成によると、評価処理部１１ｂは、画像２００が、この評価処理部１１ｂが設けられた印象ラベル判定部１１に設定されている印象ラベルに相当する印象を有するか否かを数値として算出することができる。上述のように弱識別器ｈ（ｘ，ｔ）は”１”か”−１”の値が出力されるため、判定結果出力部１４において、強識別器Ｈ（Ｘ）の値が正の値であれば当該印象を有し、０より小さい値であれば当該印象を有しないと判断することができる。あるいは、所定の閾値を設定し、この閾値以上の値であれば当該印象を有し、閾値より小さければ当該印象を有しないと判断することもできる。すなわち、この印象ラベル判定部１１においては、強識別器Ｈ（Ｘ）の値は、印象を有する／有しない（”１”か”−１”か）ではなく、Ｔｍａｘ個の弱識別器と重みαtとの積の総和（線形結合）であるため、判定結果出力部１４は、印象の近接度合いを数値として表現することが可能である。そのため、複数の印象ラベルが設定された印象ラベル判定部１１の各々の演算結果（Ｈ（Ｘ））を比較して、どの印象が最も強いのかというような比較や、順位付けも行うことが可能である。
【００５８】
なお、本実施形態における印象判定処理部１０において、判定結果出力部１４は、複数の印象ラベルのそれぞれに対応付けられた印象ラベル判定部１１からの判定結果（強識別器Ｈ（Ｘ）の値）から、最も大きな値をその画像の印象ラベル（印象）として表示するように構成することもできるし、所定の閾値以上の印象ラベルを出力するように構成することもできる。また、画像の印象ラベルを操作部等からユーザが選択できるように、印象ラベル判定部１１の選択部を設けることも可能である。また、以上の説明においては、印象ラベル判定部１１が学習処理部１１ａと評価処理部１１ｂとを有する場合について説明したが、本実施形態における印象ラベル判定部１１は、画像２００の印象判定だけを行うことができれば良いので、予め学習した結果が記憶された学習記憶部２２と評価処理部１１ｂとを有していれば、学習処理部１１ａ及び学習画像記憶部２１は省略可能である。
【００５９】
そして、以上のような印象判定処理部１０の判定結果出力部１４は判定結果から得られた印象ラベルを上述した印象決定部４０に出力する。印象決定部４０における処理は上述の通りである。
【００６０】
以上のように、印象判定処理部１０において、画像の印象を与えている部分領域と特徴量の部分ベクトルとを学習により特定し、それらの情報に基づいて識別器が構築され、そのような識別器によって、画像の印象ラベルの特定を行うことができる。そして、印象判定処理部１０において特定された画像の印象ラベルに合致した色により、画像の印象を強調して、表示装置３に画像を表示する際に、その印象が強調された画像として表示することができるので、ユーザが、視覚的に十分に楽しめ、かつ、満足度の高い、表示を行うことができる。また、上述の例では、印象ラベルに対応する色を画像上に表示する際に、その色が１色の場合について説明したが、２色以上の場合には、その２色以上の色を画面上に配置して、画像を強調する際に、グラデーション表示したり、格子状に配置したり、市松模様や、チェック状、千鳥格子状に配置したりしても良い。または、その２色以上の場合に、判定結果（強識別器Ｈ（Ｘ）の値）において最も大きな値の印象ラベルをメインのベース色として、その上に、模様等で他の色を配置するようにしてもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る画像表示装置の構成を示すブロック図である。
【図２】画像解析部の処理を示すフローチャートである。
【図３】印象ラベル関係定義記憶部に記憶されるテーブルのデータ構造を示すデータ構造図であって、（ａ）は印象ラベル定義テーブルを示し、（ｂ）は印象枠定義テーブルを示す。
【図４】画像の強化処理を行う際の枠色の配置を示す画面の模式図であって（ａ）画像の外周辺部領域に枠色を配置した例を示し、（ｂ）画像の外部周辺領域を除き、画像の表示されていない領域に枠色を配置した例を示し、（ｃ）画像の外周辺部領域と画像の表示されていない領域とに枠色を配置した例を示す。
【図５】印象判定処理部における判定部の構成を示すブロック図である。
【図６】上記判定部のうち、学習処理部における処理を示すフローチャートである。
【図７】学習画像記憶部のデータ構造を示すデータ構造図であって、（ａ）は学習画像記憶テーブルの構造を示し、（ｂ）は、印象ラベル記憶テーブルの構造を示す。
【図８】上記学習処理部において、弱識別器を構築する処理の詳細を示すフローチャートである。
【図９】上述の学習処理部における処理において、印象に影響を与える部分領域が特定される過程を示す説明図である。
【図１０】学習結果記憶部のデータ構造を示すデータ構造図であって、（ａ）は特徴量テーブルの構造を示し、（ｂ）は判定情報テーブルの構造を示す。
【図１１】上記判定部のうち、評価処理部における処理を示すフローチャートである。
【図１２】前処理格納データテーブルのデータ構造を示すデータ構造図。
【符号の説明】
【００６２】
１  コンピュータ    ３  表示装置    ２２  学習結果記憶部
３０  画像解析部
４１  印象ラベル関係定義記憶部（４１２  印象枠定義テーブル）
１００  画像表示装置
【図１】
2010026017.tif 000012
【図２】
2010026017.tif 000013
【図３】
2010026017.tif 000014
【図４】
2010026017.tif 000015
【図５】
2010026017.tif 000016
【図６】
2010026017.tif 000017
【図７】
2010026017.tif 000018
【図８】
2010026017.tif 000019
【図９】
2010026017.tif 000020
【図１０】
2010026017.tif 000021
【図１１】
2010026017.tif 000022
【図１２】
2010026017.tif 000023