(57)【要約】【課題】画像中から、ユーザの要求に応じて抽出すべき領域を適応的に変更することができ、ユーザの要求に合った注目領域を抽出することができる画像処理装置を提供する。【解決手段】画像を取得する画像入力部１１と、ユーザから、どのような領域を抽出したいかについて画像の属性に関する指示を、注目領域の抽出の条件として取得する指示入力部１２と、指示入力部１２が取得した指示に基づいて、画像中から抽出すべき領域を特定する領域特定部１３とを備えることを特徴とする。【選択図】図１
2006013722.tif 000002
【特許請求の範囲】
【請求項１】
画像中に含まれる所定の領域を抽出する画像処理装置であって、
前記抽出の条件として、前記画像の属性に関する指示情報を取得する指示取得手段と、
前記指示取得手段が取得した指示情報に基づいて、前記画像中から抽出すべき領域を特定する領域特定手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記指示取得手段は、前記取得した指示情報を解析し、
前記領域特定手段は、前記指示情報の解析結果に応じて、抽出すべき領域を変更する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域特定手段は、さらに、
前記画像に含まれる領域について、注目を集める度合いである注目度を算出する注目度判定部を備え、
前記注目度判定部で算出された注目度に応じて、抽出すべき領域を変更する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記注目度判定部は、さらに、
前記画像に含まれる領域について、その領域が有する特性である所定の画像特徴量を抽出する画像特徴量抽出部と、
前記画像特徴量に基づいて、前記注目度を算出する注目度算出部とを備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記所定の画像特徴量は、画像の各画素におけるエッジ成分の大きさである
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記所定の画像特徴量は、画像の周波数成分である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記所定の画像特徴量は、画像に含まれる所定の領域の色分布である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記所定の画像特徴量は、各画素の色成分と画像全体の平均色との色空間上における距離である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記所定の画像特徴量は、各画素の色成分と画像に含まれる所定の領域の平均色との距離である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記所定の画像特徴量は、画像に含まれる所定の領域における画素値のエントロピーである
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１１】
前記所定の画像特徴量は、各画素の奥行き方向の距離である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１２】
前記所定の画像特徴量は、画像に含まれる被写体の位置である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１３】
前記所定の画像特徴量は、画像に含まれる被写体の種類である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１４】
前記所定の画像特徴量は、画像の各画素におけるエッジ成分の大きさ、画像の周波数成分、画像に含まれる所定の領域の色分布、各画素の色成分と画像全体の平均色との色空間上における距離、各画素の色成分と画像に含まれる所定の領域の平均色との距離、画像に含まれる所定の領域における画素値のエントロピー、各画素の奥行き方向の距離、画像に含まれる被写体の位置、および、画像に含まれる被写体の種類のうち、いずれかの組み合わせである
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１５】
前記特徴量抽出部は、
前記指示取得手段が取得した指示情報に基づいて、抽出する画像特徴量の種類を変更する
ことを特徴とする請求項４〜１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記注目度算出部は、
前記画像特徴量の値に関するパラメータを変更することによって、前記抽出された画像特徴量の値ごとに、前記注目度の値を算出する
ことを特徴とする請求項４〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記注目度算出部は、
前記指示取得手段が取得した指示情報に基づいて、前記パラメータを変更する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記注目度算出部は、
前記画像特徴量の値を、前記注目度の値とする
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１９】
前記画像処理装置は、さらに、
前記画像に対して所定の変換を施す画像変換手段を備える
ことを特徴とする請求項３〜１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記所定の変換は、前記画像の拡大または縮小である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記所定の変換は、前記画像の一部を切り出すトリミングである
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２２】
前記所定の変換は、前記画像の回転である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２３】
前記所定の変換は、前記画像の色変換である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２４】
前記所定の変換は、前記画像の色補正である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２５】
前記所定の変換は、前記画像の輝度補正である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２６】
前記所定の変換は、前記画像の平滑化またはシャープネス処理である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２７】
前記所定の変換は、前記画像に含まれる被写体の輪郭抽出である
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２８】
前記所定の変換は、前記画像の拡大または縮小、前記画像の一部を切り出すトリミング、前記画像の回転、前記画像の色変換、前記画像の色補正、前記画像の輝度補正、前記画像の平滑化またはシャープネス処理、および、前記画像に含まれる被写体の輪郭抽出のうち、いずれかの組み合わせである
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２９】
前記画像変換手段は、
前記画像に、複数の異なる所定の変換を施して変換画像を生成し、
前記注目度判定部は、
複数の異なる変換画像のそれぞれについて、前記注目度を判定する
ことを特徴とする請求項１９〜２８のいずれか１項に記載の画像処理装置。
【請求項３０】
前記画像変換部は、
前記指示取得手段が取得した指示情報に基づいて、前記画像に施す変換の種類を変更する
ことを特徴とする請求項１９〜２９のいずれか１項に記載の画像処理装置。
【請求項３１】
前記領域特定手段は、さらに、
前記注目度判定部が算出した注目度に基づいて、前記抽出すべき領域を特定する注目領域決定部を備える
ことを特徴とする請求項３〜３０のいずれか１項に記載の画像処理装置。
【請求項３２】
前記注目領域決定部は、
前記算出された注目度が所定の閾値を超える画素すべてを包含する領域を、前記抽出すべき領域として特定する
ことを特徴とする請求項３１に記載の画像処理装置。
【請求項３３】
前記注目領域決定部は、
前記注目度の値が高い画素から降順に、所定の個数の画素を選択し、選択された画素をすべて包含する領域を、前記抽出すべき領域として特定する
ことを特徴とする請求項３１に記載の画像処理装置。
【請求項３４】
前記注目領域決定部は、
前記画像内の任意の位置に所定の大きさの領域を設定し、当該領域内における画素の注目度の総和が最大になる位置の領域を、前記抽出すべき領域として特定する
ことを特徴とする請求項３１に記載の画像処理装置。
【請求項３５】
前記注目領域決定部は、
前記指示取得手段が取得した指示情報に基づいて、前記抽出すべき領域を特定する手法を変更する
ことを特徴とする請求項３１〜３４のいずれか１項に記載の画像処理装置。
【請求項３６】
前記画像処理装置は、さらに、
前記抽出すべき領域を特定するための情報が記録されている領域特定データベースを備え、
前記注目領域決定部は、当該情報を参照して、前記抽出すべき領域を特定する
ことを特徴とする請求項３１〜３５のいずれか１項に記載の画像処理装置。
【請求項３７】
前記画像処理装置は、さらに、
前記注目領域決定部が特定した抽出すべき領域に関する情報を格納するための抽出領域データベースを備える
ことを特徴とする請求項３１〜３６のいずれか１項に記載の画像処理装置。
【請求項３８】
前記画像処理装置は、さらに、
前記画像特徴量を抽出するための情報が記録されている特徴量データベースを備え、
前記画像特徴量抽出部は、当該情報を参照して、前記画像特徴量を抽出する
ことを特徴とする請求項４〜３７のいずれか１項に記載の画像処理装置。
【請求項３９】
前記画像処理装置は、さらに、
前記注目度を算出するための情報が記録されている注目度算出データベースを備え、
前記注目度判定部は、当該情報を参照して、前記注目度を算出する
ことを特徴とする請求項４〜３８のいずれか１項に記載の画像処理装置。
【請求項４０】
前記画像処理装置は、さらに、
前記注目度判定部が算出した注目度の値を格納するための注目度データベースを備える
ことを特徴とする請求項３〜３９のいずれか１項に記載の画像処理装置。
【請求項４１】
前記画像処理装置は、さらに、
前記領域特定手段が特定した領域に関する情報に基づいて、前記画像を出力する出力手段を備える
ことを特徴とする請求項１〜４０のいずれか１項に記載の画像処理装置。
【請求項４２】
画像中に含まれる所定の領域を抽出する画像処理方法であって、
前記抽出の条件として、前記画像の属性に関する指示情報を取得する指示取得ステップと、
前記指示取得ステップにおいて取得した指示情報に基づいて、前記画像中から抽出すべき領域を特定する領域特定ステップとを含む
ことを特徴とする画像処理方法。
【請求項４３】
画像中に含まれる所定の領域を抽出する画像処理装置のためのプログラムであって、
前記抽出の条件として、前記画像の属性に関する指示情報を取得する指示取得ステップと、
前記指示取得ステップにおいて取得した指示情報に基づいて、前記画像中から抽出すべき領域を特定する領域特定ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項４４】
プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記抽出の条件として、前記画像の属性に関する指示情報を取得する指示取得ステップと、
前記指示取得ステップにおいて取得した指示情報に基づいて、前記画像中から抽出すべき領域を特定する領域特定ステップとをコンピュータに実行させるプログラムが記録されている
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して何らかの領域を設定する画像処理装置および方法に関するものであり、特に、ユーザやシステムの指示に応じて適応的に領域の位置や形状、表示方法などを制御する技術に関する。
【背景技術】
【０００２】
一般に、画像中から何らかの被写体がある領域や、他の部分に比べて色が大きく異なる領域など、人間の注目を集めやすい領域（以下、これを「注目領域」と称する。）を抽出することは、被写体の認識処理や、画像の効果的な表示など多くの画像処理において有効である。
【０００３】
従来、このような画像中から注目領域を抽出する手法として、例えば、特許文献１で開示されている手法がある。
この特許文献１で開示されている手法は、平滑化に利用する画素数の異なる２種類の平滑化フィルタを画像に適用し、生成される画像の差分を求めて画素値が正となる部分を注目領域に属する画素として抽出するというものである。
【特許文献１】特開２００２−１８３７１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１で開示されている手法は、濃淡画像にしか適用することができず、一般のカラー画像には適用できないという問題がある。
また、従来の領域抽出手法は、ある特定の特徴量を画像中から求め、その特徴量に基づいて、抽出する領域を決定するものである。そのため、領域の抽出に対して硬直的であり、ユーザやシステムの要求に対して適応的に対応することができないという問題もある。
【０００５】
そこで、本発明は、上記事由に鑑みて為されたものであり、その目的は、ユーザの要求に応じて画像の各部分に対する注目の度合いを判定する方法や、抽出する領域の決定方法を適応的に変更でき、ユーザの要求に合った注目領域を抽出することができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決し、上記目的を達成するために、本発明に係る画像処理装置は、画像中に含まれる所定の領域を抽出する画像処理装置であって、前記抽出の条件として、前記画像の属性に関する指示情報を取得する指示取得手段と、前記指示取得手段が取得した指示情報に基づいて、前記画像中から抽出すべき領域を特定する領域特定手段とを備えることを特徴とする。
【０００７】
これによって、ユーザやシステム側から、画像の属性に関する指示を、注目領域の抽出条件として取得し、その指示に基づいて画像中から注目領域とすべき領域を特定するので、ユーザやシステムの要求に合致した領域を抽出することができる。
【０００８】
ここで、前記指示取得手段は、前記取得した指示情報を解析し、前記領域特定手段は、前記指示情報の解析結果に応じて、抽出すべき領域を変更する。
この構成によれば、ユーザの指示した抽出条件に応じて、抽出すべき領域を適応的に変更することができる画像処理装置を実現することが可能となる。
【０００９】
また、前記領域特定手段は、さらに、前記画像に含まれる領域について、注目を集める度合いである注目度を算出する注目度判定部を備え、前記注目度判定部で算出された注目度に応じて、抽出すべき領域を変更するのが好ましく、前記注目度判定部は、さらに、前記画像に含まれる領域について、その領域が有する特性である所定の画像特徴量を抽出する画像特徴量抽出部と、前記画像特徴量に基づいて、前記注目度を算出する注目度算出部とを備えるのがより好ましい。
【００１０】
これによって、画像特徴量から注目度を算出し、画像中から注目度の高い領域を注目領域として抽出するので、ユーザのあいまいな要求に対しても適切に応答することができる。
【００１１】
なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な手段をステップとする画像処理方法として実現してもよく、それらのステップをパソコンなどのコンピュータで実現させるためのプログラムとして実現してもよい。また、そのようなプログラムをＣＤ−ＲＯＭなどの記録媒体や、インターネットに代表される通信媒体を通じて配信できることは言うまでもない。
【発明の効果】
【００１２】
以上説明したように、本発明に係る画像処理装置によれば、ユーザやシステム側からの指示に基づいて、抽出すべき領域を検索するので、画像中からユーザやシステムの要求に合致した注目領域を自動で取得することができる。
【００１３】
また、注目領域を意識した画像の表示を行なうので、画像をそのまま見せるよりも、より印象的な効果をユーザに与えることができる。
さらに、注目領域の抽出に関する指示情報として、被写体に関する情報を入力することで、被写体が存在する付近の領域を注目領域として抽出できる。これによって、被写体を認識して表示させる際に、画像中の探索すべき領域を絞り込むことができ、被写体を抽出する精度および速度双方の向上が期待できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態）
まず、本発明の実施の形態に係る画像処理装置について説明する。
【００１５】
図１は、本実施の形態に係る画像処理装置１０の機能ブロック図である。
この画像処理装置１０は、画像を装置内に取り込んで、取り込んだ画像に含まれる注目領域をユーザやシステムの要求に適応させて抽出する装置であり、画像入力部１１、指示入力部１２、領域特定部１３、画像変換部１７、データベース１８および出力部２０を備える。
【００１６】
画像入力部１１は、注目領域の抽出を行なう画像を装置内に取り込むための入力インタフェースであり、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ(Institute of Electrical and Electronic Engineers)１３９４等のインタフェースによって実現される。
【００１７】
ここで、装置内に取り込まれる画像は、特に制限はなく、デジタル・スチル・カメラなどの撮像装置で撮影した画像や、スキャナなどの画像読取装置から得られた画像、コンピュータ・グラフィック（ＣＧ）画像、記録媒体に記録されている画像データなどのいずれであってもよい。なお、記録媒体の例としては、フレキシブルディスクやハードディスク、磁気テープなどの磁気メディア、ＣＤ−ＲＯＭ／Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ／ＲＡＭなどの光メディア、ＳＤメモリカード（登録商標）、コンパクトフラッシュ（登録商標）メモリカードに代表される半導体メモリメディア等が挙げられる。
【００１８】
また、装置内に取り込まれる画像の被写体についても特に制限はない。例えば、人の顔を被写体とする顔画像や、風景を被写体とする風景画像などのいずれであってもよい。
指示入力部１２は、取り込んだ画像からどのような領域を抽出したいかという抽出条件である指示情報を、キーボードやマウス等の入力インタフェースを介してユーザから取得する。そして、指示入力部１２は、取得した指示情報に基づいて、後述する領域特定部１３、画像変換部１７、ならびに注目領域決定部１９の動作を制御する。
【００１９】
ここで、ユーザから取得する指示情報は、例えば「人の顔が写っている部分」や「手前に写っている部分」などの被写体に関する情報や、例えば「赤っぽい部分」や「派手な部分」などの画像が有する印象に関する情報のような画像の属性に関する情報である。また、ユーザから取得する指示情報は、抽出する領域の個数や大きさ、形状などの、領域の表示方法に関する情報等、あるいは、例えば「旅行の写真からサムネイル（一覧表示のための縮小版画像）を作成する」や「人が写っている部分だけを切り出す」など、ユーザが行いたい処理に関する情報であってもよい。
【００２０】
なお、ユーザから取得する指示情報は、これらの例に限るものではなく、任意の情報を用いることができる。また、ユーザから取得する指示情報は、１種類だけであってもよく、複数の情報を取得してもよい。
【００２１】
ここで、指示入力部１２は、キーボードやマウス等の入力インタフェースを介してユーザから指示情報を取得する動作を、省略するとしてもよい。この場合、指示入力部１２は、あらかじめ定められた方法で注目領域を自動的に決定し、その決定に基づいて、領域特定部１３、画像変換部１７、ならびに注目領域決定部１９の動作を制御する。
【００２２】
領域特定部１３は、画像入力部１１が装置内に取り込んだ画像（入力画像）の中から、指示入力部１２から出力される指示情報に従って、所定の算出式に基づいて画像内の領域を特定し、抽出する処理部であり、注目度判定部１４と、注目領域決定部１９とを備える。なお、領域特定部１３が抽出する領域は、１枚の画像に対して１つであっても、複数であってもよい。
【００２３】
注目度判定部１４は、入力画像の中から、指示入力部１２から出力される指示情報に従って、画像内のどの部分がどの程度注目を集めやすいかを表す注目度を求める処理部であり、さらに、画像特徴量抽出部１５と注目度算出部１６とを備える。なお、注目度判定部１４が注目度を求める単位は、入力画像の画素ごとであってもよいし、複数の画素をまとめたブロックごとであってもよい。
【００２４】
画像特徴量抽出部１５は、入力画像に対して注目度の指標となる画像の特徴量を求める。
ここで、画像特徴量抽出部１５が求める特徴量の例としては、各画素のエッジ成分の強さ、各ブロックに対する離散コサイン変換（ＤＣＴ）もしくはＤＣＴに類する変換の係数、ウェーブレット変換の係数、画像のカラーヒストグラム、各画素の色成分と画像全体もしくは画像の小領域における平均の色成分との距離、画像の小領域における画素値のエントロピー、各画素の奥行き方向の距離、画像内の被写体の位置および種類などによって取得できる任意の特徴量が挙げられる。
【００２５】
なお、求める特徴量は、一種類であって、複数であってもよく、画像特徴量抽出部１５は、指示入力部１２から出力される指示情報に従って、求める特徴量の種類、および特徴量を求める際のパラメータを決定するとしてもよい。
【００２６】
例えば、図２（ａ）に示すような赤いリンゴと橙色のミカンが写っている画像において、指定された色と各画素との色空間上における距離の逆数を、注目度として求めるものとする。指示入力部１２でユーザが赤色を指定した場合、リンゴが写っている付近の画素が、色空間上における距離が近い（指定された色に近似する）ので、この領域に高い注目度が割り振られ、結果として図２（ｂ）に示すような領域を得ることができる。同様に、指示入力部１２でユーザが橙色を指定した場合、ミカンが写っている付近の画素が、色空間上における距離が近い（指定された色に近似する）ので、この領域に高い注目度が割り振られ、結果として図２（ｃ）に示すような領域を得ることができる。
【００２７】
注目度算出部１６は、画像特徴量抽出部１４で求められた特徴量に基づいて、注目度を決定する。注目度算出部１６で注目度を決定する算出式は、下記の数式１のように表すことができる。
【００２８】
（数１）
Ｉ＝ｆ（Ｆ１、Ｆ２、・・・、Ｆｎ、Ｐ１、Ｐ２、・・・、Ｐｍ）
【００２９】
この数式１は、注目度Ｉがｎ個の特徴量Ｆ１、Ｆ２、・・・、Ｆｎ、およびｍ個のパラメータＰ１、Ｐ２、・・・、Ｐｍを引数とする関数で記述できることを意味する。パラメータを変更することにより、同じ特徴量の値に対して異なる注目度の値を割り振ることが可能となる。
【００３０】
例えば、パラメータとして特定の点の位置を与え、この点から遠ざかるにつれて注目度を減衰させることによって、この点の周りに相対的に高い注目度の値を割り振ることができる。このようにすることで、例えばポートレート写真などの大まかな構図が決まっている画像に対して、より適切な注目領域の抽出を行なうことができる。
【００３１】
また、あらかじめ決められた画像のカテゴリをパラメータとして与えることで、そのカテゴリにおいて有効な特徴量、あるいはその他のパラメータを選択することができる。例えば、ポートレート写真では顔の辺りを注目度減衰の中心点とすることで、顔の辺りにより高い注目度の値を割り振ることができる。
【００３２】
なお、上記の数式１は、下記の数式２のようにパラメータを省略することもできる。この場合、注目度は、同じ特徴量の値に対して一意に決定されることになる。
【００３３】
（数２）
Ｉ＝ｆ（Ｆ１、Ｆ２、・・・Ｆｎ）
【００３４】
なお、注目度算出部１６は、指示入力部１２から出力される指示情報に従って、画像特徴量抽出部１５で求めた特徴量のうち注目度の算出に用いる特徴量を決定するとしてもよく、パラメータの値を決定するとしてもよい。
【００３５】
ここで、注目度判定部１４は、注目度算出部１６を省略して構成することもできる。この場合、注目度判定部１４は、画像特徴量抽出部１５で得られた特徴量の値そのものを注目度として、注目領域決定部１９へ出力することになる。
【００３６】
注目領域決定部１９は、注目度判定部１４で求められた注目度から、入力画像のどの部分をどのような形で表示するか、すなわち、注目領域を決定する処理部である。この注目領域決定部１９における注目領域の決定方法について、図３〜図６を用いて、以下説明する。
【００３７】
例えば、図３（ａ）に示すような入力画像について、注目度があらかじめ定められた閾値Ｔｈを超える画素すべてを包含する矩形領域を、注目領域とすることが考えられる。すなわち、図３（ｂ）に示すように、閾値Ｔｈを超える画素（内部が斜線で示されている円）が５箇所存在する場合、図３（ｃ）に示すような注目領域が得られることになる。
【００３８】
なお、ここでは、注目領域の形状を矩形としたが、円形や楕円形など、その他の任意の形状であってもよい。また、閾値Ｔｈは、パラメータとして変更可能であり、これによって注目領域決定部１８で得られる注目領域の形状を変更することが可能となる。
【００３９】
また、注目領域の決定方法として、図４（ａ）に示すような入力画像について、例えば入力画像全体の１／４の大きさなどといった、ある一定の大きさの領域を考え、その内部の画素の注目度が最大になる位置を、注目領域の位置とすることも考えられる。すなわち、図４（ｂ）に示すように、所定の大きさの領域を設定し、その領域を破線で示す矢印の方向に移動させて、注目度の和を順次算出する。そして、注目度の和が最大となる位置を注目領域に決定する。この決定方法によって得られる注目領域の例を図４（ｃ）に示す。
【００４０】
さらに、注目領域の決定方法として、図５（ａ）に示すような入力画像について、例えば、注目度の高い画素のそれぞれから一定範囲内の領域を選び、その和集合を注目領域とすることも考えられる。すなわち、図５（ｂ）に示すように、注目度の高い画素（内部が斜線で示されている円）が５箇所存在する場合、それぞれの画素を中心とした所定の範囲内の領域の和集合を注目領域とすれば、図５（ｃ）に示すような注目領域を得ることができる。
【００４１】
また、その他の注目領域の決定方法として、注目度が上位ｎ番以内の画素を包含する領域を注目領域とすることも考えられる。
続いて、注目領域決定部１９における注目領域の表示方法について、以下説明する。
【００４２】
例えば、注目領域の表示方法として、図３（ｃ）に示したように、注目領域の内部のみを表示する方法が挙げられる。このような表示方法とすることで、画像の注目領域をより強調した表示が可能となる。
【００４３】
また、その他の注目領域の表示方法として、注目度の高い部分ほど明るく表示する等のように、画素の注目度の値に応じた表示を行なう方法や、注目領域の内部あるいは外部にのみ平滑化や色変換等の画像処理を施して画像を表示したり、注目領域の内部と外部とで異なる画像処理を施して画像を表示したりする方法や、注目領域に向かってズームインしたり、注目領域を切り出して別の画像に合成したり、画像に視覚効果を与える手法、または、これらの手法の組み合わせ等が考えられる。
【００４４】
ここで、注目領域決定部１９は、指示入力部１２から出力される指示情報に従って、注目領域の決定方法および表示方法を決定するとしてもよい。
例えば、図６（ａ）に示すように、入力画像に対して注目度を算出した結果、特に注目度の高い点として同図に示すＡ〜Ｅが得られ、各点の注目度が順にＩ（Ａ）＝１２０、Ｉ（Ｂ）＝１０５、Ｉ（Ｃ）＝９５、Ｉ（Ｄ）＝７０、Ｉ（Ｅ）＝５５であるとする。また、注目領域の決定方法が「注目度が閾値Ｔｈ以上の点を包含する矩形領域を選択する」であるとする。ここで、指示入力部１２でユーザが閾値Ｔｈを１００に設定した場合、図６（ｂ）のようにＡ、Ｂの２点を包含する矩形領域が、注目領域として得られる。同様に、閾値Ｔｈを５０に設定した場合、図６（ｃ）のようにＡ〜Ｅをすべて包含する矩形領域が注目領域として得られることになる。
【００４５】
再び、画像処理装置１０の構成の説明を続ける。
画像変換部１７は、入力画像に対して所定の変換処理を施す処理部である。この画像変換部１７は、い、注目度判定部１４における処理を精度よく、または、効率よく行なうために、入力画像に対して所定の変換処理を行ない、変換後の画像である変換画像を領域特定部１３に出力する。
【００４６】
ここで、入力画像に施される変換の方法としては、拡大または縮小、トリミング、回転、色変換、色補正、輝度補正、平滑化・シャープネス処理、輪郭抽出などの変換処理、およびそれらの組み合わせがある。
【００４７】
なお、画像変換部１７による変換の結果は、入力画像に上書きしてもよく、入力画像とは別個に変換画像として記憶してもよい。また、１枚の入力画像に対して複数の異なる変換処理を施し、それぞれ異なる複数の変換画像を得るとしてもよい。このように複数の変換画像から特徴量を抽出することで、１枚の入力画像からより多くの情報を得ることができるようになる。
【００４８】
例えば、入力画像を複数の解像度で縮小して変換画像を生成し、それぞれの変換画像のエッジ強度を特徴量として求める場合を考える。この場合、より縮小率の小さい変換画像からは、より大局的に見た場合のエッジ強度が得られると考えられる。このようにすることで、単一の特徴量抽出手段を用いても意味合いの異なる複数の特徴量を得ることができるので、結果としてより多くの情報を注目領域の設定に利用することができる。
【００４９】
なお、それぞれの変換画像から抽出する特徴量は同じであってもよく、異なるものであってもよい。例えば、入力画像に輪郭抽出を施して得られる変換画像と、注目する被写体の色を強調するような変換を施して得られる変換画像とを利用することで、被写体の形状および色に関する情報をそれぞれの変換画像から取得することができ、それぞれの特徴量を単独で利用する場合に比べてより高い確度で被写体を含む領域を注目領域として設定することができる。
【００５０】
データベース１８は、被写体の種類に関する情報や、画像特徴量を求めるための情報などの、注目領域を特定する処理に用いられる情報を格納しておくためのデータベースであり、ハードディスク等の記憶装置によって実現される。
【００５１】
画像処理装置１０がデータベース１８を有することで、例えば、画像特徴量抽出部１５がデータベース１８に記録されている被写体の種類に関する情報に基づいて、画像内の被写体を特定し、特徴量を求めることができるようになる。また、データベース１８にその他の画像特徴量を求めるための情報を記録しておき、その情報に基づいて画像特徴量を求めるとしてもよい。
【００５２】
また、画像処理装置１０は、このデータベース１８に、指示入力部１２から出力される指示情報に対して、画像特徴量抽出部１５で求める特徴量の種類や注目度算出部１５のパラメータなどの、注目度判定部１４の動作を制御する情報を記録してもよく、注目領域決定部１９の動作を制御する情報を記録してもよい。さらに、このデータベース１８に、注目度判定部１４で求めた注目度や、注目領域決定部１９で求めた注目領域情報を記録するとしてもよい。
【００５３】
出力部２０は、注目領域決定部１９で得られた注目領域及びその表示方法に従って、ユーザに提示するためのデバイスに、画像を出力するインタフェースである。ここで、出力部２０の出力先となるデバイスは、ＣＲＴやＬＣＤなどの表示装置、あるいは、プリンタなどの印刷装置などのいずれであってもよい。
【００５４】
このように構成される画像処理装置１０の処理動作について、以下説明する。
図７は、画像処理装置１０がユーザーの要求に応じて適応的に領域を選択するための処理の流れを示すフローチャートである。
【００５５】
まず、画像処理装置１０は、画像入力部１１を介して、注目領域を抽出する画像を装置内に取り込み（ステップＳ１００）、指示入力部１２を介して、入力画像に対するユーザからの指示情報を取得する（ステップＳ１０１）。ここでは、「旅行に行ったときの写真からサムネイルを作成するために注目領域を取得する」という指示情報を取得した場合を、例に挙げて説明する。なお、指示情報の種類は、上記の例に限られるものではなく、ユーザが行いたい処理などに対する一般的な要求を指示情報として扱うことができる。
【００５６】
次に、画像処理装置１０は、指示入力部１２において、入力された指示情報を解析し、具体的にどのような領域を抽出するかを決定する（ステップＳ１０２）。例えば、上記の例では、「大きさが原画像のおよそ１／２で、かつ人が写っている可能性が高いと思われる領域」が抽出するべき目標領域として決定されると考えられる。なお、ここに挙げた指示情報と実際に抽出する領域との対応は、一例であり、同種の指示情報に対して異なる目標領域を設定してもよい。
【００５７】
ここで、ステップＳ１０２で指示情報を解析する代わりに、ステップＳ１０１で直接「大きさが原画像のおよそ１／２で、かつ人が写っている可能性が高いと思われる領域」などの、どのような領域を抽出するかに関する情報をユーザから取得してもよい。この場合、ステップＳ１０２を省略することが可能となる。
【００５８】
続いて、画像処理装置１０は、目標領域の情報に従って、後述する各種処理の実際の内容、およびパラメータを設定する（ステップＳ１０３）。パラメータの設定方法として、例えば以下に示す（１）〜（３）の方法が挙げられる。
（１）あらかじめ決められた初期値を設定する
（２）目標の達成度を設定するパラメータの関数として表現し、達成度が最大になるパラメータの値を設定する
（３）データベースから似たような画像に対する抽出結果を参照し、その時のパラメータを設定する
なお、パラメータの設定方法は上記の例に限るものではなく、その他の手法を用いることも可能である。
【００５９】
そして、画像処理装置１０は、ステップＳ１０３で設定された結果に従い、注目領域を決定するための処理を行なう。
まず、画像処理装置１０は、画像変換部１７において、前処理として画像変換処理を施す（ステップＳ１０４）。画像変換の内容については、上述した画像変換部１７に関する説明で記載しているので、ここでは説明を省略する。
【００６０】
次に、画像処理装置１０は、注目度判定部１４において、変換画像に対して、注目度を求める（ステップＳ１０５）。ここでの処理の詳細は、先述の注目度判定部１４に関する説明に記載しているので、ここでは省略する。
【００６１】
その後、画像処理装置１０は、注目領域決定部１９において、得られた注目度に基づいて、注目領域と考えられる注目領域候補を抽出する（ステップＳ１０６）。ここでの処理の詳細は、先述の注目領域決定部１９に関する説明に記載しているので、ここでは省略する。
【００６２】
ここで、画像処理装置１０は、領域特定部１３において、以上のようにして得られた注目領域候補がステップＳ１０２で設定された目標領域の条件を満たすかを判定する（ステップＳ１０７）。
【００６３】
このステップＳ１０７における判定方法としては、以下のような方法が挙げられる。上記の例では、目標領域は「大きさが原画像のおよそ１／２で、かつ人が写っている可能性が高いと思われる領域」なので、以下の２点を判定すればよい。
（１）注目領域候補の大きさ
（２）注目領域候補内の画素のうち、肌色と判定される画素の割合
なお、ここに示した目標領域に対する判定項目は一例であり、その他の基準で判定を行ってもよい。
【００６４】
また、パラメータの再設定の方法としては、以下のような方法が挙げられる。
（１）パラメータを増加、減少の一方向に順に変化させる
（２）目標の達成度をパラメータの関数で表現し、最適化計算の要領で達成度が増加する方向にパラメータを変化させる
なお、ここに示したパラメータの再設定の方法も同様に、この例に限られるものではなく、その他の手法を用いることが可能である。
【００６５】
ステップＳ１０７における判定の結果、条件を満たす場合（ステップＳ１０７のＹｅｓ）、画像処理装置１０は、注目領域決定部１９が抽出した注目領域候補を、注目領域に決定し（ステップＳ１０８）、処理動作を終了する。
【００６６】
一方、条件を満たさない場合（ステップＳ１０７のＮｏ）、画像処理装置１０は、再度ステップＳ１０３に戻ってパラメータの再設定を行なう。ここで、画像処理装置１０は、パラメータの再設定の回数に応じて、ステップＳ１０３ではなく、ステップＳ１０１に戻って、再度ユーザから指示情報の取得を行なうとしてもよい。
【００６７】
続いて、本発明の実施の形態に係る画像入力装置１０の応用例について説明する。
図８は、本実施の形態に係る画像処理装置１０の代表的な構成を示すブロック図であり、図９は、上記構成の画像処理装置１０の処理動作を示すフローチャートである。
【００６８】
まず、画像処理装置１０は、画像入力部１１を介して、注目領域を抽出する画像を装置内に取り込む（ステップＳ２００）。このとき、画像処理装置１０は、変換画像、ならびに変換画像から抽出される特徴量を特定するカウンタｋを「１」に初期化する（ステップＳ２０１）。
【００６９】
次に、画像処理装置１０は、指示入力部１２を介して、入力画像に対するユーザからの指示情報を取得し、解析する（ステップＳ２０２）。指示情報には、抽出する画像特徴量、ないしは注目度の選択に関わるものと、注目領域の決定および表示方法に関わるものがある。例えば、前者の情報として「人の顔が写っている部分」、「丸い物が写っている部分」、「赤っぽい部分」、「青っぽい部分」、「緑っぽい部分」、「明るい部分」、「暗い部分」、「派手な部分」、「落ち着いた部分」などが、後者の情報として「注目度が最大値の２５％以上の画素が注目領域に属する」、「矩形の領域を選択する」、「注目度が高い部分を明るく表示する」などが選択できる。
【００７０】
なお、ユーザから取得する情報は、「旅行の写真からサムネイル（一覧表示のための縮小版画像）を作成する」や「人が写っている部分だけを切り出す」など、ユーザが行いたい処理に関する情報であってもよく、また、これらの例に限られるものではなく、任意の情報を用いることができ、ユーザから取得する情報は、１種類だけであってもよく、複数の情報を取得してもよい。
【００７１】
ここで、画像処理装置１０が、ユーザから指示情報を取得するために表示出力するユーザインタフェース画面の例を、図１０〜１３に示す。
図１０は、ユーザインタフェース画面の第１例を示す図である。
【００７２】
画像表示装置１０は、図１０に示すような表示画面２１０を表示装置に出力して、ユーザから領域抽出モードの指定を受け付ける。ここで、領域抽出モードとは、注目領域の抽出の手法を意味し、図中の証明写真モードであれば、ユーザから詳細な指示情報を取得することなく、人の顔付近を注目度が高い領域として抽出することになる。ここでは、ユーザから詳細な指示情報を取得するマニュアルモードが選択されている様子が示されているので、ユーザが次ページボタン２１１を押下する操作を行なうと、画像表示装置１０は、図１１に示すような画面に表示を切り替える。
【００７３】
図１１は、ユーザインタフェース画面の第２例を示す図である。
画像表示装置１０は、図１１に示すような表示画面２２０を表示装置に出力して、画像に含まれる被写体の何に注目するか、すなわち、何を注目領域とするかについて、ユーザからの指定を受け付ける。ここでは、ユーザから、「色鮮やかなところ」という指示がテキスト入力されている様子が示されており、ユーザが次ページボタン２２１を押下する操作を行なうと、画像表示装置１０は、図１２に示すような画面に表示を切り替える。
【００７４】
図１２は、ユーザインタフェース画面の第３例を示す図である。
画像表示装置１０は、図１２に示すような表示画面２３０を表示装置に出力して、ユーザから注目領域の抽出方法について指定を受け付ける。ここでは、ユーザから、「よく見えるように」という指示がテキスト入力されている様子が示されており、ユーザが次ページボタン２３１を押下する操作を行なうと、画像表示装置１０は、図１３に示すような画面に表示を切り替える。
【００７５】
図１３は、ユーザインタフェース画面の第４例を示す図である。
画像表示装置１０は、図１３に示すような表示画面２４０を表示装置に出力して、ユーザから注目領域の表示方法について指定を受け付ける。ここでは、ユーザから、「強調されるように」という指示がテキスト入力されている様子が示されている。そして、ユーザが領域抽出ボタン２４１を押下する操作を行なうと、画像表示装置１０は、ユーザの指示情報を解析して、図９に示したステップＳ２０３の処理を行なう。
【００７６】
なお、ここに示したユーザインタフェース画面の表示例は、表示の一例に過ぎず、これらに限定されることを意図するものでないことはいうまでもない。
以下、再び図９を参照しながら図８に示した構成の画像処理装置１０の処理動作の説明を続ける。
【００７７】
画像処理装置１０は、ステップＳ２０２で解析した結果に基づいて、後述する各種処理の実際の内容、およびパラメータを設定する（ステップＳ２０３）。パラメータの設定方法として、例えば、以下の方法が挙げられる。
（１）あらかじめ決められた初期値を設定する
（２）目標の達成度を設定するパラメータの関数として表現し、達成度が最大になるパラメータの値を設定する
（３）データベース１８から入力画像に似たような画像に対する抽出結果を参照し、その時のパラメータを設定する
なお、パラメータの設定方法は上記の例に限るものではなく、その他の手法を用いることも可能である。
【００７８】
続いて、画像処理装置１０は、画像変換部１７において、入力画像から変換画像を生成する（ステップＳ２０４）。画像変換として、例えば以下のような変換を行なう。
（ａ）入力画像のＲＧＢ成分のうち、Ｒ成分のみからなる画像を生成する。同様に、Ｇ成分のみからなる画像、Ｂ成分のみからなる画像を生成する。
（ｂ）入力画像の輝度成分のみからなる画像を生成する。輝度成分Ｙは、下に示す数式３で求められる。
【００７９】
（数３）
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ
【００８０】
（ｃ）入力画像を２＊２、４＊４などの小領域に分割し、領域内の各画素の画素値を、領域内の全画素の画素値の平均値に置き換えた画像を生成する。
（ｄ）画像全体に平滑化フィルタを適用した画像を生成する。ここで、平滑化フィルタとして、例えば３＊３平均値フィルタを適用することができる。３＊３平均値フィルタでは、注目画素の画素値を決定する際に、下に示す表１のように、自身の近傍の画素値を加重平均して注目画素の新たな画素値を決定する。
【００８１】
【表１】
2006013722.tif 000003
【００８２】
なお、その他の一般に広く知られている平滑化フィルタの例としては、ガウシアンフィルタ(Gaussian Filter)やメディアンフィルタ(Median Filter)等がある。
（ｅ）入力画像の解像度を変換する。
【００８３】
なお、画像変換部１７は、上記した（ａ）〜（ｅ）の変換方法以外にも、既存の画像処理手法を、画像変換に用いるとしてもよく、ステップＳ１０２で入力された指示情報に従って、画像変換を行なうとしてもよい。
【００８４】
画像変換部１７は、これらの処理を、カウンタｋの値が予め定められた変換画像の枚数ｎに達するまでカウンタｋをインクリメントしながら繰り返す（ステップＳ２０５およびステップＳ２０６）。
【００８５】
続いて、画像処理装置１０は、画像特徴量抽出部１５において、再びカウンタｋの値を「１」に初期化し（ステップＳ２０７）、生成したｎ枚の変換画像からそれぞれ画像特徴量を求める（ステップＳ２０８）。ここで、画像特徴量抽出部１５は、特徴量として、例えば以下のものを求める。
（ａ）入力画像のＲ成分のみからなる画像に対して、画像のエッジ成分を求める。Ｇ成分のみからなる画像およびＢ成分のみからなる画像に対しても同様にエッジ成分を求める。エッジ成分を求める方法として、例えば３＊３ラプラシアンフィルタ(Laplacian Filter)を適用することができる。３＊３ラプラシアンフィルタでは、注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を下に示す表２ａまたは表２ｂのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。
【００８６】
【表２ａ】
2006013722.tif 000004
【００８７】
【表２ｂ】
2006013722.tif 000005
【００８８】
なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ(Sobel Filter)やプレウィットフィルタ(Prewitt Filter)等のフィルタを適用する方法や、ウェーブレット変換(Wavelet Transform)を利用する方法等がある。
（ｂ）入力画像の輝度成分からなる画像に対して、（ａ）と同様にしてエッジ成分を求める。
（ｃ）入力画像を８＊８のブロックに分割し、各ブロックに対して離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を行なう。
（ｄ）入力画像の各画素に対して、特定の色の画素値とのユークリッド距離を求める。
（ｅ）入力画像をいくつかの小領域に分け、各領域に属する画素のＲＧＢ値の度数分布を表すカラーヒストグラムを求める。なお、ステップＳ１０３で、例えばＨＳＶ表色系やＨＳＩ表色系など、他の色空間への変換を行い、それらの画素値に対するカラーヒストグラムを求めてもよい。
（ｆ）入力画像全体に対して、例えば顔などの被写体のテンプレートとのマッチングを行い、そのマッチングの度合いを示すスコアを求める。
【００８９】
なお、画像特徴量抽出部１５は、上記した（ａ）〜（ｆ）の画像特徴量抽出方法以外に、既存の画像特徴量抽出手法を用いて、入力画像の特徴量を抽出するとしても良い。また、入力画像に対してこれらの特徴量のすべてを求めてもよく、ステップＳ２０２で入力された指示情報に基づき、必要な特徴量のみを求めてもよい。
【００９０】
画像特徴量抽出部１５は、ステップＳ２０４と同様に、これらの処理を、カウンタｋの値が変換画像の枚数ｎに達するまでカウンタｋをインクリメントしながら繰り返す（ステップＳ２０９およびステップＳ２１０）。
【００９１】
続いて、画像処理装置１０は、注目度算出部１６において、このようにして求めた画像特徴量と、ステップＳ２０２で取得した指示情報とに基づいて、注目度を算出する（ステップＳ２１１）。
【００９２】
例えば、指示情報が「赤っぽい部分」であった場合、先述の画像特徴量の中から、（１）各画素の画素値と、（Ｒ、Ｇ、Ｂ）＝（２５５、０、０）で表される赤色との距離、（２）入力画像のＲ成分のエッジ強度、を利用することで、赤色成分の変化が大きく、かつ実際に赤色に近い部分に対して高い注目度を割り当てることができる。
【００９３】
同様に、指示情報が「派手な部分」であった場合、画像特徴量として、（１）８＊８ブロックにおけるＤＣＴ係数の高周波成分、（２）入力画像の輝度成分のエッジ強度、（３）各画素のＨＳＶ表色系における彩度値、を利用することで、色・輝度の変化が激しく、かつ、色が鮮やかな部分に対して高い注目度を割り当てることができる。
【００９４】
なお、ここに挙げた指示情報と画像特徴量との対応関係は一例であり、同様の指示情報に対して異なる画像特徴量を利用することもできる。
ここで、指示情報の中に注目度の算出に関わる情報が含まれていない場合には、注目度算出部１６は、例えば各画像特徴量の値をそれぞれ足し合わせて注目度とする等の所定の方法に従って注目度を求める。
【００９５】
その後、画像処理装置１０は、注目領域決定部１９において、ステップＳ２１１で求めた注目度に基づいて、画像のどの領域を注目領域とするか、すなわち、注目領域候補を抽出する（ステップＳ２１２）。
【００９６】
例えば、注目領域候補の決定方法として、以下のような方法が挙げられる。
まず、各画素に割り当てられた注目度の最大値をＳＭａｘとし、閾値Ｔｈを決める。ただし、０≦Ｔｈ≦１とする。
【００９７】
次に、各画素の注目度Ｓとした時、下記の数式４の関係が成り立つ画素を注目領域に属する画素と判定する。
【００９８】
（数４）
Ｓ≧ＳＭａｘ  ＊  Ｔｈ
【００９９】
そして、注目領域に属する画素と判定された画素全体を包含する矩形全体を注目領域候補として抽出する。
【０１００】
この抽出方法の動作を模式的に示した図が、上記した図３（ａ）〜（ｃ）である。すなわち、図３（ａ）に原画像、図３（ｂ）に注目領域候補の設定例、図３（ｃ）に設定された注目領域候補の内部のみが表示されている例が示されている。
【０１０１】
また、注目領域決定部１９は、以下のようにして注目領域候補を抽出することも可能である。
すなわち、各画素に割り当てられた注目度の最大値をＳＭａｘとし、閾値Ｔｈを決める。ただし、０≦Ｔｈ≦１とする。
【０１０２】
次に、各画素の注目度Ｓとした時、上記数式４の関係が成り立つ画素を注目領域に属する画素と判定する。
そして、注目領域に属する画素と判定された各画素を中心に半径ｒの円を描き、いずれかの円に属する画素を注目領域候補として抽出する。
【０１０３】
この抽出方法の動作を模式的に示した図が、上記した図５（ａ）〜（ｃ）である。すなわち、図５（ａ）に原画像、図５（ｂ）に注目領域候補の設定例、図５（ｃ）に、最終的に選択される注目領域候補が表示されている例が示されている。
【０１０４】
なお、注目領域決定部１９は、ステップＳ２０２で入力された指示情報に従って、注目領域候補の抽出方法や、画像の表示方法を変更してもよい。例えば指示情報が「注目度の高い画素ほど明るく表示する」であった場合、注目度の高い画素の近傍ほど明度が高くなるように表示することで、より印象的な表示が可能になる。
【０１０５】
その後、画像表示装置１０は、注目領域決定部１９において、ステップＳ２１２で得られた注目領域候補が、ユーザの要求を満足しているか、すなわち、希望の領域が得られたか否かを判定する（Ｓ２１３）。
【０１０６】
希望の領域が得られた場合（ステップＳ２１３のＹｅｓ）、注目領域決定部１９は、注目領域候補を注目領域に決定し（Ｓ２１４）、処理動作を終了する。
一方、希望の領域が得られなかった場合（ステップＳ２１３のＮｏ）、ステップＳ２０３に戻って再度パラメータの設定を行なう。
【０１０７】
パラメータの再設定の方法としては、例えば以下のような方法が挙げられる。
（１）パラメータを増加、減少の一方向に順に変化させる
（２）目標の達成度をパラメータの関数で表現し、最適化計算の要領で達成度が増加する方向にパラメータを変化させる
なお、パラメータの再設定の方法は上記の例に限るものではなく、その他の手法を用いることも可能である。
【０１０８】
このように、本実施の形態に係る画像表示装置によれば、ユーザやシステム側から注目領域に関する指示を取得して解析し、その指示に基づいて、画像中から注目領域とすべき領域を特定して抽出するので、ユーザやシステムの要求に合致した注目領域を抽出することができる。
【０１０９】
また、ユーザは、抽出すべき領域の決定方法を、適応的に変更することができるので、画像中から柔軟に注目領域を取得することが可能となる。
さらに、画像特徴量から注目度を算出して注目領域を決定するので、ユーザの曖昧な要求に対しても適切に応答することができる。
【０１１０】
以上、本発明に係る画像処理装置について実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記実施の形態では、注目領域決定部１９において、注目領域の形状に加えて、その表示方法も決定するとしたが、出力部２０で注目領域の表示方法を決定するとしてもよい。
【０１１１】
また、画像処理装置１０の処理動作として、図９に示したフローチャートを説明したが、図１４に示すフローチャートのようにしてもよい。すなわち、図９のフローチャートでは、入力画像から一旦すべての変換画像を生成した後に、生成された変換画像ごとに特徴量抽出を行なうとしたが、図１４のフローチャートのように、入力画像から変換画像を生成する度に、変換画像に対して特徴量抽出を行なうとしてもよい（ステップＳ３０４〜ステップＳ３０７）。
【０１１２】
また、図９におけるステップＳ２１１等で求めた注目度をデータベース１８に格納し、別の処理に用いてもよい。
また、図９におけるステップＳ２１１等を省略することで、画像特徴量の値そのものから直接注目領域を決定するとしてもよい。
【０１１３】
また、図９におけるステップＳ２１１等で注目度を求める代わりに、データベース１８より注目度の値を読み出し、その値に基づいて後段の処理を行なうとしてもよい。
また、図９におけるステップＳ２１２等で求めた注目領域に従って、出力部２０を介して画像をディスプレイ等の表示装置やプリンタ等の印刷装置に出力してもよい。
【０１１４】
さらに、図９におけるステップＳ２１３等を省略することで、最初に設定した処理方法およびパラメータで求めた注目領域をそのまま最終的な出力として扱ってもよい。
また、本発明に係る画像表示装置は、その範囲を逸脱することなく本発明の趣旨に沿って様々の変形または修正が可能であることはいうまでもない。
【産業上の利用可能性】
【０１１５】
本発明に係る画像処理装置および画像処理方法は、ユーザおよびシステムの要求に応じて画像内の領域を適応的に選択するための装置、および方法として有用であり、デジタル・スチル・カメラをはじめとする画像の撮像装置および表示装置等に好適である。
【図面の簡単な説明】
【０１１６】
【図１】本発明の実施の形態に係る画像処理装置の機能ブロック図である。
【図２】ユーザの指示に応じて注目度の値を変化させ、その結果、注目領域が変化することを示した模式図である。
【図３】第１の注目領域の抽出方法を模式的に示す図である。
【図４】第２の注目領域の抽出方法を模式的に示す図である。
【図５】第３の注目領域の抽出方法を模式的に示す図である。
【図６】ユーザの指示に応じて閾値を変化させ、その結果、注目領域が変化することを示した模式図である。
【図７】本実施の形態に係る画像処理装置の処理の流れを示すフローチャートである。
【図８】本実施の形態に係る画像処理装置の代表的な構成を示すブロック図である。
【図９】図８に示す画像処理装置の処理の流れを示すフローチャートである。
【図１０】ユーザインタフェース画面の第１例を示す図である。
【図１１】ユーザインタフェース画面の第２例を示す図である。
【図１２】ユーザインタフェース画面の第３例を示す図である。
【図１３】ユーザインタフェース画面の第４例を示す図である。
【図１４】図８に示す画像処理装置の別の処理の流れを示すフローチャートである。
【符号の説明】
【０１１７】
１０                              画像処理装置
１１                              画像入力部
１２                              指示入力部
１３                              領域特定部
１４                              注目度判定部
１５                              画像特徴量抽出部
１６                              注目度算出部
１７                              画像変換部
１８                              データベース
１９                              注目領域決定部
２０                              出力部
２１０、２２０、２３０、２４０    表示画面
２１１、２２１、２３１            次ページボタン
２４１                            領域抽出ボタン
【図１】
2006013722.tif 000006
【図２】
2006013722.tif 000007
【図３】
2006013722.tif 000008
【図４】
2006013722.tif 000009
【図５】
2006013722.tif 000010
【図６】
2006013722.tif 000011
【図７】
2006013722.tif 000012
【図８】
2006013722.tif 000013
【図９】
2006013722.tif 000014
【図１０】
2006013722.tif 000015
【図１１】
2006013722.tif 000016
【図１２】
2006013722.tif 000017
【図１３】
2006013722.tif 000018
【図１４】
2006013722.tif 000019