(57)【要約】画像から興味領域を抽出する際に、ユーザの希望に則した興味領域の抽出が可能な画像処理装置等を提供する。  画像入力部１０２から入力された原画像は、誘目度算出用画像処理部１２４で画像内での各位置（画素）における誘目度の算出に必要な画像処理が行われ、誘目度算出部１２２で各位置の誘目度を算出する。領域生成部１４４は、各位置の誘目度に基づいて興味領域を決定し、領域生成条件設定部１４２は、そのときの決定条件を指定する。領域生成条件設定部１４２が興味領域決定条件を設定する時には、各指定部１１２〜１１８から入力されたユーザの指示を基づいて興味領域決定条件を設定する。各出力部（画像出力部１５２、ステータス出力部１５４、領域情報出力部１５６）は、処理後の画像や処理ステータス、興味領域の情報（座標やサイズなど）を出力する。【特許請求の範囲】
【請求項１】
画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項２】
前記指示入力手段は、生成される興味領域の数について指示を受け付け、
前記領域生成手段は、
前記画像における前記誘目度を満たす画素について、受け付けられた前記興味領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得られたクラスタを含む領域を前記生成された興味領域とする
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域生成手段は、さらに、
取得された前記画像における前記誘目度が第１の条件を満たす範囲について第１のクラスタリングを行い、前記画像における前記誘目度が第２の条件を満たす範囲について第２のクラスタリングを行い、前記第１のクラスタリングの結果と前記第２のクラスタリングの結果とを比較し、前記第１のクラスタリングにより興味領域と特定された領域の少なくとも一部を含み、かつ前記第２のクラスタリングにより興味領域と特定された領域を興味領域とする
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記領域生成手段は、さらに、
前記興味領域の個数が前記指示された数を満たす個数になるまで前記第１の条件又は第２の条件を変化させて、前記第１のクラスタリング又は前記第２のクラスタリングを行う
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対象となる画像データ数を変化させる
ことを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記領域生成手段は、さらに、
前記クラスタリングの結果得られたクラスタの数に基づいて、前記閾値の変更を行う
ことを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記領域生成手段は、前記閾値の変更の際に、複数の前記クラスタ数の区間内に、前記指示入力手段で指示された数が当てはまる場合には、前記区間内に対応した閾値を選択する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
取得された前記画像はオブジェクトを含み、
前記誘目度算出手段は、
取得された前記画像に対してオブジェクト抽出を行い、所定の算出式に基づいて、抽出された前記オブジェクトに対応する誘目度を算出し、
前記領域生成手段は、さらに、
算出された前記誘目度に基づいて、前記興味領域の生成を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記誘目度算出手段は、さらに、
階層的にｎ回の前記オブジェクト抽出を行い、所定の算出式に基づいて、抽出された前記オブジェクトに対応する誘目度を算出し、
前記領域生成手段は、さらに、
算出された前記ｎ階層の誘目度に基づいて、興味領域を特定する
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記誘目度算出手段は、
所定の単位ブロック（ｎ×ｍピクセル：ｎ、ｍは正の整数）毎に誘目度を算出し、さらに、前記単位ブロックにそれぞれ前記誘目度を割り当てた誘目度マップを生成し、
前記領域生成手段は、
前記誘目度マップに基づいて、一の誘目度が所定値と交差する位置について必要に応じて補間処理を行い、前記交差位置の集合に基づいて前記所定値を満たす前記単位ブロックを内包する候補領域を求め、前記候補領域を興味領域として特定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記領域生成手段は、
少なくとも２つの興味領域が生成された場合に、第１の興味領域と第２の興味領域が重ならないように、第１の興味領域に第２の興味領域が内包するように、第１の興味領域と第２の興味領域の大きさがほぼ同一の大きさになるように又は興味領域の大きさが全て異なる大きさになるように特定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記指示入力手段は、さらに、
前記興味領域の形状を表す指示を受け付け、
前記領域生成手段は、さらに、
受け付けられた前記形状に略同一の形状の興味領域を抽出するために、前記形状に略同一の大きさのテンプレートを用いて、前記誘目度の総和もしくは画素あたりの平均値の少なくとも一方が極大値となる領域を特定し、当該特定した領域を興味領域とする
ことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記領域生成手段は、さらに、
前記極大値となる領域を特定する場合に、前記形状に略同一のテンプレートの輪郭上に位置する前記誘目度、又は、前記形状に略同一のテンプレートの輪郭内部に位置する前記誘目度、の少なくとも一方を用いて前記極大値を求める
ことを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする集積回路。
【請求項１５】
画像を表す画像データを取得する画像入力ステップと、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力ステップと、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成ステップと、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とする画像処理方法。
【請求項１６】
画像処理装置に用いられる、コンピュータに実行させるためのプログラムであって、
前記プログラムは、
画像を表す画像データを取得する画像入力ステップと、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力ステップと、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成ステップと、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像の中の興味領域の抽出技術に関し、特にユーザの要求に則した興味領域の抽出を行う技術に関する。
【背景技術】
【０００２】  一般に、画像は、興味のある（又は重要な）部分（以下「興味領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）」という。）とそれ以外の部分とに分けられることが多い。そして、画像処理（例えば、拡大や精細化など）は興味領域に施される場合が多い。【０００３】  従来、画像から興味領域を抽出する種々の手法等が提案されている（例えば、非特許文献１、非特許文献２参照）。【０００４】  ところが、従来の興味領域の抽出技術及び利用技術では、興味領域の抽出に関して、ユーザの要求を十分に反映することが出来ないという問題がある。言い換えると、従来の技術は、画像中から興味領域を抽出するものの、それは予め決められたアルゴリズム（誘目度算出式等）に沿って抽出するのみで、抽出される興味領域の属性（形状、大きさ、位置および領域数など）は考慮されず、ユーザが希望する興味領域の抽出はできなかった。【０００５】  上記非特許文献１では、多解像度モデル（ピラミッド構造による画像解像度の段階的表現）から、ヒトの注意位置（画像中で視線を留める位置又は注視する位置と解することができ、興味領域の位置に相当する。）を抽出しているが、注意範囲（興味領域における範囲に相当する。）に対する記述はない。【０００６】  この場合、ユーザが興味領域の形状について、例えば八角形の興味領域を欲する場合であっても、八角形の興味領域の抽出を行うことはできず、抽出できるものは興味領域の位置のみとなる（上記非特許文献１では、注意範囲の大きさは固定である）。【０００７】  この非特許文献１の手法に対し、上記非特許文献２では、注意範囲についても記述している。非特許文献２の場合、注意範囲の大きさに関して、スケールスペースに基づいた特定の視覚モデルを用意しているが、注意位置および注意範囲の大きさは、興味領域を抽出する対象の画像にのみ依存している。すなわち、上記非特許文献１同様、ユーザの要求に応えられないという課題は残ったままである。言い換えると、複数の画像入力に対して、同じ大きさの興味領域や、同じ形状の興味領域、同じ数の興味領域を抽出することはできず、各画像から出力される興味領域の大きさ、形状又は数は、決められたアルゴリズムによって一意に決まり、一般にそれぞれ異なった数や形状等の興味領域が抽出される。興味領域の自動抽出に関しては、上記非特許文献１および非特許文献２の他にも、幾つか論文等で開示されており、ＪＰＥＧ２０００のデータ構造を利用して興味領域を自動的に抽出する手法についての提案もある（例えば、非特許文献３参照）。【０００８】  しかしながら、非特許文献３の場合でも、抽出される興味領域の位置、大きさは画像にのみ依存している。これでは、実際に利用する上で大きな問題があることは明白である。非特許文献３における「視覚モデルに基づくヒトの注視モデルの構築」を実際の興味領域の抽出等に利用するとしても、どんなものが得られるかがコントロール不能であり、利用価値が小さい。実際の利用に供する興味領域抽出手法は、ユーザの意図や指示が適切に反映され得るのでなければならない。【０００９】  一方、ユーザ等からの指示入力に基づいて興味領域を選択的に抽出する手法も開示されている。例えば、ユーザ���から取得する指示情報として、「人の顔が写っている部分」や「手前に写っている部分」などの被写体に関する情報や、「赤っぽい部分」や「派手な部分」などの画像が有する印象（特徴）に関する情報のような、画像の属性に関する情報がある。また、抽出する興味領域の個数、大きさ又は形状などの興味領域の表示方法に関する情報、あるいは、例えば「旅行の写真からサムネイル画像（一覧表示のための縮小版画像）を作成する」ことや「人が写っている部分だけを切り出す」ことなどのユーザが行いたい処理に関する情報を指示入力として受け付ける場合がある。【００１０】  しかし、これらは基本的に、ユーザ等からの指示に従って画像中の誘目度の算出式そのものを改変しているものである。つまり、ユーザが「赤」といえば（「赤」という指示があった場合は）、画像中の「赤い」領域の誘目度が高くなるように誘目度の算出式を変更し、赤い領域が高いスコアを示すように変更する。同様に、ユーザが「人」といえば（「人」という指示があった場合は）、画像中の「人」らしい物体が写っている領域の誘目度が高くなるように誘目度の算出式を変更する。
【非特許文献１】「Ａ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｓｅａｒｃｈ  Ｍｅｃｈａｎｉｓｍ  Ｆｏｒ  Ｏｖｅｒｔ  Ａｎｄ  Ｃｏｖｅｒｔ  Ｓｈｉｆｔｓ  Ｏｆ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ」（Ｉｔｔｉ他、Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，Ｖｏｌ．４０，２０００，ｐｐ１４８９−１５０６）
【非特許文献２】「スケールスペース理論に基づく注視モデル」（信学論，Ｄ−ＩＩ，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ１４９０−１５０１，２００３年１０月）
【非特許文献３】「ＪＰＥＧ２０００トランスコーダにおける興味領域自動抽出と評価」荻田健夫他，画像電子学会第３０回年次大会，Ｎｏ．１０，ｐｐ．１１５−１１６，Ｊｕｎｅ  ２００２．
【発明の開示】
【発明が解決しようとする課題】
【００１１】  しかしながら、これらの手法は、予め画像中に何がどんな風に映っているかが既知の場合には非常に有効であるが、逆に興味領域の大きさ、数又は形状などを画像の内容に合わせて適応的に抽出したい場合には殆ど対応できない。【００１２】  例えば、「できれば赤いものが映っている領域」を「二つ（もしくは二つ以上）抽出したい」という要求に対しては、これまでの手法では全く対応できない（せいぜい、画像中の最も赤い点を上位から２つ選び、その周辺領域をそれぞれ興味領域とする程度の対応しかできない）。よりシンプルに、興味領域の大きさや数、形状などが単独でユーザから指定された場合の興味領域の抽出でも、（「赤い領域」など画像の内容について指定せず、単に「二つの領域を抽出せよ」、「円形の領域を抽出せよ」などと指定した場合など）、従来の手法では全く対応できないか、もしくは、画像中の誘目度が最も高い点から指定された数だけ点を選択し、円形や矩形など指定された形状として出力するだけである。【００１３】  以上のように、従来の技術では、画像の内容に応じてユーザからの指示を適応的に解釈して興味領域を抽出することは出来ない。【００１４】  本発明は、画像から興味領域を抽出する際に、ユーザの希望に則した興味領域の抽出が可能な画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００１５】  上記課題を解決するために、本発明に係る画像処理装置は、画像を表す画像データを取得する画像入力手段と、前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成手段と、生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返すことを特徴とする。【００１６】  これにより、誘目度に基づいて生成された興味領域が、受け付けた条件を満たさない場合は、誘目度の閾値を変更して再度興味領域の生成を行うので、ユーザの要求に則した興味領域を抽出することができる。【００１７】  また、本発明に係る画像処理装置は、興味領域の抽出に関する条件として、興味領域の個数、形状、大きさ、位置、抽出範囲を受け付けることもできる。また、誘目度に、各種の重み付け（例えば、指定された範囲に関する確率分布による重み付け、輪郭線からの距離に応じた重み付け又は指定された位置からの距離に応じた重み付けなど）を付加させることもできる。【００１８】  これにより、画像から興味領域を抽出する際に、受け付けた興味領域の個数、形状、大きさ、位置、抽出範囲などの条件を満たすことにより、ユーザの具体的な要求を反映させることが可能となる。【００１９】  また、前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対象となる画像データ数を変化させることを特徴とする。【００２０】  これにより、興味領域を抽出する際のクラスタリングの対象となる画像データ（クラスタリングの対象とする母集団に含まれるデータ）の数を変化させることができるため、より容易に、指示入力手段で指示された条件に合致する興味領域の抽出を行うことが可能となる。【００２１】  また、前記領域生成手段は、さらに、前記クラスタリングの結果得られたクラスタの数に基づいて、前記閾値の変更を行うこととしてもよい。更に、生成されたクラスタ数を複数用いて、内挿や外挿を行うことにより、指示入力手段で指示された条件に合致する（出力条件を満たす）興味領域を抽出するための誘目度の閾値を決定することもできる。【００２２】  これにより、興味領域を抽出する際の誘目度の閾値をシラミつぶし的に設定することなく、効率的に設定することができるので、より迅速にユーザの要望に則した興味領域を生成することができる。【００２３】  また、本発明に係る画像処理装置は、エッジもしくはオブジェクトを抽出し、その結果に基づいて誘目度を算出してもよい。また、パターンマッチングもしくはニューラルネットを用いて所定のオブジェクトのオブジェクトらしさ（オブジェクト度合い）を求め、それに基づいて誘目度を算出してもよい。また、その「オブジェクト度合い」に「オブジェクトの種類に対応した重み」を付加して誘目度を算出してもよい。また、ヒトの注視モデルに基づいて誘目度を算出してもよい。【００２４】  これによ���、よりヒトの感覚に合致させつつ、ユーザの要求に則した興味領域の抽出を行うことができる。【００２５】  また、本発明に係る画像処理装置は、画像中の誘目度が所定の値（閾値）よりも高い領域を興味領域として生成しても良く、また、画像中の誘目度が所定の値（閾値）よりも高い領域（位置）の誘目度と入力画像の特徴（テクスチャや濃淡・色など）とに基づいてクラスタリングを行って興味領域を生成しても良い。更にクラスタリングを複数の閾値に対して実行し、第１のクラスタリングの結果で興味領域と判定された領域を含む第２のクラスタリングの領域を興味領域として生成してもよい。【００２６】  これにより、興味領域を抽出する際に、更にユーザの要求に則した抽出をすることができる。【００２７】  また、本発明に係る画像処理装置は、指定された条件に則した興味領域が生成できないと判断した場合に、抽出不能を意味するステータス情報を出力することもできる。更に、処理経過や処理状況を示す任意のステータス情報を出力することもできる。【００２８】  これにより、画像処理装置が興味領域を抽出する際に、より木目細かくユーザの要求に則した出力を行うことができる。【００２９】  また、本発明に係る画像処理装置は、第１の興味領域と第２の興味領域が重ならないように興味領域を生成することができる。また、第１の興味領域に第２の興味領域が内包するように興味領域を生成することができる。また、おおよそ同一の大きさに興味領域を生成することができる。また、全て異なる大きさに興味領域を生成することができる。【００３０】  本構成によって、画像処理装置が興味領域を抽出する際に、よりユーザの要求に則した興味領域の抽出することができる。【００３１】  また、本発明に係る画像処理装置は、誘目度について、クラスタ数が興味領域生成条件に合致するように、クラスタ数をコントロールしたクラスタリングを行い、得られたクラスタを興味領域として出力することもできる。また、クラスタ数のコントロール手法として、画像中の誘目度の分布をもとに、誘目度が高い領域を含むように（ちょうど地図上に等高線を引くように）、等高線の高さに相当する閾値を増減させることでクラスタ数をコントロールすることができる。また、「誘目度が最も高い箇所に対応した領域周囲にあるオブジェクトの概形を抽出し、そのオブジェクト領域に含まれない領域から、次に誘目度の高い箇所を探し、その箇所に対応した領域周囲にあるオブジェクトの概形を抽出する」ことを繰り返すことで、所定数のクラスタを抽出することもできる。【００３２】  本構成によって、画像処理装置が興味領域を抽出する際に、より画像の内容に基づいた、興味領域の抽出を行うことができる。【００３３】  なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムや集積回路として実現したりすることもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【発明の効果】
【００３４】  本発明により、画像の内容や特徴を考慮しつつ、ユーザの要求（興味領域の属性に関する要求、例えば、形状、大きさ、位置、領域数など。）に則した興味領域を抽出することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は、本実施の形態における画像処理装置の機能構成を示したブロック図である。
【図２】図２（ａ）は、原画像の例である。図２（ｂ）は、多重解像度画像をモザイク画像として示した模式図である。
【図３】図３は、モザイク画像に対してエッジ検出を行った模式図である。
【図４】図４（ａ）は、原画像の例である。図４（ｂ）は、多重解像度画像をモザイク画像として示した模式図である。
【図５】図５（ａ）、（ｂ）は、抽出する領域の形状や大きさが指定された場合の抽出例を示した模式図である。
【図６】図６（ａ）、（ｂ）は、抽出する領域の位置が指定された場合の重み分布例と抽出例を示した模式図である。
【図７】図７（ａ）は、原画像の例である。図７（ｂ）は、興味領域を抽出した一例を示す図である。
【図８】図８（ａ）、（ｂ）は、興味領域を抽出した一例を示す図である。
【図９】図９（ａ）、（ｂ）は、モザイク画像例を模式的に示した図である。
【図１０】図１０（ａ）、（ｂ）は、エッジ画像例を模式的に示した図である。
【図１１】図１１は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
【図１２】図１２は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
【図１３】図１３は、誘目度マップと興味領域を模式的に示した図である。
【図１４】図１４は、本発明に係る画像出力装置の処理の流れを示すフローチャートである。
【図１５】図１５（ａ）〜（ｄ）は、クラスタリング対象となるデータの分布と閾値、生成クラスタの関係を２次元的な模式図で示した図である。
【図１６】図１６は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一次元的に示した図である。
【図１７】図１７は、閾値と生成クラス多数の関係を示すグラフの一例である。
【符号の説明】
【００３６】      １００      画像処理装置
１０２      画像入力部
１１２      形状指定部
１１４      大きさ指定部
１１６      位置範囲指定部
１１８      個数指定部
１２２      誘目度算出部
１２４      誘目度算出用画像処理部
１３２      状態表示部
１４２      領域生成条件指定部
１４４      領域生成部
１４６      クラスタリング部
１４７      閾値決定部
１４８      誘目度マップ部
１５２      画像出力部
１５４      ステータス出力部
１５６      領域情報出力部
２００      原画像
２０２      モザイク画像
３００      エッジ検出画像
４００      原画像
４１０      オブジェクトＡ
４１２      オブジェクトＢ
４１４      オブジェクトＣ
４１６      オブジェクトＤ
４４０      エッジ画像（誘目度マップ）
５００      原画像
５０２      サイズ例Ａ
５０４      サイズ例Ｂ
５０６      変動許容幅
５４２      興味領域決定例Ａ
５４４      興味領域決定例Ｂ
６００      重み設定
６１２      重みＡ領域
６１４      重みＢ領域
６１６      重みＣ領域
６１８      重みＤ領域
６２０      重み付け中央値
６４０      重み付きエッジ画像
６４２      円領域
７０２      興味領域抽出画像
８００      原画像
８１２      興味領域
８１３      興味領域
８１４      興味領域
８１５      興味領域
８１６      興味領域
８１７      興味領域
８２２      興味領域
８２４      興味領域
９００      モザイク画像Ａ
９１０      モザイク画像Ｂ
１０００      エッジ画像Ａ
１０１０      エッジ画像Ｂ
１１００      誘目度マップ
１１１０      興味領域
１２００      誘目度マップ
１２１０      興味領域
１２２０      興味領域
１３０２      閾値Ａ
１３０４      閾値Ｂ
１３０６      閾値Ｃ
１３１０      走査線
１６０１      従来のＲＯＩ
１６１１〜１６１４      クラスタＢ
１６２１、１６２２      クラスタＡ
１７０１      点Ａ
１７０２      点Ｂ
１７０３      点Ｃ
【発明を実施するための最良の形態】
【００３７】  以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。【００３８】  （実施の形態１）
図１は、本発明に係る実施の形態１における画像処理装置１００の機能構成を示すブロック図である。【００３９】  図１に示すように、画像処理装置１００は、画像の内容や特徴を考慮しつつ、ユーザの要求に則した興味領域を抽出することが可能な、独立した装置又は携帯端末等の一部の機能として提供される装置であり、画像入力部１０２、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８、誘目度算出部１２２、誘目度算出用画像処理部１２４、状態表示部１３２、領域生成条件設定部１４２、領域生成部１４４、クラスタリング部１４６、閾値決定部１４７、誘目度マップ部１４８、画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６を備える。【００４０】  画像入力部１０２は、ＲＡＭ等の記憶装置を備え、取得された原画像（例えば、デジタルカメラ等によって撮影された画像）を記憶する。誘目度算出用画像処理部１２４は、画像内の各位置における誘目度（「注目度」ともいう。）の算出に必要な画像処理を行う。誘目度算出部１２２は、実際に各位置の誘目度を算出する。ここで、「誘目度」とは、画像の一部に対するユーザの注目の度合いをいう（例えば０〜１の実数、０〜２５５の整数などによって表わす）。【００４１】  状態表示部１３２は、例えば、液晶パネルであり、一連の処理内容を表示する。画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６は、処理後の画像や処理ステータス、興味領域の情報（例えば、座標やサイズなど）を、上記状態表示部１３２又は外部の表示装置等に出力する。【００４２】  領域生成条件設定部１４２は、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８）を介してユーザ等から受け付けた指示や条件に基づいて、領域生成部１４４において興味領域を決定する際の条件である興味領域決定条件を設定する。なお、領域生成条件設定部は、領域生成手段の一例である。【００４３】  領域生成部１４４は、例えばＲＡＭや制御プログラムを格納するＲＯＭ等を備えるマイクロコンピュータであり、本装置１００全体の制御を行う。さらに、領域生成部１４４は、各画素の誘目度に基づいて興味領域を生成する。なお、領域生成部１４４は、クラスタリング部１４６、閾値決定部１４７および誘目度マップ部１４８を備える。【００４４】  誘目度マップ部１４８は、画像毎に、算出された誘目度とそのＸＹ座標上の位置とを対応付けた誘目度マップ（これについては後述する。）を生成する。誘目度マップは、各画素の輝度値を誘目度の値に置き換えたものに相当する。誘目度が任意のサイズ（ｎ×ｍピクセル：ｎ、ｍは正の整数）のブロック毎に定義される場合は、各ブロックにおけるすべての画素が同一の誘目度を有する（又は多解像度分解されピラミッド状になっている）と考えてよい。【００４５】  クラスタリング部１４６は、上記の誘目度マップを誘目度の分布に応じてクラスタリングを行う。ここで、クラスタリングとは、類似した画像データ同士（又は画像パターン同士）を同じクラスにまとめることをいう。クラスタリング手法には、距離が近い画像データ等をまとめてグループ化する最短距離法などの階層化手法やｋ��平均法などの分割最適化手法がある。クラスタリング手法については後にも述べているが、基本的な動作としては、誘目度の分布に基づいて誘目度マップを幾つかのクラスタ（「セグメント」や「カテゴリー」ともいう。）に分割するものである。また、クラスタリングとは、「分類対象の集合（この場合は、誘目度マップ上の各誘目度が定義された点の集合）を“内的結合”と“外的分離”が達成されるような部分集合（この場合は、誘目度が定義された点のグループ）に分割すること」とも定義され、似ているもの同士をまとめる手法をいう。ここでは、誘目度マップを分類対象の集合としたときに、分割や分類がなされた部分集合を「クラスタ」と呼ぶことする。例えば誘目度マップ上の誘目度の分布が４箇所に局所的に存在している場合に、それらを４つのカテゴリーに分割することに相当する。【００４６】  閾値決定部１４７は、誘目度マップ上での誘目度の判定を行う際の閾値のコントロールを行う。具体的には、クラスタリング部１４６において分割されたクラスタの個数や大きさ等が、ユーザ等から受け付けた条件を満たさない場合に、閾値を増大又は減少させる。なお、閾値決定部は、判定手段の一例である。【００４７】  以下、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８）の機能について、詳細な説明を行う。なお、上記各指定部に対する入力は、ユーザが行ってもよいし、制御プログラム等を介して入力することとしてもよい。【００４８】  形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８は、キーボードやマウスなどを備え（又は制御プログラムの実行によって）、ユーザ等から、興味領域を抽出するための条件や指示を受け付ける。なお、形状指定部、大きさ指定部、位置範囲指定部および個数指定部は、指示入力手段の一例である。【００４９】  形状指定部１１２は、ユーザ等から抽出したい興味領域の形状（例えば、円形や矩形、楕円形など）の指定を受け付ける。なお、形状の種類はこれらの形に限らず任意の形状を受け付けることができる（後述するが、図５（ａ）は、ユーザ等から抽出したい興味領域の形状として、大きさの異なる２つの円形の興味領域が指定された場合の一例である）。【００５０】  大きさ指定部１１４は、ユーザ等から抽出したい興味領域（ＲＯＩ）の大きさ（例えば、ピクセル数による絶対サイズや、画像の縦横サイズに対する比で表現した相対サイズなど）の指定を受け付ける。この際、サイズによる指定以外に、「抽出され得る最大の興味領域のサイズに対する比」で指定したり、「２番目に大きい領域」、「特定のサイズに内包される最も大きい領域」など、サイズに代わる属性を受け付けることとしてもよい。この場合、画像の内容に応じてサイズそのものは動的に変化する場合がある（図５（ａ）を参照）。【００５１】  形状の大きさは、上記で表記した方法に限らず、画像の内容に応じて動的に変更するもの、又は動的に変化しないものを含め、任意の指定方法によって指定されてもよい。【００５２】  位置範囲指定部１１６では、抽出したい興味領域の位置や範囲の指定を受け付ける。例えば、ピクセル数による絶対位置（絶対点）や、画像の縦横サイズに対する比で表現した相対位置（相対点）などの指定を受け付ける。【００５３】  点の個数や指定形態とその利用方法（興味領域を抽出する時のルール）は、任意の方法を用いることができる。【００５４】  つまり、上述のように、「興味領域の位置を点で指定した場合に指定した点を必ず含むように興味領域を抽出する」ことはもちろん、「複数の点が指定された場合に優先順位を設けて優先順位の高い点をなるべく含むように抽出する」ことや、「複数の点を内包するような領域として興味領域を抽出する」など、点の個数や指定形態とその利用方法は、任意に選択することができる。【００５５】  さらに、指定する（指定できる）点の個数は、単数でも複数でもよい。また、興味領域の抽出時の条件として、指定された点を全て含む場合や少なくとも１つを含む場合など、「必ず含む」ことを条件としてもよく、また、「なるべく含むようにする」など曖昧な条件（ベストエフォート型）であってもよい。【００５６】  また、点によって位置の指定を受け付けるだけでなく、範囲による指定を受け付けてもよい。この場合は、点で指定された場合と同様に、範囲の大きさや個数とその利用方法は任意に選択することができるものとする。例えば、「指定された範囲の少なくとも２０％を含むように興味領域を抽出する」、「指定された範囲の内部から興味領域を抽出する」、「指定された範囲が複数の場合、少なくともどちらか一方の範囲を５０％以上含むように興味領域を抽出する」などが考えられるが、もちろんこの限りではなく、点の場合と同様に、優先順位を設けたり、範囲について確率分布による重み付けを行って定義し、なるべく確率が高くなるように領域を抽出するなど、出願時点での技術水準において施行者が実現できる範囲での数学的・統計的処理による任意の手法を用いることができる。【００５７】  また、範囲の設定方法は、ユーザ等から具体的な範囲の指定を受け付ける（例えば、マウスやペンなどにより範囲の指定を受け付ける）他、点を指定すると自動的に所定の範囲を設定できるようにする方法など、任意の既存のユーザインタフェースを用いることとしてもよい。【００５８】  また、個数指定部１１８は、指定される興味領域の個数条件と組み合わせることもできる。例えば、「少なくとも１つは必ず指定された点を含むように抽出する」など、指定点の個数とその利用方法は、抽出する個数条件と併せて任意に設定することができる。【００５９】  個数指定部１１８は、ユーザ等から抽出したい興味領域の個数の指定を受け付ける。先の位置範囲指定部１１６における、点の指定方法の場合と同様に、指定する興味領域の個数は単数でも複数でもよい。また、指定する興味領域の個数や指定形態とその利用方法（興味領域の抽出や利用に関するルール）は、任意のケースを用いることができる（後述するが、図５（ａ）は、２つの興味領域が指定された場合の一例を示す）。【００６０】  すなわち、興味領域の抽出時の条件として、指定された数になるよう必ず抽出する（抽出が困難の場合であっても、指定個数の出力を最優先する）場合や、ベストエフォート型として、なるべく指定された個数になるように出力する場合など、指定条件は任意であってもよい。【０��６１】  なお、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８を介して受け付ける条件や指示は任意の条件等とするが、受け付けた条件を少なくとも１つは利用して興味領域の抽出を行うこととする。【００６２】  本実施の形態１では、ユーザ等からの指示を受け付けるインタフェースとして、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８を備えることとしたが、これらは上記の構造でなくともよい。実際の利用条件に即して、必要な指示を入力するために必要なインタフェースのみを備えた画像処理装置として構成を単純化しても、もちろんよい。【００６３】  また、形状、大きさ、位置、範囲、個数のほか、興味領域の抽出に対して指定したい要素を別途入力する為のインタフェースを設けてもよい。【００６４】  例えば、複数の興味領域（ＲＯＩ）を抽出したい場合に、互いの興味領域が重ならないように指定できるインタフェースや、互いの興味領域の距離をコントロールするインタフェース、互いの大きさをコントロールする（複数の興味領域を抽出する場合に、「１つだけ他より大きな領域として抽出する」、「全ての興味領域をほぼ同一の大きさで抽出する」などを行う）インタフェースなどを設けてもよい。もちろん、別途入力する為のインタフェースは上記の限りではなく、興味領域の抽出をコントロールできる範囲で任意の指定を受けるインタフェースを設けてもよい。【００６５】  次に、画像から興味領域を抽出する際に必要な画像内の局所的な誘目度を算出する方法について説明する。【００６６】  誘目度は、誘目度算出部１２２と誘目度算出用画像処理部１２４によって算出される。誘目度算出部１２２は、画像の局所的な誘目度を算出する。誘目度算出用画像処理部１２４は、誘目度算出部１２２における誘目度の算出に必要な画像処理を行う。【００６７】  誘目度算出用画像処理部１２４における画像処理としては、従来の興味領域抽出手法やヒトの注視モデルを用いることができる。例えば、画像中の局所的な誘目度（ヒトの注視モデル）を求める手法については、上記従来技術に記載されている。いずれも画像の局所的な差分をベースに注視モデルを構築している。【００６８】  上記従来技術の手法を、誘目度算出部１２２と誘目度算出用画像処理部１２４に当てはめると、注視モデル（数式）による誘目度の算出に相当する部分が誘目度算出部１２２に当てはまり、差分処理を始めとする画像処理部分が誘目度算出用画像処理部１２４に当てはまる。【００６９】  また、興味領域を抽出する手法としては、上記従来技術のように、画像の局所的な「誘目度」を定義する手法もある。これらの例では、画像を多くの解像度（以下「高解像度」という。）で分解し（画像ピラミッド構造とし）、各解像度で明度分布の差や隣接ブロックとの色相差等を求めた上で、各解像度での誘目度の算出値を所定の重み付けをもって合算し、位置による重みを付加して最終的な「誘目度」を算出している。【００７０】  このように、誘目度算出用画像処理部１２４は、多解像度による分解と色相変換機能を有する。もちろん、ノイズ除去や正規化（ヒストグラムイコライザやダイナミックレンジの調整など）、スムージング（ぼかしやローパスフィルタ、ガウシアンフィルタなど）やエッジ強調などの一般的なフィルタ処理、ＯＰＥＮＩＮＧやＣＬＯＳＩＮＧによるモフォロジ変換など、既存の画像処理技術を組み合わせて、誘目度の算出性能を向上させることもできる。特に、フィルタやモフォロジ変換によるノイズ除去は、孤立的なノイズに対して誘目度が高くなりすぎることを防ぐために有効である。また、スムージング処理は、上記従来技術におけるスケールスペースにもつながる処理であり、画像中の個々の要素（個々の画素や個々のブロック）に対してスケールスペースを定義し演算する代わりに、ガウシアンフィルタを画像全体にかけることで代用できる。【００７１】  誘目度算出部１２２は、各解像度における各層の誘目度を算出し、各層における算出値についての重み付けを考慮して最終的な誘目度を算出する。【００７２】  また、興味領域の抽出方法は、上記のような対象物を特定しない処理（画像を大局的に処理する手法）だけではなく、上記従来技術のように対象が特定されている場合の処理を用いてもよい。上記従来技術では、ＭＲＩ画像から脳領域を興味領域として抽出している。【００７３】  また、ヒトや顔の検出や文字認識、更には一般的なオブジェクトの検出や認識など、一般にテンプレートやニューラルネット、ＢＯＯＳＴＩＮＧ等を用いて行う検出、判別および認識技術を興味領域の抽出方法として用いることもできる。【００７４】  このような検出対象が予め確定している処理（ルールベース型／テンプレート型の処理）では、一般に対象物の検出や認識に際して、内部的にマッチングや判別処理が行われ、対象物の確からしさが求められる。その確からしさが所定の値以上である場合には対象物が検出されたとみなされる。対象物を認識する場合も同様である。【００７５】  これら任意のルールベース型検出における、対象物の「確からしさ」算出を誘目度の算出に用いてもよい。更に、確からしさに対象物の種類に応じた係数を乗じて誘目度してもよい。例えば、顔なら係数「２．０」、花なら「１．０」、犬なら「１．５」といったように、対象に対する誘目性の差を係数で表現してもよい。【００７６】  ちなみに、上記従来技術の分野では、対象物に関する何らかの情報が既知であるとするルールベース型の処理のことを「トップダウン型」の画像処理であると呼び、画像の内容や対象物に関する情報が既知ではない処理を「ボトムアップ型」の画像処理と呼ぶことで区別している。【００７７】  さて、次に、状態表示部１３２の機能について説明する。【００７８】  状態表示部１３２は、誘目度算出部１２２や誘目度算出用画像処理部１２４、後述の領域生成条件設定部１４２における処理状況や条件設定状況をユーザに提示する。例えば、液晶パネルやＬＥＤなど、任意の手段を用いて各状況をユーザに提示する。【００７９】  例えば、誘目度算出用画像処理部１２４における画像処理結果を表示してもよい。また、誘目度算出部１２２で算出された画像の各部位での「誘目度」を可視できるように加工して表示してもよい。【００８０】  例えば、図２に原画像２００と誘目度算出用画像処理部１２４で多解像度変換された画像例としてモザイク画像２０２を模式的に示してい���（原画像２００やモザイク画像２０２の各ブロックは、本来であれば濃淡値を持っているのであるが、図中ではディザ誤差拡散により白黒２値で濃淡を仮想的に表現していることを予め断っておく。以下の画像例でも同様である。）。【００８１】  ここで、「誘目度」として、エッジの強さのみを用いて定義する場合について説明する（もちろん、上述のように誘目度は種々の方法によって算出が可能であるが、ここでは端的な例を用いる）。更に、簡略化のために、エッジの強さを線分の密集度で表現したものを用いる。図３は、エッジ検出を行った画像の一例である。（本来は誘目度の値を濃淡で表現したいが、２値図面では不可能であるため図３のように模式的に示している。）
状態表示部１３２は、図２（ｂ）のモザイク画像２０２や図３のエッジ検出画像３００を表示する。これにより、ユーザは、画像処理状況や誘目度分布を知ることができる。【００８２】  なお、状態表示部１３２は、各指定部（大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８など）と同様、本実施の形態１における必須の構成要素ではない。必要に応じて取捨選択が可能な構成要素である。【００８３】  次に、領域生成条件設定部１４２及び領域生成部１４４の機能について説明する。上記で述べたように、領域生成部１４４は、誘目度に基づいて興味領域を決定する。このときの決定条件を領域生成条件設定部１４２が指定する。【００８４】  領域生成条件設定部１４２が興味領域決定条件を設定する時には、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８）におけるユーザ等からの指示に基づいて設定する。【００８５】  形状指定部１１２において興味領域の形状が指定された場合、興味領域がその形状になるように興味領域決定条件が設定される。大きさ指定部１１４において興味領域の大きさが指定された場合、興味領域がその大きさになるように興味領域決定条件が設定される。個数指定部１１８において興味領域の個数が指定された場合、興味領域がその個数になるように興味領域決定条件が設定される。以下、具体例を挙げて説明する。【００８６】  図４（ａ）は、原画像の一例を示す図である。図４（ａ）は、原画像４００内にオブジェクトＡ４１０、オブジェクトＢ４１２、オブジェクトＣ４１４およびオブジェクトＤ４１６が写っている状態を模式的に示した図である。【００８７】  図４（ｂ）は、原画像４００に対してモザイク処理を行い、エッジ抽出を行った例をエッジ画像４４０として模式的に示している。上記の例と同様に、便宜上、エッジ画像４４０中の各ブロックの濃淡の度合いに合致するエッジの強度を表している。【００８８】  ここで、形状指定部１１２によって、興味領域の形状として円形が指定され、大きさ指定部１１４から興味領域の大きさとして所定の大きさが指定されたとする。例えば、図５（ａ）に示すように、原画像５００全体の横幅に比べて、１つは横幅が２分の１程度の大きさの円を、もう１つは４分の１程度の大きさの円が指定されたとする。さらに、個数指定部１１８によって、興味領域の個数として「２個」が指定されたとする。原画像５００内のサイズ例Ａ５０２とサイズ例Ｂ５０４が、形状指定部１１２、大きさ指定部１１４および個数指定部１１８による指定された興味領域を決定する際の条件である。「２つの興味領域を、それぞれおおよそ図５（ａ）に示す大きさで、円形の興味領域を抽出する」という条件である。このとき、図５（ａ）において破線で示されている変動許容幅５０６のように、（この場合は、サイズ例Ａ５０２の）大きさの変動を許容する範囲を設定してもよい。なお、この変動許容幅５０６の有無や具体的な直径等は、事前にプリセットで定義してもいいし、各指定部を通じてユーザ等から受け付けてもよい（上記の例では、サイズ例Ａ５０２の直径の±２０％として設定している。）。【００８９】  領域生成条件設定部１４２は、このように各指定部からの指定に基づいて興味領域を決定する際の条件を設定する。【００９０】  領域生成部１４４は、サイズ例Ａ５０２とサイズ例Ｂ５０４に応じた興味領域の抽出を行う。サイズ例Ａ５０２に応じた領域を抽出する具体的について、図５（ｂ）を用いて説明する。【００９１】  説明を簡略化するために、エッジ画像４４０の中のエッジ強度（図５（ｂ）において、各ブロックの色が黒いほどエッジが強いとする。）が、そのまま誘目度に相当するものとする。つまり、エッジ画像４４０が誘目度の強弱を示す誘目度マップである。以後、特に誘目度を用いた説明では、エッジ画像４４０を誘目度マップ４４０と呼ぶことにする。【００９２】  さて、図５（ｂ）に示すように、誘目度マップ４４０中を、変動許容幅５０６を持ったサイズ例Ａ５０２が、ちょうどパターンマッチングと同様にスキャンする。円上の誘目度の合計（誘目度スコア）が最も高くなる位置を探すことに相当する。一般的なパターンマッチングと若干相違する点として、円内部の誘目度は誘目度スコアに寄与せず、円周上に属するブロックの誘目度のみが誘目度スコアに寄与している点がある。もちろん、一般的なパターンマッチングアルゴリズムをそのまま適用してもよいが、興味領域境界線上ではなく興味領域内部の誘目度を過大に評価することにつながり、興味領域出力の品質（興味領域内に適切にオブジェクトなどが配置されているかどうか）に影響を及ぼす可能性があるため、興味領域境界線上及び興味領域内部に属するブロックの誘目度の双方を誘目度スコアとして用いる際には、輪郭線からの距離などによる重み付けなどでチューニングする必要がある。【００９３】  誘目度マップ４４０中を、誘目度スコアが最大となるようにサイズ例Ａ５０２でパターンマッチングと同様に走査した結果、得られる興味領域が、図５（ｂ）に示すＲＯＩ決定例Ａ５４２である。同様に、サイズ例Ｂ５０４に対応した興味領域が、図５（ｂ）に示すＲＯＩ決定例Ｂ５４４である。円形という指定がない場合は、楕円形などに変形しても、もちろんよい。【００９４】  上記の例では、パターンマッチング的な手法のみを用いて説明したが、具体的な興味領域の位置の決定や興味領域そのものの形状変更を伴う位置の決定は、パターンマッチング的な手法以外でも実現可能である。【００９５】  例えば、ＳＮＡＫＥＳに代表される動的輪郭抽出技術を応用することもできる。動的輪郭抽出技術は、輪郭を抽出することを目的として、輪郭のエネルギーを定義して画像中で最もエネルギーが最小となるように輪郭を変化させていく手法で、典型的なエネルギー収束演算による抽出方法である。【００９６】  パターンマッチング的手法の例では、誘目度スコアが最大になるようにマッチングを行ったが、動的輪郭抽出技術における「輪郭のエネルギー」を「誘目度スコア」と読み替え、最大化ではなく最小化するように収束演算を行うことで、動的輪郭抽出技術を応用することが可能である。（誘目度スコアを正負反転させてエネルギーとする）。【００９７】  動的輪郭抽出技術では、輪郭上に所定数（例えば２０点）の制御点を配置し、それぞれの制御点に対して、移動変形先候補と言える候補点を設定する。各制御点がそれぞれの候補点のいずれかに移動した��合のエネルギーを計算し、最小となるエネルギー値を持つ場合の候補点を次の制御点とすることで、収束演算を行う。【００９８】  ここで、形状指定部１１２から興味領域の形状として円形が指定された先の例のように、形状に対する指定が有る場合には、エネルギーそのものが「円形」以外のときに極大値をとるように設計する方法や、収束し終わった段階で円形に補正する方法などを用いることができる。このようなエネルギーの定義についても、領域生成条件設定部１４２で行ってもよい。【００９９】  なお、領域生成条件設定部１４２及び領域生成部１４４の構成は、上記の例に限定されるものではなく、他の既存技術を用いて構成してもよいことは云うまでもない。【０１００】  図５に示す実施例では、２つの興味領域（興味領域決定例Ａ５４２及び興味領域決定例Ｂ５４４）が、重なることなく抽出されているが、複数の興味領域を抽出する際には、相互に重なっているか否かの判定が必要になる場合もある。例えば、各指定部から重なりを許容するか否かについて指定されている場合や、本画像処理装置１００として重なりを認めないようにプリセットされる場合などである。【０１０１】  興味領域が重なっているかいないかについての判定そのものは、既存技術で容易に実現可能であるが、優先的にどのオブジェクトを一まとめにして興味領域として出力するかといった問題は別途発生する。機械的に、「最初の興味領域は画像全体から最も誘目度スコアの高い位置を抽出」し、「以降は残りの領域から最も誘目度スコアの高い位置を抽出する」という手法でもよいが、よりユーザの要求に近い出力をさせる。【０１０２】  具体的なケースとして、図８（ａ）、図８（ｂ）のような画像の場合を考える。原画像８００に対して、個数指定部１１８によって、興味領域として抽出する個数として「６個」及び「２個」と指定されたとする。このとき、単純に誘目度の高い領域から順に興味領域を選択すると、概して、図８（ｂ）に示すように、興味領域８２２と興味領域８２４の２つがまず興味領域として選択される。【０１０３】  もちろん、誘目度の算出方法及び領域の選定方法によっては、その他の領域が興味領域として選択されることも有り得るが、ここでは、先のエッジ強度に基づいて誘目度を算出しているものとする。また、興味領域の内部にテクスチャの無い領域が有る場合には、興味領域として誘目度スコアが下がるような設計をしているものとする（つまり、興味領域８２２と興味領域８２４の間の領域を興味領域として抽出したり、興味領域８２２と興味領域８２４を内包する大きな領域を興味領域として抽出したりすることが無いような設計になっているものとする。）。【０１０４】  ここで、個数指定部１１８から興味領域抽出個数が２個に指定されている場合は、特に問題なく興味領域８２２と興味領域８２４を興味領域として出力すればよい。【０１０５】  しかし、興味領域として抽出する個数を「６個」とする指定がなされ、さらに、興味領域同士が重ならないような設定がなされた場合には、主に比較的無意味な（人間が見て主観的にあまり意味を感じないような）白い領域から残り４個の興味領域が選ばれることになる。【０１０６】  上記の「よりヒトの主観に近い（��りユーザの要求に近い）出力を目指す」ためには、この例でいえば「６個」と指定されたときに、最初の「２個」として興味領域８２２と興味領域８２４を抽出するのではなく、図８（ａ）のように、興味領域８１２、興味領域８１３、興味領域８１４、興味領域８１５、興味領域８１６および興味領域８１７（以下「６領域」という。）が出力されることがより良いことは自明である。【０１０７】  ここで、「６個」の指定がされた場合に６領域が抽出されるようにするには、誘目度を階層的に捉えると良い。先述の誘目度算出の説明の際に、画像を多解像度に分解する例を示したが、同様に考えることができる。【０１０８】  図９（ａ）、（ｂ）は、上記図８における原画像８００を２段階のブロックサイズでモザイク化した例を示した図である。いうまでもなく、原画像８００を多解像度に分解した模式例である。図９（ａ）のモザイク画像Ａ９００と図９（ｂ）のモザイク画像Ｂ９１０のように、複数の解像度で表現し、それぞれエッジ強度を求めたものが図１０（ａ）、（ｂ）である。上記図３と同様、線分の密集度でエッジの強度を便宜的に表現している。エッジ画像Ａ１０００とエッジ画像Ｂ１０１０とを見比べると、エッジ画像Ｂ１０１０がより大局的なエッジの分布を、エッジ画像Ａ１０００がより局所的なエッジの分布を捉えていることが分かる。【０１０９】  このように多解像でエッジ強度を順次求めていき、これまでの例と同様にエッジ強度を誘目度と読み替えて、誘目度マップを生成した例を図１１に示す。【０１１０】  図１１は、原画像８００を複数の多解像に分解し各解像度でエッジ強度を求め、エッジ強度を誘目度と読み替えた場合の誘目度マップを模式的に表現している（誘目度マップ１１００）。【０１１１】  ここで、高さ方向は誘目度の高さを表している。【０１１２】  この誘目度マップ１１００は、ちょうど地図を等高線で輪切りにするように、ある値（誘目度）で輪切りにした状態で示している。誘目度マップ１１００中の黒い部分が輪切りにされている領域を示している。【０１１３】  ここで、図１１の誘目度マップ１１００は、６つの輪切りにされた領域を有している。その１つが興味領域１１１０である。この輪切りを行う高さを変化させた例が、図１２である。図１２の誘目度マップ１２００は、上記図１１よりも低い値で輪切りにされている。便宜上、主な断面を黒点で示している。また、参考として、上記図１１で作られた断面（興味領域１１１０ほか）を、図１２中において点線で囲まれた領域として示している。【０１１４】  ここで、誘目度マップ１１００と誘目度マップ１２００は、全く同一であることに注意すると、高さを変えながら断面を見ていくことで、興味領域として抽出できる領域数を変化させられることに気付く。【０１１５】  より上位（誘目度が高い）の領域は、より下位のより広い領域に内包されるものとして、階層的に注目領域の候補を生成することで、よりユーザの要求に合致する領域を興味領域として出力することができる。もちろん、実際には、例えば興味領域１１１０に相当する領域が明示的に抽出できないケースも有り得る。つまり、誘目度マップを上位から断面をしてみていった場合に、どの点とどの点が１つの領域を��すのか判断しにくい場合がある。そのような状況に対しては、既存のクラスタリング手法（例えば、最短距離法などの階層的手法やｋ−ｍｅａｎｓなどの分割最適化手法）やＢＯＯＳＴＩＮＧ法などの判別手法を取り入れることで、判断の精度を上げることができる。また、画像中から既存のテンプレートマッチなどでオブジェクトを抽出し（完全なオブジェクト抽出となっていなくともよく、大体の位置形状が分かる程度のオブジェクト抽出でよい。）、その結果を誘目度のクラスタリングに用いてもよい。【０１１６】  ここまでの説明で、誘目度マップ及び誘目度マップを用いたクラスタリング手法について説明を行ってきたが、誘目度マップの生成は、前述の誘目度マップ部１４８で行ってもよい。また、クラスタリングは、クラスタリング部１４６で行ってもよい。【０１１７】  図１３は、上記の図１１及び図１２における誘目度マップと閾値（断面）の関係を簡略化し、閾値決定部１４７の動作として説明した図である。【０１１８】  図１３は、画像を走査線１３１０で横切った場合の誘目度の変化を模式的に示している。閾値Ａ１３０２、閾値Ｂ１３０４、閾値Ｃ１３０６でそれぞれ興味領域を抽出した場合を示している。閾値を変化させることで、ユーザ等からの興味領域の大きさや形状指示により適合した領域を、誘目度の算出式を変更することなく抽出することができる。【０１１９】  また、図１３中の閾値Ａ１３０２、閾値Ｂ１３０４、閾値Ｃ１３０６それぞれを用いた場合に構成される各ＲＯＩに対応する誘目度によって、クラスタが構成されていると解釈することもできる。閾値Ａ１３０２の場合には、誘目度が閾値Ａ１３０２よりも高い二つのクラスタと、低い３つのクラスタ（画像例でのＲＯＩ−３の外部左側、ＲＯＩ−３外部右側からＲＯＩ−７外部左側、ＲＯＩ−７外部右側がそれにあたる。）の計５つのクラスタである。もちろん、単に閾値を変化させるだけではなく、前述のクラスタリング手法を用いて、この誘目度をクラスタに分割してもよいことは云うまでもない。【０１２０】  また、このとき、クラスタリングを複数回行うことで（例えば閾値を、閾値Ａ１３０２と閾値Ｂ１３０４の２つを用いてそれぞれクラスタリングして）、いずれかのクラスタリング結果の領域と別のいずれかのクラスタリング結果の領域から、その和集合や積集合を興味領域として選択してもよい。また、複数回のクラスタリング手法がそれぞれ異なるものでもよい。【０１２１】  以上が、形状指定部１１２から興味領域の形状が指定された場合、大きさ指定部１１４から興味領域の大きさが指定された場合、個数指定部１１８から興味領域の個数が指定された場合の興味領域を決定する際の条件及び興味領域を生成する具体例である。【０１２２】  同様に、位置範囲指定部１１６から興味領域の位置が指定された場合、興味領域がその位置になるように、もしくは、その位置からの距離に応じて重み付けを付加して興味領域が抽出されるように、興味領域決定条件が設定される。【０１２３】  これについても、具体例を挙げて説明する。【０１２４】  ここでは、ユーザ等から画像の中心の位置を指定された場合を考える。必ず指定された位置を含むように抽出することは簡単に実行できるため（��定位置を含まないような興味領域を出力しなければ良い）、以下の例では、なるべく画像の中心に近い興味領域を抽出するための手法を説明する。【０１２５】  上記図６（ａ）は、誘目度マップに対する重みを設定した場合の一例を示す図である。ここでは、より黒い領域ほど重みが強いことを示している。この重み設定を誘目度マップと掛け合わせることで、中心により重きを置いた興味領域の抽出が可能となる。【０１２６】  なお、上記図４、図５の説明の時と同様に、エッジ画像４４０を誘目度マップと読み替えることにする。このエッジ画像４４０（誘目度マップ４４０）に、重み設定６００を掛け合わせてできた新しい誘目度マップが、上記図６（ｂ）の重み付きエッジ画像６４０である。模式的に示しているが、エッジ画像４４０（誘目度マップ４４０）と較べて、指定位置（中心）付近のエッジ（誘目度相当）が強調され、指定位置から遠いエッジ（誘目度相当）が弱く描画されていることが分かる。【０１２７】  この重み付きエッジ画像６４０に対して、図５と同様にパターンマッチング的に興味領域を決定した例が円領域６４２である。いうまでもなく、指定位置（中心）に近い領域を興味領域として出力できる。【０１２８】  次に、各出力部の機能について説明する。【０１２９】  画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６は、例えば液晶パネルを備え、それぞれ処理後の画像や処理ステータス、興味領域の情報（座標やサイズなど）を出力する。【０１３０】  ここでステータス出力部１５４は、興味領域抽出が成功したか否かといった情報のほかに各処理中の処理状況をログとして出力することもできる。状態表示部１３２と同様又はその代用として、本実施の形態における各処理をモニターするものとして用いてもよい。【０１３１】  なお、画像出力部１５２やステータス出力部１５４は、各指定部（大きさ指定部１１４など）と同様に、本実施の形態における必須の構成要素ではない。必要に応じて取捨選択が可能な構成要素である。【０１３２】  図７（ｂ）は、原画像２００に対する興味領域抽出の結果（興味領域抽出画像７０２）を示す図であり、画像出力部１５２における画像出力例である。【０１３３】  次に、本発明に係る画像処理装置１００の動作について説明する。【０１３４】  図１４は、画像処理装置１００における処理の流れを示すフローチャートである。【０１３５】  最初に、画像入力部１０２を介して画像を入力し（Ｓ１００）、形状指定部１１２〜個数指定部１１８を介して、ユーザ等から指示を受け付ける（Ｓ１０２）。この場合に、大きさの指定を含み（Ｓ１０４：Ｙｅｓ）、さらに形状等の指定があった場合は（Ｓ１２０：Ｙｅｓ）、その旨を領域生成条件設定部１４２に通知する（Ｓ１２２）。【０１３６】  次に、領域生成部１４４は、上記の指定条件に基づいて誘目度マップを生成するように誘目度マップ部１４８に指示する（Ｓ１２４）。さらに、領域生成部１４４は、従来と同様の手法を用いて最適なＲＯＩを選択する（Ｓ１２６）。【０１３７】  一方、ユーザ等からの指示に個数の指定が含まれている場合も（Ｓ１０６）、誘目度マップを作成する（Ｓ１０８）。この場合、作成した誘目度マップが指定された個数の条件を満たさない場合は、所定の閾値を変えて、再度上記処理を繰り返す（Ｓ１１０、Ｓ１１２）。【０１３８】  さらに、上記のように特定されたＲＯＩについて、形状が指定されている場合は（Ｓ１１４）、その形状にＲＯＩを変形する。【０１３９】  最後に、上記の処理で特定されたＲＯＩを表示する（Ｓ１１８）。【０１４０】  なお、本実施の形態１の説明では画像全体から興味領域を抽出しているが、予め決められた範囲、もしくは指定された範囲から抽出してもよい。抽出する対象範囲を指定するためのインタフェースを設けてもよい。【０１４１】  なお、上記図１４の説明では、Ｓ１０４で大きさの指定の有無を判定した後に、個数指定の有無を判定しているが、この構成に限らず、大きさの指定に対応する処理と形状指定に対応する処理、個数指定に対応する処理をそれぞれ独立に機能させてもよく、それぞれの依存関係（フローチャートにおける上流や下流の関係など）は、仕様要求等に応じて任意にシステム化することが出来る。【０１４２】  ここで、個数指定部１１８のその他の機能について説明を加える。【０１４３】  上記の手法の外に、閾値を変えながらクラスタリングを実施し、その結果として得られたクラスタ数が個数条件を満たした場合、おのおのクラスタに基づいてＲＯＩとして出力される領域を決定してもよい。このとき、閾値を変えることによって、クラスタリングされるデータ数（データ分布）そのものが変化する。
一般にデータ処理を行う場合、すなわち特定のデータから何らかの有意な特徴を解析したい場合において解析対象となるデータそのものを改変することは、無意味である。例えば、統計処理を行う際にその母集団データを変化させると解析そのものの意味が失われる。【０１４４】  しかし、今回のように画像内の特徴（興味領域）を画像中から抽出したい場合においては、特徴解析を行うクラスタリングの対象となるデータ分布が変化することに意味が生まれる。一般のクラスタリングアルゴリズムの最適化や効率化とは異なり、クラスタリング手法そのものではなく、入力データ分布を変化させることに意味が出てくる。【０１４５】  これについて、図１５〜図１７を用いながら具体的に説明する。ここでは、入力される指示として、４つの興味領域の抽出が指定されていた場合を考える。こ図１５（ａ）〜（ｄ）は、クラスタリング対象となるデータの分布と閾値、生成クラスタの関係を２次元的な模式図で示した図である。【０１４６】  閾値Ａを超える誘目度の点が、図１５（ａ）に示すように分布しているとする。
ここで図１５（ａ）は、横軸をｘ方向（画像の幅方向）、縦軸をｙ方向（画像の高さ方向）とし、誘目度が閾値Ａを超える画像データが存在する座標をプロットしている。例えば点Ａは、画素（ｘ１，ｙ１）に対応する誘目度であるとする。【０１４７】  図１５（ａ）に対し、一般的なクラスタリング手法を用いてクラスタに分けた場合、おおよそ図１５（ｂ）のように２つに分類されることが予想される。従来のクラスタリング手法の最適化方法や効率化方法であれば、如何に最適な２つの領域とするか、又は如何に２つの領域を４つに分類できるようにするかがテーマとなる。しかし、本手法では、閾値を変えることによって画像データの分布そのものを改変することが出来る。【０１４８】  図１５（ｃ）に、閾値Ａから閾値Ｂに変更した場合の画像データの分布例を示す。仮に閾値Ａは閾値Ｂより大きいとする。図１５（ｃ）では、星型の点は閾値Ａを超える点、丸型の点は閾値Ａを超えず閾値Ｂを超える点を表している。
図１５（ｃ）に対して同様に一般的なクラスタリング手法を用いた場合、図１５（ｄ）のように４つのクラスタに分類されることが予想される。その結果、入力指示として４つの興味領域の抽出が指定されているので、この場合は閾値Ｂでのクラスタリング結果を用いてそれぞれのクラスタに属するデータから興味領域を設定すればよい。出力される興味領域は、例えば図１５（ｄ）の各クラスタを囲む楕円形などである。【０１４９】  図１６は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一次元的に示した図である。横軸に座標（画像を一次元的に表している）を、縦軸に誘目度を表している。図１６の誘目度グラフにおいて、誘目度が閾値Ａ又は閾値Ｂを越える点をそれぞれ楕円形の黒い点で示している。実際には誘目度グラフは離散値である（画素単位での離散値）。【０１５０】  閾値Ａの画像データでは、データ数が６個しか得られず、クラスタは２つ生成されたのみである（クラスタＡ１６２１とクラスタＡ１６２２）。閾値Ｂでは、クラスタＢ１６１１〜クラスタＢ１６１４まで４つのクラスタが生成されている。図１６では、比較のため従来のＲＯＩ設定方法も示している。
従来のＲＯＩ設定方法では、誘目度が所定の値（ここでは閾値Ｂ）を超えた場合、超えた点を全て内包もしくは内接する領域（例えば矩形）を持って、興味領域としている。１次元的に書くと、従来ＲＯＩ（１６０１）が相当する。２次元的に書くと、図１５（ａ）の従来ＲＯＩ（１５０１）が相当する。本発明が、従来の画一的な興味領域の設定方法とは全く異なり、データ分布に柔軟に興味領域が抽出できることが、図１６に示す従来ＲＯＩ（１６０１）と、誘目度についての閾値Ａ又は閾値Ｂに基づくクラスタリング結果との比較から分かる。ここで、誘目度の分布は画像によって異なる。そのため、閾値と得られるデータ数、そしてクラスタ数には一般的な法則性が無いが、閾値をより適切に設定することで、クラスタリングを何度も繰り返す必要を減らすことができる。【０１５１】  例えば、ある画像において、閾値１ではクラスタが８個生成され、閾値２ではクラスタが６個生成され、閾値３ではクラスタが２個生成されたとする。グラフで書くと図１７のようなイメージになる。【０１５２】  入力された指示として「４個」の興味領域の抽出が指定されている場合には、閾値２と閾値３の間にクラスタを４個生成するであろう「閾値４」の存在が予測される（上記の予測状況を図１７中の１点鎖線で示す）。誘目度は画像の内容に応じて変化するため、必ず閾値４が存在するとは限らないが、画像の内容が極めて特殊な場合を除き、上記の推測が成立する可能性は高いと考えられる。【０１５３】  そこで、閾値４を閾値２と閾値３の間に設定することで、適切な閾値設定が可能となる。
【産業上の利用可能性】
【０１５４】  本発明に係る画像処理装置は、単一の静止画像もしくは複数の静止画像群や動画像から、ユーザの要求（興味領域の形状、大きさおよび個数など）に則した興味領域の抽出を行う手法を提示し、画像自動編集装置などに有用である他、画像を蓄積、管理又は分類するシステムにも有用である。
【図１】
2006082979.tif 000002
【図２】
2006082979.tif 000003
【図３】
2006082979.tif 000004
【図４】
2006082979.tif 000005
【図５】
2006082979.tif 000006
【図６】
2006082979.tif 000007
【図７】
2006082979.tif 000008
【図８】
2006082979.tif 000009
【図９】
2006082979.tif 000010
【図１０】
2006082979.tif 000011
【図１１】
2006082979.tif 000012
【図１２】
2006082979.tif 000013
【図１３】
2006082979.tif 000014
【図１４】
2006082979.tif 000015
【図１５】
2006082979.tif 000016
【図１６】
2006082979.tif 000017
【図１７】
2006082979.tif 000018
【手続補正書】
【提出日】平成18年9月29日(2006.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を表す画像データを取得する画像入力手段と、
前記画像から生成される興味領域の数についての条件を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素について、受け付けられた前記興味領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得られたクラスタを含む興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項２】
前記領域生成手段は、さらに、
取得された前記画像における前記誘目度が第１の条件を満たす範囲について第１のクラスタリングを行い、前記画像における前記誘目度が第２の条件を満たす範囲について第２のクラスタリングを行い、前記第１のクラスタリングの結果と前記第２のクラスタリングの結果とを比較し、前記第１のクラスタリングにより興味領域と特定された領域の少なくとも一部を含み、かつ前記第２のクラスタリングにより興味領域と特定された領域を興味領域とする
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域生成手段は、さらに、
前記興味領域の個数が前記指示された数を満たす個数になるまで前記第１の条件又は第２の条件を変化させて、前記第１のクラスタリング又は前記第２のクラスタリングを行う
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対象となる画像データ数を変化させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記領域生成手段は、さらに、
前記クラスタリングの結果得られたクラスタの数に基づいて、前記閾値の変更を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記領域生成手段は、前記閾値の変更の際に、複数の前記クラスタ数の区間内に、前記指示入力手段で指示された数が当てはまる場合には、前記区間内に対応した閾値を選択する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
オブジェクトを含む画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、
取得された前記画像に対して、階層的にｎ回のオブジェクト抽出を行い、所定の算出式に基づいて、抽出された前記オブジェクトに対応する誘目度を算出する誘目度算出手段と、
算出された前記ｎ階層の誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項８】
画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、
前記画像について、所定の単位ブロック（ｎ×ｍピクセル：ｎ、ｍは正の整数）毎に誘目度を算出し、さらに、前記単位ブロックにそれぞれ前記誘目度を割り当てた誘目度マップを生成する誘目度算出手段と、
生成された前記誘目度マップに基づいて、一の誘目度が所定値と交差する位置について必要に応じて補間処理を行い、前記交差位置の集合に基づいて前記所定値を満たす前記単位ブロックを内包する興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項９】
画像を表す画像データを取得する画像入力手段と、
前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成し、少なくとも２つの興味領域が生成された場合に、第１の興味領域と第２の興味領域が重ならないように、第１の興味領域に第２の興味領域が内包するように、第１の興味領域と第２の興味領域の大きさがほぼ同一の大きさになるように又は興味領域の大きさが全て異なる大きさになるように特定する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項１０】
画像を表す画像データを取得する画像入力手段と、
前記画像から生成される興味領域の形状についての指示を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素について、受け付けられた前記形状に略同一の形状の興味領域を抽出するために、前記形状に略同一の大きさのテンプレートを用いて、前記誘目度の総和もしくは画素あたりの平均値の少なくとも一方が極大値となる領域を特定し、当該特定した領域を興味領域とする領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする画像処理装置。
【請求項１１】
前記領域生成手段は、さらに、
前記極大値となる領域を特定する場合に、前記形状に略同一のテンプレートの輪郭上に位置する前記誘目度、又は、前記形状に略同一のテンプレートの輪郭内部に位置する前記誘目度、の少なくとも一方を用いて前記極大値を求める
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
画像を表す画像データを取得する画像入力手段と、
前記画像から生成される興味領域の数についての条件を受け付ける指示入力手段と、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素について、受け付けられた前記興味領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得られたクラスタを含む興味領域を生成する領域生成手段と、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返す
ことを特徴とする集積回路。
【請求項１３】
画像を表す画像データを取得する画像入力ステップと、
前記画像から生成される興味領域の数についての条件を受け付ける指示入力ステップと、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素について、受け付けられた前記興味領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得られたクラスタを含む興味領域を生成する領域生成ステップと、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とする画像処理方法。
【請求項１４】
画像処理装置に用いられる、コンピュータに実行させるためのプログラムであって、
前記プログラムは、
画像を表す画像データを取得する画像入力ステップと、
前記画像から生成される興味領域の数についての条件を受け付ける指示入力ステップと、
前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出ステップと、
算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素について、受け付けられた前記興味領域の数にほぼ合致するようにクラスタリングを行い、当該クラスタリングによって得られたクラスタを含む興味領域を生成する領域生成ステップと、
生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定ステップとを含み、
前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成ステップおよび前記判定ステップの処理を繰り返す
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中の興味領域の抽出技術に関し、特にユーザの要求に則した興味領域の抽出を行う技術に関する。
【背景技術】
【０００２】
一般に、画像は、興味のある（又は重要な）部分（以下「興味領域（ＲＯＩ：Region of Interest）」という。）とそれ以外の部分とに分けられることが多い。そして、画像処理（例えば、拡大や精細化など）は興味領域に施される場合が多い。
【０００３】
従来、画像から興味領域を抽出する種々の手法等が提案されている（例えば、非特許文献１、非特許文献２参照）。
【０００４】
ところが、従来の興味領域の抽出技術及び利用技術では、興味領域の抽出に関して、ユーザの要求を十分に反映することが出来ないという問題がある。言い換えると、従来の技術は、画像中から興味領域を抽出するものの、それは予め決められたアルゴリズム（誘目度算出式等）に沿って抽出するのみで、抽出される興味領域の属性（形状、大きさ、位置および領域数など）は考慮されず、ユーザが希望する興味領域の抽出はできなかった。
【０００５】
上記非特許文献１では、多解像度モデル（ピラミッド構造による画像解像度の段階的表現）から、ヒトの注意位置（画像中で視線を留める位置又は注視する位置と解することができ、興味領域の位置に相当する。）を抽出しているが、注意範囲（興味領域における範囲に相当する。）に対する記述はない。
【０００６】
この場合、ユーザが興味領域の形状について、例えば八角形の興味領域を欲する場合であっても、八角形の興味領域の抽出を行うことはできず、抽出できるものは興味領域の位置のみとなる（上記非特許文献１では、注意範囲の大きさは固定である）。
【０００７】
この非特許文献１の手法に対し、上記非特許文献２では、注意範囲についても記述している。非特許文献２の場合、注意範囲の大きさに関して、スケールスペースに基づいた特定の視覚モデルを用意しているが、注意位置および注意範囲の大きさは、興味領域を抽出する対象の画像にのみ依存している。すなわち、上記非特許文献１同様、ユーザの要求に応えられないという課題は残ったままである。言い換えると、複数の画像入力に対して、同じ大きさの興味領域や、同じ形状の興味領域、同じ数の興味領域を抽出することはできず、各画像から出力される興味領域の大きさ、形状又は数は、決められたアルゴリズムによって一意に決まり、一般にそれぞれ異なった数や形状等の興味領域が抽出される。興味領域の自動抽出に関しては、上記非特許文献１および非特許文献２の他にも、幾つか論文等で開示されており、ＪＰＥＧ２０００のデータ構造を利用して興味領域を自動的に抽出する手法についての提案もある（例えば、非特許文献３参照）。
【０００８】
しかしながら、非特許文献３の場合でも、抽出される興味領域の位置、大きさは画像にのみ依存している。これでは、実際に利用する上で大きな問題があることは明白である。非特許文献３における「視覚モデルに基づくヒトの注視モデルの構築」を実際の興味領域の抽出等に利用するとしても、どんなものが得られるかがコントロール不能であり、利用価値が小さい。実際の利用に供する興味領域抽出手法は、ユーザの意図や指示が適切に反映され得るのでなければならない。
【０００９】
一方、ユーザ等からの指示入力に基づいて興味領域を選択的に抽出する手法も開示されている。例えば、ユーザ等から取得する指示情報として、「人の顔が写っている部分」や「手前に写っている部分」などの被写体に関する情報や、「赤っぽい部分」や「派手な部分」などの画像が有する印象（特徴）に関する情報のような、画像の属性に関する情報がある。また、抽出する興味領域の個数、大きさ又は形状などの興味領域の表示方法に関する情報、あるいは、例えば「旅行の写真からサムネイル画像（一覧表示のための縮小版画像）を作成する」ことや「人が写っている部分だけを切り出す」ことなどのユーザが行いたい処理に関する情報を指示入力として受け付ける場合がある。
【００１０】
しかし、これらは基本的に、ユーザ等からの指示に従って画像中の誘目度の算出式そのものを改変しているものである。つまり、ユーザが「赤」といえば（「赤」という指示があった場合は）、画像中の「赤い」領域の誘目度が高くなるように誘目度の算出式を変更し、赤い領域が高いスコアを示すように変更する。同様に、ユーザが「人」といえば（「人」という指示があった場合は）、画像中の「人」らしい物体が写っている領域の誘目度が高くなるように誘目度の算出式を変更する。
【非特許文献１】「Ａ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｓｅａｒｃｈ Ｍｅｃｈａｎｉｓｍ Ｆｏｒ  Ｏｖｅｒｔ  Ａｎｄ  Ｃｏｖｅｒｔ  Ｓｈｉｆｔｓ  Ｏｆ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ」（Ｉｔｔｉ他、Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，Ｖｏｌ．４０，２０００，ｐｐ１４８９−１５０６）
【非特許文献２】「スケールスペース理論に基づく注視モデル」（信学論，Ｄ−ＩＩ，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ１４９０−１５０１，２００３年１０月）
【非特許文献３】「ＪＰＥＧ２０００トランスコーダにおける興味領域自動抽出と評価」荻田健夫他，画像電子学会第３０回年次大会，Ｎｏ．１０，ｐｐ．１１５−１１６，Ｊｕｎｅ  ２００２．
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、これらの手法は、予め画像中に何がどんな風に映っているかが既知の場合には非常に有効であるが、逆に興味領域の大きさ、数又は形状などを画像の内容に合わせて適応的に抽出したい場合には殆ど対応できない。
【００１２】
例えば、「できれば赤いものが映っている領域」を「二つ（もしくは二つ以上）抽出したい」という要求に対しては、これまでの手法では全く対応できない（せいぜい、画像中の最も赤い点を上位から２つ選び、その周辺領域をそれぞれ興味領域とする程度の対応しかできない）。よりシンプルに、興味領域の大きさや数、形状などが単独でユーザから指定された場合の興味領域の抽出でも、（「赤い領域」など画像の内容について指定せず、単に「二つの領域を抽出せよ」、「円形の領域を抽出せよ」などと指定した場合など）、従来の手法では全く対応できないか、もしくは、画像中の誘目度が最も高い点から指定された数だけ点を選択し、円形や矩形など指定された形状として出力するだけである。
【００１３】
以上のように、従来の技術では、画像の内容に応じてユーザからの指示を適応的に解釈して興味領域を抽出することは出来ない。
【００１４】
本発明は、画像から興味領域を抽出する際に、ユーザの希望に則した興味領域の抽出が可能な画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る画像処理装置は、画像を表す画像データを取得する画像入力手段と、前記画像の興味領域の抽出に関する条件を受け付ける指示入力手段と、前記画像について、ユーザが注目する度合いを表わす誘目度を算出する誘目度算出手段と、算出された前記誘目度における予め規定された閾値を超える誘目度に対応する画素に基づき、前記画像から興味領域を生成する領域生成手段と、生成された前記興味領域が、受け付けられた前記条件を満たすか否かを判定する判定手段とを備え、前記条件を満たさないと判定された場合は、前記閾値を変更して、前記領域生成手段および前記判定手段の処理を繰り返すことを特徴とする。
【００１６】
これにより、誘目度に基づいて生成された興味領域が、受け付けた条件を満たさない場合は、誘目度の閾値を変更して再度興味領域の生成を行うので、ユーザの要求に則した興味領域を抽出することができる。
【００１７】
また、本発明に係る画像処理装置は、興味領域の抽出に関する条件として、興味領域の個数、形状、大きさ、位置、抽出範囲を受け付けることもできる。また、誘目度に、各種の重み付け（例えば、指定された範囲に関する確率分布による重み付け、輪郭線からの距離に応じた重み付け又は指定された位置からの距離に応じた重み付けなど）を付加させることもできる。
【００１８】
これにより、画像から興味領域を抽出する際に、受け付けた興味領域の個数、形状、大きさ、位置、抽出範囲などの条件を満たすことにより、ユーザの具体的な要求を反映させることが可能となる。
【００１９】
また、前記領域生成手段は、前記閾値を変化させることで、前記クラスタリングの対象となる画像データ数を変化させることを特徴とする。
【００２０】
これにより、興味領域を抽出する際のクラスタリングの対象となる画像データ（クラスタリングの対象とする母集団に含まれるデータ）の数を変化させることができるため、より容易に、指示入力手段で指示された条件に合致する興味領域の抽出を行うことが可能となる。
【００２１】
また、前記領域生成手段は、さらに、前記クラスタリングの結果得られたクラスタの数に基づいて、前記閾値の変更を行うこととしてもよい。更に、生成されたクラスタ数を複数用いて、内挿や外挿を行うことにより、指示入力手段で指示された条件に合致する（出力条件を満たす）興味領域を抽出するための誘目度の閾値を決定することもできる。
【００２２】
これにより、興味領域を抽出する際の誘目度の閾値をシラミつぶし的に設定することなく、効率的に設定することができるので、より迅速にユーザの要望に則した興味領域を生成することができる。
【００２３】
また、本発明に係る画像処理装置は、エッジもしくはオブジェクトを抽出し、その結果に基づいて誘目度を算出してもよい。また、パターンマッチングもしくはニューラルネットを用いて所定のオブジェクトのオブジェクトらしさ（オブジェクト度合い）を求め、それに基づいて誘目度を算出してもよい。また、その「オブジェクト度合い」に「オブジェクトの種類に対応した重み」を付加して誘目度を算出してもよい。また、ヒトの注視モデルに基づいて誘目度を算出してもよい。
【００２４】
これにより、よりヒトの感覚に合致させつつ、ユーザの要求に則した興味領域の抽出を行うことができる。
【００２５】
また、本発明に係る画像処理装置は、画像中の誘目度が所定の値（閾値）よりも高い領域を興味領域として生成しても良く、また、画像中の誘目度が所定の値（閾値）よりも高い領域（位置）の誘目度と入力画像の特徴（テクスチャや濃淡・色など）とに基づいてクラスタリングを行って興味領域を生成しても良い。更にクラスタリングを複数の閾値に対して実行し、第１のクラスタリングの結果で興味領域と判定された領域を含む第２のクラスタリングの領域を興味領域として生成してもよい。
【００２６】
これにより、興味領域を抽出する際に、更にユーザの要求に則した抽出をすることができる。
【００２７】
また、本発明に係る画像処理装置は、指定された条件に則した興味領域が生成できないと判断した場合に、抽出不能を意味するステータス情報を出力することもできる。更に、処理経過や処理状況を示す任意のステータス情報を出力することもできる。
【００２８】
これにより、画像処理装置が興味領域を抽出する際に、より木目細かくユーザの要求に則した出力を行うことができる。
【００２９】
また、本発明に係る画像処理装置は、第１の興味領域と第２の興味領域が重ならないように興味領域を生成することができる。また、第１の興味領域に第２の興味領域が内包するように興味領域を生成することができる。また、おおよそ同一の大きさに興味領域を生成することができる。また、全て異なる大きさに興味領域を生成することができる。
【００３０】
本構成によって、画像処理装置が興味領域を抽出する際に、よりユーザの要求に則した興味領域の抽出することができる。
【００３１】
また、本発明に係る画像処理装置は、誘目度について、クラスタ数が興味領域生成条件に合致するように、クラスタ数をコントロールしたクラスタリングを行い、得られたクラスタを興味領域として出力することもできる。また、クラスタ数のコントロール手法として、画像中の誘目度の分布をもとに、誘目度が高い領域を含むように（ちょうど地図上に等高線を引くように）、等高線の高さに相当する閾値を増減させることでクラスタ数をコントロールすることができる。また、「誘目度が最も高い箇所に対応した領域周囲にあるオブジェクトの概形を抽出し、そのオブジェクト領域に含まれない領域から、次に誘目度の高い箇所を探し、その箇所に対応した領域周囲にあるオブジェクトの概形を抽出する」ことを繰り返すことで、所定数のクラスタを抽出することもできる。
【００３２】
本構成によって、画像処理装置が興味領域を抽出する際に、より画像の内容に基づいた、興味領域の抽出を行うことができる。
【００３３】
なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムや集積回路として実現したりすることもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【発明の効果】
【００３４】
本発明により、画像の内容や特徴を考慮しつつ、ユーザの要求（興味領域の属性に関する要求、例えば、形状、大きさ、位置、領域数など。）に則した興味領域を抽出することができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００３６】
（実施の形態１）
図１は、本発明に係る実施の形態１における画像処理装置１００の機能構成を示すブロック図である。
【００３７】
図１に示すように、画像処理装置１００は、画像の内容や特徴を考慮しつつ、ユーザの要求に則した興味領域を抽出することが可能な、独立した装置又は携帯端末等の一部の機能として提供される装置であり、画像入力部１０２、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８、誘目度算出部１２２、誘目度算出用画像処理部１２４、状態表示部１３２、領域生成条件設定部１４２、領域生成部１４４、クラスタリング部１４６、閾値決定部１４７、誘目度マップ部１４８、画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６を備える。
【００３８】
画像入力部１０２は、ＲＡＭ等の記憶装置を備え、取得された原画像（例えば、デジタルカメラ等によって撮影された画像）を記憶する。誘目度算出用画像処理部１２４は、画像内の各位置における誘目度（「注目度」ともいう。）の算出に必要な画像処理を行う。誘目度算出部１２２は、実際に各位置の誘目度を算出する。ここで、「誘目度」とは、画像の一部に対するユーザの注目の度合いをいう（例えば、０〜１の実数、０〜２５５の整数などによって表わす）。
【００３９】
状態表示部１３２は、例えば、液晶パネルであり、一連の処理内容を表示する。画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６は、処理後の画像や処理ステータス、興味領域の情報（例えば、座標やサイズなど）を、上記状態表示部１３２又は外部の表示装置等に出力する。
【００４０】
領域生成条件設定部１４２は、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８）を介してユーザ等から受け付けた指示や条件に基づいて、領域生成部１４４において興味領域を決定する際の条件である興味領域決定条件を設定する。なお、領域生成条件設定部は、領域生成手段の一例である。
【００４１】
領域生成部１４４は、例えばＲＡＭや制御プログラムを格納するＲＯＭ等を備えるマイクロコンピュータであり、本装置１００全体の制御を行う。さらに、領域生成部１４４は、各画素の誘目度に基づいて興味領域を生成する。なお、領域生成部１４４は、クラスタリング部１４６、閾値決定部１４７および誘目度マップ部１４８を備える。
【００４２】
誘目度マップ部１４８は、画像毎に、算出された誘目度とそのＸＹ座標上の位置とを対応付けた誘目度マップ（これについては後述する。）を生成する。誘目度マップは、各画素の輝度値を誘目度の値に置き換えたものに相当する。誘目度が任意のサイズ（ｎ×ｍピクセル：ｎ、ｍは正の整数）のブロック毎に定義される場合は、各ブロックにおけるすべての画素が同一の誘目度を有する（又は多解像度分解されピラミッド状になっている）と考えてよい。
【００４３】
クラスタリング部１４６は、上記の誘目度マップを誘目度の分布に応じてクラスタリングを行う。ここで、クラスタリングとは、類似した画像データ同士（又は画像パターン同士）を同じクラスにまとめることをいう。クラスタリング手法には、距離が近い画像データ等をまとめてグループ化する最短距離法などの階層化手法やｋ−平均法などの分割最適化手法がある。クラスタリング手法については後にも述べているが、基本的な動作としては、誘目度の分布に基づいて誘目度マップを幾つかのクラスタ（「セグメント」や「カテゴリー」ともいう。）に分割するものである。また、クラスタリングとは、「分類対象の集合（この場合は、誘目度マップ上の各誘目度が定義された点の集合）を“内的結合”と“外的分離”が達成されるような部分集合（この場合は、誘目度が定義された点のグループ）に分割すること」とも定義され、似ているもの同士をまとめる手法をいう。ここでは、誘目度マップを分類対象の集合としたときに、分割や分類がなされた部分集合を「クラスタ」と呼ぶことする。例えば誘目度マップ上の誘目度の分布が４箇所に局所的に存在している場合に、それらを４つのカテゴリーに分割することに相当する。
【００４４】
閾値決定部１４７は、誘目度マップ上での誘目度の判定を行う際の閾値のコントロールを行う。具体的には、クラスタリング部１４６において分割されたクラスタの個数や大きさ等が、ユーザ等から受け付けた条件を満たさない場合に、閾値を増大又は減少させる。なお、閾値決定部は、判定手段の一例である。
【００４５】
以下、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８）の機能について、詳細な説明を行う。なお、上記各指定部に対する入力は、ユーザが行ってもよいし、制御プログラム等を介して入力することとしてもよい。
【００４６】
形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８は、キーボードやマウスなどを備え（又は制御プログラムの実行によって）、ユーザ等から、興味領域を抽出するための条件や指示を受け付ける。なお、形状指定部、大きさ指定部、位置範囲指定部および個数指定部は、指示入力手段の一例である。
【００４７】
形状指定部１１２は、ユーザ等から抽出したい興味領域の形状（例えば、円形や矩形、楕円形など）の指定を受け付ける。なお、形状の種類はこれらの形に限らず任意の形状を受け付けることができる（後述するが、図５（ａ）は、ユーザ等から抽出したい興味領域の形状として、大きさの異なる２つの円形の興味領域が指定された場合の一例である）。
【００４８】
大きさ指定部１１４は、ユーザ等から抽出したい興味領域（ＲＯＩ）の大きさ（例えば、ピクセル数による絶対サイズや、画像の縦横サイズに対する比で表現した相対サイズなど）の指定を受け付ける。この際、サイズによる指定以外に、「抽出され得る最大の興味領域のサイズに対する比」で指定したり、「２番目に大きい領域」、「特定のサイズに内包される最も大きい領域」など、サイズに代わる属性を受け付けることとしてもよい。この場合、画像の内容に応じてサイズそのものは動的に変化する場合がある（図５（ａ）を参照）。
【００４９】
形状の大きさは、上記で表記した方法に限らず、画像の内容に応じて動的に変更するもの、又は動的に変化しないものを含め、任意の指定方法によって指定されてもよい。
【００５０】
位置範囲指定部１１６では、抽出したい興味領域の位置や範囲の指定を受け付ける。例えば、ピクセル数による絶対位置（絶対点）や、画像の縦横サイズに対する比で表現した相対位置（相対点）などの指定を受け付ける。
【００５１】
点の個数や指定形態とその利用方法（興味領域を抽出する時のルール）は、任意の方法を用いることができる。
【００５２】
つまり、上述のように、「興味領域の位置を点で指定した場合に指定した点を必ず含むように興味領域を抽出する」ことはもちろん、「複数の点が指定された場合に優先順位を設けて優先順位の高い点をなるべく含むように抽出する」ことや、「複数の点を内包するような領域として興味領域を抽出する」など、点の個数や指定形態とその利用方法は、任意に選択することができる。
【００５３】
さらに、指定する（指定できる）点の個数は、単数でも複数でもよい。また、興味領域の抽出時の条件として、指定された点を全て含む場合や少なくとも１つを含む場合など、「必ず含む」ことを条件としてもよく、また、「なるべく含むようにする」など曖昧な条件（ベストエフォート型）であってもよい。
【００５４】
また、点によって位置の指定を受け付けるだけでなく、範囲による指定を受け付けてもよい。この場合は、点で指定された場合と同様に、範囲の大きさや個数とその利用方法は任意に選択することができるものとする。例えば、「指定された範囲の少なくとも２０％を含むように興味領域を抽出する」、「指定された範囲の内部から興味領域を抽出する」、「指定された範囲が複数の場合、少なくともどちらか一方の範囲を５０％以上含むように興味領域を抽出する」などが考えられるが、もちろんこの限りではなく、点の場合と同様に、優先順位を設けたり、範囲について確率分布による重み付けを行って定義し、なるべく確率が高くなるように領域を抽出するなど、出願時点での技術水準において施行者が実現できる範囲での数学的・統計的処理による任意の手法を用いることができる。
【００５５】
また、範囲の設定方法は、ユーザ等から具体的な範囲の指定を受け付ける（例えば、マウスやペンなどにより範囲の指定を受け付ける）他、点を指定すると自動的に所定の範囲を設定できるようにする方法など、任意の既存のユーザインタフェースを用いることとしてもよい。
【００５６】
また、個数指定部１１８は、指定される興味領域の個数条件と組み合わせることもできる。例えば、「少なくとも１つは必ず指定された点を含むように抽出する」など、指定点の個数とその利用方法は、抽出する個数条件と併せて任意に設定することができる。
【００５７】
個数指定部１１８は、ユーザ等から抽出したい興味領域の個数の指定を受け付ける。先の位置範囲指定部１１６における、点の指定方法の場合と同様に、指定する興味領域の個数は単数でも複数でもよい。また、指定する興味領域の個数や指定形態とその利用方法（興味領域の抽出や利用に関するルール）は、任意のケースを用いることができる（後述するが、図５（ａ）は、２つの興味領域が指定された場合の一例を示す）。
【００５８】
すなわち、興味領域の抽出時の条件として、指定された数になるよう必ず抽出する（抽出が困難の場合であっても、指定個数の出力を最優先する）場合や、ベストエフォート型として、なるべく指定された個数になるように出力する場合など、指定条件は任意であってもよい。
【００５９】
なお、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６および個数指定部１１８を介して受け付ける条件や指示は任意の条件等とするが、受け付けた条件を少なくとも１つは利用して興味領域の抽出を行うこととする。
【００６０】
本実施の形態１では、ユーザ等からの指示を受け付けるインタフェースとして、形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８を備えることとしたが、これらは上記の構造でなくともよい。実際の利用条件に即して、必要な指示を入力するために必要なインタフェースのみを備えた画像処理装置として構成を単純化しても、もちろんよい。
【００６１】
また、形状、大きさ、位置、範囲、個数のほか、興味領域の抽出に対して指定したい要素を別途入力する為のインタフェースを設けてもよい。
【００６２】
例えば、複数の興味領域（ＲＯＩ）を抽出したい場合に、互いの興味領域が重ならないように指定できるインタフェースや、互いの興味領域の距離をコントロールするインタフェース、互いの大きさをコントロールする（複数の興味領域を抽出する場合に、「１つだけ他より大きな領域として抽出する」、「全ての興味領域をほぼ同一の大きさで抽出する」などを行う）インタフェースなどを設けてもよい。もちろん、別途入力する為のインタフェースは上記の限りではなく、興味領域の抽出をコントロールできる範囲で任意の指定を受けるインタフェースを設けてもよい。
【００６３】
次に、画像から興味領域を抽出する際に必要な画像内の局所的な誘目度を算出する方法について説明する。
【００６４】
誘目度は、誘目度算出部１２２と誘目度算出用画像処理部１２４によって算出される。誘目度算出部１２２は、画像の局所的な誘目度を算出する。誘目度算出用画像処理部１２４は、誘目度算出部１２２における誘目度の算出に必要な画像処理を行う。
【００６５】
誘目度算出用画像処理部１２４における画像処理としては、従来の興味領域抽出手法やヒトの注視モデルを用いることができる。例えば、画像中の局所的な誘目度（ヒトの注視モデル）を求める手法については、上記従来技術に記載されている。いずれも画像の局所的な差分をベースに注視モデルを構築している。
【００６６】
上記従来技術の手法を、誘目度算出部１２２と誘目度算出用画像処理部１２４に当てはめると、注視モデル（数式）による誘目度の算出に相当する部分が誘目度算出部１２２に当てはまり、差分処理を始めとする画像処理部分が誘目度算出用画像処理部１２４に当てはまる。
【００６７】
また、興味領域を抽出する手法としては、上記従来技術のように、画像の局所的な「誘目度」を定義する手法もある。これらの例では、画像を多くの解像度（以下「高解像度」という。）で分解し（画像ピラミッド構造とし）、各解像度で明度分布の差や隣接ブロックとの色相差等を求めた上で、各解像度での誘目度の算出値を所定の重み付けをもって合算し、位置による重みを付加して最終的な「誘目度」を算出している。
【００６８】
このように、誘目度算出用画像処理部１２４は、多解像度による分解と色相変換機能を有する。もちろん、ノイズ除去や正規化（ヒストグラムイコライザやダイナミックレンジの調整など）、スムージング（ぼかしやローパスフィルタ、ガウシアンフィルタなど）やエッジ強調などの一般的なフィルタ処理、ＯＰＥＮＩＮＧやＣＬＯＳＩＮＧによるモフォロジ変換など、既存の画像処理技術を組み合わせて、誘目度の算出性能を向上させることもできる。特に、フィルタやモフォロジ変換によるノイズ除去は、孤立的なノイズに対して誘目度が高くなりすぎることを防ぐために有効である。また、スムージング処理は、上記従来技術におけるスケールスペースにもつながる処理であり、画像中の個々の要素（個々の画素や個々のブロック）に対してスケールスペースを定義し演算する代わりに、ガウシアンフィルタを画像全体にかけることで代用できる。
【００６９】
誘目度算出部１２２は、各解像度における各層の誘目度を算出し、各層における算出値についての重み付けを考慮して最終的な誘目度を算出する。
【００７０】
また、興味領域の抽出方法は、上記のような対象物を特定しない処理（画像を大局的に処理する手法）だけではなく、上記従来技術のように対象が特定されている場合の処理を用いてもよい。上記従来技術では、ＭＲＩ画像から脳領域を興味領域として抽出している。
【００７１】
また、ヒトや顔の検出や文字認識、更には一般的なオブジェクトの検出や認識など、一般にテンプレートやニューラルネット、ＢＯＯＳＴＩＮＧ等を用いて行う検出、判別および認識技術を興味領域の抽出方法として用いることもできる。
【００７２】
このような検出対象が予め確定している処理（ルールベース型／テンプレート型の処理）では、一般に対象物の検出や認識に際して、内部的にマッチングや判別処理が行われ、対象物の確からしさが求められる。その確からしさが所定の値以上である場合には対象物が検出されたとみなされる。対象物を認識する場合も同様である。
【００７３】
これら任意のルールベース型検出における、対象物の「確からしさ」算出を誘目度の算出に用いてもよい。更に、確からしさに対象物の種類に応じた係数を乗じて誘目度してもよい。例えば、顔なら係数「２．０」、花なら「１．０」、犬なら「１．５」といったように、対象に対する誘目性の差を係数で表現してもよい。
【００７４】
ちなみに、上記従来技術の分野では、対象物に関する何らかの情報が既知であるとするルールベース型の処理のことを「トップダウン型」の画像処理であると呼び、画像の内容や対象物に関する情報が既知ではない処理を「ボトムアップ型」の画像処理と呼ぶことで区別している。
【００７５】
さて、次に、状態表示部１３２の機能について説明する。
【００７６】
状態表示部１３２は、誘目度算出部１２２や誘目度算出用画像処理部１２４、後述の領域生成条件設定部１４２における処理状況や条件設定状況をユーザに提示する。例えば、液晶パネルやＬＥＤなど、任意の手段を用いて各状況をユーザに提示する。
【００７７】
例えば、誘目度算出用画像処理部１２４における画像処理結果を表示してもよい。また、誘目度算出部１２２で算出された画像の各部位での「誘目度」を可視できるように加工して表示してもよい。
【００７８】
例えば、図２に原画像２００と誘目度算出用画像処理部１２４で多解像度変換された画像例としてモザイク画像２０２を模式的に示している（原画像２００やモザイク画像２０２の各ブロックは、本来であれば濃淡値を持っているのであるが、図中ではディザ誤差拡散により白黒２値で濃淡を仮想的に表現していることを予め断っておく。以下の画像例でも同様である。）。
【００７９】
ここで、「誘目度」として、エッジの強さのみを用いて定義する場合について説明する（もちろん、上述のように誘目度は種々の方法によって算出が可能であるが、ここでは端的な例を用いる）。更に、簡略化のために、エッジの強さを線分の密集度で表現したものを用いる。図３は、エッジ検出を行った画像の一例である（本来は誘目度の値を濃淡で表現したいが、２値図面では不可能であるため図３のように模式的に示している。）。
状態表示部１３２は、図２（ｂ）のモザイク画像２０２や図３のエッジ検出画像３００を表示する。これにより、ユーザは、画像処理状況や誘目度分布を知ることができる。
【００８０】
なお、状態表示部１３２は、各指定部（大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８など）と同様、本実施の形態１における必須の構成要素ではない。必要に応じて取捨選択が可能な構成要素である。
【００８１】
次に、領域生成条件設定部１４２及び領域生成部１４４の機能について説明する。上記で述べたように、領域生成部１４４は、誘目度に基づいて興味領域を決定する。このときの決定条件を領域生成条件設定部１４２が指定する。
【００８２】
領域生成条件設定部１４２が興味領域決定条件を設定する時には、各指定部（形状指定部１１２、大きさ指定部１１４、位置範囲指定部１１６、個数指定部１１８）におけるユーザ等からの指示に基づいて設定する。
【００８３】
形状指定部１１２において興味領域の形状が指定された場合、興味領域がその形状になるように興味領域決定条件が設定される。大きさ指定部１１４において興味領域の大きさが指定された場合、興味領域がその大きさになるように興味領域決定条件が設定される。個数指定部１１８において興味領域の個数が指定された場合、興味領域がその個数になるように興味領域決定条件が設定される。以下、具体例を挙げて説明する。
【００８４】
図４（ａ）は、原画像の一例を示す図である。図４（ａ）は、原画像４００内にオブジェクトＡ４１０、オブジェクトＢ４１２、オブジェクトＣ４１４およびオブジェクトＤ４１６が写っている状態を模式的に示した図である。
【００８５】
図４（ｂ）は、原画像４００に対してモザイク処理を行い、エッジ抽出を行った例をエッジ画像４４０として模式的に示している。上記の例と同様に、便宜上、エッジ画像４４０中の各ブロックの濃淡の度合いに合致するエッジの強度を表している。
【００８６】
ここで、形状指定部１１２によって、興味領域の形状として円形が指定され、大きさ指定部１１４から興味領域の大きさとして所定の大きさが指定されたとする。例えば、図５（ａ）に示すように、原画像５００全体の横幅に比べて、１つは横幅が２分の１程度の大きさの円を、もう１つは４分の１程度の大きさの円が指定されたとする。さらに、個数指定部１１８によって、興味領域の個数として「２個」が指定されたとする。原画像５００内のサイズ例Ａ５０２とサイズ例Ｂ５０４が、形状指定部１１２、大きさ指定部１１４および個数指定部１１８による指定された興味領域を決定する際の条件である。「２つの興味領域を、それぞれおおよそ図５（ａ）に示す大きさで、円形の興味領域を抽出する」という条件である。このとき、図５（ａ）において破線で示されている変動許容幅５０６のように、（この場合は、サイズ例Ａ５０２の）大きさの変動を許容する範囲を設定してもよい。なお、この変動許容幅５０６の有無や具体的な直径等は、事前にプリセットで定義してもいいし、各指定部を通じてユーザ等から受け付けてもよい（上記の例では、サイズ例Ａ５０２の直径の±２０％として設定している。）。
【００８７】
領域生成条件設定部１４２は、このように各指定部からの指定に基づいて興味領域を決定する際の条件を設定する。
【００８８】
領域生成部１４４は、サイズ例Ａ５０２とサイズ例Ｂ５０４に応じた興味領域の抽出を行う。サイズ例Ａ５０２に応じた領域を抽出する具体的について、図５（ｂ）を用いて説明する。
【００８９】
説明を簡略化するために、エッジ画像４４０の中のエッジ強度（図５（ｂ）において、各ブロックの色が黒いほどエッジが強いとする。）が、そのまま誘目度に相当するものとする。つまり、エッジ画像４４０が誘目度の強弱を示す誘目度マップである。以後、特に誘目度を用いた説明では、エッジ画像４４０を誘目度マップ４４０と呼ぶことにする。
【００９０】
さて、図５（ｂ）に示すように、誘目度マップ４４０中を、変動許容幅５０６を持ったサイズ例Ａ５０２が、ちょうどパターンマッチングと同様にスキャンする。円上の誘目度の合計（誘目度スコア）が最も高くなる位置を探すことに相当する。一般的なパターンマッチングと若干相違する点として、円内部の誘目度は誘目度スコアに寄与せず、円周上に属するブロックの誘目度のみが誘目度スコアに寄与している点がある。もちろん、一般的なパターンマッチングアルゴリズムをそのまま適用してもよいが、興味領域境界線上ではなく興味領域内部の誘目度を過大に評価することにつながり、興味領域出力の品質（興味領域内に適切にオブジェクトなどが配置されているかどうか）に影響を及ぼす可能性があるため、興味領域境界線上及び興味領域内部に属するブロックの誘目度の双方を誘目度スコアとして用いる際には、輪郭線からの距離などによる重み付けなどでチューニングする必要がある。
【００９１】
誘目度マップ４４０中を、誘目度スコアが最大となるようにサイズ例Ａ５０２でパターンマッチングと同様に走査した結果、得られる興味領域が、図５（ｂ）に示すＲＯＩ決定例Ａ５４２である。同様に、サイズ例Ｂ５０４に対応した興味領域が、図５（ｂ）に示すＲＯＩ決定例Ｂ５４４である。円形という指定がない場合は、楕円形などに変形しても、もちろんよい。
【００９２】
上記の例では、パターンマッチング的な手法のみを用いて説明したが、具体的な興味領域の位置の決定や興味領域そのものの形状変更を伴う位置の決定は、パターンマッチング的な手法以外でも実現可能である。
【００９３】
例えば、ＳＮＡＫＥＳに代表される動的輪郭抽出技術を応用することもできる。動的輪郭抽出技術は、輪郭を抽出することを目的として、輪郭のエネルギーを定義して画像中で最もエネルギーが最小となるように輪郭を変化させていく手法で、典型的なエネルギー収束演算による抽出方法である。
【００９４】
パターンマッチング的手法の例では、誘目度スコアが最大になるようにマッチングを行ったが、動的輪郭抽出技術における「輪郭のエネルギー」を「誘目度スコア」と読み替え、最大化ではなく最小化するように収束演算を行うことで、動的輪郭抽出技術を応用することが可能である（誘目度スコアを正負反転させてエネルギーとする）。
【００９５】
動的輪郭抽出技術では、輪郭上に所定数（例えば２０点）の制御点を配置し、それぞれの制御点に対して、移動変形先候補と言える候補点を設定する。各制御点がそれぞれの候補点のいずれかに移動した場合のエネルギーを計算し、最小となるエネルギー値を持つ場合の候補点を次の制御点とすることで、収束演算を行う。
【００９６】
ここで、形状指定部１１２から興味領域の形状として円形が指定された先の例のように、形状に対する指定が有る場合には、エネルギーそのものが「円形」以外のときに極大値をとるように設計する方法や、収束し終わった段階で円形に補正する方法などを用いることができる。このようなエネルギーの定義についても、領域生成条件設定部１４２で行ってもよい。
【００９７】
なお、領域生成条件設定部１４２及び領域生成部１４４の構成は、上記の例に限定されるものではなく、他の既存技術を用いて構成してもよいことは云うまでもない。
【００９８】
図５に示す実施例では、２つの興味領域（興味領域決定例Ａ５４２及び興味領域決定例Ｂ５４４）が、重なることなく抽出されているが、複数の興味領域を抽出する際には、相互に重なっているか否かの判定が必要になる場合もある。例えば、各指定部から重なりを許容するか否かについて指定されている場合や、本画像処理装置１００として重なりを認めないようにプリセットされる場合などである。
【００９９】
興味領域が重なっているかいないかについての判定そのものは、既存技術で容易に実現可能であるが、優先的にどのオブジェクトを一まとめにして興味領域として出力するかといった問題は別途発生する。機械的に、「最初の興味領域は画像全体から最も誘目度スコアの高い位置を抽出」し、「以降は残りの領域から最も誘目度スコアの高い位置を抽出する」という手法でもよいが、よりユーザの要求に近い出力をさせる。
【０１００】
具体的なケースとして、図８（ａ）、図８（ｂ）のような画像の場合を考える。原画像８００に対して、個数指定部１１８によって、興味領域として抽出する個数として「６個」及び「２個」と指定されたとする。このとき、単純に誘目度の高い領域から順に興味領域を選択すると、概して、図８（ｂ）に示すように、興味領域８２２と興味領域８２４の２つがまず興味領域として選択される。
【０１０１】
もちろん、誘目度の算出方法及び領域の選定方法によっては、その他の領域が興味領域として選択されることも有り得るが、ここでは、先のエッジ強度に基づいて誘目度を算出しているものとする。また、興味領域の内部にテクスチャの無い領域が有る場合には、興味領域として誘目度スコアが下がるような設計をしているものとする（つまり、興味領域８２２と興味領域８２４の間の領域を興味領域として抽出したり、興味領域８２２と興味領域８２４を内包する大きな領域を興味領域として抽出したりすることが無いような設計になっているものとする。）。
【０１０２】
ここで、個数指定部１１８から興味領域抽出個数が２個に指定されている場合は、特に問題なく興味領域８２２と興味領域８２４を興味領域として出力すればよい。
【０１０３】
しかし、興味領域として抽出する個数を「６個」とする指定がなされ、さらに、興味領域同士が重ならないような設定がなされた場合には、主に比較的無意味な（人間が見て主観的にあまり意味を感じないような）白い領域から残り４個の興味領域が選ばれることになる。
【０１０４】
上記の「よりヒトの主観に近い（よりユーザの要求に近い）出力を目指す」ためには、この例でいえば「６個」と指定されたときに、最初の「２個」として興味領域８２２と興味領域８２４を抽出するのではなく、図８（ａ）のように、興味領域８１２、興味領域８１３、興味領域８１４、興味領域８１５、興味領域８１６および興味領域８１７（以下「６領域」という。）が出力されることがより良いことは自明である。
【０１０５】
ここで、「６個」の指定がされた場合に６領域が抽出されるようにするには、誘目度を階層的に捉えると良い。先述の誘目度算出の説明の際に、画像を多解像度に分解する例を示したが、同様に考えることができる。
【０１０６】
図９（ａ）、図９（ｂ）は、上記図８における原画像８００を２段階のブロックサイズでモザイク化した例を示した図である。いうまでもなく、原画像８００を多解像度に分解した模式例である。図９（ａ）のモザイク画像Ａ９００と図９（ｂ）のモザイク画像Ｂ９１０のように、複数の解像度で表現し、それぞれエッジ強度を求めたものが図１０(ａ)、図１０(ｂ)である。上記図３と同様、線分の密集度でエッジの強度を便宜的に表現している。エッジ画像Ａ１０００とエッジ画像Ｂ１０１０とを見比べると、エッジ画像Ｂ１０１０がより大局的なエッジの分布を、エッジ画像Ａ１０００がより局所的なエッジの分布を捉えていることが分かる。
【０１０７】
このように多解像でエッジ強度を順次求めていき、これまでの例と同様にエッジ強度を誘目度と読み替えて、誘目度マップを生成した例を図１１に示す。
【０１０８】
図１１は、原画像８００を複数の多解像に分解し各解像度でエッジ強度を求め、エッジ強度を誘目度と読み替えた場合の誘目度マップを模式的に表現している（誘目度マップ１１００）。
【０１０９】
ここで、高さ方向は誘目度の高さを表している。
【０１１０】
この誘目度マップ１１００は、ちょうど地図を等高線で輪切りにするように、ある値（誘目度）で輪切りにした状態で示している。誘目度マップ１１００中の黒い部分が輪切りにされている領域を示している。
【０１１１】
ここで、図１１の誘目度マップ１１００は、６つの輪切りにされた領域を有している。その１つが興味領域１１１０である。この輪切りを行う高さを変化させた例が、図１２である。図１２の誘目度マップ１２００は、上記図１１よりも低い値で輪切りにされている。便宜上、主な断面を黒点で示している。また、参考として、上記図１１で作られた断面（興味領域１１１０ほか）を、図１２中において点線で囲まれた領域として示している。
【０１１２】
ここで、誘目度マップ１１００と誘目度マップ１２００は、全く同一であることに注意すると、高さを変えながら断面を見ていくことで、興味領域として抽出できる領域数を変化させられることに気付く。
【０１１３】
より上位（誘目度が高い）の領域は、より下位のより広い領域に内包されるものとして、階層的に注目領域の候補を生成することで、よりユーザの要求に合致する領域を興味領域として出力することができる。もちろん、実際には、例えば興味領域１１１０に相当する領域が明示的に抽出できないケースも有り得る。つまり、誘目度マップを上位から断面をしてみていった場合に、どの点とどの点が１つの領域をなすのか判断しにくい場合がある。そのような状況に対しては、既存のクラスタリング手法（例えば、最短距離法などの階層的手法やｋ−ｍｅａｎｓなどの分割最適化手法）やＢＯＯＳＴＩＮＧ法などの判別手法を取り入れることで、判断の精度を上げることができる。また、画像中から既存のテンプレートマッチなどでオブジェクトを抽出し（完全なオブジェクト抽出となっていなくともよく、大体の位置形状が分かる程度のオブジェクト抽出でよい。）、その結果を誘目度のクラスタリングに用いてもよい。
【０１１４】
ここまでの説明で、誘目度マップ及び誘目度マップを用いたクラスタリング手法について説明を行ってきたが、誘目度マップの生成は、前述の誘目度マップ部１４８で行ってもよい。また、クラスタリングは、クラスタリング部１４６で行ってもよい。
【０１１５】
図１３は、上記の図１１及び図１２における誘目度マップと閾値（断面）の関係を簡略化し、閾値決定部１４７の動作として説明した図である。
【０１１６】
図１３は、画像を走査線１３１０で横切った場合の誘目度の変化を模式的に示している。閾値Ａ１３０２、閾値Ｂ１３０４、閾値Ｃ１３０６でそれぞれ興味領域を抽出した場合を示している。閾値を変化させることで、ユーザ等からの興味領域の大きさや形状指示により適合した領域を、誘目度の算出式を変更することなく抽出することができる。
【０１１７】
また、図１３中の閾値Ａ１３０２、閾値Ｂ１３０４、閾値Ｃ１３０６それぞれを用いた場合に構成される各ＲＯＩに対応する誘目度によって、クラスタが構成されていると解釈することもできる。閾値Ａ１３０２の場合には、誘目度が閾値Ａ１３０２よりも高い二つのクラスタと、低い３つのクラスタ（画像例でのＲＯＩ−３の外部左側、ＲＯＩ−３外部右側からＲＯＩ−７外部左側、ＲＯＩ−７外部右側がそれにあたる。）の計５つのクラスタである。もちろん、単に閾値を変化させるだけではなく、前述のクラスタリング手法を用いて、この誘目度をクラスタに分割してもよいことは云うまでもない。
【０１１８】
また、このとき、クラスタリングを複数回行うことで（例えば閾値を、閾値Ａ１３０２と閾値Ｂ１３０４の２つを用いてそれぞれクラスタリングして）、いずれかのクラスタリング結果の領域と別のいずれかのクラスタリング結果の領域から、その和集合や積集合を興味領域として選択してもよい。また、複数回のクラスタリング手法がそれぞれ異なるものでもよい。
【０１１９】
以上が、形状指定部１１２から興味領域の形状が指定された場合、大きさ指定部１１４から興味領域の大きさが指定された場合、個数指定部１１８から興味領域の個数が指定された場合の興味領域を決定する際の条件及び興味領域を生成する具体例である。
【０１２０】
同様に、位置範囲指定部１１６から興味領域の位置が指定された場合、興味領域がその位置になるように、もしくは、その位置からの距離に応じて重み付けを付加して興味領域が抽出されるように、興味領域決定条件が設定される。
【０１２１】
これについても、具体例を挙げて説明する。
【０１２２】
ここでは、ユーザ等から画像の中心の位置を指定された場合を考える。必ず指定された位置を含むように抽出することは簡単に実行できるため（指定位置を含まないような興味領域を出力しなければ良い）、以下の例では、なるべく画像の中心に近い興味領域を抽出するための手法を説明する。
【０１２３】
上記図６（ａ）は、誘目度マップに対する重みを設定した場合の一例を示す図である。ここでは、より黒い領域ほど重みが強いことを示している。この重み設定を誘目度マップと掛け合わせることで、中心により重きを置いた興味領域の抽出が可能となる。
【０１２４】
なお、上記図４、図５の説明の時と同様に、エッジ画像４４０を誘目度マップと読み替えることにする。このエッジ画像４４０（誘目度マップ４４０）に、重み設定６００を掛け合わせてできた新しい誘目度マップが、上記図６（ｂ）の重み付きエッジ画像６４０である。模式的に示しているが、エッジ画像４４０（誘目度マップ４４０）と較べて、指定位置（中心）付近のエッジ（誘目度相当）が強調され、指定位置から遠いエッジ（誘目度相当）が弱く描画されていることが分かる。
【０１２５】
この重み付きエッジ画像６４０に対して、図５と同様にパターンマッチング的に興味領域を決定した例が円領域６４２である。いうまでもなく、指定位置（中心）に近い領域を興味領域として出力できる。
【０１２６】
次に、各出力部の機能について説明する。
【０１２７】
画像出力部１５２、ステータス出力部１５４および領域情報出力部１５６は、例えば液晶パネルを備え、それぞれ処理後の画像や処理ステータス、興味領域の情報（座標やサイズなど）を出力する。
【０１２８】
ここでステータス出力部１５４は、興味領域抽出が成功したか否かといった情報のほかに各処理中の処理状況をログとして出力することもできる。状態表示部１３２と同様又はその代用として、本実施の形態における各処理をモニターするものとして用いてもよい。
【０１２９】
なお、画像出力部１５２やステータス出力部１５４は、各指定部（大きさ指定部１１４など）と同様に、本実施の形態における必須の構成要素ではない。必要に応じて取捨選択が可能な構成要素である。
【０１３０】
図７（ｂ）は、原画像２００に対する興味領域抽出の結果（興味領域抽出画像７０２）を示す図であり、画像出力部１５２における画像出力例である。
【０１３１】
次に、本発明に係る画像処理装置１００の動作について説明する。
【０１３２】
図１４は、画像処理装置１００における処理の流れを示すフローチャートである。
【０１３３】
最初に、画像入力部１０２を介して画像を入力し（Ｓ１００）、形状指定部１１２〜個数指定部１１８を介して、ユーザ等から指示を受け付ける（Ｓ１０２）。この場合に、大きさの指定を含み（Ｓ１０４：Ｙｅｓ）、さらに形状等の指定があった場合は（Ｓ１２０：Ｙｅｓ）、その旨を領域生成条件設定部１４２に通知する（Ｓ１２２）。
【０１３４】
次に、領域生成部１４４は、上記の指定条件に基づいて誘目度マップを生成するように誘目度マップ部１４８に指示する（Ｓ１２４）。さらに、領域生成部１４４は、従来と同様の手法を用いて最適なＲＯＩを選択する（Ｓ１２６）。
【０１３５】
一方、ユーザ等からの指示に個数の指定が含まれている場合も（Ｓ１０６）、誘目度マップを作成する（Ｓ１０８）。この場合、作成した誘目度マップが指定された個数の条件を満たさない場合は、所定の閾値を変えて、再度上記処理を繰り返す（Ｓ１１０、Ｓ１１２）。
【０１３６】
さらに、上記のように特定されたＲＯＩについて、形状が指定されている場合は（Ｓ１１４）、その形状にＲＯＩを変形する。
【０１３７】
最後に、上記の処理で特定されたＲＯＩを表示する（Ｓ１１８）。
【０１３８】
なお、本実施の形態１の説明では画像全体から興味領域を抽出しているが、予め決められた範囲、もしくは指定された範囲から抽出してもよい。抽出する対象範囲を指定するためのインタフェースを設けてもよい。
【０１３９】
なお、上記図１４の説明では、Ｓ１０４で大きさの指定の有無を判定した後に、個数指定の有無を判定しているが、この構成に限らず、大きさの指定に対応する処理と形状指定に対応する処理、個数指定に対応する処理をそれぞれ独立に機能させてもよく、それぞれの依存関係（フローチャートにおける上流や下流の関係など）は、仕様要求等に応じて任意にシステム化することが出来る。
【０１４０】
ここで、個数指定部１１８のその他の機能について説明を加える。
【０１４１】
上記の手法の外に、閾値を変えながらクラスタリングを実施し、その結果として得られたクラスタ数が個数条件を満たした場合、おのおのクラスタに基づいてＲＯＩとして出力される領域を決定してもよい。このとき、閾値を変えることによって、クラスタリングされるデータ数（データ分布）そのものが変化する。一般にデータ処理を行う場合、すなわち特定のデータから何らかの有意な特徴を解析したい場合において解析対象となるデータそのものを改変することは、無意味である。例えば、統計処理を行う際にその母集団データを変化させると解析そのものの意味が失われる。
【０１４２】
しかし、今回のように画像内の特徴（興味領域）を画像中から抽出したい場合においては、特徴解析を行うクラスタリングの対象となるデータ分布が変化することに意味が生まれる。一般のクラスタリングアルゴリズムの最適化や効率化とは異なり、クラスタリング手法そのものではなく、入力データ分布を変化させることに意味が出てくる。
【０１４３】
これについて、図１５〜図１７を用いながら具体的に説明する。ここでは、入力される指示として、４つの興味領域の抽出が指定されていた場合を考える。こ図１５（ａ）〜図１５（ｄ）は、クラスタリング対象となるデータの分布と閾値、生成クラスタの関係を２次元的な模式図で示した図である。
【０１４４】
閾値Ａを超える誘目度の点が、図１５（ａ）に示すように分布しているとする。
ここで図１５（ａ）は、横軸をｘ方向（画像の幅方向）、縦軸をｙ方向（画像の高さ方向）とし、誘目度が閾値Ａを超える画像データが存在する座標をプロットしている。例えば点Ａは、画素（ｘ１，ｙ１）に対応する誘目度であるとする。
【０１４５】
図１５（ａ）に対し、一般的なクラスタリング手法を用いてクラスタに分けた場合、おおよそ図１５（ｂ）のように２つに分類されることが予想される。従来のクラスタリング手法の最適化方法や効率化方法であれば、如何に最適な２つの領域とするか、又は如何に２つの領域を４つに分類できるようにするかがテーマとなる。しかし、本手法では、閾値を変えることによって画像データの分布そのものを改変することが出来る。
【０１４６】
図１５（ｃ）に、閾値Ａから閾値Ｂに変更した場合の画像データの分布例を示す。仮に閾値Ａは閾値Ｂより大きいとする。図１５（ｃ）では、星型の点は閾値Ａを超える点、丸型の点は閾値Ａを超えず閾値Ｂを超える点を表している。
図１５（ｃ）に対して同様に一般的なクラスタリング手法を用いた場合、図１５（ｄ）のように４つのクラスタに分類されることが予想される。その結果、入力指示として４つの興味領域の抽出が指定されているので、この場合は閾値Ｂでのクラスタリング結果を用いてそれぞれのクラスタに属するデータから興味領域を設定すればよい。出力される興味領域は、例えば図１５（ｄ）の各クラスタを囲む楕円形などである。
【０１４７】
図１６は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一次元的に示した図である。横軸に座標（画像を一次元的に表している）を、縦軸に誘目度を表している。図１６の誘目度グラフにおいて、誘目度が閾値Ａ又は閾値Ｂを越える点をそれぞれ楕円形の黒い点で示している。実際には誘目度グラフは離散値である（画素単位での離散値）。
【０１４８】
閾値Ａの画像データでは、データ数が６個しか得られず、クラスタは２つ生成されたのみである（クラスタＡ１６２１とクラスタＡ１６２２）。閾値Ｂでは、クラスタＢ１６１１〜クラスタＢ１６１４まで４つのクラスタが生成されている。図１６では、比較のため従来のＲＯＩ設定方法も示している。
従来のＲＯＩ設定方法では、誘目度が所定の値（ここでは閾値Ｂ）を超えた場合、超えた点を全て内包もしくは内接する領域（例えば矩形）を持って、興味領域としている。１次元的に書くと、従来ＲＯＩ（１６０１）が相当する。２次元的に書くと、図１５（ａ）の従来ＲＯＩ（１５０１）が相当する。本発明が、従来の画一的な興味領域の設定方法とは全く異なり、データ分布に柔軟に興味領域が抽出できることが、図１６に示す従来ＲＯＩ（１６０１）と、誘目度についての閾値Ａ又は閾値Ｂに基づくクラスタリング結果との比較から分かる。ここで、誘目度の分布は画像によって異なる。そのため、閾値と得られるデータ数、そしてクラスタ数には一般的な法則性が無いが、閾値をより適切に設定することで、クラスタリングを何度も繰り返す必要を減らすことができる。
【０１４９】
例えば、ある画像において、閾値１ではクラスタが８個生成され、閾値２ではクラスタが６個生成され、閾値３ではクラスタが２個生成されたとする。グラフで書くと図１７のようなイメージになる。
【０１５０】
入力された指示として「４個」の興味領域の抽出が指定されている場合には、閾値２と閾値３の間にクラスタを４個生成するであろう「閾値４」の存在が予測される（上記の予測状況を図１７中の１点鎖線で示す）。誘目度は画像の内容に応じて変化するため、必ず閾値４が存在するとは限らないが、画像の内容が極めて特殊な場合を除き、上記の推測が成立する可能性は高いと考えられる。
【０１５１】
そこで、閾値４を閾値２と閾値３の間に設定することで、適切な閾値設定が可能となる。
【産業上の利用可能性】
【０１５２】
本発明に係る画像処理装置は、単一の静止画像もしくは複数の静止画像群や動画像から、ユーザの要求（興味領域の形状、大きさおよび個数など）に則した興味領域の抽出を行う手法を提示し、画像自動編集装置などに有用である他、画像を蓄積、管理又は分類するシステムにも有用である。
【図面の簡単な説明】
【０１５３】
【図１】図１は、本実施の形態における画像処理装置の機能構成を示したブロック図である。
【図２】図２（ａ）は、原画像の例である。図２（ｂ）は、多重解像度画像をモザイク画像として示した模式図である。
【図３】図３は、モザイク画像に対してエッジ検出を行った模式図である。
【図４】図４（ａ）は、原画像の例である。図４（ｂ）は、多重解像度画像をモザイク画像として示した模式図である。
【図５】図５（ａ）、（ｂ）は、抽出する領域の形状や大きさが指定された場合の抽出例を示した模式図である。
【図６】図６（ａ）、（ｂ）は、抽出する領域の位置が指定された場合の重み分布例と抽出例を示した模式図である。
【図７】図７（ａ）は、原画像の例である。図７（ｂ）は、興味領域を抽出した一例を示す図である。
【図８】図８（ａ）、（ｂ）は、興味領域を抽出した一例を示す図である。
【図９】図９（ａ）、（ｂ）は、モザイク画像例を模式的に示した図である。
【図１０】図１０（ａ）、（ｂ）は、エッジ画像例を模式的に示した図である。
【図１１】図１１は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
【図１２】図１２は、誘目度マップと興味領域を立体的かつ模式的に示した図である。
【図１３】図１３は、誘目度マップと興味領域を模式的に示した図である。
【図１４】図１４は、本発明に係る画像出力装置の処理の流れを示すフローチャートである。
【図１５】図１５（ａ）〜（ｄ）は、クラスタリング対象となるデータの分布と閾値、生成クラスタの関係を２次元的な模式図で示した図である。
【図１６】図１６は、別の観点により誘目度の分布と閾値および生成クラスタの関係を一次元的に示した図である。
【図１７】図１７は、閾値と生成クラス多数の関係を示すグラフの一例である。
【符号の説明】
【０１５４】
１００      画像処理装置
１０２      画像入力部
１１２      形状指定部
１１４      大きさ指定部
１１６      位置範囲指定部
１１８      個数指定部
１２２      誘目度算出部
１２４      誘目度算出用画像処理部
１３２      状態表示部
１４２      領域生成条件指定部
１４４      領域生成部
１４６      クラスタリング部
１４７      閾値決定部
１４８      誘目度マップ部
１５２      画像出力部
１５４      ステータス出力部
１５６      領域情報出力部
２００      原画像
２０２      モザイク画像
３００      エッジ検出画像
４００      原画像
４１０      オブジェクトＡ
４１２      オブジェクトＢ
４１４      オブジェクトＣ
４１６      オブジェクトＤ
４４０      エッジ画像（誘目度マップ）
５００      原画像
５０２      サイズ例Ａ
５０４      サイズ例Ｂ
５０６      変動許容幅
５４２      興味領域決定例Ａ
５４４      興味領域決定例Ｂ
６００      重み設定
６１２      重みＡ領域
６１４      重みＢ領域
６１６      重みＣ領域
６１８      重みＤ領域
６２０      重み付け中央値
６４０      重み付きエッジ画像
６４２      円領域
７０２      興味領域抽出画像
８００      原画像
８１２      興味領域
８１３      興味領域
８１４      興味領域
８１５      興味領域
８１６      興味領域
８１７      興味領域
８２２      興味領域
８２４      興味領域
９００      モザイク画像Ａ
９１０      モザイク画像Ｂ
１０００      エッジ画像Ａ
１０１０      エッジ画像Ｂ
１１００      誘目度マップ
１１１０      興味領域
１２００      誘目度マップ
１２１０      興味領域
１２２０      興味領域
１３０２      閾値Ａ
１３０４      閾値Ｂ
１３０６      閾値Ｃ
１３１０      走査線
１６０１      従来のＲＯＩ
１６１１〜１６１４      クラスタＢ
１６２１、１６２２      クラスタＡ
１７０１      点Ａ
１７０２      点Ｂ
１７０３      点Ｃ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006082979.tif 000019
【図２】
2006082979.tif 000020
【図３】
2006082979.tif 000021
【図４】
2006082979.tif 000022
【図５】
2006082979.tif 000023
【図６】
2006082979.tif 000024
【図７】
2006082979.tif 000025
【図８】
2006082979.tif 000026
【図９】
2006082979.tif 000027
【図１０】
2006082979.tif 000028
【図１１】
2006082979.tif 000029
【図１２】
2006082979.tif 000030
【図１３】
2006082979.tif 000031
【図１４】
2006082979.tif 000032
【図１５】
2006082979.tif 000033
【図１６】
2006082979.tif 000034
【図１７】
2006082979.tif 000035
【国際調査報告】
2006082979.tif 000036
2006082979.tif 000037