(57)【要約】【課題】  入力画像に主被写体が存在しない場合に、どこかしらの領域を主被写体領域として検出することを防止する。【解決手段】  画像処理方法に、入力画像の複数の位置から特徴量を抽出する抽出工程と、前記入力画像における前記特徴量の分布を導出する導出工程と、前記入力画像の全体における前記特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定する判定工程と、前記判定工程において前記主被写体が存在しないと判定されれば、当該主被写体の不在を示す情報を出力する出力工程とを有する。【選択図】  図１
2019139810.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の複数の位置から特徴量を抽出する抽出工程と、
前記入力画像における前記特徴量の分布を導出する導出工程と、
前記入力画像の全体における前記特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定する判定工程と、
前記判定工程において前記主被写体が存在しないと判定されれば、当該主被写体の不在を示す情報を出力する出力工程と
を有することを特徴とする画像処理方法。
【請求項２】
前記判定工程では、前記特徴量の分布特性の不均一性に基づいて、前記入力画像中に主被写体が存在するかを判定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記出力工程では、前記主被写体の不在を示す情報を、主被写体領域を用いて処理を行う装置に出力することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記特徴量の分布に基づいて当該主被写体の位置を導出する位置導出工程をさらに有し、
前記判定工程において前記主被写体が存在すると判定されれば、前記出力工程では、当該主被写体の位置を示す情報を出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記出力工程では、前記主被写体が存在するか否かを二値で示す情報を出力することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記生成工程は、前記主被写体が存在する尤度を連続値で示す情報を出力することを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記特徴量は顕著度であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
【請求項８】
前記抽出工程において、前記顕著度は、前記入力画像の各画素について、該画素を含む第１の領域と当該第１の領域と異なる第２の領域とにより算出されることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記第２の領域は、前記第１の領域の近傍の領域であることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第２の領域は、前記入力画像全体の領域であることを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記判定工程では、前記入力画像を複数の領域に分割し、領域毎の特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記判定工程では、所定の条件を満たす特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
【請求項１３】
入力画像の複数の位置から特徴量を抽出する抽出手段と、
前記入力画像における前記特徴量の分布を導出する導出手段と、
前記入力画像の全体における前記特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定する判定手段と、
前記判定手段により前記主被写体が存在しないと判定されれば、当該主被写体の不在を示す情報を出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項１４】
請求項１から１２のいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に主被写体が存在するか否かを判別する技術に関する。
【背景技術】
【０００２】
従来から、入力画像中の主被写体の領域を検出する種々の方法が知られている。特許文献１には、入力画像中の候補物体の位置やサイズ、またその候補領域が何であるかという意味的情報に基づいて、主被写体領域を決定する方法が開示されている。
【０００３】
そして、このような主被写体領域検出の処理が例えばデジタルカメラなどの撮像装置内で行われることにより、主被写体にオートフォーカス（ＡＦ）を調節したり、主被写体に対して自動追尾を行うことができるようになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２０７５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、入力画像によっては、主被写体と呼べるものが存在しないような画像もある。例えば、水平線や地平線等の遠景を撮影した画像で、特に注意を引く物体がないような画像（風景画像）や、壁や石垣等を画面いっぱいに撮影し、全体が一様なテクスチャになったような画像（一様画像）では、主被写体と呼べるものが存在しない場合が多い。
【０００６】
そして、このような主被写体と呼べるものが存在しない画像にあっても、特許文献１の従来の主被写体検出方法では、どこかしらの領域を主被写体領域として検出するようにしてしまうという問題があった。これにより、本来は主被写体でない領域に対してＡＦ、自動追尾等が行われて、ユーザに違和感を与える結果となることがあった。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明によれば、画像処理方法に、入力画像の複数の位置から特徴量を抽出する抽出工程と、前記入力画像における前記特徴量の分布を導出する導出工程と、前記入力画像の全体における前記特徴量の分布特性に基づいて、前記入力画像中に主被写体が存在するかを判定する判定工程と、前記判定工程において前記主被写体が存在しないと判定されれば、当該主被写体の不在を示す情報を出力する出力工程とを有することを特徴とする。
【発明の効果】
【０００８】
以上の構成によれば、本発明は、入力画像に主被写体が存在するか否かを判別できるようになる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に関わる被写体検出装置の構成を示す概略ブロック図。
【図２】第１の実施形態に関わるマップ生成部の構成を示す概略ブロック図。
【図３】第１の実施形態に関わる部分画像取得部の処理を説明する図。
【図４】第１の実施形態に関わる分布特性抽出部の構成を示す概略ブロック図。
【図５】第１の実施形態に関わる被写体検出方法のフローチャート。
【図６】第３の実施形態に関わる被写体検出装置の構成を示す概略ブロック図。
【図７】その他の実施形態に関わる部分画像取得部の処理を説明する図。
【図８】第１の実施形態において作成される顕著度マップを模式的に示す図。
【図９】第１の実施形態において顕著度マップの分割パターンを説明する図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本実施形態に係る主被写体検出装置１０１の構成を示す概略ブロック図である。主被写体検出装置１０１は、画像判定部１０２、主被写体尤度算出部１０７、統合部１０８を有している。また、画像判定部１０２は、顕著度マップ作成部１０３、分布特性抽出部１０４、不均一度算出部１０５、およびスコア算出部１０６により構成されている。
【００１１】
本実施形態に係る主被写体検出装置１０１は、半導体集積回路（ＬＳＩ）を用いて実現される。または、主被写体検出装置１０１が、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備えるようにしてもよい。その場合、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
【００１２】
以下、主被写体検出装置１０１の各機能部について説明する。画像判定部１０２は、入力画像中に主被写体が含まれているのか否かを判定する。入力画像によっては、主被写体と呼べるものが存在しない画像（以下、「主被写体なし画像」とも呼ぶ）もあるため、そのような主被写体なし画像の判定を画像判定部１０２で行う。「主被写体なし画像」の例としては、上述の「風景画像」や「一様画像」が挙げられる。このような画像では、その画像中に主被写体と呼べるものが存在しない場合が多く、単に主被写体領域の検出を行うと画像中のどこかを誤って主被写体として検出してしまうことが少なくない。
【００１３】
本実施形態の画像判定部１０２は、入力画像中に主被写体があるか否かを判別するために、入力画像中の顕著な領域の分布を調べる。例えば「一様画像」の場合、画像全体でほぼ一様なテクスチャパターンを持つので、テクスチャに起因する顕著領域があったとしても、その顕著領域は画像全体に均一に分布することが予想される。また、「風景画像」の場合には、水平線領域や地平線領域が顕著領域として検出される傾向にあるが、このような顕著領域は水平方向に均一に分布されることが予想される。画像判定部１０２では、このような「主被写体なし画像」に特有の顕著領域の分布特性を抽出することにより、入力画像に主被写体の領域があるかを判定する。以下、本実施形態の画像判定部１０２の処理の詳細について述べる。
【００１４】
顕著度マップ作成部１０３は、処理対象となる入力画像を取得し、その入力画像に対して顕著度マップを作成する。図２は、顕著度マップ作成部１０３の詳細な構成を示す概略ブロック図である。図２において、部分画像取得部２０１は、入力画像に対してスキャンウインドウを走査させ、入力画像内の各位置で画像を切り出し、それを部分画像として取得する。取得した部分画像に関わるデータは、距離算出部２０２に出力する。
【００１５】
図３は、部分画像取得部２０１の処理を説明する図である。同図において、３０１は入力画像、３０２はスキャンウインドウの第１領域（内側の円形の領域）、３０３はスキャンウインドウの第２領域（外側のドーナッツ形状の領域）である。部分画像取得部２０１は、図３に示すように、入力画像に対してスキャンウインドウを走査させる処理を入力画像の各画素列に対して行い、各画素位置でスキャンウインドウに含まれる範囲を部分画像として取得する。本実施形態では、第１領域３０２に含まれる範囲を切り出した領域の画像データを第１のデータ群、第２領域３０３に含まれる範囲を切り出した領域の画像データを第２のデータ群とする。このようにして、本実施形態では、入力画像に対してスキャンウインドウを走査させて、入力画像内の各画素において部分領域を切り出し、距離算出部２０２に第１のデータ群、第２のデータ群の２つのデータ群が出力される。ここで取得される部分画像に関するデータ群としては、例えば、低次特徴量（輝度値、エッジ強度、テクスチャ等）またはその組合せ等が挙げられる。
【００１６】
なお、上述の説明では、第１の領域３０２および第２の領域３０３は、２つの円形領域により定義される２つの領域（内側の円形の領域、外側のドーナッツ形状の領域）とした。しかし、本発明はこれに限られず、例えば、２つの矩形領域により定義される２つの領域（内側の矩形領域、外側の外周領域）としてもよいし、他の形状であってもよい。また、第１の領域３０２と第２の領域３０３は、互いの中心（重心）が異なるような位置関係であってもよい。第１の領域と第２の領域とは異なる領域として設定されれば、種々の形態をとることができる。
【００１７】
図２の説明に戻ると、距離算出部２０２は、入力される２つのデータ群の距離を算出する。部分画像取得部２０１は、入力画像内の各画素から取得したデータ群をその都度出力するので、距離算出部２０２は、データ群が入力されるたびにその距離（距離値）を算出する。データ群間の距離算出手法としては、公知の種々の手法を用いることができ、例えば入力される２つのデータ群に対して、それぞれヒストグラムを作成し、両ヒストグラムに対してビンごとに差分絶対値和を算出するような方法を用いることができる。算出結果であるデータ群間の距離値の情報は、マップ生成部２０３へと出力される。
【００１８】
マップ生成部２０３は、距離算出部２０２により算出された距離値をマップ化し、顕著度マップを作成する。距離算出部２０２により入力画像内の各画素位置に対応する距離値が算出されるので、マップ生成部２０３は、その位置に距離値をマップ化することを行う。本実施形態では、算出された距離値を顕著度とみなし、それを画像化したデータ（顕著度マップ）を作成する。
【００１９】
図８は、本実施形態のマップ生成部２０３により作成される顕著度マップと、この顕著度マップを後述の処理により二値化することにより生成される二値化画像とを模式的に示す図である。図８（ａ）は主被写体として円形物体が存在する画像に対して顕著度マップを作成する例であり、図８（ｂ）、（ｃ）は「主被写体なし画像」の「一様画像」、「風景画像」に対して顕著度マップを作成する例である。図８（ａ）〜（ｃ）において、８０１〜８０３は各例の入力画像、８０４〜８０６の各例の顕著度マップである。図８（ａ）の主被写体がある画像の場合、その顕著度マップ８０４では、中心にある顕著領域の顕著度が高くなるような等高線になる。一方、図８（ｂ）の「一様画像」の場合、その顕著度マップ８０５には、入力画像８０２の周期的なテクスチャに応じて高顕著度領域が周期的に表れる。また、図８（ｃ）の「風景画像」の場合、入力画像８０３の地平線部分が顕著であり、その周辺と色や輝度が異なっているために、その顕著度マップ８０６も、地平線の形状をなぞったよう等高線になる。なお、二値化画像８０７〜８０９については、後ほど説明を行う。以上が、顕著度マップ作成部１０３による顕著度マップの作成に係る処理の説明となる。
【００２０】
図１に戻り、分布特性抽出部１０４は、顕著度マップ作成部１０３により作成された顕著度マップを用いて、入力画像に対して顕著度がどのように分布しているのかの特性を抽出する。分布特性の抽出としては、比較的大きな顕著度を持つ画素がどのように分布しているかを調べればよく、本実施形態では、所定の条件を満たすような大きな顕著度を持つ画素に関して、その分布特性を調べることとする。本実施形態では、顕著度マップより算出される閾値と各画素の顕著度とを比較し、閾値より大きな顕著度を持つ画素を所定の条件を満たす画素として、その分布特性を抽出する。なお、その他の例として、例えば、顕著度マップの上位何パーセントに属するような画素を、所定の条件を満たすような大きな顕著度を持つ画素として扱うようにしてもよい。
【００２１】
以降の説明では、閾値より大きな顕著度を持つ画素を白画素（閾値で二値化した場合の「１」の画素に相当）、閾値より小さな顕著度を持つ画素を黒画素（閾値で二値化した場合の「０」の画素に相当）と呼ぶこととする。そして、本実施形態の分布特性抽出部１０４は白画素の分布特性を調べる。また、本実施形態の分布特性抽出部１０４は、大きな顕著度を持つ画素がどのように分布しているかを調べる際、顕著度マップを複数の部分領域に分割し、各部分領域ごとに大きな顕著度を持つ画素の分布特性を抽出する。なお、ここでは、分布特性抽出部１０４は白画素の分布特性を調べるようにしているが、逆に黒画素の分布特性を調べるようにしてもよい。
【００２２】
ここで、図４に示す分布特性抽出部１０４の概略ブロック図を用いて、分布特性抽出部１０４が行う処理の詳細について説明する。同図において、抽出条件算出部４０１は、顕著度マップを統計処理して閾値を算出し、その閾値を画素抽出条件として画素特定部４０３に出力する。閾値を算出するときの統計処理として、本実施形態では、顕著度マップの顕著度値の上位から所定の割合となる値を閾値とする。従って、このように算出した閾値で顕著度マップを二値化した場合、白画素となる割合は前記所定の割合と等しくなる。
【００２３】
部分領域分割部４０２は、入力される顕著度マップを複数の部分領域に分割する。画像判定部１０２では、部分領域分割部４０２により分割された部分領域ごとに抽出される分布特性が部分領域によらず似通っているのか、部分領域ごとに異なっているのかを判断し、主被写体がありそうか否かの画像判定を行う。従って、部分領域分割部４０２による入力画像の分割は、この判定目的に沿うように領域分割されることが望ましい。本実施形態における部分領域への分割の具体的手法に関しては、後述する。部分領域分割部４０２は、分割した分割顕著度マップを画素特定部４０３に出力する。
【００２４】
画素特定部４０３は、抽出条件算出部４０１により算出された画素抽出条件（閾値）と、部分領域分割部４０２により複数の部分領域に分割された顕著度マップとを用いて、部分領域毎に所定条件を満たす画素（白画素）を特定し、その分布特性を抽出する。本実施形態では、画素特定部４０３は、分布特性として、部分領域毎の白画素数の割合を算出する。このようにして抽出された分布特性（部分領域毎の白画素数の割合）は、不均一度算出部１０５へと出力される。
【００２５】
図１の説明に戻ると、不均一度算出部１０５は、入力画像における顕著度の不均一度として、分布特性抽出部１０４が抽出した部分領域毎の分布特性の、空間的な不均一性の程度を算出する。ここでいう空間的な不均一性とは、部分領域毎に抽出された分布特性が部分領域間で異なっている程度を意味する。つまり、分布特性が部分領域毎に異なっていれば不均一度が高く、逆に、部分領域によらず分布特性が同じであれば、不均一度が低いということになる。
【００２６】
本実施形態では、部分領域ごとの分布特性として、白画素数の割合を算出している。この場合の不均一度の算出手法としては、例えば、白画素数の割合の標準偏差を算出する手法がある。この手法では、部分領域毎の白画素の割合が部分領域によらず等しくなるほど、その標準偏差は小さくなり、不均一度も小さくなる。逆に、部分領域ごとの白画素割合が部分領域毎に異なるほど、その標準偏差は大きくなり、不均一度も大きくなる。なお、不均一度の算出においては、標準偏差に限らず、分布特性が部分領域毎に異なっているか、或いは部分領域によらず同じであるのかを示す他の統計値を用いることにより算出することもできる。
【００２７】
ここで、図８に模式的に示す顕著度マップおよび二値化画像を参照しつつ、部分領域の分割方法と不均一度との関係について説明する。本実施形態は、図８（ａ）に図示する「主被写体あり画像」と、同図（ｂ）、（ｃ）に示す「一様画像」や「風景画像」を「主被写体なし画像」とを区別することを目的としている。これらの画像に対して算出された顕著度は、顕著度マップ８０４〜８０６のようになる。つまり、主被写体があるような画像の場合、その顕著度マップ８０４では、主被写体領域に高顕著度領域が固まって存在することが予想される。また、「主被写体なし画像」の「一様画像」の場合、その顕著度マップ８０５では、テクスチャに起因する顕著領域が画像全体に均一に分布することが予想される。また、「主被写体なし画像」の「風景画像」の場合、水平線領域や地平線領域が顕著領域として検出される傾向にあるので、その顕著度マップ８０６では、顕著領域は水平方向に均一に分布されることが予想される。すなわち、「主被写体なし画像」では、顕著領域が画像中に均一に分布する傾向がある。一方、「主被写体あり画像」では、顕著領域が画像中に固まって位置し、顕著領域は不均一に分布する傾向となる。
【００２８】
図８において、８０７〜８０９は、顕著度マップ８０４〜８０６に対して、それぞれの閾値で二値化を行った結果を模式的に示す二値化画像である。本実施形態では、二値化画像８０７に基づき「主被写体あり画像」と判別でき、二値化画像８０８、８０９に基づいて「主被写体なし画像」と判別できるようにすることを目的としている。より具体的には、本実施形態は、顕著度マップを複数の部分領域に分割して、分割領域毎の白画素の割合（顕著度の分布特性）に基づいて不均一度を算出して、この不均一度により、入力画像内に主被写体があるか否かを判定するものである。その際、顕著度マップをどのように分割するかによって、算出される不均一度も異なるため、その分割方法が重要となる。
【００２９】
図９を用いて、顕著度マップの分割方法と、その分割方法によって算出できる顕著度の空間的な不均一性との関係を説明する。図９には、顕著度マップを複数の部分領域に分割する分割パターンの例を示している。同図において、パターン９０１は顕著度マップを縦方向および横方向に複数の部分領域に分割したパターンを示している。また、パターン９０２は顕著度マップを横方向に複数の部分領域に分割したパターン、パターン９０３は顕著度マップを縦方向に複数の部分領域に分割したパターンを示している。例えば、パターン９０１のように顕著度マップを縦方向および横方向に複数の部分領域に分割した場合は、入力画像中の顕著度の二次元的な不均一性を算出することができる。これに対して、パターン９０２のように横方向に複数の部分領域に分割した場合、顕著度の水平方向の一次元的な不均一性を算出できる。また、パターン９０３のように縦方向に複数の部分領域に分割した場合、顕著度の垂直方向の一次元的な不均一性を算出できる。
【００３０】
ここで、図８に示す顕著度マップの二値化画像８０７〜８０９を、図９のパターン９０１〜９０３のように分割した場合を考える。例えば、二値化画像８０７〜８０９に対して、パターン９０１のように分割した場合、二値化画像８０７、８０９では、分割領域ごとに白画素割合が大きく異なり、不均一性が大きくなる。これに対して、二値化画像８０８では、分割領域が異なっても白画素割合は概ね同じになり、不均一性は小さくなる。二値画像の種類と分割のパターンとの組み合わせによる不均一性の大小関係をまとめると、次の表１のようになる。
【００３１】
【表１】
2019139810.tif 000003
【００３２】
本実施形態は、「一様画像」や「風景画像」の「主被写体なし画像」を判定することを目的としているので、パターン９０２のように領域分割すれば、不均一性の大小により、「主被写体なし画像」と「主被写体あり画像」とを区別可能である。これは、「一様画像」も「風景画像」も、その顕著領域は水平方向には均一であるためである。
【００３３】
このように、本実施形態では、パターン９０２に従って顕著度マップを横方向に複数の部分領域に分割することにより、「主被写体なし画像」に特有となる顕著領域の分布特性を検出し、画像の判定を行うことができる。そこで、本実施形態では、分布特性抽出部１０４は、顕著度マップを横方向に複数の部分領域に分割し、各部分領域の分布特性（白画素の割合）を抽出する。そして、不均一度算出部１０５は、このように設定された複数の部分領域の顕著度の分布特性の不均一度を白画素の割合の標準偏差により算出する。
【００３４】
図１の説明に戻ると、スコア算出部１０６は、不均一度算出部１０５により算出された不均一度に基づいて、画像判定スコアを算出する。画像判定スコアは入力画像が「主被写体なし画像」である度合いを示すものである。従って、スコア算出部１０６は「主被写体なし画像」である度合いを示す情報を生成する生成部として機能していると言える。画像判定スコアとしては、顕著度の不均一度が高いほど、画像判定スコアは小さくなるようなものであればよい。例えば、不均一度の逆数を画像判定スコアとすることができる。
【００３５】
また、不均一度から画像判定スコアを算出する方法は、既存の機械学習手法を使用することでも実現される。つまり、大量の「主被写体なし画像」と「主被写体あり画像」を用意して、通常のクラス分類手法を用いれば、ある不均一度のときに、「主被写体なし画像」なのか「主被写体あり画像」なのかが判別できる。この手法を採用する場合には、例えば、「主被写体なし画像」と判別されれば画像判定スコアとして１を、「主被写体あり画像」と判別されれば画像判定スコアとして０のような二値を出力すればよい。また、通常のクラス分類手法では、クラスに分類される前にまず尤度を算出することが多いので、この尤度を画像判定スコアとして出力してもよい。尤度の場合には、画像判定スコアは連続値になる。
【００３６】
主被写体尤度算出部１０７は、入力される顕著度マップを基に、画像中の各画素位置（或いは各領域）における主被写体尤度を算出する。主被写体尤度は、その画素位置（或いは領域）に主被写体がありそうな度合いを表すものである。ここでは、主被写体は画像中央にあり、かつ顕著な領域であることが多い、という経験則に基づいて尤度を算出する。そこで、本実施形態では、各画素位置の尤度の算出手法として、その画素位置の顕著度と、その画素位置の画像中央からの距離とに基づいて尤度を算出する。画像中央からの距離に関しては、画像中心から離れるほど、主被写体としての尤度は小さくなるようにすればよい。そこで、本実施形態では、主被写体尤度として、各画素位置の顕著度を、各画素位置の画像中央からの距離で割った値を用いる。なお、本発明に適用できる主被写体尤度は、これに限らず、他の方法により算出されるものであってもよい。
【００３７】
主被写体尤度算出部１０７は、以上のようにして画素位置（或いは領域）毎に主被写体尤度を算出する。そして、主被写体尤度算出部１０７は、画素位置（或いは領域）毎に算出した主被写体尤度を尤度マップとして統合部１０８に出力する。
【００３８】
統合部１０８は、スコア算出部１０６が算出した画像判定スコアと主被写体尤度算出部１０７が算出した尤度マップとを統合して、最終的な主被写体検出結果を出力する。先に説明したように、スコア算出部１０６が算出する画像判定スコアは二値の場合と連続値の場合とがある。
【００３９】
画像判定スコアが二値の場合には、その値が、現在対象としている入力画像が「主被写体なし画像」なのか「主被写体あり画像」なのかを示している。従って、画像判定スコアが「１」で「主被写体なし画像」であることを示している場合には、統合部１０８は入力画像を「主被写体なし画像」と判定し、その旨の情報を主被写体検出結果として出力する。一方、画像判定スコアが「０」で「主被写体あり画像」であることを示している場合には、尤度マップに基づいて主被写体検出結果を出力すればよい。つまり、尤度の高い位置に主被写体があると考えられるので、その尤度をスコアとして出力する。
【００４０】
また、画像判定スコアが「主被写体なし画像」のときにその値が大きくなるような連続値の場合には、その画像判定スコアで尤度マップを割って得られるマップ（最終マップと呼ぶ）に基づいて被写体検出結果を出力すればよい。この場合、得られる最終マップは、画像判定スコアが大きければ（「主被写体なし画像」らしいと判定されていれば）、全体的に小さい値を持つマップになる。逆に、画像判定スコアが小さければ（「主被写体あり画像」らしいと判定されていれば）、全体的に大きい値を持つマップになる。そして、この最終マップに対して所定の閾値処理を行い、閾値を超えるようなマップ値を持つ領域がなければ、「主被写体なし画像」と判定し、閾値を超えるようなマップ値を持つ領域があれば、その領域を主被写体領域と判定できる。
【００４１】
このようにして検出される主被写体領域の情報や「主被写体なし画像」であることを示す情報は、主被写体領域を用いて処理を行う装置へと出力される。例えば、デジタルカメラのような撮像装置においては、検出された主被写体領域に関する情報は、ＡＦ処理や、自動追尾処理に供される。また、「主被写体なし画像」の場合には、主被写体検出装置からはその旨の情報が出力されるため、無理にどこかしらの領域に対してＡＦ処理や自動追尾処理が行われてユーザに違和感を与えるといったことが軽減される。なお、デジタルカメラのような撮像装置に備えられた半導体集積回路が前述の主被写体領域検出装置としての機能を実現するようにしてもよく、この場合、撮像装置自体が本実施形態の主被写体領域検出装置に相当する。
【００４２】
次に、主被写体検出装置１０１による主被写体検出方法の処理について説明する。図５は、本実施形態における主被写体検出方法の処理手順を示すフローチャートである。まず、ステップＳ５０１において、画像判定部１０２は、主被写体検出装置１０１に入力画像が入力されたか否かを確認し、入力が確認された場合、処理はステップＳ５０２に進む。
【００４３】
ステップＳ５０２では、顕著度マップ作成部１０３が、入力画像に対して顕著度マップを算出する。ステップＳ５０３では、主被写体尤度算出部１０７が、顕著度マップから主被写体尤度を算出する。続いてステップＳ５０４では、分布特性抽出部１０４が、Ｓ５０２において算出された顕著度マップを用いて、顕著度マップの二値化処理を行う。本実施形態では、分布特性抽出部１０４は、顕著度マップから閾値の算出を行い、閾値を基準として顕著度マップを二値化する。
【００４４】
ステップＳ５０５において、分布特性抽出部１０４は、二値化した顕著度マップを分割する。本実施形態では、先に説明した通り、パターン９０２のように顕著度マップを横方向に複数の部分領域に分割する。続くステップＳ５０６において、分布特性抽出部１０４は、それぞれの分割領域における分布特性として、分割した部分領域毎に白画素数の割合を算出する。
【００４５】
ステップＳ５０７では、不均一度算出部１０５が、部分領域毎に白画素数の割合から不均一度を算出する。不均一度としては、白画素数の割合の標準偏差を用いる。ステップＳ５０８では、スコア算出部１０６が、算出した不均一度から画像判定スコアを算出する。画像判定スコアは、入力画像が「主被写体なし画像」である度合いを示すものであり、本実施形態では不均一度の逆数を画像判定スコアとする。
【００４６】
ステップＳ５０９において、統合部１０８は、最終的な主被写体検出結果を算出する。最終的な主被写体結果としては、入力画像に主被写体があると判定された場合には、検出された位置やスコア（主被写体検出結果の信頼度）を伴って出力される。逆に、入力画像に主被写体がないと判定された場合には、その旨が出力される。
【００４７】
以上、本実施形態では、入力画像から作成された顕著度マップを複数の部分領域に分割し、各部分領域の顕著度の分布特性から不均一度を算出する。そして、本実施形態では、この不均一度に基づいて、入力画像に主被写体が存在するか否かを判別できるようになる。
【００４８】
［第２の実施形態］
次に、本発明の第２の実施形態について説明を行う。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００４９】
本実施形態は、分布特性抽出部１０４による分布特性抽出の処理と不均一度算出部１０５による不均一度算出の処理の内容が第１の実施形態と異なる。以下、第１の実施形態との相違点について説明する。
【００５０】
まず、本実施形態の分布特性抽出部１０４の抽出条件算出部４０１は、第１の実施形態と同様に、算出した閾値との大小関係に基づいて対象の画素（白画素）を抽出する。ただし本実施形態では、閾値を顕著度マップの中央値（メディアン）として算出する。部分領域分割部４０２の処理内容は、第１の実施形態と同様である。
【００５１】
次に、画素特定部４０３の処理に関して、第１の実施形態では、抽出した白画素数の割合を部分領域ごとに算出し、これを顕著度の分布特性として扱った。本実施形態では、白画素数と黒画素数の差の絶対値を算出することを行う。本実施形態において、このような処理とする理由は次のとおりである。
【００５２】
本実施形態のように、顕著度マップの中央値を閾値として二値化する場合、中央値と同じ顕著度を持つ画素数を無視すると、白画素数と黒画素数は同数になる。この二値化マップを複数の部分領域に分割した場合、各部分領域で分布特性（白画素数と黒画素数の差の絶対値）が等しくなるためには、どの部分領域でも白画素数と黒画素数が同数（或いは同数に近い分布）になる必要がある。つまり、どの分割領域でも白画素数と黒画素数が同数（或いは同数に近い分布）であれば、顕著度の分布は空間的な均一性が高いといえる。逆に、二値化マップの分割領域間において白画素数と黒画素数との偏りがあるような場合、すなわち、ある分割領域では白画素数が支配的で、別の分割領域では黒画素数が支配的であるような場合には、不均一性が高いといえる。
【００５３】
つまり、白画素数と黒画素数の差の絶対値を分布特性とした場合には、各部分領域の分布特性が０に近い値であれば、顕著度の分布は空間的な均一性が高く、逆に各部分領域の分布特性が大きい値であれば、顕著度の分布は空間的な不均一性が高いことを意味する。このように、分布特性抽出部１０４が、顕著度マップの中央値を閾値として顕著度マップを二値化し、部分領域毎に算出される白画素数と黒画素数の差の絶対値を分布特性として抽出する。これにより、後段の不均一度算出部１０５では、空間的な不均一性（均一性）の程度を算出できるようになる。
【００５４】
次に、不均一度算出部１０５は、部分領域毎に算出された分布特性（白画素数と黒画素数の差の絶対値）を加算する処理を行う。前述のように、顕著度が空間的に均一に分布しているときには、各部分領域の分布特性が０に近い値となり、それらを加算した値も０に近い小さな値となる。逆に、顕著度が空間的に不均一に分布しているときには、各部分領域の分布特性が大きな値となり、それらを加算した値も大きな値となる。そこで、不均一度算出部１０５は、部分領域毎に求めた白画素数と黒画素数の差の絶対値を加算し、その値を不均一度として出力する。
【００５５】
以上、本実施形態では、各部分領域の白画素数と黒画素数との差分を算出し、その差分値を加算して不均一度とする演算を行うようにしている。これにより、本実施形態では、白画素の割合の標準偏差を用いる第１の実施形態よりも、演算量を軽減することが可能になる。特に、本実施形態の主被写体検出装置がデジタルカメラなどの撮像装置に組み込まれて一体として機能する場合、演算処理が軽いことによって、検出処理時間の短縮や省電力化を図ることができる。
【００５６】
［第３の実施形態］
次に、本発明の第３の実施形態について説明を行う。本実施形態は、主被写体検出の結果が供されるアプリケーションの種類に応じて、顕著度マップを部分領域に分割するときの分割パターンを変更する、或いは複数のパターンで部分領域に分割し、複数の不均一度を算出するものである。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００５７】
主被写体検出結果が供されるアプリケーションの例として、主被写体検出領域にオートフォーカス（ＡＦ）を調節することや、主被写体領域に対して自動追尾を行うことなどが挙げられる。そして、これらのアプリケーションの違いによって、主被写体検出に求められる特性も異なることが考えられる。例えば、自動追尾処理の場合には、前述の「一様画像」も「風景画像」も追尾すべき物体が存在してないという点で、「主被写体なし画像」として判定されることが期待される。これに対して、ＡＦ処理の場合、「風景画像」では水平線や地変線にＡＦが合うことは問題ないので、「一様画像」だけを「主被写体なし画像」と判定されることが期待される。このように、アプリケーションの種類によって有用な画像判定の基準が異なるため、本実施形態では、主被写体検出結果が供されるアプリケーションに応じて、顕著度マップを複数の部分領域に分割する際のパターンを変更する。
【００５８】
図６は、本実施形態に係る主被写体検出装置１０１の構成を示す概略ブロック図である。なお、第１の実施形態と同様の構成については同一の符号を付し、その説明を省略する。以下、第１の実施形態との相違点について説明する。
【００５９】
本実施形態の主被写体検出装置１０１は、アプリケーション情報取得部６０９およびパターン選択部６１０を有している。アプリケーション情報取得部６０９は、主被写体検出結果が供されるアプリケーションの種類に関する情報を取得し、取得した情報をパターン選択部６１０に出力する。主被写体検出結果が供されるアプリケーションの例としては、オートフォーカス（ＡＦ）、自動露出（ＡＥ）、自動追尾等が想定される。ここでは、アプリケーション情報取得部６０９は、アプリケーションの種類に関する情報として、デジタルカメラで設定されている撮影モードを取得する。例えば、撮影モードとしてオートモードが設定されている場合、主被写体検出結果が供されるアプリケーションはＡＦになる。自動追尾モードでは、自動追尾処理に主被写体検出結果が供される。また、主被写体検出結果が供されるアプリケーションをユーザが直接指定することも可能であり、その場合は、ユーザの指示を受付けて、その情報をアプリケーション情報として取得すればよい。
【００６０】
パターン選択部６１０は、アプリケーション情報取得部６０９により取得されたアプリケーション情報に対応した部分領域パターンを選択し、その情報を部分領域パターン選択情報として分布特性抽出部１０４に出力する。
【００６１】
アプリケーション情報と部分領域パターンとの対応関係は予め規定されて、その情報は例えば主被写体検出装置１０１の記憶手段に記憶されている。具体的には、設定されたアプリケーションの種類によって、どのような画像を「主被写体なし画像」として判定すべきかに応じて、対応する部分領域パターンが決められている。
【００６２】
例えば、「一様画像」と「風景画像」の両方を「主被写体なし画像」と判定すべきアプリケーションとして自動追尾、「一様画像」だけを「主被写体なし画像」と判定すべきアプリケーションとしてＡＦがある。アプリケーション情報として自動追尾が設定された場合には、部分領域分割パターンには図９に示すパターン９０２が選択される。パターン９０２のように部分領域に分割した場合、「一様画像」も「風景画像」も、その二値化画像からは不均一度が小さく算出される。そのため、この特性を利用して、スコア算出部１０６は、「一様画像」と「風景画像」とを「主被写体なし画像」らしいと判定できる。
【００６３】
同様に、アプリケーション情報としてＡＦが設定された場合、部分領域分割パターンとして図９に示すパターン９０１、或いはパターン９０３が選択される。例えばパターン９０３のように部分領域に分割した場合、「一様画像」だけはその不均一度が小さく算出される。そのため、この特性を利用して、スコア算出部１０６は、「一様画像」だけを「主被写体なし画像」らしいと判定できる。
【００６４】
パターン選択部６１０によって選択された部分領域パターン情報は、分布特性抽出部１０４へと出力される。分布特性抽出部１０４は、分領域パターン情報に従って、顕著度マップを複数の部分領域に分割し、第１の実施形態と同様に顕著度の分布特性を抽出する。
【００６５】
以上、本実施形態によれば、主被写体検出結果が供されるアプリケーションの種類に応じた「主被写体なし画像」の判定が可能となり、柔軟性の高い主被写体検出が可能となる。
【００６６】
［その他の実施形態］
上述の説明では、顕著度の算出にあたり、２領域で得られるデータ群に対して、それぞれヒストグラムを作成し、両ヒストグラムに対してビンごとに差分絶対値和を算出するようにしている。しかし、本発明において、顕著度算出の方法はこのような方法に限定されるものではない。
【００６７】
また、顕著度を算出するために用いるスキャンウインドウの形態も図３に示すような、第１領域、第２領域の２領域から成るものに限定されるものではない。例えば、単一の領域から構成されるスキャンウインドウを用いるようにしてもよい。
【００６８】
図７は、部分画像の取得処理の他の例を示しており、ここでは、単一領域７０２で構成されるスキャンウインドウを入力画像７０１に複数回走査させる。そして、入力画像７０１の各画素位置で、第１領域に相当する領域７０２に含まれる入力画像７０１を切り出して部分画像を取得し、それを第１のデータ群とする。また、ここでは、第２領域を入力画像全体として、入力画像全体のデータを第２のデータ群とする。
【００６９】
図３に示す方法により算出される顕著度は、第１領域に対応する第１のデータ群と、第１領域の近傍の第２領域に対応する第２のデータ群から算出される局所的な顕著度である。これに対し、図７の方法では、画像全体の領域に対応する第２のデータ群は常に同じものであるため、この方法により算出される顕著度は、画像全体との差異に基づいて算出される大局的な顕著度と言える。この方法では、第２のデータ群として常に画像全体のデータを使えるという点で、演算処理の負荷低減という効果がある。なお、ここでは、画像全体のデータを第２のデータ群としているが、入力画像内の固定された一部の特定領域を第２の領域としても構わない。
【００７０】
また、上述の説明では、入力画像から作成した顕著度マップに対して分布特性を調べる構成について説明を行ったが、顕著度以外の特徴量によりマップを作成し、その特徴量マップに対して分布特性を調べる構成であってもよい。例えば、エッジ抽出を行って得られるエッジ画像に対して分布特性を調べてもよい。主被写体には、その輪郭となるエッジがあるので、「主被写体あり画像」では、強いエッジがある程度固まって抽出されることが予想される。逆に、「風景画像」では水平線、地平線に沿ってエッジがあるので、空間的に広がって抽出されることが予想される。本発明は、このような特性を利用して、入力画像が「主被写体なし画像」であるかを判定する構成にも適用できるものである。このように、本発明は、入力画像の各画素位置における特徴量を、その画素位置と関連づけたマップを作成する構成に広く適用できるものである。
【００７１】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７２】
１０１  主被写体領域検出装置
１０２  画像判定部
１０３  顕著度マップ作成部
１０４  分布特性抽出部
１０５  不均一度算出部
１０６  スコア算出部
１０７  主被写体尤度算出部
１０８  統合部
【図１】
2019139810.tif 000004
【図２】
2019139810.tif 000005
【図３】
2019139810.tif 000006
【図４】
2019139810.tif 000007
【図５】
2019139810.tif 000008
【図６】
2019139810.tif 000009
【図７】
2019139810.tif 000010
【図８】
2019139810.tif 000011
【図９】
2019139810.tif 000012