(57)【要約】【課題】  画像から主被写体の領域を検出するにあたり、撮影者の意図に応じた主被写体検出ができるようにすること。【解決手段】  本発明は、特定時点よりも前の複数の画像から高頻度に存在している物体の領域を第１候補領域として検出する。また、主被写体検出の結果が利用される機能の情報に応じて特定時点の画像の特徴量を算出し、算出した特徴量に基づいて第２候補領域を検出する。そして、検出した第１候補領域および第２候補領域に基づいて、主被写体領域を最終的に検出する。【選択図】  図１
2017016592.tif 000002
【特許請求の範囲】
【請求項１】
特定時点における画像の主被写体の領域を検出する主被写体検出装置であって、
前記特定時点より前の、時系列に連続する複数の画像を取得する画像取得手段と、
前記取得手段により取得された複数の画像において存在する頻度が所定の回数以上の物体を検出する物体検出手段と、
前記物体検出手段により検出された物体の情報に基づいて、前記特定時点における画像において主被写体の第１候補領域を検出する第１検出手段と、
前記特定時点における画像において主被写体の領域が検出された場合に、当該検出された主被写体の領域の情報が供される機能を取得する機能取得手段と、
前記機能取得手段により取得された機能に応じて、前記特定時点における画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づいて、前記特定時点における画像において主被写体の第２候補領域を検出する第２検出手段と、
前記第１検出手段により検出された第１候補領域と、前記第２検出手段により検出された第２候補領域とに基づき、前記特定時点における画像の主被写体の領域を検出する最終検出手段と、
を有することを特徴とする主被写体検出装置。
【請求項２】
前記物体検出手段は、前記画像取得手段により取得された複数の画像それぞれの各画素における顕著度を算出し、当該顕著度が所定の閾値以上の領域を物体が存在する領域として検出することを特徴とする請求項１に記載の主被写体検出装置。
【請求項３】
前記物体検出手段は、前記画像取得手段により取得された複数の画像それぞれの各画素に設定される小領域と、当該小領域の周囲の領域との特徴量の差に基づき、前記顕著度を算出することを特徴とする請求項２に記載の主被写体検出装置。
【請求項４】
前記機能取得手段は、前記機能として、オートフォーカスまたは自動追尾のいずれか一方を少なくとも取得することを特徴とする請求項１から３のいずれか１項に記載の主被写体検出装置。
【請求項５】
前記機能取得手段が前記機能としてオートフォーカスを取得した場合、前記特徴量算出手段は、前記特定時点における画像の色特徴量を算出することを特徴とする請求項４に記載の主被写体検出装置。
【請求項６】
前記機能取得手段が前記機能として自動追尾を取得した場合、前記特徴量算出手段は、前記特定時点における画像の速度ベクトルを算出することを特徴とする請求項４または５に記載の主被写体検出装置。
【請求項７】
前記最終検出手段は、前記第１候補領域と前記第２候補領域とに共通する領域を前記特定時点における画像の主被写体の領域を検出することを特徴とする請求項１から６のいずれか１項に記載の主被写体検出装置。
【請求項８】
前記最終検出手段は、前記第１候補領域と前記第２候補領域とに共通する領域がない場合、前記特定時点における画像に主被写体の領域がないと判断することを特徴とする請求項１から７のいずれか１項に記載の主被写体検出装置。
【請求項９】
前記最終検出手段は、前記第１検出手段により前記第１候補領域が検出されなかったために前記第１候補領域と前記第２候補領域とに共通する領域がない場合、前記第２候補領域を前記特定時点における画像の主被写体の領域として検出することを特徴とする請求項１から７のいずれか１項に記載の主被写体検出装置。
【請求項１０】
前記最終検出手段は、前記第２検出手段により前記第２候補領域が検出されなかったために前記第１候補領域と前記第２候補領域とに共通する領域がない場合、前記第１候補領域を前記特定時点における画像の主被写体の領域として検出することを特徴とする請求項１から７のいずれか１項に記載の主被写体検出装置。
【請求項１１】
前記最終検出手段は、前記特定時点における画像において主被写体の領域がないと判断した場合、当該主被写体の領域がないと判断した旨の情報を出力することを特徴とする請求項１から１０のいずれか１項に記載の主被写体検出装置。
【請求項１２】
前記最終検出手段は、前記特定時点における画像において主被写体の領域を検出できなかった場合、前記第２検出手段が検出した第２候補領域に含まれる物体を、前記特定時点より後の画像の主被写体の領域を検出する際に、前記物体検出手段が検出する物体に追加することを特徴とする請求項１から１１のいずれか１項に記載の主被写体検出装置。
【請求項１３】
画像を撮像するための撮像部を更に有し、
前記撮像部により撮像された画像を取得することを特徴とする請求項１から１２のいずれか１項に記載の主被写体検出装置。
【請求項１４】
前記主被写体検出装置の動き変化を検出する動き検出手段を有し、
前記最終検出手段は、前記動き検出手段により検出された前記動きの変化に基づいて、前記特定時点における画像の主被写体の領域を検出することを特徴とする請求項１３に記載の主被写体検出装置。
【請求項１５】
前記動き検出手段は、前記撮像部から撮りこまれる複数の画像に基づいて前記動きの変化を検出することを特徴とする請求項１４に記載の主被写体検出装置。
【請求項１６】
特定時点における画像の主被写体の領域を検出する主被写体検出方法であって、
前記特定時点より前の、時系列に連続する複数の画像を取得するステップと、
前記取得された複数の画像において存在する頻度が所定の回数以上の物体を検出するステップと、
前記検出された物体の情報に基づいて、前記特定時点における画像において主被写体の第１候補領域を検出するステップと、
前記特定時点における画像において主被写体の領域が検出された場合に、当該検出された主被写体の領域の情報が供される機能を取得するステップと、
前記取得された機能に応じて、前記特定時点における画像の特徴量を算出するステップと、
前記算出された特徴量に基づいて、前記特定時点における画像において主被写体の第２候補領域を検出するステップと、
前記第１候補領域と、前記第２候補領域とに基づき、前記特定時点における画像の主被写体の領域を検出するステップと、
を有することを特徴とする主被写体検出方法。
【請求項１７】
コンピュータを、請求項１から１２のいずれか１項に記載の主被写体検出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像において主被写体の領域を検出する技術に関する。
【背景技術】
【０００２】
従来から、入力画像中の主被写体の領域を検出する方法が知られている。特許文献１には、過去の複数フレームの画像内で存在している累積時間が長い等、安定的に出現している被写体を主被写体として検出する技術が開示されている。
【０００３】
そして、このような主被写体領域検出の処理が例えばデジタルカメラなどの撮像装置内で行われることにより、主被写体にオートフォーカス（ＡＦ）を調節したり、主被写体に対して自動追尾を行うことができるようになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１２０９４９号公報
【特許文献２】特開２０１１−５３７５９号公報
【非特許文献】
【０００５】
【非特許文献１】Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，Ｅ．Ｎｉｅｂｕｒ，Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２０，Ｎｏ．１１，ｐｐ．１２５４−１２５９，Ｎｏｖ  １９９８．
【非特許文献２】Ｂ．Ｋ．Ｐ．Ｈｏｒｎ  ａｎｄ  Ｂ．Ｇ．Ｓｃｈｕｎｃｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ，Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ”，ｖｏｌ．１７，ｐｐ．１８５−２０３，１９８１．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示される技術のように、複数フレームの画像にわたって長く安定的に写っているものを主被写体とするだけでは、撮影者の意図を誤って主被写体を検出してしまう可能性がある。
【０００７】
例えば、動かない物体（例えば道路標識等）を撮影しているときに、動きのある物体が画像内に入り込んできた場合（例えば車が入り込んできた場合）、従来の特許文献１の方法では道路標識を主被写体として検出することになる。しかしながら、撮影者は、道路標識が写るような構図で車を撮影しようとして、車が画角に入ってくるのを待っていたということもある。この場合には、車が主被写体と検出されることが好ましく、画像に長く安定的に写っていたものを主被写体と検出するだけでは、撮影者の意図に反した主被写体検出をしてしまうことがあった。本発明は、撮影者の意図に反した主被写体検出を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するために、本発明は、特定時点における画像の主被写体の領域を検出する主被写体検出装置であって、前記特定時点より前の、時系列に連続する複数の画像を取得する画像取得手段と、前記取得手段により取得された複数の画像において存在する頻度が所定の回数以上の物体を検出する物体検出手段と、前記物体検出手段により検出された物体の情報に基づいて、前記特定時点における画像において主被写体の第１候補領域を検出する第１検出手段と、前記特定時点における画像において主被写体の領域が検出された場合に、当該検出された主被写体の領域の情報が供される機能を取得する機能取得手段と、前記機能取得手段により取得された機能に応じて、前記特定時点における画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて、前記特定時点における画像において主被写体の第２候補領域を検出する第２検出手段と、前記第１検出手段により検出された第１候補領域と、前記第２検出手段により検出された第２候補領域とに基づき、前記特定時点における画像の主被写体の領域を検出する最終検出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
以上の構成によれば、本発明は、撮影者の意図に反した主被写体の検出を抑制することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態における主被写体検出装置の構成を示す概略ブロック図。
【図２】第１の実施形態において入力画像と顕著領域の例を示す図。
【図３】第１の実施形態における第１検出部の処理の詳細を説明する図。
【図４】第１の実施形態における第２検出部の処理の詳細を説明する図。
【図５】第１の実施形態における主被写体検出処理の手順を示すフローチャート。
【図６】第２の実施形態における主被写体検出方法の概要を説明する図。
【図７】第１の実施形態の変形例における主被写体検出処理の手順を示すフローチャート。
【図８】第２の実施形態における主被写体検出処理の手順を示すフローチャート。
【図９】第３の実施形態における主被写体検出装置の構成を示す概略ブロック図。
【図１０】第３の実施形態における主被写体検出処理の手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本実施形態に係る主被写体検出装置１００の構成を示す概略ブロック図である。主被写体検出装置１００は、画像取得部１０１、対象物体検出部１０２、第１検出部１０３、機能取得部１０４、特徴量算出部１０５、第２検出部１０６、最終検出部１０７、顕著領域検出部１０８、同一物体領域特定部１０９、および出現頻度算出部１１０を備える。本実施形態に係る主被写体検出装置１００は、半導体集積回路（ＬＳＩ）を用いて実現される。例えば、デジタルカメラのような撮像装置に備えられた半導体集積回路が前述の主被写体検出装置としての機能を実現するようにしてもよく、この場合、撮像装置自体が本実施形態の主被写体検出装置１００に相当する。
【００１２】
主被写体検出装置１００は、単体の装置として構成されていてもよい。つまり、主被写体検出装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭやＨＤＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
【００１３】
以下、本実施形態の説明では、主被写体検出装置１００がデジタルカメラとして構成されている場合を例に説明する。まず、画像取得部１０１は、撮像部（イメージセンサ等）から逐次入力される入力画像（動画フレーム）を取得し、取得した入力画像（動画フレーム）を対象物体検出部１０２、第１検出部１０３、特徴量算出部１０５へと出力する。なお、このような逐次入力される画像は、デジタルカメラのスルー表示の機能等にも供される。
【００１４】
対象物体検出部１０２は、複数フレームで高頻度に存在している物体（以下、取込み対象物体と称す）を検出する。対象物体検出部１０２の処理の概要について簡単に説明する。まず、対象物体検出部１０２は、取込み対象物体の候補を探索し、その候補が複数フレームにわたって長く映っているかどうかを判断する。その際、対象物体検出部１０２は、異なるフレームで探索された候補が同一のものであるか否かの判定を行い、同一と判定された候補が複数フレームにわたって存在すれば、長く映っていると判断する。そして、対象物体検出部１０２は、複数フレームにわたって長く映っていると判断した取込み対象物体に関する情報（位置やサイズ、色等）を出力する。
【００１５】
次に、対象物体検出部１０２の詳細を説明するために、対象物体検出部１０２を構成するサブブロックごとの処理について説明する。顕著領域検出部１０８は、動画フレームの一枚一枚を入力画像として逐次取得し、各入力画像から顕著な領域を探索する。顕著領域の探索手法としては、種々の公知手法を用いることができる。例えば、非特許文献１に記載されている中心−周囲（ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ）差分法等を用いればよく、画像の各画素に小領域を設定し、その小領域と周囲の領域との特徴量の差分を顕著度として算出する等により顕著領域が検出される。
【００１６】
図２は、入力画像、及び顕著領域検出部１０８により探索された顕著領域の例を示す。図２（ａ）は、画像取得部１０１により取得され、顕著領域検出部１０８へと入力された入力画像２０１を示している。入力画像２０１には、標識２０２と車２０３が写っている。
【００１７】
顕著領域検出部１０８は、この入力画像２０１に対して上記非特許文献１に記載されるような手法を用いて顕著度の算出を行い、顕著度を画素値とする顕著度マップを得る。この顕著度マップを所定の閾値で二値化し、所定の閾値以上の顕著度を有する高顕著領域だけを抽出する。
【００１８】
図２（ｂ）は、検出した高顕著度領域の外接矩形を入力画像２０１に重ねて表示している。矩形２０５及び２０６が、標識２０２及び車２０３に対して設定された高顕著度領域の外接矩形の領域である。顕著領域検出部１０８は、検出した高顕著領域を取込み対象物体の候補として、その情報を同一物体領域特定部１０９に出力する。ここで出力する情報は、例えば、外接矩形２０５、２０６で切り取られた画像及び、外接矩形２０５、２０６の入力画像２０１内での位置である。
【００１９】
同一物体領域特定部１０９は、異なるフレーム（入力画像）で検出された取込み対象物体の候補が、同一の物体を撮影したものであるか否かの判定を行う。同一物体か否かの判定は、異なるフレームに対して顕著領域検出部１０８から出力された候補領域同士の相関を算出することにより判定される。
【００２０】
図２に戻り、同一物体領域特定部１０９における同一物体領域の判定処理について説明する。図２（ｃ）には、入力画像２０１に続く（時間的に連続する）入力画像２０７が図示されている。入力画像２０７において、標識２０８及び車２０９は、図２（ａ）の標識２０２及び車２０３に対応しており、車２０９は入力画像２０１の時点から少し動いている。また、入力画像２０７には、新たにフレーム中に入ってきた飛行機２１０が存在している。
【００２１】
図２（ｄ）は、検出した高顕著度領域の外接矩形を入力画像２０７に重ねて表示すものであり。矩形２１２、２１３、及び２１４が、標識２０８、車２０９及び飛行機２１０に対して設定された高顕著度領域の外接矩形の領域である。
【００２２】
このように、ある時点の入力画像２０１には、取込み対象物体の候補領域として矩形２０５、２０６の二つが存在し、異なる時点の入力画像２０７には、取込み対象物体の候補領域として矩形２１２、２１３、２１４の三つが存在している。そして、同一物体領域特定部１０９は、異なる時点のフレーム（入力画像）の候補領域同士の相関をとる。上述した図２の場合には、「２０５と２１２」、「２０５と２１３」、「２０５と２１４」、「２０６と２１２」、「２０６と２１３」、「２０６と２１４」の６通りの組み合わせに対して相関係数を算出する。なお、相関係数を算出する手法にあたっては、種々の公知技術を用いることができ、例えば正規化相関を算出すればよい。正規化相関を算出する場合、相関をとる対象の候補領域のサイズをアフィン変換等で揃える必要がある。
【００２３】
このように、同一物体領域特定部１０９は、異なるフレーム（入力画像）の候補領域同士の相関をとり、得られた相関係数に対して所定の閾値により閾値処理を行う。そして、閾値を超えた相関係数をもつ候補領域同士は、同一物体として判定される。図２の例では、「２０５と２１２」、「２０６と２１３」が同一物体領域として判定される。どの候補領域同士が同一物体領域と判定されたのかという判定結果は、出現頻度算出部１１０に出力される。
【００２４】
出現頻度算出部１１０は、同一物体領域特定部１０９から出力される判定結果に基づき、各取込み対象物体の候補が動画フレーム中に何度出現したかをカウントする。図２に示した２フレームの例では、候補２０５（２１２）の出現頻度は２回、候補２０６（２１３）の出現頻度は２回、候補２１４の出現頻度は１回となる。同一物体領域特定部１０９からは同一と判定された候補（対）が出力されるので、これを辿ることで３フレーム以上にわたっても同一物体に対する出現頻度をカウントしていくことができる。
【００２５】
出現頻度算出部１１０は、予め決められたフレーム枚数中に、所定の回数以上、出現している取込み対象物体の候補が現れると、その候補を取込み対象物体とする。例えば、２フレーム中で２回以上の出現回数であれば、その候補を取込み対象物体とする、というように予め決められているとすると、図２の場合、候補２０６（２１３）及び候補２０５（２１２）が取込み対象物体となる。
【００２６】
出現頻度算出部１１０は、以上の処理の結果、取込み対象物体を示す情報（以下、取込み対象物体情報と称す）を第１検出部１０３に出力する。例えば、出力結果の取込み対象物体情報として、取込み対象物体２１２、２１３の切取り画像及び、それらの入力画像２０７内での位置に関する情報が出力される。なお、取込み対象物体情報としては、取込み対象物体２１２と２０５であれば、どちらの切取り画像を出力してもよいが、本実施形態では時間的に新しい取込み対象物体２１２を出力とする。これは、主被写体を検出しようとしている画像と時間的に近いフレームから切り取った方が、後に説明する第１候補領域の探索がより精度よく探索できるからである。
【００２７】
以上の説明のようにして、対象物体検出部１０２は取込み対象物体を検出する。これにより、動画フレーム中で出現回数の高い物体が取込み対象物体として特定されることになる。動画フレーム中で出現回数の高い物体は、撮影者が撮影画像に取り込みたい物体である可能性が高いので、このような物体を特定することは、撮影者の意図を反映した主被写体検出を実現する上で必要な処理であるといえる。
【００２８】
なお、このような、撮影者はどのような物体を撮影しようとしているのかを知るための処理は、実際に主被写体検出を行う時点のフレームよりも以前の動画フレームに対して行っておく必要がある。従って、対象物体検出部１０２における処理は、動画フレームを構成する静止画像が入力される度に行われることになる。すなわち、本実施形態の主被写体検出装置１００（デジタルカメラ）でも、対象物体検出部１０２は、シャッターを押して記録するか否かに関係なく、画像が入力される度に、言わばバックグラウンドの処理として上述の処理が実行される。
【００２９】
図１の説明に戻ると、第１検出部１０３は、対象物体検出部１０２より取得した取込み対象物体情報を用いて、画像取得部１０１から入力された主被写体検出を行うフレーム（以下、検出対象フレームと称す）のどこに取込み対象物体があるのかを探索する。本実施形態において、その探索方法は特に限定されるものではない。例えば、対象物体検出部１０２から取込み対象物体情報として出力される取込み対象物体の切り出し画像をテンプレートとして、テンプレートマッチングにより取込み対象物体を探索することができる。
【００３０】
図３は、本実施形態における第１検出部１０３の処理を説明する図である。図３（ａ）は、検出対象フレーム３０１を示している。この検出対象フレーム３０１に対して、取込み対象物体２１２、２１３をテンプレートとして、テンプレートマッチングすることで、検出対象フレーム３０１中のどこに取込み対象物体２１２、２１３が存在するかを特定する。図３（ｂ）は、テンプレートマッチングによる取込み対象物体特定の処理の結果を示している。同図では、矩形領域３０３、３０４が取込み対象物体２１２、２１３の存在する場所として特定されている。第１検出部１０３で特定、検出された領域は、以下、第１候補領域と称す。本実施形態では、矩形領域３０３、３０４の領域が第１候補領域となる。
【００３１】
または、対象物体検出部１０２と同様の処理により取込み対象物体を検出してもよい。この場合、顕著領域検出部１０８と同様の処理により高顕著領域を抽出し、続いて、同一物体領域特定部１０９で行ったような相関演算を抽出した高顕著領域と取込み対象物体の切り出し画像との間で行えばよい。第１検出部１０３で特定、検出された領域（第１候補領域）に関する情報は、第１検出部１０３から最終検出部１０７へ出力される。
【００３２】
機能取得部１０４は、ユーザにより指定された、装置（デジタルカメラ）で実行可能な機能に関する情報を取得する。ここで言う機能とは、主被写体検出結果を用いて実現することができるアプリケーションのことを指し、例えば、背景技術の段で例を挙げたような、オートフォーカス（ＡＦ）機能や自動追尾機能等である。機能取得部１０４は、これから撮影しようとする画像に対して、これらの機能のうちどれを適用させようとするのかに関する情報を取得する。例えば、主被写体に対して自動追尾機能を利用して撮影を行いたいと撮影者が考え、装置（デジタルカメラ）に対してそのように設定をしていれば、機能取得部１０４は、その設定された情報（自動追尾機能）を取得する。
【００３３】
一般に、主被写体検出結果を利用する機能（以下、検出結果利用機能）として、どの機能が選択されているのかという点においても、撮影者の意図を推定するヒントがある。つまり、自動追尾機能を選択したということは、撮影者は主被写体として動きを持つ物体を撮影したいのではないかという推察ができる。また、ＡＦ機能を選択したのであれば、撮影者は画像中の前景にある物体を主被写体として撮影したいのではないかと考えられる。
【００３４】
機能取得部１０４は、撮影しようとしている撮影対象画像に対して設定された機能の情報を取得し、取得した機能を示す情報（利用機能情報）を特徴量算出部１０５に出力する。本実施形態では、以下説明するように、検出結果利用機能として何が選択されているのかということに基づいて主被写体の第２候補領域を検出することも行う。
【００３５】
特徴量算出部１０５は、検出結果利用機能ごとに算出すべき特徴量（以下、算出特徴量）が予め対応付けて設定されており、入力される利用機能情報に対応した特徴量の算出を、画像取得部１０１から入力された検出対象フレームに対して行う。ここで、算出特徴量の種類は、検出結果利用機能に有用な特徴量が対応付けられている。例えば、検出結果利用機能が自動追尾機能であれば、物体の動きを検出するような特徴量が算出特徴量として対応付けられ、またＡＦ機能であれば、前景と背景を分離できるような特徴量が算出特徴量として対応付けられる。
【００３６】
物体の動きを検出するために適した特徴量としては、例えば非特許文献２に開示されているオプティカルフロー等の各画素における速度ベクトルが挙げられる。動きの検出の場合は、一枚の検出対象フレームだけから検出することは困難であるので、検出対象フレームの前のフレームも合わせて特徴量算出部１０５に入力する必要がある。あるいは、カメラが動いてない場合には、フレーム間差分によっても動きの特徴量を算出できる。前景と背景とを分離できるような特徴量も、種々の公知技術を用いることができ、例えば特許文献２に開示される手法により算出される色特徴量などでよい。
【００３７】
以上のように、特徴量算出部１０５は、検出結果利用機能ごとに定められた種類の特徴量を算出し、その算出した特徴量を各画素の画素値とする特徴量マップを作成する。そして、作成した特徴量マップは第２検出部１０６に出力する。機能取得部１０４によって取得された機能に対応する特徴量が複数ある場合は、複数の特徴量マップを作成し、出力する。
【００３８】
第２検出部１０６は、入力された特徴量マップを用いて、検出結果利用機能にとって有用な領域を検出する。入力される特徴量マップは、検出結果利用機能にとって有用な特徴量を算出した結果であるので、特徴量マップを所定の閾値で閾値処理し、閾値を超えるような領域を主被写体の第２候補領域として検出する。
【００３９】
図４は、第２検出部１０６の処理の詳細を説明するための図である。ここでは、検出結果利用機能として自動追尾機能が設定されている場合について説明する。その場合、特徴量算出部１０５では、動きのある領域に対して高い値を持つ特徴量マップが作成され、出力される。図４（ａ）のように示される検出対象フレーム４０１に対して、物体の動きを検出するのに適した特徴量の算出を行い、閾値処理することで、検出対象フレーム４０１内のどこに動きの大きい領域が存在するかを特定することができる。なお、一枚のフレームだけでは動きに関する特徴量の算出はできないので、検出対象フレーム４０１だけでなく、その前のフレーム（不図示）も用いて動きの特徴量を算出する。具体的には、例えば、検出対象フレーム４０１とその前のフレームとで差分を算出し、閾値処理をする。図４（ｂ）は、検出対象フレーム４０１において、動きの大きな領域として特定された領域４０３、４０４を示している。第２検出部１０６は、このような動きの大きい領域を探索し、これら領域（４０３、４０４）を第２候補領域として特定する。
【００４０】
最終検出部１０７は、第１検出部１０３から入力される第１候補領域と、第２検出部１０６から入力される第２候補領域とに基づき、主被写体検出結果として、最終的な主被写体の領域を検出する。本実施形態では、第１候補領域および第２候補領域に共通して存在する領域を最終的な主被写体領域として検出する。最終検出部１０７は、主被写体情報として、検出した主被写体領域の位置やサイズ、さらには、検出領域のスコア（主被写体らしさ）を出力する。主被写体検出スコアの算出は、検出領域の位置やサイズ、第１候補領域を検出するときに得られる相関値、第２候補領域を検出するときに得られる特徴量値等の各情報を重み付き加算する等の演算を行い、算出すればよい。重み付き加算の重み値は、多数の画像（サンプル）から公知の学習手法により学習して決定することができる。
【００４１】
ここで、最終検出部１０７の処理の詳細について、図３および図４を用いて説明する。図３の検出対象フレーム３０１、及び図４の検出対象フレーム４０１は同じフレーム（入力画像）であり、このとき、第１候補領域として領域３０３、３０４が特定され、第２候補領域として領域４０３、４０４が特定される。本実施形態の例では、両候補領域に共通して存在する領域を最終的な主被写体検出領域として検出するので、最終的な主被写体検出領域は領域３０４（あるいは領域４０３）となる。
【００４２】
なお、本実施形態において、第１候補領域と第２候補領域とに共通して存在する領域がなければ、最終検出部１０７は主被写体なしと判断する。両候補領域の共通領域がないということは、主被写体として確実な領域が存在しないことを意味するので、その場合は主被写体なしと出力することで、後に利用する機能において主被写体の誤検出を抑制することができる。主被写体領域を誤検出すると、撮影者に不快感や違和感を与えてしまう可能性があるので、共通の領域がない場合には、主被写体なしとすることで、その可能性を低減している。
【００４３】
次に、主被写体検出装置１００による主被写体検出処理の詳細について説明する。図５は、本実施形態に係る主被写体検出処理の処理手順を示すフローチャートである。ここでは、あるタイミング（特定時点）で入力された検出対象フレーム（入力画像）について、主被写体領域の検出をする処理を説明するものである。
【００４４】
図５に示すフローチャートにおいて、まずステップＳ５０１では、機能取得部１０４が設定された検出結果利用機能に関する情報を取得する。そして、ステップＳ５０２において、特徴量算出部１０５は、機能取得部１０４によって取得された検出結果利用機能に応じて、算出すべき特徴量を決定する。以上のステップＳ５０１、Ｓ５０２の処理は、検出対象フレームが取得されるタイミング（特定時点）よりも前に行われていれば、任意のタイミングに行うことができる。
【００４５】
ステップＳ５０３において、画像取得部１０１は、動画フレーム（入力画像）の入力を判断し、画像が入力されれば、入力画像は対象物体検出部１０２へと渡され、処理はステップＳ５０４に進む。ステップＳ５０４では、対象物体検出部１０２の顕著領域検出部１０８が取込み対象物体の候補として高顕著領域を検出する。そして、続くステップＳ５０５において、同一物体領域特定部１０９が、異なるフレーム（入力画像）において検出された取込み対象物体の候補が同一の物体であるか否かの判定を行い、同一物体領域を特定する。そして、処理はステップＳ５０６に進み、出現頻度算出部１１０は、同一物体領域特定部１０９の判定結果に基づき、各取込み対象物体の候補の出現回数をカウントする。ステップＳ５０４〜Ｓ５０６の処理により、取込み対象物体の特定が行われる。この取込み対象物体の特定は、あるタイミング（特定時点）で入力される検出対象フレームよりも時間的に前のタイミングで逐次的に取得される複数フレームを用いて、予め行われているものである。
【００４６】
そして、あるタイミング（特定時点）で検出対象フレームが入力され、ステップＳ５０７において、主被写体検出装置１００は、処理対象となる入力画像に対して主被写体検出処理を行うか否か判断する。入力画像に対して、主被写体検出処理を行うと判断した場合、処理はステップＳ５０８以降に進む。まず、ステップＳ５０８で、第１検出部１０３は、テンプレートマッチング等の手法により、画像取得部１０１から入力された検出対象フレームから取込み対象物体を探索し、第１候補領域を検出する。
【００４７】
次に、ステップＳ５０９では、特徴量算出部１０５が、ステップＳ５０２で決定した種類の特徴量を、検出対象フレーム、及び必要に応じてそれ以前のフレームとから算出し、特徴量マップを作成する。そして、ステップＳ５１０では、第２検出部１０６が、特徴量算出部が算出した特徴量マップに基づいて、第２候補領域を検出する。なお、図５に示すフローチャートでは、ステップＳ５０４〜Ｓ５０６の処理の後に、ステップＳ５０８〜Ｓ５１０の処理を行うようにしている。しかし、同一の画像に対してステップＳ５０４〜Ｓ５０６の処理とステップＳ５０８〜Ｓ５１０の処理の両方を行う場合には、どちらを先に行っても構わないし、並列して同時に処理してもよい。
【００４８】
続いて、ステップＳ５１１において、最終検出部１０７は、第１候補領域と第２候補領域の共通領域の有無を判定する。そして、ステップＳ５１１の判定の結果、共通領域があれば、処理はステップＳ５１２に進み、最終検出部１０７は、その共通領域の情報を主被写体検出の最終候補領域として出力する。一方、共通領域がなければ、処理はステップＳ５１３に進み、最終検出部１０７は、検出対象フレームには主被写体がないと判定し、その結果を出力する。
【００４９】
以上のように、本実施形態の主被写体検出装置１００は、ある特定時点より前のフレーム群（複数の画像）から、撮影者が撮影する画像に取り込もうとしている取込み対象物体を検出する（第１候補領域の検出）。また、これと同時に、主被写体検出の結果が供されるアプリケーションにとって意味のある物体領域の検出を行う（第２候補領域の検出）。撮像装置（カメラ）の画角を決定するのは撮影者であるので、画角中に何が高頻度で存在しているかを調べることは、ある特定時点で撮影しようとする画像における撮影者の意図を推定することにつながる。また、主被写体検出の結果をどのような機能（アプリケーション）に利用するのかを設定するのも撮影者であるので、何のために主被写体を推定するのかを知ることも、ある特定時点で撮影しようとする画像における撮影者の意図を推定することにつながるといえる。
【００５０】
本実施形態では、このように異なる二つの観点で撮影者の意図を推定して候補領域を検出し、両候補領域から最終的な主被写体候補領域として特定するものである。このように多層的に撮影者の意図を推定することで、本実施形態では、撮影者の意図に反した主被写体の検出を抑制することが可能になる。そのため、この主被写体検出結果を利用したアプリケーションを操作する撮影者に対し、主被写体検出結果の誤検出に伴う不快感や違和感を低減させることができる。
【００５１】
例えば、特許文献１の技術のように、画角中に何が高頻度で存在するかを調べること（第１候補領域の探索）のみで主被写体を推定すると、図３の例では、領域３０３或いは３０４が主被写体候補領域として特定されることになる。具体的には、領域３０３、及び３０４の両方が主被写体領域として判定されるか、より安定している（動いていない）被写体である領域３０３を主被写体領域と判定される。これに対して、本実施形態の主被写体検出方法では、主被写体検出結果を何のために利用するのか（例えば自動追尾機能のため）という情報も手掛かりとして使用する。これにより、本実施形態は、動きのある物体を主被写体として撮影したいのではないか、という撮影者の意図を反映して、領域３０４（あるいは領域４０３）を主被写体領域として検出することが可能となる。これにより、本実施形態は、撮影者の意図に反した主被写体の検出を抑制することが可能になる。
【００５２】
［第１の実施形態の変形例］
上述の第１の実施形態では、第１候補領域と第２候補領域の共通領域がなければ、最終検出部１０７は、主被写体なしと判定するようにしていた。そこで、第１の実施形態の変形例として、最終検出部１０７が主被写体なしと判定した場合、そのタイミングで第２候補領域として特定した領域の情報を、続くフレーム（時間的にその後のフレーム）における処理に利用する形態について説明する。なお、第１の実施形態で既に説明をした構成については、同一の符号を付し、その説明は省略する。
【００５３】
まず、図６を用いて、本変形例の主被写体検出方法の概要を説明する。図６（ａ）は、画像取得部１０１が逐次的に取得する入力画像を時系列に並べたものである。図６（ｂ）、（ｃ）には、図６（ａ）の各入力画像に対して検出される第１候補領域、第２候補領域を示している。ここでは、上述の第１の実施形態と同様に、検出結果利用機能として自動追尾機能が設定されており、また、フレーム６０１（及びそれ以前のフレーム）には、フレーム内に「標識」が存在している場合を示している。
【００５４】
このような場合に、フレーム６０２が検出対象フレームとして入力されると、第１の実施形態では、第１候補領域として「標識」、第２候補領域として「飛行機」が検出される。そして、最終的な主被写体検出結果は、第１候補領域と第２候補領域の共通領域がないために、主被写体なしと判断される。本変形例では、このような場合に、第２候補領域として検出された領域に含まれる物体を、次のタイミングの検出対象フレームでの主被写体検出処理では、取込み対象物体に追加するものである。
【００５５】
図６に示す本変形例の場合、フレーム６０２のタイミングで第２候補領域として検出した領域は、次の検出対象フレーム６０３に対して実行される主被写体検出処理では、取込み対象物体に追加され、処理される。そのため、検出対象フレーム６０３に対して検出される第１候補領域は「標識」と「飛行機」、第２候補領域は「飛行機」となり、最終的な主被写体検出領域として「飛行機」が出力されることになる。また、その次の検出対象フレーム６０４でも同様の出力結果となる。
【００５６】
本変形例がこのように処理を行う理由は、撮影者が検出結果利用機能として自動追尾機能を選択したということは、動いている物体を主被写体として撮影したいのであろうと推測しているからである。つまり、画角内で高頻度に存在している物体（取込み対象物体）が動かない物体であるなら、これは主被写体でないと判断し、そういう構図（「標識がある構図」）において、動く物体（「飛行機」）が画角中に入ってくるのを待っていると推測しているからである。これは、本変形例が、主被写体検出結果をどの機能（アプリケーション）を利用しようとしているのかという推測を、特に重視しているということである。このような推測に基づく主被写体検出を実現するために、本変形例では上述のような処理を行っている。
【００５７】
図７は、本変形例における主被写体検出処理の処理手順を示すフローチャートである。第１の実施形態と異なる点は、ステップＳ５１１において、第１候補領域と第２候補領域とに共通領域がないと判断され、主被写体なしと判断した場合に、処理をステップＳ７０１に進めることである。このステップＳ７０１では、最終検出部１０７が、検出対象フレームにおいて第２候補領域として検出された領域を、次のタイミングの検出対象フレームの処理において取込み対象物体の領域に追加する。追加された取込み対象物体領域は、次の検出対象フレームに対する第１候補領域の検出において使用されることになる。
【００５８】
なお、動画フレームによっては、ステップＳ７０１において、わざわざ取込み対象物体として追加しなくても、いずれ時間がたてば、第１候補領域として検出されなかった領域も（例えば図６の６０２の飛行機）、取込み対象物体として検出されることもある。しかしながら、ステップＳ７０１のように明に取込み対象物体として追加した方が、早期に追従できる効果が期待できる。
【００５９】
［第２の実施形態］
次に、本発明の第２の実施形態として、第１候補領域と第２候補領域に共通領域がない場合を３通りに場合分けし、それぞれで異なる検出結果を出力する形態について説明する。なお、第１の実施形態で既に説明をした構成については、同一の符号を付し、その説明は省略する。
【００６０】
第１候補領域と第２候補領域に共通領域がない場合には、以下の３通りがある。すなわち、「１．第１候補領域も第２候補領域も存在するが、共通領域がない場合」、「２．第１候補領域は存在するが、第２候補領域がない場合」、「３．第１候補領域はないが、第２候補領域は存在する場合」である。
【００６１】
まず、「１．第１候補領域も第２候補領域も存在するが、共通領域がない場合」は、次のようなケースである。すなわち、取込み対象物体を手がかりとして検出した結果（第１候補領域）と、検出結果利用機能を手がかりとして検出した結果（第２候補領域）とで、両方を満足するような領域が存在しなかったということである。従って、この場合は、本実施形態でも、その検出対象フレームに対しては主被写体なしと判定する。
【００６２】
次に「２．第１候補領域は存在するが、第２候補領域がない場合」は、検出結果利用機能情報を手がかりとした領域が検出されなかった場合である。このようなケースは、例えば、検出結果利用機能として自動追尾が設定されている場合、じっとしている物体（動物等）が動くのを待ち構えているような場面が想定される。物体がじっとしている間は動きがないので、第２候補領域は検出されない。しかしながら、このような場合には、じっとしている動物を主被写体としても問題はなく、その後に動き始めれば、それを自動追尾すればよい。従って、この２番目の場合には、第１候補領域の結果を主被写体検出結果として出力する。
【００６３】
次に「３．第１候補領域はないが、第２候補領域は存在する場合」は、取込み対象物体に相当する領域が検出されなかった場合である。このようなケースは、例えば、検出結果利用機能として自動追尾が設定されている場合、晴天時の青空を撮影しているときに、飛行機が画面に入ってきたような場面が想定される。晴天時の青空には、特に顕著領域は存在しないので、画像内取り込み対象物体は検出されない。しかしながら、このような場合には、フレームに入ってきた飛行機を自動追尾しても問題はない。従って、この３番目の場合には、第２候補領域の結果を主被写体検出結果として出力する。
【００６４】
図８は、本実施形態における主被写体検出処理の処理手順を示すフローチャートである。第１の実施形態と異なる点は、ステップＳ５１３の処理に代えて、ステップＳ８０１〜Ｓ８０６の処理が追加されていることである。まず、ステップＳ８０１で、最終検出部１０７は、第１候補領域の有無を判定し、第１候補領域がある場合には処理はステップＳ８０２に進み、第１候補領域がない場合には処理はステップＳ８０３へと進む。ステップＳ８０２、Ｓ８０３では、最終検出部１０７は、第２候補領域の有無を判定する。この３ステップの判定処理により、第１候補領域と第２候補領域に共通領域がない場合は、３通りに場合分けされて、ステップＳ８０４〜Ｓ８０６のそれぞれで、上述の場合分けに応じた出力結果がなされる。
【００６５】
以上、本実施形態によれば、第１候補領域と第２候補領域に共通領域がない場合、さらに３通りに場合分けし、それぞれで異なる検出結果を出力することで、より詳細な主被写体領域検出処理を実現することができる。
【００６６】
［第３の実施形態］
次に、本発明の第３の実施形態として、パンチルト動作や撮影者による画角の変化等、撮像装置（カメラ）の姿勢の変化も利用して主被写体領域を検出する形態について説明する。なお、第１、第２の実施形態で既に説明をした構成については、同一の符号を付し、その説明は省略する。
【００６７】
一般に、撮像装置（カメラ）がパンチルト動作をしているのか否かは、カメラ自体がパンチルト動作を制御しているため、カメラはその状態変化を容易に検出ことができる。また、撮影者による画角変化に関しては、カメラに装備されたジャイロセンサー等の動きセンサーの出力を基にカメラが動いているのか否かを検出することができる。このようにして、主被写体検出装置１００は装置自体（カメラ）の動きに関する情報を取得することができる。
【００６８】
次に、カメラの姿勢変化とその際に推定される主被写体領域との関係について説明する。
まず、カメラに動きがないとき、対象物体検出部１０２により取込み対象物体が検出されるという場合は、上述の各実施形態で想定しているようなケースである。この場合、「その取込み対象物体を撮影したいから」なのか、「たまたま画角中に入ってきたものが取込み対象物体になったから」なのか、明確に区別できない可能性がある。そのために、上述の各実施形態のように、検出結果利用機能情報を用いて第２候補領域を検出することを行い、両者の区別に利用することが好適である。
【００６９】
これに対し、カメラに動きがあるときに、対象物体検出部１０２により取込み対象物体が検出されるような場合は、カメラを動かす（画角を変更する）ことによって、撮影者が取込み対象物体を何とか画角に入れようという意図が働いていると判断することができる。このような場合には、カメラを動かしてでも画角内に入れようとしている取込み対象物体は、主被写体領域の可能性が高いと推測される。本実施形態では、このような場合、第１候補領域を優先して最終候補領域（主被写体領域）として出力することを行う。
【００７０】
図９は、本実施形態における主被写体検出装置１００の概略ブロック図を示している。図９（ａ）において、動き検出部９０１は主被写体検出装置１００の外部に設けられたジャイロセンサー等の動きセンサーにより構成され、カメラ（主被写体検出装置１００自身）の動きを検出し、その情報を出力する。そして、最終検出部１０７は、カメラ動き情報を取得し、その情報も利用して最終候補領域（最終的な主被写体領域）の特定を行う。具体的には、最終検出部１０７は、カメラ動き情報からカメラに動きがあると検知された場合には、第１候補領域を優先して最終候補領域（主被写体領域）を特定する。例えば、第１候補領域も第２候補領域も存在するが、共通領域がない場合、本実施形態では、主被写体検出結果として第１候補領域を出力する。
【００７１】
なお、ここでの処理は、カメラの動きの有無ではなく、カメラの動きの大きさが所定の閾値を超えたか否かをトリガーとして行うようにしてもよい。また、カメラの姿勢変化の計測手法としては、カメラ自体の動きをセンサー等により直接計測することで可能であるが、カメラの撮像部から撮り込まれる複数の画像の変化からカメラの動きを間接的に推定することでも可能である。カメラの撮像部から撮り込まれる複数の画像の変化からカメラの動きを推定する手法としては、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎと呼ばれる公知技術が知られている。Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎでは、画像中の多数の特徴点の３次元的移り変わりを用いることで、カメラの姿勢変化と、そのカメラが撮影している物体の幾何学構造を計算する。この手法により、外部のセンサー等を使用せず、撮り込まれる画像のみからカメラの姿勢変化を推定することができる。図９（ｂ）は、このような撮影した画像の変化に基づいてカメラの動きを推定する主被写体検出装置１００の概略ブロック図を示している。動き検出部９０２は、撮影された動画フレームを用いて、カメラ（主被写体検出装置１００）の動き情報を検出し、出力する。動き検出部９０２が、動画フレームからカメラの動きを推定する際には、上述したＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎを用いる。
【００７２】
図１０は、本実施形態における主被写体検出処理の処理手順を示すフローチャートである。第１の実施形態と異なる点は、ステップＳ５１１の前に、ステップＳ１００１として、最終検出部１０７が動き検出部９０１または動き検出部９０２の検出結果からカメラ（主被写体検出装置１００）に動きがあるかを判定するステップがあることである。このステップで、動きがないと判定された場合は、処理はステップＳ５１１へと進み、第１の実施形態と同様の処理が行われる。一方、ステップＳ１００１において、カメラに動きがあると判定されて場合には、処理はステップＳ１００２へと進み、最終検出部１０７は、主被写体検出結果として第１候補領域を出力する。
【００７３】
以上、本実施形態によれば、撮像装置（カメラ）の動きの変化も利用して主被写体領域を検出することにより、精度良く主被写体領域を検出できるようになり、撮影者の意図に反した主被写体の検出をより抑制することが可能になる。
【００７４】
［その他の実施形態］
上述の説明では、同一物体領域特定部１０９での同一物体の特定手法として、相関演算による手法を例に挙げたが、色ヒストグラム同士を比較する等、他の手法であってもよい。
【００７５】
また、対象物体検出部１０２による取込み対象物体の探索に係る処理は、複数フレームにわたって高頻度に存在する物体を探索することとしていた。しかし、撮影者が画像内に取り込みたいと思う物体を推定する方法であれば、他の手法により取込み対象物体を探索するようにしてもよい。例えば、対象物体検出部１０２は、単純に顕著な物体を取込み対象物体として特定するようにしてもよい。さらには、複数フレームにわたって長く映っているだけでなく、その物体がどの程度顕著な物体なのか、或いは、その物体が存在する画像中の位置等も考慮して、取込み対象物体を探索するような手法でもよい。
【００７６】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７７】
１００  主被写体検出装置
１０１  画像取得部
１０２  対象物体検出部
１０３  第１検出部
１０４  機能取得部
１０５  特徴量算出部
１０６  第２検出部
１０７  最終検出部
１０８  顕著領域検出部
１０９  同一物体領域特定部
１１０  出現頻度算出部
【図１】
2017016592.tif 000003
【図２】
2017016592.tif 000004
【図３】
2017016592.tif 000005
【図４】
2017016592.tif 000006
【図５】
2017016592.tif 000007
【図６】
2017016592.tif 000008
【図７】
2017016592.tif 000009
【図８】
2017016592.tif 000010
【図９】
2017016592.tif 000011
【図１０】
2017016592.tif 000012