(57)【要約】【課題】従来よりも高速かつ高精度な物体検出を可能とする。【解決手段】画像から所定の物体を検出する物体検出装置であって、前記画像から前記物体が存在する候補領域を複数検出する第１検出手段と、前記第１検出手段によって検出された複数の候補領域に基づいて、１つまたは複数の統合領域を決定する領域統合手段と、前記統合領域を対象として、前記第１検出手段とは異なる検出アルゴリズムによって前記物体を検出する第２検出手段と、を備える。【選択図】図２
2019021001.tif 000002
【特許請求の範囲】
【請求項１】
画像から所定の物体を検出する物体検出装置であって、
前記画像から前記物体が存在する候補領域を複数検出する第１検出手段と、
前記第１検出手段によって検出された複数の候補領域に基づいて、１つまたは複数の統合領域を決定する領域統合手段と、
前記統合領域を対象として、前記第１検出手段とは異なる検出アルゴリズムによって前記物体を検出する第２検出手段と、
を備える、物体検出装置。
【請求項２】
前記領域統合手段は、
前記複数の候補領域の中から代表領域を決定し、
前記代表領域以外の前記複数の候補領域の中から、所定の基準にしたがって前記代表領域に関連する領域を決定し、
前記代表領域および当該代表領域に関連する領域を統合することによって、前記統合領域を決定する、
請求項１に記載の物体検出装置。
【請求項３】
前記領域統合手段は、１つの前記統合領域を決定した後に、前記第１検出手段によって検出された前記複数の候補領域から前記代表領域と当該代表領域に関連する領域を除いた候補領域を対象として、別の統合領域を決定する、
請求項２に記載の物体検出装置。
【請求項４】
前記領域統合手段は、前記第１検出手段の検出結果の信頼度、または、前記候補領域のサイズの少なくともいずれかに基づいて、前記代表領域を決定する、
請求項２または３に記載の物体検出装置。
【請求項５】
前記領域統合手段は、前記代表領域と候補領域の距離に基づいて、前記候補領域が前記代表領域に関連する領域であるか否かを決定する、
請求項２から４のいずれか１項に記載の物体検出装置。
【請求項６】
前記領域統合手段は、前記代表領域に対する第１の検出手段による検出結果と、前記候補領域に対する前記第１の検出手段の検出結果との類似度に基づいて、前記候補領域が前記代表領域に関連する領域であるか否かを決定する、
請求項５に記載の物体検出装置。
【請求項７】
前記領域統合手段は、前記代表領域を前記統合領域として決定する、
請求項２から６のいずれか１項に記載の物体検出装置。
【請求項８】
前記領域統合手段は、前記代表領域と当該代表領域に関連する候補領域とを平均または加重平均した領域を前記統合領域として決定する、
請求項２から６のいずれか１項に記載の物体検出装置。
【請求項９】
前記画像は動画像であり、
前記物体検出装置は、前記動画像の複数のフレームから前記物体を検出するものであり、
前記領域統合手段は、現在フレームの前記代表領域および当該代表領域に関連する領域と、過去フレームの前記代表領域および当該代表領域に関連する領域とを、平均または加重平均した領域を前記統合領域として決定する、
請求項２から６のいずれか１項に記載の物体検出装置。
【請求項１０】
前記第２検出手段による検出結果の信頼度が閾値以上である前記統合領域について、前記物体が検出されたことを示す検出結果情報を出力する出力手段をさらに備える、
請求項１から９のいずれか１項に記載の物体検出装置。
【請求項１１】
前記検出結果情報は、前記第１検出手段による検出結果、前記第２検出手段による検出結果、または前記第１検出手段による検出結果と前記第２検出手段による検出結果を統合した結果、の少なくともいずれかを含む、
請求項１０に記載の物体検出装置。
【請求項１２】
前記第２検出手段の検出アルゴリズムは、前記第１検出手段の検出アルゴリズムよりも、計算量が多い、
請求項１から１１のいずれか１項に記載の物体検出装置。
【請求項１３】
前記所定の物体は、人の顔または人体である、
請求項１から１１のいずれか１項に記載の物体検出装置。
【請求項１４】
画像から所定の物体を検出する物体検出方法であって、
コンピュータが、
前記画像から前記物体が存在する候補領域を複数検出する第１検出ステップと、
前記第１検出ステップにおいて検出された複数の候補領域に基づいて、１つまたは複数の統合領域を決定する統合領域決定ステップと、
前記統合領域を対象として、前記第１検出ステップとは異なる検出アルゴリズムによって前記物体を検出する第２検出ステップと、
を含む、物体検出方法。
【請求項１５】
請求項１４に記載の方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から物体を検出する技術に関する。
【背景技術】
【０００２】
従来より、画像から人の顔などの所定の物体を検出する技術が知られている。例えば、画像特徴量としてHaar-like特徴量を用い、学習アルゴリズムとしてAdaBoostを用いる手
法が知られている（特許文献１、特許文献２）。AdaBoostは、一つ一つはそれほど判別能力が高くない弱い識別器をたくさんつなげることで、強い識別器を作る学習・判別アルゴリズムである。
【０００３】
近年、深層学習（ディープラーニング）の登場により、画像検出精度が飛躍的に向上している。しかし、深層学習は、たたみ込みニューラルネットワーク（CNN: Convolutional
Neural Network）と呼ばれる多層ネットワークを用いており、計算量が従来手法に比べ
て格段に多い。
【０００４】
このように深層学習は計算負荷が高いため、モバイルデバイスのような組込機器には適さないとみなされていた。近年の技術革新を考慮しても、組込機器において深層学習アルゴリズムを実行することは容易ではない。このような状況を考慮すると、組込機器のような計算資源の乏しい機器においても動作可能な、高速かつ高精度な物体検出アルゴリズムが求められる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３３８４０号公報
【特許文献２】特開２００８−１０２６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、高速かつ高精度な物体検出が可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、互いに異なる検出アルゴリズムによって画像から所定の物体を検出する第１検出手段および第２検出手段を有し、第１検出手段によって検出された候補領域を統合し、統合後の候補領域に対してのみ第２検出手段による物体検出を実行する。
【０００８】
より具体的には、本発明に係る物体検出装置は、画像から所定の物体を検出する物体検出装置であり、第１検出手段、第２検出手段、および領域統合手段を備える。第１検出手段及び第２検出手段は、いずれも画像から所定の物体を検出するように構成されるが、それぞれの検出アルゴリズムは異なる。ここで、第２検出手段の検出アルゴリズムは、第１検出手段と比較して、検出精度が高いが計算量が多い検出アルゴリズムであってよい。
【０００９】
第１検出手段は、画像から物体が存在すると推定される候補領域を複数検出するように構成される。領域統合手段は、これら複数の候補領域に基づいて、１つまたは複数の統合領域を決定するように構成される。第２検出手段は、当該統合領域を対象として、物体検出を行うように構成される。
【００１０】
このような構成によれば、統合領域に限定して第２検出手段による物体検出を行えるの
で、処理の高速化が実現できると共に、第２検出手段の検出精度を維持できる。すなわち、本発明に係る物体検出装置によれば、高速かつ高精度な物体認識が実現できる。
【００１１】
本発明における領域統合手段は、以下のようにして統合領域を決定するように構成されることができる。領域統合手段は、まず、複数の候補領域の中から代表領域を決定し、次に、所定の基準に従って当該代表領域に関連する領域（以下、関連領域とも称する）を複数の候補領域の中から決定し、そして、代表領域と関連領域とを統合することによって統合領域を決定する、ように構成されることができる。
【００１２】
領域統合手段は、統合領域を複数決定してもよい。その場合には、領域統合手段は、１つの統合領域を決定した後に、第１検出手段によって検出された複数の候補領域から、代表領域と関連領域を除いた候補領域を対象として、上述の処理を行って別の統合領域を決定するように構成される。この処理をN回繰り返すことにより、N個の統合領域を決定することができる。
【００１３】
代表領域を決定する基準として、第１検出手段による検出結果の信頼度、または、候補領域のサイズ（大きさ）を採用することができる。例えば、最も信頼度の高い候補領域を代表領域として決定してもよい。また、最もサイズの大きな候補領域を代表領域として決定したり、所定の大きさに最も近い候補領域を代表領域として決定したりしてもよい。また、信頼度に基づく評価（スコア）とサイズに基づく評価（スコア）との平均または加重平均に基づいて、代表領域を決定してもよい。
【００１４】
このような基準を採用することにより、所定物体が含まれている可能性が高い領域を代表領域として決定することができる。
【００１５】
関連領域を決定する基準として、代表領域と候補領域の距離を採用することができる。例えば、領域統合手段は、代表領域との距離が所定値以下の候補領域を関連領域として決定したり、代表領域との距離が最も短い所定数個の候補領域を関連領域として決定したりしてもよい。
【００１６】
関連領域を決定する基準として、第１検出手段による検出結果の類似度を採用してもよい。検出結果の類似度の例は、検出結果の信頼度の類似度、検出領域のサイズの類似度、画像内での検出物体の向きの類似度、検出された物体の属性の類似度などが上げられる。ここで、検出された物体の属性とは、検出物体を分類可能な任意の性質が該当する。例えば、検出物体が人間（顔や人体を含む）の場合には、年齢・性別・人種・表情などを属性の非限定的な例として挙げられる。
【００１７】
領域統合手段が、複数の観点（例えば、領域間距離、信頼度、領域サイズ、属性のうちの複数）に着目して関連領域を決定する場合には、各観点に関する評価（スコア）の平均または加重平均に基づいて関連領域を決定すればよい。ここで、領域統合手段は、加重平均スコア（平均スコアを含む）が上位の所定数個の候補領域を、関連領域として決定してもよい。あるいは、領域統合手段は、数を限定せずに、平均スコアが閾値以上の全ての候補領域を関連領域として決定してもよい。
【００１８】
第１検出手段は、画像中に対象物体が含まれる場合、対象物体付近に複数の候補領域が検出されたと判定することがある。上述のようにして関連領域を決定することで、１つの対象物体について検出された複数の候補領域を関連領域として決定できる。
【００１９】
領域統合手段が、代表領域と関連領域から統合領域を決定する方法は特に限定されない。例えば、領域統合手段は、代表領域そのものを統合領域として決定してもよい。あるい
は、領域統合手段は、代表領域と関連領域とを平均または加重平均した領域を統合領域として決定してもよい。平均領域の決定は、領域中心位置や領域サイズや領域の向きなど領域を特定するパラメータそれぞれについて平均化することにより行えばよい。
【００２０】
本発明における物体検出装置は、静止画像を対象に物体検出を行ってもよいし、動画像に含まれるフレーム画像を対象に物体検出を行ってもよい。動画像を構成するフレーム画像を対象として物体検出を行う場合には、領域統合手段は、現在フレームにおける代表領域および関連領域と、過去フレームにおける代表領域および関連領域とを、平均または加重平均した領域を統合領域として決定してもよい。
【００２１】
このように過去フレームにおける検出結果を用いて統合領域を決定することで、現在フレームにおける検出が正しくない場合でも、適切な統合領域を決定することができる。
【００２２】
本発明における物体検出装置は、所定物体が検出されたことを示す検出結果情報を出力する出力手段をさらに備えることも好ましい。出力手段は、第２検出手段による検出結果の信頼度が閾値以上である統合領域について物体が検出されたと判断し、当該統合領域についての検出結果情報を出力するように構成される。検出結果情報には、物体の検出位置やサイズが含まれることが好ましい。検出結果情報には、さらに、信頼度や物体の属性などの情報が含まれることも好ましい。
【００２３】
上述の検出結果情報は、第１検出手段による検出結果であってもよいし、第２検出結果による検出結果であってもよいし、第１検出手段と第２検出手段による検出結果を統合した結果であってもよい。ここで、第１検出手段による検出結果とは、代表領域についての検出結果であってもよいし、代表領域と関連領域についての検出結果を平均または加重平均した結果であってもよい。第１検出手段と第２検出手段による検出結果を統合する際には、単純平均してもよいし加重平均してもよい。
【００２４】
なお、本発明は、上記手段の少なくとも一部を含む物体検出装置として捉えることができる。また、本発明は、物体検出方法として捉えることもできる。また、これらの方法の各ステップをコンピュータに実行させるためのコンピュータプログラムや、当該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２５】
本発明によれば、高速かつ高精度な物体検出が可能となり、計算資源が乏しい計算機においても高精度な物体検出が利用できる。
【図面の簡単な説明】
【００２６】
【図１】図１は、第１の実施形態にかかる顔検出装置の（ａ）ハードウェア構成と（ｂ）機能ブロックを示す図である。
【図２】図２は、第１の実施形態における顔検出処理の流れを示すフローチャートである。
【図３】図３（ａ）（ｂ）は、第１検出部を説明する概念図である。
【図４】図４は、（ａ）入力画像の例と、（ｂ）入力画像に対する第１検出部による顔検出の結果の例を示す図である。
【図５】図５は、領域統合処理の流れを示すフローチャートである。
【図６】図６（ａ）（ｂ）は、代表領域と関連領域から統合領域を決定する処理の例を示すフローチャートである。
【図７−１】図７−１は、領域統合処理の一例を説明する図であり、（ａ）候補領域の例と、（ｂ）代表領域および関連領域の決定結果の例を示す。
【図７−２】図７−２は、領域統合処理の一例を説明する図であり、（ｃ）代表領域および関連領域の決定結果の例と、（ｄ）最終的に決定される統合領域の例を示す。
【図８】図８は、領域統合処理の別の例を説明する図であり、（ａ）入力画像の例、（ｂ）第１検出部による顔検出結果の例、（ｃ）代表領域と関連領域の決定結果の例を示す。第３の実施形態にかかる物体認識装置の機能ブロックを示す図である。
【図９】図９（ａ）は統合領域に対する第２検出部による顔検出結果の例を示し、図９（ｂ）は結果出力部によって出力される検出結果情報の例を示す図である。
【発明を実施するための形態】
【００２７】
（第１の実施形態）
以下で説明する実施形態は、スマートフォンのような携帯情報端末に搭載され、画像から顔を検出する顔検出装置（物体検出装置）に関する。しかしながら、これは例示に過ぎず、画像から検出する物体は顔である必要はなく任意の物体であってよい。また、顔検出装置（物体検出装置）は、携帯情報端末以外の任意の情報処理装置（コンピュータ）に搭載されてよい。
【００２８】
本実施形態に係る顔検出装置は、Haar-like特徴量とadaboostを用いた第１顔検出部と
、深層学習を用いた第２顔検出部とを有する。ただし、入力画像全体に対して深層学習タイプの顔検出を行うと処理時間が多大となる。そこで、本実施形態に係る顔検出装置は、入力画像全体に対して第１顔検出部による検出を行って顔が存在しそうな領域を決定し（顔が存在しなさそうな領域を除外し）、決定された領域に対してのみ第２顔検出部による顔検出を行う。これにより、深層学習を用いた高精度な顔検出を、短時間で実現可能とする。なお、第２顔検出部の処理時間をさらに短縮したい場合には、第２顔検出部で処理する領域の数に制約をかけてもよい。すなわち、第１顔検出部で決定された複数の領域の一部のみが第２顔検出部で処理されてもよい。この場合には、例えば、第１顔検出部による領域の決定順にＮ個（Ｎは１以上の整数）の領域が第２顔検出部で処理されたり、領域のサイズが大きい順にＮ個の領域が第２顔検出部で処理されたりする。
【００２９】
＜構成＞
図１（Ａ）は、本実施形態にかかる顔検出装置１００のハードウェア構成を示す図である。顔検出装置１００は、画像入力部１０１、演算装置１０２、記憶装置１０３、通信装置１０４、入力装置１０５、出力装置１０６を含む。画像入力部１０１は、カメラ１１０から画像データを受け取るインタフェースである。なお本実施形態ではカメラ１１０から直接画像データを受け取っているが、通信装置１０４を介して画像データを受け取ったり、記録媒体を経由して画像データを受け取ったりしてもよい。演算装置１０２は、ＣＰＵ（Central Processing Unit）などの汎用のプロセッサであり、記憶装置１０３に格納さ
れたプログラムを実行して、後述する機能を実現する。記憶装置１０３は、主記憶装置および補助記憶装置を含み、演算装置１０２によって実行されるプログラムを格納するとともに、画像データやプログラム実行中の一時データを格納する。通信装置１０４は、顔検出装置１０が外部のコンピュータと通信を行うための装置である。通信の形態は、有線であっても無線であってもよく、通信規格は任意であってよい。入力装置１０５は、タッチスクリーン、ボタン、キーボードなどの何れかから構成され、ユーザが顔検出装置に指示を入力するための装置である。出力装置１０６は、表示装置やスピーカーなどからなり、顔検出装置がユーザに対する出力を行うための装置である。
【００３０】
＜顔検出装置の機能と処理＞
演算装置１０２は、プログラムを実行することにより、図１（Ｂ）に示すような機能を実現する。すなわち、演算装置１０２は、画像入力部１１１、第１検出部１１２、統合部１１３、第２検出部１１４、結果出力部１１５として機能する。各部の処理内容について
は以下で説明する。
【００３１】
図２は、顔検出装置１００による顔検出処理の全体の流れを示すフローチャートである。以下、図２のフローチャートにしたがって、顔検出装置１００の詳細について説明する。
【００３２】
［Ｓ１：画像入力処理］
ステップＳ１において、顔検出装置１００は画像（入力画像）を取得する。入力画像は、画像入力部１０１を介してカメラ２０から取得されてもよいし、通信装置１０４を介して他のコンピュータから取得されてもよいし、記憶装置１０３を介して記憶媒体から取得されてもよい。
【００３３】
［Ｓ２：第１顔検出処理］
ステップＳ２において、第１検出部１１２が、入力画像から顔候補領域（顔が存在すると推定される領域）を検出する。第１検出部１１２は、入力画像から、種々の大きさ・向き・属性（性別・年齢・人種等）の顔を検出可能に構成される。第１検出部１１２は、顔候補領域を検出する際に、確信度・顔の向き・属性も推定する。
【００３４】
本実施形態においては、第１検出部１１２は、画像特徴量としてHaar-like特徴量を用
い、学習アルゴリズムとしてAdaBoostを用いるように構成される。以下、図３（Ａ）、３（Ｂ）を用いて、本実施形態における第１検出部１１２について説明する。
【００３５】
図３（Ａ）に示すように、第１検出部１１２は、種々の大きさの顔を検出するために、入力画像を複数の倍率で縮小した縮小画像３０１〜３０３のそれぞれから所定のサイズの矩形領域３１０を切り出して、識別器３２０を用いてその領域に顔が含まれるか否かを判別する。矩形領域３１０を縮小画像３０１〜３０３内で走査することにより、画像中に含まれる種々のサイズの顔を検出できる。なお、本実施形態では矩形領域を切り出しているが、切り出す領域は矩形以外の任意形状の領域であっても構わない。
【００３６】
図３（Ｂ）に示すように、識別器３２０は、矩形領域３１０によって切り出された照合パターンが、顔であるか否かを判別する。識別器３２０は、照合パターン中の複数の局所領域から、明暗の関係に基づく特徴量（Haar-like特徴量）をそれぞれ抽出する。識別器
３２０は、複数の弱識別器を有しており、それぞれの弱識別器は少数の特徴量に基づいて照合パターンが顔である否かを判別する。弱識別器のそれぞれの判別性能は低いが、これら複数の弱識別器を組み合わせることにより、高精度で顔であるか否かを判別可能となる。なお、識別器３２０は、出力値として、照合パターンが顔パターンである確からしさ（信頼度）を出力する。したがって、信頼度が所定の閾値以上の領域が、顔候補領域として扱われる。
【００３７】
図４（Ａ），４（Ｂ）を参照して、ステップＳ２の第１検出部１１２による顔検出処理の具体例について説明する。図４（Ａ）は、入力画像４００を示す。入力画像４００には、人物４０１，４０２が写っている。このような入力画像４００を対象として第１検出部１１２による顔検出処理を行うと、人物４０１，４０２の顔周辺に、複数の顔候補領域が検出される。これは、顔の周辺では、照合パターンの位置や大きさが多少変化しても、照合パターンが顔だと判断されるためである。
【００３８】
図４（Ｂ）は、入力画像４００に対する例示的な検出結果を示す。人物４０１の顔周辺に３つの顔候補領域４１１，４１２，４１３が検出され、人物４０２の顔周辺に３つの顔候補領域４１４，４１５，４１６が検出されている。また、実際には顔が存在しない領域からも、顔候補領域４１７が検出されている。これは、背景の模様がたまたま顔に類似し
ている場合に発生する。
【００３９】
［Ｓ３：統合領域決定処理］
ステップＳ３では、統合部１１３が、ステップＳ２で検出された複数の候補領域を統合して、第２検出部１１４による検出を行う統合領域を決定する。統合部１１３は、複数の候補領域をグループ分けし、各グループの候補領域から１つの統合領域を決定する。図５は、統合部１１３による統合領域決定処理の詳細を示すフローチャートである。以下、図５のフローチャートにしたがって説明する。
【００４０】
ステップＳ３１において、統合部１１３は、ステップＳ２で検出された複数の候補領域の中から信頼度が最大のものを代表領域として選択する。なお、代表領域の決定は、信頼度のみに基づいて行う必要はなく、領域サイズや顔向きなどその他の情報を考慮して行ってもよい。領域サイズを考慮する際には、大きいサイズの領域を優先してもよいし、所定のサイズに近い領域を優先してもよい。また、代表領域を決定する際に、信頼度を用いずに、領域サイズやその他の情報に基づいて行ってもよい。
【００４１】
ステップＳ３２〜Ｓ３４の処理ループＬ１は、検出された複数の候補領域のうち、代表領域以外について実行される。ループＬ１において処理対象とされる候補領域を、ここでは注目候補領域と称する。
【００４２】
ステップＳ３２では、統合部１１３は、代表領域と注目候補領域とのあいだの関連スコアを算出する。関連スコアは、代表領域と注目候補領域が同じ顔の領域である確からしさを表すスコアである。関連スコアは、領域間の距離（例えば、領域中心間の距離）や候補領域のサイズに基づいて算出することができる。例えば、領域間の距離が近いほど関連スコアは大きく算出される。また、領域サイズの差が少ないほど関連スコアは大きく算出される。
【００４３】
領域間の距離や領域サイズの類似度は、第１検出部１１２による検出結果の類似度の例とみなせる。関連スコアは、第１検出部１１２による検出結果のその他の項目の類似度に基づいて決定してもよい。例えば、検出された顔の向きの類似度、検出された顔の属性（例えば、年齢・性別・人種・表情など）の類似度に基づいて関連スコアを算出してもよい。複数の要素を考慮して関連スコアを決定する場合には、これら複数の要素を変数として含む関数を用いればよい。単純には、各要素の類似度の平均または加重平均によって関連スコアを決定すればよい。加重平均の際の重みは適宜決定すればよい。
【００４４】
ステップＳ３３において、統合部１１３は、注目候補領域の関連スコアが閾値Ｔ１以上であるか否かを判定する。関連スコアが閾値Ｔ１以上である場合（Ｓ３３−ＹＥＳ）には、ステップＳ３４において、統合部１１３は、注目候補領域を代表領域の関連領域であると決定する。すなわち、注目候補領域は、代表領域と同じグループにグループ分けされる。
【００４５】
全ての候補領域について、上記のステップＳ３２〜Ｓ３４の処理を行うことにより、代表領域と関連する候補領域を決定することができる。
【００４６】
なお、ここでは、関連スコアが閾値Ｔ１以上である候補領域を関連領域として決定しているが、関連スコアが最も大きい所定数個の候補領域を関連領域として決定してもよい。あるいは、関連スコアが閾値Ｔ１以上であり、かつ、関連スコアが上位所定数の候補領域を関連領域として決定してもよい。
【００４７】
ステップＳ３５では、統合部１１３は、代表領域およびその関連領域を統合して統合領
域を決定する。統合領域の決定方法は特に限定されない。ここでは、図６（Ａ），６（Ｂ）を参照して、２つの統合領域決定方法を説明する。
【００４８】
例えば、図６（Ａ）に示すように、統合領域決定処理Ｓ３５では、代表領域そのものを統合領域として決定してもよい（ステップＳ３５１）。あるいは、図６（Ｂ）に示すように、統合領域決定処理Ｓ３５は次のようなステップにより構成されてもよい。まず、代表領域と同じグループに属する関連領域を取得する（Ｓ３５２）。次に、代表領域と関連領域を対象として領域を決定するパラメータそれぞれの平均値を算出する。（ステップＳ３５３）。最後に、算出された平均値をパラメータとして有する領域を統合領域として決定する（Ｓ３５４）。パラメータの例として、領域中心の平均値、領域サイズの平均値が挙げられる。その他のパラメータの例として、信頼度・顔向き・年齢・性別・人種・表情などが含まれる。
【００４９】
ステップＳ３６では、信頼度が閾値Ｔ２以上の候補領域が残存しているか否かを判断する。詳細には、第１検出部１１２によって検出された候補領域のうち、代表領域や関連領域である判断された領域以外の候補領域のうち、信頼度が閾値Ｔ２以上のものが存在するか否かが判断される。信頼度が閾値Ｇ２以上の候補領域が存在する場合には、ステップＳ３１に戻って上記の処理が繰り返される。この際、代表領域や関連領域であると判断された領域は処理対象から除外した上で、ステップＳ３１〜Ｓ３５の処理が行われる。
【００５０】
ここで、図７（Ａ）〜７（Ｄ），図８（Ａ），８（Ｂ）を参照しつつ具体例に基づいて、候補領域のグループ化について説明する。
【００５１】
図７（Ａ）は、図４（Ｂ）に示す第１検出部１１２の検出結果と同様であり、７つの候補領域４１１〜４１７が候補領域として示されている。ここで、四角で囲まれた数字は、各領域の信頼度（１０００点満点とする）を表す。すなわち、候補領域４１１の信頼度は９２０であり、候補領域４１２の信頼度は９５０である。
【００５２】
ステップＳ４１では、信頼度が最大の候補領域が選ばれる。本例では、候補領域４１２が代表領域として選択される。ここでは、領域間の距離のみに基づいて関連スコアを算出するものと仮定する。そうすると、代表領域４１２と近い候補領域４１１，４１３は関連スコアが閾値以上となるが、その他の領域の関連スコアは閾値未満となる。したがって、候補領域４１１，４１３が代表領域４１２の関連領域であると判断され、図７（Ｂ）に示すように、候補領域４１１〜４１３から１つのグループ４２１が形成される。そして、候補領域４１１〜４１３に基づいて、１つの統合領域が決定される。
【００５３】
次に、候補領域４１４〜４１７を対象に上記と同様の処理が繰り返される。今回は、候補領域４１５が代表領域、候補領域４１４，４１６がその関連領域として決定され、候補領域４１４〜４１６から１つのグループ４２２が形成される。そして、これらの候補領域から１つの統合領域が決定される。
【００５４】
再び同様の処理が繰り返され、候補領域４１７が代表領域として決定される。候補領域４１７との関連スコアが閾値以上となるような候補領域は存在しないので、候補領域４１７のみから１つのグループ４２３が形成される。そして、候補領域４１７に基づいて１つの統合領域が決定される。
【００５５】
図７（Ｃ）は、上述のようにして決定される各グループ４２１〜４２３の代表領域（太線）と関連領域（細線）とを示す。図７（Ｄ）は、各グループ４２１〜４２３について決定される統合領域４３１〜４３３を示す図である。
【００５６】
図８（Ａ），８（Ｂ）は、領域間距離以外に、第１検出部１１２による検出結果の類似性も考慮してグループ化を行う例を説明する図である。ここでは、検出結果のうち、領域の大きさに着目する例を説明する。
【００５７】
図８（Ａ）は、入力画像の例を示し、ここでは二人の人物８０１，８０２の顔が画像内の近い位置に写っている。図８（Ｂ）は、図８（Ａ）の入力画像を対象とした第１検出部１１２による検出結果を示す図である。ここでは、人物８０１の顔に対応して候補領域８１１，８１２が検出され、人物８０２の顔に対応して候補領域８１３，８１４が検出されている。
【００５８】
ここで単純に領域間距離に着目して関連領域を決定すると、全ての候補領域８１１〜８１４が１つのグループにまとめられてしまう可能性がある。しかしながら、関連スコアの算出において、領域間距離に加えて領域サイズの類似性も考慮することで、図８（Ｃ）に示すように候補領域８１１，８１２と候補領域８１３，８１４をそれぞれ異なるグループ８２１，８２２にグループ分けすることができる。すなわち、画像内で人物８０１，８０２の位置が近くても、それぞれの人物に対応した統合領域を適切に生成することが可能となる。
【００５９】
ここでは、検出結果の類似性として領域サイズに着目する例を説明したが、領域サイズ、年齢、性別、人種、表情、顔の向きなどの属性のうちの１つまたは複数に着目して関連スコアを算出すればよいことは明らかであろう。
【００６０】
［Ｓ４：第２顔検出処理］
ステップＳ４では、第２検出部１１４が、ステップＳ３で決定された統合領域にそれぞれに顔が含まれるか否かを判定する。第２検出部１１４は、たたみ込みニューラルネットワーク（ＣＮＮ）と呼ばれる多層ニューラルネットワークを用いて学習した識別器である。ヘテロジニアス学習により、顔／非顔の判別だけでなく、顔向き、年齢、性別、人種、表情など複数タスクの判別が可能である。本実施形態の第２検出部１１４は、これらの判別タスクも実装する。
【００６１】
図９（Ａ）は、３つの統合領域９０１〜９０３に対して第２検出部１１４による検出を行った結果を示す。図では、第２検出部１１４による信頼度が示されている。ここで、統合領域９０１，９０２の信頼度はそれぞれ９８０，９６０と高いのに対して、統合領域９０３の信頼度は２３０と低い。したがって、顔検出装置１００は、統合領域９０１，９０２は顔領域であると判断するのに対し、統合領域９０３は顔領域ではないと判断できる。
【００６２】
［Ｓ５：検出結果出力処理］
ステップＳ５において、結果出力部１１５が、第２顔検出処理によって顔が検出された領域について検出結果を出力する。結果出力部１１５は、第２顔検出領域による検出結果の信頼度が閾値以上である統合領域について、顔が検出されたことを示す結果情報を出力する。信頼度が閾値未満の統合領域については、結果情報に含めなくてよい。検出結果情報は、少なくとも顔領域を含み、これに加えて、信頼度、顔の向き、年齢、性別、人種、表情などの1つ以上を含むことが好ましい。
【００６３】
出力する検出結果情報は、第２検出部１１４による検出結果であってよい。検出結果情報は、すなわち、統合領域を対象として第２検出部１１４が行った検出の結果として得られた信頼度・顔向き・年齢・性別・人種・表情などであってよい。
【００６４】
出力する検出結果情報は、第１検出部１１４による検出結果であってもよい。第１検出部１１４による検出結果とは、統合領域の生成の元になった代表領域を対象として第１検
出部１１２が行った検出の結果であってもよいし、代表領域および関連領域を対象とする第１検出部１１２が行った検出の結果の平均または加重平均であってもよい。
【００６５】
出力する検出結果情報は、第２検出部１１４による検出結果と第１検出部１１２による検出結果の平均または加重平均であってもよい。加重平均する際の重みは、あらかじめ定められた値を用いればよい。
【００６６】
結果出力部１１５は、検出結果情報をどのような態様で出力してもよい。例えば、結果出力部１１５は、検出結果情報を、画面に表示してもよいし、記憶装置に格納してもよいし、他のモジュールや他の装置に通知してもよいし、これらのうちの複数を行ってもよい。
【００６７】
＜本実施形態の効果＞
Haar-like特徴量＋adaboost学習の顔検出処理と、深層学習（CNN）の顔検出処理を比較すると、後者の方が高精度であるが演算量も多い。したがって、携帯情報端末のような演算資源が比較的乏しい計算機では、入力画像全体に対して深層学習型の顔検出を行うと処理時間が長大となってしまう。これに対して、本実施形態は、まず、顔が存在しそうな領域を簡易型の顔検出処理を用いて絞り込み、この領域に対してのみ深層学習型の顔検出を行うことで、検出精度と検出速度の両立が可能となる。また、本実施形態では、簡易型顔検出処理によって得られた候補領域全てを対象に深層学習型の顔検出を行うのではなく、候補領域をグルーピング・統合した領域を対象のみを対象としているので、さらに検出速度が向上する。
【００６８】
（第２の実施形態）
第１の実施形態では、１枚の画像に対して顔検出を行うものとして説明した。本実施形態では、動画像を構成する複数のフレーム画像に対して連続的に顔検出を行う。各フレーム画像に対する顔検出処理は、基本的に第１の実施形態と同様であるが、統合領域の作成処理（図２のステップＳ３）が異なる。連続するフレーム画像では同じ物体は同様の位置に存在するので、本実施形態では、統合領域を決定する際に、現在フレームに関する情報と過去フレームに関する情報とを考慮する。
【００６９】
具体的な統合領域の決定方法として、いくつかの手法が想定される。例えば、現在フレームと過去フレーム（直近のフレーム）について第１の実施形態と同様の方法により統合領域（以下、暫定統合領域と称する）を決定し、これらを平均または加重平均することで、現在フレームに対する統合領域を決定する手法が想定される。加重平均の重みは適宜決定すればよい。
【００７０】
また、現在フレームの暫定統合領域と過去フレームの統合領域とを平均または加重平均することにより、現在フレームの統合領域を決定してもよい。過去フレームの統合領域はさらに過去のフレームの情報が用いられているので、より過去の情報まで考慮して現在フレームの統合領域が決定できる。
【００７１】
また、現在フレームにおける代表領域および関連領域と過去フレームにおける代表領域および関連領域とを平均または加重平均して、現在フレームの統合領域を決定してもよい。
【００７２】
また、現在フレームから代表領域を決定する際の閾値Ｔ２（ステップＳ３６）を低めに設定して統合領域を仮決定し、その統合領域についての信頼度が閾値Ｔ３（＞Ｔ２）である場合に、当該統合領域を採用するようにしてもよい。こうすれば、現在フレームにおいて、顔の一部が隠れたり照明条件が悪かったりして信頼度高く検出できなかった場合であ
っても、過去フレームで信頼度高く顔が検出できていれば、統合領域として決定できる。すなわち、過去フレームの情報を考慮することで、一時的に顔検出精度が低下する状況でも、検出漏れを防止することができる。
【００７３】
（第３の実施形態）
第１の実施形態では、第２検出部１１４は統合領域の画像情報（画素値）のみを考慮して顔検出を行っている。本実施形態の第２検出部１１４は、統合領域に関する第１検出部１１２の検出結果も入力として、顔検出処理を行う。「統合領域に関する第１検出部１１２の検出結果」には、顔向き・年齢・性別・人種・表情などが含まれる。
【００７４】
このような識別を第２検出部１１４で可能とするために、第２検出部１１４の学習処理（生成処理）では、画像データと当該画像データに対する第１検出部１１２の検出結果（顔向き・年齢・性別・人種・表情など）を含む学習データを用いればよい。
【００７５】
このように、第１検出部１１２の検出結果を用いて検出処理を行うことで、第２検出部１１４の検出精度を向上させることができる。
【００７６】
（その他実施形態）
上記の説明では、第１検出部１１２がHaar-like特徴量とadaboost学習を用いた検出器
であるが、これに限られない。例えば、特徴量として、HoG (Histgram of Gradient)特徴量、SIFT特徴量、SURF特徴量、Sparse特徴量など任意の特徴量を用いることができる。また、学習手段も、adaboost以外のboosting手法や、SVM (Support Vector Machine)、ニューラルネットワーク、決定木学習などの任意の学習手法を用いることができる。
【００７７】
また、第２検出部１１４も、CNNに限らずRNN (Recurrent Neural Network)やSAE (Stacked Auto Encoder)、DBN (Deep Belief Network)などの任意の手法による検出器あってよい。また、第２検出部１１４は、深層学習を用いた検出器でなくても構わない。ただし、第２検出部１１４の検出アルゴリズムは、第１検出部１１２の検出アルゴリズムよりも高精度な検出が可能かつ計算量がより多いことが望ましい。
【００７８】
また、上記の説明では検出対象の物体は顔であったが、検出対象物体は任意の物体であって構わない。すなわち、本発明は、任意の所定物体を検出する物体検出装置に適用可能である。検出対象物体のごく少数の例として、人体、特定の動物、自動車、特定の商品などがあげられる。
【００７９】
また、上記の説明では、物体検出装置はスマートフォンなどの携帯情報端末に搭載されているが、どのような装置に搭載されても構わない。本発明にかかる物体検出装置は、デスクトップ型コンピュータ、ノート型コンピュータ、スレート型コンピュータ、スマートフォン、携帯電話機、デジタルカメラ、デジタルビデオカメラなど任意の情報処理装置（コンピュータ）に実装することができる。ただし、演算資源が比較的乏しい装置に搭載することで、本発明の効果がより顕著となる。
【符号の説明】
【００８０】
１００：顔検出装置，  １１１：画像入力部，  １１２：第１検出部
１１３：統合部，  １１４：第２検出部，  １１５：結果出力部
４００：入力画像，  ４１１〜４１７：候補領域
４２１〜４２３：グループ，  ４３１〜４３３：統合領域
７１１〜７１４：候補領域，  ７２１〜７２２：グループ
９０１〜９０２：統合領域
【図１】
2019021001.tif 000003
【図２】
2019021001.tif 000004
【図３】
2019021001.tif 000005
【図４】
2019021001.tif 000006
【図５】
2019021001.tif 000007
【図６】
2019021001.tif 000008
【図７−１】
2019021001.tif 000009
【図７−２】
2019021001.tif 000010
【図８】
2019021001.tif 000011
【図９】
2019021001.tif 000012