(57)【特許請求の範囲】
【請求項１】
識別対象画像を取得する識別対象画像取得手段と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品の位置及び隠れの有無についての部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含み、
さらに、
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識手段と、
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント手段とを含み、
前記アライメント画像を用いて、前記属性認識手段により、前記部品の属性を認識することを特徴とする部品検出装置。
【請求項２】
予め取得したアライメント教師データと同じ条件で、前記アライメント画像を作成することを特徴とする請求項１記載の部品検出装置。
【請求項３】
前記識別対象領域が、人物であることを特徴とする請求項１又は２記載の部品検出装置。
【請求項４】
前記識別対象領域が、人物の頭部であることを特徴とする請求項１又は２記載の部品検出装置。
【請求項５】
前記部品が、左目、右目、鼻、口、左眉、右眉、左耳および右耳からなる群から選択される少なくとも一つを含むことを特徴とする請求項４記載の部品検出装置。
【請求項６】
識別対象画像を取得する識別対象画像取得工程と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、
予め取得した部品の位置及び隠れの有無についての部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含み、
さらに、
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識工程と、
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント工程とを含み、
前記アライメント画像を用いて、前記属性認識工程において、前記部品の属性を認識する
ことを特徴とする部品検出方法。
【請求項７】
予め取得したアライメント教師データと同じ条件で、前記アライメント画像を作成することを特徴とする請求項６記載の部品検出方法。
【請求項８】
前記識別対象領域が、人物であることを特徴とする請求項６又は７記載の部品検出方法。
【請求項９】
前記識別対象領域が、人物の頭部であることを特徴とする請求項６又は７記載の部品検出方法。
【請求項１０】
前記部品が、左目、右目、鼻、口、左眉、右眉、左耳および右耳からなる群から選択される少なくとも一つを含むことを特徴とする請求項９記載の部品検出方法。
【請求項１１】
請求項６から１０のいずれか一項に記載の部品検出方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１記載のプログラムを記録していることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部品検出装置、部品検出方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
画像から特定の顔部品を検出するシステムは、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム等、多方面に亘り利用されている。例えば、人物の顔画像から目、眉、鼻孔、口等の顔部品を抽出する方法が提案されている（例えば、特許文献１参照）。しかしながら、前記顔部品が隠れていると抽出が困難となったり、また、類似の顔部品が画像中に存在すると誤検出がされたりするという問題があった。
【０００３】
近年、セキュリティ上の要請から、現金自動預け払い機（ＡＴＭ）や販売時点情報管理（ＰＯＳ）システムを搭載したセルフレジの操作において、サングラス、マスク、帽子等を外すよう、呼びかけや掲示がなされたりしているが、無人の場合や時間帯によっては、必ずしも効果は上がっていない。そこで、サングラス等を着用している操作者を検出し、音声による警告や、着用中の操作の制限を行うことのできるシステムが求められている。また、防犯カメラによって撮影された大量の映像アーカイブの中から、サングラス等を着用している犯罪者と思しき人物を探索することのできるシステムが求められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３０７９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、顔の検出を、目を抽出することによって行う場合、（１）識別対象画像中から画像処理により目を抽出する、（２）目が抽出できなかった場合は、サングラスを抽出する、（３）サングラスも抽出できなかった場合は、帽子を抽出する等、目が隠れている場合に、隠れの原因毎に段階的に可能性のあるものを探していくアルゴリズムを構築する必要があり、煩雑である。
【０００６】
そこで、本発明は、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明の部品検出装置は、識別対象画像を取得する識別対象画像取得手段と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含むことを特徴とする。
【０００８】
本発明の部品検出方法は、識別対象画像を取得する識別対象画像取得工程と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含むことを特徴とする。
【０００９】
本発明のプログラムは、前記本発明の部品検出方法をコンピュータに実行させることを特徴とする。
【００１０】
本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１（Ａ）は、本発明の部品検出方法の一例を示すフローチャートであり、図１（Ｂ）は、本発明の部品検出装置の一例を示すブロック図である。
【図２】図２（Ａ）は、本発明の部品検出方法のその他の例を示すフローチャートであり、図２（Ｂ）は、本発明の部品検出装置のその他の例を示すブロック図である。
【図３】図３（Ａ）は、本発明の部品検出方法のさらにその他の例を示すフローチャートであり、図３（Ｂ）は、本発明の部品検出装置のさらにその他の例を示すブロック図である。
【図４】図４は、本発明における識別対象領域教師データの取得の一例について説明するための図である。
【図５】図５（Ａ）〜（Ｃ）は、本発明における部品教師データの取得例について説明するための図である。
【図６】図６（Ａ）および（Ｂ）は、本発明の識別対象領域検出工程の一例について説明するための図である。
【図７】図７（Ａ）〜（Ｃ）は、本発明の部品検出工程の例について説明するための図である。
【図８】図８は、本発明の部品検出装置を用いた部品検出システムの一例の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
つぎに、本発明の部品検出装置、部品検出方法、プログラムおよび記憶媒体について、例をあげて説明する。ただし、本発明は、下記の例に限定されない。
【００１４】
（実施形態１）
図１に、本実施形態における部品検出方法のフローチャート（同図（Ａ））および部品検出装置のブロック図（同図（Ｂ））を示す。図１（Ｂ）に示すとおり、本実施形態の部品検出装置は、識別対象画像取得手段１１１、演算手段１２０、出力手段１３１およびデータ記憶手段１４０を主要な構成部材として含む。前記データ記憶手段１４０には、予め取得した識別対象領域教師データ１４１および部品教師データ１４２が格納されており、前記演算手段１２０は、識別対象領域検出手段１２１および部品検出手段１２２を含む。前記識別対象領域検出手段１２１は、前記識別対象領域教師データ１４１と接続している。前記部品検出手段１２２は、前記部品教師データ１４２と接続している。前記識別対象画像取得手段１１１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。前記演算手段１２０としては、例えば、中央処理装置（ＣＰＵ）等があげられる。前記出力手段１３１としては、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。前記出力手段１３１は、任意の構成部材であり、本発明の部品検出装置に含まれていなくてもよいが、含まれていることが好ましい。前記データ記憶手段１４０としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。前記データ記憶手段１４０は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記識別対象画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態２、３および５においても同様である。
【００１５】
本発明において、識別対象領域は、特に限定されず、例えば、人物、人物の頭部、動物、乗用車等、いかなるものであってもよい。
【００１６】
本発明において、部品も、前記識別対象領域に含まれるものであれば、特に限定されず、いかなるものであってもよい。例えば、前記識別対象領域が人物である場合、前記部品としては、例えば、頭部、胴体、左手、右手、左脚、右脚等があげられる。例えば、前記識別対象領域が人物の頭部である場合、前記部品としては、例えば、左目、右目、鼻、口、左眉、右眉、左耳、右耳等があげられる。例えば、前記識別対象領域が動物である場合、前記部品としては、例えば、頭部、胴体、脚部、尻尾等があげられる。例えば、前記識別対象領域が乗用車である場合、前記部品としては、例えば、車体、タイヤ等があげられる。
【００１７】
以下、前記識別対象領域が人物の頭部（以下、単に「頭部」ということがある）であり、前記部品が、左目、右目、鼻および口の４つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。
【００１８】
この例の部品検出方法は、図１（Ｂ）の部品検出装置を用いて、例えば、つぎのようにして実施する。
【００１９】
まず、前記部品検出方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、学習用画像の前記識別対象領域（頭部）に識別対象領域教師データ１４１を付与する。この例において、前記識別対象領域教師データ１４１としては、例えば、頭部の位置、大きさ、向き等の教師データがあげられる。具体的には、例えば、図４に示すように、まず、学習用画像１０の頭部にラベリング１１を付すことで、前記頭部の位置および大きさの教師データを付与する。さらに、例えば、１度単位での向きデータ（例えば、左向き３度）、８方向に準じた向きデータ（例えば、斜め左）等の前記頭部の向きの教師データを付与する。前記頭部の位置、大きさ、向き等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。検出精度を考慮すると、前記学習用画像１０の数は多いほど好ましく、多数用意した学習用画像１０に、多数の頭部の位置、大きさおよび向き等の識別対象領域教師データ１４１を付与することが好ましい。
【００２０】
つぎに、識別対象領域教師データ１４１が付与された識別対象領域（頭部）に含まれる顔部品（左目、右目、鼻および口）に部品教師データ１４２を付与する。この例において、前記部品教師データ１４２としては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等の教師データがあげられる。具体的には、例えば、図５（Ａ）に示すように、まず、図４における頭部のラベリング１１に含まれる左目、右目、鼻および口のそれぞれに○でラベリング１２ａ〜１５ａを付すことで、前記左目、前記右目、前記鼻および前記口のそれぞれの位置の教師データ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが無いとの教師データを付与する。なお、例えば、図５（Ｂ）に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング１２ｂおよび１３ｂを付すことで、前記左目および前記右目のそれぞれの位置の教師データ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが有るとの教師データを付与する。この場合において、前記鼻および前記口のラベリングおよび教師データの付与については、前述の図５（Ａ）に示した場合と同様である。また、例えば、図５（Ｃ）に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング１４ｂおよび１５ｂを付すことで、前記鼻および前記口のそれぞれの位置の教師データ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが有るとの教師データを付与する。この場合において、前記左目および前記右目のラベリングおよび教師データの付与については、前述の図５（Ａ）に示した場合と同様である。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。
【００２１】
つぎに、図１（Ａ）および（Ｂ）に示すように、前記識別対象画像取得手段１１１により、識別対象画像を取得する（ステップＳ１１）。
【００２２】
つぎに、図１（Ａ）および（Ｂ）に示すように、前記識別対象領域検出手段１２１により、予め取得した前記識別対象領域教師データ１４１から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する（ステップＳ２１）。この例において、前記識別対象領域データとしては、例えば、頭部の位置、大きさ、向き等のデータがあげられる。前記頭部の位置、大きさ、向きのデータの詳細は、前記頭部の位置、大きさ、向きの教師データと同様である。具体的には、例えば、図６（Ａ）に示すように、予め取得した前記識別対象領域教師データ１４１から作成される識別対象領域抽出モデルを参照して、前記識別対象画像２０の左上端から水平方向に、それを順に下の行に向かって探索するいわゆるラスタスキャンで、頭部を探索する。頭部を検出できなかった場合には、図６（Ｂ）に示すように、前記識別対象画像２０の取得サイズを変えて、予め取得した前記識別対象領域教師データ１４１から作成される識別対象領域抽出モデルを参照して、前記ラスタスキャンで、頭部を探索する。前記取得サイズの変更を、頭部が検出されるまで繰り返すことで、前記頭部の位置、大きさ、向き等のデータを検出する。
【００２３】
つぎに、図１（Ａ）および（Ｂ）に示すように、前記部品検出手段１２２により、予め取得した前記部品教師データ１４２から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する（ステップＳ２２）。この例において、前記顔部品データとしては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等のデータがあげられる。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無のデータの詳細は、前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無の教師データと同様である。具体的には、例えば、図７（Ａ）に示すように、予め取得した前記部品教師データ１４２から作成される部品抽出モデルを参照して、左目、右目、鼻および口をそれぞれ検出する。ついで、前記左目、前記右目、前記鼻および前記口のそれぞれに○でラベリング２２ａ〜２５ａを付し、前記左目、前記右目、前記鼻および前記口のそれぞれの位置のデータ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが無いとのデータを検出する。なお、例えば、図７（Ｂ）に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング２２ｂおよび２３ｂを付し、前記左目および前記右目のそれぞれの位置のデータ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが有るとのデータを検出する。この場合において、前記鼻および前記口のデータの検出については、前述の図７（Ａ）に示した場合と同様である。また、例えば、図７（Ｃ）に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング２４ｂおよび２５ｂを付し、前記鼻および前記口のそれぞれの位置のデータ（例えば、（ｘ，ｙ）座標）およびそれらに隠れが有るとのデータを検出する。この場合において、前記左目および前記右目のデータの検出については、前述の図７（Ａ）に示した場合と同様である。
【００２４】
つぎに、図１（Ａ）および（Ｂ）に示すように、前記出力手段１３１により、前記識別対象領域データおよび前記顔部品データのうち、少なくとも前記顔部品データを出力する（ステップＳ３１）。出力される前記識別対象領域データとしては、例えば、頭部の位置（例えば、（ｘ，ｙ）座標）、大きさ、向きのデータ等があげられる。出力される前記顔部品データとしては、例えば、左目および右目に隠れが有るとのデータ等があげられる。前記出力工程Ｓ３１は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
【００２５】
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習（パターン認識）の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておき、それらから作成される識別対象領域抽出モデルおよび部品抽出モデルを参照して識別対象領域データおよび顔部品データの検出を行う。このため、本実施形態の部品検出装置および部品検出方法によれば、識別対象領域データおよび顔部品データを高精度かつ容易に検出可能である。前述のとおり、本実施形態では、前記部品教師データに左目等の顔部品が隠れているものを含ませているため、識別対象画像において、前記顔部品が隠れている場合においても、前記顔部品データを高精度かつ容易に検出可能である。これらについては、後述の実施形態２および３においても同様である。
【００２６】
本実施形態では、前記学習用画像および前記識別対象画像として、一人の人物の画像を用いたが、本発明はこれに限定されない。前記学習用画像に二人以上の人物の画像を含ませ、機械学習（パターン認識）の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人以上の人物の画像であっても、それぞれの人物の識別対象領域データおよび部品データを高精度かつ容易に検出可能である。これについては、後述の実施形態２および３においても同様である。
【００２７】
前述のとおり、本発明においては、前記学習用画像および前記識別対象画像として、例えば、人物の画像を用いてもよい。前記学習用画像に二人の人物が重なり、脚が三本に見える画像を含ませ、機械学習（パターン認識）の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人の人物が重なり、脚が三本に見える画像であっても、前記三本の脚のうちの一本を、動物の尻尾であると誤検出するようなことがない。これについては、後述の実施形態２および３においても同様である。
【００２８】
（実施形態２）
つぎに、図２に、属性認識を含む例のフローチャート（同図（Ａ））およびブロック図（同図（Ｂ））を示す。同図において、図１と同一部分には、同一符号を付している。同図（Ｂ）に示すように、本実施形態の部品検出装置は、さらに、前記データ記憶手段１４０に、属性認識用教師データ１４３が格納され、前記演算手段１２０が、属性認識手段１２３を含む点を除き、図１（Ｂ）に示す部品検出装置と同様の構成である。前記属性認識手段１２３は、前記属性認識用教師データ１４３と接続している。
【００２９】
以下、実施形態１と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の４つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。
【００３０】
この例の部品検出方法は、図２（Ｂ）の部品検出装置を用いて、例えば、つぎのようにして実施される。
【００３１】
まず、前記部品検出方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、実施形態１と同様にして、学習用画像の識別対象領域（頭部）に識別対象領域教師データ１４１を付与する。
【００３２】
つぎに、実施形態１と同様にして、識別対象領域教師データ１４１が付与された識別対象領域（頭部）に含まれる顔部品（左目、右目、鼻および口）に部品教師データ１４２を付与する。
【００３３】
つぎに、前記識別対象領域教師データ１４１に属性を付与することで、属性認識用教師データ１４３を取得する。この例において、前記属性としては、例えば、被り物（例えば、帽子、フード等）の有無、眼鏡の有無、サングラスの有無、マスクの有無、性別、推定年齢等があげられる。前記属性は、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が付与する。
【００３４】
つぎに、図２（Ａ）および（Ｂ）に示すように、実施形態１と同様にして、前記識別対象画像取得手段１１１により、識別対象画像を取得する（ステップＳ１１）。
【００３５】
つぎに、図２（Ａ）および（Ｂ）に示すように、実施形態１と同様にして、前記識別対象領域検出手段１２１により、予め取得した前記識別対象領域教師データ１４１から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する（ステップＳ２１）。
【００３６】
つぎに、図２（Ａ）および（Ｂ）に示すように、実施形態１と同様にして、前記部品検出手段１２２により、予め取得した前記部品教師データ１４２から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する（ステップＳ２２）。
【００３７】
つぎに、図２（Ａ）および（Ｂ）に示すように、予め取得した前記属性認識用教師データ１４３から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する（ステップＳ２３）。前記属性は、前記識別対象領域教師データ１４１に付与したものと同じである。
【００３８】
つぎに、図２（Ａ）および（Ｂ）に示すように、前記出力手段１３１により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する（ステップＳ３１）。出力される前記識別対象領域データおよび顔部品データは、実施形態１と同様である。出力される前記属性としては、例えば、被り物が無い、眼鏡が無い、マスクが無い等の属性があげられる。前記出力工程Ｓ３１は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
【００３９】
実施形態１における各顔部品の隠れの有無は、前記教師データの取得および前記データの検出に加え、もしくは代えて、本実施形態における前記属性の付与および前記属性の認識で判定してもよい。これについては、後述の実施形態３においても同様である。
【００４０】
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習（パターン認識）の技術を用いて取得した識別対象領域教師データに属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデル参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性を高精度かつ容易に認識可能である。これについては、後述の実施形態３においても同様である。
【００４１】
本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目および右目に隠れが有るとの顔部品データが検出され、サングラスが有るとの属性が認識された場合に、サングラスを外すよう音声により警告したり、着用中の操作の制限を行うことのできるシステムを構築できる。また、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、鼻に隠れが無く、口に隠れが有るとの顔部品データが検出され、マスクが有るとの属性が認定された場合に、マスクで鼻まで覆うよう音声により警告することのできるシステムを構築できる。さらに、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目、右目、鼻および口に隠れが有るとの顔部品データが検出され、サングラスおよびマスクが有るとの属性が認識される識別対象画像の抽出により、犯罪者と思しき人物を探索するシステムを構築できる。これらについては、後述の実施形態３においても同様である。
【００４２】
本実施形態では、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出の後に行ったが、本発明はこれに限定されず、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出と同時に行ってもよい。
【００４３】
（実施形態３）
つぎに、図３に、位置合わせ（アライメント）を含む例のフローチャート（同図（Ａ））およびブロック図（同図（Ｂ））を示す。同図において、図１および２と同一部分には、同一符号を付している。同図（Ｂ）に示すように、本実施形態の部品検出装置は、さらに、前記演算手段１２０が、アライメント手段１２４を含む点を除き、図２（Ｂ）に示す部品検出装置と同様の構成である。
【００４４】
以下、実施形態１および２と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の４つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。
【００４５】
この例の部品検出方法は、図３（Ｂ）の部品検出装置を用いて、例えば、つぎのようにして実施される。
【００４６】
まず、前記部品検出方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、実施形態１および２と同様にして、学習用画像の識別対象領域（頭部）に識別対象領域教師データ１４１を付与する。
【００４７】
つぎに、実施形態１および２と同様にして、識別対象領域教師データ１４１が付与された識別対象領域（頭部）に含まれる顔部品（左目、右目、鼻および口）に部品教師データ１４２を付与する。
【００４８】
つぎに、前記顔部品から位置合わせの基準となる基準顔部品（例えば、左目および右目）を選択した後、前記基準顔部品を所定の位置に固定してアライメント教師データを取得する。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。
【００４９】
つぎに、前記アライメント教師データに属性を付与することで、属性認識用教師データ１４３を取得する。前記属性およびその付与方法は、実施形態２と同様である。
【００５０】
つぎに、図３（Ａ）および（Ｂ）に示すように、実施形態１および２と同様にして、前記識別対象画像取得手段１１１により、識別対象画像を取得する（ステップＳ１１）。
【００５１】
つぎに、図３（Ａ）および（Ｂ）に示すように、実施形態１および２と同様にして、前記識別対象領域検出手段１２１により、予め取得した前記識別対象領域教師データ１４１から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する（ステップＳ２１）。
【００５２】
つぎに、図３（Ａ）および（Ｂ）に示すように、実施形態１および２と同様にして、前記部品検出手段１２２により、予め取得した前記部品教師データ１４２から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する（ステップＳ２２）。
【００５３】
つぎに、図３（Ａ）および（Ｂ）に示すように、前記顔部品から位置合わせの基準となる基準顔部品（例えば、左目および右目）を選択した後、前記基準顔部品を所定の位置に固定してアライメント画像を作成する（ステップＳ２４）。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。検出精度および検出速度を考慮すると、予め取得した前記アライメント教師データと同じ条件で、前記アライメント画像を作成することが好ましい。
【００５４】
つぎに、図３（Ａ）および（Ｂ）に示すように、予め取得した前記属性認識用教師データ１４３から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する（ステップＳ２３）。前記属性は、前記アライメント教師データに付与したものと同じである。
【００５５】
つぎに、図３（Ａ）および（Ｂ）に示すように、前記出力手段１３１により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する（ステップＳ３１）。出力される前記識別対象領域データ、顔部品データおよび属性は、実施形態１および２と同様である。前記出力工程Ｓ３１は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
【００５６】
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習（パターン認識）の技術を用いて取得した識別対象領域教師データに位置合わせ（アライメント）を行った後、属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデルを参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性をより高精度かつ迅速に認識可能である。
【００５７】
（実施形態４）
本実施形態のプログラムは、前述の部品検出方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【００５８】
（実施形態５）
図８に、本発明の部品検出装置を用いた部品検出システムの一例の構成を示す。図示のとおり、この部品検出システムは、識別対象画像取得手段１１１ａ、１１１ｂ、１１１ｃと、出力手段１３１ａ、１３１ｂ、１３１ｃと、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とを備える。前記識別対象画像取得手段１１１ａおよび出力手段１３１ａは、通信インターフェイス１５０ａに接続されている。前記識別対象画像取得手段１１１ａ、出力手段１３１ａおよび通信インターフェイス１５０ａは、場所Ｘに設置されている。前記識別対象画像取得手段１１１ｂおよび出力手段１３１ｂは、通信インターフェイス１５０ｂに接続されている。前記識別対象画像取得手段１１１ｂ、出力手段１３１ｂおよび通信インターフェイス１５０ｂは、場所Ｙに設置されている。前記識別対象画像取得手段１１１ｃおよび出力手段１３１ｃは、通信インターフェイス１５０ｃに接続されている。前記識別対象画像取得手段１１１ｃ、出力手段１３１ｃおよび通信インターフェイス１５０ｃは、場所Ｚに設置されている。そして、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、前記サーバ１７０とが、回線網１６０を介して接続されている。
【００５９】
この部品検出システムでは、前記サーバ１７０側に、識別対象領域取得手段および部品検出手段を有し、前記サーバ１７０に識別対象領域教師データおよび部品教師データが格納される。例えば、場所Ｘで前記識別対象画像取得手段１１１ａを用いて取得された識別対象画像を、サーバ１７０に送信し、前記サーバ１７０側で、識別対象領域および部品を検出する。また、検出された識別対象領域および部品のうち、少なくとも部品を、前記出力手段１３１ａにより出力する。
【００６０】
本実施形態の部品検出システムによれば、識別対象画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる識別対象領域および部品の検出等が可能である。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本実施形態の部分検出システムは、前述の実施形態２の属性認識および実施形態３の位置合わせ（アライメント）に対応したものであってもよい。
【符号の説明】
【００６１】
１０  学習用画像
１１、１２ａ、１３ａ、１４ａ、１５ａ、１２ｂ、１３ｂ、１４ｂ、１５ｂ、２２ａ、２３ａ、２４ａ、２５ａ、２２ｂ、２３ｂ、２４ｂ、２５ｂ  ラベリング
２０  識別対象画像
１１１  識別対象画像取得手段
１２０  演算手段
１２１  識別対象領域検出手段
１２２  部品検出手段
１２３  属性認識手段
１２４  アライメント手段
１３１  出力手段
１４０  データ記憶手段
１４１  識別対象領域教師データ
１４２  部品教師データ
１４３  属性認識用教師データ
【図１】
0005431830.tif 000002
【図２】
0005431830.tif 000003
【図３】
0005431830.tif 000004
【図４】
0005431830.tif 000005
【図５】
0005431830.tif 000006
【図６】
0005431830.tif 000007
【図７】
0005431830.tif 000008
【図８】
0005431830.tif 000009