(57)【特許請求の範囲】
【請求項１】
静止状態または移動状態の人物を含む環境を撮影する第１の撮影手段と、
該第１の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、
前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、
他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の第２の撮影手段と、
前記衣服特徴抽出手段により、前記第２の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段と、を有し、
前記衣服特徴抽出手段は、
前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、
該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、
該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、
該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、
該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、
該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段と
から構成され、
前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする人物検索システム。
【請求項２】
前記人抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする請求項１に記載の人物検索システム。
【請求項３】
前記衣服特徴抽出手段は、前記各衣服画像に基づいて、衣服の大局的特徴と局所的特徴を衣服の特徴として取得し、
前記衣服の大局的特徴は、前記各衣服画像の色特徴または周波数特徴であり、前記局所的特徴は同時生成行列特徴であることを特徴とする請求項１または請求項２に記載の人物検索システム。
【請求項４】
前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする請求項１から請求項３の何れか１項に記載の人物検索システム。
【請求項５】
前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されることを特徴とする請求項１から請求項３の何れか１項に記載の人物検索システム。
【請求項６】
前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、
前記記憶手段は、前記人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする請求項１から請求項５の何れか１項に記載の人物検索システム。
【請求項７】
前記人向き判別手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする請求項６に記載の人物検索システム。
【請求項８】
前記人物検索手段は、前記大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする請求項１から請求項７の何れか１項に記載の人物検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衣服特徴を用いて人物を検索する人物検索システムに関するものである。
【背景技術】
【０００２】
近年、防犯意識の高まりや安全管理強化により、商業施設等において監視カメラを用いた個人認証の研究や製品開発が進められている。
【０００３】
特に、監視カメラを用いた個人認証では、顔情報を用いた個人認証の研究開発が種々進められている。
【０００４】
このような、顔情報を用いた個人認証によれば、高精度な個人認証が可能である。
【０００５】
ところで、顔情報を用いたシステムでは、当然ながらカメラ画像に顔が写っていることが前提である。
【０００６】
しかしながら、監視カメラの設置位置や、撮影対象となる人物の身長等により顔が撮影されない場合がある。
【０００７】
また、顔情報を用いた個人認証では、人物の顔が正面から写っている必要があるが、商業施設等で移動している特定の人物の顔を正面から撮影することは難しかった。
【０００８】
一方で、監視カメラに写る確率の高い、人物の衣服に着目した技術が種々提案されている。
【０００９】
人物の衣服に着目した技術としては、例えば、特開２０１０−２６２４２５号公報に係る「衣服を認識および分類するためのコンピュータ実行方法」などが挙げられる。
【００１０】
前記公報に係る発明において、コンピュータシステムは、プロセッサ、メモリ、および記憶装置を含み、ディスプレイおよびカメラに連結されている。記憶装置は、ＯＳ及びアプリケーションのコードを記憶し、衣服認識アプリケーションも含む。動作中、衣服認識アプリケーションはメモリにロードされる。プロセッサがメモリに記憶されている対応コードを実行する時、プロセッサは、カメラによってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイにディスプレイするものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１０−２６２４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述の従来技術では、カメラで人物の衣服を撮影し、その衣服に関する情報を用いているが、その目的は、衣服を認識して分類することにある。
【００１３】
ところで、上述のように商業施設等において人物の個人認証を行う場合には、用途によっては、個人認証にさほど高い精度が求められない場合がある。
【００１４】
即ち、例えば銀行のＡＴＭにおける個人認証や、重要施設への入館許可等における個人認証において、顔情報を用いる場合には１００％に近い確率の認証精度が求められる。
【００１５】
一方、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせする人を探すような場合には、前記ＡＴＭ等における程の個人認証精度は要求されず、該当すると思われる人物を検索できれば足りる。
【００１６】
このような用途において、監視カメラ等で取得した来場者の衣服に関する情報（衣服特徴）を用いて、簡易的な個人認証や人物検索を行いたいという要望がある。
【００１７】
また、顔情報等を用いた個人認証の精度をさらに向上させるために、人物の衣服特徴を補助的に用いたいという要望もある。
【００１８】
しかしながら、前記従来技術のような衣服を認識して分類する技術を人物検索や個人認証の補助にそのまま転用することはできなかった。
【００１９】
本発明は、上述のような課題を解決すべくなされたものであり、衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
前記課題を解決するため、請求項１の発明に係る人物検索システムは、静止状態または移動状態の人物を含む環境を撮影する第１の撮影手段と、該第１の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の第２の撮影手段と、前記衣服特徴抽出手段により、前記第２の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段と、を有し、前記衣服特徴抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とから構成され、前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする。
【００２１】
請求項２の発明に係る人物検索システムは、請求項１に記載の発明について、前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする。
【００２２】
請求項３の発明に係る人物検索システムは、請求項１に記載の発明について、前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されることを特徴とする。
【００２３】
請求項４の発明に係る人物検索システムは、請求項１〜３のいずれか１項に記載の発明について、前記衣服特徴抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とを備えることを特徴とする。
【００２４】
請求項５の発明に係る人物検索システムは、請求項４に記載の発明について、前記人抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする。
【００２５】
請求項６の発明に係る人物検索システムは、請求項４または請求項５のいずれかに記載の発明について、前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする。
【００２６】
請求項７の発明に係る人物検索システムは、請求項１〜６のいずれかに記載の発明について、第１の撮影手段または第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする。
【００２７】
請求項８の発明に係る人物検索システムは、請求項７に記載の発明について、人向き判別手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする。
【００３０】
請求項９の発明に係る人物検索システムは、請求項１から請求項８の何れか１項に記載の発明について、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする。
【発明の効果】
【００３１】
本発明によれば以下の効果を奏することができる。
【００３２】
すなわち、請求項１に記載の発明によれば、本構成を有していない場合に比較して、衣服特徴を用いた人物検索を容易に行う人物検索システムを提供することができる。
また、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。
また、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は同時生成行列特徴であるので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。
【００３３】
請求項２に記載の発明によれば、第１の撮影手段および第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるので、多方向から見た衣服特徴を取得することができ、比較的低コストで検索精度を高めた人物検索システムを提供することができる。
【００３４】
請求項３に記載の発明によれば、第１の撮影手段および第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されるので、多方向から見た衣服特徴を取得することができ、検索精度を高めた人物検索システムを提供することができる。
【００３５】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。
【００３６】
請求項５に記載の発明によれば、人抽出手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するので、検索精度を高めた人物検索システムを提供することができる。
【００３７】
請求項６に記載の発明によれば、衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するので、検索精度を高めた人物検索システムを提供することができる。
【００３８】
請求項７に記載の発明によれば、第１の撮影手段または第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶するので、検索精度を高めた人物検索システムを提供することができる。
【００３９】
請求項８に記載の発明によれば、人向き判別手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するので、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。
【００４２】
請求項９に記載の発明によれば、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うので、検索精度を高めた人物検索システムを提供することができる。
【図面の簡単な説明】
【００４３】
【図１】実施の形態に係る人物検索システムの機能構成を示す機能ブロック図である。
【図２】実施の形態に係る人物検索システムの構成例を示すブロック図である。
【図３】３次元カメラの構成例を示す説明図。
【図４】登録と検索の例を示す説明図である。
【図５】衣服特定処理の処理手順を示すフローチャートおよび説明図である。
【図６】人抽出について抽出例を示す説明図である。
【図７】人抽出について抽出方法を示す説明図である。
【図８】人抽出画像から衣服領域を取得する例を示す説明である。
【図９】首位置、腰位置の推定および衣服領域の分割方法を示す説明図である。
【図１０】衣服特徴取得について示す説明図である。
【図１１】色特徴の抽出および色差特徴の抽出の方法を示す説明図である。
【図１２】周波数特徴および同時生起行列について示す説明図である。
【図１３】同時生起行列の処理手順を示す説明図である。
【図１４】同時生起行列の種類を示す式である。
【図１５】同時生起行列の条件を示す式である。
【図１６】人向き方向判別について示す説明図である。
【図１７】衣服特定について示す説明図である。
【図１８】実験に用いた衣服の種類を示す撮影図である。
【図１９】実験に用いた正面画像と後面画像の例を示す撮影図である。
【図２０】実験に用いた正面画像と後面画像の例を示す撮影図である。
【図２１】実験結果を示す表である。
【発明を実施するための形態】
【００４４】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００４５】
図１から図２１を参照して、本発明についての実施形態に係る人物検索システムＳ１について説明する。
【００４６】
（人物検索システムの全体構成）
まず、図１を参照して人物検索システムＳ１の機能構成について説明する。
【００４７】
本実施の形態に係る人物検索システムＳ１は、図１に示すように、静止状態または移動状態の人物を含む環境を撮影する登録用カメラとしての第１の撮影手段２０１と、第１の撮影手段２０１で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段１２０と、衣服特徴抽出手段１２０で抽出された人物の衣服特徴に関する情報をデータベースとして記憶するハードディスク装置等で構成される記憶手段（記憶部）１０３と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の検索用カメラとしての第２の撮影手段２０２と、衣服特徴抽出手段１２０により、第２の撮影手段２０２で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段１０３に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段１６６とを少なくとも備える。
【００４８】
第１の撮影手段２０１および第２の撮影手段２０２の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるようにできる。
【００４９】
三次元カメラとしては、レーザパターン投影方式の３次元センサを用いることができる。
【００５０】
レーザパターン投影方式の３次元センサは、赤外線パターンを対象物体に照射して三角測量（Ｔｒｉａｎｇｕｌａｔｉｏｎ）により距離画像を取得している。
【００５１】
より具体的には、レーザパターン投影方式の３次元センサとしては、マイクロソフト社製のＫｉｎｅｃｔ（キネクト）センサ（マイクロソフト社の登録商標）２０１を適用することができる（図３参照）。このＫｉｎｅｃｔセンサ２０１は、当初ゲーム機用のセンサであったが、パーソナルコンピュータ等で構成されるコンピュータシステム１００ａにもＵＳＢ端子を介して接続可能である。
【００５２】
そして、マイクロソフトリサーチ社が提供する「Ｋｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ  ＳＤＫ（Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ）」を用いれば、Ｃ言語で記述したプログラムによりＫｉｎｅｃｔセンサ２０１をコンピュータシステム１００ａから制御することできる。
【００５３】
このＫｉｎｅｃｔセンサ２０１により、カラー画像３０１と、距離画像３０２を取得することができる（図３参照）
また、Ｋｉｎｅｃｔセンサは、約１万数千円程度で入手可能であり、本実施の形態に係るシステムＳ１の低コスト化を図ることができる。
【００５４】
また、第１の撮影手段２０１および第２の撮影手段２０２の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されるようにしてもよい。
【００５５】
即ち、例えば、登録用カメラとしての第１の撮影手段２０１について、商業施設やイベント会場の入り口等において、入場者としての人物を正面、後面、側面等から撮影するように、２台以上のデジタルカメラを配置するようにできる。
【００５６】
また、検索用カメラとしての第２の撮影手段２０２については、商業施設内やイベント会場内の複数箇所に監視カメラとして複数台のデジタルカメラを配置するようにできる。
【００５７】
衣服特徴抽出手段１２０は、図１に示すように、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段１６０と、人領域抽出手段１６０で抽出された人領域から人物画像のみを抽出する人抽出手段１６１と、人抽出手段１６１で抽出された人物画像から衣服の領域を取得する衣服領域取得手段１６２と、衣服領域取得手段１６２で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段１６３と、衣服領域分割手段１６３で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段１６４と、衣服特徴取得手段１６４で取得された特徴に基づいて衣服を特定する衣服特定手段１６５とから構成される。
【００５８】
なお、各手段は、コンピュータシステム１００ａ（１００ｂ）で実行可能なソフトウェアとして実現される。
【００５９】
人抽出手段１６１は、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに含まれる距離画像に、例えば背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するようにできる。詳細な手順については後述する。
【００６０】
なお、背景差分法およびクラスタリング手法は、移動体の画像に基づいて、人領域を抽出する場合に適している。
【００６１】
また、例えば、抽出された人領域画像に対して人認識を行った上で、識別結果が人である場合にのみ、以降の処理を続行するようにしても良い。
【００６２】
衣服領域分割手段１６３は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するようにできる。詳細な手順については後述する。
【００６３】
また、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段１６７をさらに備える。
【００６４】
そして、記憶手段１０３は、人物の衣服特徴に関する情報を人向き判別手段１６７による判別結果と関連付けしてデータベースを生成して記憶するようにできる。
【００６５】
なお、人向き判別手段１６７は、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するようにできる。詳細な手順については後述する。
【００６６】
また、衣服特徴取得手段１６４は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。
【００６７】
ここで、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるようにできる。詳細については後述する。
【００６８】
また、人物検索手段１６６は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段２０２で撮影された画像データに基づく衣服特徴と、記憶手段１０３に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うようにできる。
【００６９】
ここで、図２を参照して、人物検索システムＳ１の構成例について説明する。
【００７０】
図２に示す構成例では、パーソナルコンピュータ等で構成される２台のコンピュータシステム１００ａおよび１００ｂがＬＡＮ等のネットワークＮを介して接続されている。
【００７１】
なお、図２に示す構成例では、コンピュータシステム１００ａは主に各種演算処理を行う計算機として、コンピュータシステム１００ｂはデータベースとして機能する。
【００７２】
各コンピュータシステム１００ａ、１００ｂは、ＣＰＵ等で構成されるプロセッサ１０１と、作業領域等として使用されるメモリ１０２と、ハードディスク装置等で構成される記憶部１０３等を備えている。なお、コンピュータシステム１００ａには液晶ディスプレイ等で構成されるモニタ１５０が接続されている。
【００７３】
記憶部１０３には、Ｗｉｎｄｏｗｓ（マイクロソフト社の登録商標）やＬＩＮＵＸ（Linus Torvalds氏の登録商標）等の所定のオペレーティングシステムと、衣服検索アプリケーションやデータ登録アプリケーション等のソフトウェアがインストールされている。
【００７４】
また、コンピュータシステム１００ａには、登録用カメラとしての第１の撮影手段２０１と、検索用カメラとしての第２の撮影手段２０２とが接続されている。
【００７５】
なお、第２の撮影手段２０２は、商業施設内やイベント会場等に設置される複数台の監視カメラとすることができる。
【００７６】
（登録と検索の概要）
データベースへの登録を行う際には、図４（ａ）に示すように、商業施設やイベント会場等の入口に設置される登録用カメラとしての第１の撮影手段２０１で、登録対象としての人物Ｈ１を撮影し、コンピュータシステム１００ａによる処理により衣服特徴を抽出してコンピュータシステム１００ｂのデータベースに登録する。
【００７７】
人物の検索を行う際には、商業施設内やイベント会場内等に設置された監視カメラ等で構成される第２の撮影手段２０２によって場内を撮影し、各人物Ｈ１〜Ｈ４についてコンピュータシステム１００ａによる処理により衣服特徴を抽出し、データベースに登録されているデータとの照合を行う。これにより、例えば衣服特徴の一致あるいは類似すると判定結果に基づいて、登録済みの人物Ｈ１を検索することができる（図４（ｂ）参照）。
【００７８】
したがって、例えば、会場内で迷子が発生した場合や、待ち合わせ等で特定人物を検索したい場合などに、本実施の形態に係る人物検索システムＳ１により検索することができる。また、商業施設等において、本実施の形態に係る人物検索システムＳ１によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。
【００７９】
（衣服特定処理の処理手順）
図５のフローチャートおよび説明図を参照して、本実施の形態に係る人物検索システムＳ１で実行される衣服特定処理の処理手順の例について説明する。
【００８０】
まず、ステップＳ１０では、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物が存在する人領域を抽出してステップＳ１１に移行する。
【００８１】
即ち、第１の撮影手段２０１または第２の撮影手段２０２により画像データＤ１を取得し、画像データＤ２のように人物が存在する人領域を抽出する。
【００８２】
ステップＳ１１では、抽出された人領域から人物画像のみを抽出してステップＳ１２に移行する。
【００８３】
即ち、画像データＤ２から背景を除去するなどして人物画像のみの画像データＤ３を得る。
【００８４】
ステップＳ１２では、抽出された人物画像から衣服の領域を取得してステップＳ１３に移行する。
【００８５】
即ち、画像データＤ３から首部分の画像を除去するなどして衣服の領域の画像データＤ４を得る。
【００８６】
ステップＳ１３では、取得された衣服の領域を所定の分割数の衣服画像に分割してステップＳ１４に移行する。
【００８７】
即ち、例えば、衣服の領域の画像データＤ４から上半身部の画像データＤ５と下半身部の画像データＤ６とに分割する。
【００８８】
ステップＳ１４では、分割された各衣服画像から衣服の特徴を取得してステップＳ１５に移行する。
【００８９】
ステップＳ１５では、取得された特徴に基づいて衣服を特定して処理を終了する。
【００９０】
（人抽出について）
図６および図７を参照して、前記ステップＳ１０、Ｓ１１に関わる人抽出について説明する。
【００９１】
衣服抽出のため、距離画像を用いた背景差分法とクラスタリングを行い人物を抽出する。  予め複数枚取得した背景の距離画像の平均画像を取得し、この平均距離画像と入力される距離画像の差分値が大きい画素を人物領域として抽出する（図７（ａ）の画像データＤ１０、Ｄ１１、Ｄ１２およびＤ２参照）。
【００９２】
その後、人物領域を囲む矩形領域内の画素値を前景と背景の２クラスにクラスタリングを行う。クラスタリングにはｋ−ｍｅａｎｓ法を用いる。これにより、前景とされた画素を人物とすることができる（図７（ｂ）の画像データＤ２、Ｄ１３、Ｄ１４およびＤ３参照）。
【００９３】
ここで、クラスタリングによる人抽出を行うのは背景差分を行った際に発生する欠損を補うためである。
【００９４】
（衣服領域取得および衣服領域分割について）
図８および図９を参照して、前記ステップＳ１２、Ｓ１３に関わる衣服領域取得および衣服領域分割について説明する。
【００９５】
図８に示すように、衣服の上部（上半身部）と下部（下半身部）のそれぞれで特徴を取得するため、人物抽出で得られる人物抽出画像Ｄ３から顔領域を除去し（Ｄ４の状態）、衣服を上部（Ｄ５）と下部（Ｄ６）に分割する。
【００９６】
図９（ａ）に示すように、衣服領域取得の前処理として首の位置Ｐ１と腰の位置Ｐ２を推定する。そして、人物抽出で得られる人マスク画像の白色画素を画像ｙ軸方向に落としこみ、ヒストグラム化する。このヒストグラムから首と腰の位置Ｐ１、Ｐ２を推定する。
【００９７】
次いで、人マスク画像Ｄ２０の重心点を求め、重心点のｙ座標値よりも上の領域で首位置Ｐ１を下の領域で腰位置Ｐ２を求める（図９（ａ）参照）。
【００９８】
首位置Ｐ１はヒストグラムの最も深い谷を首位置Ｐ１とし、腰位置についてはヒストグラムの既存の判別分析法によって求めた値を腰位置Ｐ２とした。
【００９９】
続いて、図９（ｂ）に示すように、推定した首位置Ｐ１と腰位置Ｐ２から顔領域の除去と衣服の分割画像（Ｄ５、Ｄ６）を作成する。
【０１００】
首位置Ｐ１と腰位置Ｐ２の間の領域を衣服の上部、腰位置Ｐ２より下の領域を衣服の下部として抽出する。
【０１０１】
なお、首位置Ｐ１より上の領域は頭部領域として除去し、首元や手領域なども曖昧な領域があるため除去する。
【０１０２】
（衣服特徴取得について）
図１０から図１５を参照して、前記ステップＳ１４に係る衣服特徴取得について説明する。
【０１０３】
衣服特徴の抽出は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。
【０１０４】
また、図１０に示すように、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴（テクスチャ特徴）であるようにできる。
【０１０５】
ここで、図１１（ａ）を参照して、色特徴について説明する。
【０１０６】
まず、図１１（ａ）に示すような衣服の一部の画像データＤ３０をＲＧＢ表色系からＨＳＶ表色系に変換する。
【０１０７】
この変換は、ピクセルごとの色相（Ｈ）や鮮やかさ（Ｓ）、明るさ（Ｖ）を独立して扱うために行う。変換後の各画素の色相と彩度についてそれぞれヒストグラム４０１、４０２を作成する。
【０１０８】
なお、明度については照明変化の影響を大きく受けるためここでは使用しない。
【０１０９】
そして、求めた色相と彩度のヒストグラムを色特徴とする。色特徴の類似度の算出には例えばバタチャリヤ距離（Bhattacharyya距離）を用いる。なお、バタチャリヤ距離の算出の詳細については省略する。
【０１１０】
次に、図１１（ｂ）を参照して、色差特徴について説明する。
【０１１１】
色差特徴では、色相の差と彩度の差の２種類のヒストグラムを作成して行う。
【０１１２】
例えば図１１（ｂ）の衣服の一部の画像データＤ４０に対してエッジ抽出を行った画像Ｄ４１を用いる。そして、エッジ周囲の色相の差と彩度の差を色差と定義する。
【０１１３】
色差特徴取得は以下の手順によって行われる。
【０１１４】
１）衣服画像のエッジとして抽出された画素の周囲３×３の画素を切り出す。
【０１１５】
２）切り出した３×３の画素に対してラベル付けを行う。このとき、ラベルは２つの領域に分けるように付加する。
【０１１６】
３）ラベル１の画素と同座標にある衣服画像の画素の色相と彩度の平均値を求める。
【０１１７】
４）ラベル２も同様に色相と彩度の平均値を求める。
【０１１８】
５）ラベル１とラベル２の色相と彩度の差をそれぞれヒストグラム化する。
【０１１９】
そして、手順５で取得した２つのヒストグラムを色差特徴とする。なお、色差特徴の類似度の算出には色特徴と同様にバタチャリヤ距離を用いる。
【０１２０】
次に、図１２（ａ）を参照して、周波数特徴について説明する。
【０１２１】
ここで、周波数特徴は、衣服画像のパワースペクトル画像の画素値に関する。
【０１２２】
周波数特徴では、図１２（ａ）の衣服画像（ア）〜（カ）の画像から得られるパワースペクトル画像（キ）〜（シ）の画素値を一次元ベクトルにしたものを特徴とする。
【０１２３】
なお、特徴を取得するパワースペクトル画像は事前に３２×３２サイズの画像にスケール変換している（図１２（ｂ）参照）。
【０１２４】
また、周波数特徴は衣服の上部から取得し、下部の衣服からは十分な特徴取得領域が得られないため取得しない。また、周波数特徴の類似度は部分空間法を用いて算出する。
【０１２５】
次に、図１２（ｂ）を参照して、同時生起行列特徴について説明する。
【０１２６】
ここで、同時生起行列特徴は、衣服画像のグレー画像から得られる同時生起行列に基づくものである。
【０１２７】
また、同時生起行列は、離れた２つの画素対の値から特徴量を求めるものである。
【０１２８】
同時生起行列特徴は、例えば図１２（ａ）の衣服画像（ア）〜（カ）を用いる。そして、それらの画像をグレースケール変換する。
【０１２９】
なお、本実施の形態では、グレースケール画像は３２階調のグレースケールとした（図１２（ｄ）参照）。
【０１３０】
グレースケールに変換した画像に対して同時生起行列（以下、ＧＬＣＭと記す）を得る。  ＧＬＣＭは、離れた２つの画素対の値から特徴量を求めるものである。
【０１３１】
ＧＬＣＭは、図１２（ｃ）に示すように、距離ｒを１とし、θを０°、４５°、９０°、１３５°として４つ求める。
【０１３２】
そして、それぞれのＧＬＣＭから１０種類の特徴を求め、計４０の特徴を一次元ベクトルとしたものを特徴とする（図１３参照）。
【０１３３】
また、同時生起行列特徴は周波数特徴と同様の理由から衣服の上部から取得する。
【０１３４】
ここで、求める特徴は、Ｌをグレーレベル、ＰδをＧＬＣＭとして図１４の（ａ）〜（ｊ）に示す１０種類の特徴である。なお、この際の条件は図１５の（ｋ）〜（ｎ）である。
【０１３５】
なお、同時生起行列特徴の類似度の算出にはマハラノビス距離を用いる。
【０１３６】
（人向き方向判別について）
図１６を参照して、人向き方向判別について説明する。
【０１３７】
衣服によっては人の向きにより衣服の見え方が変化する（図１６（ｂ）参照）。そこで、本実施の形態に係る人物検索システムＳ１では、デザインの違いや着方による衣服の見え方の変化に対応するために、人向きの判別結果に基づいて衣服特徴のデータベースの作成や選択を行う。
【０１３８】
人向きの判別は、例えば顔の肌色情報に基づいて行うことができる。即ち、頭部領域の肌色領域の面積に基づいて、人の向きを判別することができる。
【０１３９】
具体的には、首位置よりも上部の人マスク画像Ｄ５２、Ｄ５３と入力画像Ｄ５０、Ｄ５１の肌色画素を白画素とした肌色抽出画像Ｄ５４、Ｄ５５のそれぞれの白画素数の比率ｒに閾値処理を行うことで判別することができる。なお、比率ｒは、ｒ＝ｐｓ／ｐｍにより求める（但し、ｐｓは肌色抽出画像の白色画素数、ｐｍはマスク画像の白色画素数である。）。
【０１４０】
そして、ｒが閾値以上の場合は前向き、閾値未満の場合は後向きと判別することができる。なお、本実施の形態に係る人物検索システムＳ１では、閾値を０．４とした。
【０１４１】
（衣服特定について）
図１７を参照して、前記ステップＳ１５に係る衣服特定について説明する。
【０１４２】
衣服特定は、例えば、入力画像Ｄ６０〜６２と、データベースに格納されている比較すべき類似衣服の画像Ｄ７０について、色特徴、色差特徴、周波数特徴、同時生起行列特徴の各特徴量から類似度を算出して行う。
【０１４３】
即ち、前記４つ特徴の類似度の合計を最終的な類似度とする。
【０１４４】
なお、各類似度はスケールが異なるため、事前にスケーリングを行うようにすると良い。  そして、同一衣服の特定は、入力画像Ｄ６０〜６２から得られた衣服特徴とデータベースに格納されている衣服特徴を比較し、最も高い類似度を示した衣服を同一衣服として認識する。
【０１４５】
これにより、予め衣服特徴を登録した人物と、入力画像Ｄ６０〜６２に係る人物との照合を行うことができる。
【０１４６】
したがって、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせ人を探す用途に、本実施の形態に係る人物検索システムＳ１を適用することができる。
【０１４７】
また、商業施設等において、本実施の形態に係る人物検索システムＳ１によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。
【０１４８】
また、顔情報に基づく個人認証の精度を向上させるために、補助的に衣服特徴の照合を行う場合にも本実施の形態に係る人物検索システムＳ１を適用することができる。
【０１４９】
（衣服の特定実験）
図１８から図２１を参照して、本実施の形態に係る人物検索システムＳ１を用いた衣服の特定実験について述べる。
【０１５０】
本実験では所定の部屋の上部に前述のＫｉｎｅｃｔセンサ２０１を設け、このＫｉｎｅｃｔセンサ２０１から取得した画像を用いている。
【０１５１】
なお、取得した画像は、被験者が予め設定した所定の範囲を往復している間に取得した画像である。
【０１５２】
図１８に示すように、衣服は２７種類（Clothes０〜２６）を用意し、それぞれ１００枚の画像を用意した。
【０１５３】
用意した画像に対し前述のステップＳ１０〜１５等の処理を行い、認識率を求めた。
【０１５４】
認識率は、正しく認識した画像数／全画像数と定義する。
【０１５５】
また、データベースへの登録は、人が前向きに映っている画像と後ろ向きに映っている画像をそれぞれ２５枚の計５０枚の画像で登録した。
【０１５６】
即ち、図１８には正面画像のみを示すが、実際には図１９（ａ）、（ｂ）、図２０（ａ）、（ｂ）に示すように、正面画像と後面画像とが一対となっている。
【０１５７】
この実験では、人向き判別結果を用いる場合と用いない場合でそれぞれ認識率を求めた。  そして、人向き判別結果を用いる場合は、人向き判別結果に基づき前向き用か後ろ向き用のデータベースを適宜選択し、認識処理を行った。
【０１５８】
また、人向き判別結果を用いない場合は前向き用のデータベースのみを用いて認識処理を行った。
【０１５９】
実験結果を図２１に示す。図２１から人向き方向判別を行わない場合、認識率が５０％に満たない衣服があることが分かる。
【０１６０】
しかし、人向き方向判別を行うことで、平均は９４．５％という高い認識率を得ることができた。
【０１６１】
以上のように、人の向きにより異なる衣服特徴データベースの作成や選択を行うことが認識精度の向上に有効であることが分かる。
【０１６２】
なお、本実施の形態に係る人物検索システムＳ１および上記実験では、人物の正面画像と後面画像に基づいて衣服特徴の抽出や照合を行なっているが、これに限らず、横方向（側面）の画像や、上方からの画像など、多方向からの画像を用いて衣服特徴の抽出や照合を行うようにしても良い。
【０１６３】
また、衣服特徴をデータベースに登録する際に、人物の年齢層や、身長等の身体的特徴等を関連付けして登録するようにしても良い。
【０１６４】
これにより、人物検索の精度を向上させたり、多様なマーケティング調査を行うことが可能となる。
【０１６５】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【産業上の利用可能性】
【０１６６】
本発明による人物検索手段は、各種商業施設、イベント会場等において、迷子の探索、特定人物の探索等に適用することができる。
【符号の説明】
【０１６７】
Ｓ１…人物検索システム
１００ａ，１００ｂ…コンピュータシステム
１０１…プロセッサ
１０２…メモリ
１０３…記憶手段（記憶部）
１２０…衣服特徴抽出手段
１５０…モニタ
１６０…人領域抽出手段
１６１…人抽出手段
１６２…衣服領域取得手段
１６３…衣服領域分割手段
１６４…衣服特徴取得手段
１６５…衣服特定手段
１６６…人物検索手段
１６７…人向き判別手段
２０１…第１の撮影手段
２０２…第２の撮影手段
Ｈ１〜Ｈ４…人物
Ｎ…ネットワーク
Ｐ１…首位置
Ｐ２…腰位置
【図１】
0005959093.tif 000002
【図２】
0005959093.tif 000003
【図３】
0005959093.tif 000004
【図４】
0005959093.tif 000005
【図５】
0005959093.tif 000006
【図６】
0005959093.tif 000007
【図７】
0005959093.tif 000008
【図８】
0005959093.tif 000009
【図９】
0005959093.tif 000010
【図１０】
0005959093.tif 000011
【図１１】
0005959093.tif 000012
【図１２】
0005959093.tif 000013
【図１３】
0005959093.tif 000014
【図１４】
0005959093.tif 000015
【図１５】
0005959093.tif 000016
【図１６】
0005959093.tif 000017
【図１７】
0005959093.tif 000018
【図１８】
0005959093.tif 000019
【図１９】
0005959093.tif 000020
【図２０】
0005959093.tif 000021
【図２１】
0005959093.tif 000022