(57)【要約】      （修正有）【課題】人物が向いている方向に関わらず、高い判別精度を確保することを可能とするための技術を提供する。【解決手段】情報処理装置１０３において、画像から人体を検出する人体検出手段２１０と、検出された人体の向く方向を判定する方向判定手段と、画像の検出された人体上の方向に応じた位置に領域を設定する設定手段と、領域から抽出される特徴量に基づいて、人体を検知対象に含めるか否かを判定する判定手段とを備える。【選択図】図２
2020123246.tif 000002
【特許請求の範囲】
【請求項１】
画像から人体を検出する検出手段と、
前記検出された人体の向く方向を判定する方向判定手段と、
前記画像の前記検出された人体上の前記方向に応じた位置に領域を設定する設定手段と、
前記領域から抽出される特徴量に基づいて、前記人体を検知対象に含めるか否かを判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記検出手段は、検出した前記人体を囲む枠を設定し、
前記設定手段は、前記判定手段が前記人体の向く方向が横方向と判定した場合、前記領域を前記枠の中心から前記人体の向く方向と反対の方向にずらした位置に設定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記設定手段は、前記判定手段が前記人体の向く方向が横方向ではないと判定した場合、前記領域を前記枠の中心位置に設定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記設定手段は、前記領域を前記枠の中心よりも下方向に更にずらして設定することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記検出手段は、人体を構成する部位を前記画像から検出し、
前記枠は、検出された前記部位を含むように設定されることを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記特徴量は第１の色情報を含み、
前記判定手段は、前記領域について前記第１の色情報のヒストグラムを生成してピーク値を算出し、前記ピーク値と予め指定された値との比較に基づいて前記人体を検知対象に含めるか否かを判定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記特徴量は第２の色情報を更に含み、
前記判定手段は、前記領域について前記第２の色情報の平均値を算出し、前記平均値が所定の範囲に含まれる場合に当該領域について前記第１の色情報のヒストグラムを生成することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記第１の色情報は色相であり、前記第２の色情報は彩度であって、
前記予め指定された値及び、前記所定の範囲は、所定の衣服の画像から抽出された色相及び彩度の情報に基づいて設定され、
前記検知対象に含まれない人体は、前記所定の衣服を着用している人体であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記方向判定手段は、前記検出手段が検出した人体の部位に基づいて前記方向を判定することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記検出手段が前記人体の部位として左半身または右半身を検出した場合に、前記方向判定手段は、前記方向が横方向であると判定することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記検出手段が検出した人体の部位が、頭部または顔の少なくともいずれかのみである場合、該人体を検知対象に含めることを特徴とする請求項９または１０に記載の情報処理装置。
【請求項１２】
前記検出手段が検出した人体の部位が、頭部または顔の少なくともいずれかである場合、前記方向判定手段、前記設定手段、及び、前記判定手段における処理が抑制されることを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記判定手段により検知対象に含めると判定された人体を対象として、前記画像の解析を行う解析処理手段を更に備えることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
所定の監視領域を撮影して画像を生成する撮影手段と、
前記撮影手段が撮影した画像を処理する請求項１から１３のいずれか１項に記載の情報処理装置と
を備えることを特徴とするシステム。
【請求項１５】
検出手段が、画像から人体を検出する検出工程と、
方向判定手段が、前記検出された人体の向く方向を判定する方向判定工程と、
設定手段が、前記画像の前記検出された人体上の前記方向に応じた位置に領域を設定する設定工程と、
判定手段が、前記領域から抽出される特徴量に基づいて、前記人体を検知対象に含めるか否かを判定する判定工程と
を含むことを特徴とする情報処理装置の制御方法。
【請求項１６】
コンピュータを請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、システム、及びプログラムに関する。
【背景技術】
【０００２】
コンビニ、マンション、空港、駅舎等の監視対象の施設の安全確保の為に監視カメラが設置されている。しかし、監視カメラ映像を解析する際に来場客等の特定人物のみの行動を検知することは困難である。そこで、人物の服装の特徴を抽出し、特定の衣服に該当するかどうか、或いは、その該当頻度に基づいて、人物を判別する技術がある。（特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５８６６３６０号
【特許文献２】特開２００７−１５６５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人物行動検知の対象者を判別する従来の方式では、人物の向きを区別せずに服装の特徴を抽出して判別を行っていたため、正面を向いている人物の判別精度に比べて、横方向（左右）を向いている人物の判別制度が低くなってしまうという問題があった。これは、人物が横方向を向く場合には、判別対象の画像に背景領域が多く混入してしまうためである。
【０００５】
そこで本発明は、人物が向いている方向に関わらず、高い判別精度を確保することを可能とするための技術を提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明は、情報処理装置であって、
画像から人体を検出する検出手段と、
前記検出された人体の向く方向を判定する方向判定手段と、
前記画像の前記検出された人体上の前記方向に応じた位置に領域を設定する設定手段と、
前記領域から抽出される特徴量に基づいて、前記人体を検知対象に含めるか否かを判定する判定手段とを備える。
【発明の効果】
【０００７】
本発明によれば、人物が向いている方向に関わらず、高い判別精度を確保することを可能とするための技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】発明の実施形態に対応するシステム構成の一例を示す図、及び、情報処理装置のハードウェア構成の一例を示す図。
【図２】発明の実施形態に対応する情報処理装置のソフトウェア構成の一例を示す図。
【図３】発明の実施形態に対応する人体検出処理を説明するための図。
【図４】発明の実施形態に対応する領域設定方法を説明するための図、及び、除外対象人物を判定するためのヒストグラムの一例を示す図。
【図５】発明の実施形態に対応する入力インタフェースの一例を示す図。
【図６】発明の実施形態に対応する検知対象設定処理の一例を示すフローチャート、及び、特徴判定処理の一例を示すフローチャート。
【図７】発明の他の実施形態に対応する処理を説明するための図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
[実施形態１]
以下、添付の図面に基づいて発明の実施形態を詳細に説明する。図１（Ａ）は、発明の実施形態に係る情報処理システム１００の構成例を示す図である。情報処理システム１００は、ネットワーク１０１を介して接続された、少なくともひとつのネットワークカメラ１０２と、情報処理装置１０３とを備える。図１（Ａ）に示した情報処理システム１００の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
【００１１】
ネットワーク１０１は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１０１は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。
【００１２】
ネットワークカメラ１０２は、例えばコンビニ、マンション、空港、駅舎、劇場、映画館、スタジアムといった監視対象区域に設置される監視カメラである。ネットワークカメラ１０２は、監視対象区域における所定の領域（監視領域）を撮影するように設置され、ネットワーク１０１を介して撮影した画像（動画像、静止画像）を情報処理装置１０３に配信する機能を持つ。ネットワークカメラ１０２は、ＰＴＺ（パン・チルト・ズーム）制御機能を持ち、パンおよびチルト制御用の雲台（不図示）を有していても良い。また、ネットワークカメラ１０２は複数台が用意され、監視対象区域内の複数の監視領域をそれぞれ撮影するため、個々に設置されていてもよい。
【００１３】
情報処理装置１０３は、ネットワーク１０１を介してネットワークカメラ１０２と通信し、ネットワークカメラ１０２の動作を制御することができる。例えば、雲台の制御をしたり、画質設定やＰＴＺの制御等の変更要求を行ったりすることができる。ネットワークカメラ１０２で撮影された動画像及び静止画像を、ネットワーク１０１介して受信する。また、情報処理装置１０３はネットワークカメラ１０２で撮影された画像の解析を行う画像解析装置（画像処理装置、画像分析装置）としても機能することができ、監視領域内に存在する人物の検出及び判別や、監視領域内の特定の領域（範囲、或いは、位置）を通過した人数を計数（カウント）する等の処理を行うことができる。情報処理装置１０３は、例えばパソコン、サーバー、タブレット等として実現することができる。情報処理装置１０３は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。
【００１４】
次に、図１（Ｂ）を参照して情報処理装置１０３のハードウェア構成を説明する。情報処理装置１０３は、システムバス１１０に対してＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、記憶装置１１４、通信装置１１５、入力装置１１６、表示装置１１７が接続されて構成されている。
【００１５】
ＣＰＵ１１１は、情報処理装置１０３の全体的な制御やデータの計算・加工を行う装置である。ＲＡＭ１１２は、揮発性のメモリであり、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１１１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１１１は、例えばＲＯＭ１１３に格納されるプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、情報処理装置１０３の各部を制御する。尚、ＣＰＵ１１１が動作するためのプログラムは、ＲＯＭ１１３に格納されるのに限られず、記憶装置１１４に記憶されていてもよい。また、CPU１１１は、１つ以上のプロセッサにより構成することができる。
【００１６】
記憶装置１１４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１１４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。記憶装置１１４は、ＣＰＵ１１１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１１４をＲＡＭ１１２やＲＯＭ１１３の代わりに使用してもよい。
【００１７】
通信装置１１５は、ＣＰＵ１１１の制御に基づき、ネットワーク１０１を介してネットワークカメラ１０２と通信するための通信インタフェースである。通信装置１１５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００１８】
入力装置１１６は、情報処理装置１０３のユーザからの操作入力を受け付けるためのユーザインタフェースである。入力装置１１６は、例えば、キーボード、マウス、タッチパネル、ボタン等として構成することができる。あるいは、音声により操作入力を受け付けてもよい。表示装置１１７は、ネットワークカメラ１０２から受信した画像や、記憶装置１１４に記憶されている画像、或いは、所定の入力画面を表示するディスプレイであって、例えば液晶パネル等で構成される。
【００１９】
次に、図２を参照して、本実施形態に対応する情報処理装置１０３の機能構成の一例を説明する。
【００２０】
情報処理装置１０３は、通信部２０１、画像取得部２０２、前処理部２０３、人体検出部２１０、領域決定部２０４、特徴判定部２０５、結果生成部２０６、除外対象設定部２０７、解析部２０８を有する。人体検出部２１０は、頭部検出部２１１、顔検出部２１２、左半身検出部２１３、右半身検出部２１４、上半身検出部２１５、全身検出部２１６、及び、結果統合部２１７を有する。
【００２１】
通信部２０１はネットワーク１０１経由でネットワークカメラ１０２から画像を受信する。画像取得部２０２は取得した画像を、情報処理装置１０３の内部の記憶装置１１４に記憶する。また、人物検出を行うために復号した画像を前処理部２０３に提供する。前処理部２０３は、特徴量が抽出しやすいように画像を補正する。次に人体検出部２１０は、本実施形態に対応する手法に従って、検出部２１１から２１６のそれぞれにより頭部、顔、左半身、右半身、上半身、全身の人体を構成する各部位を検出し、結果統合部２１７で結果を統合し、画像中に人体検出枠を設定する。
【００２２】
領域決定部２０４は、検出部２１１における検出結果に基づいて、検出された人体が着用している衣服（被服）、或いは、服装（服飾、衣装）の種別を判定するための判定対象領域を定める。服装の特徴を判定する方法の一つとして本実施形態では色情報を用いることができる。特徴判定部２０５は、人体の服装の特徴を表す色情報を判定対象領域から抽出する。例えば、特徴判定部２０５は、判定対象領域における彩度の平均値と、色相のピーク値とを算出することができる。除外対象設定部２０７で指定された範囲内に特徴判定部２０５が計算した色情報が属する場合は、結果生成部２０６は当該人物を人物行動の検知対象から除外する。一方、特徴判定部２０５が計算した色情報が当該範囲に属しない場合は、結果生成部２０６は当該人物を人物行動の検知対象に含める。
【００２３】
除外対象設定部２０７は、情報処理装置１０３のユーザから、検知対象から除外すべき人物が着用している衣服或いは服装の色情報の指定を受け付ける。また、当該色情報に基づいて、判定対象領域から得られた色情報を判定するための閾値を設定し、記憶装置１１４に保存する。当該処理については、図５を参照して後述する。
【００２４】
解析部２０８は、検知対象と判定された人体について解析処理を行う。例えば、所定領域を通過した人数をカウントしたり、人物を認識したり、人物の顔を識別して個人を特定するといった処理を行うことができる。解析部２０８における解析結果は表示装置１１７に表示したり、通信部２０１を介して外部に送信してもよい。
【００２５】
本実施形態では、図２に示す機能構成の全てを情報処理装置１０３側で有する場合、即ち、画像解析を情報処理装置１０３で行う場合を説明する。しかし、処理の一部をネットワークカメラ１０２において実施してもよい。例えば、人体検出部２１０の機能をネットワークカメラ１０２に持たせるようにして、画像解析装置として動作させてもよい。この場合、ネットワークカメラ１０２により撮影・生成された画像データと共に、画像から検出された各人体の部位の情報、及び、各人体に対して設定された人体検出枠の情報が情報処理装置１０３側に提供され、情報処理装置１０３において判定対象領域の決定、特徴判定処理等が実行される。あるいは、ネットワークカメラ１０２側で、特徴判定処理までを行い、検知対象から除外する人物を決定し、検知対象の人物の情報のみを情報処理装置１０３に提供してもよい。
【００２６】
次に、図３を参照して発明の実施形態に対応する人体検出部２１０における処理について説明する。まず、ネットワークカメラ１０２が監視対象領域を撮影して得られた処理対象画像の中から、人体を構成する複数の部位を検出する。本実施形態において、「部位」とは例えば「顔３０１」「頭部３０３」「左半身３０５」「右半身３０７」「上半身３０９」「全身３１１」である。これらは、各部位に対応する頭部検出部２１１、顔検出部２１２、左半身検出部２１３、右半身検出部２１４、上半身検出部２１５、全身検出部２１６によりそれぞれ検出される。
【００２７】
本実施形態では、頭部の輪郭、両目、鼻、口が全て検出された場合に「顔」が検出されたものとし、頭部の輪郭が検出されつつも両目、鼻、口のうちのいずれかが検出されない場合に「頭部」が検出されたものとする。また、左半身、右半身は、人体の右側面、左側面の全体だけでなく、左右の上半身のみを検出対象としてもよい。
【００２８】
各検出部は、例えば複数の弱判別器のカスケード接続によって構成されてもよい。弱判別器はエッジや色などの画像特徴のパターンを検出する。画像特徴の最適な検出パターンは機械学習によって取得することができる。結果、各強判別器による部位検出結果を結果統合部２１７が統合し、複数の部位のうち少なくともいずれかの部位が検出されると、当該検出部位に基づき画像中の人体検出枠を設定する。ここでは例えば各部位の重み付き和による評価関数を用いることができる。当該人体検出枠は、検出された部位を含むように設定される。或いは、少なくとも人体の下半身よりも上（腰よりも上）の領域を含むように設定されてもよい。
【００２９】
このようにして人体検出枠が決定されると、領域決定部２０４が、人体の服装の特徴を判定するための判定対象領域を設定する。このとき検出部位の組み合わせパターンに基づいて、部位検出に右半身か左半身（或いは、右上半身、左上半身）が含まれているか、それ以外かを判定する。右半身が含まれている場合は人体の向きは右向き、左半身が含まれている場合は人体の向きは左向きと判定する。それ以外の場合には正面を向いていると判定する。領域決定部２０４は、判定された人物の向き（向いている方向、移動方向）に応じて判定対象領域を設定する。
【００３０】
次に図４を参照して、本実施形態に対応する領域決定処理の原理を説明する。まず図４（Ａ）に示すように、画像上の人物４０１、人物４０２、人物４０３が検出されたものとする。人物４０１は、検出部位情報４０４として顔、頭部及び上半身が検出されている。また、人物４０２は、検出部位情報４０５として頭部及び右半身（右上半身）が検出されている。また、人物４０３は、検出部位情報４０６として頭部及び左半身（左上半身）が検出されている。本実施形態では、検出部位情報に基づいて、検出された人体の向いている方向（向き）を判定（方向判定）する。特に、本実施形態では、上半身（又は全身）、右半身（右上半身）、左半身（左上半身）のいずれを含むかによって向きを判定することができる。上記の例では、人物４０１は正面向き、人物４０２は右向き、人物４０３は左向きとそれぞれ判定される。
【００３１】
このようにして向きを判定すると、右向きの人体４０２の場合は人体検出枠の中心から斜め左下の人体上の小領域４０８を判定対象領域とする。また、左向きの人体４０３の場合は人体検出枠の中心から斜め右下の人体上の小領域４０９を判定対象領域とする。さらに、正面向きの人体４０１の場合は人体検出枠の中心から下の人体上の小領域４０７を判定対象領域とする。なお、上半身や全身が検出されているものの、顔が検出されず、頭部が検出される場合は後ろ向きと判定することができるが、この場合は正面向きと同様に人体検出枠の中心から下の小領域を判定対象領域とする。
【００３２】
より具体的に、判定領域の設定方法について図４（Ｂ）を参照して説明する。図４（Ｂ）は、人体の向きが横方向の場合とそれ以外の場合とで設定される判定対象領域の設定方法を説明するための図である。図４（Ｂ）の左側は、左半身が検出された場合の判定対象領域の設定例を示す。このとき人体は左向きと判定されるので、左方向とは反対方向（逆向き）の右方向に判定対象領域をずらす。具体的に、まず人体検出枠４１０の中心と、点線で示す判定対象領域４１１の中心とを一致させた状態から、矢印４１２で示す右下方向に判定対象領域の中心位置をずらす。実線で示す判定対象領域４１３は、このようにして中心位置からずらした後の判定対象領域を示す。
【００３３】
図４（Ｂ）の中央は、上半身又は全身が検出された場合の判定対象領域の設定例を示す。このとき人体は正面向き或いは後ろ向きと判定されるので判定対象領域は横方向にはずらさず、下方向にずらすだけでもよい。具体的に、人体検出枠４２０の中心と、点線で示す判定対象領域４２１の中心とを一致させた状態から、矢印４２２で示す下方向に判定対象領域の中心位置をずらす。実線で示す判定対象領域４２３は、このようにして中心位置からずらした後の判定対象領域を示す。
【００３４】
図４（Ｂ）の右側は、右半身が検出された場合の判定対象領域の設定例を示す。このとき人体は右向きと判定されるので、右方向とは反対方向（逆向き）の左方向に判定対象領域をずらす。具体的に、人体検出枠４３０の中心と、点線で示す判定対象領域４３１の中心とを一致させた状態から、矢印４３２で示す左下方向に判定対象領域の中心位置をずらす。実線で示す判定対象領域４３３は、このようにして中心位置からずらした後の判定対象領域を示す。
【００３５】
本実施形態において、判定対象領域の大きさ及び中心からの移動距離（ずれ量：図４（Ｂ）における矢印の長さ）は人体検出枠の大きさに応じて決定することができる。また、人体が横方向（左方向または右方向）を向いている場合には、向いている方向と逆の横方向に移動させるだけとしてもよいし、当該逆方向の斜め下向きに移動させてもよい。
【００３６】
このようにして判定対象領域を設定すると、本実施形態では特徴判定部２０５が判定対象領域から衣服の特徴を示す特徴情報（色情報やテクスチャ情報）を抽出し、特徴情報と事前に指定された基準値とを比較する。ここでの比較には、例えばＳＶＭ（Support Vector Machine）などを用いることができる。比較の結果、抽出した特徴情報が基準値と一致する場合には、対応する人物は予め指定された除外対象者と判別することができ人体行動検知から除外される。一方、両者が一致しない場合には、当該人物は除外対象者ではないと判別して人体行動検知を実行する。
【００３７】
特徴情報は、例えば色やテクスチャ情報を利用することができる。図４（C）は、例示的な判定対象領域の色相を解析した結果の一例を示すヒストグラムであり、横軸は色相を、縦軸は画素数を示す。色情報を用いる場合、このような判定対象領域における色相ヒストグラムのピーク４４１となる色相を求め、事前に指定した色相の範囲内に属するかどうかを判定する。もし、ピークの色相が所定の範囲内に属する場合には、当該人物は除外対象者と判定することができる。一方、範囲内に属しない場合には、当該人物は除外対象者でない判定することができる。
【００３８】
次に図５を参照して本実施形態に関わる除外対象者を特定するための色情報の設定方法について説明する。図５（Ａ）は、色情報を設定するための画面の一例を示す。当該画面は、除外対象設定部２０７が表示装置１１７に表示する。ダイアログ５００は、除外対象者を特定するための色情報（除外対象色）を設定するか否かを指定するチェックボックス５０１、設定ボタン５０２、色設定部５０３を含むことができる。色設定部５０３では、色相（Hue）、彩度（Saturation）、明度（Brightness、或いは、Value）の値をそれぞれ設定することができる。当該値の入力は数値を直接に入力してもよいし、或いは、図５（Ｂ）に示すような画面を利用して入力してもよい。
【００３９】
図５（Ｂ）は、画像を利用して除外対象色の入力を行う入力画面の一例を示す。当該画面は、除外対象設定部２０７が表示装置１１７に表示する。図５（Ｂ）では、ネットワークカメラ１０２で撮影した画像を利用する場合を例示的に示しているが、これ以外にも、例えば記憶装置１１４に記憶されている除外対象者の服装を撮影した画像や、所定の衣服の画像を利用してもよい。
【００４０】
画面５１０には、ネットワークカメラ１０２で撮影された画像、或いは、記憶装置１１４から読み出された画像が表示される。カーソル５１１は画面５１０上に表示され、ユーザが入力装置１１６のマウス等を利用して画面５１０内の任意の位置（表示画像の画素に対応）を指定することができる。領域５１２は、マウスのクリックに応じてカーソル５１２で指定された位置に対応する画素のHSB（あるいは、HSV）の色情報の値を表示する。領域５１３は、現在のHSBの設定値を示し、OKボタン５１４をユーザが操作すると領域５１２に表示された値が設定される。また、当該設定値は図５（Ａ）の画面に戻ると色設定部５０３の各値として表示される。キャンセルボタン５１５が操作されると、HSBの値が０にリセットされる。
【００４１】
図５（Ｂ）では、画素単位の指定に基づきHSBの色情報を取得する場合を説明したが、カーソル７１１で指定した位置を含む小領域を設定して、テクスチャ情報を取得してもよい。
【００４２】
除外対象設定部２０７は、HSB（HSV）の各値が設定されると、色相（Hue）及び彩度（Saturation）の値に基づいて、特徴判定処理を行う際に用いる閾値を設定する。ここでは、判定対象領域内の彩度の平均値との比較のための閾値、及び、色相ヒストグラムのピーク値との比較のための閾値を設定することができる。彩度の平均値については、算出された平均値が所定の範囲に含まれるかを判定するための上限と下限の閾値（閾値１＜閾値２）を設定する。また、色相ヒストグラムのピーク値については、上記設定値との差分が所定値よりも小さいかどうかを判定するための比較値（閾値３）を設定する。設定された閾値の情報は、対応するHSBの値と共に記憶装置１１４に保存される。
【００４３】
上記において、服装の配色が正面、横方向、後ろ方向で異なる場合に対応すべく、それぞれの向きについて除外対象色を設定可能としてもよい。この場合には、画面５００において設定される色情報に向きの情報（例えば、右方向、左方向、それ以外）を関連付けておくことができる。この場合、閾値も向き毎に設定されて、記憶装置１１４に保存される。
【００４４】
次に、図６のフローチャートを参照して本実施形態に関わる処理の流れを説明する。ここでの処理は、例えば、ＲＯＭ１１３や記憶装置１１４に記憶されＲＡＭ１１２に読み出されたプログラムをＣＰＵ１１１が実行することにより各機能ブロックとして動作して実現される。
【００４５】
まず、Ｓ６０１において、画像取得部２０２が通信部２０１を介してネットワークカメラ１０２から送信された画像を取得する。続くＳ６０２において、人体検出部２１０は、取得した画像について人体検出を行い、得られた結果に基づきＳ６０３において人体検出枠を設定し、検知対象に設定する。続くＳ６０４において、領域決定部２０４は、検知対象に設定された各人体の人体検出枠について、人体の向く方向（向き）を判定する方向判定を行う。続くＳ６０５において、領域決定部２０４は、判定した人体の向きに従って、人体の服装の特徴を判定するための判定対象領域を設定する。続くＳ６０６において、特徴判定部２０５は、設定された判定対象領域において服装を表す特徴情報（色情報やテクスチャ情報）を抽出し、予め設定された閾値と比較して、当該人体が除外対象であるか否かを判定する。もし、除外対象と判定された場合には、Ｓ６０３において設定された人体検出枠を除去し、検知対象から除外する。一方、除外対象でなかった場合は、本処理を終了する。
【００４６】
次に、上記のＳ６０６における特徴判定処理の詳細を図６（Ｂ）を参照して説明する。特徴情報として色情報に基づいて判定を行う場合、Ｓ６１０において判定対象領域のRGB値を取得し、Ｓ６１１でRGB値をHＳV値に変換する。続くＳ６１２で、判定対象領域内の彩度（Saturation）の平均値を生成する。続くＳ６１３で記憶装置１１４に記憶されている除外対象色の色情報を取得する。当該色情報は、図５の入力画面を介して設定された除外対象のHSBの色情報と閾値（閾値１、閾値２及び閾値３）の情報を含む。続くＳ６１４では、判定対象領域の彩度平均値と閾値１及び閾値２との比較を行い、閾値１と閾値２とで規定される範囲内に属するかどうかを判定する。閾値範囲内に属しない場合には、NG判定として、判定対象の人体は除外対象ではないと判定することができる。
【００４７】
一方、彩度平均値が閾値範囲内に属する場合、処理はＳ６１５に進み、判定対象領域内の画素値に基づいて色相ヒストグラムを作成し、Ｓ６１６においてピーク値を算出する。続くＳ６１７では、算出されたピーク値と、図５の入力画面を介して設定された除外対象の色相値との差分を算出し、続くＳ６１８において差分と上述の閾値３とを比較して、差分が閾値３よりも小さければ、判定対象の人物は除外対象の人物と判定することができる。一方、差分が閾値３以上の場合には、当該人物は除外対象の人物ではないと判定することができる。
【００４８】
Ｓ６１３において、除外対象色の色情報を取得する際に、人体の向き毎に色情報が設定されている場合には、Ｓ６０４で判定された人体の向きに対応する色情報を取得することができる。また、例えば、複数の異なる服装の人体を除外対象とすべく、除外対象色の色情報が複数設定されている場合には、全ての色情報を取得する。そして、Ｓ６１４以降の処理では、それぞれの色情報との比較を行っていずれかで非除外対象と判定された場合であっても、全ての色情報で非除外対象と判定されるまでは処理を継続する。いずれかの色情報について除外対象と判定されれば、当該人体を除外対象とし、全ての色情報について非除外対象と判定されれば検知対象に含める。
【００４９】
以上によれば、撮影された人物の衣服や服装を判別して特定人物を検知対象から除外しようとする場合に、人体の向きに応じた位置に衣服の特徴を判定するための判定対象領域を設定することにより、判定対象領域に背景色が混入するのを減らすことが可能となる。これにより、除外対象の人物を精度よく特定することが可能となり、店員やスタッフ等の検知対象ではない人物の行動を検知して、通知してしまうことを抑制できる。
【００５０】
［実施形態２］
上記の実施形態１では、検出された人体の服装（着用する衣装）が画像内に映っていることを前提として説明を行った。しかしながら、撮影条件によっては判定対象者の服装が映っていないことも考えられる。例えば、当該人物の人体の一部が他の物体により遮蔽されてしまう場合などである。本実施形態は当該場合に対応する方法を提供する。
【００５１】
図７を参照して、本実施形態に対応する方法を説明する。図７（Ａ）の人物７０１の場合、撮影対象内に設置された物体（例えば机や棚等）７０２によって身体の一部が隠れてしまっている。このような場合に実施形態１をそのまま適用すると、頭部が検出されるものの、設定される判定対象領域７０３は物体７０２に対して設定されてしまうため、人物の服装についての色情報を取得することは困難である。
【００５２】
また、人物７０５のように体の一部が領域外に出てしまっている場合、衣服の部分が判別可能なレベルまで画像に含まれない場合が想定される。このような場合に実施形態１をそのまま適用しても、人体検出枠に対して相対的な位置、サイズに設定された判定対象領域７０６は、実際の服装部分ではない。判定対象領域７０６は画像の外になるため色情報を取得できない。
【００５３】
本実施形態では、このような場合には図６のＳ６０４以降の処理を省略する。具体的には、Ｓ６０３において、検知対象に設定された人物について検出された部位が、図７（Ｂ）のテーブルに示すように顔または頭の少なくともいずれかの場合、換言すると、顔、頭のいずれかのみか、顔と頭のみの場合は、以後の処理は行わず処理を終了する。
【００５４】
以上説明した方法によれば、人体の服装領域が画像に含まれない場合でも、非検知対象者を誤って検知対象者と判定することを防止することができる。
【００５５】
以上、発明の例示的な実施形態について説明したが、発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形および変更が可能である。
【００５６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１０１：ネットワーク、１０２：ネットワークカメラ、１０３：情報処理装置
【図１】
2020123246.tif 000003
【図２】
2020123246.tif 000004
【図３】
2020123246.tif 000005
【図４】
2020123246.tif 000006
【図５】
2020123246.tif 000007
【図６】
2020123246.tif 000008
【図７】
2020123246.tif 000009