(57)【要約】【課題】関心対象の領域の一部が隠れている画像においても特徴量を取得する。【解決手段】画像処理装置は、画像から関心対象に対応する対象領域を特定する第１特定手段と、対象領域に対応する関心対象が別の対象に隠れているか否かを判定する判定手段と、隠れていると判定された場合、対象領域から別の対象に対応する除外部分を特定する第２特定手段と、対象領域から除外部分を除き、除かれた部分を対象領域の残りの部分に基づいて補完する補完手段と、補完された対象領域から関心対象の特徴量を抽出する取得手段と、を備える。【選択図】図３
2019128824.tif 000002
【特許請求の範囲】
【請求項１】
画像から関心対象に対応する対象領域を特定する第１特定手段と、
対象領域に対応する関心対象が別の対象に隠れているか否かを判定する判定手段と、
隠れていると判定された場合、対象領域から前記別の対象に対応する除外部分を特定する第２特定手段と、
対象領域から除外部分を除き、除かれた部分を対象領域の残りの部分に基づいて補完する補完手段と、
補完された対象領域から関心対象の特徴量を抽出する取得手段と、を備える画像処理装置。
【請求項２】
前記補完手段における補完は関心対象の対称性に基づく請求項１に記載の画像処理装置。
【請求項３】
画像から関心対象に対応する対象領域を特定する第１特定手段と、
対象領域に対応する関心対象が別の対象に隠れているか否かを判定する判定手段と、
隠れていると判定された場合、対象領域から前記別の対象に対応する除外部分を特定する第２特定手段と、
対象領域から除外部分を除き、除かれた部分の特徴量を対象領域の残りの部分に基づいて推測する推測手段と、
除外部分を除く対象領域から抽出された特徴量と推測の結果得られた除かれた部分の特徴量とに基づいて関心対象の特徴量を取得する取得手段と、を備える画像処理装置。
【請求項４】
前記判定手段は、対象領域に対応する関心対象の向きまたは属性もしくはその両方が所定の条件を満たす場合、判定を行わない請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記画像をディスプレイに表示させる際に、前記判定手段における判定結果に応じて関心対象の表示態様を変える表示制御手段をさらに備える請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記ディスプレイに、所定の条件を満たす関心対象を前記所定の条件を満たさない関心対象よりも優先的に表示させる請求項５に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記所定の条件を満たす関心対象が前記所定の条件を満たさない関心対象に隠れている場合、前記所定の条件を満たす関心対象の隠れている部分を補完した画像を前記ディスプレイに表示させる請求項６に記載の画像処理装置。
【請求項８】
前記所定の条件は、関心対象の特徴量または属性もしくはその両方に関する条件である請求項６または７に記載の画像処理装置。
【請求項９】
前記第１特定手段は、関心対象の特定部位を検出し、検出された特定部位の位置に基づき所定の推測アルゴリズムにより定まる領域を対象領域として特定する請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記判定手段は、前記画像から前記別の対象に対応する別対象領域を特定し、対象領域と別対象領域とに重なりがあり、かつ、別対象領域が対象領域に対して前景となる場合に隠れていると判定する請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
画像から関心対象に対応する対象領域を特定することと、
対象領域に対応する関心対象が別の対象に隠れているか否かを判定することと、
隠れていると判定された場合、対象領域から前記別の対象に対応する除外部分を特定することと、
対象領域から除外部分を除き、除かれた部分を対象領域の残りの部分に基づいて補完することと、
補完された対象領域から関心対象の特徴量を抽出することと、を含む画像処理方法。
【請求項１２】
画像から関心対象に対応する対象領域を特定する特定手段と、
対象領域に対応する関心対象が別の対象に隠れているか否かを判定する判定手段と、
前記画像をディスプレイに表示させる際に、前記判定手段における判定結果が分かるように関心対象の表示態様を変える表示制御手段と、を備える画像処理装置。
【請求項１３】
コンピュータを請求項１乃至１０のいずれか一項または請求項１２に記載の装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来から、監視システムやモニタリングカメラシステムにおいて、カメラ画像から人物を検出する人体検出技術が知られている。検出した人体領域から服装の色や輝度等の特徴情報を取得し、特徴情報の比較により画像中の人物が同一であるか否かを判定する技術も知られている。同定できた人物を複数のカメラ間でつなぐことで、複数のカメラに跨る人物追跡を実現できる。
【０００３】
例えば、非特許文献１には、複数のカメラの画像中の人物から属性情報を抽出しておき、被写体の属性情報をカメラ間で比較することにより、同一人物かどうかを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００７／０２３７３８７号公報
【非特許文献】
【０００５】
【非特許文献１】Y. Cai and M. Pietik: "Person Re-identification Based on Global Color Context", The Tenth International Workshop on Visual Surveillance (2010)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラで撮影した実際の画像では人物同士の重なりや他の障害物により検出対象となる人体領域の一部が隠れ、人物の全身が映っていないことがある。そのため全身の特徴量の検出が不十分となり人物の同定の精度が落ちる虞がある。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、関心対象の領域の一部が隠れている画像においても特徴量を取得できる技術の提供にある。
【課題を解決するための手段】
【０００８】
本発明のある態様は画像処理装置に関する。この画像処理装置は、画像から関心対象に対応する対象領域を特定する第１特定手段と、対象領域に対応する関心対象が別の対象に隠れているか否かを判定する判定手段と、隠れていると判定された場合、対象領域から別の対象に対応する除外部分を特定する第２特定手段と、対象領域から除外部分を除き、除かれた部分を対象領域の残りの部分に基づいて補完する補完手段と、補完された対象領域から関心対象の特徴量を抽出する取得手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、関心対象の領域の一部が隠れている画像においても特徴量を取得できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係るネットワークカメラシステムの動作環境の一例を示す模式図である。
【図２】図１のカメラのハードウエア構成の一例を示すブロック図である。
【図３】図１の情報処理装置に搭載された画像処理装置の機能及び構成を示すブロック図である。
【図４】図３の被重畳領域取得部で処理する画像を示す模式図である。
【図５】図５（ａ）、（ｂ）は、全身人体領域の重なりを説明するための模式図である。
【図６】全身人体領域の推定の例を示す模式図である。
【図７】人体情報テーブルの一例を示すデータ構造図である。
【図８】図３の画像処理装置における一連の画像処理の手順を示すフローチャートである。
【図９】第２の実施の形態に係る画像処理装置の機能及び構成を示すブロック図である。
【図１０】図９の画像処理装置における一連の画像処理の手順を示すフローチャートである。
【図１１】図９の属性取得部で識別する属性情報を示す属性テーブルの一例を示すデータ構造図である。
【図１２】図１２（ａ）、（ｂ）は、情報処理装置に接続されたディスプレイに表示される人体情報の表示例の代表画面図である。
【図１３】図１３（ａ）、（ｂ）は、情報処理装置に接続されたディスプレイに表示される人体情報の表示例の代表画面図である。
【図１４】情報処理装置において人体の表示態様を設定する際の一連の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
【００１２】
以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１３】
実施の形態では、監視カメラ等の撮像装置から得られる画像において、監視対象の人体の領域の一部が隠れている場合でも、隠れている部分を隠れていない部分から推測することにより全身の特徴量の取得を可能とする。画像処理装置は、画像を取得し、取得した画像から関心対象（例えば、人体）を検出し、検出した関心対象の領域中の隠れている領域を特定し、隠れている領域の情報をその領域と関連のある関心対象中の情報で補完し、補完された関心対象の特徴量を抽出する。
【００１４】
（第１の実施の形態）
図１は、第１の実施の形態に係るネットワークカメラシステム１０の動作環境の一例を示す模式図である。ネットワークカメラシステム１０は画像処理システムの一例であり、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）２０と、少なくとも１台の情報処理装置３０と、を備える。カメラ２０と情報処理装置３０とは、ネットワーク回線であるＬＡＮ（Local Area Network）４０によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ４０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ２０及び情報処理装置３０は、それぞれ２台ずつＬＡＮ４０に接続されているが、接続台数は図１に示す数に限定されない。
【００１５】
カメラ２０は、所定の画角で被写体を撮像する、監視カメラ等の撮像装置である。カメラ２０は、撮像した画像（以下、単に「画像」ともいう）を、ＬＡＮ４０を介して情報処理装置３０に送信することができる。
【００１６】
情報処理装置３０は、例えばパーソナルコンピュータ（ＰＣ）により構成されており、ユーザ（例えば、監視員）による操作を受け付ける。この情報処理装置３０は、カメラ２０によって撮像された画像から所定の条件に合致した対象（例えば、人体）を検出するための画像解析処理を行う。ここで、画像解析処理は、動体検出、動体追尾、物体領域検出、人体検出、顔認識等の処理のうちの少なくとも１つを含む。
【００１７】
情報処理装置３０は、カメラ２０から配信される画像や、後述する画像処理結果を表示部（ディスプレイ）に表示させるための表示制御機能を有する。さらに、情報処理装置３０は、画像解析処理に関する領域設定等のパラメータ設定をユーザから、キーボードやマウス等の入力手段を介して受け付ける機能を有していてもよい。
【００１８】
図２は、図１のカメラ２０のハードウエア構成の一例を示すブロック図である。カメラ２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、撮像部２５と、入力部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
【００１９】
ＣＰＵ２１は、カメラ２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。
ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
【００２０】
撮像部２５は、被写体の撮像を行うためのものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含んで構成される。
入力部２６は電源ボタンなどから構成され、カメラ２０のユーザは、入力部２６を介して当該カメラ２０に指示を与えることができるようになっている。
通信Ｉ／Ｆ２７は、外部装置（ここでは、情報処理装置３０）と通信するためのインタフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインタフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、撮像部２５、入力部２６及び通信Ｉ／Ｆ２７を通信可能に接続する。
図２に示すカメラ２０の各部の機能は、ＣＰＵ２１がＲＯＭ２２もしくは外部メモリ２４に記憶されたプログラムを実行することで実現される。
【００２１】
なお、情報処理装置３０は以下の点を除き図２に示されるハードウエア構成と同様のハードウエア構成を有する。すなわち、情報処理装置３０は、撮像部２５に代えて、表示部を具備する。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。また、情報処理装置３０は、入力部２６として、キーボードやマウス等のポインティングデバイスを具備し、情報処理装置３０のユーザが情報処理装置３０に対して指示を与えることができるように構成されている。
【００２２】
図３は、図１の情報処理装置３０に搭載された画像処理装置３００の機能及び構成を示すブロック図である。画像処理装置３００は、情報処理装置３０内に搭載される画像処理回路である。本実施の形態では、画像処理装置３００は情報処理装置３０内に搭載しているが、カメラ２０内に搭載してもよいし、一般のＰＣに搭載してもよいし、他の機器に搭載してもよい。
【００２３】
画像処理装置３００は、検出パラメータや画角変更等の設定画面を、情報処理装置３０のディスプレイに表示させ、ユーザによる諸操作を入力として受け付けることで、検出処理に関わる各種設定を行う機能を有する。なお、本実施の形態においては画像処理装置としているが、映像または動画を取得しそのフレームごとに処理を行っても処理内容は同一であるため、映像や動画を処理する装置にも本実施の形態の技術的思想を適用可能である。
【００２４】
画像処理装置３００は、画像取得部３０１と、人体検出部３０２と、被重畳領域取得部３０３と、対応領域情報取得部３０４と、全身特徴量取得部３０５と、出力部３０６と、を備える。図３に示す画像処理装置３００の各部の機能は、図２に示すＣＰＵ２１がプログラムを実行することで実現され得る。ただし、図３で示す各要素のうち少なくとも一部が専用のハードウエアとして動作するようにしてもよい。この場合、専用のハードウエアは、ＣＰＵ２１の制御に基づいて動作する。
【００２５】
画像取得部３０１は、カメラ２０から送信された原画像データを受信し、伸長（decompress）、復号化（decode）して画像（動画像若しくは静止画像）を取得する。そして、画像取得部３０１は、取得した画像を順次、人体検出部３０２へ送出する。
【００２６】
なお、本実施の形態では画像取得部３０１がカメラ２０から原画像データを取得する場合を説明するが、画像の供給元はこれに限られない。例えば、供給元は、有線若しくは無線を介して画像を供給するサーバ装置や録画映像管理装置、あるいはカメラ２０以外の撮像装置であってもよい。また、画像取得部３０１は、情報処理装置３０内のメモリ（例えば、外部メモリ２４）から画像を取得するようにしてもよい。以下の説明では、画像取得部３０１が動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部３０１が人体検出部３０２へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。
【００２７】
人体検出部３０２は、画像取得部３０１によって取得された画像から、関心対象としての人体に対応する全身人体領域（対象領域）を特定する。人体検出部３０２は、予め記憶した照合パターン辞書等を用い、画像取得部３０１から送信された画像に対し人体検出処理を実施することで画像上の全身人体領域を検出する。特にここでの人体検出処理では、後述する全身の特徴量を得るために人体の全身を包含するよう設定される全身人体領域が取得される。
【００２８】
なお、人体検出部３０２は、画像から全身人体領域を検出する機能を有していればよく、人体検出処理はパターン処理に限定されない。人体検出の他の手法としては例えば特許文献１に記載の方法がある。この方法では、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う。この判別では、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。
【００２９】
なお、本実施の形態では検出する関心対象が人体である場合について説明するが、他の対象についても本実施の形態の技術的思想を適用可能である。例えば、対象として車両を扱いたい場合は、特許文献１に記載の判別器を車両について作ればよい。
【００３０】
上記に述べた方法によって、画像から全身人体領域を検出することができる。さらに、複数種類の関心対象を検出する検出部を備えてもよく、同時に複数の検出が可能であるならば、複数の関心対象検出処理を実施してもよい。
【００３１】
また、人体検出部３０２による人体検出処理を行う領域は、必ずしも画像処理部３０１から送信された画像全体である必要はない。例えば、人体検出処理は、前述したパラメータ設定により設定された領域に対してのみ行われてもよい。あるいはまた、パラメータ設定により、検出対象とする人体の最大サイズと最小サイズとを指定し、この範囲から外れた人体検出処理を行わないようにしてもよい。このように人体検出処理を行う領域の一部を省略することで人体検出処理を高速化することができる。
【００３２】
このように、パラメータ設定では、人体検出部３０２で用いられる処理パラメータの設定を行う。当該処理パラメータは、情報処理装置３０のユーザインタフェースを用いて設定することができる。
【００３３】
また人体検出部３０２での全身人体領域の取得方法は上記のように最初から全身人体領域を取得する方法でなくてもよい。例えば、人体検出部３００２は、頭部検出や上半身検出、顔検出等を利用して求めた位置に基づいて全身人体領域を推測して求めるようにしてもよい。例えば、顔検出処理は、画像から目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を含む。すなわち、顔検出処理では、顔位置や顔の大きさ、顔の確からしさ等から顔領域が検出される。
【００３４】
図６は、全身人体領域６０１の推定の例を示す模式図である。この例では、人体の特定部位（例えば、頭部や上半身）を検出し、検出された特定部位の位置に基づき所定の推測アルゴリズムにより定まる領域を全身人体領域として特定する。図６では、上半身検出で検出した上半身領域６０２（実線の枠）の縦方向の長さを（ｒ１＋ｒ２）／ｒ１倍画面下方に延長することで全身人体領域６０１（破線の枠）を推測し取得する。図中の比率ｒ１、ｒ２は所定の固定値であってもよいし、カメラの設置条件によって変えるようにしてもよい。なお画像内に人体が多数いるような混雑画像では人体同士の重なりがあることが多いため、混雑状況下でも隠れの起きにくく検出漏れの発生しにくい頭部検出や上半身検出等が好適である。
【００３５】
図３に戻り、被重畳領域取得部３０３は、全身人体領域に対応する人体が別の対象（人体や物体）に隠れているか否かを判定する。全身人体領域と、別の対象に対応する別対象領域と、が特定された場合、隠れていると判定される条件は、（１）全身人体領域と別対象領域とに重なりがある、かつ、（２）別対象領域が全身人体領域に対して前景となる、である。
【００３６】
被重畳領域取得部３０３は、隠れていると判定された場合、全身人体領域から別の対象に対応する除外部分を特定する。例えば被重畳領域取得部３０３は、人体検出部３０２で検出された全身人体領域のうち重なりのある領域（以下、被重畳領域という）を除外部分として特定する。
【００３７】
被重畳領域の取得方法を図４および図７を用いて説明する。図４は、被重畳領域取得部３０３で処理する画像４０１を示す模式図である。画像４０１は画像取得部３０１によって取得される。図４において、画像４０１には複数の人体が映っている。人体検出部３０２により検出される人体情報は、人体情報テーブル７０１に格納される。
【００３８】
図７は、人体情報テーブル７０１の一例を示すデータ構造図である。人体情報テーブル７０１は、検出された人体を特定する人体ＩＤと、人体に対応する全身人体領域を特定するための情報と、人体の全身特徴量と、属性と、を対応付けて保持する。
【００３９】
全身人体領域は、画像４０１の左上を原点とし、人物を囲む矩形の左上のｘ座標、ｙ座標と幅と高さとで表す。人体ＩＤ＝０００１は全身人体領域４０２に、人体ＩＤ＝０００２は全身人体領域４０３に、それぞれ対応する。図７において全身人体領域４０２の矩形の左上座標は（ｘ,ｙ）=（２００，２００）、上半身領域の矩形の幅 ｗ＝１００、高さ ｈ=１００ である。全身人体領域４０２全体の矩形の幅 ｗＴ＝１００、 高さ ｈＴ＝３００ である。
【００４０】
被重畳領域取得部３０３は、人体情報テーブル７０１に登録されている全身人体領域に重なりがある場合、人体が他の人体によって隠れていると判定する。図５（ａ）、（ｂ）は、全身人体領域４０２の重なりを説明するための模式図である。人体情報テーブル７０１に登録されているデータを参照することで、全身人体領域４０２と全身人体領域４０３とが重なっているか否かが判定され、重なっている場合はそれらの被重畳領域５０１が求められる（図５（ａ））。被重畳領域５０１を求める際、カメラから見た場合の全身人体領域４０２と全身人体領域４０３との前後関係を、各全身人体領域の足元座標を比較することで判定する。図４ではカメラが人体に対し見下ろし方向で設置されているため足元座標のｙ座標がより大きい全身人体領域４０３を手前であるまたは前景であると判定する。なお全身人体領域の前後判定方法はこの方法に限定されず、重なりのある全身人体領域の前後関係を判別可能な方法であれば適宜利用可能である。例えば距離センサなどで画像内の領域ごとにカメラからの距離を取得し利用するようにしてもよい。
【００４１】
図３に戻り、対応領域情報取得部３０４は、被重畳領域取得部３０３で取得した被重畳領域を補完可能な画像領域の推測と取得を行う。後述する全身特徴量取得部３０５における全身人体領域４０２の特徴量の取得方法について、従来は被重畳領域５０１をそのまま含む全身人体領域４０２（矩形の領域）から求めるので、正確ではない虞があった。そこで本実施の形態では、被重畳領域５０１を該被重畳領域５０１と関連のある全身人体領域４０２内の情報（部分画像、特徴量など）で推測し補完することでより誤差の少ない全身人体領域４０２の特徴量を取得する。
【００４２】
上記補完は人体の対称性に基づく。図５（ｂ）を参照すると、カメラで撮像される人体はほぼ左右対称と見なせる。したがって、全身人体領域４０２における人体幅の中点を通り長手方向に平行な直線５０４に対して被重畳領域５０１と対称となる対称領域５０２が被重畳領域でなければ、その対称領域５０２を利用して補完する。すなわち対称領域５０２の画像を直線５０４に対して鏡映し、元の被重畳領域５０１にアフィン変換することで補完領域５０３を得る。対称領域５０２が被重畳領域であれば被重畳領域の補完は不可とし全身特徴量取得処理は行わないか、あるいは不確実な情報であることを全身特徴量とともに保持し後段処理に渡すようにしてもよい。
【００４３】
本実施の形態では、全身人体領域および被重畳領域をいずれも矩形として扱っているが、これに限られず、全身人体領域をより詳細に人体の輪郭に沿った形状で検出するようにしてもよい。全身人体領域を矩形でなく輪郭形状で扱うことで被重畳領域をより詳細に検出することが可能となり、前述した情報の補完元の対称領域も人体以外の背景画像情報を除くことができるためより正確な補完情報を作成することが可能となる。
【００４４】
図３に戻り、全身特徴量取得部３０５は、被重畳領域５０１を除く全身人体領域４０２から人体の特徴量を取得する。全身特徴量取得部３０５はまず全身人体領域４０２から被重畳領域５０１を除き、除かれた部分を対象領域の残りの部分に基づいて補完する。より具体的には、全身特徴量取得部３０５は、全身人体領域４０２の被重畳領域５０１を対応領域情報取得部３０４によって取得された補完領域５０３で置き換えた領域を生成し、生成された領域から全身特徴量を抽出する。全身特徴量を取得する処理では、服装の平均色・最頻色・平均輝度・最頻輝度等を取得する。
【００４５】
画像中の全ての人体に対して全身特徴量取得処理を行った後、出力部３０６は、図７に示される人体情報テーブル７０１に保持される人体情報を出力する。出力された人体情報は、情報処理装置３０に接続されたモニタやネットワークで接続された他の画像処理装置のモニタ等における表示に利用される。
【００４６】
なお、本実施の形態では対応領域情報取得部３０４で補完領域５０３の画像を取得し全身特徴量取得部３０５に渡すことで全身特徴量を求めたが、対応領域情報取得部３０４で取得した補完領域５０３の画像から特徴量を取得し、取得された特徴量を全身特徴量取得部３０５へ渡してもよい。この場合、対応領域情報取得部３０４は、全身人体領域４０２から被重畳領域５０１を除いたときの除かれた部分の特徴量を補完領域５０３に基づいて推測していると言える。また、全身特徴量取得部３０５は被重畳領域５０１を除く全身人体領域４０２から抽出された特徴量と推測の結果得られた特徴量とに基づいて人体の全身特徴量を取得する。
【００４７】
図８は、図３の画像処理装置３００における一連の画像処理の手順を示すフローチャートである。先ずステップＳ８０１で、画像処理装置３００は、画像処理に必要な解析パラメータの初期設定などの初期化を行う。ステップＳ８０２では、画像取得部３０１は、処理対象の画像を取得し、ステップＳ８０３に移行する。ステップＳ８０３では、人体検出部３０２は、ステップＳ８０２で取得した画像に対して人体検出処理を行い、画像内の人体とその全身人体領域４０２、４０３、４０４とを取得する。次にステップＳ８０４では、被重畳領域取得部３０３は、ステップＳ８０３の人体検出処理で検出した各全身人体領域に対して全身人体領域に重なりがある場合は領域同士の前後判定を行う。ステップＳ８０５では、被重畳領域取得部３０３は、全身人体領域４０２の被重畳領域５０１を取得する。
【００４８】
ステップＳ８０６では、対応領域情報取得部３０４は、ステップＳ８０５で検出した被重畳領域５０１を、全身人体領域領４０２内の他の領域から推定可能か否かを判定する。被重畳領域５０１が全身人体領域４０２に対して大きすぎる等の理由で対応する対称領域が無い場合は対応領域情報取得部３０４は推定不可と判定しステップＳ８０９へ移行する。ステップＳ８０６で対応する対称領域５０２があると判定された場合は、ステップＳ８０７で対応領域情報取得部３０４は被重畳領域５０１を補完するための補完領域５０３を、対称領域５０２を鏡映することにより取得する。
【００４９】
ステップＳ８０８では、全身特徴量取得部３０５は全身人体領域４０２に対しステップＳ８０７で推定した補完領域５０３を重畳した画像から、服装の平均色・最頻色・平均輝度・最頻輝度等の全身特徴量を取得する。ステップＳ８０９では、出力部３０６は、画像取得部３０１で取得した画像上に図７に示されるような人体情報を重畳して出力する。ステップＳ８１０で、画像処理装置３００は、画像処理を継続するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置３００は、処理を終了すると判定すると、本処理を終了する。一方、画像処理装置３００は、処理を継続すると判定するとステップＳ８０２に移行する。
【００５０】
画像処理装置３００が図８に示される処理により取得した全身特徴量は情報処理装置３０内のデータベース(例えば外部メモリ)に保持されてもよい。複数のカメラからの画像に対して同様な全身特徴量取得処理を行い、データベースに保持してもよい。この場合、データベースに保持される全身特徴量を照合することでカメラ間での人物同定が可能となる。
【００５１】
さらには、情報処理装置３０で人体検出処理までを各カメラ画像に対して常時行い、情報処理装置３０のディスプレイに追跡候補人物として人体検出結果を表示させ、入力手段を介してユーザに追跡対象人物を指定させてもよい。そして複数のカメラ画像の人体に対し全身特徴量取得処理を行い、指定された人物との全身特徴量の照合処理を行い、結果をつなぎ合わせることで指定された人物の追跡を行うことが可能となる。
【００５２】
本実施の形態に係る画像処理装置３００によると、監視対象の人体の一部が隠れている画像においても、隠れている部分を除いた画像から特徴量を抽出するので、高精度な全身の特徴量を取得することができる。また、隠れている部分を隠れていない部分のうちの対応する部分で補完するので、より高精度な全身の特徴量を取得することができる。
【００５３】
（第２の実施の形態）
第２の実施の形態では、主に第１の実施の形態と異なる点について説明する。以下、特に言及のない構成は第１の実施の形態の対応する構成と同様であるものとする。図９は、第２の実施の形態に係る画像処理装置９００の機能及び構成を示すブロック図である。本実施の形態では、第１の実施の形態の画像処理装置３００に、動体検出部９０７と属性取得部９０８と向き推定部９０９とが追加されている。本実施の形態に係る対応領域情報取得部３０４は、全身人体領域に対応する人体の向きまたは属性もしくはその両方が所定の条件を満たす場合、該人体が別の対象に隠れているか否かの判定を行わない。
【００５４】
動体検出部９０７は、画像取得部３０１から取得したフレーム画像（撮像画像）に背景差分法等を適用することにより、撮像画像中の動体を検出する。検出した動体の情報は動体領域を特定するための情報、すなわちその動体の画像上での位置と、その動体の外接矩形と、その動体のサイズと、を有する。動体検出部９０７における動体検出処理を行う領域（以下、動体検出処理領域という）は、ＲＯＭやＲＡＭや外部メモリや通信Ｉ／Ｆにより与えられるパラメータにより設定される。なお、ここでは説明を簡略化するため、検出範囲の設定を行わない場合すなわち画像の全体が動体検出処理領域である場合を説明する。また、動体検出部９０７における動体を検出する処理は背景差分法等の特定の方法に限定されず、同様の処理を行う方法であれば適宜適用可能である。
【００５５】
人体検出部３０２は、動体検出部９０７で検出した動体領域内で第１の実施の形態と同様の人体検出処理を行う。動体検出部９０７で検出した動体領域内でのみ人体検出処理を行うことで処理負荷を軽減することができる。
【００５６】
属性取得部９０８は、人体検出部３０２で取得した人体およびその周囲領域から人体の属性情報を識別して取得する。属性は、例えば、対象の人体がバックパック（背中に負うかばん）を背負っているか、かばん（片掛け）を持っているか、ネクタイをしているか、等の外見的特徴を含む。図１１は、属性取得部９０８で識別する属性情報を示す属性テーブル１５０の一例を示すデータ構造図である。属性取得部９０８で取得した属性の属性ＩＤ（ａ１、ａ２、ａ３）が、図７に示される人体情報テーブル７０１において全身人体領域の属性として保持される。
【００５７】
図９に戻り、向き推定部９０９は、人体検出部３０２で検出した人体の画像上での向きの検出を、予め記憶した照合パターン辞書等を用いて行う。人体の向きの検出は、人体の画像上での向きを検出できれば上述に限られず、どのような方法により行われてもよい。あるいはまた、人体検出部３０２での人体検出時に同時に向きを取得するようにしてもよい。
【００５８】
対応領域情報取得部３０４は、被重畳領域取得部３０３で取得した被重畳領域を補完可能な補完領域の推測と取得を行う。本実施の形態では、補完領域を取得する際、第１の実施の形態で用いられた情報に加えて、属性取得部９０８で取得した属性情報もあわせて利用する。図１１に示される属性テーブル１５０は、属性および人体の向きと領域推測を実行するか否かを示す実行可否情報とを対応付けて保持する。図１１において、属性取得部９０８で取得した属性がバックパックであれば正面または背後から見た場合の本属性を持つ人体はほぼ左右対称であると推測できるため、人体向き正面・背面に対応付けて、推測処理を実行することを示す「実行」が保持されている。同様に、側面から見た本属性をもつ人体は左右対称ではないと推測できるため推測処理を実行しないことを示す「非実行」が保持される。
【００５９】
対応領域情報取得部３０４では、第１の実施の形態に係る重畳判定および被重畳領域の推測を行う前に、該重畳判定および推測処理を行うか否かを判定する。この判定は、属性取得部９０８で取得した属性と、向き推定部９０９で取得した向きと、属性テーブル１５０に保持される実行可否情報と、に基づく。実行すると判定された場合は対応領域情報取得部３０４は第１の実施の形態に係る重畳判定および被重畳領域の推測を行う。
【００６０】
図１０は、図９の画像処理装置９００における一連の画像処理の手順を示すフローチャートである。先ずステップＳ８１１で、画像処理装置９００は、画像処理に必要な解析パラメータの初期設定などの初期化を行う。ここでは画像処理装置９００は動体検出部９０７で必要な背景画像を取得し動体検出処理の初期化処理を行う。ステップＳ８１２は図８のステップＳ８０２に準じる。ステップＳ８１３では、動体検出部９０７は、ステップＳ８１２で取得した画像に対して動体検出処理を行い、画像データ中の動体領域を取得する。ステップＳ８１４では、人体検出部３０２は、ステップＳ８１３で取得した動体領域に対して人体検出処理を行う。
【００６１】
ステップＳ８１５では、被重畳領域取得部３０３は、ステップＳ８１４で取得した各全身人体領域について、全身人体領域に重なりがあるか判定し、ある場合には被重畳領域を取得する。全身人体領域が人体でない静止物体に隠れている場合の前後判定の方法について、人体検出部３０２で取得した全身人体領域であって動体検出部９０７で取得した動体領域で無い場合は全身人体領域が静止物体に隠れて見えなくなっているものとして前後判定処理を行う。
【００６２】
ステップＳ８１６では、属性取得部９０８は、ステップＳ８１４で取得した人体およびその周囲領域から人体の属性情報を識別して取得する。ステップＳ８１７では、被重畳領域取得部３０３は、ステップＳ８１６で取得した人体の属性と、属性テーブル１５０と、から、補完領域の取得処理を実行するか否かを判定する。実行すると判定された場合はステップＳ８１８へ移行し被重畳領域取得部３０３は被重畳領域の推測処理を行う。ステップＳ８１７で実行しないと判定された場合はステップＳ８２０へ移行する。
【００６３】
ステップＳ８１８では、対応領域情報取得部３０４は、第１の実施の形態と同様に被重畳領域の補完領域を、対称領域を鏡映することで取得する。ステップＳ８１９では、全身特徴量取得部３０５は、全身人体領域に対しステップＳ８１８で推定した補完領域を重畳した画像から服装の平均色・最頻色・平均輝度・最頻輝度等の全身特徴量を取得する。ステップＳ８２０では、出力部３０６は、画像取得部３０１で取得した画像上に図７に示されるような人体情報を重畳して出力する。ステップＳ８２１で、画像処理装置９００は、画像処理を継続するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置９００は、処理を終了すると判定すると、本処理を終了する。一方、画像処理装置９００は、処理を継続すると判定するとステップＳ８１２に移行する。
【００６４】
画像処理装置９００が図１０に示される処理により取得した全身特徴量は情報処理装置内のデータベース(例えば外部メモリ)に保持されてもよい。複数のカメラからの画像に対して同様な全身特徴量取得処理を行い、データベースに保持してもよい。この場合、データベースに保持される全身特徴量を照合することでカメラ間での人物同定が可能となる。
【００６５】
さらには、情報処理装置で人体検出処理までを各カメラ画像に対して常時行い、情報処理装置のディスプレイに追跡候補人物として人体検出結果を表示させ、入力手段を介してユーザに追跡対象人物を指定させてもよい。そして複数のカメラ画像の人体に対し全身特徴量取得処理を行い、指定された人物との全身特徴量の照合処理を行い、結果をつなぎ合わせることで指定された人物の追跡を行うことが可能となる。また、ユーザによる追跡対象人物の指定の入力をトリガとして、本実施の形態に係る画像処理装置９００が画像処理を開始するように構成してもよい。
【００６６】
本実施の形態に係る画像処理装置９００によると、第１の実施の形態に係る画像処理装置３００により奏される作用効果と同様の作用効果が奏される。加えて、本実施の形態では、人体検出処理の前に動体検出処理を実行し、また属性検出処理、人体向き推定処理を全身特徴量の取得処理の前に実行することで、処理負荷を軽減でき、全身特徴量の取得処理を効率よく実施できる。
【００６７】
（ユーザインタフェース例）
第１の実施の形態または第２の実施の形態により実現されるユーザインタフェースの例を説明する。図１２（ａ）、（ｂ）は、情報処理装置３０に接続されたディスプレイに表示される人体情報の表示例の代表画面図である。
【００６８】
図１２（ａ）において、第１全身人体領域１２１及び第２全身人体領域１２２はそれぞれ、人体検出部３０２により画像から検出された第１人体１２４、第２人体１２５に対応する。第１全身人体領域１２１と第２全身人体領域１２２とには重なりがあり、第１全身人体領域１２１に対して第２全身人体領域１２２が前景となっているので、被重畳領域取得部３０３は第１人体１２４が第２人体１２５に隠れていると判定する。図１２（ａ）を見ると、実際、第２人体１２５は第１人体１２４よりも手前に位置しているため、第１全身人体領域１２１の一部（右下）は第２全身人体領域１２２に隠れ見えなくなっている。
【００６９】
情報処理装置３０は、画像をディスプレイに表示させる際に、人体が他の人体や物体に隠れているか否かの判定結果に応じて人体の表示態様を変える。図１４は、情報処理装置３０において人体の表示態様を設定する際の一連の処理の流れを示すフローチャートである。ステップＳ４１１において、情報処理装置３０は人体が隠れているか否かを判定する。隠れていないと判定された場合（Ｓ４１１のＮＯ）、ステップＳ４１３において情報処理装置３０は人体を通常通りに表示するための処理を行う。隠れていると判定された場合（Ｓ４１１のＹＥＳ）、ステップＳ４１２において情報処理装置３０は人体が所定の条件を満たすか否かを判定する。所定の条件を満たさないと判定された場合（Ｓ４１２のＮＯ）、処理はステップＳ４１３に進む。所定の条件を満たすと判定された場合（Ｓ４１２のＹＥＳ）、ステップＳ４１４において情報処理装置３０は人体を優先的に表示するための処理を行う。
【００７０】
図１２（ｂ）は、所定の条件を満たす第１人体１２４に対応する第３全身人体領域１２３が所定の条件を満たさない第２人体１２５に対応する第２全身人体領域１２２よりも画面上で優先的に表示される代表画面図である。第３全身人体領域１２３は、図１２（ａ）で第２人体１２５により見えなくなっていた第１全身人体領域１２１の被重畳領域（右下の部分）を補完領域１２６（破線の矩形で示される）で補完することにより得られる。第３全身人体領域１２３は第２全身人体領域１２２に対して前景となるよう表示される。
【００７１】
所定の条件は、人体の全身特徴量または属性もしくはその両方に関する条件であってもよい。例えば、所定の条件は、前述した指定人物の追跡における指定人物である場合などを指してもよい。このように所定の条件に合致する人物情報を優先的に画面に表示することにより追跡対象人物を画面で視認し易くすることができる。また、所定の条件の他の例としては、属性取得部９０８で外見的特徴に加えて年齢や性別などの属性を取得しておき、ユーザが指定する属性に合致した人物を条件とすることも可能である。ユーザが指定可能な属性の具体例としては、帽子を被っている人、年齢が３０代且つ女性、等が想定される。
【００７２】
図１３（ａ）、（ｂ）は、情報処理装置３０に接続されたディスプレイに表示される人体情報の表示例の代表画面図である。図１３（ａ）において、情報表示領域１３１は人体情報を表示する領域である。情報表示領域１３１では、第３人体１３２の人体情報として、年齢、性別、属性情報、補完の有無を表示している。情報表示領域１３１は、他の物体が重なったことにより隠れている被重畳領域１３３を示す。被重畳領域１３３を補完できた場合は被重畳領域１３３の位置に補完領域が重畳表示される。
【００７３】
図１３（ｂ）において、全身人体領域を表す枠の表示態様は、対応する人体が他の人体や物体に隠れているか否かの判定結果および隠れている場合には補完の有無に応じて変えられている。情報処理装置３０は、第４人体１３４が他の人体や物体に隠れていないと判定し、第４人体１３４に対応する全身人体領域の枠１３５を実線で表示させる。第５人体１３６と第６人体１３７とについて、情報処理装置３０は両者が重なり合っており、かつ、第５人体１３６の方が前景であると判定する。情報処理装置３０は、第５人体１３６が第６人体１３７に隠れていないと判定し、第５人体１３６に対応する全身人体領域の枠１３８を実線で表示させる。情報処理装置３０は、第６人体１３７が第５人体１３６に隠れていると判定し、第６人体１３７の被重畳領域を補完領域で補完する。情報処理装置３０は、第６人体１３７が隠れてはいるが補完されたので、第６人体１３７に対応する全身人体領域の枠１３９を破線で表示させる。情報処理装置３０は、第７人体１４０が他の人体に隠れていると判定し、対称領域の欠如により補完不可と判定する。情報処理装置３０は、第７人体１４０が隠れており補完不可なので、第７人体１４０に対応する全身人体領域の枠１４１を一点鎖線で表示させる。枠の表示形態をまとめると以下の通りである。
オクルージョン無し…実線
オクルージョン有り、かつ、補完有り…破線
オクルージョン有り、かつ、補完無し…一点鎖線
【００７４】
図１３（ｂ）の表示態様によると、情報処理装置３０による重畳有無の判定結果および補完の有無を一目で認識できる。これにより、ユーザは、情報処理装置３０により抽出された特徴量の確度および追跡処理等の該特徴量を用いた処理の確からしさを容易に見積もることができる。
【００７５】
なお、図１３（ｂ）の例では枠の表示態様のバリエーションとして実線、破線、一点鎖線を採用したが、これに限られず、例えば枠の色や形状を変えてもよい。
【００７６】
以上説明したとおり、第１、第２の実施の形態では、監視対象の人体の領域の一部が隠れている画像においても全身の特徴量を取得可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。さらに、人体検出の前に動体検出を実行し、また属性の検出、人体の向きの推定を全身特徴量の取得前に実行することで処理負荷を軽減でき、全身特徴量の取得を効率よく実施できる。
【００７７】
以上、実施の形態に係る画像処理装置の構成と動作について説明した。これらの実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７８】
第１および第２の実施の形態では、補完の方法として（１）被重畳領域を補完領域で補完した上で全身人体領域全体から全身特徴量を抽出する方法、および（２）全身人体領域から被重畳領域を除いた領域から抽出された特徴量と、補完領域から抽出された特徴量と、に基づいて全身特徴量を算出する方法、を説明したが、これらに限られない。例えば、全身人体領域から被重畳領域を除いた領域から抽出された特徴量と、被重畳領域の位置や大きさにより定まる補正係数と、から所定の補正式を適用することで全身特徴量が求められてもよい。単純な例では、全身人体領域のうち被重畳領域が占める割合をＡパーセント、全身人体領域から被重畳領域を除いた領域から抽出された特徴量をＸとすると、全身特徴量Ｙは以下の補正式、
Ｙ＝（１００／（１００−Ａ））Ｘ
により求められてもよい。
【００７９】
（その他の実施例）
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施の形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１０  ネットワークカメラシステム、  ２０  カメラ、  ３０  情報処理装置、  ４０  ＬＡＮ、  ３００  画像処理装置。
【図１】
2019128824.tif 000003
【図２】
2019128824.tif 000004
【図３】
2019128824.tif 000005
【図４】
2019128824.tif 000006
【図５】
2019128824.tif 000007
【図６】
2019128824.tif 000008
【図７】
2019128824.tif 000009
【図８】
2019128824.tif 000010
【図９】
2019128824.tif 000011
【図１０】
2019128824.tif 000012
【図１１】
2019128824.tif 000013
【図１２】
2019128824.tif 000014
【図１３】
2019128824.tif 000015
【図１４】
2019128824.tif 000016