(57)【要約】  画像処理装置（１０）は、入力画像から物体領域を検出する検出部（１２）と、検出された物体領域に含まれる物体数を推定する推定部（１３）と、推定された物体数を表す情報を用いて、物体領域に含まれる物体を追跡する追跡部（１４）と、を備える。
2018221629.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から物体領域を検出する検出手段と、
前記検出された物体領域に含まれる物体数を推定する推定手段と、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する追跡手段と、を備える画像処理装置。
【請求項２】
前記追跡手段は、該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項１に記載の画像処理装置。
【請求項３】
前記追跡手段は、追跡した前記物体が含まれる、前記入力画像上の前記物体領域である第１物体領域に対して推定された前記物体数が、前記追跡情報のうち、前記入力画像に時間的に最も近い入力画像における物体領域である第２物体領域に対して推定された物体数よりも大きい場合、追跡の結果として前記第２物体領域から抽出された特徴量を、前記第１物体領域に関連付ける、
請求項２に記載の画像処理装置。
【請求項４】
前記追跡手段は、追跡した前記物体が含まれる、前記入力画像上の前記物体領域である第１物体領域に対して推定された前記物体数が、前記追跡情報のうち、前記入力画像に時間的に最も近い入力画像における物体領域である第２物体領域に対して推定された物体数以下の場合、追跡の結果として前記第１物体領域から抽出された特徴量を、前記第１物体領域に関連付ける、
請求項２または３に記載の画像処理装置。
【請求項５】
前記追跡手段による追跡の結果を前記入力画像に重畳して出力する出力手段を更に備える、
請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
入力画像から物体領域を検出し、
前記検出された物体領域に含まれる物体数を推定し、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する、
追跡方法。
【請求項７】
該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項６に記載の追跡方法。
【請求項８】
入力画像から物体領域を検出する処理と、
前記検出された物体領域に含まれる物体数を推定する処理と、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する処理と、
をコンピュータに実行させるプログラムが記録されたプログラム記録媒体。
【請求項９】
前記追跡する処理は、該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項８に記載のプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、追跡方法およびプログラム記録媒体に関する。
【背景技術】
【０００２】
映像から人物を検出する方法が提案されている。例えば、特許文献１には、人物が歩行しているときに現れる、開脚している状態の両足を検出することにより、両足を含む全身を表す領域を特定し、人物を検出することが記載されている。【０００３】
また、特許文献２には、入力画像中の複数の物体を一人ずつの人物領域に分離して抽出する方法が記載されている。特許文献２には、入力画像と背景画像との差分画像を求め、差分画像を用いてシルエット関数を作成し、あらかじめ求められた人物の肩幅の閾値と、頭と肩の高さの差の閾値とを用いて、入力画像中の複数の物体を一人ずつの人物領域に分離して抽出することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８６８４号公報
【特許文献２】特開平８−１５３１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の人物が重なって映像に含まれている場合、特許文献１に記載の技術では、開脚している状態の両足を検出できない、または１つのみ検出する可能性がある。つまり、特許文献１に記載の技術では、複数の人物が人物として検出されない、または、まとめて一人の人物として検出されてしまう可能性がある。【０００６】
また、特許文献２に記載の技術では、人物の頭部と肩部のシルエットを用いて人物検出を行っている。しかしながら、重なりが大きいことにより、複数の人物の夫々の肩部がシルエットとして現れない、または頭部同士が重なって映像に含まれる場面では、複数の人物の夫々を検出できない可能性がある。【０００７】
したがって、上記特許文献１および２の技術では、人物同士が大きく重なる混雑場面や、すれ違いの多い場面において、人物を検出できない可能性が高いため、人物の追跡を行うことが難しい。【０００８】
本開示は、上記課題に鑑みてなされたものであり、物体同士が大きく重なる環境であっても、物体の追跡を高精度に行う技術を提供することにある。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る画像処理装置は、入力画像から物体領域を検出する検出手段と、前記検出された物体領域に含まれる物体数を推定する推定手段と、前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する追跡手段と、を備える。【００１０】
また、本開示の一態様に係る追跡方法は、入力画像から物体領域を検出し、前記検出された物体領域に含まれる物体数を推定し、前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する。【００１１】
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【００１２】
本開示によれば、物体同士が大きく重なる環境であっても、物体の追跡を高精度に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図２】第１の実施の形態における検出部が出力する検出結果のデータ構造および検出結果の一例を示す図である。
【図３】第１の実施の形態における記憶部に格納される画像データベースの一例を示す図である。
【図４】第１の実施の形態における推定部が抽出した物体領域画像の一例を説明するための図である。
【図５】第１の実施の形態における記憶部に格納される追跡情報の一例を示す図である。
【図６】第１の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフローチャートである。
【図７】第１の実施の形態に係る画像処理装置の追跡部が実行する追跡処理の流れの一例を示すフローチャートである。
【図８】入力画像と、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の一例を示す図である。
【図９】更新後の追跡情報の一例を示す図である。
【図１０】物体領域に含まれる推定人数が２人の場合の追跡情報の一例を示す図である。
【図１１】物体領域に含まれる推定人数が２人の場合の入力画像と、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の一例を示す図である。
【図１２】入力画像と、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の他の一例を示す図である。
【図１３】更新後の追跡情報の一例を示す図である。
【図１４】入力画像と、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の他の一例を示す図である。
【図１５】更新後の追跡情報の一例を示す図である。
【図１６】第１の実施の形態に係る画像処理装置の追跡部が実行する追跡処理の流れの一例を示すフローチャートである。
【図１７】追跡情報の他の一例を示す図である。
【図１８】物体領域の推定人数が２人であるときの入力画像と、２つの物体領域の夫々の推定人数が１人であるときの、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の一例を示す図である。
【図１９】図１７の追跡情報を更新した追跡情報の一例を示す図である。
【図２０】図１７の追跡情報を更新した追跡情報の他の一例を示す図である。
【図２１】追跡情報の他の一例を示す図である。
【図２２】物体領域の推定人数が２人であるときの入力画像と、物体領域の推定人数が３人であるときの、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の一例を示す図である。
【図２３】図２１の追跡情報を更新した追跡情報の一例を示す図である。
【図２４】追跡情報の他の一例を示す図である。
【図２５】入力画像と、該入力画像に時間的に隣接する該入力画像より前に入力された入力画像の他の一例を示す図である。
【図２６】図２４の追跡情報を更新した追跡情報の一例を示す図である。
【図２７】図２４の追跡情報を更新した追跡情報の他の一例を示す図である。
【図２８】出力部が出力する出力画面の一例を示す図である。
【図２９】出力部が出力する出力画面の他の一例を示す図である。
【図３０】出力部が出力する出力画面の他の一例を示す図である。
【図３１】第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図３２】第２の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフローチャートである。
【図３３】各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１４】
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る画像処理装置１００は、画像取得部１１０、検出部１２０、推定部１３０、追跡部１４０、記憶部１５０および出力部１６０を含む。
【００１５】
本実施の形態に係る画像処理装置１００は、入力画像に含まれる物体を追跡する。本実施の形態では、画像処理装置１００は人物を追跡するとして説明を行う。なお、画像処理装置１００が追跡する対象の物体は、人物に限定されず、例えば車などの物体であってもよいし、その他の物体であってもよい。
【００１６】
画像取得部１１０は、撮像された映像を取得する。画像取得部１１０は、例えば、レンズおよび撮像素子を含むカメラによって撮像された映像を取得する。画像取得部１１０は、カメラそのものであってもよいし、カメラによって撮像された映像を、該カメラから取得してもよい。画像取得部１１０は、撮像された映像を、該映像が記録された記録部から取得してもよい。撮像された映像は、動画像であってもよいし、静止画像であってもよい。つまり、映像は、動画像を構成する複数のフレームの夫々であってもよいし、静止画像であってもよい。画像取得部１１０がカメラの場合、画像取得部１１０は、画像処理装置１００とは別個の撮像装置で実現されてもよい。
【００１７】
以下、画像取得部１１０が取得した映像を入力画像とも呼ぶ。画像取得部１１０は、取得した入力画像を検出部１２０および推定部１３０に供給する。
【００１８】
検出部１２０は、入力画像から、人物の領域を示す物体領域を検出する。検出部１２０は、画像取得部１１０から、入力画像を受け取る。検出部１２０は、受け取った入力画像から人物を検出することにより物体領域を検出する。検出部１２０が人物を検出する方法は、特に限定されず、背景画像との差分を取る方法、人型を検出することによる方法、事前に学習した人物の特徴を用いる方法など、公知の技術であってもよい。なお、検出部１２０が人物の検出に用いる背景画像や人型を示す情報などは、記憶部１５０に格納されてもよいし、その他の記憶部に格納されてもよい。
【００１９】
検出部１２０は、検出した物体領域を示す物体領域情報と検出に用いた入力画像を表す入力画像情報とを検出結果として出力する。ここで、検出部１２０が出力する検出結果について、図２を参照して説明を行う。図２は、本実施の形態における検出部１２０が出力する検出結果２１のデータ構造および検出結果の一例を示す図である。図２の（ａ）は、検出結果２１のデータ構造の一例を示し、図２の（ｂ）は、検出結果の具体例を示す。
【００２０】
図２に示す通り、検出結果２１は、画像ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）２１Ａと、位置情報２１Ｂと、幅情報２１Ｃと、高さ情報２１Ｄとを含む。画像ＩＤ２１Ａは、検出に用いた入力画像を表す入力画像情報である。図２においては、画像ＩＤ２１Ａは、入力画像を識別するための識別子である。なお、入力画像情報は画像ＩＤ２１Ａに限定されず、入力画像を識別可能な情報であればよい。
【００２１】
位置情報２１Ｂは、検出部１２０が検出した物体領域の、入力画像上の位置を示す。物体領域の形状が、例えば矩形の場合、位置情報２１Ｂは、４つの角の何れかの座標を示していてもよい。本実施の形態では、物体領域の形状は、矩形であるとして説明を行うが、物体領域の形状はこれに限定されず、例えば、丸形であってもよいし、その他の形状であってもよい。
本実施の形態では、位置情報２１Ｂは、矩形の物体領域の左上の角の座標を示しているとして説明を行う。
【００２２】
幅情報２１Ｃは、物体領域の一方の方向の長さを示す。また、高さ情報２１Ｄは、物体領域の上記一方の方向と直交する他の方向の長さを示す。上述した通り、物体領域の形状が矩形であり、位置情報２１Ｂは矩形の物体領域の左上の角の座標を示しているため、位置情報２１Ｂ、幅情報２１Ｃおよび高さ情報２１Ｄにより、入力画像上における物体領域を表現することができる。つまり、図２において、物体領域情報は、位置情報２１Ｂ、幅情報２１Ｃおよび高さ情報２１Ｄを含む。なお、物体領域は、その他の情報で表現されてもよい。例えば、物体領域が人物の外縁に沿った枠で表現される領域の場合、物体領域は、１画素ごとの座標群で表現されてもよい。本実施の形態では、物体領域は、位置、幅および高さで表現されるとして説明を行う。
【００２３】
検出部１２０は、画像取得部１１０から受け取った入力画像と、検出結果２１とを、後述する記憶部１５０に格納してもよい。このとき、検出部１２０は、入力画像と検出結果２１とを関連付けて記憶部１５０に格納してもよい。この場合、検出結果２１は、画像ＩＤ２１Ａを含まなくてもよい。また、検出部１２０は、入力画像上における検出した物体領域の部分の画像（物体領域画像と呼ぶ）を、検出結果として出力してもよい。
【００２４】
検出部１２０は、１つの入力画像から複数の物体領域を検出してもよい。この場合、検出部１２０は、検出した物体領域毎に、検出結果２１を出力してもよいし、複数の物体領域の夫々を示す物体領域情報を検出元の入力画像を示す画像ＩＤ２１Ａに関連付けて、検出結果２１として出力してもよい。本実施の形態では、検出結果２１は、物体領域毎に出力されるとして説明を行う。
【００２５】
記憶部１５０は、追跡情報１５１と画像ＤＢ（ＤａｔａＢａｓｅ）１５２とを格納する。記憶部１５０は、例えば、磁気ディスク装置などにより実現される。なお、記憶部１５０は、画像処理装置１００に内蔵される構成であってもよいし、画像処理装置１００とは別個の記憶装置で実現される構成であってもよい。
【００２６】
追跡情報１５１は、追跡の対象となる物体（人物）の追跡開始から現時点までの追跡の記録である。追跡情報１５１については、図面を変えて後述する。
【００２７】
画像ＤＢ１５２は、後述する推定部１３０が特徴量の類似度を算出する際に用いるデータを格納する。図３に記憶部に格納される画像データベースの一例を示す。画像ＤＢ１５２は、図３に示す通り、画像と該画像に含まれる人数とが関連付けられたデータを格納している。
【００２８】
画像ＤＢ１５２は、図３に示すように、人物が含まれない（人数が０）画像を含め、様々なパターンの画像が含まれる。様々なパターンの画像とは、図３に示す通り、夫々、画像内に含まれる人物の数と、人物の重なり方が異なる画像である。該画像には、画像内に含まれる人数を示す情報がラベルとして関連付けられている。ここで、前提として、検出結果は、他の人物と重なっていない人物については、正しく１人として検出されていると仮定するため、画像ＤＢ１５２内に含まれる画像に関連付けられたラベルが２以上の画像は、人物同士の何らかの重なりが生じているものから構成されている。なお、人物が重なった画像は、実際に撮像された画像であってもよいし、合成して作った画像であってもよい。また、画像ＤＢ１５２に含まれる人物は、上半身など、体の一部分のみが含まれてもよいし、全身が含まれてもよい。また、画像ＤＢ１５２に含まれる画像は、カラー画像であってもよいし、グレイスケール画像やシルエット画像であってもよいし、これらの組み合わせであってもよい。また、画像ＤＢ１５２に含まれる画像は、人物だけでなく、背景についても様々なバリエーションを持たせておいてもよい。これにより、画像から抽出される特徴量のパターンが増えるため、後述する推定部１３０は、高精度に人数の推定をすることができる。
【００２９】
なお、画像ＤＢ１５２には、画像の代わりに該画像から抽出された特徴量が格納されてもよい。特徴量は、推定部１３０が比較に用いる種類であればよく、どのような種類であってもよい。また画像ＤＢ１５２は、複数種類の特徴量を格納してもよい。
【００３０】
推定部１３０は、検出された物体領域に含まれる物体数を推定する。推定部１３０は、検出部１２０から検出結果を受け取る。また、推定部１３０は、画像取得部１１０から入力画像を受け取る。推定部１３０は、画像取得部１１０から受け取った入力画像のうち、検出部１２０から受け取った検出結果に含まれる画像ＩＤ２１Ａと同じ画像ＩＤを有する入力画像から、物体領域画像を抽出する。なお、検出部１２０によって入力画像が検出結果２１に関連付けられて記憶部１５０に格納されている場合、推定部１３０は、記憶部１５０に格納された入力画像と検出結果２１とを用いて、該入力画像から物体領域画像を抽出してもよい。なお、検出部１２０が検出結果として物体領域画像を出力した場合、推定部１３０は、物体領域画像の抽出処理を省略することができる。
【００３１】
図４は、推定部１３０が抽出した物体領域画像の一例を説明するための図である。入力画像４１は、画像取得部１１０が取得した画像である。ここで、入力画像４１の画像ＩＤは「ＩＭ０１」であるとする。また、推定部１３０が受け取った検出結果は、図２の（ｂ）に示す検出結果２１であるとする。
【００３２】
推定部１３０は、検出結果２１を参照し、例えば、画像ＩＤが「ＩＭ０１」の入力画像である図４に示す入力画像４１から、物体領域画像を抽出する。推定部１３０は、入力画像４１のうち、（ｘ１，ｙ１）で示される位置から幅がｗｗｗ、高さがｈｈｈの領域（物体領域）の部分を物体領域画像４２として抽出する。
【００３３】
推定部１３０は、物体領域画像４２から特徴量を抽出する。そして、推定部１３０は、記憶部１５０に格納された画像ＤＢ１５２を参照し、抽出した特徴量と、画像ＤＢ１５２に格納されたデータとの類似度を算出する。画像ＤＢ１５２に、画像データが格納されている場合、推定部１３０は、物体領域画像４２から抽出した特徴量と同じ種類の特徴量（物体領域画像４２から抽出した特徴量と比較可能な特徴量）を、画像ＤＢ１５２に格納された画像データから抽出する。そして、推定部１３０は、物体領域画像４２から抽出した特徴量と、画像データから抽出した特徴量とを比較することにより、物体領域画像４２と画像データとの類似度を算出する。ここで、推定部１３０が比較する特徴量は、例えば、グレイスケール画像から抽出される特徴量であってもよいし、その他の特徴量であってもよい。推定部１３０が比較する特徴量は、例えば、人物の色、輝度、模様、形、大きさ等を表す特徴量であってもよい。
【００３４】
また、推定部１３０は、算出した類似度を用いて、それぞれの人数に対する尤度を算出する。そして、推定部１３０は、尤度が最も高い人数を、物体領域画像４２に含まれる人数と推定する。推定部１３０は、推定した人数（推定人数）を示す情報を、人数の推定の対象となる検出結果２１および物体領域画像４２から抽出した特徴量を示す情報と共に、追跡部１４０に供給する。なお、推定部１３０は、更に物体領域画像４２を追跡部１４０に供給してもよい。
【００３５】
追跡部１４０は、推定された物体数である推定人数を用いて、物体領域に含まれる物体を追跡する。追跡部１４０は、検出部１２０が検出した物体領域に含まれる人物の推定人数を示す情報を、検出結果２１および特徴量と共に、推定部１３０から受け取る。追跡部１４０は、推定人数を示す情報と、検出結果２１と、追跡情報１５１と、を用いて、物体領域に含まれる人物を追跡する。
【００３６】
追跡情報１５１は、追跡開始した時から、追跡の対象となる入力画像の時間的に隣接した（過去の）入力画像が撮像された時までの、該入力画像に含まれる各人物に対する追跡の情報である。図５に追跡情報１５１の一例を示す。なお、本実施の形態では、入力画像は逐次フレームを想定しているため、入力画像同士が時間的に隣接したフレームであるとして説明を行うが、入力画像はこれに限定されるものではない。入力画像および過去の入力画像は、複数のフレームを含む所定幅のウインドウから抽出されたフレームと、該所定幅のウインドウよりも前の時間の所定幅のウインドウから抽出されたフレームとであってもよい。つまり、過去の入力画像（前フレームとも呼ぶ）は、現時点における入力画像（現フレームと呼ぶ）よりも時間的に前に撮像されたフレームであり、現フレームに時間的に隣接する（直前の）フレームであってもよいし、現フレームから所定時間以内に撮像されたフレームであってもよい。本実施の形態では、追跡部１４０が人物の追跡を行うことができるフレームが入力画像として入力されればよく、撮像環境や撮像機器のスペック等によって、撮像されたフレーム全てが入力画像として入力されてもよいし、撮像されたフレームの一部が入力画像として入力されてもよい。
【００３７】
追跡情報１５１は、図５に示す通り、追跡対象の人物を特定する追跡ＩＤ５１と、追跡された人物が含まれる入力画像が撮影された時間を示す時刻情報５２と、物体領域情報５３と、人数情報５７と、画像ＩＤ５８と、特徴量情報５９とを含む。なお、追跡情報１５１に含まれる情報は一例であり、図５に示すものに限定されない。
【００３８】
図５において、物体領域情報５３は、位置情報５４と、幅情報５５と、高さ情報５６とで表されている。位置情報５４、幅情報５５、および高さ情報５６は、夫々、検出結果２１に含まれる位置情報２１Ｂ、幅情報２１Ｃおよび高さ情報２１Ｄである。
【００３９】
人数情報５７は、推定部１３０によって推定された人数を示す。画像ＩＤ５８は、追跡された人物が含まれる入力画像を示し、検出結果２１に含まれる画像ＩＤ２１Ａである。特徴量情報５９は、推定部１３０によって物体領域画像４２から抽出された特徴量を表す。
【００４０】
追跡部１４０が人物を追跡する方法は、逐次フレームを用いて処理を行うものであれば特に限定しない。追跡部１４０は、例えば、パーティクルフィルタを用いた追跡方式を採用して、人物を追跡してもよいし、その他の方法であってもよい。推定部１３０は、入力画像の直前の画像（前フレーム）に含まれる人物を示す追跡ＩＤ５１に紐付いている物体領域情報５３に基づき、パーティクルフィルタを用いて予測した、現フレーム（入力画像）における各追跡ＩＤ５１の人物（追跡対象）の推定位置と、現フレームにおける、検出結果２１に含まれる物体領域とを用いて、該物体領域に含まれる人物に対し、追跡ＩＤを付与する。推定部１３０は、推定位置と検出された物体領域との距離の近さや移動方向などをもとに、動的計画法を用いて追跡ＩＤを紐付ける人物の候補を選び、該候補の中から前フレームまでの追跡情報１５１と、選んだ候補との色・模様などの特徴の類似度が一定以上の人物に対して、追跡ＩＤを紐付ける。
【００４１】
なお、図５では、１つの物体領域情報５３に対し、１つの追跡ＩＤ５１が関連付けられている。これは、人数情報５７が「１」であるからである。物体領域には複数人が含まれると推定部１３０によって推定された場合、物体領域情報５３には複数の追跡ＩＤ５１が関連付けられる。また、この物体領域情報５３には、物体領域から抽出された特徴量が関連付けられる。したがって、同じ物体領域情報５３に関連付けられた複数の追跡ＩＤ５１には、同じ特徴量情報５９が関連付けられる。なお、１つの物体領域情報５３に複数の追跡ＩＤ５１が関連付けられた追跡情報１５１については、図面を変えて後述する。
【００４２】
このように、物体領域情報５３に複数の追跡ＩＤ５１が紐付けられている場合、この複数の追跡ＩＤ５１には同じ特徴量情報５９が関連付けられているため、追跡部１４０が行う人物の追跡は、物体領域の追跡を行っていると言い換えることができる。
【００４３】
追跡部１４０は、追跡ＩＤ、物体領域、推定された人数、抽出された特徴量などを追跡結果として記憶部１５０に格納する。具体的には、追跡部１４０は、追跡ＩＤが紐付けられた人物を含む物体領域の情報（検出部１２０によって検出された物体領域を表す物体領域情報）を、物体領域情報５３とし、推定部１３０が推定した人数を示す情報を人数情報５７とし、抽出した特徴量や追跡処理の対象の入力画像に関連する情報を用いて、追跡情報１５１に新たなレコード（追跡結果）を挿入することにより、追跡情報１５１を更新する。
【００４４】
また、追跡部１４０は、追跡結果を出力部１６０に供給する。追跡部１４０が出力部１６０に供給する追跡結果には、例えば、追跡ＩＤ５１、物体領域情報５３および人数情報５７が含まれるとする。なお、追跡部１４０が出力部１６０に供給する追跡結果には、その他の情報が含まれてもよい。また、追跡部１４０は、追跡結果と共に入力画像を出力部１６０に供給してもよい。
【００４５】
なお、追跡部１４０の具体的な処理については、図面を変えて説明する。
【００４６】
出力部１６０は、追跡部１４０から追跡結果を受け取る。そして、出力部１６０は、追跡結果を、例えば表示画面に表示する。出力部１６０は、例えば、ディスプレイ装置によって実現される。
【００４７】
本実施の形態では、出力部１６０はディスプレイ装置であるとして説明を行うが、出力部１６０は、ディスプレイ装置を駆動する駆動回路であってもよい。また、出力部１６０は、画像処理装置１００とは異なる装置で実現されてもよい。出力部１６０が追跡結果を表示画面に表示する場合、出力部１６０は入力画像に追跡結果を重畳して表示してもよい。出力部１６０が表示する画面の一例については後述する。
【００４８】
また、出力部１６０は、追跡結果である物体領域、追跡ＩＤ、人数、および追跡情報１５１から得られる総追跡人数を示す情報等を、テキストデータとして他の端末またはファイルなどに出力してもよい。出力部１６０がファイルを出力する場合、該ファイルは記憶部１５０に格納されてもよいし、他の記憶装置に格納されてもよい。出力部１６０がファイルに追跡結果を出力することで、追跡処理時以後も、追跡結果がデータとして蓄積される。このように蓄積されたデータは、ユーザが通行人数や通行ルートなどを把握するために有効に利用されうる。
【００４９】
次に、図６を参照して、本実施の形態に係る画像処理装置１００による処理の流れについて説明する。図６は、本実施の形態に係る画像処理装置１００による処理の流れの一例を示すフローチャートである。
【００５０】
まず、画像取得部１１０が、入力画像を取得する（ステップＳ６１）。次に、検出部１２０が、入力画像から人物の領域を示す物体領域を検出する（ステップＳ６２）。
【００５１】
推定部１３０が、検出結果に基づいて、入力画像から、物体領域画像を抽出する（ステップＳ６３）。そして、推定部１３０が、抽出した物体領域画像から特徴量を抽出する（ステップＳ６４）。
【００５２】
推定部１３０は、ステップＳ６４にて抽出した特徴量と、画像ＤＢ１５２に格納されたデータとの類似度を算出する（ステップＳ６５）。そして、推定部１３０は、算出した類似度を用いて、それぞれの人数に対する尤度を算出する（ステップＳ６６）。推定部１３０は、算出した尤度に基づいて、ステップＳ６３において抽出した物体領域画像に含まれる人数を推定する（ステップＳ６７）。
【００５３】
追跡部１４０は、追跡情報１５１と推定人数を示す情報とを用いて、追跡処理を行う（ステップＳ６８）。なお、ステップＳ６８における追跡処理については、図面を変えて詳細に説明する。
【００５４】
そして、追跡部１４０は、追跡処理の結果に基づいて、追跡情報１５１を更新する（ステップＳ６９）。その後、出力部１６０は、追跡処理の結果を出力する（ステップＳ７０）。以上により、画像処理装置１００は処理を終了する。
【００５５】
次に、図７および図１６を参照して、ステップＳ６８における追跡処理について説明する。図７および図１６は、追跡部１４０による追跡処理の流れの一例を示すフローチャートである。
【００５６】
追跡部１４０は、入力画像から検出された物体領域の夫々に対する推定人数を、推定部１３０から受け取ると、図７および図１６に示す追跡処理を行う。追跡部１４０は、各物体領域に対しステップＳ７１〜ステップＳ８６の処理を行い、追跡情報１５１に含まれる追跡ＩＤ５１に対し、ステップＳ８７からステップＳ９２の処理を行う。
【００５７】
追跡部１４０は、処理対象の物体領域の推定人数が０か否かを判定する（ステップＳ７１）。推定人数が０の場合（ステップＳ７１にてＹＥＳ）、処理は、図１６のステップＳ８６に進む。推定人数が１以上の場合（ステップＳ７１にてＮＯ）、処理はステップＳ７２に進む。
【００５８】
追跡部１４０は、処理対象の物体領域に含まれる人物ごとに、以下のステップＳ７２からステップＳ８５の処理を行う。処理対象の物体領域の推定人数が１人の場合、追跡部１４０は、この１人の人物に対して、追跡情報１５１を参照して、上述した追跡方法を採用して、該人物が、追跡情報１５１に含まれる追跡ＩＤ５１の何れかと紐付くか否かを判定することにより、該人物の追跡を行う。また、処理対象の物体領域の推定人数が２人以上の場合、追跡部１４０は、各人物に対し、追跡情報１５１に含まれる追跡ＩＤ５１の何れかと紐付くか否かを判定することにより、該人物の追跡を行う（ステップＳ７２）。
【００５９】
処理対象の物体領域に含まれる人物が、追跡情報１５１に含まれる追跡ＩＤ５１の何れかと紐付く場合（ステップＳ７２にてＹＥＳ）、追跡部１４０は、検出結果２１に含まれる物体領域情報を、追跡結果の物体領域情報５３とする（ステップＳ７３）。そして、追跡部１４０は、追跡情報１５１に含まれる、処理対象の物体領域に含まれる人物に紐付けられた追跡ＩＤ５１に関連付けられた人数情報５７と、推定部１３０が推定した推定人数とを比較し、推定人数が、人数情報５７よりも多いか否かを判定する（ステップＳ７４）。
【００６０】
推定人数が、追跡情報１５１の人数情報５７と同じまたは少ない場合（ステップＳ７４にてＮＯ）、追跡部１４０は、推定部１３０が抽出した特徴量を追跡結果に含め、追跡情報１５１を更新する（ステップＳ７５）。そして、処理はステップＳ８７に進む。
【００６１】
ここで、図５および図８から図１３を用いて、ステップＳ７１〜ステップＳ７５の処理を更に説明する。
【００６２】
図８は、入力画像（現フレームと呼ぶ）と、該入力画像に対し時間的に前に隣接する、入力画像（前フレームと呼ぶ）の一例を示す図である。図８において横軸は時間を示す。
前フレーム８１は時刻ｔ３で撮像された、画像ＩＤが「ＩＭ０４」の画像であり、現フレーム８２は時刻ｔ４で撮像された、画像ＩＤが「ＩＭ０５」の画像であるとする。
【００６３】
検出部１２０によって、前フレーム８１から物体領域８１Ａが検出されており、該物体領域８１Ａには人物８１Ｂが含まれるとする。物体領域８１Ａは、図５に示す、時刻情報５２「ｔ３」に関連する物体領域情報５３によって示される領域である。図５において、追跡情報１５１に含まれる時刻情報５２「ｔ３」のレコードを参照すると、物体領域情報５３によって示される領域は、１人の人物を含んでいる。
【００６４】
ここで、検出部１２０は、現フレーム８２から物体領域８２Ａを検出するとし、推定部１３０は、物体領域８２Ａにおける推定人数を１人と推定するとする。つまり、処理対象の物体領域は、物体領域８２Ａとなる。物体領域８２Ａの推定人数は１人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は処理をステップＳ７２に進める。
【００６５】
物体領域８２Ａに１人の人物８２Ｂが含まれる場合、追跡部１４０は、時刻ｔ３までの入力画像における追跡結果が蓄積されたデータである追跡情報１５１を参照し、物体領域８２Ａに含まれる人物８２Ｂが、追跡情報１５１に含まれる追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物８２Ｂが、「ａ１」の追跡ＩＤ５１に紐付くとする。この場合、追跡部１４０は、処理をステップＳ７３に進める。
【００６６】
追跡部１４０は、「ａ１」を追跡対象の物体領域８２Ａに含まれる人物８２Ｂに対する追跡結果の追跡ＩＤ５１とし、検出部１２０が検出した検出結果２１に含まれる物体領域情報を追跡結果の物体領域情報５３とする（ステップＳ７３）。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は１人であり、追跡情報１５１に含まれる人数情報５７も「１」である。したがって、追跡部１４０は、処理をステップＳ７５に進める。
【００６７】
追跡部１４０は、推定部１３０が抽出した特徴量を追跡結果の特徴量情報５９とし、追跡情報１５１を更新する（ステップＳ７５）。
【００６８】
図９は、ステップＳ７５において追跡部１４０が更新した後の追跡情報１５１Ａの一例を示す図である。追跡情報１５１Ａは、図５に示す追跡情報１５１に対し、レコード９１が追加されたものである。レコード９１は、追跡対象の物体領域８２Ａに含まれる人物８２Ｂに対する追跡結果である。図９に示す通り、レコード９１の追跡ＩＤ５１は、ステップＳ７３で設定した、「ａ１」である。また、上述した通り、現フレーム８２は時刻ｔ４で撮像された、画像ＩＤが「ＩＭ０５」の画像であるため、レコード９１は、時刻情報５２として「ｔ４」を含み、画像ＩＤ５８として「ＩＭ０５」を含む。また、レコード９１は、物体領域情報５３として、検出結果２１に含まれる物体領域情報を含む。また、レコード９１は、特徴量情報５９として、検出部１２０が検出した物体領域画像から推定部１３０が抽出した特徴量を表す情報を含む。追跡部１４０は、このようなレコード９１で表される追跡結果を、追跡情報１５１に追加することにより、追跡情報１５１を更新する。
【００６９】
なお、図８および図９では、物体領域に含まれる推定人数が１人の場合について説明したが、２人以上の場合であっても、追跡部１４０は同様の処理により追跡を行う。
【００７０】
図１０に示す追跡情報１５１Ｂは、物体領域に含まれる推定人数が２人の場合の追跡情報の一例である。また、図１１は、物体領域に含まれる推定人数が２人の場合の入力画像（現フレーム）と、前フレームとの一例を示す図である。図１１において横軸は時間を示す。前フレーム１１１は時刻ｔ６で撮像された、画像ＩＤが「ＩＭ２６」の画像であり、現フレーム１１２は時刻ｔ７で撮像された、画像ＩＤが「ＩＭ２７」の画像であるとする。
【００７１】
ステップＳ７１の前では、追跡情報１５１Ｂには、レコード１０１Ａ、１０１Ｂ、１０１Ｃおよび１０１Ｄが含まれるとする。図１０を参照すると、時刻情報５２が「ｔ６」のレコード１０１Ｃおよびレコード１０１Ｄに示す通り、物体領域情報５３によって示される領域は、２人の人物を含んでいる。
【００７２】
レコード１０１Ｃおよびレコード１０１Ｄに含まれる物体領域情報５３は、図１１における物体領域１１１Ａを表す情報である。ここで、推定部１３０が抽出する特徴量は、物体領域毎である。したがって、同じ物体領域を示すレコード１０１Ｃおよびレコード１０１Ｄは、同じ特徴量情報５９である「Ｆ６」を含む。図１１に示す通り、物体領域１１１Ａには人物１１１Ｂと人物１１１Ｃとを含む。図１０に示す追跡情報１５１Ｂにおいて、追跡ＩＤ５１の「ａ２」は、人物１１１Ｂと人物１１１Ｃとの一方を示すが、どちらかを特定してもよいし、していなくてもよい。つまり、追跡ＩＤ５１は、例えば、「ａ２」が人物１１１Ｂを示していると判定していてもよいし、していなくてもよい。本実施の形態では、１つの物体領域に複数の人物が含まれる場合、夫々の人物の追跡ＩＤを特定していないとして説明を行う。つまり、本実施の形態では、物体領域１１１Ａには、追跡ＩＤ５１が「ａ２」と「ｂ２」との２人の人物が含まれているが、夫々が、人物１１１Ｂおよび人物１１１Ｃの何れかを特定していないとする。つまり、追跡ＩＤ５１は、物体領域に含まれると推定される人物の数分、物体領域に対して関連付けられていると言える。そして、特徴量情報５９は、物体領域情報５３に関連付けられていると言える。
【００７３】
検出部１２０は、現フレーム１１２から物体領域１１２Ａを検出するとし、推定部１３０は、物体領域１１２Ａにおける推定人数を２人と推定するとする。物体領域１１２Ａの推定人数は２人であるため、ステップＳ７１にてＮＯとなり、処理対象の物体領域１１２Ａに対する追跡部１４０による処理は、ステップＳ７２に進む。
【００７４】
追跡部１４０は、追跡情報１５１Ｂを参照し、物体領域１１２Ａに含まれる人物１１２Ｂが、追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。追跡部１４０は、追跡ＩＤ５１が「ａ２」および「ｂ２」の両方に関連付けられた特徴量情報５９である「Ｆ６」と、物体領域１１２ＡからステップＳ６４にて抽出された特徴量とを用いて、物体領域の追跡を行うことにより、物体領域１１２Ａに含まれる人物の追跡を行う。本例では、人物１１２Ｂが、「ａ２」および「ｂ２」の追跡ＩＤ５１に紐付くとする。追跡部１４０は、処理をステップＳ７３に進める。
【００７５】
追跡部１４０は、追跡対象の物体領域１１２Ａに含まれる人物１１２Ｂに対する追跡結果の追跡ＩＤ５１を、「ａ２」および「ｂ２」の一方とし（ここでは「ａ２」とする）、物体領域情報５３を、検出部１２０が検出した検出結果２１に含まれる物体領域情報とする（ステップＳ７３）。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は２人であり、追跡情報１５１に含まれる人数情報５７も「２」である。推定人数が変わっていない。物体領域１１２Ａに含まれる人物１１２Ｃに対する追跡結果も、人物１１２Ｂに対する追跡結果と同様の追跡結果となるため、人物１１２Ｃに対しては、ステップＳ７２〜ステップＳ７４の処理を省略できる。この場合、追跡部１４０は、処理をステップＳ７５に進める。
【００７６】
追跡部１４０は、物体領域１１２Ａに含まれる人物１１２Ｂおよび人物１１２Ｃの追跡結果として、レコード１０１Ｅおよびレコード１０２Ｆを、追跡情報１５１Ｂに追加することにより、追跡情報１５１Ｂを生成する（ステップＳ７５）。これにより、記憶部１５０には、図１０に示す追跡情報１５１Ｂが格納される。
【００７７】
レコード１０１Ｅおよびレコード１０１Ｆは、追跡ＩＤ５１のみが異なるレコードである。つまり、ある物体領域に対して、複数の人物が含まれる場合、該物体領域には、人数分の追跡ＩＤ５１が関連付けられることになる。
【００７８】
このように、物体領域に複数の人物が含まれる場合、個々の人物ではなく、複数の人物分の追跡ＩＤ５１を物体領域に関連付けることにより、物体領域の追跡を行うことができる。これにより、混雑環境下において、個々の人物の特徴量が追跡に必要な分抽出できなかった場合であっても、人物の重なりを考慮して追跡を行うことができるため、個々の物体を追跡する場合における追跡の途切れ等を低減させることができる。
【００７９】
なお、以下では、入力画像に含まれる物体領域に対して推定される人物の数が、該入力画像よりも時間的に前の入力画像（過去の入力画像とも呼ぶ）に含まれる物体領域に対して推定された人物の数と異なる場合について説明する。
【００８０】
図１２は、入力画像（現フレーム）と、該入力画像に対し時間的に前に隣接する、入力画像（前フレーム）の他の一例とを示す図である。図１２において横軸は時間を示す。前フレーム１２１は、図１１の現フレーム１１２と同様に、時刻ｔ７で撮像された、画像ＩＤが「ＩＭ２７」の画像である。また、現フレーム１２２は時刻ｔ８で撮像された、画像ＩＤが「ＩＭ２８」の画像であるとする。
【００８１】
検出部１２０によって、前フレーム１２１から物体領域１２１Ａが検出されており、該物体領域１２１Ａには人物１２１Ｂおよび人物１２１Ｃが含まれるとする。物体領域１２１Ａは、図１０に示す、時刻情報５２が「ｔ７」に関連する物体領域情報５３によって示される領域である。
【００８２】
ここで、検出部１２０は、現フレーム１２２から物体領域１２２Ａおよび物体領域１２３Ａを検出するとし、推定部１３０は、物体領域１２２Ａにおける推定人数および物体領域１２３Ａにおける推定人数を夫々１人と推定するとする。つまり、処理対象の物体領域は、物体領域１２２Ａおよび物体領域１２３Ａとなる。ステップＳ７１において、追跡部１４０は、物体領域１２２Ａに対する処理と、物体領域１２３Ａに対する処理とを行う。まず、物体領域１２２Ａの推定人数は１人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、物体領域１２２Ａに対する処理をステップＳ７２に進める。同様に、物体領域１２３Ａの推定人数も１人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、物体領域１２３Ａに対する処理もステップＳ７２に進める。
【００８３】
追跡部１４０は、追跡情報１５１の一例である追跡情報１５１Ｂを参照し、物体領域１２２Ａに含まれる人物１２２Ｂが、追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物１２２Ｂが、「ａ２」および「ｂ２」の追跡ＩＤ５１に紐付くとする。追跡部１４０は、物体領域１２２Ａに含まれる人物１２２Ｂに対する処理をステップＳ７３に進める。同様に、追跡部１４０は、追跡情報１５１Ｂを参照し、物体領域１２３Ａに含まれる人物１２３Ｂが、追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物１２３Ｂが、「ａ２」および「ｂ２」の追跡ＩＤ５１に紐付くとする。追跡部１４０は、物体領域１２３Ａに含まれる人物１２３Ｂに対する処理をステップＳ７３に進める。
【００８４】
追跡部１４０は、追跡対象の物体領域１２２Ａに含まれる人物１２２Ｂに対する追跡結果の追跡ＩＤ５１を、「ａ２」および「ｂ２」の一方とし（ここでは「ａ２」とする）、物体領域情報５３を、検出部１２０が検出した検出結果２１に含まれる、物体領域１２２Ａに対する物体領域情報とする（ステップＳ７３）。なお、追跡部１４０は、追跡ＩＤ５１を「ａ２」と「ｂ２」との何れにするかを、夫々の過去の追跡情報を参照することにより決定してもよい。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は１人であり、追跡情報１５１に含まれる人数情報５７は「２」であることから、推定人数は、追跡情報１５１に含まれる人数情報５７が示す人数よりも少ない。したがって、追跡部１４０は、物体領域１２２Ａに含まれる人物１２２Ｂに対する処理をステップＳ７５に進める。追跡部１４０は、推定部１３０が物体領域１２２Ａから抽出した特徴量を追跡結果の特徴量情報５９とし、追跡ＩＤ５１が「ａ２」に関連するレコードを追跡情報１５１Ｂに追加することにより、追跡情報１５１Ｂを更新する（ステップＳ７５）。
【００８５】
同様に、追跡部１４０は、追跡対象の物体領域１２３Ａに含まれる人物１２３Ｂに対する追跡結果の追跡ＩＤ５１を、「ｂ２」とし、物体領域情報５３を、検出部１２０が検出した検出結果２１に含まれる、物体領域１２３Ａに対する物体領域情報とする（ステップＳ７３）。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は１人であり、追跡情報１５１に含まれる人数情報５７は「２」であることから、推定人数は、追跡情報１５１に含まれる人数情報５７が示す人数よりも少ない。したがって、追跡部１４０は、物体領域１２３Ａに含まれる人物１２３Ｂに対する処理をステップＳ７５に進める。追跡部１４０は、推定部１３０が物体領域１２３Ａから抽出した特徴量を追跡結果の特徴量情報５９とし、追跡ＩＤ５１が「ｂ２」に関連するレコードを追加することにより、追跡情報１５１Ｂを更新する（ステップＳ７５）。
【００８６】
図１３は、ステップＳ７５において追跡部１４０が更新した後の追跡情報１５１Ｃの一例を示す図である。追跡情報１５１Ｃは、図１０に示す追跡情報１５１Ｂに対し、レコード１０１Ｇおよびレコード１０１Ｈが追加されたものである。レコード１０１Ｇは、追跡対象の物体領域１２２Ａに含まれる人物１２２Ｂに対する追跡結果である。図１３に示す通り、レコード１０１Ｇの追跡ＩＤ５１は、ステップＳ７３で設定した、「ａ２」である。また、上述した通り、現フレーム１２２は時刻ｔ８で撮像された、画像ＩＤが「ＩＭ２８」の画像であるため、レコード９１は、時刻情報５２として「ｔ８」を含み、画像ＩＤ５８として「ＩＭ２８」を含む。また、レコード１０１Ｇは、物体領域情報５３として、検出結果２１に含まれる物体領域情報を含む。また、レコード１０１Ｇは、特徴量情報５９として、検出部１２０が検出した、物体領域１２２Ａの画像である物体領域画像から推定部１３０が抽出した特徴量を表す情報を含む。
【００８７】
レコード１０１Ｈは、追跡ＩＤ５１が「ｂ２」のレコードであり、時刻情報５２として「ｔ８」を含み、画像ＩＤ５８として「ＩＭ２８」を含む。また、レコード１０１Ｈは、物体領域情報５３として、検出結果２１に含まれる物体領域情報を含む。また、レコード１０１Ｈは、特徴量情報５９として、検出部１２０が検出した、物体領域１２３Ａの画像である物体領域画像から推定部１３０が抽出した特徴量を表す情報を含む。
【００８８】
レコード１０１Ｇは、同じ追跡ＩＤ５１を有する、最新のレコードであるレコード１０１Ｅと比較すると、特徴量情報５９が変化していることがわかる。同様に、レコード１０１Ｈは、レコード１０１Ｆから特徴量情報５９が変化している。追跡部１４０は、このようなレコード１０１Ｇおよびレコード１０１Ｈで表される追跡結果を、追跡情報１５１に追加することにより、追跡情報１５１を更新する。
【００８９】
このように、追跡部１４０は、追跡した人物１２２Ｂが含まれる、現フレーム１２２上の物体領域１２２Ａ（第１物体領域）に対して推定された人数が、追跡情報１５１Ｂのうち、現フレーム１２２に時間的に最も近い入力画像である前フレーム１２１における物体領域１２１Ａ（第２物体領域）に対して推定された人数以下の場合、人物１２２Ｂに対する追跡結果として物体領域１２２Ａから抽出された特徴量を、物体領域１２２Ａに関連付ける。
【００９０】
これにより、入力画像上において、人物の重なりがなくなった場合であっても、重なりがなくなった時からではなく、入力画像上に含まれた時からの追跡が可能になる。これにより、画像処理装置１００は、時系列的に取りこぼしのない追跡が可能となる。また、人物の重なりがなくなった場合に、人物の特徴量を更新することにより、該人物の特徴量をより正確に抽出することができる。よって、画像処理装置１００は、追跡精度を高めることができる。
【００９１】
図７のフローチャートに戻り、ステップＳ７２にてＮＯの場合の追跡部１４０による処理について説明する。処理対象の物体領域に含まれる人物が、追跡情報１５１に含まれる追跡ＩＤ５１の何れとも紐付かない場合（ステップＳ７２にてＮＯ）、追跡部１４０は、追跡ＩＤ５１が紐付かない人物を含む物体領域の推定人数が１である、または、追跡ＩＤ５１が紐付かない人物を含む物体領域に、追跡ＩＤ５１に紐付く他の人物が含まれるか否かを判定する（ステップＳ７６）。追跡ＩＤ５１が紐付かない人物を含む物体領域の推定人数が１ではなく、追跡ＩＤ５１に紐付く他の人物が、追跡ＩＤ５１に紐付かない人物と同じ物体領域に含まれない場合（ステップＳ７６にてＮＯ）、追跡部１４０は、この物体領域に含まれる人物は入力画像上に新しく表れた人物であると判断し、該人物に対して、新たな追跡ＩＤ５１を付与する（ステップＳ７７）。そして、追跡部１４０は、ステップＳ７３と同様に、検出結果２１に含まれる物体領域情報を生成し（ステップＳ７８）、新たな追跡ＩＤ５１を付与したレコードを追跡情報１５１に追加することにより、追跡情報１５１を更新する（ステップＳ７９）。その後、追跡部１４０は処理をステップＳ８７に進める。
【００９２】
ここで、図５、図１４および図１５を用いて、ステップＳ７１、ステップＳ７２、ステップＳ７６〜ステップＳ７９の処理を更に説明する。
【００９３】
図１４は、入力画像（現フレーム）と、該入力画像に対し時間的に前に隣接する、入力画像（前フレーム）の他の一例とを示す図である。図１４において横軸は時間を示す。前フレーム１４１は、図８の前フレーム８１と同様に、時刻ｔ３で撮像された、画像ＩＤが「ＩＭ０４」の画像であり、現フレーム１４２は時刻ｔ３＋１で撮像された、画像ＩＤが「ＩＭ０６」の画像であるとする。
【００９４】
検出部１２０によって、前フレーム１４１から物体領域１４１Ａが検出されており、該物体領域１４１Ａには人物１４１Ｂが含まれるとする。物体領域１２１Ａは、図５に示す、時刻情報５２が「ｔ３」に関連する物体領域情報５３によって示される領域である。図５を参照すると、追跡情報１５１に含まれる時刻情報５２が「ｔ３」のレコードに示す通り、物体領域情報５３によって示される領域は、１人の人物を含んでいる。
【００９５】
ここで、検出部１２０は、現フレーム１２２から物体領域１４２Ａおよび物体領域１４３Ａを検出するとし、推定部１３０は、物体領域１４２Ａにおける人数を１人と推定し、物体領域１４３Ａにおける人数を２人と推定するとする。この場合、処理対象は、物体領域１４２Ａおよび物体領域１４３Ａとなる。ステップＳ７１からの処理は、上述した通り、物体領域毎に行われるため、追跡部１４０は、物体領域１４２Ａに対する処理と、物体領域１４３Ａに対する処理とを行う。まず、物体領域１４２Ａの推定人数は１人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、物体領域１４２Ａに対する処理をステップＳ７２に進める。同様に、物体領域１４３Ａの推定人数は２人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、物体領域１４３Ａに対する処理もステップＳ７２に進める。
【００９６】
ステップＳ７２以降の処理は、上述した通り、物体領域に含まれる人物ごとに行われる。まず、物体領域１４２Ａに含まれる人物に対する処理について説明する。
【００９７】
物体領域１４２Ａに１人の人物１４２Ｂが含まれる場合、追跡部１４０は、時刻ｔ３までの入力画像における追跡結果が蓄積されたデータである追跡情報１５１を参照し、物体領域１４２Ａに含まれる人物１４２Ｂが、追跡情報１５１に含まれる追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物１４２Ｂが、「ａ１」の追跡ＩＤ５１に紐付くとすると、追跡部１４０は、処理をステップＳ７３に進める。そして、図８を用いて説明した処理と同様に、追跡部１４０は、「ａ１」を追跡対象の物体領域１４２Ａに含まれる人物１４２Ｂに対する追跡結果の追跡ＩＤ５１とし、検出部１２０が検出した検出結果２１に含まれる物体領域情報を、追跡結果の物体領域情報５３とする（ステップＳ７３）。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は１人であり、追跡情報１５１に含まれる人数情報５７も「１」である。したがって、追跡部１４０は、推定部１３０が抽出した特徴量を追跡結果の特徴量情報５９とし、追跡情報１５１を更新する（ステップＳ７５）。
【００９８】
次に、物体領域１４３Ａに含まれる人物に対する処理について説明する。物体領域１４３Ａに２人の人物１４３Ｂおよび人物１４３Ｃが含まれる場合、追跡部１４０は、追跡情報１５１を参照し、人物１４３Ｂが、追跡情報１５１に含まれる追跡ＩＤ５１と紐付くか否かを判定する。同様に、追跡部１４０は、人物１４３Ｃが、追跡情報１５１に含まれる追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物１４３Ｂも人物１４３Ｃも、何れの追跡ＩＤ５１にも紐付かないとする。この場合、追跡部１４０は、人物１４３Ｂに対する処理および人物１４３Ｃに対する処理の両方の処理をステップＳ７６に進める。
【００９９】
追跡部１４０は、追跡ＩＤ５１が紐付かない人物を含む物体領域の推定人数が１人ではなく、追跡ＩＤ５１が紐付かない人物を含む物体領域に、追跡ＩＤ５１に紐付く他の人物が含まれるか否かを判定する（ステップＳ７６）。本例の場合、推定人数は２人であり、人物１４３Ｂも人物１４３Ｃも、何れの追跡ＩＤ５１にも紐付かないため、追跡ＩＤに紐付く他の人物は含まれない。よって、追跡部１４０は、人物１４３Ｂに対する処理および人物１４３Ｃに対する処理の両方をステップＳ７７に進める。そして、追跡部１４０は、この物体領域に含まれる人物は入力画像上に新しく表れた人物であると判断し、該人物の夫々に対して、新たな追跡ＩＤ５１を付与する（ステップＳ７７）。つまり、追跡部１４０は、物体領域１４３Ａに含まれる全ての人物（人物１４３Ｂと人物１４３Ｃ）に対して追跡ＩＤ５１を付与する。これによって、それぞれの人物が大きく重なり合っているような混雑環境においても、人数分の追跡を行うことができる。したがって、本実施の形態に係る画像処理装置１００によれば、人物の取りこぼしのない追跡が可能となる。なお、上述した通り、同じ物体領域に複数の人物が含まれる場合、夫々の人物の追跡ＩＤを特定していなくてもよい。人物１２３Ｂおよび人物１２３Ｃにどちらの追跡ＩＤ５１（「ｂ１」または「ｃ１」）が付与されてもよい。つまり、物体領域１４３Ａに含まれる人数（本例では２人）分の追跡ＩＤ５１が、該物体領域１４３Ａに関連付けられればよい。
【０１００】
そして、追跡部１４０は、ステップＳ７３と同様に、検出結果２１に含まれる物体領域情報を、追跡結果の物体領域情報５３とし（ステップＳ７８）、追跡ＩＤ５１が「ｂ１」のレコードと、追跡ＩＤ５１が「ｃ１」のレコードとを追跡情報１５１に追加することにより、追跡情報１５１を更新する（ステップＳ７９）。
【０１０１】
図１５は、ステップＳ７５およびステップＳ７９において追跡部１４０が更新した後の追跡情報１５１Ｄの一例を示す図である。追跡情報１５１Ｄは、図５に示す追跡情報１５１に対し、レコード１３１Ａ、レコード１３１Ｂおよびレコード１３１Ｃが追加されたものである。レコード１３１Ａは、追跡対象の物体領域１４２Ａに含まれる人物１４２Ｂに対する追跡結果であり、ステップＳ７５において追加されたレコードである。図１５に示す通り、レコード１３１Ａの追跡ＩＤ５１は、ステップＳ７３で設定した、「ａ１」である。また、上述した通り、現フレーム１４２は時刻ｔ３＋１で撮像された、画像ＩＤが「ＩＭ０６」の画像であるため、レコード１３１Ａは、時刻情報５２として「ｔ３＋１」を含み、画像ＩＤ５８として「ＩＭ０６」を含む。また、レコード１３１Ａは、検出結果２１に含まれる物体領域情報５３を含む。また、レコード１３１Ａは、特徴量情報５９として、検出部１２０が検出した物体領域１４２Ａの画像である物体領域画像から推定部１３０が抽出した特徴量を含む。
【０１０２】
レコード１３１Ｂおよびレコード１３１Ｃは、追跡対象の物体領域１４３Ａに含まれる人物１４３Ｂおよび人物１４３Ｃに対する追跡結果であり、ステップＳ７９において追加されたレコードである。図１５に示す通り、レコード１３１Ｂおよびレコード１３１Ｃの追跡ＩＤ５１は、夫々、ステップＳ７７で新たに付与した、「ｂ１」および「ｃ１」である。また、上述した通り、現フレーム１４２は時刻ｔ３＋１で撮像された、画像ＩＤが「ＩＭ０６」の画像であるため、レコード１３１Ｂおよびレコード１３１Ｃは、時刻情報５２として「ｔ３＋１」を含み、画像ＩＤ５８として「ＩＭ０６」を含む。また、レコード１３１Ｂおよびレコード１３１Ｃは、物体領域情報５３として、検出結果２１に含まれる物体領域情報を含む。また、レコード１３１Ｂおよびレコード１３１Ｃは、特徴量情報５９として、検出部１２０が検出した物体領域１４３Ａの画像である物体領域画像から推定部１３０が抽出した特徴量を含む。ある物体領域に対して、複数の人物が含まれる場合、該物体領域には、人数分の追跡ＩＤ５１が関連付けられるため、レコード１３１Ｂおよびレコード１３１Ｃは、追跡ＩＤ５１のみが異なるレコードとなる。
【０１０３】
このように、追跡部１４０は、物体領域１４２Ａに含まれる人物１４２Ｂ、並びに、物体領域１４３Ａに含まれる人物１４３Ｂおよび人物１４３Ｃの追跡結果であるレコード１３１Ａからレコード１３１Ｃを、図１５に示す追跡情報１５１Ｄに追加することにより、追跡情報１５１Ｄを更新する。
【０１０４】
図７のフローチャートに戻り、追跡部１４０による処理のステップＳ７４にてＹＥＳの場合の処理について説明する。追跡情報１５１に含まれる、処理対象の物体領域に含まれる人物に紐付けられた追跡ＩＤ５１に関連付けられた人数情報５７と、推定部１３０が推定した推定人数とを比較し、推定人数が、人数情報５７よりも多い場合（ステップＳ７４にてＹＥＳ）、追跡部１４０は、処理をステップＳ８０に進める。
【０１０５】
追跡部１４０は、ステップＳ７２において紐付けられた追跡ＩＤ５１の、前フレームにおける特徴量を追跡結果の特徴量情報５９とした該追跡ＩＤ５１に関連するレコードを追加することにより、追跡情報１５１を更新する（ステップＳ８０）。つまり、追跡部１４０は、追跡情報１５１に新たに追加するレコードにおいて、同じ追跡ＩＤを有するレコードから特徴量情報５９を更新しない。これにより、追跡部１４０は、追跡対象の人物が混雑環境に突入した場合であっても、該人物の特徴量を追跡することができなくなることを防ぐことができる。その後、追跡部１４０は処理を図１６のステップＳ８７に進める。
【０１０６】
また、ステップＳ７６にてＹＥＳの場合、つまり、追跡ＩＤ５１が紐付かない人物を含む物体領域に、追跡ＩＤ５１に紐付く他の人物が含まれる場合、または、追跡ＩＤ５１が紐付かない人物を含む物体領域の推定人数が１である場合、追跡部１４０は、ステップＳ８１の処理を行う。追跡部１４０は、追跡情報１５１に含まれる追跡ＩＤ５１のうち、入力画像に含まれる人物の何れにも紐付いていない追跡ＩＤ５１があるか否かを判定する（ステップＳ８１）。
【０１０７】
追跡ＩＤ５１と紐付かない人物が、例えば、混雑環境などに移動することにより他の人物や物体と重なり合ってしまい、追跡ＩＤ５１と紐付かない人物の特徴量が抽出できないために、該人物に追跡ＩＤ５１が付与されない可能性がある。よって、追跡ＩＤ５１が紐付かない人物と同じ物体領域に、追跡された他の人物が含まれており、且つ、入力画像に含まれる人物の何れにも紐付いていない追跡ＩＤ５１が存在する場合、追跡ＩＤ５１が紐付かない人物は、人物に紐付いていない追跡ＩＤ５１と紐付く可能性がある。よって、追跡部１４０は、入力画像に含まれる人物の何れにも紐付いていない追跡ＩＤ５１がある場合（ステップＳ８１にてＹＥＳ）、追跡情報１５１を参照し、人物に紐付いていない追跡ＩＤ５１に関連するレコードに基づいて、該人物の入力画像上における領域を推定する（ステップＳ８２）。
【０１０８】
そして、追跡部１４０は、追跡ＩＤ５１が紐付かない人物を含む物体領域と、推定された領域（推定領域と呼ぶ）とを比較し、物体領域と推定領域との差が所定の範囲内か否かを判定する（ステップＳ８３）。物体領域と推定領域との差が所定の範囲内の場合（ステップＳ８３にてＹＥＳ）、追跡ＩＤ５１が紐付かない人物は、人物に紐付いていない追跡ＩＤ５１と紐付くと判断し、ステップＳ７２において追跡ＩＤ５１が紐付かなかった人物に対し、追跡ＩＤ５１を紐付ける（ステップＳ８４）。そして、追跡部１４０は、処理を上述したステップＳ７３に進める。
【０１０９】
入力画像に含まれる人物の何れにも紐付いていない追跡ＩＤ５１が無い場合（ステップＳ８１にてＮＯ）、追跡ＩＤ５１が紐付いていない人物は、新たに入力画像に含まれた人物となるため、追跡部１４０は処理を、ステップＳ７７に進める。
【０１１０】
物体領域と推定領域との差が所定の範囲内ではない場合（ステップＳ８３にてＮＯ）、追跡部１４０は、処理を図１６のステップＳ８５に進める。
【０１１１】
物体領域と推定領域との差が所定の範囲内ではない場合、追跡ＩＤ５１が紐付いていない人物は、新たに入力画像に含まれた人物である可能性が高いため、追跡部１４０はステップＳ７７〜ステップＳ７９を行い、追跡ＩＤ５１が紐付いていない人物に新たな追跡ＩＤ５１を付与し、追跡情報１５１を更新する（ステップＳ８５）。そして、追跡部１４０は処理をステップＳ８７に進める。
【０１１２】
また、ステップＳ７１にてＹＥＳの場合、入力画像に人物が含まれないと推定されるため、追跡部１４０は該入力画像に対する検出結果を破棄する（ステップＳ８６）。
【０１１３】
全ての物体領域に対して、上述した処理を行った後、つまり、ステップＳ７５、ステップＳ７９、ステップＳ８０、ステップＳ８５およびステップＳ８６の終了後、追跡部１４０は追跡情報１５１を参照し、人物が紐付いていない追跡ＩＤ５１があるか否かを判定する（ステップＳ８７）。なお、ステップＳ８１を行っている場合は、このステップＳ８７の処理はスキップしてもよい。
【０１１４】
人物が紐付いていない追跡ＩＤ５１が無い場合（ステップＳ８７にてＮＯ）、追跡部１４０は、追跡処理を終了する。人物が紐付いていない追跡ＩＤ５１がある場合（ステップＳ８７にてＹＥＳ）、追跡部１４０は、人物が紐付いていない追跡ＩＤ５１の夫々が、所定回数以上、人物と紐付いていないか否かを確認する（ステップＳ８８）。なお、人物と追跡ＩＤ５１とが紐付かなかった回数のカウント方法は、ステップＳ８９で推定領域を含む検出結果を追跡情報１５１に追加した回数をカウントすることで行われてもよいし、推定領域の数を数える方法であってもよいし、その他の方法であってもよい。
【０１１５】
追跡ＩＤ５１が、所定回数以上、人物と紐付いていない場合（ステップＳ８８にてＹＥＳ）、追跡部１４０は、この追跡ＩＤ５１に関連するレコードを追跡情報１５１から削除する（ステップＳ８９）。追跡ＩＤ５１が、所定回数よりも少なく、人物と紐付いていない場合（ステップＳ８８にてＮＯ）、またはステップＳ８９終了後、追跡部１４０は、ステップＳ８２と同様に、追跡情報１５１を参照し、人物に紐付いていない追跡ＩＤ５１に関連するレコードに基づいて、該人物の入力画像上における領域を推定する（ステップＳ９０）。なお、既に、ステップＳ８２にて追跡部１４０が推定領域を推定している場合は、この処理はスキップしてもよい。また、ステップＳ８９終了後に、人物と紐付いていない追跡ＩＤ５１が無い場合は、追跡部１４０は、ステップＳ８７以降の処理をスキップしてもよい。
【０１１６】
追跡部１４０は、人物に紐付いていない追跡ＩＤ５１の入力画像上における推定した領域（推定領域）を、追跡結果の物体領域情報５３とする（ステップＳ９１）。そして、追跡部１４０は、推定領域が、検出された物体領域ではなく、推定された領域であることがわかる状態で、物体領域情報５３を追跡情報１５１に追加することにより、追跡情報１５１を更新する（ステップＳ９２）。例えば、追跡部１４０は、特徴量情報５９をブランクにする、推定領域であることを示すフラグを追加する等により、追加したレコードに含まれる物体領域情報５３が推定領域を表すことを示してもよい。
【０１１７】
以上により、追跡部１４０は、ステップＳ６８の追跡処理を終了する。
【０１１８】
ここで、図１７から図２７を用いて、図７および図１６に示す追跡処理を更に説明する。
【０１１９】
図１７に示す追跡情報１５１Ｅは、２つの物体領域の夫々に１人が含まれる場合の追跡情報１５１の一例である。また、図１８は、物体領域の推定人数が２人であるときの入力画像（現フレーム）と、２つの物体領域の夫々の推定人数が１人であるときの前フレームとの一例を示す図である。図１８において横軸は時間を示す。
【０１２０】
図１８において、前フレーム１８１は時刻ｔ１１で撮像された、画像ＩＤが「ＩＭ１１」の画像であり、現フレーム１８３は時刻ｔ１２で撮像された、画像ＩＤが「ＩＭ１２」の画像であるとする。
【０１２１】
検出部１２０によって、前フレーム１８１から物体領域１８１Ａおよび物体領域１８２Ａが検出されており、物体領域１８１Ａには人物１８１Ｂが含まれるとする。また、物体領域１８２Ａには人物１８２Ｂが含まれるとする。物体領域１８１Ａの人物１８１Ｂには、図１７に示す「ａ３」の追跡ＩＤ５１が関連付けられており、物体領域１８２Ａの人物１８２Ｂには、「ｂ３」の追跡ＩＤ５１が関連付けられているとする。
【０１２２】
ここで、検出部１２０は、現フレーム１８３から物体領域１８３Ａを検出するとし、推定部１３０は、物体領域１８３Ａにおける推定人数を２人と推定するとする。この場合、処理対象は、物体領域１８３Ａとなる。物体領域１８３Ａの推定人数は２人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、処理をステップＳ７２に進める。
【０１２３】
追跡部１４０は、追跡情報１５１の一例である追跡情報１５１Ｅを参照し、物体領域１８３Ａに含まれると推定される人物の夫々に対して、追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。図１８に示す通り、物体領域１８３Ａに含まれると推定される人物を、人物１８３Ｂおよび人物１８３Ｃとする。本例では、人物１８２Ｂが、「ａ３」の追跡ＩＤ５１に紐付くとし、人物１８３Ｃが何れの追跡ＩＤ５１にも紐付かないとする。
【０１２４】
よって、追跡部１４０は、物体領域１８３Ａに含まれる人物１８３Ｂに対する処理をステップＳ７３に進め、人物１８３Ｃに対する処理をステップＳ７６に進める。
【０１２５】
まず、人物１８３Ｂに対する処理について説明する。人物１８３Ｂが「ａ３」の追跡ＩＤ５１に紐付いているため、ステップＳ７２にてＹＥＳとなり、追跡部１４０は、追跡対象の物体領域１８３Ａに含まれる人物１８３Ｂに対する追跡結果の追跡ＩＤ５１を、「ａ３」とし、物体領域情報５３を生成する（ステップＳ７３）。そして、推定人数が増えたか否かを判定する（ステップＳ７４）。推定人数は２人であり、追跡情報１５１に含まれる人数情報５７は「１」である。したがって、推定人数は、増加している。したがって、追跡部１４０は、物体領域１８３Ａに含まれる人物１８３Ｂに対する処理をステップＳ８０に進める。追跡部１４０は、ステップＳ７２において紐付けられた追跡ＩＤ５１に関連するレコードを追跡情報１５１に追加することにより、追跡情報１５１を更新する（ステップＳ８０）。つまり、追跡部１４０は、追跡情報１５１に新たに追加するレコードにおいて、同じ追跡ＩＤを有するレコードから特徴量情報５９を更新しない。
【０１２６】
図１９は、追跡部１４０が更新した後の追跡情報１５１Ｆの一例を示す図である。
追跡情報１５１Ｆは、図１７に示す追跡情報１５１Ｅに対し、レコード１９１Ａおよびレコード１９１Ｂが追加されたものである。
【０１２７】
ステップＳ８０において、追跡部１４０は、レコード１９１Ａを追跡情報１５１Ｅに追加する。図１９に示す通り、レコード１９１Ａは、追跡ＩＤ５１として「ａ３」を含む。また、レコード１９１Ａは、前フレーム１８１における追跡結果（追跡ＩＤ５１が「ａ３」で、時刻情報５２が「ｔ１１」のレコード）に含まれる特徴量「Ｆ１１Ａ」を、特徴量情報５９として含む。
【０１２８】
このように、追跡部１４０は、現フレーム１８３上の物体領域１８３Ａ（第１物体領域）に対して推定された人数（物体数）が、前フレーム１８１における物体領域１８１Ａ（第２物体領域）に対して推定された人数（物体数）よりも大きい場合、追跡の結果として物体領域１８１Ａから抽出された特徴量「Ｆ１１Ａ」を、物体領域１８３Ａの特徴量情報５９として、物体領域１８３Ａに関連付ける。これにより、追跡対象の人物が混雑環境に突入した場合であっても、該人物の特徴量を追跡することができなくなることを防ぐことができる。そして、追跡部１４０は処理をＳ８７に進める。
【０１２９】
次に、人物１８３Ｃに対する処理について説明する。上述した通り、人物１８３Ｃが何れの追跡ＩＤ５１にも紐付かないため、ステップＳ７２にてＮＯとなり、追跡部１４０は、追跡ＩＤ５１が紐付かない人物を含む物体領域に、追跡ＩＤ５１に紐付く他の人物が含まれるか否かを判定する（ステップＳ７６）。本例の場合、人物１８２Ｂが、「ａ３」の追跡ＩＤ５１に紐付くため、追跡部１４０は処理をステップＳ８１に進める。
【０１３０】
追跡部１４０は、追跡情報１５１に含まれる追跡ＩＤ５１のうち、入力画像に含まれる人物の何れにも紐付いていない追跡ＩＤ５１があるか否かを判定する（ステップＳ８１）。図１７を参照すると、「ｂ３」の追跡ＩＤ５１が紐付いていないため、追跡部１４０は処理をステップＳ８２に進める。なお、「ｂ３」の追跡ＩＤ５１が追跡情報１５１Ｅに含まれていなかった場合、ステップＳ８１にてＮＯとなり、この人物は、新たに入力画像に含まれた人物であると判定できるため、追跡部１４０は処理をステップＳ７７に進める。
【０１３１】
ステップＳ８２において、追跡部１４０は、「ｂ３」の追跡ＩＤ５１に関連するレコードに基づいて、該人物の入力画像上における領域を推定する。そして、推定された推定領域と、検出部１２０が検出した物体領域との差が所定の範囲内であるか否かを判定する（ステップＳ８３）。このとき、追跡部１４０は、物体領域の位置と推定領域との位置の差を比較してもよいし、物体領域と推定領域との差を所定の閾値と比較してもよい。そして、推定領域と物体領域との差が所定の範囲内の場合（ステップＳ８３にてＹＥＳ）、人物１８３Ｃに「ｂ３」の追跡ＩＤ５１を紐付ける。そして、ステップＳ７３、ステップＳ７４およびステップＳ８０を行うことにより、追跡部１４０は、図１９に示すレコード１９１Ｂを追加した追跡情報１５１Ｆを記憶部１５０に格納する。
【０１３２】
また、図２０は、追跡部１４０が更新した後の追跡情報１５１Ｇの一例を示す図である。追跡情報１５１Ｇは、図１７に示す追跡情報１５１Ｅに対し、レコード２０１Ａおよびレコード２０１Ｂが追加されたものである。レコード２０１Ａは上述したレコード１９１Ａと同様であるため、説明を省略する。
【０１３３】
推定領域と物体領域との差が所定の範囲内ではない場合（ステップＳ８３にてＮＯ）、追跡ＩＤ５１が紐付いていない人物は、新たに入力画像に含まれた人物の可能性が高いため、追跡部１４０は、ステップＳ７７〜ステップＳ７９の処理を行う（ステップＳ８５）。
【０１３４】
図２０のレコード２０１Ｂは、追跡ＩＤ５１として新たに付与された「ｃ３」を含む。
また、レコード２０１Ｂは、物体領域情報５３として、レコード２０１Ａと同様に、検出部１２０が検出した物体領域を表す情報を含み、人数情報５７として、推定部１３０が推定した人数を表す情報を含む。なお、レコード２０１Ｂは、特徴量情報５９として、ステップＳ７９において物体領域情報５３から抽出された特徴量である「Ｆ１２」を含んでもよい。なお、同じ物体領域に関連するレコードは、同じ特徴量を含むと判断して、追跡部１４０は、レコード２０１Ａと同様の特徴量情報５９である「Ｆ１１Ａ」を、レコード２０１Ｂの特徴量情報５９としてもよい。
【０１３５】
また、別の例について説明する。図２１に示す追跡情報１５１Ｈは、１つ物体領域に３人が含まれる場合の追跡情報１５１の一例である。図２２は、物体領域の推定人数が２人であるときの入力画像（現フレーム）と、物体領域の推定人数が３人であるときの前フレームとの一例を示す図である。図２２において横軸は時間を示す。
【０１３６】
図２２において、前フレーム２２１は時刻ｔ１７で撮像された、画像ＩＤが「ＩＭ１７」の画像であり、現フレーム２２２は時刻ｔ１８で撮像された、画像ＩＤが「ＩＭ１８」の画像であるとする。
【０１３７】
検出部１２０によって、前フレーム２２１から物体領域２２１Ａが検出されており、物体領域２２１Ａには人物２２１Ｂ、人物２２１Ｃおよび人物２２１Ｄが含まれるとする。図２２に示す通り、画像ＩＤが「ＩＭ１７」には、「ａ５」、「ｂ５」および「ｃ５」の追跡ＩＤ５１が関連付けられている。これらの追跡ＩＤ５１は、物体領域２２１Ａに関連付けられており、人物２２１Ｂ、人物２２１Ｃおよび人物２２１Ｄの何れかが、「ａ５」、「ｂ５」および「ｃ５」の何れかに関連付けられていればよい。
【０１３８】
ここで、検出部１２０は、現フレーム２２２から物体領域２２２Ａを検出するとし、推定部１３０は、物体領域２２２Ａにおける人数を２人と推定するとする。つまり、処理対象の物体領域は、物体領域２２２Ａとなる。物体領域２２２Ａの推定人数は２人であるため、ステップＳ７１にてＮＯとなり、追跡部１４０は、処理をステップＳ７２に進める。
【０１３９】
追跡部１４０は、図２１に示す、追跡情報１５１の一例である追跡情報１５１Ｈを参照し、物体領域２２２Ａに含まれると推定される人物の夫々に対して、追跡ＩＤ５１と紐付くか否かを判定する（ステップＳ７２）。本例では、人物２２２Ｂおよび人物２２２Ｃの夫々が、「ａ５」、「ｂ５」および「ｃ５」の追跡ＩＤ５１に紐付くとする。本例では、追跡部１４０は、人物２２２Ｂおよび人物２２２Ｃは、「ａ５」および「ｂ５」の何れかに紐付くとする。
【０１４０】
図２３は、追跡情報１５１Ｈを更新した後の追跡情報１５１Ｊの一例を示す図である。
追跡部１４０は、ステップＳ７３〜ステップＳ７５を行うことにより、図２３のレコード２３１Ａおよびレコード２３１Ｂを追跡情報１５１Ｈに追加することによって、追跡情報１５１Ｊを生成する。
【０１４１】
追跡部１４０は、処理をステップＳ８７に進め、追跡情報１５１Ｈを参照し、人物が紐付いていない追跡ＩＤ５１があるか否かを判定する（ステップＳ８７）。本例では、「ｃ５」の追跡ＩＤ５１が、人物と紐付いていないため、追跡部１４０は、処理をステップＳ８８に進める。追跡部１４０は、追跡ＩＤ；「ｃ５」が、所定回数以上、人物と紐付いていないか否かを確認する（ステップＳ８８）。「ｃ５」が所定回数より少なく、人物と紐付いていない場合、追跡部１４０は処理をステップＳ９０に進めるが、「ｃ５」が所定回数以上人物と紐付いていない場合には、追跡部１４０は、追跡ＩＤ５１が「ｃ５」のレコード全てを追跡情報１５１Ｈから削除する。
【０１４２】
ステップＳ９０において、追跡部１４０は、「ｃ５」の追跡ＩＤ５１に関連するレコードに基づいて、該人物の入力画像上における領域を推定する。追跡部１４０は、例えば、図２２に破線で示す領域２２３を推定領域として推定する。そして、追跡部１４０は、領域２２３を示す情報を「ｃ５」に関連する物体領域情報５３とし（ステップＳ９１）、追跡情報１５１Ｈにレコード２３１Ｃを挿入することにより追跡情報１５１Ｈを更新する（ステップＳ９２）。これにより、追跡部１４０は、更新された追跡情報１５１Ｊを記憶部１５０に格納することができる。
【０１４３】
図２３に示す通り、レコード２３１Ｃは、人数情報５７と特徴量情報５９とをブランクにしている。これにより、レコード２３１Ｃは推定された領域を物体領域情報５３として含んだレコードであることがわかる。なお、上述した通り、レコードには、物体領域情報５３が推定領域であることを示す情報が含まれればよい。
【０１４４】
また、別の例について説明する。図２４に示す追跡情報１５１Ｋは、１つの物体領域に１人が含まれる場合の追跡情報１５１の一例である。また、図２５は、現フレームと、物体領域の推定人数が１人であるときの前フレームとの一例を示す図である。図２５において横軸は時間を示す。
【０１４５】
図２５において、前フレーム２５１は時刻ｔ２０で撮像された、画像ＩＤが「ＩＭ２０」の画像であり、現フレーム２５２は時刻ｔ２１で撮像された、画像ＩＤが「ＩＭ２１」の画像であるとする。
【０１４６】
検出部１２０によって、前フレーム２５１から物体領域２５１Ａが検出されており、物体領域２５１Ａには人物２５１Ｂが含まれるとする。図２４に示す通り、画像ＩＤ；「ＩＭ１９」には、追跡ＩＤ５１；「ａ６」が関連付けられている。
【０１４７】
現フレーム２５２では、「ａ６」の追跡ＩＤ５１が関連付けられた人物が車の陰に隠れている。本例では、検出部１２０が、現フレーム２５２から物体領域を検出するとするが、推定部１３０が、該物体領域における推定人数を０人と推定するとする。
【０１４８】
物体領域の推定人数は０人であるため、ステップＳ７１にてＹＥＳとなり、追跡部１４０は、処理をステップＳ８６に進める。そして、追跡部１４０は、検出部１２０の検出結果を破棄し（ステップＳ８６）、ステップＳ８７に処理を進める。
【０１４９】
追跡部１４０は、図２４に示す追跡情報１５１Ｋを参照し、人物が紐付いていない追跡ＩＤ５１があるか否かを判定する（ステップＳ８７）。「ａ６」の追跡ＩＤ５１が、人物と紐付いていないため、追跡部１４０は、処理をステップＳ８８に進める。そして、追跡部１４０は、「ａ６」が、所定回数以上、人物と紐付いていないか否かを確認する（ステップＳ８８）。本例では、「ａ６」は所定回数より少なく、人物と紐付いていないとし、処理をステップＳ９０に進める。
【０１５０】
ステップＳ９０において、追跡部１４０は、「ａ６」の追跡ＩＤ５１に関連するレコードに基づいて、該人物の入力画像上における領域を推定する。追跡部１４０は、例えば、図２５に破線で示す領域２５２Ａを推定領域として推定する。そして、追跡部１４０は、領域２５２Ａを示す情報を、「ａ６」に関連する物体領域情報５３とし（ステップＳ９１）、追跡情報１５１Ｋに新たなレコードを挿入することにより追跡情報１５１Ｋを更新する（ステップＳ９２）。
【０１５１】
図２６は、図２４に示す追跡情報１５１Ｋを追跡部１４０が更新することによって得られる追跡情報１５１Ｌの一例である。図２６に示すレコード２６１は、追跡部１４０がステップＳ９２において追加したレコードである。レコード２６１は、ステップＳ９０において推定された領域２５２Ａを示す情報を物体領域情報５３として含む。
【０１５２】
また、レコード２６１は、図２３のレコード２３１Ｃと同様に、人数情報５７と特徴量情報５９とがブランクになっている。これにより、レコード２６１は推定された領域を示す情報を物体領域情報５３として含んだレコードであることがわかる。
【０１５３】
また、別の例として、図２５に示す現フレーム２５２において、検出部１２０が、現フレーム２５２から領域２５２Ａを物体領域として検出し、推定部１３０が、該物体領域における推定人数を１人と推定するとする。しかしながら、人物が車の陰に隠れているため、追跡部１４０が該人物に追跡ＩＤ５１を紐付けられなかったとする（ステップＳ７２にてＮＯ）。
【０１５４】
追跡ＩＤ５１が紐付かない人物を含む物体領域の推定人数が１であるため、追跡部１４０は、処理をステップＳ８１に進める。そして、「ａ６」の追跡ＩＤ５１が、人物と紐付いていないため、追跡部１４０は、処理をステップＳ８２に進める。
【０１５５】
追跡部１４０は、追跡情報１５１Ｋを参照し、「ａ６」に関連するレコードに基づいて、該人物の入力画像上における領域を推定し（ステップＳ８２）、物体領域と推定領域との差が所定の範囲内か否かを判定する（ステップＳ８３）。物体領域と推定領域との差が所定の範囲内ではない場合、追跡部１４０は、ステップＳ８５以下の処理を行う。物体領域と推定領域との差が所定の範囲内の場合、追跡部１４０は、追跡ＩＤ５１を紐付ける（ステップＳ８４）。そして、追跡部１４０は、処理を上述したステップＳ７３に進める。そして、ステップＳ７５において、追跡部１４０は追跡情報を更新する（ステップＳ７５）。なお、ステップＳ８４の後のステップＳ７５において、追跡部１４０は、前の特徴量を用いて追跡情報を更新してもよい。このとき、ステップＳ７５で更新される追跡情報１５１の一例を図２７に示す。
【０１５６】
図２７は、図２４に示す追跡情報１５１Ｋを更新することによって得られる追跡情報１５１Ｍの一例である。図２７に示すレコード２７１は、追跡部１４０がステップＳ７５において追加したレコードである。レコード２７１の特徴量情報５９は、時刻情報５２が「ｔ２０」に関連付けられた特徴量情報５９と同様の特徴量である「Ｆ２０」を含んでいることがわかる。このように、追跡部１４０は、図２７に示すような追跡情報１５１を出力してもよい。
【０１５７】
なお、追跡情報１５１に含まれる物体領域情報５３に含まれる、追跡結果の位置情報５４、幅情報５５および高さ情報５６は、検出結果そのままでもよいし、検出結果に対し所定の処理を施したものであってもよい。例えば、撮像装置の設置位置、方向および焦点距離などが既知で、入力画像上の人物位置や大きさから、その人物の三次元的な位置や大きさが算出可能な場合は、検出結果の大きさから実世界での大きさを推定し、大きさが人物の身長から逸脱した場合に、人物の身長として適切な値の範囲内に修正したものを追跡結果の大きさ（つまり、幅情報５５と高さ情報５６）としてもよい。
【０１５８】
次に、ステップＳ７０において、出力部１６０が出力する出力画面の一例を図２８から図３０に示す。
【０１５９】
図２８は、図８に示す現フレーム８２として、出力部１６０が出力する出力画面２８１の一例を示す図である。出力部１６０は、図２８に示す通り、追跡結果である物体領域情報５３を示す枠２８２を、入力画像である現フレーム８２に重畳した画面を、出力画面２８１として表示している。また、出力部１６０は、追跡情報１５１Ａに含まれる、追跡ＩＤ５１である「ａ１」と、推定人数を示す「１人」とを示す情報２８３を、出力画面２８１に表示してもよい。なお、情報２８３はこれに限定されるものではなく、追跡情報１５１Ａに含まれるその他の情報を含んでもよい。
【０１６０】
図２９は、図１２に示す現フレーム１２２として、出力部１６０が出力する出力画面２９１の一例を示す図である。出力部１６０は、図２９に示す通り、図１２の物体領域１２２Ａ（追跡結果である物体領域情報５３）を示す枠２９２Ａおよび物体領域１２３Ａ（追跡結果である物体領域情報５３）を示す枠２９３Ａを、入力画像である現フレーム１２２に重畳した画面を、出力画面２９１として表示している。また、出力部１６０は、図２９に示すように、追跡情報１５１Ｃに含まれる、物体領域１２２Ａに関連する追跡ＩＤ５１である「ａ２」と、推定人数を示す「１人」とを示す情報２９２Ｂを、出力画面２９１に表示してもよい。このとき、出力部１６０は、情報２９２Ｂに関連する物体領域１２２Ａに関連付けて、該情報２９２Ｂを出力画面２９１に表示してもよい。同様に、出力部１６０は、情報２９３Ｂを物体領域１２３Ａに関連付けて出力画面２９１に表示してもよい。
【０１６１】
図３０は、図１４に示す現フレーム１４２として、出力部１６０が出力する出力画面３０１の一例を示す図である。出力部１６０は、図３０に示す通り、図１４の物体領域１４２Ａ（追跡結果である物体領域情報５３）を示す枠３０２Ａおよび物体領域１４３Ａ（追跡結果である物体領域情報５３）を示す枠３０３Ａを、入力画像である現フレーム１４２に重畳した画面を出力画面３０１として表示している。また、出力部１６０は、図３０に示すように、追跡情報１５１Ｄに含まれる、物体領域１４２Ａに関連する追跡ＩＤ５１である「ａ１」と、推定人数を示す「１人」とを示す情報３０２Ｂを、物体領域１４２Ａに関連付けて、出力画面３０１に表示してもよい。同様に、出力部１６０は、情報３０３Ｂを物体領域１４３Ａに関連付けて出力画面３０１に表示してもよい。
【０１６２】
このように、出力部１６０が追跡結果を現フレームに重畳して表示することにより、例えば、画像処理装置１００の管理者は、表示画面を確認することによって容易に追跡結果を把握することができる。
【０１６３】
以上により、本実施の形態に係る画像処理装置１００は、物体同士が大きく重なる環境であっても、物体の追跡を高精度に行うことができる。なぜならば、追跡部１４０が、物体領域における推定された物体数を示す情報を用いて、該物体領域に含まれる物体を追跡するからである。
【０１６４】
例えば、個々の物体を追跡した場合、混雑環境においては、該物体が他の物体に隠蔽されることにより、追跡が途切れてしまう場合がある。また、混雑環境下において、他の物体の影響を受け、追跡したい物体の特徴量が変化することにより、追跡の精度が低下してしまう可能性がある。
【０１６５】
しかしながら、本実施の形態に係る画像処理装置１００は、入力画像よりも時間的に前に画像処理装置１００に入力された入力画像に基づく物体の追跡結果である追跡情報に含まれる、物体領域に含まれる物体数（人数）を示す情報と、推定された物体数を示す情報とを用いて、物体領域を追跡することにより、該物体領域に含まれる物体（人物）を追跡する。これにより、入力画像内の複数の物体を同時並列的に追跡することができるため、個々の物体を追跡する場合における上述した追跡の途切れ等を低減させることができる。したがって、本実施の形態に係る画像処理装置１００によれば、物体同士が大きく重なる環境であっても、物体の追跡を高精度に行うことができる。
【０１６６】
＜第２の実施の形態＞
本開示の第２の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
【０１６７】
図３１は、本実施の形態に係る画像処理装置１０の機能構成の一例を示す機能ブロック図である。図３１に示す通り、本実施の形態に係る画像処理装置１０は、検出部１２と、推定部１３と、追跡部１４とを備える。
【０１６８】
検出部１２は、上述した第１の実施の形態における検出部１２０の機能を有する。検出部１２は、入力画像から物体領域を検出する。入力画像から物体領域を検出する方法は特に限定されず、上述した通り、背景画像との差分を取る方法、人型を検出することによる方法、事前に学習した人物の特徴を用いる方法など、公知の技術であってもよい。検出部１２は、検出結果を推定部１３に供給する。
【０１６９】
推定部１３は、上述した第１の実施の形態における推定部１３０の機能を有する。推定部１３０は、検出された物体領域に含まれる物体数を推定する。推定部１３は、検出部１２から受け取った検出結果に関連する入力画像から、物体領域画像を抽出し、抽出した物体領域画像から、例えば人物などの物体の数を推定する。物体の数の推定方法は特に限定されず、物体領域画像と、記憶部に格納された人物数毎の画像とを比較することによって、推定する方法であってもよい。推定部１３は、推定した物体数を追跡部１４に供給する。
【０１７０】
追跡部１４は、上述した第１の実施の形態における追跡部１４０の機能を有する。追跡部１４は、推定部１３によって推定された物体数を表す情報を用いて、物体領域に含まれる物体を追跡する。例えば、追跡部１４は、入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報に基づいて物体を追跡する。追跡情報は、物体領域に対して、該物体領域に含まれる物体の数分の追跡ＩＤと、該物体領域を示す情報と、該物体領域から抽出した特徴量とを含む。追跡部１４は、物体数分の追跡ＩＤが付与された物体領域に含まれる物体を、追跡情報に基づいて追跡する。例えば、追跡部１４は、物体領域に含まれる物体の数と、入力画像よりも時間的に前の入力画像における追跡の結果に関連する物体の数との比較を行い、該物体領域に含まれる物体を追跡する。
【０１７１】
本実施の形態に係る画像処理装置１０による処理の流れについて、図３２を参照して説明する。図３２は、本実施の形態に係る画像処理装置１０による処理の流れの一例を示すフローチャートである。
【０１７２】
図３２に示す通り、検出部１２が入力画像から物体領域を検出する（ステップＳ３２１）。そして、推定部１３が検出された物体領域に含まれる物体数を推定する（ステップＳ３２２）。そして、追跡部１４が、推定された物体数を表す情報を用いて、物体領域に含まれる物体を追跡する（ステップＳ３２３）。
【０１７３】
例えば、個々の物体を追跡した場合、混雑環境においては、該物体が他の物体に隠蔽されることにより、追跡が途切れてしまう場合がある。また、混雑環境下において、他の物体の影響を受け、追跡したい物体の特徴量が変化することにより、追跡の精度が低下してしまう可能性がある。
【０１７４】
しかしながら、本実施の形態に係る画像処理装置１０では、追跡部１４が、物体領域における推定された物体数を表す情報を用いて、該物体領域に含まれる物体を追跡する。例えば、画像処理装置１０は、入力画像よりも時間的に前に画像処理装置１０に入力された入力画像までの物体の追跡結果である追跡情報に含まれる、物体領域に含まれる物体の数と、推定された物体数とを用いて、物体領域を追跡することにより、該物体領域に含まれる物体を追跡する。これにより、画像処理装置１０は、入力画像内の複数の物体を同時並列的に追跡することができるため、個々の物体を追跡する場合における上述した追跡の途切れ等を低減させることができる。したがって、本実施の形態に係る画像処理装置１０によれば、物体同士が大きく重なる環境であっても、物体の追跡を高精度に行うことができる。
【０１７５】
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図３３に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図３３は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【０１７６】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【０１７７】
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【０１７８】
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０１７９】
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１８０】
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１８１】
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
【０１８２】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１８３】
この出願は、２０１７年６月１日に出願された日本出願特願２０１７−１０９０５６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１８４】
１００    画像処理装置
１１０    画像取得部
１２０    検出部
１３０    推定部
１４０    追跡部
１５０    記憶部
１５１    追跡情報
１５２    画像ＤＢ
１６０    出力部
１０    画像処理装置
１２    検出部
１３    推定部
１４    追跡部
【図１】
2018221629.tif 000003
【図２】
2018221629.tif 000004
【図３】
2018221629.tif 000005
【図４】
2018221629.tif 000006
【図５】
2018221629.tif 000007
【図６】
2018221629.tif 000008
【図７】
2018221629.tif 000009
【図８】
2018221629.tif 000010
【図９】
2018221629.tif 000011
【図１０】
2018221629.tif 000012
【図１１】
2018221629.tif 000013
【図１２】
2018221629.tif 000014
【図１３】
2018221629.tif 000015
【図１４】
2018221629.tif 000016
【図１５】
2018221629.tif 000017
【図１６】
2018221629.tif 000018
【図１７】
2018221629.tif 000019
【図１８】
2018221629.tif 000020
【図１９】
2018221629.tif 000021
【図２０】
2018221629.tif 000022
【図２１】
2018221629.tif 000023
【図２２】
2018221629.tif 000024
【図２３】
2018221629.tif 000025
【図２４】
2018221629.tif 000026
【図２５】
2018221629.tif 000027
【図２６】
2018221629.tif 000028
【図２７】
2018221629.tif 000029
【図２８】
2018221629.tif 000030
【図２９】
2018221629.tif 000031
【図３０】
2018221629.tif 000032
【図３１】
2018221629.tif 000033
【図３２】
2018221629.tif 000034
【図３３】
2018221629.tif 000035
【手続補正書】
【提出日】令和1年11月20日(2019.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像から物体領域を検出する検出手段と、
前記検出された物体領域に含まれる物体数を推定する推定手段と、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する追跡手段と、を備える画像処理装置。
【請求項２】
前記追跡手段は、該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項１に記載の画像処理装置。
【請求項３】
前記追跡手段は、追跡した前記物体が含まれる、前記入力画像上の前記物体領域である第１物体領域に対して推定された前記物体数が、前記追跡情報のうち、前記入力画像に時間的に最も近い入力画像における物体領域である第２物体領域に対して推定された物体数よりも大きい場合、追跡の結果として前記第２物体領域から抽出された特徴量を、前記第１物体領域に関連付ける、
請求項２に記載の画像処理装置。
【請求項４】
前記追跡手段は、追跡した前記物体が含まれる、前記入力画像上の前記物体領域である第１物体領域に対して推定された前記物体数が、前記追跡情報のうち、前記入力画像に時間的に最も近い入力画像における物体領域である第２物体領域に対して推定された物体数以下の場合、追跡の結果として前記第１物体領域から抽出された特徴量を、前記第１物体領域に関連付ける、
請求項２または３に記載の画像処理装置。
【請求項５】
前記追跡手段による追跡の結果を前記入力画像に重畳して出力する出力手段を更に備える、
請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
入力画像から物体領域を検出し、
前記検出された物体領域に含まれる物体数を推定し、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する、
追跡方法。
【請求項７】
該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項６に記載の追跡方法。
【請求項８】
入力画像から物体領域を検出する処理と、
前記検出された物体領域に含まれる物体数を推定する処理と、
前記推定された物体数を表す情報を用いて、前記物体領域に含まれる物体を追跡する処理と、
をコンピュータに実行させるプログラム。
【請求項９】
前記追跡する処理は、該物体が前記入力画像よりも時間的に前の入力画像において追跡された結果を示す追跡情報であって、前記物体数分の識別子を、前記物体領域に関連付け、前記物体領域から抽出した特徴量を、各識別子に関連付けた追跡情報に基づいて、前記入力画像における前記物体領域に含まれる前記物体を追跡する、
請求項８に記載のプログラム。
【国際調査報告】
2018221629.tif 000036
2018221629.tif 000037
2018221629.tif 000038