(57)【特許請求の範囲】
【請求項１】
同じイベントを検出可能な第１撮像装置および第２撮像装置からそれぞれ第１動画および第２動画をネットワークを介して取得する取得部と、
前記取得部によって取得された第１動画から、第１イベントと第２イベントとの間の期間に対応する第１部分を特定し、前記取得部によって取得された第２動画から、前記期間に対応する第２部分を特定する特定部と、
第１動画および第２動画の比較に基づく動体認識または動体追跡の処理単位について、前記第２部分に含まれる処理単位の数と前記第１部分に含まれる処理単位の数とが等しくなるように、前記第１部分に含まれる処理単位の数を変更する変更部と、を備えることを特徴とする動画処理装置。
【請求項２】
前記特定部は、前記取得部によって取得された第１動画のなかから前記第１イベントに対応する第１処理単位と前記第２イベントに対応する第２処理単位とを特定し、特定された前記第１処理単位と前記第２処理単位とに基づいて前記第１部分を特定することを特徴とする請求項１に記載の動画処理装置。
【請求項３】
前記変更部は、前記第２部分に含まれる処理単位が前記第１部分に含まれる処理単位より多い場合、前記第１部分に新たな処理単位を加え、前記第２部分に含まれる処理単位が前記第１部分に含まれる処理単位より少ない場合、前記第１部分から処理単位を除くことを特徴とする請求項１に記載の動画処理装置。
【請求項４】
前記変更部は、前記第１部分に新たな処理単位を加える場合、前記第１部分のなかで比較的広い間隔を有する２つの処理単位の間に前記新たな処理単位を加えることを特徴とする請求項３に記載の動画処理装置。
【請求項５】
前記変更部は、前記第１部分から処理単位を除く場合、前記第１部分のなかで比較的狭い間隔を有する２つの処理単位のうちの少なくともひとつを除くことを特徴とする請求項３に記載の動画処理装置。
【請求項６】
前記第１イベントおよび前記第２イベントは不規則に発生する一連のイベントに含まれることを特徴とする請求項１から５のいずれか１項に記載の動画処理装置。
【請求項７】
前記変更部による変更の結果得られる前記第１部分に含まれる処理単位の画像認識結果と、前記第２部分に含まれる対応する処理単位の画像認識結果と、を比較する比較部をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の動画処理装置。
【請求項８】
前記第１イベントおよび前記第２イベントのうちの少なくともひとつは、前記第１撮像装置の撮像範囲および前記第２撮像装置の撮像範囲の両方に存在するオブジェクトに関連することを特徴とする請求項１から７のいずれか１項に記載の動画処理装置。
【請求項９】
処理単位はフレームであることを特徴とする請求項１から８のいずれか１項に記載の動画処理装置。
【請求項１０】
同じイベントを検出可能な第１撮像装置および第２撮像装置からそれぞれ第１動画および第２動画をネットワークを介して取得することと、
前記取得された第１動画から、第１イベントと第２イベントとの間の期間に対応する第１部分を特定し、前記取得された第２動画から、前記期間に対応する第２部分を特定することと、
第１動画および第２動画の比較に基づく動体認識または動体追跡の処理単位について、前記第２部分に含まれる処理単位の数と前記第１部分に含まれる処理単位の数とが等しくなるように、前記第１部分に含まれる処理単位の数を変更することと、を含むことを特徴とする動画処理方法。
【請求項１１】
同じイベントを検出可能な第１撮像装置および第２撮像装置からそれぞれ第１動画および第２動画をネットワークを介して取得する機能と、
前記取得された第１動画から、第１イベントと第２イベントとの間の期間に対応する第１部分を特定し、前記取得された第２動画から、前記期間に対応する第２部分を特定する機能と、
第１動画および第２動画の比較に基づく動体認識または動体追跡の処理単位について、前記第２部分に含まれる処理単位の数と前記第１部分に含まれる処理単位の数とが等しくなるように、前記第１部分に含まれる処理単位の数を変更する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画処理装置および動画処理方法に関する。
【背景技術】
【０００２】
カメラの映像から人物の動きを追跡する技術は、防犯やマーケティング用途で利用されている。広い範囲を対象として人物の動きを追跡するためには、一つのカメラではなく複数のカメラが必要となる。カメラの数や設置のコストを考慮すると、各カメラの撮像範囲の重複度合いができるだけ少なくなるように複数のカメラを設置することが望ましい。
【０００３】
複数のカメラから得られる映像から人物の動きを追跡する技術では、あるカメラの撮像範囲にいる人物が別のカメラの撮像範囲に移動した際に、各カメラの撮像範囲を気にすることなく、その人物を同一の人物として追跡し続けることが望ましい。カメラが固定カメラであり、それぞれのカメラの内部パラメータや撮像範囲での世界座標系などの外部パラメータが既知である場合は、カメラ間を移動する人物の位置をそれぞれのカメラの映像から正確に算出し、その算出された位置に基づいて人物の同一性を判定することができる。しかしながら、これにはそれぞれのカメラの映像が時刻同期されている必要がある。映像時刻にズレが生じていると正確な算出および判定は困難となる。
【０００４】
従来、特許文献１に記載される手法が知られている。特許文献１では、映像を分割して視覚イベントを検知し、視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第１３／０９４１１５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載される技術では映像のフレームレートが一定であることを前提としている。しかしながら、カメラのスペックにフレームレートが記載されている場合でも、カメラの撮像対象や性能、ネットワーク環境によってはフレームレートが変動することがあることを本発明者は見出した。特に監視カメラについては、消費電力と耐久性に重点を置いて設計されているので、出力されるフレームレートが変動することが多い。本発明者の実験によると、一例では３０分の撮像時間に対して数フレームの欠損が見られた。このようなフレーム欠損の理由のひとつとしては以下のものが考えられる。映像は一般に圧縮符号化されてカメラから送信されるが、動きが激しかったりテクスチャが多く存在する場合はこの圧縮符号化処理に時間がかかり、その結果フレームが欠損しうる。
【０００７】
フレーム欠損が発生すると、たとえ特許文献１に記載される技術を使用して時刻同期したとしても、異なるカメラからの映像の比較に基づく動体追跡等の処理の精度が低下しうる。
【０００８】
本発明はこうした課題に鑑みてなされたものであり、その目的は、意図しない画像処理単位の数の変動が生じても適切に対応可能な動画処理技術の提供にある。
【課題を解決するための手段】
【０００９】
本発明のある態様は、動画処理装置に関する。この動画処理装置は、同じイベントを検出可能な第１撮像装置および第２撮像装置からそれぞれ第１動画および第２動画をネットワークを介して取得する取得部と、取得部によって取得された第１動画から、第１イベントと第２イベントとの間の期間に対応する第１部分を特定し、取得部によって取得された第２動画から、期間に対応する第２部分を特定する特定部と、第２部分に含まれる処理単位の数に応じて、第１部分に含まれる処理単位の数を変更する変更部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、意図しない画像処理単位の数の変動が生じても適切に対応できる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係る動画処理装置を備える監視システムの模式図である。
【図２】動画の時刻のズレの説明図である。
【図３】図１の動画処理装置の機能および構成を示すブロック図である。
【図４】図３の処理動画保持部に保持される第１動画および第２動画のフレーム構成を示す模式図である。
【図５】第１動画から特定された第１部分および第２動画から特定された第２部分を示す模式図である。
【図６】第２動画の第２部分からフレームが間引かれた状態を示す模式図である。
【図７】図１の動画処理装置における一連の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
【００１４】
実施の形態に係る動画処理技術では、同じオブジェクトが複数の撮像装置の撮像範囲に入っている場合に、当該オブジェクトの状態の変化をイベントとして定義し、各撮像装置から得られる動画におけるイベントと次のイベントとの間のフレーム数を算出する。算出されたフレーム数が撮像装置により異なる場合、フレーム数を等しくするための処理が行われる。これにより、撮像装置から得られる動画と別の撮像装置から得られる動画とをフレームごとに比較する処理の結果に基づく動体認識・追跡処理等がより容易となり、かつその精度を高めることができる。
【００１５】
図１は、実施の形態に係る動画処理装置１００を備える監視システム１０の模式図である。監視システム１０は、複数の監視カメラと、動画処理装置１００と、を備える。複数の監視カメラはネットワークを介して動画処理装置１００と接続されている。複数の監視カメラのそれぞれは施設１２の天井や壁等に固定され、施設１２の一部を撮像する。動画処理装置１００は、複数の監視カメラから送られてくる動画を解析することで施設１２内を動く人１６を追跡する。監視カメラは全方位カメラなどの広角カメラであってもよい。なお、監視システム１０は一例であり、複数の撮像装置を含む他のシステムに本実施の形態の技術的思想を適用できることは、本明細書に触れた当業者には明らかである。
【００１６】
施設１２の入口には自動ドア１４が設けられている。複数の監視カメラのうちの第１監視カメラ１８および第２監視カメラ２０はいずれもその撮像範囲に自動ドア１４を含む。したがって、自動ドア１４の状態の変化、すなわち開閉動作は第１監視カメラ１８からの動画および第２監視カメラ２０からの動画の両方に現れる。
【００１７】
複数の監視カメラの時刻は同期されている。しかしながら、監視カメラにおいて動画が圧縮符号化されることやネットワークを介して画像が配信されることにより、動画処理装置１００側では複数の監視カメラからの動画の間に時間差が発生し、動画の時刻にズレが生じることがある。このズレは最大でも数秒程度である場合が多い。また、フレーム欠損も生じうる。
【００１８】
図２は、動画の時刻のズレの説明図である。横軸は動画処理装置１００の時刻を示す。第１監視カメラ１８の動画は連続的に動画処理装置１００のＨＤＤ等の保持部に蓄積されている。第２監視カメラ２０の動画についても同様である。斜線が付された部分は、現実世界の同じ所定の期間（例えば、１０秒間）に撮像された部分である。ズレのない理想的な状況では当該部分の開始時刻ｔ１、ｔ３は同じになる。しかしながら、上記のようなズレがあるため、ｔ１とｔ３とに差が生じる。終了時刻ｔ２、ｔ４についても同様である。このような状況で、動画処理装置１００において動画処理装置１００の時刻ｔ５から時刻ｔ６までの部分を各動画から切り出しても、それらの部分をそのまま比較することは難しい。
【００１９】
図３は、本実施の形態に係る動画処理装置１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００２０】
動画処理装置１００は、動画取得部３０２と、イベント検出部３０４と、時刻同期部３０６と、フレーム数調整部３０８と、動体認識部３１０と、動体追跡部３１２と、生動画保持部３１４と、処理動画保持部３１６と、を備える。
【００２１】
動画取得部３０２は、複数の監視カメラのそれぞれからネットワークを介して動画を取得する。動画取得部３０２は、取得された動画を生動画保持部３１４に格納する。第１監視カメラ１８から取得された動画を第１動画、第２監視カメラ２０から取得された動画を第２動画と称す。以下では第１動画と第２動画とを解析することで動体追跡を行う場合を説明するが、代替的にまたは追加的に他の監視カメラからの動画を使用して動体追跡を行う場合にも、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。
【００２２】
イベント検出部３０４は、動画取得部３０２によって取得された第１動画および第２動画を解析し、そのそれぞれからイベントを検出する。イベントは、自動ドア１４が開く瞬間と、閉じる瞬間と、を含む。前者を開イベント、後者を閉イベントと称す。イベント検出部３０４は、オブジェクト認識部３１８と、イベントフレーム特定部３２０と、を含む。
【００２３】
オブジェクト認識部３１８は、第１動画の各フレームからオブジェクトすなわち自動ドア１４に対応する画像領域を検出する。この検出処理は、公知の画像認識技術を使用して実現されてもよい。例えば、オプティカルフローにより画像全体の動き領域を算出し、そのうち、左右に周期性のある動きを示す領域を自動ドア１４に対応する画像領域として推定してもよい。あるいはまた、監視カメラは固定されており、自動ドア１４に対応する画像領域は頻繁に変化するものではないため、手動で自動ドア１４に対応する画像領域を設定してもよい。オブジェクト認識部３１８は、第２動画についても上記と同様の処理を行い、第２動画の各フレームから自動ドア１４に対応する画像領域を検出する。
【００２４】
イベントフレーム特定部３２０は、オブジェクト認識部３１８における検出結果に基づいて、第１動画から開イベントに対応する開イベントフレームＥｈと閉イベントに対応する閉イベントフレームＥｔとを特定する。イベントフレーム特定部３２０は、第２動画についても同様に開イベントフレームＥｈと閉イベントフレームＥｔとを特定する。開イベントフレームＥｈは、自動ドア１４の開イベントが発生したときのフレームであり、自動ドア１４の閉状態が映るフレームと開状態が映るフレームとの境界に位置するフレームであってもよい。閉イベントフレームＥｔは、自動ドア１４の閉イベントが発生したときのフレームであり、自動ドア１４の開状態が映るフレームと閉状態が映るフレームとの境界に位置するフレームであってもよい。イベントフレーム特定部３２０は、自動ドアの閉状態の画像、開き始めたときの画像、および閉まる直前の画像を別途蓄積し、教師付き学習処理により上記の開／閉イベントフレームの特定を実現してもよい。なお、上記の開／閉イベントの他に、自動ドア１４が開ききった瞬間や閉じ始める瞬間等をイベントとして利用してもよい。
【００２５】
イベントフレーム特定部３２０は、第１動画から特定された開イベントフレームＥｈにそれが開イベントフレームＥｈであることを示す識別子を付与する。イベントフレーム特定部３２０は、第１動画から特定された閉イベントフレームＥｔにそれが閉イベントフレームＥｔであることを示す識別子を付与する。イベントフレーム特定部３２０は、識別子が付与された第１動画を処理動画保持部３１６に格納する。あるいはまた、イベントフレーム特定部３２０は、第１動画のどのフレームが開イベントフレームＥｈであり、どのフレームが閉イベントフレームＥｔであるかを示すテーブルを別途生成し、生成されたテーブルを第１動画に関連付けて処理動画保持部３１６に格納してもよい。イベントフレーム特定部３２０は、第２動画についても同様な処理を行い、識別子が付与された第２動画を処理動画保持部３１６に格納する。
【００２６】
時刻同期部３０６は、イベントフレーム特定部３２０によって特定されたイベントフレームに基づいて、第１動画と第２動画との間の時刻のズレを補正する。例えば時刻同期部３０６は、第１動画の開イベントフレームＥｈの時刻と第２動画の開イベントフレームＥｈの時刻とが合うように、第１動画全体を時間方向にオフセットしてもよいし、フレームを削除したり新たなフレームを追加したりしてもよい。時刻同期部３０６は、補正後の第１動画および第２動画を処理動画保持部３１６に格納する。
【００２７】
図４は、処理動画保持部３１６に保持される第１動画および第２動画のフレーム構成を示す模式図である。第１動画は、開イベントフレームＥｈおよび閉イベントフレームＥｔを含む一連のフレームを含む。第１動画の開イベントフレームＥｈは左から３番目のフレームであり、閉イベントフレームＥｔは１１番目のフレームである。第２動画の開イベントフレームＥｈは左から３番目のフレームであり、閉イベントフレームＥｔは１２番目のフレームである。図４に示される第１動画および第２動画は、開イベントフレームＥｈの時刻が両者で揃うように補正されている。
【００２８】
以下、図３および図４を参照して説明する。フレーム数調整部３０８は、第１動画から開イベントと閉イベントとの間の期間に対応する第１部分を特定し、第２動画から同じ期間に対応する第２部分を特定し、第１部分および第２部分のうちの一方に含まれるフレームの数に応じて、他方に含まれるフレームの数を変更する。フレーム数調整部３０８は、部分特定部３２２と、フレーム構成解析部３２４と、調整要否判定部３２６と、調整内容決定部３２８と、フレーム構成変更部３３０と、を含む。
【００２９】
部分特定部３２２は、イベントフレーム特定部３２０によって付与された識別子に基づいて、第１動画のなかから開イベントに対応する開イベントフレームＥｈと閉イベントに対応する閉イベントフレームＥｔとを特定する。部分特定部３２２は、特定された開イベントフレームＥｈと閉イベントフレームＥｔとに基づいて調整対象となる第１部分４０２を特定する。例えば部分特定部３２２は、開イベントフレームＥｈを始点とし閉イベントフレームＥｔを終点とするフレーム群を第１部分４０２として特定する。図４の例では、第１部分４０２は３番目のフレームから１１番目のフレームまでを含む。第１部分４０２は開イベントフレームＥｈと閉イベントフレームＥｔとで挟まれるフレーム群を含む。部分特定部３２２は、同様の処理により第２動画から調整対象となる第２部分４０４を特定する。図４の例では、第２部分４０４は３番目のフレームから１２番目のフレームまでを含む。
【００３０】
図５は、第１動画から特定された第１部分４０２および第２動画から特定された第２部分４０４を示す模式図である。以下、図３および図５を参照して説明する。フレーム構成解析部３２４は、部分特定部３２２によって特定された第１部分４０２および第２部分４０４のフレーム構成を解析する。フレーム構成解析部３２４は、第１部分４０２に含まれるフレームの数と、各フレーム間隔と、を算出する。フレーム構成解析部３２４は、第２部分４０４に含まれるフレームの数と、各フレーム間隔と、を算出する。図５の例では、フレーム構成解析部３２４は第１部分４０２に含まれるフレームの数として９を算出し、第２部分４０４に含まれるフレームの数として１０を算出する。
【００３１】
調整要否判定部３２６は、フレーム数の調整が必要か否かを判定する。調整要否判定部３２６は、フレーム構成解析部３２４によって算出された第１部分４０２のフレームの数と第２部分４０４のフレームの数とが等しい場合はフレーム数の調整は不要と判定する。調整要否判定部３２６は、それらの数が異なる場合はフレーム数の調整が必要と判定する。なお、調整要否判定部３２６における判定の基準は、等しいかそうでないかに限られず、差分が所定の範囲に収まっているか否か等の他の基準が採用されてもよい。
【００３２】
調整内容決定部３２８は、調整要否判定部３２６においてフレーム数の調整が必要と判定された場合、第２部分４０４に含まれるフレームの数と第１部分４０２に含まれるフレームの数とが等しくなるように調整の内容を決定する。調整内容決定部３２８は、（１）第１部分４０２、第２部分４０４のどちらを変更するか、（２）既存のフレームを除くか新たなフレームを追加するか、（３）変更の場所、を決定する。例えば、調整内容決定部３２８はまず最小フレーム間隔と最大フレーム間隔とに基づいて（２）を決定する。（２）が決まると（１）、（３）は自動的に決まる。図５の例で説明すると、調整内容決定部３２８はまずフレームの少ない第１部分４０２の最大フレーム間隔Δｍａｘと、フレームの多い第２部分４０４の最小フレーム間隔Δｍｉｎと、を取得する。調整内容決定部３２８は次に、最小フレーム間隔Δｍｉｎ、最大フレーム間隔Δｍａｘのうちフレーム間隔の平均値Δａｖｅからより離れている方を選択する。Δｍａｘ−Δａｖｅ＞Δａｖｅ−Δｍｉｎの場合、調整内容決定部３２８は最大フレーム間隔Δｍａｘを選択し、新たなフレームの追加を選択し、該フレームを追加する場所として最大フレーム間隔Δｍａｘを有するフレーム間を選択する。Δｍａｘ−Δａｖｅ＜Δａｖｅ−Δｍｉｎの場合、調整内容決定部３２８は最小フレーム間隔Δｍｉｎを選択し、既存のフレームの除去を選択し、最小フレーム間隔Δｍｉｎを有する２つのフレームのうちの一方を除去対象として選択する。以上の選択方法は、フレーム間隔のばらつきを抑えるように調整内容を決定することに対応する。あるいはまた、調整内容決定部３２８は、上記の（１）、（２）、（３）をランダムに決定してもよい。
【００３３】
フレーム構成変更部３３０は、調整内容決定部３２８によって決定された内容でフレーム数の調整を実行する。フレーム構成変更部３３０は、調整内容決定部３２８によって第１部分４０２に新たなフレームを加えることが決定された場合、第１部分４０２の最大フレーム間隔Δｍａｘを有するフレーム間（９番目のフレームと１０番目のフレームとの間）に新たなフレームを挿入する。この際、フレーム構成変更部３３０は、新たなフレームとして９番目または１０番目のフレームの複製を使用してもよいし、９番目および１０番目のフレームに基づいて新たなフレームを合成してもよい。フレーム構成変更部３３０は、調整内容決定部３２８によって第２部分４０４からフレームを除くことが決定された場合、第２部分４０４の最小フレーム間隔Δｍｉｎを有する２つのフレーム（９番目および１０番目のフレーム）のうちの一方を間引く。
【００３４】
フレームを追加する場合は情報を失わないので後の認識処理の精度が高まる一方、フレーム生成のための処理が必要となる。フレームを間引く場合はフレーム生成のための処理は不要であるが、間引いた分情報が失われる。
【００３５】
図６は、第２動画の第２部分４０４からフレームが間引かれた状態を示す模式図である。以下、図３および図６を参照して説明する。フレーム構成変更部３３０は、第２動画の第２部分４０４から１０番目のフレームを除去する。これにより、第１部分４０２のフレーム数と第２部分４０４のフレーム数とは９で同じになる。フレーム構成変更部３３０はさらに、フレーム間隔を均一にするための処理を行う。フレーム構成変更部３３０は、変更後の第１部分４０２および第２部分４０４を処理動画保持部３１６に格納する。
【００３６】
動体認識部３１０は、フレーム構成変更部３３０による変更の結果得られた第１部分４０２および第２部分４０４を処理動画保持部３１６から読み出す。動体認識部３１０は、第１部分４０２および第２部分４０４の各フレームに画像認識処理を行い、人１６などの動体を認識する。
【００３７】
動体追跡部３１２は、動体認識部３１０における画像認識結果に基づいて動体追跡を行う。動体追跡部３１２は、第１部分４０２に含まれるフレームの画像認識結果と、第２部分４０４に含まれる対応するフレームの画像認識結果と、を比較し、前者のフレームで認識された動体と後者のフレームで認識された動体とが同じか否かを判定する。動体追跡部３１２は、同じであると認識された動体の動きを第１部分４０２および第２部分４０４の両方に亘って追跡する。
【００３８】
以上の構成による動画処理装置１００の動作を説明する。図７は、動画処理装置１００における一連の処理を示すフローチャートである。動画処理装置１００は、ネットワークを介して第１監視カメラ１８および第２監視カメラ２０から、第１動画および第２動画を取得する（Ｓ７０２）。動画処理装置１００は、第１動画および第２動画から開イベントフレームＥｈおよび閉イベントフレームＥｔを特定する（Ｓ７０４）。動画処理装置１００は、ステップＳ７０４で特定された開イベントフレームＥｈまたは閉イベントフレームＥｔに基づいて第１動画および第２動画の時刻を同期させる（Ｓ７０６）。動画処理装置１００は、第１動画から開イベントフレームＥｈと閉イベントフレームＥｔとの間の期間に対応する第１部分４０２を特定し、第２動画から同期間に対応する第２部分４０４を特定する（Ｓ７０８）。動画処理装置１００は、第１部分４０２に含まれるフレームの数と、第２部分４０４に含まれるフレームの数と、を算出する（Ｓ７１０）。動画処理装置１００は、算出された２つの数が等しいか否か判定する（Ｓ７１２）。等しい場合（Ｓ７１２のＹ）、動画処理装置１００は第１部分４０２および第２部分４０４を使用して動体認識・追跡処理を行う（Ｓ７１８）。等しくない場合（Ｓ７１２のＮ）、動画処理装置１００は、どちらの部分のどこに／どこからフレームを追加／削除するか等の変更内容を決定する（Ｓ７１４）。動画処理装置１００は、ステップＳ７１４で決定された内容に従ってフレームを追加／削除する（Ｓ７１６）。動画処理装置１００は、フレーム数が等しくなった第１部分４０２および第２部分４０４を使用して、動体認識・追跡処理を行う（Ｓ７１８）。
【００３９】
上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。
【００４０】
本実施の形態に係る動画処理装置１００によると、監視カメラの設置間隔が比較的広い環境下でも、自動ドア１４などの信頼できる物体の動きを検知することでより精度の高い映像の同期を実現できる。加えて、映像のフレームレートがフレーム欠損等により一定ではない場合でも、イベント間のフレーム数が同じになるよう調整されるので、フレームベースの画像認識・追跡処理の精度を維持するか高めることができる。
【００４１】
以上、実施の形態に係る動画処理装置１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。
【００４２】
実施の形態では、自動ドア１４の開閉をイベントとして定義する場合について説明したが、これに限られず、自動ドア１４以外のオブジェクトの状態の変化をイベントとして使用してもよい。例えばＬＥＤの点滅をイベントとして使用してもよい。ＴＶ受像機の画面やＰＣのディスプレイの画面が使用されてもよい。あるいはまた、オブジェクトではなく、施設１２の照明のオンオフが使用されてもよい。この場合、動画において背景の輝度が明から暗に変わる瞬間および暗から明に変わる瞬間をイベントとして定義してもよい。
【００４３】
なお、自動ドア１４の開閉は不規則に発生するので、自動ドア１４の開イベントおよび閉イベントは不規則に発生する一連の開閉イベントに含まれる。上記の実施の形態では、イベントが発生する間隔は不規則であることが好ましい。規則的に発生する場合はその周期分だけ時刻がずれた場合に適切な対応が必要となるからである。
【００４４】
実施の形態では、時刻同期部３０６により時刻同期が行われる場合について説明したが、これに限られず、時刻同期は行われなくてもよい。
【００４５】
実施の形態では、フレームの数を揃える場合について説明したが、これに限られず、フレーム以外の任意の画像処理の単位の数が揃えられてもよい。
【００４６】
実施の形態において、第１部分４０２において検出されたイベントが第２部分４０４において検出できない場合は、当該イベントに関してフレーム数の同期は行われなくてもよい。
【００４７】
実施の形態では、フレームを追加する場合、新たなフレームを生成して追加する場合について説明したが、これに限られない。例えば、第１部分４０２および第２部分４０４が後に人物の認識および追跡処理に使用されるのであれば、新たなフレームを生成する代わりに、該新たなフレームで人物が認識されるであろう位置を算出し、その算出結果を保持してもよい。この場合、処理量を低減できる。
【００４８】
実施の形態では、監視カメラは施設１２の壁や天井に固定される場合について説明したが、これに限られず、カメラは監視ロボット等に搭載されて移動してもよいし、スマートフォン等の携帯端末のカメラからの動画が利用されてもよい。
【００４９】
実施の形態では、複数の監視カメラの時刻は同期されている場合について説明したが、これに限られず、インターネットに接続されていないＬＡＮ環境下のカメラからの動画や、モバイルやロボットカメラからの動画の処理に、実施の形態に係る技術的思想を適用してもよい。
【符号の説明】
【００５０】
１０  監視システム、  １２  施設、  １４  自動ドア、  １００  動画処理装置。
【図１】
0006576287.tif 000002
【図２】
0006576287.tif 000003
【図３】
0006576287.tif 000004
【図４】
0006576287.tif 000005
【図５】
0006576287.tif 000006
【図６】
0006576287.tif 000007
【図７】
0006576287.tif 000008