(57)【要約】【課題】データ量を抑えて、カメラによって撮影された人物の行動を容易に確認できる映像を再生できるようにする。【解決手段】監視カメラ間を移動するのに必要な時間に着目し、監視カメラに映ると思われる時刻を予測した到達予測時刻を監視カメラごとに設定する。そして、選択シーンを撮影した監視カメラと異なる監視カメラにおいて、その時刻を経過した時間の映像には、不審者が写っている可能性があるため、注目時間内の映像部分を取得する。一方、到達予測時刻が注目時間内でない場合は、映像確認者が注目したい時間内には不審者は映っていないと判定し、映像部分を取得しないようにする。【選択図】図２
2014241472.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置により撮影された映像の中からシーンを選択する選択手段と、
前記複数の撮像装置の位置関係を認識する認識手段と、
前記認識手段によって認識された位置関係に基づいて、前記選択手段によって選択されたシーンに関連する映像部分を、前記複数の撮像装置により撮影された映像の中から決定する決定手段と、
前記決定手段によって決定された映像部分を所定の順序に並べて再生する再生手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記選択手段によって選択されたシーンを含む映像を撮影した撮像装置との位置関係に基づいて、前記映像部分を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記選択手段によって選択されたシーンを含む映像を撮影した撮像装置から他の撮像装置まで移動するのにかかる時間に基づいて、前記映像部分と決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記再生手段は、前記選択手段によって選択されたシーンとの時間差に応じた順序に前記映像部分を並べて再生することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、前記映像部分を１つ以上のフラグメントとして決定し、
前記再生手段は、前記フラグメントの単位で並べて再生することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記映像部分は、識別子によって表現されたフラグメントであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記識別子はＵＲＩフラグメント形式であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段によって決定された映像部分の中から、ユーザの操作に応じて選択された映像部分のプレイリストを作成する作成手段をさらに備え、
前記再生手段は、前記作成手段によって作成されたプレイリストに従って、撮影時刻で同期しながら前記選択された映像部分を一連の映像として再生することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記決定手段によって決定された映像部分に係るプレイリストを保存する保存手段をさらに備え、
前記決定手段は、前記シーンが前記選択手段によって再選択された場合に、前記保存手段に保存されたプレイリストに従って前記映像部分を決定することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
複数の撮像装置により撮影された映像の中からシーンを選択する選択工程と、
前記複数の撮像装置の位置関係を認識する認識工程と、
前記認識工程において認識された位置関係に基づいて、前記選択工程において選択されたシーンに関連する映像部分を、前記複数の撮像装置により撮影された映像の中から決定する決定工程と、
前記決定工程において決定された映像部分を所定の順序に並べて再生する再生工程とを備えることを特徴とする画像処理方法。
【請求項１１】
複数の撮像装置により撮影された映像の中からシーンを選択する選択工程と、
前記複数の撮像装置の位置関係を認識する認識工程と、
前記認識工程において認識された位置関係に基づいて、前記選択工程において選択されたシーンに関連する映像部分を、前記複数の撮像装置により撮影された映像の中から決定する決定工程と、
前記決定工程において決定された映像部分を所定の順序に並べて再生する再生工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数のカメラで撮影された映像から特定のシーンを抽出するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラのシステムにおいて、監視カメラに動体検知機能を搭載させて不審者を検知する技術があり、不審者を検知した際に、異常検知の内容を管理者にメールなどで通知する技術が知られている。その際に、撮影した映像をデータサーバへ保存し、後から再生してその内容を確認することができるようにしている。監視映像を再生して内容を確認する技術として、特許文献１には、複数のカメラで撮影した画像を保存し、指定された時間に基づいて各カメラの映像を同期再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１６３９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
不審者の行動を把握するためには、不審者を検知した時点の映像だけでなく、周辺映像を確認して追跡することが必要である。特許文献１に記載の技術は、各カメラの映像を同期しながら再生するにより確認時の一覧性を向上するが、取得して確認する映像データの量が膨大である。
【０００５】
本発明は前述の問題点に鑑み、データ量を抑えて、カメラによって撮影された人物の行動を容易に確認できる映像を再生できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、複数の撮像装置により撮影された映像の中からシーンを選択する選択手段と、前記複数の撮像装置の位置関係を認識する認識手段と、前記認識手段によって認識された位置関係に基づいて、前記選択手段によって選択されたシーンに関連する映像部分を、前記複数の撮像装置により撮影された映像の中から決定する決定手段と、前記決定手段によって決定された映像部分を所定の順序に並べて再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、データ量を抑えて、カメラによって撮影された人物の行動を容易に確認できる映像を再生することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【図２】実施形態に係る情報処理装置の機能構成例を示すブロック図である。
【図３】実施形態の情報処理装置による一連の処理手順の一例を示すフローチャートである。
【図４】関連する映像フラグメントを探索する詳細な処理手順の一例を示すフローチャートである。
【図５】到達予測時刻および注目時間を説明するための図である。
【図６】取得対象映像部分をフラグメントに分割した例を示す図である。
【図７】映像フラグメントの一つを、仕様中のＵＲＩフラグメント形式とＵＲＩクエリ形式とで表現した場合の例を示す図である。
【図８】映像フラグメントを取得して表示する詳細な処理手順の一例を示すフローチャートである。
【図９】追跡映像としてチェックされた映像フラグメントの一例を示す図である。
【図１０】映像確認者がシーンを再選択して映像を確認した後に、再び元のシーンを選択して映像を確認したい場合の流れを説明するための図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る情報処理装置（画像処理装置）１００のハードウェア構成例を示すブロック図である。なお、情報処理装置１００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置で機能を分割して実現してもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続されているものとする。
【００１０】
図１において、ＣＰＵ１０１は、情報処理装置１００全体を制御する。ＲＯＭ１０２は、変更を必要としないプログラムやパラメタを格納するメモリである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置１０４は、情報処理装置１００に固定して設置された記憶装置であり、例えばハードディスク、メモリカード、着脱可能なフレキシブルディスク、光ディスクなどである。
【００１１】
入力Ｉ／Ｆ１０５は、ポインティングデバイスやキーボードなどの入力デバイスとのインタフェースである。ネットワークＩ／Ｆ１０６は、インターネットなどのネットワーク回線に接続するネットワークインタフェースである。表示装置１０７は、映像などを表示するための装置である。システムバス１０８は、情報処理装置１００の内部の各ユニットを通信可能にするバスである。また、情報処理装置１００は、ネットワーク１１１を介して複数の撮像装置（監視カメラ）１１０と接続されており、これらの監視カメラで撮影された映像が情報処理装置１００に入力され、外部記憶装置１０４に記憶される。
【００１２】
本実施形態では、効率良く不審者の映像を生成する手順について説明する。本実施形態では、別々な場所を撮影している複数のカメラで監視を行っていることを前提とし、撮影した映像は外部記憶装置１０４に保存され、後から映像ストリームを再生できるようにしている。
【００１３】
図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。なお、本機能を実現するためのプログラムは、ＲＯＭ１０２上に格納されてもよいし、外部装置などから供給されてもよい。
図２において、映像シーン選択部２０１は、ユーザである映像確認者の操作に応じて注目する映像シーンを選択する選択部である。カメラ相関位置認識部２０２は、監視カメラ間の撮影位置関係を認識するためのものである。関連映像部分決定部２０３は、映像シーン選択部２０１により選択された映像シーンに対し、関連性のある他の映像部分を検出する。映像部分取得部２０４は、関連映像部分決定部２０３により決定された映像部分を、保存された撮影映像から取得する。映像表示部２０５は、映像部分取得部２０４により取得した映像を再生し、表示装置１０７に表示するための表示制御部である。
【００１４】
図３は、本実施形態の情報処理装置１００による一連の処理手順の一例を示すフローチャートである。以下、図３に沿って説明する。
まず、Ｓ３０１において、映像確認者は、監視映像中に不審者が映っていることを発見した場合に、不図示の入力デバイスを操作することにより入力Ｉ／Ｆ１０５から信号を入力し、映像シーン選択部２０１は、該当シーンを選択する。そして、Ｓ３０２において、関連映像部分決定部２０３は、映像シーン選択部２０１によって選択された映像シーン（選択シーン）において関連する映像フラグメントの探索を開始する。
【００１５】
図４は、図３のＳ３０２において、関連映像部分決定部２０３が関連する映像フラグメントを探索する詳細な処理手順の一例を示すフローチャートである。以下、図４に沿って説明する。
まず、Ｓ４０１において、各監視カメラで撮影されたすべての映像に対し、選択シーンに関連性のある映像があるかどうかをチェックしたか否かを判定する。この判定の結果、全ての映像に対しチェックした場合にはＳ４０４に進み、未確認の映像が存在する場合にはＳ４０２へ進む。
【００１６】
Ｓ４０２においては、チェックしている映像の中で、到達予測時刻が注目時間内かどうかを判定する。ここで、到達予測時刻および注目時間について説明する。
【００１７】
図５は、到達予測時刻および注目時間を説明するための図である。図５（ａ）に示す時刻Ｔは第１のカメラで撮影された選択シーンの撮影時刻である。撮影時刻の情報は、再生された映像から取得することができ、映像シーン選択部２０１が関連映像部分決定部２０３に選択シーンを通知する際にその撮影時刻の情報も通知する。また、図５のαは注目時間帯を表しており、映像確認者が、周辺映像として確認したい映像の時間帯を示す。本実施形態ではこの値があらかじめ設定されているものとする。
【００１８】
図５（ｂ）に示すカメラ位置の情報は、監視カメラが配置されている位置の情報を示しており、監視カメラ間を移動するのに必要な時間が示されている。例えば、第１のカメラと第２のカメラとの間の移動には、所要時間Δｔ１＝２分かかることを示している。また、第１のカメラと第３のカメラとの間の移動には、所要時間Δｔ２＝５分かかることを示している。さらに、第１のカメラと第４のカメラとの間の移動には、所要時間Δｔ３＝１０分かかることを示している。なお、このカメラ位置の情報は、カメラ相関位置認識部２０２により取得される情報であり、取得するタイミングとしては、図３のＳ３０１の処理の後であってもよく、予め外部記憶装置１０４に保持されていてもよい。
【００１９】
本実施形態では、カメラ位置の情報として時間で示されているが、監視カメラ間の距離や監視カメラが配置されているフロアと、距離やフロア当たりの通過時間との重みづけで示されてもよい。また、追跡する対象によって所要時間を変えてもよい。また、どちらの監視カメラから移動するかによって異なる所要時間を設定してもよい。
【００２０】
図５に示す時刻Ｔ±Δｔ１、Ｔ±Δｔ２、Ｔ±Δｔ３は、不審者が監視カメラに映ると思われる時刻を予測した到達予測時刻である。本実施形態では、撮影時刻Ｔに対し、カメラ位置情報のΔｔ１、Δｔ２、Δｔ３を加減した値を到達予測時刻としている。また、図５に示す時刻Ｔ−α、Ｔ＋αは、それぞれ注目開始時刻、終了時刻である。本実施形態では、撮影時刻Ｔに対し、注目時間帯を増減した値としているが、直前または直後のどちらかを長めに設定してもよい。
【００２１】
ここで、到達予測時刻が注目時間内でない場合は、映像確認者が注目したい時間内には不審者は映っていないと判定し映像部分を取得しないようにする。図５に示す例では、第４のカメラの映像は、到達予測時刻が注目時間内ではないので、映像部分を取得しないようにする。そして、それ以外の監視カメラの映像は、到達予測時刻と注目開始時刻および終了時刻との間の時間を取得対象映像部分として決定する。
【００２２】
このようにＳ４０２の判定の結果、到達予測時刻が注目時間内であり、取得対象映像部分がある場合は、Ｓ４０３において、取得対象の映像部分を設定し、映像フラグメントの単位に分割する。一方、Ｓ４０２の判定の結果、到達予測時刻が注目時間内でない場合は、そのままＳ４０１に戻る。
【００２３】
図６は、取得対象映像部分を映像フラグメントに分割した例を示す図である。なお、取得対象映像部分を映像フラグメントとして定義してもよいが、本実施形態では等間隔の時間で取得映像部分を分割して１つの映像フラグメントと定義する。また、分割する時間間隔は、時刻Ｔに近い時間では狭くして、遠い時間は広くするなど可変にしてもよい。
【００２４】
次に、Ｓ４０４において、分割した映像フラグメントに対して所定の優先度を設定するために、映像確認者の操作によりカメラ優先が選択されているかどうかを判定する。このカメラ優先は、例えば不審者が同じ場所から動きにくい場合や、同じ場所を行ったり来たりすることが多い場合などに選択される。この判定の結果、カメラ優先が選択されている場合はＳ４０５へ進み、そうでない場合はＳ４０６に進む。
【００２５】
Ｓ４０５においては、選択シーンに近いカメラから順に、高い優先度を映像フラグメントに付加する。本実施形態では、図６に示すように、まず第１のカメラの映像フラグメントに対し、時刻Ｔに近い順序に優先度が付加される。そして、次に第２のカメラ、第３のカメラの順に優先度が付加される。
【００２６】
一方、Ｓ４０６においては、選択シーンに近い時間から順に、高い優先度を映像フラグメントに付加する。本実施形態では、図６に示すように、監視カメラの位置が遠くても時刻Ｔとの時間差が小さい撮影時刻の映像フラグメントであれば高い優先度が付加される。この優先度付けは、映像確認者がより早く不審者の映像を確認できるようにするために用いられる。
【００２７】
次に、図３のＳ３０３において、関連映像部分決定部２０３は、映像フラグメントを検出したかどうかを確認する。この確認の結果、映像フラグメントを検出した場合は、Ｓ３０４へ進み、そうでない場合は処理を終了する。Ｓ３０４においては、映像部分取得部２０４は、検出した映像フラグメントを取得する。そして、映像表示部２０５は、取得した映像フラグメントを再生して表示する。本実施形態では、Ｗ３Ｃで標準化中のMedia Fragments URIの仕様に従って取得する。なお、Media Fragments URIの仕様に従って取得するためには、映像フラグメントをMedia Fragments URIの形式で表現する必要がある。
【００２８】
図７は、本実施形態において、映像フラグメントの一つを、仕様中のＵＲＩフラグメント形式とＵＲＩクエリ形式との識別子で表現した場合の例を示す図である。どちらの形式の識別子を使用して取得するかは仕様に従うものとする。そして、取得した映像フラグメントは、映像表示部２０５により表示装置１０７に表示される。
【００２９】
図８は、図３のＳ３０４において、映像フラグメントを取得して表示する詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ８０１において、映像部分取得部２０４は、表示する映像フラグメント数が表示上限数以内かどうかを判定する。この判定の結果、上限数に達している場合は、Ｓ８０２において再生および表示が終了するのを待つ。一方、上限数に達していない場合は、Ｓ８０３において、映像部分取得部２０４は、未取得の映像フラグメントがあるかどうか確認する。この確認の結果、未取得の映像フラグメントがある場合は、Ｓ８０４において、映像部分取得部２０４は、高優先度の映像フラグメントを取得し、映像表示部２０５は、取得した映像フラグメントを再生して表示装置１０７に表示する。一方、未取得の映像フラグメントがない場合は、処理を終了する。
【００３０】
なお、上限数については、例えば表示装置１０７の画面サイズに応じて決められている。本実施形態では、上限数まで可能な限り映像フラグメントを取得して再生表示する。また、本実施形態では、映像フラグメントの取得と再生表示とを連動して行っているが、連動せず非同期に行ってもよい。
【００３１】
以上のように本実施形態によれば、カメラまでの到達時間を計算して不審者が撮影される可能性のある時間帯を予測し、複数のカメラで撮影された映像から関連する映像フラグメントを抽出して再生するようにした。これにより、各カメラの映像を同期しながら再生する場合に比べて、大幅にデータ量を抑えることができ、さらには不審者の追跡を行うことが容易な映像を表示することができる。
【００３２】
（第２の実施形態）
本実施形態では、監視カメラが撮影した映像を編集して不審者を追跡する映像ストリームを作成する方法について説明する。なお、本実施形態に係る情報処理装置の内部構成については図１および図２と同様である。また、基本的な処理の流れも第１の実施形態と同様である。本実施形態では、図３のＳ３０４において映像フラグメントを取得した後に再生表示するが、ここで、映像確認者は、表示された映像フラグメントを確認する。そして、不審者が映っている場合には、映像確認者の操作により追跡映像として映像フラグメントをチェックする。
【００３３】
図９は、追跡映像としてチェックされた映像フラグメントの一例を示す図である。本実施形態では、図９に示すようなタイムライン画面で、映像フラグメントを追跡映像としてチェックできるようにしている。さらに、チェックした映像フラグメントを外部記憶装置１０４に別途保存できるようにしている。映像フラグメントを保存する場合には、図９に示すような構造化文書形式のプレイリストを作成して保存する。各映像フラグメントは、関連映像部分決定部２０３により、図７に示すようなＵＲＩ形式で表されている。そこで、図９に示すように、関連映像部分決定部２０３は、撮影時刻順に映像フラグメントのＵＲＩを並べて、プレイリストを作成する。
【００３４】
このように本実施形態の情報処理装置１００は、図９に示す構造化文書形式のプレイリストを読み出し、撮影時刻で同期しながら、各映像フラグメントを順次再生することにより、不審者の追跡映像を表示することができる。以上のようにして、映像確認者の操作に応じてカメラ映像を編集して、不審者を追跡する映像ストリームを作成することができる。
【００３５】
また、映像確認者が様々なシーンを見ながら編集したい場合は、図１０に示すような仕組みを適用してもよい。図１０は、映像確認者がシーンを再選択し、映像を確認した後に、再び元のシーンを選択して映像を確認したい場合の流れを説明するための図である。映像フラグメントを順に表示している間に、映像確認者の操作により別のシーン（Ｔ２）が再選択された場合には、Ｓ３０２へ遷移する前に関連映像部分決定部２０３は、図１０に示すようなプレイリストをＲＡＭ１０３等に保存しておく。各映像フラグメントは、関連映像部分決定部２０３により、図７に示すようなＵＲＩ形式で表されている。そこで、図１０に示すように、付加された優先度順に映像フラグメントＵＲＩを並べて、プレイリストとして保存する。再び元のシーンを再選択して映像を確認したい場合は、図１０に示す構造化文書を読み出し、元の状態を復元することができる。
【００３６】
以上のように本実施形態によれば、さらに不審者が登場するシーンの多い映像ストリームを容易に作成することができる。
【００３７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３８】
２０１  映像シーン選択部
２０２  カメラ相関位置認識部
２０３  関連映像部分決定部
２０４  映像部分取得部
２０５  映像表示部
【図１】
2014241472.tif 000003
【図２】
2014241472.tif 000004
【図３】
2014241472.tif 000005
【図４】
2014241472.tif 000006
【図５】
2014241472.tif 000007
【図６】
2014241472.tif 000008
【図７】
2014241472.tif 000009
【図８】
2014241472.tif 000010
【図９】
2014241472.tif 000011
【図１０】
2014241472.tif 000012