(57)【要約】      （修正有）【課題】動画像を再生しながら、動体の動きが速い場合でも、映像中の動体を選択する操作を容易とする。【解決手段】情報処理装置は、表示装置１０６に表示される動画像中のオブジェクトを選択する操作者による入力を受け付ける受付部１１１と、受付部１１１によって受け付けられた入力に基づき、前記オブジェクトを選択する選択操作が行われることを予測した結果に応じて、前記動画像を停止することなく、前記動画像の再生速度を制御する制御部１１３とを備える。【選択図】図１
2020022127.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に表示される動画像中のオブジェクトを選択する操作者による入力を受け付ける受付手段と、
前記受付手段によって受け付けられた入力に基づき、前記オブジェクトを選択する選択操作が行われることを予測した結果に応じて、前記動画像を停止することなく、前記動画像の再生速度を制御する制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
撮像装置によって撮影される動画像を取得する取得手段を更に備え、
前記制御手段は、前記取得手段によって取得される前記動画像を前記表示装置に再生させ、前記選択操作が行われることを予測した結果に応じて、前記動画像を停止することなく、前記動画像の再生速度を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段によって取得される前記動画像から動体を検出する検出手段を更に備え、
前記制御手段は、前記受付手段によって受け付けられた入力に基づき、前記表示装置に再生される前記動画像上で、前記検出手段によって検出された動体を選択する選択操作が行われることを予測した結果に応じて、前記動画像の再生速度を制御する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、
前記検出手段によって検出された動体のいずれも選択されていない場合、前記受付手段によって受け付けられた入力に基づき、前記動体を選択する選択操作が行われることを予測されたことに応じて、前記動画像の再生速度を減速させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記制御手段は、前記検出手段によって検出されている動体の量、前記動体のサイズ、前記動体の移動速度、前記動体の注目度、前記動体の位置の少なくともいずれかに基づいて、前記動画像の再生速度を減速させる減速量を決定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記制御手段は、前記検出手段によって検出されている動体のいずれも選択されていない場合、前記検出手段によって検出されている動体の量が少なくとも所定の基準よりも多いことに応じて、前記動画像の再生速度をさらに減速させることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記制御手段は、前記検出手段によって検出されている動体のいずれも選択されていない場合、前記検出手段によって検出されている動体のサイズが少なくとも所定の基準よりも小さいことに応じて、前記動画像の再生速度をさらに減速させることを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
前記制御手段は、前記検出手段によって検出された動体のいずれも選択されていない場合、前記検出手段によって検出されている動体の移動速度が少なくとも所定の基準よりも速いことに応じて、前記動画像の再生速度をさらに減速させることを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記制御手段は、前記検出手段によって検出された動体のいずれも選択されていない場合、所定の定義に従って前記検出手段によって前記検出手段によって検出されている動体に付与される注目度が、少なくとも所定の基準よりも大きいことに応じて、前記動画像の再生速度をさらに減速させることを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記検出手段によって検出された動体のいずれも選択されていない場合、前記検出手段によって前記検出手段によって検出されている動体の前記位置から前記動体の進行方向に存在する前記表示装置の画面端までの距離が、少なくとも所定の基準よりも小さいことに応じて、前記動画像の再生速度をさらに減速させることを特徴とする請求項５乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記制御手段は、
前記受付手段により、前記表示装置において再生される前記動画像上で、前記検出手段によって検出された動体を選択する選択操作が受け付けられたことに応じて、前記動画像の再生速度を減速された状態から加速させることを特徴とする請求項４乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記取得手段によって取得された動画像を記憶する記憶手段を更に備え、
前記制御手段は、前記受付手段によって受け付けられた入力に基づき、前記表示装置に再生される前記動画像上で、前記動画像中のオブジェクトを選択する選択操作が行われることを予測されない間は、前記取得手段によって取得されるライブ映像を前記表示装置に再生させ、
前記受付手段によって受け付けられた入力に基づき、前記表示装置に再生される前記動画像上で、前記選択操作が行われることを予測されたことに応じて、前記表示装置に再生させる動画像を前記記憶手段に記憶された動画像に切り替えて、該動画像の再生速度を制御することを特徴とする請求項２乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記制御手段は、前記表示装置に再生されている前記記憶手段に記憶された動画像上で、前記受付手段により、前記動画像中のオブジェクトを選択する選択操作が行われることを予測されなくなったことに応じて、前記表示装置に再生させる動画像をライブ映像に切り替えることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
情報処理装置の制御方法であって、
受付手段により、表示装置に表示される動画像中のオブジェクトを選択する操作者による入力を受け付ける受付工程と、
制御手段により、受け付けられた前記入力に基づき、前記オブジェクトを選択する選択操作が行われることを予測した結果に応じて、前記動画像を停止することなく、前記動画像の再生速度を制御する制御工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項１５】
コンピュータを、請求項１に記載の情報処理装置として機能させるプログラム。
【請求項１６】
請求項１５に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を再生する技術に関する。
【背景技術】
【０００２】
近年、ネットワークカメラとコンピュータとを用いたデジタルモニタリングシステムの導入が急速に進んでいる。このようなシステムはネットワークカメラ、撮影された映像（動画像）を録画する録画装置、ライブ映像や録画映像を再生するビューワから構成される。操作者は、ビューワを見ることで、遠隔地で発生する事象をリアルタイムに確認することができる。特許文献１では、映像中で所定の事象が発生したことを検知したら、その時点の静止画を操作者に提示するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５５６０１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルモニタリングシステムのビューワには、映像に写る任意のオブジェクト（映像中のオブジェクト）を操作者に選択させ、選択されたオブジェクトに対して映像解析等の処理を行うものがある。映像中のオブジェクトが動く場合、操作者がオブジェクトを選択する操作は難しくなる。一方で特許文献１のシステムを適用し、動体が検知された時点での静止画を操作者に提示すると、選択する必要のない動体に対しても静止画が表示されたり、静止画を表示させている間に生じる事象を確認できなかったりする場合がある。
【０００５】
本発明は上記課題に鑑みてなされたものであり、映像を再生しながら映像中の動体を選択する操作を容易とすることを主な目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る情報処理装置は、表示装置に表示される動画像中のオブジェクトを選択する操作者による入力を受け付ける受付手段と、前記受付手段によって受け付けられた入力に基づき、前記オブジェクトを選択する選択操作が行われることを予測した結果に応じて、前記動画像を停止することなく、前記動画像の再生速度を制御する制御手段とを備える。
【発明の効果】
【０００７】
本発明によれば、映像を再生しながら映像中の動体を選択する操作が容易となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置１００のハードウェア構成及び機能構成を説明する図。
【図２】情報処理装置１００が実行する処理を表すフローチャート。
【図３】情報処理装置１００が実行する処理を表すフローチャート。
【図４】情報処理装置１００が実行する処理を表すフローチャート。
【図５】情報処理装置１００が実行する処理を表すフローチャート。
【図６】情報処理装置１００を含むデジタルモニタリングシステムの表示状態の例を表す図。
【図７】情報処理装置１００を含むデジタルモニタリングシステムの表示状態の例を表す図。
【図８】情報処理装置１００が行う映像解析処理の具体例を説明する図。
【図９】動体の種別と注目度の対応関係を定義する情報の例を表す図。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。
【００１０】
＜第１の実施形態＞
図１（ａ）は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、各種処理のための演算や論理判定などを行い、システムバス１０８に接続された各構成要素を制御する。この情報処理装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、情報処理装置１００に接続された外部記憶装置などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。
【００１１】
ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。
【００１２】
入力装置１０５は、情報処理装置１００へユーザの操作情報を取り込むためのデバイスである。例えば、マウスやタッチパネル等のポインティングデバイス、ジョイスティック、キーボード等を含む。表示装置１０６は、表示出力を行うデバイスであり、本実施形態ではディスプレイを備える。ただし、表示装置１０６はディスプレイに限らず、投影面に映像を表示するプロジェクタを備えてもよい。また、表示装置１０６は情報処理装置１００と有線あるいは無線で接続された外部デバイスでも構わない。通信インタフェース（Ｉ／Ｆ）１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態では、少なくとも無線ＬＡＮを介してネットワークカメラである撮像装置１０９に接続され、撮影された映像をリアタイムに受信する。なお、他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。撮像装置１０９は、ネットワークに接続された状態で設置され、所定のエリアを画角に収めた映像を撮影するネットワークカメラである。なお撮影される所定のエリアは、ネットワークカメラのパンチルト機能、あるいはズーム等を稼働させることにより有限の広がりを持つ場合もある。複数の撮像装置１０９が接続されていてもよい。
【００１３】
なお、本実施形態は、情報処理装置１００が、外部から接続されたネットワークカメラ（撮像装置１０９）の映像を処理する例を説明するが、情報処理装置１００に撮像装置１０９が含まれる構成であっても構わない。その場合、情報処理装置１００自体がネットワークカメラとして固定的に設置される一方、入力装置１０５及び表示装置１０６には例えば無線通信で情報処理装置１００と接続されるタブレット端末を利用することができる。それにより、操作者はタブレット端末を使った遠隔操作により、映像中の動体を選択する操作を行うことができる。以下本明細書では、映像中の動体を選択する操作を「動体の選択操作」と省略する場合がある。
【００１４】
図１（ｂ）は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、取得部１１０、受付部１１１、検出部１１２、制御部１１３、出力部１１４を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また、記憶部１１５はＲＡＭ１０３の機能部である。ただし、本発明実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。以下、各要素について説明する。
【００１５】
取得部１１０は、通信Ｉ／Ｆ１０７を介して、撮像装置１０９から所定のエリアを撮影して得られた映像を取得する処理を行う。本実施形態で取得される映像とは、複数のフレーム画像から構成される動画像である。受付部１１１は、入力装置１０５を介して操作者の入力を受け付ける。受付部１１１が受け付ける操作者の操作には、映像に写る動体をターゲットとして選択する操作が含まれる。ターゲットとして選択された動体は、例えば、その後撮影される映像の中で追跡されたり、過去に記録された映像の中から検索されたりといった処理に利用が可能となる。本実施形態では、マウスポインタの位置入力や、クリック等によって、動体を選択する操作が入力される。
【００１６】
検出部１１２は、映像に写る動体を映像解析処理により検出する。また、本実施形態の検出部１１２では、映像中に動体があるかを判定することができる。さらに、検出部１１２は、動体の移動速度、動体のサイズ、動体の量、動体の注目度、動体の位置を検出することができる。ただし、検出部１１２はこれらの映像解析処理のすべてを同時に備えている必要はなく、必要に応じて取り揃えればよい。例えば、取得部１１０が映像を取得した段階で、撮像装置１０９あるいは他の装置により映像解析処理が行われ、動体を検出した結果が得られている場合、その結果を示す情報を映像とともに取得し、利用することができる。制御部１１３は、取得部１１０によって取得された映像を、表示装置１０６に表示させる制御を行う。本実施形態の制御部１１３は得意、受付部１１１より入力される操作者の入力や検出部１１２の検出結果に応じて、映像の再生速度を制御する処理を行う。出力部１１４は、制御部１１３の結果に応じて、映像を再生する処理を行う。記憶部１１５は、取得部１１０で取得した映像を少なくとも一定期間保持する。
【００１７】
図２は、情報処理装置１００が実行する処理を表すフローチャートである。本実施形態では、所定のユーザインタフェースに対する操作により、撮像装置１０９によって撮影される映像の再生が指示されたことに応じて、図２のフローチャートの処理が開始され、周期的に繰り返し実行される。以下、各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。Ｓ２００では、取得部１１０は、撮像装置１０９から所定のエリアを撮影して得られるライブ映像を取得する。Ｓ２０１では、取得部１１０が、Ｓ２００で取得したライブ映像を記憶部１１５に逐次保持させる。本実施形態では、ライブ映像のうち、少なくとも直近の所定時間分（例えば５分間分）が録画再生可能であるように記憶部１１５に保持される。ただし、取得される映像の全編を別途ＨＤＤ１０４等に記憶する処理を加えてもよい。なお、ライブ映像の送受信及び記憶に係る映像データの圧縮等の処理は公知の技術を利用できるため、ここでは詳細な説明は省略する。本実施形態では、撮像装置１０９ごとに情報処理装置１００において設定される視聴モードによって、Ｓ２００で取得されるライブ映像またはＳ２０１で記録される録画映像のいずれかが、表示装置１０６が有する表示画面において再生される。以下では、ライブ映像を再生するモードをライブ映像再生モード、録画映像を再生するモードを録画映像再生モードと称する。モードの切り替えは、後述する再生速度制御処理において行われる。なお、ライブ映像再生モードの動作中は、Ｓ２００以降の工程の処理の進行状況に関わらず、取得部１１０によって取得される最新のライブ映像が表示画面に再生され続ける。
【００１８】
Ｓ２０２では、検出部１１２が、映像解析処理を行う。本実施形態では、映像の各フレームに対して動体検出を行う。さらに、動体の移動速度、サイズ、量、注目度、位置を検出する。なお、動体検出には背景差分法あるいはフレーム間差分法など、公知の技術を用いることができる。ここで検出される動体は、必ずしもフレーム毎に移動している必要はなく、撮像装置１０９が撮影する所定のエリアにおいて定義される背景より手前に存在するオブジェクトであれば静止したオブジェクトも含まれる。Ｓ２０３では、受付部１１１が、操作者による入力を受け付ける。操作者は、表示画面で再生されるライブ映像を視聴することで入力が必要となるタイミングを把握し、本実施形態により提供されるユーザインタフェースを利用して入力を行う。
【００１９】
Ｓ２０４では、制御部１１３が、再生速度の変更有無を判定する処理を行う。ただし、ここでの再生速度の変更、とは、等倍速（ライブ映像と同じ速度）に対して、加速あるいは減速を施すことをいう。本実施形態では、操作者の入力が、再生されている映像中の動体を選択しようとするものであった場合、選択操作が容易となるように、必要に応じて表示画面に表示されている映像の再生速度を低速に変更し、必要がなくなれば、加速することで等倍速に戻す。本ステップの詳細は、図３を参照して後述する。Ｓ２０４において、再生速度の変更あり、と判定された場合、処理はＳ２０５に進む。一方、Ｓ２０４において、再生速度の変更なしと判定された場合、処理はＳ２０６に進む。Ｓ２０６では、制御部１１３は、現在が録画映像モードであれば、ライブ映像再生モードに切り替える。そして、取得部１１０によって取得されるライブ映像を再生する。
【００２０】
Ｓ２０５において、制御部１１３は、情報処理装置１００で動作中の視聴モードがライブ映像再生モードであれば、録画映像再生モードに切り替える。Ｓ２０７では、制御部１１３が、録画映像の再生速度を、Ｓ２０５で決定された速度に変更する。Ｓ２０８では、制御部１１３が、再生中の録画映像の撮影時刻が、現在時刻に到達しているかを判定する。現在時刻に到達していれば処理はＳ２０６へ進む（Ｓ２０８でＹＥＳ）。再生中の録画映像の撮影時刻が、現在時刻に到達していなければ、処理を終了する（Ｓ２０８でＮＯ）。以上のような処理が、情報処理装置１００において再生モードの終了が指示されるまで周期的に繰り返される。
【００２１】
続いて、図３は、図２のＳ２０４で実行される再生速度決定処理の詳細を表すフローチャートである。Ｓ３００において、制御部１１３は、Ｓ２０３で受け付けられた入力に関する情報を基に、操作者によって、映像中の動体を選択する操作が入力されたかを判定する。本実施形態では、映像中の動体を選択する操作は「マウスを利用して、動体をクリックする操作」と定義される。映像中の動体を選択する操作が入力された場合、Ｓ３０１に進む（Ｓ３００でＹＥＳ）。映像中の動体を選択する操作はマウスによるクリックに限らず、例えば「タッチパネルを利用して、所望とする動体をタップする操作」と定義してもよい。Ｓ３０１では、制御部１１３は、選択された動体をターゲットとして特定し、記憶部１１５にその情報を保持する。また、表示装置１０６の画面において、選択されたターゲットを明示する。一方、映像中の動体を選択する操作が入力されていない場合、Ｓ３０２に進む（Ｓ３００でＮＯ）。
【００２２】
Ｓ３０２において、制御部１１３は、Ｓ２０３で受け付けられた入力に関する情報を基に、操作者によって、映像中の動体を選択する操作が行われることを予測されるかを判定する。本実施形態では、映像中の動体を選択する操作が、「マウスを利用して、動体をクリックする操作」と定義されている。そして、その前段階に生じる行為である「マウスを利用して、ポインタを映像中の動体に近づける」という入力があったことを、映像中の動体を選択する操作が行われることを予測されると判定する。つまりＳ３０２では、「マウスを利用してポインタを映像に重ねる」という入力があり、かつ、その時点で表示装置１０６に表示されるフレーム画像において、入力された位置（ポインタの位置）の周辺に、Ｓ２０２で検出された動体が存在するかを判定する。
【００２３】
入力された位置の周辺とは、入力された位置を基準とする所定の範囲内である。本実施形態では、入力がなされた表示画面上の位置を基準とする所定の範囲を、フレーム全体とする。つまり、動体が検出された映像上にポインタが重ねられたら、所定の範囲内に動体が存在すると判定する。ただし、例えば、映像を縦横にＮ等分した部分領域を定義し、動体が検出された部分領域内に操作者の入力があった場合に、所定の範囲内に動体が存在すると判定してもよい。また、Ｓ３０２では、「マウスを利用してポインタを映像に重ねる」という入力があった時点で、映像中の動体を選択する操作が行われることを予測されると判定してもよい。本実施形態のように所定の範囲をフレーム全体とする場合は、実質的に入力位置周辺の動体の有無の判定を行わない場合と同等となる。Ｓ３０３へ進む（Ｓ３０２でＹＥＳ）。映像中の動体を選択する操作が行われることを予測されれば、Ｓ３０８へ進む（Ｓ３０２でＮＯ）。なお映像中の動体を選択する操作が行われることを予測されない場合とは、図３のフローを前回処理した時には、動体の選択操作が行われることが予測されていたが、今回の処理では、動体の選択操作が行われることが予測されなくなった場合を含む。動体の選択操作が行われることを予測されるかを判定する条件は、再生中の映像に対して１回以上のタップ／クリック操作があったことや、タッチパネルが手やスタイラスの近接を検知したことと、入力位置周辺の動体の有無の組み合わせ等で定義してもよい。
【００２４】
Ｓ３０３において、制御部１１３は、動体の量に応じて、再生速度を変更する処理を行う。動体の量とは、映像に写っている人物であれば人数、自動車のような乗り物であれば台数がそれに当たる。ここで図４（ａ）は、Ｓ３０３の処理の詳細を示すフローチャートである。Ｓ４００において、制御部１１３は、ターゲットとなる１以上の動体が操作者によって既に選択済みかを判定する。選択済みでなければＳ４０１に進み（Ｓ４００でＮＯ）、選択されていればＳ４０２へ進む（Ｓ４００でＹＥＳ）。Ｓ４００の判定は、ポインタが重ねられている最新のフレームに基づいて行われる。Ｓ４０１において、制御部１１３は、ポインタが重ねられている映像で検出されている動体の数をＮ、所定の動体数の閾値をＴｎとしたとき、以下の式１が満たされれば、所定の減速量Ｖｄの分、再生速度を減速することを決定する。
Ｔｎ  ＜  Ｎ  ・・・（式１）
【００２５】
なお式１を利用する再生速度の決定方法は一例であり、検出されている動体の量に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、再生中の映像に未選択の動体の数が、少なくとも所定の基準より多い場合に、再生速度を減速させるように制御することで、ターゲットとすべき動体の動きを目視しながら、ポインタで追いかけクリックにより選択するという操作が容易となる。一方、Ｓ４０２において、制御部１１３は、ポインタが重ねられている映像の動体の数をＮ、所定の動体数の閾値をＴｎとしたとき、以下の式２が満たされれば、所定の加速量Ｖａの分、再生速度を加速することを決定する。
Ｔｎ  ＞  Ｎ  ・・・（式２）
【００２６】
なお式２を利用する再生速度の決定方法は一例であり、動体の量に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、ターゲットが１つでも選択された後、再生中の映像の動体の数が、少なくとも所定の基準より少ない場合は、再生速度を加速させる。ただし、本実施形態においては、Ｖｄ＞Ｖａである。これにより、動体を目視で識別することが容易な状況を維持した上で、録画映像がライブ映像に対して遅延しすぎないように制御することができる。ただし、加速後の再生速度には上限を定めておくことができる。上限を設けることで、再生速度が速すぎるために、目視で確認すべき映像の特徴を見落とすことは避けられる。
【００２７】
図３のフローチャートに戻り、Ｓ３０４において、制御部１１３は、動体のサイズに応じて、再生速度を変更する処理を行う。動体のサイズとは、動体が人物の場合は顔や全身が映像（フレーム画像）の中で占める大きさである。ここで図４（ｂ）は、Ｓ３０４の処理の詳細を示すフローチャートである。Ｓ４０３において、制御部１１３は、再生中の映像においてターゲットとなる１以上の動体が操作者によって既に選択済みかを判定する。選択済みでなければＳ４０４に進み（Ｓ４０３でＮＯ）、選択されていればＳ４０５へ進む（Ｓ４０３でＹＥＳ）。Ｓ４０３の判定は、ポインタが重ねられている最新のフレームに基づいて行われる。Ｓ４０４において、制御部１１３は、ポインタが重ねられている映像で最も大きい動体のサイズをＳ、所定の動体数の閾値をＴｓとしたとき、以下の式３が満たされれば、所定の減速量Ｖｄの分、再生速度を減速することを決定する。
Ｔｓ  ＞  Ｓ  ・・・（式３）
【００２８】
なお式３を利用する再生速度の決定方法は一例であり、動体のサイズに応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、映像に写る動体のサイズが少なくとも所定の基準より小さい場合に、再生速度を減速させるように制御する。これにより、ターゲットとすべき動体の動きを目視しながら、ポインタで追いかけクリックにより選択するという操作が容易となる。一方、Ｓ４０５において、制御部１１３は、ポインタが重ねられている映像で最も大きい動体のサイズをＳ、所定の動体数の閾値をＴｓとしたとき、以下の式４が満たされれば、所定の加速量Ｖａの分、再生速度を加速することを決定する。
Ｔｓ  ＜  Ｓ  ・・・（式４）
【００２９】
なお式４を利用する再生速度の決定方法は一例であり、動体のサイズに応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、ターゲットが１つでも選択された後、再生中の映像の動体のサイズが、少なくとも所定の基準より大きい場合は、再生速度を加速させる。これにより、動体を目視で識別することが容易な状況を維持した上で、録画映像がライブ映像に対して遅延しすぎないように制御することができる。
【００３０】
図３のフローチャートに戻り、Ｓ３０５においては、制御部１１３が、動体の移動速度に応じて、再生速度を変更する処理を行う。動体の移動速度は、連続するフレーム間（あるいは所定の時間間隔で取得されるフレーム間）で、同一の動体の位置の変化量に相当する。ここで図４（ｃ）は、Ｓ３０５の処理の詳細を示すフローチャートである。Ｓ４０６において、制御部１１３は、再生中の映像においてターゲットとなる１以上の動体が操作者によって既に選択済みかを判定する。選択済みでなければＳ４０７に進み（Ｓ４０６でＮＯ）、選択されていればＳ４０８へ進む（Ｓ４０６でＹＥＳ）。Ｓ４０６の判定は、ポインタが重ねられている最新のフレームに基づいて行われる。Ｓ４０７において、制御部１１３は、ポインタが重ねられている映像で最も移動速度の速い動体の速度をＶ、所定の動体の動体速度の閾値をＴｖとしたとき、以下の式５が満たされれば、所定の減速量Ｖｄの分、再生速度を減速することを決定する。
Ｔｖ  ＜  Ｖ  ・・・（式５）
【００３１】
なお式５を利用する再生速度の決定方法は一例であり、映像に写る動体の最も速い移動速度に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、映像に写る動体の最も速い移動速度が、少なくとも所定の基準より速い場合に、再生速度を減速させるように制御する。これにより、ターゲットとすべき動体の動きを目視しながら、ポインタで追いかけクリックにより選択するという操作が容易となる。一方、Ｓ４０８において、制御部１１３は、ポインタが重ねられている映像で最も移動速度の速い動体の速度をＶ、所定の動体の速度の閾値をＴｖとしたとき、以下の式６が満たされれば、所定の加速量Ｖａの分、再生速度を加速することを決定する。
Ｔｖ  ＞  Ｖ  ・・・（式６）
【００３２】
なお式６を利用する再生速度の決定方法は一例であり、映像に写る動体の移動速度に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、ターゲットが１つでも選択された後、再生中の映像の動体の移動速度が、少なくとも所定の基準より遅い場合は、再生速度を加速させる。これにより、動体を目視で識別することが容易な状況を維持した上で、録画映像がライブ映像に対して遅延しすぎないように制御することができる。
【００３３】
図３のフローチャートに戻り、Ｓ３０６において、制御部１１３は、動体の注目度に応じて、再生速度を制御する処理を行う。動体の注目度は、喧嘩をしている人物、ふらふらしている人物等、通常と異なる行動（異常行動）をとる動体に対して、どの程度の注意を払うべきかを予め定義したスコアである。ネットワークカメラが設置される環境毎に、緊急で対応すべき事案であれば注目度が高くなるように定義される。注目度の定義は、情報処理装置１００を含むシステムの設置時または運用中に適宜設定しなおすことが可能であってもよい。注目度は、例えば図９のように、動体の異常行動の内容を表す種別と対応付けて定義される。本実施形態では、Ｓ２０２の映像解析処理において、検出された動体が、予め定義された種別の異常行動をとるかを判定する。この処理には公知の異常検知技術を利用できるため、詳細な処理の説明は省略する。そして、例えば、図９で示すような動体の種別と注目度の対応関係を定義する情報を参照することによって、検出された動体に種別に応じた注目度を設定する。
【００３４】
図５（ａ）は、Ｓ３０６の処理の詳細を示すフローチャートである。Ｓ５００において、制御部１１３は、再生中の映像においてターゲットとなる１以上の動体が操作者によって既に選択済みかを判定する。選択済みでなければＳ５０１に進み（Ｓ５００でＮＯ）、選択されていればＳ５０２へ進む（Ｓ５００でＹＥＳ）。Ｓ５００の判定は、ポインタが重ねられている最新のフレームに基づいて行われる。Ｓ５０１において、制御部１１３は、最新のフレームにおいて、最も高い注目度を付与された動体の注目度Ｄ、所定の注目度の閾値をＴｄとしたとき、以下の式７が満たされれば、所定の減速量Ｖｄの分、再生速度を減速することを決定する。
Ｔｄ  ＜  Ｄ  ・・・（式７）
【００３５】
なお式７を利用する再生速度の決定方法は一例であり、動体の種別及び注目度に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、映像に写る動体が通常と異なる行動を起こしているために、注目すべき度合いが、少なくとも所定の基準より高い場合に、再生速度を減速させるように制御する。これにより、ターゲットとすべき動体を目視しながら、ポインタで追いかけクリックにより選択するという操作が容易となる。一方、Ｓ５０２において、制御部１１３は、最新のフレームにおいて、最も高い注目度を付与された動体の注目度をＤ、所定の動体の注目度の閾値をＴｄとしたとき、以下の式８が満たされれば、所定の加速量Ｖａの分、再生速度を加速することを決定する。
Ｔｄ  ＞  Ｄ  ・・・（式８）
【００３６】
なお式８を利用する再生速度の決定方法は一例であり、動体の種別及び注目度に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、ターゲットが１つでも選択された後、映像に写る動体に注目すべき度合いが、少なくとも所定の基準より低くなった場合は、再生速度を加速させる。これにより、動体を目視で識別することが容易な状況を維持した上で、録画映像がライブ映像に対して遅延しすぎないように制御することができる。
【００３７】
図３のフローチャートに戻り、Ｓ３０７では、制御部１１３は、動体が映像のどの位置でどの方向に移動しているかによって、再生速度を変更する処理を行う。ここで、図５（ｂ）は、Ｓ３０７の処理の詳細を示すフローチャートである。Ｓ５０３において、再生中の映像においてターゲットとなる１以上の動体が操作者によって既に選択済みかを判定する。選択済みでなければＳ５０６に進み（Ｓ５０３でＮＯ）、選択されていればＳ５０７へ進む（Ｓ５０３でＹＥＳ）。Ｓ５０３の判定は、ポインタが重ねられている最新のフレームに基づいて行われる。Ｓ５０６において、制御部１１３は、最新のフレームで動体から進行方向にある画面の境界までの最小距離をＲ、所定の距離の閾値をＴｒとしたとき、以下の式９が満たされれば、所定の減速量Ｖｄの分、再生速度を減速することを決定する。
Ｔｒ  ＞  Ｒ  ・・・（式９）
【００３８】
ここで、図８（ａ）および（ｂ）を参照して、Ｓ５０６とＳ５０７の処理の具体例を説明する。図８（ａ）および（ｂ）は、映像中で動体が移動する様子を表す。動体８００は、画面内で破線の矢印８０１が示す方向に動いているとする。本実施形態では、破線の矢印８０１を、画面の上下および左右の境界に並行な成分に分解し、そのうち大きい方の成分を進行方向であるとみなして、Ｓ５０６及びＳ５０７の処理を実行する。動体８００の進行方向は矢印８０２で表される。図８（ａ）及び（ｂ）のそれぞれにおいて、矢印８０２のベクトルの向かう方向に存在する画面の境界との距離８０３が、上記式９と、後述する式１０で扱うＲに相当する。Ｒが小さい場合、動体が画面外に出るまでにかかる時間は短い可能性が高い。従って、本実施形態では、動体から画面端までの距離（Ｒ）が少なくとも所定の基準より小さい場合に、再生速度を減速させるように制御する。これにより、ターゲットとすべき動体を目視しながら、ポインタで追いかけクリックにより選択するという操作が容易となる。なお式９を利用する再生速度の決定方法は一例であり、動体の位置及び進行方向に応じて制御されれば、他の方法に置き換えてもよい。一方、Ｓ５０７において、制御部１１３は、最新のフレームで、動体から進行方向にある画面の境界までの最小距離をＲ、所定の画面の境界まで距離の閾値をＴｒとしたとき、以下の式１０が満たされれば、所定の加速量Ｖａの分、再生速度を加速すると決定する。
Ｔｒ  ＜  Ｒ  ・・・（式１０）
【００３９】
なお式１０を利用する再生速度の決定方法は一例であり、動体の位置及び進行方向に応じて制御されれば、他の方法に置き換えてもよい。本実施形態では、動体から画面端までの距離が少なくとも所定の基準より大きい場合は、再生速度を加速させる。つまり、ターゲットが１つでも選択された後、映像に写る動体が画面外で出てしまうまでに距離的な余裕がある場合は、再生速度を加速させる。これにより、動体を目視で識別することが容易な状況を維持した上で、録画映像がライブ映像に対して遅延しすぎないように制御することができる。
【００４０】
図３のフローチャートに戻り、Ｓ３０８において、制御部１１３は、映像の再生速度を等倍速に設定する。Ｓ３０９において、制御部１１３は、Ｓ３０３からＳ３０８までの再生速度決定処理の結果に基づいて、録画映像再生モードにおける再生速度を、等倍速に対して変更するかを判定する。Ｓ３０３〜Ｓ３０７の処理で決定された減速量と加速量の両方を反映した結果、等倍速に対して速度変更をすると判定される場合、Ｓ３１０へ進む（Ｓ３０９でＹＥＳ）。速度変更をしない、すなわち等倍速の再生でよいと判定される場合、Ｓ３１１へ進む（Ｓ３０９でＮＯ）。Ｓ３１０では、制御部１１３は、「速度変更あり」との判定結果を出力する。Ｓ３１１では、制御部１１３は、「速度変更なし」との判定結果を出力する。制御部１１３は、この出力結果に基づいて、図２のフローチャートのＳ２０５またはＳ２０６に処理を進める。
【００４１】
本実施形態では、以上のような処理の流れで、操作者に明示的に指示させことなく再生中の映像の再生速度を制御することで、再生中の映像に写る動体を選択する操作が容易となる。なお、本実施形態では、映像の再生速度の減速量を決定する式１・式３・式５・式７・式９が満たされない場合、減速量は０（減速しない）と決定されるが、Ｖｄより小さい減速量で減速することを決定してもよい。これにより、いずれの動体も選択されていない場合、映像中の動体の選択操作が行われることを予測されば、映像が低速で再生されるので、動体の量や速さに関わらず追跡しやすくなる。また、図３のＳ３０４〜Ｓ３０７に示した動体の量、サイズ、移動速度、注目度、位置の全てに基づいて速度を制御する必要は必ずしもない。しかしながら、映像中の動体の選択操作が行われることを予測されることに応じて再生速度を減速する際、上記の動体の特徴のうち少なくともいずれかによって減速量あるいは加速量を段階的に決定することで、動体を見逃してしまう可能性を低く抑えられる。また例えば、入力装置１０５及び表示装置１０６として物体の近接を検出可能なタッチパネルを使用する場合、近接の程度に応じた減速量を加えてもよい。この場合、物体が表示装置１０６のターゲットの候補となるオブジェクトが表示される位置に近づくほど、より低速再生となるように再生速度を制御することもできる。ただし、本実施形態では、再生速度を減速させる複数の条件が揃った場合であっても、映像の再生を停止することなく、再生速度を減速することによって、映像を再生しながら映像中の動体を選択する操作を支援する。従って、Ｓ２０７で再生速度が減速される際、減速後の再生速度には下限が設定される。
【００４２】
次に、図６及び図７を参照して、本実施形態が利用される操作の具体例を説明する。図６及び図７は、情報処理装置１００を含むデジタルモニタリングシステムのビューワ６００の表示状態の例を表している。それぞれ、一つのビューワ６００に４つのカメラ映像が表示されている。ただし、本実施形態は、一つのビューワ６００を複数のカメラ映像で分割する場合に限らず、例えば１つのカメラ映像を大きく表示して再生する場合にも利用可能である。マウスポインタ６０１は、操作者のマウス操作によって任意に移動される指示子である。それぞれのカメラ映像ごとに、図２〜図５のフローチャートに沿った処理が適用される。まず、図６（ａ）〜（ｄ）は、時系列に沿った表示状態の変化を表す。以下、それぞれの状況において実行される具体的な処理内容を、図２〜図５のフローチャートの各工程に対応付けて説明する。ただし、同じ内容の処理が繰り返される部分では適宜説明を省略する。
【００４３】
図６（ａ）において、４つのカメラ映像のうち左上の映像は、ライブ映像であって、動体６０２が、破線の矢印６０３の方向に歩いているものとする。Ｓ２００において取得部１１０より、映像の取得を行い、Ｓ２０１において、記憶部１１５へ映像が保存される。さらにＳ２０２の映像解析処理により、動体６０２が検出され、量Ｎ１、サイズＳ１、移動速度Ｖ１、注目度Ｄ１、画面境界までの距離Ｒ１の情報が取得される。Ｓ２０３において、操作者の入力が検出され、Ｓ２０４の再生速度決定処理が実行される。図６（ａ）の状態では、マウスポインタ６０１が、ライブ映像に重なっていないので、動体の選択操作が行われることを予測されないと判定される（Ｓ３０２でＮＯ）。従って、Ｓ３０８において再生速度が等倍速に設定され、Ｓ２０４の処理結果として、再生速度は等倍速から変更なしと判定される。従って、ライブ映像が引き続き再生される（Ｓ２０６）。
【００４４】
その後、マウス操作により、マウスポインタ６０１がライブ映像に重ねられた状態が、図６（ｂ）である。このとき、Ｓ２０２の映像解析処理により、動体６０２が検出され、量Ｎ２、サイズＳ２、移動速度Ｖ２、注目度Ｄ２、画面境界までの距離Ｒ２の情報が取得される。Ｓ２０３において、操作者の入力を検出し、Ｓ２０４の再生速度決定処理が実行される。マウスポインタ６０１が映像に重なっていて、その周辺に動体６０２が検出されているため、動体の選択操作が行われると予測されると判定される（Ｓ３０２でＹＥＳ）。動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体はまだ選択されていない（Ｓ４００でＮＯ）ため、動体の量Ｎ２が式１を満たすかが判定される。ここでＮ２はＴｎより小さいとする。式１は満たされないので、減速はしない（Ｓ４０１）。次に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）が実行される。ターゲットとする動体はまだ選択されていないので（Ｓ４０３でＮＯ）、動体のサイズＳ２が、式３を満たすかが判定される。ここでＳ２は、Ｔｓより大きいとする。式３は満たされないので、減速はしない（Ｓ４０４）。
【００４５】
動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、ターゲットとする動体はまだ選択されていないので（Ｓ４０６でＮＯ）、動体の移動速度Ｖ２が式５を満たすかが判定される。ここで、Ｖ２＞Ｔｖであるとする。式５が満たされるので、制御部１１３は、所定の減速量Ｖｄの分、再生速度を減速することを決定する（Ｓ４０７）。さらに動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、ターゲットとする動体はまだ選択されていないので（Ｓ５００でＮＯ）、注目度Ｄ２が、式７を満たすかが判定される。ここでＤ２＜Ｔｄであるとする。式７は満たされないので、減速はしない（Ｓ５０１）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、ターゲットとする動体はまだ選択されていないので（Ｓ５０３でＮＯ）、動体の進行方向にある画面の境界までの距離Ｒ２が、式９を満たすかが判定される。ここでＲ２＞Ｔｒとする。式９は満たされないので、減速はしない（Ｓ５０６）。
【００４６】
Ｓ３０３〜Ｓ３０７の処理の結果、Ｖｄという減速量が設定されているため、（Ｓ３０９でＹｅｓ）、Ｓ３１０において、制御部１１３は、「再生速度の変更あり」と判定する。ここまで再生されていたライブ映像が録画映像に切り替えられ（Ｓ２０５）、制御部１１３が、減速量Ｖｄの分、再生速度を減速する（Ｓ２０７）。録画映像が減速された状態で再生されているため、Ｓ２０８では再生時刻が現在時刻に到達していないと判定される。
【００４７】
次に、図６（ｃ）は、操作者により、ターゲットとなる動体６０２が選択された（Ｓ３００でＹＥＳ）後を表す。サムネイル６０４は、選択済みのターゲットを表すために新たに表示される（Ｓ３０１）。また例えば、選択されたターゲットを映像中追跡しやすいように、画像処理によりターゲットを囲うインジケータ６０５を表示することもできる。Ｓ２０２の映像解析処理により、動体６０２が検出され、量Ｎ３、サイズＳ３、移動速度Ｖ３、注目度Ｄ３、画面境界までの距離Ｒ３の情報が取得されるとする。なお、量Ｎ３＜Ｔｎ、サイズＳ３＞Ｔｓ、移動速度Ｖ３＞Ｔｖ、注目度Ｄ３＜Ｔｄ、画面境界までの距離Ｒ３＞Ｔｒであるとする。引き続きマウスポインタ６０１が再生中の映像に重ねられているため、Ｓ２０３で受け付けた情報に基づいて、動体の選択操作が行われることを予測されると判定される（Ｓ３０２でＹＥＳ）。
【００４８】
動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体が選択されており（Ｓ４００でＹＥＳ）、動体の量Ｎ３が式２を満たすので、所定の加速量Ｖａの分、再生速度を加速することが決定される（Ｓ４０２）。以降、同様に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）において、動体のサイズＳ３が式４を満たすので、所定の加速量Ｖａの加速が決定される（Ｓ４０５）。動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、動体の移動速度Ｖ３が式６を満たさないので、加速しないことが決定される（Ｓ４０８）。さらに動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、動体の注目度Ｄ３が、式８を満たすので、所定の加速量Ｖａを加速することが決定される（Ｓ５０２）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、動体の進行方向にある画面の境界までの距離Ｒ３が、式１０を満たすので、所定の加速量Ｖａを加速することが決定される（Ｓ５０７）。
【００４９】
図６（ｃ）において、ターゲットとして選択される動体の候補は全て選択された状態にあるため、さらなる動体が出現しない限り、ここからは録画映像がライブ映像に追いつくように等倍速よりも速い再生速度が設定されることになる。Ｓ３０３〜Ｓ３０７の処理の結果、Ｖａ×４という加速量が設定されているため、（Ｓ３０９でＹｅｓ）、Ｓ３１０において、制御部１１３は、「再生速度の変更あり」と判定する。ここまで再生されていたライブ映像が録画映像に切り替えられ（Ｓ２０５）、制御部１１３が、加速量Ｖａ×４の分、再生速度を加速する（Ｓ２０７）。ただし、再生速度が速くなりすぎ、映像中の動体を目視することが困難になることを避けるため、加速量には予め上限が設定されてもよい。例えば、Ｓ２０７における加速量の上限をＶａ×４と固定したり、あるいは加速後の再生速度が等倍速＋Ｖａを越えないように制御したりといった制御を行うことができる。図６（ｃ）の場合では、事前に録画映像が減速された状態で再生されているため、Ｓ２０７では、減速後の速度に対して加速が加えられる。加速を加えた直後のＳ２０８の処理では、再生時刻が現在時刻に到達していないと判定される。Ｓ２０８において、再生時刻が現在時刻に到達しているか判定され、現在に到達していないうちは（Ｓ２０８でＮＯ）、処理は終了となる。以上のような処理が繰り替えされ、減速したことで現在時刻とずれてしまった録画映像が現在時刻に追いつくまでこのような処理が行われる。
【００５０】
図６（ｄ）は、操作者により、ターゲットとなる動体６０２が選択された（Ｓ３００でＹＥＳ）後、マウスポインタ６０１が左上の映像から外された状態を表す。Ｓ２０２の映像解析処理により、動体６０２が検出され、量Ｎ４、サイズＳ４、移動速度Ｖ４、注目度Ｄ４、画面境界までの距離Ｒ４という情報が取得される。マウスポインタ６０１が映像を表示する領域の外にあるため、動体の選択操作が行われることは予測されないと判定される（Ｓ３０２でＮＯ）。従って、Ｓ３０８において再生速度が等倍速に設定され、Ｓ２０４の処理結果として、再生速度は等倍速から変更なしと判定される。Ｓ２０６では、現在が録画映像再生モードであれば、ライブ映像再生モードへの切り替えが実行され、処理を終了する。このように、本実施形態では、動体を選択する操作が行われる可能性が低下したことに応じて、操作者に選択の意図がなくなったとみなし、ライブ映像が再生される。操作者により指示されていれば、ライブ映像に切り替えられた後も、引き続きインジケータ６０５を表示するなどとすることで、ターゲットを目で追跡することが容易となる。
【００５１】
続いて、図７を参照して、複数の映像を同時に監視する場合の具体例を説明する。図７（ａ）〜（ｄ）は、時系列に沿った表示状態の変化を表す。図６と同様の部分は同一の符号を付記してその説明を省略する。以下、それぞれの状況において実行される具体的な処理内容を、図２〜図５のフローチャートの各工程に対応付けて説明する。ただし、同じ内容の処理が繰り返される部分では適宜説明を省略する。
【００５２】
図７（ａ）では、左上の映像にマウスポインタ６０１が重ねられている。この映像からは、５人の人物が検出され、そのうちの一人である人物が７００に、喧嘩をしているという種別の異常行動が認められたために、操作者が人物７００をターゲットとして選択しようとしている状態を表す。そのため、再生されている映像は録画映像である。Ｓ２００においてライブ映像が取得され、Ｓ２０１において記憶部１１５へ映像が保存される。さらにＳ２０２の映像解析処理により、動体として、５名の人物が検出され、量Ｎ５、サイズＳ５、移動速度Ｖ５、注目度Ｄ５、画面境界までの距離Ｒ５の情報を取得する。本実施形態では、サイズＳ５は、映像の中でもっとも大きく写っている人物７０１のサイズを基に取得される。ここでは量Ｎ５＞Ｔｎ、サイズＳ５＞Ｔｓ、移動速度Ｖ５＜Ｔｖ、注目度Ｄ５＞Ｔｄ、画面境界までの距離Ｒ５＜Ｔｒであるとする。なお、ここで検出された動体のうち、もっとも注目度の高いのは、喧嘩をしている人物７００であって、その注目度がＤ５である。なお喧嘩をしているという種別は、大声を出している、他の人物との接触があるなどの事実を音声や映像で検出できた場合に割り当てられる。ここでは、喧嘩の相手よりも大きな声を出していたために、最も注意すべきと判定され、最大の注目度Ｄ５が付与されたとする。
【００５３】
Ｓ２０３で操作者の入力を検出し、Ｓ２０４の再生速度決定処理が実行される。マウスポインタ６０１が映像に重なっていて、その周辺に動体が検出されているため、動体の選択操作が行われると予測されると判定される（Ｓ３０２でＹＥＳ）。動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体はまだ選択されておらず（Ｓ４００でＮＯ）、動体の量Ｎ５が式１を満たすので、所定の減速量Ｖｄの分、再生速度を減速することが決定される（Ｓ４０１）。以降、同様に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）において、動体のサイズＳ５が式３を満たさないため、ここでは減速されない（Ｓ４０４）。動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、動体の移動速度Ｖ５が式５を満たさないので、ここでは減速されない（Ｓ４０７）。さらに動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、動体の注目度Ｄ５が、式７を満たすので、所定の加速量Ｖｄの減速が決定される（Ｓ５０１）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、動体の進行方向にある画面の境界までの距離Ｒ５が、式９を満たすので、所定の加速量Ｖｄの減速が決定される（Ｓ５０６）。
【００５４】
Ｓ３０３〜Ｓ３０７の処理の結果、Ｖｄ×３という減速量が設定されているため、（Ｓ３０９でＹｅｓ）、Ｓ３１０において、制御部１１３は、「再生速度の変更あり」と判定する。Ｓ２０４では、速度変更ありと判定されたため、Ｓ２０５へ進む。ここまで再生されていたライブ映像が録画映像に切り替えられ（Ｓ２０５）、制御部１１３が、減速量Ｖｄ×３の分、再生速度を減速する（Ｓ２０７）。録画映像が減速された状態で再生されているため、Ｓ２０８では再生時刻が現在時刻に到達していないと判定される。
【００５５】
図７（ｂ）は、操作者により、左上の映像において、ターゲットとなる人物７００が選択された後を表す（Ｓ３００でＹＥＳ）。サムネイル７０２及びインジケータ６０５は、選択済みのターゲットを表すために新たに表示される（Ｓ３０１）。左上の映像に対するＳ２０２の映像解析処理により、動体として人物が検出され、量Ｎ６、サイズＳ６、移動速度Ｖ６、注目度Ｄ６、画面境界までの距離Ｒ６の情報が取得されるとする。なお、図７（ｂ）の左上の映像においても最も注目度の高いのは、喧嘩をしている人物７００であって、その注目度がＤ６である。また、量Ｎ６＞Ｔｎ、サイズＳ６＞Ｔｓ、移動速度Ｖ６＜Ｔｖ、注目度Ｄ６＞Ｔｄ、画面境界までの距離Ｒ６＜Ｔｒであるとする。引き続きマウスポインタ６０１が再生中の映像に重ねられているため、Ｓ２０３で受け付けた情報に基づいて、動体の選択操作が行われることを予測されると判定される（Ｓ３０２でＹＥＳ）。
【００５６】
動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体が選択されており（Ｓ４００でＹＥＳ）、動体の量Ｎ６が式２を満たさないので、加速しないことが決定される（Ｓ４０２）。以降、同様に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）において、動体のサイズＳ６が式４を満たすので、所定の加速量Ｖａの加速が決定される（Ｓ４０５）。動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、動体の移動速度Ｖ６が式６を満たさないので、ここでは加速されない（Ｓ４０８）。動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、最も注目度の高い人物７００に関する注目度Ｄ７が、式８を満たさないので、加速されない（Ｓ５０２）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、動体の進行方向にある画面の境界までの距離Ｒ６が、式１０を満たさないので、加速しないことが決定される（Ｓ５０７）。
【００５７】
Ｓ３０３〜Ｓ３０７の処理の結果、加速量Ｖａが設定される（Ｓ３０９でＹＥＳ）。Ｓ３１０において、制御部１１３は、先に設定された減速量Ｖｄ×３と加速量Ｖａとを反映した場合の再生速度を特定し、「再生速度の変更あり」と判定する。Ｓ２０７において、録画映像が、加速した再生速度で再生される（Ｓ２０７）。再生速度はすでに減速されていた分遅延しており、本実施形態ではＶｄ＞Ｖａであるため、引き続き等倍速に対しては遅延する。従って、Ｓ２０８では再生時刻は現在時刻に到達していないと判定される。マウスポインタ６０１が左上の映像に重なった状態が続く間は、左上の映像の録画映像が現在時刻に追いつくまで、上記のように再生速度を変更する処理が繰り返し行われる。この後、例えば、検出される人物の人数が減ったり、人物７００が喧嘩をやめたりといった変化があれば、再生速度はさらに加速される。
【００５８】
一方、図７（ｂ）の左下の映像に注目する。図７（ｂ）において、左下の映像はライブ映像であり、２人の人物が検出されているが、そのうち人物７０３が大声を上げているとする。Ｓ２００においてライブ映像が取得され、Ｓ２０１において記憶部１１５へ映像が保存される。さらにＳ２０２の映像解析処理により、動体として、２名の人物が検出され、量Ｎ７、サイズＳ７、移動速度Ｖ７、注目度Ｄ７、画面境界までの距離Ｒ７の情報を取得する。なお、図７（ｂ）の左下の映像においても最も注目度の高いのは、大声を出している人物７０３であって、その注目度がＤ７である。なお、ここでは量Ｎ７＜Ｔｎ、サイズＳ７＜Ｔｓ、移動速度Ｖ７＜Ｔｖ、注目度Ｄ７＞Ｔｄ、画面境界までの距離Ｒ７＞Ｔｒであるとする。Ｓ２０３において、操作者の入力が検出され、Ｓ２０４の再生速度決定処理が実行される。図７（ａ）の状態では、マウスポインタ６０１は、左下の映像には重ねられていないので、動体の選択操作が行われることは予測されないと判定される（Ｓ３０２でＮＯ）。従って、Ｓ３０８において再生速度が等倍速に設定され、Ｓ２０４の処理結果として、再生速度は等倍速から変更なしと判定される。従って、左下ではライブ映像が再生され続けている（Ｓ２０６）。
【００５９】
続いてマウス操作により、マウスポインタ６０１が左下のライブ映像上に移動され、人物７０３が選択された後の状態が、図７（ｃ）である。左上の映像は、マウスポインタ６０１が離れたことで（Ｓ３０２でＮＯ）、速度変更なしと判定され（Ｓ３１１）、ライブ映像に切り替わる（Ｓ２０６）。ただし、インジケータ６０５により、ターゲットに設定された人物が識別可能に表示されている。左下の映像では、サムネイル７０４は、選択済みのターゲットである人物７０３を表すために新たに表示される（Ｓ３０１）。Ｓ２０２の映像解析処理により、動体として２名の人物が検出され、量Ｎ８、サイズＳ８、移動速度Ｖ８、注目度Ｄ８、画面境界までの距離Ｒ８の情報を取得する。なお、注目度がＤ８は、大声をあげている人物７０３の注目度である。量Ｎ８＜Ｔｎ、サイズＳ８＜Ｔｓ、移動速度Ｖ８＜Ｔｖ、注目度Ｄ８＞Ｔｄ、画面境界までの距離Ｒ８＞Ｔｒであるとする。まだマウスポインタ６０１が再生中の映像に重ねられているため、Ｓ２０３で受け付けた情報に基づいて、動体の選択操作が行われることを予測されると判定される（Ｓ３０２でＹＥＳ）。
【００６０】
動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体が選択されており（Ｓ４００でＹＥＳ）、動体の量Ｎ８が式２を満たすので、加速量Ｖａの加速が決定される（Ｓ４０２）。以降、同様に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）において、動体のサイズＳ８が式４を満たさないので、加速されない（Ｓ４０５）。動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、動体の移動速度Ｖ８が式６を満たさないので、ここでは加速されない（Ｓ４０８）。動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、最も注目度の高い人物７００に関する注目度Ｄ７が、式８を満たすので、加速量Ｖａの加速が決定される（Ｓ５０２）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、動体の進行方向にある画面の境界までの距離Ｒ８が、式１０を満たすので、加速量Ｖａの加速が決定される（Ｓ５０７）。Ｓ３０３〜Ｓ３０７の処理の結果、加速量Ｖａ×３が設定される（Ｓ３０９でＹＥＳ）。Ｓ３１０において、制御部１１３は、「再生速度の変更あり」と判定する。Ｓ２０７において、録画映像が、加速した再生速度で再生される（Ｓ２０７）。再生速度は、選択操作の前段階で減速した分遅延しているはずなので、加速直後のＳ２０８では再生時刻がまだ現在時刻に到達していないと判定される。マウスポインタ６０１が左下の映像に重なった状態が続く間は、左上の映像の録画映像が現在時刻に追いつくまで、上記のように再生速度を変更する処理が繰り返し行われる。
【００６１】
さらなるマウス操作により、マウスポインタ６０１が右下のライブ映像上に移動された後の状態が、図７（ｄ）である。このとき、左上および左下の映像はマウスポインタ６０１が離れているので、ライブ映像再生モードとなり、設定済みのターゲットがインジケータ６０５により明示的に示されている。右下の映像には、他の動体に比べて速いスピードで移動する人物７０５が検出されている。本実施形態では、高速で移動する物体であるからといって、監視を強化すべきであると一意に決定はしない。そこで操作者は、マウスポインタ６０１を右下の映像の動体周辺に移動させることで、右下の映像を低速で再生させることができる。その結果、人物７０５をターゲットとすべきかを判断するために人物７０５を目視で確認することが容易となる。
【００６２】
図７（ｄ）の状態では、右下の映像について、Ｓ２０２の映像解析処理により、動体として、人物７０５が検出され、量Ｎ９、サイズＳ９、移動速度Ｖ９、注目度Ｄ９、画面境界までの距離Ｒ９情報を取得する。ここでは量Ｎ９＜Ｔｎ、サイズＳ９＜Ｔｓ、移動速度Ｖ９＞Ｔｖ、注目度Ｄ９＜Ｔｄ、画面境界までの距離Ｒ９＜Ｔｒであるとする。マウスポインタ６０１が映像に重なっていて、その周辺に人物７０５が検出されているため、動体の選択操作が行われると予測されると判定される（Ｓ３０２でＹＥＳ）。動体の量に応じた再生速度決定処理（Ｓ３０３）において、ターゲットとする動体はまだ選択されておらず（Ｓ４００でＮＯ）、動体の量Ｎ９が式１を満たさないので、ここでは減速されない（Ｓ４０１）。以降、同様に、動体のサイズに応じた再生速度決定処理（Ｓ３０４）において、動体のサイズＳ９が式３を満たすため、減速量Ｖｄの分、再生速度を減速することが決定される（Ｓ４０４）。動体の移動速度に応じた再生速度決定処理（Ｓ３０５）では、動体の移動速度Ｖ９が式５を満たすので、減速量Ｖｄの分、再生速度を減速することが決定される（Ｓ４０７）。さらに動体の注目度に応じた再生速度決定処理（Ｓ３０６）では、動体の注目度Ｄ５が、式７を満たさないため、ここでは減速されない（Ｓ５０１）。動体の位置に応じた再生速度決定処理（Ｓ３０７）では、動体の進行方向にある画面の境界までの距離Ｒ９が、式９を満たすので、所定の加速量Ｖｄの減速が決定される（Ｓ５０６）。
【００６３】
Ｓ３０３〜Ｓ３０７の処理の結果、Ｖｄ×３という減速量が設定されているため、（Ｓ３０９でＹｅｓ）、Ｓ３１０において、制御部１１３は、「再生速度の変更あり」と判定する。Ｓ２０４では、速度変更ありと判定されたため、Ｓ２０５へ進む。ここまで再生されていたライブ映像が録画映像に切り替えられ（Ｓ２０５）、制御部１１３が、減速量Ｖｄ×３の分、再生速度を減速する（Ｓ２０７）。録画映像が減速された状態で再生されているため、Ｓ２０８では再生時刻が現在時刻に到達していないと判定される。
【００６４】
以上、説明したように、本実施形態では、操作者が再生中の映像に写る動体を選択する操作実行する前に、操作が入力されることを予測して、再生中の映像の再生速度を低速に切り替える。これにより、操作者にとっては、動体を選択すべきかをその動体の動向を目視しながら判断し、ポインティングデバイスで追跡して選択する操作が容易となる。
【００６５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１１０  取得部
１１１  受付部
１１２  検出部
１１３  制御部
１１４  出力部
１１５  記憶部
【図１】
2020022127.tif 000003
【図２】
2020022127.tif 000004
【図３】
2020022127.tif 000005
【図４】
2020022127.tif 000006
【図５】
2020022127.tif 000007
【図６】
2020022127.tif 000008
【図７】
2020022127.tif 000009
【図８】
2020022127.tif 000010
【図９】
2020022127.tif 000011