(57)【特許請求の範囲】
【請求項１】
撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理する被写体情報管理部と、
前記被写体情報管理部によって管理される前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算する映像重要度計算部と、
前記空間を撮影した映像の情報を、映像情報として取得する映像情報取得部と、
少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記映像情報取得部によって取得された前記映像情報が表す前記映像の表示を制御する表示制御部と、
前記表示制御部の制御にしたがって前記映像を表示する表示部と
を備えた映像表示装置。
【請求項２】
前記映像表示装置は、
前記映像情報を格納する映像情報格納部をさらに備え、
前記映像情報取得部は、前記映像情報格納部から前記映像情報を読み出すことによって前記映像情報を取得する、請求項１に記載の映像表示装置。
【請求項３】
前記映像表示装置は、新たな被写体重要度が入力される入力部をさらに備え、
前記被写体情報管理部は、前記入力部からの入力に応答して、前記被写体重要度を入力された前記新たな被写体重要度に変更して保持することにより管理し、
前記映像重要度計算部は、前記被写体情報管理部による前記新たな被写体重要度の保持に応答して、保持された被写体重要度に基づいて映像重要度を計算する、請求項１または２に記載の映像表示装置。
【請求項４】
前記被写体は、前記空間に含まれる部分的な空間である、請求項１または２に記載の映像表示装置。
【請求項５】
前記映像情報は、前記映像を撮影した時刻に関する撮影時刻情報を含み、
前記被写体情報は、前記被写体に発生したイベントと前記イベントが発生した時刻を表すイベント発生時刻とに関するイベント情報を含み、
前記映像重要度計算部は、さらに前記イベント情報と前記撮影時刻情報とに基づいて前記映像重要度を計算する、請求項１または２に記載の映像表示装置。
【請求項６】
空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納する映像情報格納部と、
前記映像情報格納部から前記映像情報を読み出す映像情報読み出し部と、
前記空間で発生したイベント、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するイベント情報管理部と、
前記イベント情報管理部によって管理される前記イベント情報と前記映像情報格納部に格納された前記撮影時刻情報とに基づいて、映像の重要性を表す映像重要度を計算する映像重要度計算部と、
少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御する表示制御部と
前記表示制御部の制御にしたがって前記映像を表示する表示部と
を備えた、映像表示装置。
【請求項７】
前記映像は、前記空間を複数の視点から撮影した複数の映像であって、
前記映像重要度計算部は、前記複数の映像のそれぞれについて前記映像重要度を計算し、
前記表示制御部は、少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記複数の映像それぞれの表示を制御する、請求項１、２または６に記載の映像表示装置。
【請求項８】
前記表示制御部は、前記映像重要度計算部によって計算された前記映像重要度と前記映像を表示する規則を規定する表示規則とに基づいて、前記映像の表示を制御する、請求項１、２、６または７に記載の映像表示装置。
【請求項９】
前記表示規則は、前記映像が表示される位置、時間、順序または大きさを規定する、請求項８に記載の映像表示装置。
【請求項１０】
前記表示制御部は、前記複数の映像のそれぞれについて前記映像重要度計算部によって計算された前記映像重要度と、前記映像重要度に応じて適用される表示規則とに基づいて、前記複数の映像それぞれを強調表示するよう表示を制御する、請求項８に記載の映像表示装置。
【請求項１１】
前記表示制御部は、前記複数の映像のそれぞれについて前記映像重要度計算部によって計算された前記映像重要度と、前記映像重要度に応じて適用される表示規則とに基づいて、前記複数の映像のそれぞれの品質を決定し、決定された前記品質で前記複数の映像それぞれの表示を制御する、請求項８に記載の映像表示装置。
【請求項１２】
前記表示規則は変更可能である、請求項８または９に記載の映像表示装置。
【請求項１３】
前記映像は画像フレームから構成され、前記画像フレームは２以上の領域を含み、
前記映像重要度計算部は、前記２以上の領域のそれぞれについて前記映像重要度を計算し、
前記表示制御部は、前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記２以上の領域のそれぞれを表示する態様を決定して前記画像フレームの表示を制御する、請求項１、２または６に記載の映像表示装置。
【請求項１４】
前記映像は、第１の時刻に撮影された第１の映像と、第２の時刻に撮影された第２の映像を含み、前記第１の映像と前記第２の映像は、それぞれ異なる視点から空間を撮影した映像であり、
前記映像重要度計算部は、前記第１の映像の映像重要度である第１映像重要度と、前記第２の映像の映像重要度である第２映像重要度とを計算し、
前記表示制御部は、前記映像を表示するための規則を規定する表示規則と前記映像重要度計算部によって計算された前記第１映像重要度および第２映像重要度に基づいて前記映像を表示する態様を決定し、撮影された時刻に基づいて前記第１の映像と前記第２の映像とが同期するよう表示を制御する、請求項５または６に記載の映像表示装置。
【請求項１５】
前記表示制御部は、前記複数の映像のそれぞれが撮影された位置と前記映像重要度計算部によって計算された前記映像重要度とに基づいて前記複数の映像それぞれの表示を制御する、請求項７に記載の映像表示装置。
【請求項１６】
前記映像は静止画である、請求項１、２または６に記載の映像表示装置。
【請求項１７】
前記映像は動画である、請求項１、２または６に記載の映像表示装置。
【請求項１８】
前記第１の時刻と前記第２の時刻とは、同一の時刻である、請求項１４に記載の映像表示装置。
【請求項１９】
撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理するステップと、
前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算するステップと、
前記空間を撮影した映像の情報を、映像情報として取得するステップと、
少なくとも前記映像重要度に基づいて、前記映像情報が表す前記映像の表示を制御するステップと、
前記映像の表示の制御にしたがって前記映像を表示するステップと
を包含する映像表示方法。
【請求項２０】
空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納するステップと、
格納された前記映像情報を読み出すステップと、
前記空間で発生したイベントと、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するステップと、
管理された前記イベント情報と格納された前記撮影時刻情報とに基づいて、映像の重要性を表す映像重要度を計算するステップと、
少なくとも計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御するステップと
前記制御にしたがって前記映像を表示するステップと
を包含する、映像表示方法。
【請求項２１】
撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理するステップと、
前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算するステップと、
前記空間を撮影した映像の情報を、映像情報として取得するステップと、
少なくとも前記映像重要度に基づいて、前記映像情報が表す前記映像の表示を制御するステップと、
前記映像の表示の制御にしたがって前記映像を表示するステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納するステップと、
格納された前記映像情報を読み出すステップと、
前記空間で発生したイベントと、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するステップと、
管理された前記イベント情報と格納された前記撮影時刻情報とに基づいて、映像の重要性を表す映像重要度を計算するステップと、
少なくとも計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御するステップと
前記制御にしたがって前記映像を表示するステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、セキュリティ監視、プラント運転制御、設備管理あるいはスポーツや祭り等のテレビ放送など、複数の映像を表示するための映像表示装置、映像表示方法に関する。
【０００２】
【従来の技術】
セキュリティ監視やプラント運転制御では、建物や設備が存在する現場の状況を複数の監視カメラで撮影し、現場と離れた監視センタで必要な映像を随時切り替えて表示する映像監視が行われている。表示する映像には、ライブ映像や、ＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）やハードディスクなどに記録された蓄積映像が含まれる。ライブ映像は、監視対象の現在の状況をリアルタイムで確認するために用いられる。蓄積映像は、検索することによって事件発生前の状況を確認し、あるいは現象を繰り返し表示して詳細に分析するために用いられることが多い。
【０００３】
カメラや映像蓄積装置など映像用途機器の低価格化に伴い、現場に設置されるカメラ台数は年々増加している。現在、大規模施設では数十台のカメラが設置されている。このような施設では、少数のオペレータが多数のカメラ映像を効率的に監視できるような工夫がなされている。例えば、グループ化された複数カメラの画像がモニタ画面に縮小して合成表示される、マルチ画面合成表示である（図２参照）。このマルチ画面合成表示では、一定時間毎あるいはオペレータの指示により別のカメラグループの合成画面に切り替えることができる。別の例は、強調表示であり、カメラが撮影する物体やエリアなどの重要度に応じて各々の映像の大きさを変化させ、監視員に映像の重要度を意識させる（例えば図１８（ａ）参照）。さらに別の例では、各映像の撮影位置を容易に理解することができるよう、監視する地域の地図や建物のレイアウト図を背景として表示し、撮影位置に対応するその図の位置の近傍にその映像を表示する（例えば図１８（ｂ）参照）。「Ｍｕｌｔｉ  Ｓｃｏｐｅ」（ＮＥＣシステム建設カタログ）は、このような表示を可能にする従来の映像表示装置の一つである。
【０００４】
図３９は、従来の映像表示装置３９０の構成を示すブロック図である。
【０００５】
映像表示装置３９０は、複数のカメラ３９１ａ〜３９１ｎと、映像情報取得部３９２と、表示レイアウト情報修正部３９３と、表示レイアウト情報格納部３９４と、表示制御部３９５と、表示部３９６とを含む。映像情報取得部３９２は、より具体的に図４０に示されるようにビデオマトリクススイッチャ４０１を含む。ビデオマトリクススイッチャ４０１は、表示制御部３９５からの指定に基づいて、Ｍ個の入力映像信号から指定されたＮ個の映像信号を表示制御部３９５に出力する。表示制御部３９５は、少なくともグラフィックスボード４０２とマルチ画面オーバレイボード４０３とを含む。グラフィックスボード４０２とマルチ画面オーバレイボード４０３は、受け取った映像情報と表示レイアウト情報とに基づいて、表示装置に表示すべき映像の表示データを作成する。なお、グラフィックスボード４０２とマルチ画面オーバレイボード４０３とはいずれも製品化されているので、その詳細な説明は省略する。
【０００６】
このように構成された映像表示装置３９０で映像を表示する場合、ユーザは、予め表示レイアウト情報修正部３９３（図３９）を介して表示レイアウト情報を設定する。上述のように、表示制御部３９５は、設定されている表示レイアウト情報に基づいて映像の表示を制御し、映像を表示する。
【０００７】
図４１は、従来の映像表示装置３９０（図３９）において表示レイアウト情報を設定するための操作画面の例を示す。
【０００８】
図４１に示されるように、表示レイアウト情報の設定は対話的に定義することができる。システム設計者あるいはオペレータは、各カメラに写る被写体の種類、重要度、写り具合等、オペレータの判断に基づいて、見やすい表示レイアウトを頭の中で考える。オペレータは、表示レイアウト情報修正部３９３（図３９）を介してその表示レイアウトを入力することによって、表示レイアウト情報を設定する。
【０００９】
図４２は、従来の別の映像表示装置システム４２０の構成を示すブロック図である。
【００１０】
映像表示装置システム４２０は、複数の画像送信端末４２１ａ〜４２１ｎと、画像多重化装置４２２と、画像受信端末４２５とを含む。複数の画像送信端末４２１ａ〜４２１ｎで撮影され、所定の処理を施された画像情報は、画像多重化装置４２２に送信され、さらなる処理を加えられた後、画像受信端末４２５に送信され、表示される。
【００１１】
画像送信端末４２１ａは、カメラ４２１ａ−１と、画像符号化装置４２１ａ−２と、センサ４２１ａ−３とを含む。センサ４２１ａ−３は、カメラ４２１ａ−１に対応して設けられる。センサ４２１ａ−３は、カメラ４２１ａ−１の撮影空間で発生した異常を検出し、そのセンサレベル信号を画像多重化装置４２２に送信する。
【００１２】
画像多重化装置４２２は、画像多重化部４２３と、優先順位決定部４２４とを含む。画像多重化部４２３は、受け取った画像信号とその表示優先順位情報とを多重化して、画像受信端末４２５に送信する。優先順位決定部４２４は、表示優先順位情報を管理し、センサレベルが変化するとその値が高いカメラから表示の順番付けを行う。
【００１３】
図４３は、優先順位決定部４２４（図４２）が管理する表示優先順位情報の例を示す。図４３に示されるカメラＩＤとは、カメラ４２１ａ―１〜４２１ｎ―１にそれぞれ割り当てられたＩＤである。
【００１４】
再び図４２を参照して、画像受信端末４２５は、画像符号化装置４２６と、表示部４２７とを含む。画像受信端末４２５は、画像多重化装置４２２から受け取った画像情報を復号化し、優先順位情報に基づいて、画像を表示すべき順序に並べ、マルチウィンドウ表示する。
【００１５】
【発明が解決しようとする課題】
従来の映像表示装置３９０（図３９）では、予めオペレータが被写体の位置や重要度を考慮して表示レイアウトを考え、対話的に定義するという煩雑な作業が必要である。さらに被写体の位置や重要度が変わるとその度にオペレータは表示すべき映像の表示レイアウト決定を繰り返さねばならない。より複雑な、複数の被写体をそれぞれ含む複数の映像の表示が必要な場合、オペレータの考慮した表示レイアウト等では客観性に欠け、映像の重要性に応じた表示が実現されているか不明確である。
【００１６】
従来の映像表示装置システム４２０（図４２）では、センサの計測値に基づき互いの優先順位がわかるよう複数の画像を自動的に表示することができる。例えば５００℃が警戒レベルの工場設備の映像監視装置において、５００℃に近い値を検出する温度センサに対応するカメラの画像から順に画面上に表示することができる。
【００１７】
しかし、画像の重要性はカメラに対応して設けられたセンサのセンサレベルでしか評価されないため、撮影された画像に含まれる被写体の重要性に応じて画像の重要性を決定することができない。このようなシステムでは、カメラを移動させながら撮影する場合に、カメラで撮影した画像に何が写っているかによって画像の重要性を判断することできず、利用が大きく制限される。さらに、カメラ毎にセンサが設けられているため、ある被写体の異常を一つのセンサで検知し、その被写体の異常発生状態を異なる視点から複数のカメラで撮影し同様な重要度で表示することはできない。
【００１８】
本発明の目的は、被写体情報および／またはイベント情報を用いることにより、映像の重要度に応じてレイアウト等を自動的に決定して映像を表示する映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体を提供することである。
【００１９】
【課題を解決するための手段】
本発明の映像表示装置は、撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理する被写体情報管理部と、前記被写体情報管理部によって管理される前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算する映像重要度計算部と、前記空間を撮影した映像の情報を、映像情報として取得する映像情報取得部と、少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記映像情報取得部によって取得された前記映像情報が表す前記映像の表示を制御する表示制御部と、前記表示制御部の制御にしたがって前記映像を表示する表示部とを備えており、これにより上記目的が達成される。
【００２０】
前記映像表示装置は、前記映像情報を格納する映像情報格納部をさらに備え、前記映像情報取得部は、前記映像情報格納部から前記映像情報を読み出すことによって前記映像情報を取得してもよい。
【００２１】
前記映像表示装置は、新たな被写体重要度が入力される入力部をさらに備え、前記被写体情報管理部は、前記入力部からの入力に応答して、前記被写体重要度を入力された前記新たな被写体重要度に変更して保持することにより管理し、前記映像重要度計算部は、前記被写体情報管理部による前記新たな被写体重要度の保持に応答して、保持された被写体重要度に基づいて映像重要度を計算してもよい。
【００２２】
前記被写体は、前記空間に含まれる部分的な空間であってもよい。
【００２３】
前記映像情報は、前記映像を撮影した時刻に関する撮影時刻情報を含み、前記被写体情報は、前記被写体に発生したイベントと前記イベントが発生した時刻を表すイベント発生時刻とに関するイベント情報を含み、前記映像重要度計算部は、さらに前記イベント情報と前記撮影時刻情報とに基づいて前記映像重要度を計算してもよい。
【００２４】
本発明の映像表示装置は、空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納する映像情報格納部と、前記映像情報格納部から前記映像情報を読み出す映像情報読み出し部と、前記空間で発生したイベント、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するイベント情報管理部と、前記イベント情報管理部によって管理される前記イベント情報と前記映像情報格納部に格納された前記撮影時刻情報とに基づいて、映像の重要性を表す映像重要度を計算する映像重要度計算部と、少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御する表示制御部と、前記表示制御部の制御にしたがって前記映像を表示する表示部とを備えており、これにより上記目的が達成される。
【００２５】
前記映像は、前記空間を複数の視点から撮影した複数の映像であって、前記映像重要度計算部は、前記複数の映像のそれぞれについて前記映像重要度を計算し、前記表示制御部は、少なくとも前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記複数の映像それぞれの表示を制御してもよい。
【００２６】
前記表示制御部は、前記映像重要度計算部によって計算された前記映像重要度と前記映像を表示する規則を規定する表示規則とに基づいて、前記映像の表示を制御してもよい。
【００２７】
前記表示規則は、前記映像が表示される位置、時間、順序または大きさを規定してもよい。
【００２８】
前記表示制御部は、前記複数の映像のそれぞれについて前記映像重要度計算部によって計算された前記映像重要度と、前記映像重要度に応じて適用される表示規則とに基づいて、前記複数の映像それぞれを強調表示するよう表示を制御してもよい。
【００２９】
前記表示制御部は、前記複数の映像のそれぞれについて前記映像重要度計算部によって計算された前記映像重要度と、前記映像重要度に応じて適用される表示規則とに基づいて、前記複数の映像のそれぞれの品質を決定し、決定された品質で前記複数の映像それぞれの表示を制御してもよい。
【００３０】
前記表示規則は変更可能であってもよい。
【００３１】
前記映像は画像フレームから構成され前記画像フレームは２以上の領域を含み、前記映像重要度計算部は、前記２以上の領域のそれぞれについて前記映像重要度を計算し、前記表示制御部は、前記映像重要度計算部によって計算された前記映像重要度に基づいて、前記２以上の領域のそれぞれを表示する態様を決定して前記画像フレームの表示を制御してもよい。
【００３２】
前記映像は、第１の時刻に撮影された第１の映像と、第２の時刻に撮影された第２の映像を含み、前記第１の映像と前記第２の映像は、それぞれ異なる視点から空間を撮影した映像であり、前記映像重要度計算部は、前記第１の映像の映像重要度である第１映像重要度と、前記第２の映像の映像重要度である第２映像重要度とを計算し、前記表示制御部は、前記映像を表示するための規則を規定する表示規則と前記映像重要度計算部によって計算された前記第１映像重要度および第２映像重要度とに基づいて前記映像を表示する態様を決定し、撮影された時刻に基づいて前記第１の映像と前記第２の映像とが同期するよう表示を制御してもよい。
【００３３】
前記表示制御部は、前記複数の映像のそれぞれが撮影された位置と前記映像重要度計算部によって計算された前記映像重要度とに基づいて前記複数の映像それぞれの表示を制御してもよい。
【００３４】
前記映像は静止画であってもよい。
【００３５】
前記映像は動画であってもよい。
【００３６】
前記第１の時刻と前記第２の時刻とは、同一の時刻であってもよい。
【００３７】
本発明の映像表示方法は、撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理するステップと、前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算するステップと、前記空間を撮影した映像の情報を、映像情報として取得するステップと、少なくとも前記映像重要度に基づいて、前記映像情報が表す前記映像の表示を制御するステップと、前記映像の表示の制御にしたがって前記映像を表示するステップとを包含し、これにより上記目的が達成される。
【００３８】
前記映像表示方法は、前記映像情報を格納するステップをさらに包含し、前記映像情報を取得するステップは、格納された前記映像情報を読み出すことによって、前記映像情報を取得するステップであってもよい。
【００３９】
前記映像表示方法は、新たな被写体重要度を入力するステップをさらに包含し、前記被写体情報を管理するステップは、前記新たな被写体重要度を入力するステップによる入力に応答して、前記被写体重要度を入力された前記新たな被写体重要度に変更して保持することにより管理するステップであり、前記映像重要度を計算するステップは、前記新たな被写体重要度の保持に応答して、保持された被写体重要度に基づいて映像重要度を計算するステップであってもよい。
【００４０】
前記映像情報は、前記映像を撮影した時刻に関する撮影時刻情報を含み、前記被写体情報は、前記被写体に発生したイベントと前記イベントが発生した時刻を表すイベント発生時刻とに関するイベント情報を含み、前記映像重要度を計算するステップは、さらに前記イベント情報と前記撮影時刻情報とに基づいて前記映像重要度を計算するステップであってもよい。
【００４１】
本発明の映像表示方法は、空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納するステップと、格納された前記映像情報を読み出すステップと、前記空間で発生したイベントと、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するステップと、管理された前記イベント情報と格納された前記撮影時刻情報とに基づいて、映像の重要度を表す映像重要度を計算するステップと、少なくとも計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御するステップと、前記制御にしたがって前記映像を表示するステップとを包含し、これにより上記目的が達成される。
【００４２】
前記映像は画像フレームから構成され、前記画像フレームは２以上の領域を含み、前記映像重要度を計算するステップは、前記２以上の領域のそれぞれについて前記映像重要度を計算するステップであり、前記表示を制御するステップは、計算された前記映像重要度に基づいて、前記２以上の領域のそれぞれを表示する態様を決定して前記画像フレームの表示を制御するステップであってもよい。
【００４３】
前記映像は、第１の時刻に撮影された第１の映像と、第２の時刻に撮影された第２の映像を含み、前記映像重要度を計算するステップは、前記第１の映像の映像重要度である第１映像重要度と、前記第２の映像の映像重要度である第２映像重要度とを計算するステップであり、前記表示を制御するステップは、前記映像を表示するための規則を規定する表示規則と計算された前記第１映像重要度および第２映像重要度とに基づいて前記映像を表示する態様を決定し、撮影された時刻に基づいて前記第１の映像と前記第２の映像とが同期するよう表示を制御するステップであってもよい。
【００４４】
本発明のコンピュータ読み取り可能な記録媒体は、撮影された空間に存在する被写体と前記被写体の重要性を表す被写体重要度との対応関係を含む被写体情報を管理するステップと、前記被写体情報に基づいて、映像の重要性を表す映像重要度を計算するステップと、前記空間を撮影した映像の情報を、映像情報として取得するステップと、少なくとも前記映像重要度に基づいて、前記映像情報が表す前記映像の表示を制御するステップと、前記映像の表示の制御にしたがって前記映像を表示するステップとをコンピュータに実行させ、これにより上記目的が達成される。
【００４５】
前記映像表示方法は、前記映像情報を格納するステップをさらに包含し、前記映像情報を取得するステップは、格納された前記映像情報を読み出すことによって、前記映像情報を取得するステップであってもよい。
【００４６】
前記映像表示方法は、新たな被写体重要度を入力するステップをさらに包含し、前記被写体情報を管理するステップは、前記新たな被写体重要度を入力するステップによる入力に応答して、前記被写体重要度を入力された前記新たな被写体重要度に変更して保持することにより管理するステップであり、前記映像重要度を計算するステップは、前記新たな被写体重要度の保持に応答して、保持された被写体重要度に基づいて映像重要度を計算するステップであってもよい。
【００４７】
前記映像情報は、前記映像を撮影した時刻に関する撮影時刻情報を含み、前記被写体情報は、前記被写体に発生したイベントと前記イベントが発生した時刻を表すイベント発生時刻とに関するイベント情報を含み、前記映像重要度を計算するステップは、さらに前記イベント情報と前記撮影時刻情報とに基づいて前記映像重要度を計算するステップであってもよい。
【００４８】
本発明のコンピュータ読み取り可能な記録媒体は、空間を撮影した映像の情報と前記映像を撮影した時刻に関する撮影時刻情報とを格納するステップと、格納された前記映像情報を読み出すステップと、前記空間で発生したイベントと、前記イベントが発生した発生時刻、前記イベントの重要性を表すイベント重要度および前記映像との対応関係を含むイベント情報を管理するステップと、管理された前記イベント情報と格納された前記撮影時刻情報とに基づいて、映像の重要度を表す映像重要度を計算するステップと、少なくとも計算された前記映像重要度に基づいて、前記映像情報が表す映像の表示を制御するステップと、前記制御にしたがって前記映像を表示するステップとをコンピュータに実行させ、これにより上記目的が達成される。
【００４９】
前記映像は画像フレームから構成され、前記画像フレームは２以上の領域を含み、前記映像重要度を計算するステップは、前記２以上の領域のそれぞれについて前記映像重要度を計算するステップであり、前記表示を制御するステップは、計算された前記映像重要度に基づいて、前記２以上の領域のそれぞれを表示する態様を決定して前記画像フレームの表示を制御するステップであってもよい。
【００５０】
前記映像は、第１の時刻に撮影された第１の映像と、第２の時刻に撮影された第２の映像を含み、前記映像重要度を計算するステップは、前記第１の映像の映像重要度である第１映像重要度と、前記第２の映像の映像重要度である第２映像重要度とを計算するステップであり、前記表示を制御するステップは、前記映像を表示するための規則を規定する表示規則と計算された前記第１映像重要度および第２映像重要度とに基づいて前記映像を表示する態様を決定し、撮影された時刻に基づいて前記第１の映像と前記第２の映像とが同期するよう表示を制御するステップであってもよい。
【００５１】
前記被写体情報は、少なくとも前記被写体の名称と、前記被写体が存在する位置と、前記被写体重要度とをそれぞれを関連づけて格納したデータ構造を有していてもよい。
【００５２】
【発明の実施の形態】
以下、添付の図面を参照して、本発明の実施の形態を説明する。
【００５３】
本発明の実施の形態では、撮影された空間に存在する被写体と被写体の重要性を表す被写体重要度との対応関係を含む被写体情報に基づいて、映像の重要性が計算され、映像が表示される。「対応関係」とは、その被写体がどの程度の被写体重要度であるかの対応付けである。これにより、重要な被写体であれば映像重要度が高く計算されそれに応じた表示がなされるので、どのカメラで撮影した映像であっても、重要な被写体が含まれる映像は重要性が高いことがわかるように表示することができる。
【００５４】
本発明の実施の形態では、新たな被写体重要度が入力され保持されると、それに応答して、保持された被写体重要度に基づいた映像重要度が計算される。これにより、被写体重要度が変更されると、即座にその変更が反映された映像表示が実現される。
【００５５】
本発明の実施の形態では、被写体にアラームやアクション等のイベントが発生した場合に、さらにイベント情報と撮影時刻情報とに基づいて映像重要度が計算される。被写体そのものの重要度だけでなくイベントの重要度に応じた映像の表示が実現されるので、同じ被写体を撮影した映像であっても、イベントが撮影された映像の映像重要度がより高くなり、その映像の重要性が高いことがわかるよう表示することができる。よって、素早く的確なイベントの観察ができる。
【００５６】
本発明の実施の形態では、イベント情報と撮影時刻情報とに基づいても前記映像重要度を計算することができる。これにより、イベントの発生前後の状態を含むイベントに関する情報のみに基づいたイベントの観察が可能になる。
【００５７】
（実施の形態１）
１−１．本実施の形態における映像表示装置の動作概要
図１は、本実施の形態における映像表示装置１０の構成を示すブロック図である。
【００５８】
本実施の形態における映像表示装置１０は、ライブ映像を映像の重要性に応じてグループに分割し、複数の映像を表示するマルチ画面合成表示を行う（図２（ａ）および（ｂ））。その際、撮影された映像に含まれる被写体に被写体重要度を設定し、被写体情報に基づいて映像全体の映像重要度を決定する。重要な被写体ほど映像重要度に与える影響が大きい。したがってその被写体を含む映像であれば、重要度の高い映像として強調表示等を施すことによって他の映像と識別できるよう自動的に表示レイアウトを決定し表示することができる（図３（ａ）および（ｂ）、図１８（ａ））。
【００５９】
１−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置１０は、複数のカメラ１１ａ〜１１ｎと、映像情報取得部１２と、被写体情報管理部１３と、被写体情報格納部１４と、映像重要度計算部１５と、表示制御部１６と、表示部１７とを含む。
【００６０】
複数のカメラ１１ａ〜１１ｎは所定の空間を撮影し、撮影した映像を映像情報取得部１２に送信する。複数のカメラ１１ａ〜１１ｎは、撮影方向、範囲あるいは設置位置等が固定されていても、可動であってもよい。以下では、映像情報は、複数のカメラ１１ａ〜１１ｎからそれぞれ送信される複数の映像情報であるとして説明するが、単一のカメラからの複数の映像情報であっても、単一のカメラからの単一の映像情報であってもよい。
【００６１】
映像情報取得部１２は、映像情報を取得し、表示制御部１６へ取得した映像情報を供給するために設けられている。映像情報取得部１２は、複数のカメラ１１ａ〜１１ｎから映像情報を受け取る。映像情報取得部１２は、さらに表示制御部１６からどの映像情報を選択すべきかを選択する選択指示命令を受け取る。映像情報取得部１２は、選択指示命令に基づいて、受け取った映像情報から表示すべき必要な映像情報を選択し、表示制御部１６に送信する。映像情報取得部１２のより詳しい構成および動作は後述される。
【００６２】
被写体情報管理部１３は、被写体情報を管理する。ここで「被写体情報」とは、撮影された空間に存在する被写体と、被写体の重要性を表す被写体重要度との対応関係を含む情報である（被写体情報については図５を参照しながら後述する）。「被写体情報を管理する」とは、被写体情報管理部１３がユーザ（オペレータ）からの被写体情報の変更を受け付け、新たな被写体情報を設定し、あるいは設定された被写体情報を保持することを表す。被写体情報管理部１３は、設定された被写体情報を被写体情報格納部１４に送り、被写体情報格納部１４でその被写体情報を保持する。被写体情報管理部１３は、ユーザ（オペレータ）からの被写体情報の変更を受け付けるために、被写体情報の編集機能を有する。編集機能は、テキストエディタ等のソフトウェア的あるいはハードウェア的に被写体情報の設定を変更する手段として提供される。テキストエディタ等を用いた場合、オペレータは、設定の変更を対話的に行うことができる。
【００６３】
被写体情報格納部１４は、被写体情報管理部１３から、設定された被写体情報を受け取り、格納する。被写体情報格納部１４は、映像重要度計算部１５に被写体情報を提供する。被写体情報格納部１４は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）あるいはＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に代表される半導体メモリ、ハードディスク等の磁気記憶媒体を用いた記憶装置、光ディスク等、公知のデータ記憶手段であり得る。
【００６４】
映像重要度計算部１５は、映像の映像重要度を計算するために設けられている。「映像重要度」とは、被写体を含むその空間を撮影した映像の重要性を表すその程度である。映像重要度計算部１５は、被写体情報格納部１４から被写体情報を受け取り、受け取った被写体情報に基づいて、映像重要度を計算する。映像重要度計算部１５は、計算した映像重要度を表示制御部１６へ送信する。映像重要度計算部１５はさらに、映像重要度が高い映像を撮影するカメラを、順に所定のグループに分類し、そのそれぞれのグループにグループＩＤを付す。
【００６５】
表示制御部１６は、表示を行うために必要なデータ処理、例えば映像の表示位置の決定や合成処理等を行う。表示制御部１６は、映像重要度計算部１５から計算された映像重要度を受け取る。続いて表示制御部１６は、受け取った映像重要度に基づいて、映像情報取得部１２にどの映像情報を選択すべきかを選択する選択指示命令を送り、その指示命令にしたがった映像情報を受け取る。続いて表示制御部１６は、映像の表示を制御する。「映像の表示を制御する」とは、受け取った映像重要度に基づいて、映像情報が表す映像をどのように表示するかを決定することを表す。映像の表示の決定には、合成されて表示される映像の大きさや表示位置などを計算し、適当な信号処理を行うことにより合成画面のデータを生成することが含まれる。表示制御部１６は、生成した合成画面のデータを表示部１７に送信する。
【００６６】
表示部１７は、合成画面を表示するための装置である。表示部１７は、モニタ等であり得る。
【００６７】
続いて、映像情報取得部１２と表示制御部１６の具体的な構成を、図４０を参照して説明する。
【００６８】
図４０は、映像情報取得部１２（図１）と表示制御部１６（図１）の具体的な構成を示すブロック図である。
【００６９】
映像情報取得部１２（図１）は、少なくともビデオマトリクススイッチャ４０１を含む。ビデオマトリクススイッチャ４０１は、表示制御部１６からの指定に基づいて、Ｍ個の入力映像信号から指定されたＮ個の映像信号を表示制御部１６に出力する（Ｍ≧Ｎ）。
【００７０】
表示制御部１６は、少なくともグラフィックスボード４０２とマルチ画面オーバレイボード４０３とを含む。グラフィックスボード４０２は、マルチ画面オーバレイボード４０３において生成された合成画面データを受け取り、表示部１７（図１）において表示する映像データを生成する。マルチ画面オーバレイボード４０３は、映像情報取得部１２からＮ個の映像信号と、映像重要度計算部（図１）から映像重要度とを受け取る。受け取ったＮ個の映像信号と映像重要度とに基づいて、マルチ画面オーバレイボード４０３は、映像信号のそれぞれを映像ウィンドウとして重畳表示するために映像の大きさや表示位置などを計算する。計算して生成された合成画面データはグラフィックスボード４０２に送信される。
【００７１】
このように構成されたビデオマトリクススイッチャ４０１、グラフィックスボード４０２およびマルチ画面オーバレイボード４０３はいずれも製品化されており、これ以上の詳細な説明は省略する。
【００７２】
（ｂ）本実施の形態における映像表示装置の動作
図４は、映像表示装置１０（図１）の動作手順を表すフローチャートである。
【００７３】
まず、映像重要度計算部１５（図１）は、あらかじめ被写体情報格納部１４（図１）に格納されている被写体情報に基づいて、映像情報が表す映像の映像重要度を計算する（ステップ４０）。これにより、被写体重要度の高い被写体を撮影しているカメラの映像はどの映像でも、その被写体重要度に応じた映像重要度を有することになり、定量的な判断の下、適切にその映像を表示することができる。被写体情報を利用することによる大きな利点の一つは、１つの映像に複数の被写体が含まれる場合である。別個の重要性を有する被写体が１つの映像に含まれていると、被写体の被写体重要度の関係も考慮した上でその映像を表示する必要がある。被写体ごとに被写体重要度を設定すると、そのような場合にも自動的に適切な表示を実現することができる。例えば、複数の被写体それぞれの被写体重要度の総和をその映像の映像重要度とすることができる。以下、被写体情報と映像重要度についてそれぞれ説明する。
【００７４】
図５は、被写体情報の例を示す。被写体情報は、前述のようにカメラで撮影された空間に存在する被写体と、被写体の重要性を表す被写体重要度との対応関係を含む情報である。より詳しくは、被写体情報は、被写体を識別するＩＤ、被写体の名称、種類、存在する位置座標、被写体を撮影するカメラのカメラＩＤ、被写体の重要度等が対応付けて記述される。必要に応じて備考欄を設け、より特定的な情報を含めることもできる。被写体情報は、例えばテキストファイルとして被写体情報格納部１４（図１）に格納され、被写体情報管理部１３（図１）によって管理される。被写体情報に含まれるいずれの情報も、その被写体の特性、性質等を特定できる情報であればその形式は問わない。例えば、被写体が存在する位置座標は、緯度および経度によって表されていてもよいし、またはその住所等によってあらわされていてもよい。
【００７５】
図６は、計算された映像重要度の例を示す。映像重要度は、被写体情報に基づいて計算される。映像重要度の計算は、例えば複数のカメラ１１ａ〜１１ｎ（図１）のそれぞれが撮影する空間に被写体情報に記述された被写体が複数存在する場合、上述のように、複数の被写体それぞれの被写体重要度の総和を、そのカメラが撮影した映像の映像重要度とすることができる。あるいは、撮影する空間内の被写体の中で最大の被写体重要度を持つ被写体の被写体重要度を、そのカメラが撮影した映像の映像重要度とすることもできる。どのような計算方法を用いるかは、撮影の目的、被写体の性質等に応じて適宜変更され得る。図６に例示される映像重要度は、カメラＩＤにより特定されるカメラの映像の重要性と被写体の重要性とが対応していることを示す。なお、本発明で用いられる映像重要度は、従来の映像表示装置４２０（図４２）で用いられていた表示優先順位情報（図４３）に対応する。ただし、本発明では、映像重要度は被写体情報に記述された被写体重要度に基づいて計算されるのに対し、従来の映像表示装置４２０（図４２）では、カメラの撮影した映像の表示優先順位が、カメラに付属したセンサの計測値により決定される点が異なる。
【００７６】
再び、図４を参照して、計算された映像重要度は、映像重要度計算部１５（図１）の内部あるいは外部の、図１には図示されないデータ格納部に格納される（ステップ４１）。この図示されないデータ格納部は、公知の半導体メモリやハードディスク等であり得る。
【００７７】
映像情報取得部１２（図１）は、カメラ１１ａ〜１１ｎのうち、表示すべき映像を撮影しているカメラグループのカメラ（たとえば４台）の映像情報を選択し取得する（ステップ４２）。これは、同一のグループＩＤを有するカメラの映像情報を選択することであるといえる。映像情報の選択は、上述のように、表示制御部１６（図１）が映像重要度を受け取り、その映像重要度に基づいて映像情報取得部１２にどの映像情報を選択すべきかを選択する選択指示命令を送ることにより実現される。
【００７８】
表示制御部１６（図１）は、表示規則および映像重要度に基づいて、受け取った映像情報の表示態様を計算し、その結果を表示部１７（図１）に送信することによって表示する（ステップ４３）。ここで、表示規則とは、例えば優先順位に応じて表示部のどの位置に、どのような大きさで、どれだけの時間表示すべきか等を記述した映像を表示するに際して参照される規則である。
【００７９】
続いて被写体情報管理部１３（図１）によって被写体情報が変更されたか否かについての判定が行われる（ステップ４４）。この判定は、図１には図示されない中央演算部等の処理回路が行う。あるいはこの判定は、映像重要度計算部１５（図１）が定時的にあるいは被写体情報管理部１３（図１）からの入力があった際に行ってもよい。
【００８０】
被写体情報管理部１３（図１）によって被写体情報が変更されたと判定された場合には、表示制御部１６（図１）は映像の表示を中止し（ステップ４５）、変更された被写体情報を被写体情報格納部１４（図１）に格納する（ステップ４６）。その後、ステップ４０からの動作を繰り返し、変更された新たな被写体情報から映像重要度が計算され、変更を反映させた表示が再び行われる。ここで、被写体情報が変更される場合とは、例えばある被写体が消滅した場合や、新たに被写体が登場した場合、あるいは既に被写体情報に含まれている被写体の被写体重要度が変化した場合等である。
【００８１】
被写体情報管理部１３（図１）によって被写体情報が変更されたと判定されない場合には、続いて、映像の表示を中止するよう指示されたか否かについての判定が行われる（ステップ４７）。この映像の表示を中止する指示は、オペレータ等によって、外部から与えられる。
【００８２】
映像の表示を中止するよう指示されない場合には、ステップ４２からの動作を繰り返し、映像を表示するために映像情報を取得する。この判定が複数回連続する場合、取得される映像情報は、その直前に選択された映像の映像重要度の次に映像重要度が高い映像の映像情報とされる。したがって、その次に映像重要度が高い映像を提供しているカメラグループからの映像情報が取得されることになる。なお、映像重要度が最低の映像まで表示が終了すると、再び映像重要度が最高の映像が表示される。
【００８３】
映像の表示を中止するよう指示された場合には、処理が終了し、映像の表示が中止される。
【００８４】
以上のように、映像表示装置１０（図１）の動作が行われる。
【００８５】
なお映像表示装置１０（図１）の構成には、さらに表示レイアウト部が含まれてもよい。表示レイアウト部（図示せず）は、例えば表示制御部１６（図１）の内部に設けられ、映像重要度計算部１５（図１）で計算された映像重要度に基づいて映像の表示レイアウトを決定するための表示レイアウト情報を作成する。
【００８６】
図７は、表示レイアウトを決定するステップを含む、映像表示装置１０（図１）の動作手順を表すフローチャートである。このフローチャートにおいて、ステップ７０、７１は、図４のステップ４０、４１にそれぞれ対応し、ステップ７３は図４のステップ４２に対応し、ステップ７５〜７８は、図４のステップ４４〜４７にそれぞれ対応するのでそれらの説明は省略する。そこで、ステップ７２およびステップ７４で行われる処理について説明する。
【００８７】
表示レイアウト部（図示せず）は、映像重要度計算部（図１）で計算された映像重要度に基づいて、表示レイアウトを決定し、表示レイアウト情報を作成する（ステップ７２）。
【００８８】
図８は、表示レイアウト情報の例を示す。表示レイアウト情報は、１グループが４台のカメラから構成される複数のグループの映像を表示するために用いられる情報である。表示レイアウト情報は、各カメラにより撮影された映像が表示される表示時間、その映像を撮影したカメラのカメラＩＤ、画面上の映像の表示位置、表示サイズ（表示ウインドウの縦横のドット数）等の情報を含む。
【００８９】
映像制御部１６（図１）は、表示規則および表示レイアウト情報に基づいて映像情報が表す映像を表示する（ステップ７４）。図４のステップ４３では、映像表示装置１０（図１）は表示規則および映像重要度に基づいて映像を表示していたが、表示レイアウトをあらかじめ決定しておくことにより、より高速な映像表示処理が実現できる。
【００９０】
（ｃ）本実施の形態における映像表示装置の映像の表示
以下では、映像表示装置１０（図１）の処理動作により表示部１７（図１）に表示される映像の表示態様について説明する。
【００９１】
図２（ａ）および（ｂ）は、映像表示装置１０（図１）の処理動作により表示される映像の態様の一例を示す。この表示は、例えば観光案内等で、著名な建築物の映像を所定の順序で視聴したい場合に有用な表示である。
【００９２】
まず、重要度第１グループの公共施設関連の建築物を撮影した映像が表示される（図２（ａ））。このように表示されるのは、被写体たる公共施設関連の建築物それぞれには高い被写体重要度が設定されおり、その公共施設を撮影した映像の映像重要度が高くなった（ここでは重要度第１番目）からである。その後、重要度第ｎグループの住宅関連の建築物を撮影した映像が表示される（図２（ｂ））。公共施設関連の建築物に設定された被写体重要度と比較すると、住宅関連の建築物に設定された被写体重要度は小さい。そのため、住宅関連の建築物を撮影した映像の映像重要度も比較的小さくなり（ここでは重要度第ｎ番目）、公共施設関連の建築物よりも遅く住宅関連の建築物が表示される。
【００９３】
本発明では、同じ公共施設関連の建築物を撮影した映像の映像重要度にも差があることに鑑み、映像を表示する位置にも差を設けている。
【００９４】
図３は、同じ重要度のグループにおける映像の表示位置を示す例である。
【００９５】
同じ重要度のグループにおいて、映像重要度が最も高い映像は画面の左上に、映像重要度が最も低い映像は画面の右下に表示される。図３（ａ）は図２に示す画面を４分割した場合の映像の表示例である。図３（ｂ）は、画面を９分割した場合の映像の表示例である。画面のどの位置にどの映像重要度の映像を表示するかは適宜決定し、表示規則として規定することができる。さらには、所定数の映像重要度が高い映像をより大きく、残りの映像はより小さく表示するという表示規則を規定することも可能である（図１８（ａ）参照）。オペレータの指示により対話的に各グループの表示を選択し切り替えることも可能である。
【００９６】
表示規則には、表示レイアウト情報（図８）で説明した表示時間等も併せて規定することができる。したがって、重要度の高いグループほど表示される時間が長く設定すること等が可能である。例えば、最も重要度の高いグループは６０秒、２番目は５０秒、３番目は４０秒と設定することができる。
【００９７】
なお、これら表示規則で規定されるパラメータは、映像表示装置１０（図１）を動作させるために中央演算装置（図示せず）で実行されるソフトウェアプログラム内に書きこまれている（以下、「ハードコーディングされている」という）、あるいは変更可能なパラメータ記述ファイル等を別に設け、そのパラメータを随時参照することにより、変更を反映した表示を実現することが可能である。さらには表示規則全体を、自然言語に近い表現で、エンドユーザが簡易に記述できる言語であるスクリプト等で記述し、スクリプトファイルとして変更できるようにすることで、多くのバリエーションをもった表示の仕方から選択することができる。
【００９８】
以上説明したように、実施の形態１にかかる映像表示装置１０（図１）によれば、被写体それぞれの被写体重要度を含む被写体情報に基づいて、映像の映像重要度が計算され、その映像重要度に基づいて映像が表示される。したがって、映像に含まれる被写体の重要性に応じた映像の表示が可能になる。オペレータは、被写体の重要度を決定するだけで被写体の重要性に応じた映像の表示をさせることができるので、表示レイアウトを決定する煩雑な手間が不要になり、かつ客観性のある映像表示を得ることができる。さらに、表示規則を規定することにより、オペレータは重要なグループほど長時間観察でき、画面内でも決められた重要度の配置でみることができるといった、柔軟な映像表示が実現される。
【００９９】
なお、映像情報が表す映像は、動画であっても静止画であってもよく、さらにはそれらの混在であってもよい。
【０１００】
（実施の形態２）
２−１．本実施の形態における映像表示装置の動作概要
図９は、本実施の形態における映像表示装置９０の構成を示すブロック図である。
【０１０１】
本実施の形態における映像表示装置９０は、映像情報は、複数のカメラから入力される映像情報を直接用いるのではなく、記憶装置に蓄積された映像情報を用いて映像の表示を行う。
【０１０２】
本実施の形態の映像表示装置９０ではさらに、映像を撮影した位置を視覚的に理解するために地図を用い、地図上の対応する位置の近傍にその撮影された映像を表示する（図１０（ａ）、（ｂ）および（ｃ））。実施の形態１で説明したように、映像の表示はさらに被写体情報に基づいて計算された映像重要度を用いて重要な映像から順に表示するよう行われる。したがって、実施の形態１において説明した映像表示装置１０（図１）で得られた利点も全て得ることができる。
【０１０３】
２−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置９０は、複数のカメラ１１ａ〜１１ｎと、映像情報取得部１２と、被写体情報管理部１３と、被写体情報格納部１４と、映像重要度計算部１５と、表示制御部１６と、表示部１７とを含む。映像表示装置９０はさらに、映像情報格納部９３と、地図情報格納部９４と、地図情報読み出し部９５と、操作部９６とを含む。
【０１０４】
以下では、映像表示装置９０の構成要素のうち、映像表示装置１０（図１）の構成要素と同一の符号が付された構成要素については、映像表示装置１０（図１）の構成要素の構成および機能と同一であるのでその説明は省略する。したがって、以下では、映像情報格納部９３と、地図情報格納部９４と、地図情報読み出し部９５と、操作部９６とについて説明する。映像表示装置１０（図１）と異なる動作または追加の動作が行われる場合には、その都度説明する。
【０１０５】
映像表示装置９０の映像情報取得部１２は、映像情報入力部９１と、映像情報読み出し部９２とを含む。映像情報入力部９１には、カメラ１１ａ〜１１ｎからの映像情報が入力される。映像情報入力部９１は、入力された映像情報を映像情報格納部９３に格納する。映像情報読み出し部９２は、映像情報格納部９３に格納された映像情報を読み出し、表示制御部１６に送信する。どの映像情報を選択して読み出すかは、実施の形態１において説明したように表示制御部１６からの選択指示命令に基づく。
【０１０６】
映像情報格納部９３は、映像情報をあらかじめ格納しておくために設けられている。映像情報格納部９３は、映像情報入力部９１から映像情報を受け取り、その映像情報を格納する。映像情報格納部９３に格納される映像情報は、複数の位置で複数のカメラによって撮影された複数の映像情報であり得る。映像情報格納部９３は、被写体情報格納部１４と同様、ＲＡＭあるいはＲＯＭに代表される半導体メモリ、ハードディスク等の磁気記憶媒体を用いた記憶装置、光ディスク等、公知のデータ記憶手段であり得る。映像情報格納部９３は、映像情報読み出し部９２からの読み出し信号に基づいて所定の映像情報を読み出し、映像情報読み出し部９２に送信する。
【０１０７】
以上の説明によって明らかなように、本実施の形態による映像表示装置９０では、実施の形態１のようにカメラ１１ａ〜１１ｎからの映像情報が直接表示に利用されるのではなく、一旦映像情報格納部９３に格納され、必要な情報が適宜表示に利用される。
【０１０８】
地図情報格納部９４は、表示の背景的な役割を果たす地図情報をあらかじめ格納しておくために設けられている。地図情報格納部９４は、映像が撮影された位置を視覚的に表示するための地図に関する地図情報を格納する。地図情報格納部９４は、図示されない適当な入力手段からあらかじめ地図情報を受け取り、受け取った地図情報を格納する。地図情報格納部９４は、地図情報読み出し部に地図情報を提供する。
【０１０９】
地図情報読み出し部９５は、地図情報を読み出すために設けられている。地図情報読み出し部９５は、表示制御部１６から地図読み出し命令を受け取り、それに応じて地図情報格納部９４から地図情報を読み出す。地図情報読み出し部９５は、読み出した地図情報を表示制御部１６に送信する。
【０１１０】
操作部９６は、後に説明するように、オペレータからの指示を受けて重畳表示された映像を選択的に表示するために、または他の映像を表示するよう指示するために用いられる。操作部９６は、例えばキーボード、マウス、タッチパネル等公知の入力手段であり得る。
【０１１１】
なお、被写体情報格納部１４、映像情報格納部９３および地図情報格納部９４は別々の記憶装置であっても、同一の記憶装置（例えばハードディスク）内の別々の位置の領域であってもよい。
【０１１２】
（ｂ）本実施の形態における映像表示装置の動作および映像表示例
図１１は、映像表示装置９０（図９）の動作手順を表すフローチャートである。
【０１１３】
まず映像重要度計算部１５（図９）は、被写体情報と映像管理情報とに基づいて映像重要度を計算する（ステップ１１０）。より詳しくは、映像重要度は、映像に含まれる被写体の位置座標およびその映像を撮影したカメラの位置座標とに基づいて計算される。「映像に含まれる被写体の位置座標」は、被写体情報（図５）に含まれている。「その映像を撮影したカメラの位置座標」は、映像管理情報に含まれている。映像管理情報は、映像重要度計算部１５（図１）の内部あるいは外部の、図９には図示されないデータ格納部に格納される。
【０１１４】
図１２は、映像管理情報の例を示す。映像管理情報は、複数の映像情報それぞれの特性を記載した管理情報である。映像管理情報は、映像ＩＤ、映像の種類（動画か静止画か、映像の解像度、符号化方式等）、カメラそれぞれに割り当てられたカメラＩＤ、映像のファイル名、映像を撮影した時刻、映像を撮影した撮影位置、映像重要度等を含む。映像重要度は、以下で述べるステップ１１１において格納される。
【０１１５】
映像重要度を計算するための手順を説明する。映像重要度計算部１５は、被写体情報（図５）に記述された被写体の位置と映像管理情報（図１２）に記述された撮影位置とを比較する。比較の結果、その差が一定範囲内にあれば（すなわち被写体とカメラとが一定距離内にあれば）、映像重要度計算部１５は、カメラがその被写体あるいはその近傍を撮影していると推定することができる。複数の被写体が存在する場合には、映像重要度計算部１５は、そのそれぞれについて上述した比較、推定を行うことにより、カメラがどの被写体を撮影しているかを推定できる。映像重要度計算部１５は、カメラが撮影していると推定される被写体の被写体重要度の総和を求めることにより、または被写体の被写体重要度の最大値を採用することにより映像重要度を得ることができる。
【０１１６】
映像重要度計算部１５（図９）によって計算された映像重要度は、映像管理情報の一部として映像管理情報に格納される（ステップ１１１）。
【０１１７】
続いて表示制御部１６（図９）は、地図情報読み出し部９５（図９）を介して地図情報格納部９４（図９）に格納された地図情報を読み込み、読み込んだ地図情報に基づいてその地図情報が表す地図を表示部１７（図９）に表示する（ステップ１１２）。このとき、地図表示情報が、表示制御部１６（図９）の内部あるいは外部の、図９には図示されないデータ格納部に格納される。地図表示情報とは、地図の表示範囲や縮尺等、表示されている地図の特性を表す情報である。
【０１１８】
表示制御部１６は、映像重要度と地図表示情報とに基づいて、映像情報を読み出す（ステップ１１３）。より詳しくは、表示制御部１６は、地図表示情報に記述されている地図の表示範囲に存在する撮影位置（単数または複数）を特定し、その撮影位置のカメラからの映像を、例えば映像重要度の高い順にＮ個選択する。表示制御部１６は、選択した映像情報を、映像情報読み出し部９２（図９）を介して映像情報格納部９３（図９）から読み出す。なお、映像は映像重要度の高い順にＮ個選択されるとしたが、これは表示規則によって変更することができる。
【０１１９】
表示制御部１６は、表示規則および映像重要度に基づいて、読み出した映像情報を実際の撮影位置に対応する地図上の位置の近傍に表示する（ステップ１１４）。
【０１２０】
図１０は、地図とその地図に関連づけられて表示された映像を示す。
【０１２１】
図１０（ａ）は、１カメラにつき１つの映像を表示する例を示す。各映像と、各映像が撮影された位置とが視覚的に理解できるよう表示されているので、状況が容易に把握できる。ここで、撮影位置が同一である場合、または撮影位置が地図上で近い場合には、それら複数の映像を一つのグループとして全て読み出し、例えば撮影時刻の古い映像を代表映像として表示することができる。このとき、例えば代表映像ウインドウの下に重畳的に別のウインドウを表示することにより、オペレータは他の映像が存在することを容易に把握することができる。
【０１２２】
図１０（ｂ）は、所定のカメラの映像を複数同時に表示する例を示す。図１０（ｂ）に示される例は、原則として図１０（ａ）を参照して説明した例と同じである。ただし、図１０（ａ）の例では複数の映像が表示される場合には代表映像１つを表示するとしたが、本例では、その複数の映像を所定数毎に同時に表示する点が異なる。表示すべき映像の指定は、所定のカメラで撮影された映像である。オペレータは、カメラと同時表示すべき映像とを指定することができる。なお図１０（ａ）の例で説明した代表映像のみの表示は、適当な操作により本例の表示へと移行することができる。例えば、同じグループに属する他の映像を見たい場合は、地図上で映像を指定してメニューを開き、メニューにある“他の映像表示”を選択することにより実現される。
【０１２３】
再び図１１を参照して、地図とその地図に関連づけられて映像が表示されると、続いて地図の表示を変更するようオペレータからの指示があったかが判定される（ステップ１１５）。これは、オペレータが、操作部９６（図９）を介して地図のスクロールや縮尺変更等の地図操作を行った場合である。この地図操作は、地図の縮尺が大きすぎるので地域をより限定して映像を見たい場合等に行われる。
【０１２４】
地図の表示を変更するよう指示があった場合、表示制御部１６（図９）は、映像の表示内容および地図表示情報を変更する（ステップ１１６）。すなわち、新たな地図に対応して表示すべき映像およびその地図の縮尺等の地図表示情報を変更する。その後、処理はステップ１１２まで戻る。
【０１２５】
図１０（ｃ）は、図１０（ａ）または（ｂ）に示す日本全国の表示設定を、九州地方に変更して表示した例を示す。表示設定が変更されても、図１０（ａ）または（ｂ）で説明したと同様の処理により映像が表示される。したがって、新たに表示された地図範囲に存在する重要度の高い映像が更新されて表示される。
【０１２６】
以上のように本実施の形態によれば、重要な被写体あるいはその被写体の近傍を撮影した映像を、地図上で撮影位置を把握しながら見ることができるという視覚的効果を得ることができる。さらに、被写体の追加や削除、被写体の重要度の変化に対しても被写体情報を修正するだけで対応することができ、煩雑な表示レイアウト修正作業を省略することができる。さらに、撮影した映像を一旦蓄積して使用するため、被写体を同じ重要度で、または重要度を変更して、繰り返し複数の映像を表示して観察することができる。
【０１２７】
（ｃ）本実施の形態の変形例
ステップ１１０における映像重要度の計算では、映像の撮影位置と被写体の位置との間の距離だけで、カメラがその被写体あるいはその近傍を撮影していると推定している。しかしこの場合、距離は近くても被写体（撮影対象）がカメラの撮影範囲に入っておらず、撮影されていないという問題が起こり得る。この問題は、カメラの撮影可能範囲に関する撮影範囲情報を映像管理情報（図１２）に記述することにより解決される。撮影範囲情報には例えば、カメラの位置、方向およびズーム画角が記述される。ここで「ズーム画角」とは、カメラが撮影することができる範囲を示す角度である。カメラの位置、方向およびズーム画角により被写体がカメラの撮影範囲に存在するか否かを判断する手順を説明する。
【０１２８】
図１３は、カメラの撮影位置、方向およびズーム画角と被写体の位置関係を示す。被写体がカメラの撮影範囲に存在するか否かは、幾何計算から求めることができる。すなわち、カメラ位置と被写体位置を結ぶ直線とカメラ方向の直線が作る角度（Φ１およびΦ２）を求め、その絶対値がズーム画角θの半分（θ／２）以下であれば被写体は撮影範囲に存在すると判定することができる。例えば、撮影範囲内にある被写体１は｜Φ１｜＜θ／２、撮影範囲外にある被写体２は｜Φ２｜＞θ／２である。したがって、被写体１は撮影範囲に存在するが、被写体２は撮影範囲に存在しない、と判定できる。
【０１２９】
なおズーム画角θは、図１４を参照して以下のように求めることができる。
【０１３０】
図１４は、被写体がカメラレンズを通して撮像される図を示す。図示されるように、焦点距離をＦ、撮影素子の大きさをＳとすると、
【０１３１】
【数１】
0004167777.tif 000002
【０１３２】
となり、ズーム画角θの値を求めることができる。
【０１３３】
さらに被写体情報（図５）に、被写体の大きさを表す外接多角形情報を記述することによって、被写体がそのカメラにどれくらいの大きさで撮影されるかを計算することができる。外接多角形情報とは、被写体の形状が複雑であったり曲線部分を含むような場合、その被写体の存在領域を近似的に表すために用いられる、その被写体に外接する２次元または３次元の多角形の情報をいう。
【０１３４】
図１５は、撮影範囲と被写体の関係と撮影状態を示す。
【０１３５】
図１５（ａ）は、撮影範囲の中央に被写体（文字「Ａ」）が存在する場合を示す。文字「Ａ」の外接多角形情報は、図示されるように文字「Ａ」に外接する長方形である。このとき図示されるように、被写体は映像の中央部に存在する。図１５（ｂ）は、撮影範囲の一部（撮影範囲の下方）に被写体（文字「Ａ」）が存在する場合を示す。このとき、撮影された映像の下方に被写体が存在する。なお、実際には被写体の全体は表示されないが、撮影面と被写体との関係を明確にするために被写体の全体を図示している。
【０１３６】
図１５（ａ）および（ｂ）に示すような場合に、被写体がどの程度写っているかを定量的に計算する手順を以下に説明する。例えば図１４に示されるように、まず撮影面を（Ｘ−Ｙ）平面とする。つづいて被写体の近傍に存在しカメラの撮影方向に直交する（ｘ−ｙ）平面を考え、この（ｘ−ｙ）平面に被写体の外接多角形を射影する。ここで、（ｘ−ｙ）平面と撮影方向が交わる点を（ｘ−ｙ）平面の原点とする。この（ｘ−ｙ）平面において、射影した外接多角形の１つの頂点座標を（ｘ０，ｙ０）とすると、その頂点に対応する撮影面（Ｘ−Ｙ平面）上の点の座標（Ｘ０，Ｙ０）は、
【０１３７】
【数２】
0004167777.tif 000003
【０１３８】
で与えられる。ここで、Ｌは、レンズから被写体が射影された平面（すなわちｘ−ｙ平面）までの距離を表す。（ｘ−ｙ）平面は被写体の近傍に存在するので、被写体の位置情報を、レンズから（ｘ−ｙ）平面までの距離として利用してもよい。このような手順によれば、外接多角形の頂点に対応する撮影面上での座標を得ることができる。座標が得られると、その座標によって囲まれる撮影面上の多角形の面積と、撮影面の面積との比を算出し、撮影面に占める被写体の割合を近似的に求めることができる。
【０１３９】
撮影範囲情報を利用することにより、図１５（ｂ）に例示したように、カメラの撮影範囲と被写体の存在位置との関係で被写体の一部しか撮影されていない場合には、被写体がカメラに写る割合（面積比）と被写体の被写体重要度とを乗算した値をその映像の映像重要度とすれば、被写体重要度の高い被写体がよく写っている映像を高い映像重要度を持つ映像として優先的に表示することができる。
【０１４０】
このように映像重要度を計算すると、撮影範囲が固定されたカメラだけでなく、移動カメラや首振りカメラで撮影した動画であっても、各画像フレーム毎に撮影範囲情報を記述しておくことにより、重要な被写体が写っている動画部分のみを抜き出して優先的に表示することができる。
【０１４１】
本実施の形態で説明した全ての場合において上述した映像の表示態様は一例であり、表示規則を適当に変更することによってより柔軟な映像表示を実現することができる。上述した例（２−２．（ｂ））で表示規則として規定していたのは、表示されるのが重要度の高いＮ個の映像であること、地図上での映像の表示位置は撮影位置の近傍とすること、同じ位置またはかなり近い位置で撮影した映像のグループは撮影時刻の古いものから表示すること、および同一のグループに属する映像のうち、代表映像以外の映像をオペレータの操作により選択的に表示することである。しかし、例えば、閾値以上の映像重要度を有する映像すべてを表示したり、閾値以上でＮ個を超えない映像を表示する等の表示規則が適用でき、オペレータの目的に応じて使い分けることができる。
【０１４２】
さらに、映像重要度の低く表示されない映像を、例えばカメラの形をしたアイコンとして表示された地図上の撮影位置近傍に表示し、オペレータが地図上でそのカメラアイコンを選択して映像表示を指示するようにすれば、どのような映像重要度であっても任意の映像を簡単な操作により見ることができる。
【０１４３】
（実施の形態３）
３−１．本実施の形態における映像表示装置の動作概要
図１６は、本実施の形態における映像表示装置１６０の構成を示すブロック図である。
【０１４４】
本実施の形態における映像表示装置１６０は、映像の重要性に応じて複数の映像を表示する。映像の重要性は、映像に含まれる被写体に設定された被写体重要度に基づいて決定される。映像表示装置１６０は、映像の表示中であっても被写体重要度を変更することができ、その変更を映像の表示にリアルタイムに反映させる。例えば、プラント監視において燃料バルブのセンサからアラームが発生すると、オペレータや運転制御を行う外部モジュールからの指示により、燃料バルブ付近に存在する被写体や燃料系の被写体の被写体重要度を上げ、その被写体を含む映像重要度を上げる。これにより、その近辺や系統的に繋がりのある被写体が優先的に表示される。
【０１４５】
３−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置１６０は、複数のカメラ１１ａ〜１１ｎと、映像情報取得部１２と、被写体情報管理部１３と、被写体情報格納部１４と、映像重要度計算部１５と、表示制御部１６と、表示部１７とを含む。映像表示装置１６０はさらに、入力部１６１および／または外部モジュール１６２とを含む。
【０１４６】
以下では、映像表示装置１６０の構成要素のうち、映像表示装置１０（図１）の構成要素と同一の符号が付された構成要素については、映像表示装置１０（図１）の構成要素の構成および機能と同一であるのでその説明は省略する。したがって、以下では、入力部１６１と外部モジュール１６２とについて説明する。映像表示装置１０（図１）と異なる動作または追加の動作が行われる場合には、その都度説明する。
【０１４７】
入力部１６１は、オペレータが被写体情報を修正、変更して設定するための入力装置である。入力部１６１は、例えばキーボード等であり得る。入力部１６１から変更、設定される被写体情報は被写体情報管理部１３に送信される。
【０１４８】
外部モジュール１６２は、プラント状態を計算するシミュレータ等であり、運転制御を行う。外部モジュール１６２から変更、設定される被写体情報は被写体情報管理部１３に送信される。
【０１４９】
被写体情報管理部１３は、入力部１６１および／または外部モジュール１６２から被写体情報を変更するよう指示を受け取り、さらに新たな被写体情報を受け取る。被写体情報管理部１３は、受け取った新たな被写体情報を対応する前の被写体情報にかえて被写体情報格納部１４に格納する。なお被写体情報の変更指示は、新たな被写体情報と別個に受け取られるのではなく、被写体情報管理部１３が新たな被写体情報を受け取ったときに与えられたとみなしてもよい。
【０１５０】
（ｂ）本実施の形態における映像表示装置の動作および映像表示例
図１７は、映像表示装置１６０（図１６）の動作手順を表すフローチャートである。このフローチャートに示されたステップのうち、被写体重要度に基づいて映像重要度を計算し、映像情報が表す映像を表示するステップ１７０〜１７３は、図４を参照して説明したフローチャートのステップ４０〜４３とそれぞれ同じであるので、その説明は省略する。
【０１５１】
ステップ１７４において、被写体情報が被写体情報管理部１３（図１６）によって変更されたか否かが判定される。
【０１５２】
被写体情報が被写体情報管理部１３（図１６）によって変更されたと判定されると（すなわち入力部１６１（図１６）または外部モジュール１６２（図１６）から被写体重要度を変更するよう指示を受け取った被写体情報管理部１３（図１６）が、所定の被写体情報を受け取った新たな被写体情報に変更すると）、被写体情報管理部１３（図１６）は、新たな被写体情報を被写体情報格納部１４（図１６）に格納する（ステップ１７５）。映像重要度計算部１５（図１６）は、変更された新たな被写体情報に基づいてリアルタイムかつ自動的に映像重要度を変更し、表示する映像を変更する。これはステップ１７５に続いて、ステップ１７０〜１７３が次々実行されることにより実現される。
【０１５３】
被写体情報が被写体情報管理部１３（図１６）によって変更されていないと判定されると、変更の指示があるまで待機し、映像の表示を続行する。なお、被写体情報の変更指示があるまでステップ１７２〜１７４からの処理を繰り返すことにより、映像の表示を次々に行うことができる。これは、図４に示されるステップ４２〜４４およびステップ４７の処理を繰り返し行うことと同じである。
【０１５４】
なお、映像情報が表す映像は、動画であっても静止画であってもよく、さらにはそれらの混在であってもよい。表示する表示規則に基づいて、映像が表示されるのは既に説明したとおりであるが、その表示規則は任意に変更しうる。
【０１５５】
以上のように本実施の形態によれば、映像表示中であっても、被写体情報管理部１３（図１６）は、入力部１６１（図１６）や外部モジュール１６２（図１６）からの要求に従い、被写体情報に含まれる被写体重要度を変更する。表示制御部１６（図１６）は、被写体情報の変更が反映された結果変更された映像重要度に応じて、複数の映像の表示を自動的に変更する。したがって、注目すべき被写体の種類や位置などが状況に応じて変化する場合でも、映像重要度の高い映像が自動的に選択表示され、オペレータは素早く的確な被写体観察ができる。言うまでもなく、実施の形態１で説明した映像表示装置１０（図１）の効果も得ることができる。
【０１５６】
（実施の形態４）
４−１．本実施の形態における映像表示装置の動作概要
実施の形態１〜３では、映像重要度の高い映像から順に時間を変化させ、または複数の映像のうちＮ個の映像を選択して表示した。本実施の形態では、映像重要度に従って、映像の表示サイズを変更し、または映像を表示するウインドウの枠の太さや色を変更する強調表示の度合いを変化させる。
【０１５７】
４−２．本実施の形態における映像の表示
本実施の形態において用いられる映像表示装置は、実施の形態１〜３で説明した映像表示装置のいずれでもよい。映像表示装置１０、９０、１６０（図１、９、１６）は、表示する映像の映像重要度に応じて以下のように映像を表示する。
【０１５８】
図１８は、映像重要度の高い映像ほど表示サイズを大きくする表示画面の例を示す。
【０１５９】
図１８（ａ）は、実施の形態２にかかる映像表示装置１０（図１）を用いて映像を表示させた例を示す。表示画面は１０分割され、映像重要度が最も高い映像と２番目に高い映像とが画面の上半分に、その他の映像が画面の下半分に表示されている。画面の上半分に表示された映像の表示サイズは、他の映像の表示サイズの例えば４倍である。
【０１６０】
図１８（ｂ）は、実施の形態２にかかる映像表示装置９０（図９）を用いて映像を表示させた例を示す。撮影された位置に対応する地図上の位置に表示される映像のうち、映像重要度が大きい順に２つの映像が拡大されて表示され、映像重要度が小さい映像ほど、小さく表示されている。
【０１６１】
図１８（ｃ）は、実施の形態２にかかる映像表示装置９０（図９）を用いて映像を表示させた例を示す。撮影された位置に対応する地図上の位置に表示される映像のうち、映像重要度が大きい映像ほど、映像を表示するウィンドウの枠が太く、色が濃く表示されている。
【０１６２】
図１９は、映像重要度に応じて映像の強調度（表示サイズ）を変更するための表示規則の例を示す。図１８（ａ）〜（ｃ）で用いられた映像表示装置１０、９０、１６０（図１、９、１６）の表示制御部１６（図１、９、１６）は、このような表示規則と映像重要度とを用いることによって、上述のような映像の表示を実現することができる。
【０１６３】
図１９（ａ）は、映像重要度の高い映像の表示サイズをより大きく表示するための表示規則であり、例えば１番目の映像重要度の映像を表示するサイズは４８０×３２０ドット、２番目は４５０×３００ドットなどと規定している。
【０１６４】
図１９（ｂ）は、映像重要度の高い映像の表示ウィンドウの枠を太く、色を変更して表示する規則であり、例えば、１番目はのウィンドウ枠は３ポイントの赤色、２番目は２．５ポイントの橙色などと規定している。色は目立つ色から順に用いられるようにしてもよい。なお、上述した強調表示の表示規則は一例にすぎず、他の例として、重要な映像のウィンドウ枠をブリンク表示する、重要な映像のコントラストや輝度を上げる等、オペレータが映像表示装置１０、９０、１６０（図１、９、１６）を利用する目的に応じてさまざまな表示規則を規定し、変更することができる。
【０１６５】
これらの例においては、映像情報が表す映像は、動画であっても静止画であってもよく、さらにはそれらの混在であってもよい。
【０１６６】
以上のように本実施の形態によれば、表示規則と映像重要度とに基づいて、表示制御部１６（図１、９、１６）が映像の強調表示の度合いを変化させて表示するようにしたので、重要な映像ほど大きく表示する、または重要な映像を表示するウインドウの枠の色を目立つようにする等、被写体の重要性をより意識して観察することができる。
【０１６７】
（実施の形態５）
５−１．本実施の形態における映像表示装置の動作概要
実施の形態１〜４は、映像は静止画または動画のいずれでもよかったが、本実施の形態では、映像は動画である。本実施の形態では、映像重要度が高い映像ほど映像の品質を高くして表示する。
【０１６８】
５−２．本実施の形態における映像の表示
本実施の形態において用いられる映像表示装置は、実施の形態１〜４で説明した映像表示装置のいずれでもよい。映像表示装置１０、９０、１６０（図１、９、１６）は、表示する映像の映像重要度に応じて以下に説明する映像を表示する。
【０１６９】
図２０は、映像重要度の順番にしたがって映像の表示品質を変更するための表示規則の例を示す。
【０１７０】
表示制御部１６（図１、９、１６）は、映像重要度とこの表示規則とに基づいて映像を表示する。例えば、１番目の映像重要度の映像を表示する表示品質は、３０フレーム／秒で解像度が４８０×３２０、２番目は２５フレーム／秒の４５０×３００、…となる。フレームレートが高いほど滑らかな動きを表示することができ、解像度が高いほど映像を緻密に表示することができる。周知のように、動画は、時間的に連続した複数の画像フレームを表示したときに実現される。
【０１７１】
以上のように本実施の形態によれば、表示制御部１６（図１、９、１６）は表示規則および映像重要度に基づいてフレームレートや解像度等の映像品質の度合いを変化させて表示するよう映像の表示を制御する。したがって映像重要度の高い映像（すなわち重要な映像）がより見やすくかつ緻密に表示されるので、オペレータは自然と重要な映像を注視することができる。さらに、比較的映像重要度が低い映像（すなわち比較的重要でない映像）は画像フレームが間引かれて表示されるので、映像表示装置１０、９０、１６０（図１、９、１６）にかかる表示処理の負荷は軽くなり、比較的安価な処理回路を用いても映像表示装置１０、９０、１６０（図１、９、１６）を製造することができる。したがって、映像表示装置１０、９０、１６０（図１、９、１６）の製造コストを低く抑えることができる。
【０１７２】
なお、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のようなフレーム間符号化のない符号化方式を用いて圧縮・記録されている場合は、フレームレートに合わせて必要な映像情報だけを効率的に読み出すことができる。さらに本発明による映像表示装置９０（図９）を用いると、映像情報格納部９３（図９）に同じ映像を異なる解像度で、または映像の低周波数成分から高周波数成分を何段階かに分けて符号化（階層的符号化）して、映像情報を格納しておき、表示に際して必要な解像度の映像情報のみを読み出すようにすることができる。これにより、読み出し処理の負荷を軽くすることができる。なお、階層的符号化は公知の技術であり、本発明の本質ではないので説明は省略する。なおＪＰＥＧが静止画に多く利用される符号化であることを鑑みると、本実施の形態の説明は、動画のみではなく静止画にも応用することができる。静止画を利用する場合には、フレームレートに関する条件を無効にし、解像度のみを有効にすればよい。
【０１７３】
本実施の形態における映像表示装置１０、９０、１６０（図１、９、１６）では、その装置が有する映像の読み出し速度、表示性能等の処理能力に応じて、その表示能力を超えないよう映像に表示品質を設定することにより、その装置が有する能力を最大限使った品質のよい複数の映像を表示することができる。
【０１７４】
（実施の形態６）
６−１．本実施の形態における映像表示装置の動作概要
図２１は、本実施の形態における映像表示装置２１０の構成を示すブロック図である。
【０１７５】
本実施の形態における映像表示装置２１０は、実施の形態５で説明したと同様、映像重要度が高い映像ほど映像の品質を高くして表示する。ただし、本実施の形態の映像表示装置２１０は、映像を映像情報として受け取り、格納し、ネットワークを介してその映像情報を配信する映像サーバ２１１と、ネットワークから映像情報を受信し、表示する映像表示端末２１２とを含む一体的な装置である。映像サーバ２１１は、映像表示端末２１２から所定の映像品質の映像情報を送信するよう要求されると、その映像品質で映像情報を映像表示端末２１２に送信する。
【０１７６】
６−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置２１０は、複数のカメラ１１ａ〜１１ｎと、映像サーバ２１１と、映像表示端末２１２とを含む。映像サーバ２１１は、映像情報を格納する映像データベース的な役割を果たし、要求に応じて保持している映像情報を提供する。映像表示端末２１２は必要な映像情報を映像サーバ２１１に要求し、受け取った映像情報を表示する。
【０１７７】
複数のカメラ１１ａ〜１１ｎで撮影された映像は、映像情報として映像サーバ２１１へ送信される。映像サーバ２１１は、複数のカメラ１１ａ〜１１ｎから送信された映像情報を受け取って蓄積し、映像表示端末２１２からの要求に応答して、映像情報を映像表示端末２１２へ送信する。映像表示端末２１２は、映像サーバ２１１へ映像情報の送信を要求し、送信された映像情報を受け取った後、その映像情報が表す映像を表示する。
【０１７８】
映像サーバ２１１は、映像情報取得部１２と映像情報格納部２３と送受信部２１３とを含む。
【０１７９】
以下では、映像表示装置２１０の構成要素のうち、映像表示装置１０（図１）および映像表示装置９０（図９）の構成要素と同一の符号が付された構成要素については、映像表示装置１０（図１）および映像表示装置９０（図９）の構成要素の構成および機能と同一であるのでその説明は省略する。既に説明した動作と異なる動作または追加の動作が行われる場合には、その都度説明する。
【０１８０】
映像情報取得部１２は、映像表示端末２１２から送信された所定の映像情報の送信要求を送受信部２１３を介して受け取り、その映像情報を映像情報格納部９３から読み出す。映像情報取得部１２は、読み出した映像情報を送受信部２１３を介して映像表示端末２１２に送信する。映像情報格納部９３には、同じ映像を表すが異なる表示品質の映像情報が複数格納されている。
【０１８１】
送受信部２１３は、映像情報等のデータを送受信するための機能を有する。送受信部２１３は、映像表示端末２１２から送信された映像情報送信要求その他の情報を受信し、映像情報取得部１２へ送信する。送受信部２１３は、映像情報取得部１２から映像情報その他の情報を受け取り、映像表示端末２１２へ送信する。送受信部２１３は、映像サーバ２１１をネットワーク回線等の情報通信媒体に接続する。
【０１８２】
映像表示端末２１２は、送受信部２１４と、被写体情報管理部１３と、被写体情報格納部１４と、映像重要度計算部１５と、表示制御部１６と、表示部１７とを含む。
【０１８３】
表示制御部１６は、表示規則と映像重要度計算部１５において計算された映像重要度とに基づいて、表示すべき映像の映像品質を決定する。表示制御部１６は、送受信部２１４を介して、その映像品質を有する映像情報の送信を映像サーバ２１１に要求する。映像表示部１６は、送受信部２１４を介して、映像サーバ２１１から送信された映像情報を表示するよう表示を制御する。
【０１８４】
送受信部２１４は、映像情報等のデータを送受信するための機能を有する。送受信部２１４は、表示制御部１６から映像情報送信要求その他の情報を受け取り、映像サーバ２１１へ送信する。送受信部２１４は、映像サーバ２１１から送信された映像情報その他の情報を受信し、表示制御部１６へ送信する。送受信部２１４は、映像表示端末２１２をネットワーク回線等の情報通信媒体に接続する。
【０１８５】
（ｂ）本実施の形態における映像表示装置の動作および映像表示例
図２２は、映像表示装置２１０（図２１）の動作手順を表すフローチャートである。
【０１８６】
被写体情報に基づく映像重要度の計算（ステップ２２０）および計算した映像重要度の格納（ステップ２２１）については、図４のステップ４０および４１と同じであるのでその説明は省略する。
【０１８７】
ステップ２２２では、表示制御部１６（図２１）は、映像重要度および表示規則に基づいて表示すべき映像の表示品質を決定する。表示品質とは、実施の形態５に関連して説明したように、映像重要度に応じて決定される動画のフレームレートおよび解像度（図２０）を表す。映像の表示品質を決定すると、表示制御部１６（図２１）は、その映像の映像情報の送信を映像サーバ２１１（図２１）に要求する。この要求は、表示すべき映像の映像ＩＤおよびその映像の映像品質を送信することによって行われる。送信を要求される映像情報は、１つに限らず、表示可能な数の映像に対応する複数の映像情報であり得る。
【０１８８】
ステップ２２３では、映像サーバ２１１（図２１）が要求された映像情報を読み出し、映像表示端末２１２（図２１）に送信する。映像表示端末２１２（図２１）の表示制御部１６（図２１）は、送信されてきた映像情報を受信する。なお映像情報の受信は静止画であれば１度で終了するが、動画の場合には以下に説明するステップが行われている間にも連続して行われることがあり得る。
【０１８９】
ステップ２２４では、表示制御部１６（図２１）は、表示規則に基づいて受信した映像情報が表す映像を表示する。本実施の形態は映像の表示品質に関しているので、実施の形態１〜４に説明した表示態様と組み合わせることで、実施の形態１〜４で説明したと同じ効果を得ることができる。なお、実施の形態１〜４で説明した映像表示装置には、本実施の形態で説明した映像表示装置２１０（図２１）には示されていない構成要素が含まれている場合がある。その場合であっても、全く同様の構成要素を映像表示装置２１０（図２１）に設ければよい。
【０１９０】
最後に、ステップ２２５では、表示制御部１６（図２１）は、オペレータ等から映像の表示を終了する指示を受け取ったか否かが判定される。この映像の表示を中止する指示は、オペレータ等によって、外部から与えられる。
【０１９１】
映像の表示を終了する指示を受け取っていない場合には、再びステップ２２２からの処理を繰り返し、映像の表示を続行する。例えば、本実施の形態による映像表示装置２１０（図２１）に実施の形態１にかかる映像表示装置１０（図１）と同様の表示パターンで映像の表示を行わせる場合には、スムーズかつ高い解像度で表示された映像重要度の高い映像のグループから、間引かれかつ低い解像度で表示された映像重要度の低い映像のグループへと表示時間を変えながら映像が繰り返し表示されることになる。
【０１９２】
映像の表示を終了する指示を受け取った場合には、映像の表示を終了する。
【０１９３】
以上のように本実施の形態によれば、表示制御部１６（図２１）は表示規則および映像重要度に基づいてフレームレートや解像度等の映像品質の度合いを変化させて表示するよう映像の表示を制御する。したがって映像重要度の高い映像（すなわち重要な映像）がより見やすくかつ緻密に表示されるので、オペレータは自然と重要な映像を注視することができる。さらに、比較的映像重要度が低い映像（すなわち比較的重要でない映像）は画像フレームが間引かれて表示されるので、映像表示装置２１０（図２１）にかかる表示処理の負荷を軽くすることができ、比較的安価な処理回路を用いても映像表示装置２１０（図２１）を製造することができる。したがって、映像表示装置２１０（図２１）の製造コストを低く抑えることができる。表示規則は、目的に応じて適切に変更することができる。
【０１９４】
さらに、映像サーバ２１（図２１）と映像表示端末２１２（図２１）とがネットワークで接続された構成であっても、ネットワーク上は表示に必要な映像品質の情報しか伝送されないため、ネットワーク資源やサーバおよび端末の計算機資源を有効に利用することができる。それらの資源が有する伝送帯域や処理速度等の性能に応じてその性能を超えないよう映像に映像品質を設定することにより、そのネットワークベースの映像表示装置２１０（図２１）が有する能力を最大限使った品質のよい複数の映像を表示することができる。
【０１９５】
本実施の形態では、映像情報格納部９３には同じ映像を表す異なる表示品質の映像情報が複数格納されているとしたが、１つの高解像度映像を格納し、解像度を適宜変換して必要な表示品質の映像にしてもよい。そのためには、読み出した符号化データを、その直交変換領域（ＪＰＥＧの場合は離散コサイン変換した周波数領域）を維持したまま解像度を下げる等の幾何変換を行う公知のアルゴリズムを利用することが好ましい。このアルゴリズムは、映像サーバ２１１（図２１）に高解像度映像をＪＰＥＧ等の圧縮符号化して記録され、その後読み出された符号化データに対して適用される。読み出された符号化データは幾何変換により解像度の低い符号化データに変換され、伝送される。このアルゴリズムによれば、一度イメージデータに復号化して解像度を低下させ、その解像度が低い映像を再度符号化する場合に比べ、処理時間は大幅に短縮される。さらに、同じ映像を表す表示品質の異なる複数の映像情報を格納する領域を設ける必要がなくなり、有効に記憶領域を利用することができる。
【０１９６】
（実施の形態７）
７−１．本実施の形態における映像表示装置の動作概要
本実施の形態では、映像を構成する複数の画像フレームそれぞれに着目する。すなわち、１枚の画像フレームの映像を、例えばそれぞれ１つの被写体を含む複数の領域（部分空間）に分割し、部分空間それぞれを異なる態様で強調して表示する。複数の画像フレームそれぞれに同様の処理を施すことにより、映像に含まれるそれぞれの被写体を強調して表示することできる。
【０１９７】
７−２．本実施の形態における映像の表示
本実施の形態において用いられる映像表示装置は、実施の形態１〜６で説明した映像表示装置のいずれでもよい。映像表示装置１０、９０、１６０、２１０（図１、９、１６、２１）の表示制御部１６は、表示する映像の映像重要度に応じて以下のように映像の表示を制御する。
【０１９８】
図２３は、３つの被写体を撮影するカメラと、本実施の形態による処理を施されて表示された被写体の例を示す。３つの被写体「Ａ」、「Ｂ」および「Ｃ」に設定された被写体重要度は、それぞれ０．８、１．０および０．６とする。撮影された映像は、画像フレームの映像毎に複数の部分領域に仮想的に分割され、被写体「Ａ」、「Ｂ」および「Ｃ」はそれぞれ別個の部分空間に存在する。
【０１９９】
図２３（ａ）は、被写体「Ａ」、「Ｂ」および「Ｃ」が存在する部分領域の映像重要度に応じて、表示される被写体を囲む枠の色を変えて映像を表示させた例を示す。図２３（ａ）では、被写体「Ｂ」が写っている中央の領域を濃い色の枠で囲い、被写体「Ａ」または被写体「Ｃ」が写っているその左右の部分領域をより薄い色の枠で囲む。枠の色は、その部分領域の映像重要度に基づいて決定される。部分領域の映像重要度は、映像重要度計算部１５（図１、９、１６、２１）によって、映像が表示されるその瞬間瞬間の画像フレームの部分領域それぞれについて計算される。映像重要度は、その領域内に存在する被写体の被写体重要度に基づいて計算される。以上のように画像フレームを部分領域に分割し、その部分領域毎に映像重要度を規定したので、部分領域毎に映像重要度に応じた濃さの枠で映像を部分領域毎に強調して表示することができるようになる。
【０２００】
なお本実施の形態では、映像情報が表す映像は、動画であっても静止画であってもよく、さらにはそれらの混在であってもよい。
【０２０１】
図２３（ｂ）は、被写体「Ａ」、「Ｂ」および「Ｃ」が存在する部分領域の映像重要度に応じて、表示される被写体の表示品質を変えて映像を表示させた例を示す。表示品質とは、動画の場合には実施の形態５に関連して説明したように、映像重要度に応じて決定されるフレームレートおよび解像度（図２０）を表す。静止画の場合には、その静止画の解像度等を表す。部分領域毎の映像重要度の決定手順については図２３（ａ）においてした説明と同じである。図２３（ｂ）では、被写体「Ｂ」が存在する中央の領域は一番映像品質を高く、次に被写体「Ａ」が存在する領域、その次は被写体「Ｃ」が存在する領域と映像品質を下げている。部分領域毎に映像の品質を変化させた符号化映像情報を生成することができる符号化方式として、ＪＰＥＧ２０００などが既に開発されているが、公知の技術であるため説明は省略する。映像は、リアルタイムの映像であっても、一旦映像情報格納部９３（図９、２１）に格納された映像であってもよい。
【０２０２】
なお、画像フレームのどの領域にどの被写体が存在するかについては、実施の形態２の変形例において図１４、１５を参照して説明したように、各画像フレームに対して撮影範囲情報と被写体情報に被写体の位置と大きさを示す外接多角形等の情報とを用いて、幾何的に計算することができる。
【０２０３】
以上のように本実施の形態によれば、１枚の映像の中で注目すべき箇所をより明確に表示することができる。
【０２０４】
（実施の形態８）
８−１．本実施の形態における映像表示装置の動作概要
上述した実施の形態においては、「被写体」とは、撮影対象としての建築物、設備、人物などの物体を主として説明した。本実施の形態では、町名や番地等で指定される撮影対象空間の部分空間も、被写体として定義し、被写体情報に記述する。観察対象として重要な町（映像重要度が高い町）等を撮影した映像を優先的に表示すること、またはオペレータが町名または番地で指示することにより優先的に表示するという点では、例えば実施の形態２の映像表示装置９０（図９）と同様の意義を有する。
【０２０５】
８−２．本実施の形態における映像表示装置の動作
本実施の形態において用いられる映像表示装置は、実施の形態１〜７で説明した映像表示装置のいずれでもよい。
【０２０６】
図２４は、空間を被写体として定義した被写体情報の例を示す。被写体情報は、空間を識別するＩＤ、町名等の名称および区、郡等の種類、空間の領域を示す座標、空間を撮影するカメラのカメラＩＤ、被写体重要度などが定義される。映像重要度計算部１５（図１、９、１６、２１）はこの被写体情報に基づいて映像の映像重要度を計算し、表示制御部１６（図１、９、１６、２１）が映像重要度の高い空間を写す画像を優先的に表示するよう、表示を制御する。さらに、映像表示装置１０、９０、１６０、２１０（図１、９、１６、２１）は、オペレータ等により外部から、被写体情報に記述されているパラメータ（名称、種類、領域またはカメラＩＤ等）を受け取ると、その被写体を含む映像を他の映像よりも優先して表示する。これによりオペレータは、任意の被写体が撮影された映像を観察することができる。
【０２０７】
以上のように本実施の形態によれば、被写体として地点や地域といった撮影対象空間における部分空間も含むようにしたので、建物等の物体だけでなく、町名や地図上での位置などで特定される空間を撮影した映像を優先的に表示することができる。
【０２０８】
なお上記説明において、部分空間は町や番地など固定的な地域として説明したが、これに限定されない。例えば、図９に示す地図と連動した映像表示装置９０において、オペレータがマウス等で指定した地図上の地点およびその近傍を動的な部分空間として定義し、この部分空間の映像重要度を上げる。これにより、指定した地点の近傍を写す映像が表示され、オペレータが関心をもつ空間の映像を地図に基づいて表示することができる。この部分空間毎に、実施の形態７に説明したように表示規則にしたがって表示品質を変えて表示することもできる。さらに、例えばマウスを地図上の道路に沿って動かすとその近傍の映像が次々と表示され、地図上でのウォークスルーに対応した映像表示も実現することができる。
【０２０９】
（実施の形態９）
９−１．本実施の形態における映像表示装置の動作概要
図２５は、本実施の形態における映像表示装置２５０の構成を示すブロック図である。
【０２１０】
本実施の形態における映像表示装置２５０は、被写体に発生したイベントをイベント発生検出部２５１で検出し、そのイベントの重要性を示すイベント重要度、イベントの発生時刻等と上述した被写体重要度とに基づいて、映像重要度を求め、映像重要度に基づいて、イベントが発生した位置を撮影していたカメラ（図２６のカメラＡ）、およびイベントが発生した位置の近傍を撮影していたカメラ（図２６のカメラＢ）がイベント発生前後に撮影した映像の表示を行う（図２７）。なお、本実施の形態では、映像は主として静止画を表す。映像が動画である場合については実施の形態１０で説明される。
【０２１１】
９−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置２５０は、複数のカメラ１１ａ〜１１ｎと、映像情報取得部１２と、被写体情報管理部１３と、被写体情報格納部１４と、映像重要度計算部１５と、表示制御部１６と、表示部１７と、映像情報格納部９３と、地図情報格納部９４と、地図情報読み出し部９５と、操作部９６とを含む。映像表示装置２５０はさらに、イベント発生検出部２５１を含む。
【０２１２】
以下では、映像表示装置２５０の構成要素のうち、映像表示装置９０（図９）の構成要素と同一の符号が付された構成要素については、映像表示装置９０（図９）の構成要素の構成および機能と同一であるのでその説明は省略する。したがって、以下ではイベント発生検出部２５１について説明する。他の構成要素について映像表示装置９０（図９）と異なる動作または追加の動作が行われる場合には、その都度説明する。
【０２１３】
本実施の形態における映像表示装置２５０においては、映像情報格納部９３に格納される映像情報には、実際の映像を表す情報と、その映像が撮影された時刻を表す撮影時刻情報とが含まれる。映像情報が格納される手順は、映像情報入力部９１が、映像を表す情報をカメラ１１ａ〜１１ｎから受け取り、その映像を表す情報を映像情報格納部９３に格納する。格納に際しては、映像を表す情報には撮影された時刻を表すタイムスタンプが付される。本実施の形態では、タイムスタンプは、画像フレーム毎、または連続する画像フレームの集合毎に付される。連続する画像フレームの集合毎にタイムスタンプを付す場合には、少なくとも先頭フレームの撮影時刻とフレームレートがタイムスタンプとして付される。以下では、このタイムスタンプを利用して映像情報がどの時刻に撮影された映像を含むかが判断される。
【０２１４】
イベント発生検出部２５１は、イベントの発生を検出するために設けられている。イベントの例としては、プラント設備において発生した温度異常や圧力異常、高速道路で発生した事故である。前者の場合は、イベント発生検出部２５１は温度センサまたは圧力センサ等のセンサ、後者の場合は、イベント発生検出部２５１は電話、非常ボタン等による通報を検出する装置が該当する。イベント発生検出部２５１は、イベントを検出すると、被写体情報管理部１３に対し被写体情報を変更するよう指示し、発生したイベントに関する情報を被写体情報管理部１３に送信し、被写体情報に記述させる。発生したイベントに関するイベント情報は、イベントが発生した被写体のＩＤ、イベントの種類、時刻、重要度等である。
【０２１５】
被写体情報管理部１３は、被写体情報の変更指示と記述すべきイベント情報とを受信すると、被写体情報格納部１４に格納された被写体情報にイベント情報を書き込む。
【０２１６】
図２８は、イベント情報を含む被写体情報の例を示す。
【０２１７】
被写体情報は、被写体情報テーブル（図２８（ａ））とイベント情報テーブル（図２８（ｂ））とから構成される。被写体情報テーブル（図２８（ａ））には、被写体で発生したイベントの数と、イベント情報テーブルを参照するためのポインタとが記述される。イベント情報テーブル（図２８（ｂ））には、イベントのＩＤ、種類、発生時刻、イベントの重要度等が記述される。
【０２１８】
（ｂ）本実施の形態における映像表示装置の動作および映像表示例
図２６は、カメラＡ，ＢおよびＣの位置とイベントＥが発生した位置の位置関係を示す。図２６に示されるように、イベントＥは時刻ｔｅ、位置（ｘｅ，  ｙｅ）で発生したことが理解される。このような位置関係にあるカメラＡ，ＢおよびＣとイベントについて、以下どのように映像が表示されるかを説明する。
【０２１９】
本実施の形態における映像表示装置２５０（図２５）の処理手順は、図１１に示す映像表示装置９０（図９）の動作手順と同じである。ただし、「被写体情報と映像管理情報とに基づいて各映像の映像重要度を計算する」（図１１、ステップ１１０）際の映像重要度の計算内容のみが異なる。以下、その計算内容について説明する。
【０２２０】
映像重要度計算部１５（図２５）は、同じカメラによって撮影された映像であれば、イベント発生時刻に近い映像ほど、より大きい映像重要度になるよう計算する。
【０２２１】
映像重要度の計算に際して、映像重要度計算部１５（図２５）はまず、イベントの発生位置を撮影していたカメラの映像撮影時刻と、イベントの発生時刻との時間差ｔを計算する。カメラの映像撮影時刻は映像管理情報（図１２）に記述されており、イベントの発生時刻はイベント情報テーブルに記述されている。映像重要度計算部１５（図２５）は、イベントの発生位置を撮影していたカメラ（図２６のカメラＡ）およびイベントの発生位置の近傍を撮影していたカメラ（図２６のカメラＢ）からの映像について、上述した時間差を計算する。時間差を計算され、表示される対象となる映像は、適当な時間的範囲、例えばイベントが発生した時間の前後３０分に撮影された映像であるとしてもよい。この時間的範囲は任意に調整され得る。
【０２２２】
時間差ｔが計算されると、その時間差ｔをイベント重要度関数Ｗｅ（ｔ）に与え、イベントに対する映像重要度Ｗｅを計算する。
【０２２３】
図２９は、イベント重要度関数Ｗｅ（ｔ）の例を示す。イベント重要度関数はイベント発生時刻の映像重要度を最大値（１．０）として時間差ｔの絶対値に比例して小さくなる関数である。ただし、イベント発生位置の近傍を撮影していたカメラの映像に対しては、映像重要度の最大値は０．５とする。したがって、カメラＡはこのイベントが発生した位置を撮影しており、最大値は１．０である。カメラＢはイベントが発生した位置の近傍を撮影しているので、最大値は０．５である。一方、カメラＣはイベントの発生位置びその近傍を撮影していないので、時間差ｔに関係なく映像重要度は０とされる。
【０２２４】
以上の手順によれば、図２９に示されるように映像重要度を得ることができる。すなわち、イベントの発生時刻（ｔ＝０）を１３時２０分とし、カメラＡがイベント発生位置を、カメラＢがイベント発生位置の近傍を撮影しているとする。撮影時刻は、カメラＡは１３時１０分と１３時２２分、カメラＢは１３時１５分と１３時２５分、カメラＢは１３時２０分である。カメラＡで撮影した画像Ａ１はｔ＝−８（分）、Ｗｅ＝０．３、画像Ａ２はｔ＝２（分）、Ｗｅ＝０．８となる。カメラＢで撮影した画像Ｂ１はｔ＝−５（分）、Ｗｅ＝０．３、画像Ｂ２はｔ＝５（分）、Ｗｅ＝０．３となる。カメラＣで撮影した画像Ｃ１は、ｔ＝０（分）、Ｗｅ＝０．０である。上述した最終的な映像重要度は、イベント重要度関数Ｗｅの値をそのまま用いたが、イベント重要度関数Ｗｅの値と被写体情報に記述された被写体重要度Ｗｏの値の積を映像重要度としてもよい。
【０２２５】
以上のようにして得られた映像重要度によって、映像が表示される態様を説明する。
【０２２６】
図２７は、本実施の形態における、イベントが発生した時に表示される複数の映像の例を示す。イベント発生位置を撮影したカメラＡの２つの映像とともに、その近傍を撮影したカメラＢの２つの映像が表示される。
【０２２７】
まず、イベントの発生位置を撮影していたカメラＡの映像について、イベント発生時刻により近い時刻の映像（１３時２２分に撮影された映像）の映像重要度が最も大きいので（Ｗｅ＝０．８）、その映像が最も大きく表示される。他方の映像は比較的小さく表示される。イベントの発生位置の近傍を撮影していたカメラＢの映像については、いずれの映像も、映像重要度は同じであり（Ｗｅ＝０．３）、かつカメラＡの撮影した映像の映像重要度と同じであるので、いずれも同じサイズで表示される。イベントの発生位置びその近傍を撮影していないカメラＣの映像は、映像重要度が０であるので表示されていない。
【０２２８】
なお、映像重要度に応じて表示品質を変更することもできる。ただし、その説明は既に実施の形態５、６および７で説明したとおりなので省略する。
【０２２９】
以上のように本実施の形態によれば、映像管理情報（図１２）に映像の撮影時刻を記述し、被写体情報にある時刻に発生したイベントに関するイベント情報を記述し、これらに基づいて映像重要度計算部１５（図２５）が映像重要度を計算するので、被写体そのものの重要度だけでなく、被写体に発生したセンサ異常等のイベントの重要度に従い、対応する映像を優先的に表示することができる。これにより、素早く的確にイベントを観察することができる。さらにイベント発生時刻の近傍はより強調して表示するなどにより、映像の重要性を時間的に意識して観察することができる。
【０２３０】
上述したイベント重要度関数は、表示規則として規定され得る。したがって、図２９に示すイベント重要度関数に限らない、他のイベント重要度関数を用いて映像重要度を決定することもできる。
【０２３１】
図３１は、イベント重要度関数の例を示す。
【０２３２】
図３１（ａ）〜（ｃ）は正規分布関数を示す。図３１（ｂ）および（ｃ）はイベントが発生する時刻（ｔ＝０）の前後にピークが存在する。このようなイベント重要度関数は、センサの感度等によりアラーム発生時刻よりも以前あるいは以降に重要なシーンがあるような場合に有効である。
【０２３３】
図３１（ｄ）は、立ち上がりが急でかつ減衰が小さい関数である。この関数は、イベント発生時刻（ｔ＝０）以降が重要な場合に有効である。
【０２３４】
図３１（ｅ）は、ステップ関数である。ステップ関数を利用することで、映像重要度計算の処理を簡単にすることができる。
【０２３５】
図３１（ｆ）は、複数のピークを持つ関数である。この関数は、イベント発生時刻（ｔ＝０）の前後のある時点で重要なシーンがある場合に有効である。
【０２３６】
イベントの種類や観察目的に応じて、図３１（ａ）〜（ｆ）に示す関数および例示していない他の多くの関数を用いることができる。
【０２３７】
また上述した例では、被写体管理情報（図２８）にイベント情報テーブルへのポインタを記述し被写体とイベントを関連付けているが、これに限定されることはない。すなわち、被写体の位置が記述されている被写体情報（図５）とイベント発生地点の位置情報が記述されているイベント情報（図３８）とを参照することにより、被写体の位置とイベントの発生位置とが所定の距離内にあれば、イベントがその被写体で発生したイベントであると推定することができる。このように、被写体とイベントとの関連付けを行うこともできる。
【０２３８】
さらに、撮影時におけるカメラの情報であるカメラ管理情報を用いて、被写体とイベントとが適切に撮影された映像を得ることができる。
【０２３９】
図３０は、カメラ管理情報の例を示す。カメラ管理情報は、カメラＩＤ、カメラの撮影範囲をあらわすカメラの位置、水平および垂直角度、ズーム度が記述されている。
【０２４０】
上述した被写体情報（図６）に記述された被写体の位置情報およびイベント情報（図３８）に記述されたイベントの発生位置情報に加え、さらにカメラ管理情報のカメラの位置および角度情報を利用することにより、イベントがその被写体の近傍で発生したと推定できるのみならず、カメラがその被写体およびイベントを撮影していたか否か、さらにカメラが被写体およびイベントを撮影している場合には、その被写体およびイベントがその映像に占める割合等も判断することができる。どのようにその判断が行われるかの詳細は、本明細書２−２．（ｃ）で説明したので省略する。カメラ管理情報を利用することにより、その被写体およびイベントを撮影していたカメラが複数ある場合などは、その中から最も的確にイベントおよび被写体を捉えているカメラの映像を表示に利用することができる。したがって、映像の表示をより柔軟に行うことができる。
【０２４１】
上記９−１．では、本実施の形態は映像は主として静止画を表すと述べたが、これに限定されることはない。すなわち、映像が動画像であってもよい。その際には、イベント発生時刻との時間差との計算において、撮影開始時刻、撮影終了時刻、撮影時刻中の時刻のいずれを上述した映像の撮影時刻にしてもよい。どの時刻を映像の撮影時刻として採用するかは本発明の本質的な問題ではなく、目的に応じて使い分けることができる。
【０２４２】
（実施の形態１０）
１０−１．本実施の形態における映像表示装置の動作概要
実施の形態９においては、イベントの発生時刻に関連して、撮影時刻の異なる静止画を表示する場合を主として説明した。本実施の形態では、イベントの発生時刻に関連して、複数の動画を撮影時刻に応じて表示する場合を説明する。撮影された動画は、その撮影時刻がイベント発生時刻に近づくと表示サイズが徐々に広げられ（図３２（ａ）および（ｂ））、撮影時刻がイベント発生時刻から経過するにつれ表示サイズが徐々に縮小される（図３２（ｃ））。このとき、複数の動画のそれぞれは、撮影時刻に基づいて同期して再生・表示される（図３２におけるカメラＡおよびＢ近傍に表示された映像）。
【０２４３】
なお本実施の形態において「同期」という語は、複数の映像のそれぞれが、撮影された時刻に基づいて表示される際に用いられる。同期して表示されている複数の映像とは、画像フレームレベルで同じ時刻に撮影された複数の映像であって、その撮影時刻に基づいて再生・表示された複数の映像のことをいう。なお、「同じ撮影時刻」は、必ずしも厳密かつ正確に計測された時刻でなくともよい。映像の同期表示の際には、映像それぞれのフレームレートの差異、表示するハードウェアの性能等によって撮影時刻に厳密に対応する時刻に表示されなくともよく、多少のずれが生じてもよい。
【０２４４】
１０−２．本実施の形態における映像表示装置の動作および映像表示例
本実施の形態における映像表示装置は、実施の形態９で説明した映像表示装置２５０（図２５）と同じである。したがって、映像表示装置２５０（図２５）の具体的な構成については説明を省略する。
【０２４５】
以下、本実施の形態における映像表示装置２５０（図２５）の動作を説明する。映像表示装置２５０（図２５）が動作する状況に関して、カメラの配置およびその撮影範囲、イベントの発生時刻および発生位置は、図２６に示されるとおりとする。映像情報格納部９３（図２５）には、映像情報としてカメラＡ，ＢおよびＣ（図２６）が撮影した動画像が格納されている。
【０２４６】
図３３は、映像表示装置２５０（図２５）の動作手順を表すフローチャートである。
【０２４７】
表示制御部１６（図２５）は、地図情報読み出し部９５（図２５）を介して地図情報格納部９４（図２５）に格納された地図情報を読み込み、読み込んだ地図情報に基づいてその地図情報が表す地図を表示部１７（図２５）に表示する（ステップ３３０）。
【０２４８】
続いて表示制御部１６（図２５）は、オペレータ等が操作部９６（図２５）を介して入力した、映像の再生開始時刻Ｔｓと、再生終了時刻Ｔｅとを受け取る（ステップ３３１）。ここでいう再生開始時刻Ｔｓおよび再生終了時刻Ｔｅは、例えば映像が時刻１３：００から時刻１３：３０まで撮影されており、再生を開始したい時刻が時刻１３：１０であればＴｓ＝１３：１０と、再生を終了したい時刻が時刻１３：２５であればＴｅ＝１３：２５と設定される。
【０２４９】
表示制御部１６（図２５）は、再生時刻ｔをｔ＝Ｔｓに設定する（ステップ３３２）。上記と同様に、再生時刻ｔとは、再生されているその映像が実際に撮影された時刻を表す。したがって、再生開始時刻Ｔｓおよび再生終了時刻Ｔｅについて説明した上記例では、再生時刻ｔは再生開始時刻Ｔｓ（時刻１３：１０）から再生終了時刻Ｔｅ（時刻１３：２５）の間に含まれる時刻をいう。「映像が実際に撮影された時刻」には、再生されている画像フレームそれぞれの撮影時刻を含み得る。
【０２５０】
映像重要度計算部１５（図１５）は、時刻ｔにおける映像の映像重要度を計算する（ステップ３３３）。本実施の形態では表示すべき映像は動画であるため、時刻ｔにおける映像の映像重要度とは、時刻ｔにおける動画のフレームを表す映像の映像重要度を表す。動画を構成する各画像フレームの撮影時刻は、映像管理情報（図１２）に記述されている撮影開始時刻と終了時刻およびフレームレートから求めることができる。映像重要度の計算は、実施の形態９で説明したように行われる。すなわち、時刻ｔにおける画像フレームの映像重要度は、再生時刻とイベント発生時刻との時間差を求め、イベント重要度関数を用いてその時間差に対応する映像重要度の値を求めることができる。
【０２５１】
図３４は、再生時刻とイベント発生時刻との時間差に応じて配列された画像フレームの集合とイベント重要度関数との対応関係を示す。本実施の形態では映像は動画であるため、映像の表示は画像フレームの連続表示により実現される。図３４の時間軸に沿った直方体を時間軸に垂直に切断した面は、その時間における画像フレームを表す。画像フレームそれぞれについて（すなわち画像フレームの撮影時刻ごとに）映像重要度を計算することにより、動画像の映像重要度がリアルタイムで変更されていると考えることができる。なお、イベント重要度関数は実施の形態９で示したイベント重要度関数と同じである。すなわち、イベント重要度関数はイベント発生時刻の映像重要度を最大値（１．０）として時間差ｔの絶対値に比例して小さくなる関数である。ただし、イベント発生位置の近傍を撮影していたカメラの映像に対しては、映像重要度の最大値は０．５とする。したがって、カメラＡはこのイベントが発生した位置を撮影しており、最大値は１．０である。カメラＢはイベントが発生した位置の近傍を撮影しているので、最大値は０．５である。一方、カメラＣはイベントの発生位置びその近傍を撮影していないので、時間差に関係なく映像重要度は０とされる。
【０２５２】
再び図３３を参照して、計算された映像重要度は、映像管理情報の一部として映像管理情報に格納される（ステップ３３４）。
【０２５３】
表示制御部１６（図２５）は、映像情報読み出し部９２（図９）を介して映像情報格納部９３（図９）から時刻ｔにおける映像の映像情報を読み出す（ステップ３３５）。
【０２５４】
表示制御部１６（図２５）は、表示規則と時刻ｔにおける映像重要度とに基づいて表示サイズを決定し、時刻ｔにおける映像を表示部１７（図２５）表示する（ステップ３３６）。
【０２５５】
続いて表示制御部１６は、現在の再生時刻ｔが再生終了時刻Ｔｅに達していないかどうか（すなわち、ｔ＜Ｔｅかどうか）を判定する（ステップ３３６）。
【０２５６】
現在の再生時刻ｔが再生終了時刻Ｔｅに達していない場合には、再生時刻ｔを所定の時間Δｔだけ進める、すなわち、ｔをｔ＋Δｔとして設定する（ステップ３３８）。その後は、ステップ３３３以降の処理を繰り返すことで再生が進行する。
【０２５７】
現在の再生時刻ｔが再生終了時刻Ｔｅに達した場合（すなわち、ｔ≧Ｔｅの場合）には、続いて動画像の再生時刻が変更されたか否か、すなわち再生開始時刻Ｔｓまたは再生終了時刻Ｔｅが変更されたか否かを判定する（ステップ３３９）。
【０２５８】
動画像の再生時刻が変更された場合には、表示制御部１６（図２５）は変更された再生時刻を受け取り、再びステップ３３１からの処理を繰り返す。
【０２５９】
動画像の再生時刻が変更されていない場合には、オペレータが次の再生時刻を入力されるまで、ステップ３３９の判定を繰り返し行う。
【０２６０】
以上、本実施の形態における映像表示装置２５０（図２５）の処理手順について説明した。なお上述した処理は、動画像それぞれが再生時刻に基づいて同期して再生・表示されるように行われる。このような同期再生・表示が行われることを条件とすれば、上述した処理で、複数の動画の各画像フレームの全てについてあるステップの処理が終了して次のステップに移行するとしても、複数の動画の各画像フレームについての処理が独立かつ並行に行われるとしてもよい。
【０２６１】
図３２は、本実施の形態における、イベントの発生に応じて表示される複数の映像の例を示す。イベント発生位置を撮影したカメラＡの動画像とともに、その近傍を撮影したカメラＢの動画像がそれぞれの撮影時刻に基づいて同時に表示される。カメラＣの撮影した映像は上述のように映像重要度が０であるので表示されていない。
【０２６２】
図３２（ａ）は、１３時２０分に発生したイベントに対して、１３時１０分に撮影された映像を表示した状態を示す。ここでは、映像は動画である。カメラＡおよびＢの各画像フレームの映像重要度は、イベントが発生するまで間があるため比較的小さい。したがって表示される映像のサイズは比較的小さい。
【０２６３】
図３２（ｂ）は、イベントの発生時刻（１３時２０分）に撮影された映像を表示した状態を示す。イベントの発生位置を撮影していたカメラＡの映像は、図３２（ａ）に示す映像よりも表示サイズが大きい。表示サイズは、画像フレームの映像重要度の増加に応じて滑らかに拡大する。すなわち、イベント発生時刻に近づくに従ってカメラＡの映像の表示サイズが拡大する。イベントの発生位置の近傍を撮影していたカメラＢの映像についても同様である。なお、同時刻におけるカメラＡの映像の映像重要度は、カメラＢの映像の映像重要度よりも大きいので、より大きなサイズで表示される。
【０２６４】
図３２（ｃ）は、１３時２０分に発生したイベントに対して、１３時２５分に撮影された映像を表示した状態を示す。イベント発生時刻から時間が経過するにつれて、画像フレームの映像重要度は小さくなり、それにしたがって表示サイズは小さくなる。
【０２６５】
図３２（ａ）〜（ｃ）を参照して説明した上記の例では、表示される映像は、それぞれのカメラＡおよびＢで現実に撮影された時刻に基づいて同期して再生・表示されている。
【０２６６】
以上説明したように本実施の形態によれば、撮影時刻毎に動画をなす画像フレームの映像重要度を計算し、表示制御部１６（図２５）が重要度に従って表示サイズを決めて、その撮影時刻に基づいて同期して再生・表示するようにしたので、一つのカメラでは撮影できないイベントの周辺状況を見やすく表示することができる。さらに、例えばカメラが移動した場合、または異なる時間に異なる位置で複数のイベントが発生する場合に対しても、撮影時刻に基づいて映像を表示し、および全体の状況を広い視点で表示することができるので、時間的・空間的に容易に把握することができる。比較的近い位置で複数のイベントが発生した場合を、以下に簡単に説明する。
【０２６７】
図３５は、異なる時刻に発生した２つのイベントとそのイベントを撮影するカメラの位置関係を示す。
【０２６８】
２つのイベントはイベントＥおよびＦである。イベントＦは時刻ｔｅ、位置（ｘｅ，ｙｅ）で発生し、イベントＦは時刻ｔｆ、位置（ｘｆ，ｙｆ）で発生したと仮定する（ｔｅ＜ｔｆ）。さらにカメラＡはイベントＥの発生した位置を撮影し、かつイベントＦの発生した位置の近傍をも撮影している。カメラＢはイベントＦの発生した位置を撮影し、かつイベントＥの発生した位置の近傍をも撮影していたとする。
【０２６９】
図３６は、イベントＥおよびＦが発生したときに用いられるイベント重要度関数の例を示す。
【０２７０】
図３６（ａ）は、カメラＡの映像に対する映像重要度を計算するためのイベント重要度関数を示す。図３６には、イベントＥおよびＦが単独で発生した場合にそれぞれカメラＡに対して用いられるイベント重要度関数がオーバーラップして表示されている。イベントＥの発生位置を撮影していた時間と、イベントＦの発生位置の近傍を撮影していた時間とは、異なるイベント重要度関数が用いられる。これは上述したとおりである。カメラＡの映像は、まずそれぞれのイベントＥおよびＦについて映像重要度を計算され、その後最終的な映像重要度が決定される。最終的な映像重要度は、イベントＥおよびイベントＦそれぞれの映像についての映像重要度の和を採用する、またはより大きい値を持つ映像重要度を採用する等、どのように決定してもよい。これはカメラＢの撮影した映像についても同様である。
【０２７１】
なお、以上の説明では映像は動画としたが、静止画を含んでいてもよい。但し、静止画１枚をその撮影時刻に一瞬表示するだけでは見にくいので、撮影時刻の前後一定時間の間再生することが好ましい。このとき、動画と静止画とを区別するために表示枠の色を変えて明示してもよい。これは、表示規則を変更することにより設定することができる。同様の表示処理は、動画の最初あるいは最後の画像フレームを表示する場合にも有効である。例えば、カメラＡの動画がカメラＢの動画より終了時刻が早い場合、カメラＡの最後の画像フレームが表示された後、その表示枠の色を変化させ、再生終了を知らせる。これにより、オペレータは再生開始または終了時刻の再設定を遅滞なく行うことができる。
【０２７２】
（実施の形態１１）
１１−１．本実施の形態における映像表示装置の動作概要
図３７は、本実施の形態における映像表示装置３７０の構成を示すブロック図である。
【０２７３】
上述した実施の形態９では、イベントが発生したとき、そのイベントの重要性を示すイベント重要度、イベントの発生時刻等に加え、被写体重要度も利用して映像重要度を計算し、映像を表示していた。本実施の形態における映像表示装置２５０は、イベント重要度、イベントの発生時刻等に基づいて映像重要度を計算し、被写体重要度を用いない。映像表示装置２５０は、計算した映像重要度に基づいてイベント発生前後に撮影された映像を表示する。
【０２７４】
１１−２．本実施の形態における映像表示装置の構成および動作
（ａ）本実施の形態における映像表示装置の構成
映像表示装置３７０は、複数のカメラ１１ａ〜１１ｎと、映像情報取得部１２と、映像重要度計算部１５と、表示制御部１６と、表示部１７と、映像情報格納部９３と、地図情報格納部９４と、地図情報読み出し部９５と、操作部９６と、イベント発生検出部２５１とを含む。映像表示装置２５０はさらに、イベント情報管理部３７１と、イベント情報格納部３７２とを含む。
【０２７５】
以下では、映像表示装置３７０の構成要素のうち、実施の形態２における映像表示装置９０（図９）の構成要素と同一の符号が付された構成要素については、映像表示装置９０（図９）の構成要素の構成および機能と同一であるのでその説明は省略する。したがって、以下では、イベント情報管理部３７１と、イベント情報格納部３７２について説明する。他の構成要素について映像表示装置９０（図９）と異なる動作または追加の動作が行われる場合には、その都度説明する。なお映像表示装置９０（図９）の被写体情報管理部１３（図９）および被写体情報格納部１４（図９）は、本実施の形態における映像表示装置３７０には存在しない。被写体情報を利用しないからである。
【０２７６】
イベント情報管理部３７１は、イベント情報を管理する。イベント情報とは、イベントの発生時刻、イベントの種類、イベント重要度、映像との対応関係を含む情報である。イベント情報管理部３７１は、イベント発生検出部２５１によりイベント発生が検出され、イベント情報が送信されてくると、イベント情報を設定しまたは変更する。イベント情報管理部３７１は、設定しまたは変更したイベント情報をイベント情報格納部３７２に格納する。
【０２７７】
イベント情報格納部３７２は、発生したイベントに関するイベント情報が格納される。イベント情報格納部３７２は、イベント情報管理部３７１から、設定されたイベント情報を受け取り、格納する。イベント情報格納部３７２は、映像重要度計算部１５にイベント情報を提供する。イベント情報格納部３７２は、ＲＡＭあるいはＲＯＭに代表される半導体メモリ、ハードディスク等の磁気記憶媒体を用いた記憶装置、光ディスク等、公知のデータ記憶手段であり得る。
【０２７８】
映像重要度計算部１５は、イベント情報および表示規則に基づいて映像重要度を決定する。
【０２７９】
図３８は、本実施の形態におけるイベント情報の例を示す。
【０２８０】
イベント情報は、イベントＩＤ、種類、発生時刻および発生位置、そのイベントを撮影しているカメラＩＤ、イベント重要度等の情報を含む。
【０２８１】
映像重要度計算部１５（図３７）は、イベント情報のこれらの情報を利用して映像重要度を計算する。映像重要度の計算は、実施の形態９で説明した映像重要度の計算と同じであるので、その説明は省略する。
【０２８２】
映像重要度が計算されると、表示制御部１６（図３７）はその映像重要度に基づいて映像の表示を制御する。映像を表示する際には、これまでの実施の形態で説明した表示規則を用いて、位置、時間、品質等の制御を行うことができる。表示規則は適切に変更することができる。
さらに、映像が静止画である場合または動画である場合のいずれの場合でも、これまでの実施の形態で説明した動作と同じ動作を行うことができるが、その説明は省略する。
【０２８３】
以上のように本実施の形態によれば、映像重要度計算部１５（図３７）はイベント情報および表示規則に基づいてイベント発生時刻と撮影時刻との時間関係を用いて映像重要度を計算するので、イベントの発生前後の状態を含むイベントに関する情報のみに基づいたイベントの観察が可能になる。本実施の形態によれば、実施の形態９では必要であった被写体情報は利用しないので、被写体情報の管理が不要になり、映像重要度の計算処理を高速に行うことができる。
【０２８４】
以上、各実施の形態について説明した。
【０２８５】
フローチャートを用いて説明した処理手順を始めとする本発明の映像表示装置の動作は、そのように動作するように記述されたコンピュータプログラムとしても実現され得る。そのようなコンピュータプログラムは、光ディスク、フロッピーディスク等の磁気記憶媒体、フラッシュＲＯＭ等の半導体記憶媒体等、適当な記憶媒体に記録することができる。ここで、「記憶媒体」の概念には、インターネット等の通信回線を介してコンテンツを提供するコンピュータ等の記憶装置も含まれる。したがって、本発明の動作を実現するためのコンピュータプログラムを格納し、そのプログラムを他の端末に送信するためのサーバ等は、コンピュータプログラムを記録した記憶媒体の範疇に含まれる。記憶媒体には、例えば被写体情報は、図５に図示されるように、少なくとも前記被写体の名称と、前記被写体が存在する位置と、前記被写体重要度とをそれぞれを関連づけたデータ構造として記録される。被写体情報にイベント情報が含まれる場合にも、同様に上記実施の形態で説明したイベントに関する情報もあわせて対応付けたデータ構造として、記録媒体に記録される。図示された他の表示レイアウト情報（図８）、映像管理情報（図１２）、カメラ管理情報（図３０）についても同様のデータ構造で記録され得る。
【０２８６】
なお、被写体の位置座標およびカメラの位置座標のいずれも、現実に存在する位置を特定できる情報である。実施の形態１において図５を参照して説明したと同様に、位置座標は緯度および経度によって表されていてもよいし、またはその住所等によってあらわされていてもよい。
【０２８７】
【発明の効果】
以上説明したように、本発明によれば、被写体それぞれの被写体重要度を含む被写体情報に基づいて、映像の映像重要度が計算され、その映像重要度に基づいて映像が表示される。したがって、映像に含まれる被写体の重要性に応じた映像の表示が可能になる。オペレータは、被写体の重要度を決定するだけで被写体の重要性に応じた映像の表示をさせることができるので、表示レイアウトを決定する煩雑な手間が不要になり、かつ客観性のある映像表示を得ることができる。さらに、表示規則を規定することにより、オペレータは重要なグループほど長時間観察でき、画面内でも決められた重要度の配置でみることができるといった、柔軟な映像表示が実現される。
【０２８８】
本発明によれば、重要な被写体あるいはその被写体の近傍を撮影した映像を、地図上で撮影位置を把握しながら見ることができるという視覚的効果を得ることができる。さらに、被写体の追加や削除、被写体の重要度の変化に対しても被写体情報を修正するだけで対応することができ、煩雑な表示レイアウト修正作業を省略することができる。さらに、撮影した映像を一旦蓄積して使用するため、被写体を同じ重要度で、または重要度を変更して、繰り返し複数の映像を表示して観察することができる。
【０２８９】
本発明によれば、映像表示中であっても、被写体情報管理部１３（図１６）は、入力部１６１（図１６）や外部モジュール１６２（図１６）からの要求に従い、被写体情報に含まれる被写体重要度を変更する。表示制御部１６（図１６）は、被写体情報の変更が反映された結果変更された映像重要度に応じて、複数の映像の表示を自動的に変更する。したがって、注目すべき被写体の種類や位置などが状況に応じて変化する場合でも、映像重要度の高い映像が自動的に選択表示され、オペレータは素早く的確な被写体観察ができる。
【０２９０】
本発明によれば、表示規則と映像重要度とに基づいて、表示制御部１６（図１、９、１６）が映像の強調表示の度合いを変化させて表示するようにしたので、重要な映像ほど大きく表示する、または重要な映像を表示するウインドウの枠の色を目立つようにする等、被写体の重要性をより意識して観察することができる。
【０２９１】
本発明によれば、表示制御部は表示規則および映像重要度に基づいてフレームレートや解像度等の映像品質の度合いを変化させて表示するよう映像の表示を制御する。したがって映像重要度の高い映像（すなわち重要な映像）がより見やすくかつ緻密に表示されるので、オペレータは自然と重要な映像を注視することができる。さらに、比較的映像重要度が低い映像（すなわち比較的重要でない映像）は画像フレームが間引かれて表示されるので、映像表示装置にかかる表示処理の負荷は軽くなり、比較的安価な処理回路を用いても映像表示装置を製造することができる。したがって、映像表示装置の製造コストを低く抑えることができる。
【０２９２】
本発明によれば、表示制御部は表示規則および映像重要度に基づいてフレームレートや解像度等の映像品質の度合いを変化させて表示するよう映像の表示を制御する。したがって映像重要度の高い映像（すなわち重要な映像）がより見やすくかつ緻密に表示されるので、オペレータは自然と重要な映像を注視することができる。さらに、比較的映像重要度が低い映像（すなわち比較的重要でない映像）は画像フレームが間引かれて表示されるので、映像表示装置にかかる表示処理の負荷を軽くすることができ、比較的安価な処理回路を用いても映像表示装置を製造することができる。したがって、映像表示装置の製造コストを低く抑えることができる。
【０２９３】
さらに、映像サーバと映像表示端末とがネットワークで接続された構成であっても、ネットワーク上は表示に必要な映像品質の情報しか伝送されないため、ネットワーク資源やサーバおよび端末の計算機資源を有効に利用することができる。それらの資源が有する伝送帯域や処理速度等の性能に応じてその性能を超えないよう映像に映像品質を設定することにより、そのネットワークベースの映像表示装置が有する能力を最大限使った品質のよい複数の映像を表示することができる。
【０２９４】
本発明によれば、動画であっても、１枚の映像の中で注目すべき箇所をより明確に表示することができる。
【０２９５】
本発明によれば、被写体として地点や地域といった撮影対象空間における部分空間も含むようにしたので、建物等の物体だけでなく、町名や地図上での位置などで特定される空間を撮影した映像を優先的に表示することができる。
【０２９６】
本発明によれば、映像管理情報に映像の撮影時刻を記述し、被写体情報にある時刻に発生したイベントに関するイベント情報を記述し、これらに基づいて映像重要度計算部が映像重要度を計算するので、被写体そのものの重要度だけでなく、被写体に発生したセンサ異常等のイベントの重要度に従い、対応する映像を優先的に表示することができる。これにより、素早く的確にイベントを観察することができる。さらにイベント発生時刻の近傍はより強調して表示するなどにより、映像の重要性を時間的に意識して観察することができる。
【０２９７】
本発明によれば、撮影時刻毎に動画をなす画像フレームの映像重要度を計算し、表示制御部が重要度に従って表示サイズを決めて同期して表示するようにしたので、一つのカメラでは撮影できないイベントの周辺状況を見やすく表示することができる。さらに、例えばカメラが移動した場合、または異なる時間に異なる位置で複数のイベントが発生する場合に対しても、全体の状況を広い視点で表示するので時間的・空間的に容易に把握することができる。
【０２９８】
本発明によれば、映像重要度計算部はイベント情報および表示規則に基づいてイベント発生時刻と撮影時刻との時間関係を用いて映像重要度を計算するので、イベントの発生前後の状態を含むイベントに関する情報のみに基づいたイベントの観察が可能になる。さらに被写体情報を利用することなく映像重要度を計算することにより、被写体情報の管理が不要になり、映像重要度の計算処理を高速に行うことができる。
【図面の簡単な説明】
【図１】  実施の形態１における映像表示装置１０の構成を示すブロック図を示す。
【図２】  映像表示装置１０（図１）の処理動作により表示される映像の態様の一例を示す図である。
【図３】  同じ重要度のグループにおける映像の表示位置を示す例を示す図である。
【図４】  映像表示装置１０（図１）の動作手順を表すフローチャートを示す図である。
【図５】  被写体情報の例を示す図である。
【図６】  計算された映像重要度の例を示す図である。
【図７】  表示レイアウトを決定するステップを含む、映像表示装置１０（図１）の動作手順を表すフローチャートを示す図である。
【図８】  表示レイアウト情報の例を示す図である。
【図９】  実施の形態２における映像表示装置９０の構成を示すブロック図を示す図である。
【図１０】  地図とその地図に関連づけられて表示された映像を示す図である。
【図１１】  映像表示装置９０（図９）の動作手順を表すフローチャートを示す図である。
【図１２】  映像管理情報の例を示す図である。
【図１３】  カメラの撮影位置、方向およびズーム画角と被写体の位置関係を示す図である。
【図１４】  被写体がカメラレンズを通して撮像される図である。
【図１５】  撮影範囲と被写体の関係と撮影状態を示す図である。
【図１６】  実施の形態３における映像表示装置１６０の構成を示すブロック図である。
【図１７】  映像表示装置１６０（図１６）の動作手順を表すフローチャートを示す図である。
【図１８】  映像重要度の高い映像ほど表示サイズを大きくする表示画面の例を示す図である。
【図１９】  映像重要度に応じて映像の強調度（表示サイズ）を変更するための表示規則の例を示す図である。
【図２０】  映像重要度の順番にしたがって映像の表示品質を変更するための表示規則の例を示す図である。
【図２１】  実施の形態６における映像表示装置２１０の構成を示すブロック図である。
【図２２】  映像表示装置２１０（図２１）の動作手順を表すフローチャートを示す図である。
【図２３】  ３つの被写体を撮影するカメラと、本実施の形態による処理を施されて表示された被写体の例を示す図である。
【図２４】  空間を被写体として定義した被写体情報の例を示す図である。
【図２５】  実施の形態９における映像表示装置２５０の構成を示すブロック図である。
【図２６】  カメラＡ，ＢおよびＣの位置とイベントＥが発生した位置の位置関係を示す図である。
【図２７】  実施の形態９における、イベントが発生した時に表示される複数の映像の例を示す図である。
【図２８】  イベント情報を含む被写体情報の例を示す図である。
【図２９】  イベント重要度関数Ｗｅ（ｔ）の例を示す図である。
【図３０】  カメラ管理情報の例を示す図である。
【図３１】  イベント重要度関数の例を示す図である。
【図３２】  実施の形態１０における、イベントの発生に応じて表示される複数の映像の例を示す図である。
【図３３】  映像表示装置２５０（図２５）の動作手順を表すフローチャートである。
【図３４】  再生時刻とイベント発生時刻との時間差に応じて配列された画像フレームの集合とイベント重要度関数との対応関係を示す図である。
【図３５】  異なる時刻に発生した２つのイベントとそのイベントを撮影するカメラの位置関係を示す図である。
【図３６】  イベントＥおよびＦが発生したときに用いられるイベント重要度関数の例を示す図である。
【図３７】  実施の形態１１における映像表示装置３７０の構成を示すブロック図である。
【図３８】  実施の形態１１におけるイベント情報の例を示す図である。
【図３９】  従来の映像表示装置３９０の構成を示すブロック図である。
【図４０】  映像情報取得部３９２と表示制御部３９５の具体的な構成を示すブロック図である。
【図４１】  従来の映像表示装置３９０（図３９）において表示レイアウト情報を設定するための操作画面の例を示す図である。
【図４２】  従来の別の映像表示装置システム４２０の構成を示すブロック図である。
【図４３】  優先順位決定部４２４（図４２）が管理する表示優先順位情報の例を示す図である。
【符号の説明】
１０  映像表示装置、１２  映像情報取得部、１３  被写体情報管理部、１４被写体情報格納部、１５  映像重要度計算部、１６  表示制御部、１７  表示部、９２  映像情報読み出し部、９３  映像情報格納部、１６１  入力部、２５１イベント発生検出部、３７１  イベント情報管理部、３７２  イベント情報格納部
【図１】
0004167777.tif 000004
【図２】
0004167777.tif 000005
【図３】
0004167777.tif 000006
【図４】
0004167777.tif 000007
【図５】
0004167777.tif 000008
【図６】
0004167777.tif 000009
【図７】
0004167777.tif 000010
【図８】
0004167777.tif 000011
【図９】
0004167777.tif 000012
【図１０】
0004167777.tif 000013
【図１１】
0004167777.tif 000014
【図１２】
0004167777.tif 000015
【図１３】
0004167777.tif 000016
【図１４】
0004167777.tif 000017
【図１５】
0004167777.tif 000018
【図１６】
0004167777.tif 000019
【図１７】
0004167777.tif 000020
【図１８】
0004167777.tif 000021
【図１９】
0004167777.tif 000022
【図２０】
0004167777.tif 000023
【図２１】
0004167777.tif 000024
【図２２】
0004167777.tif 000025
【図２３】
0004167777.tif 000026
【図２４】
0004167777.tif 000027
【図２５】
0004167777.tif 000028
【図２６】
0004167777.tif 000029
【図２７】
0004167777.tif 000030
【図２８】
0004167777.tif 000031
【図２９】
0004167777.tif 000032
【図３０】
0004167777.tif 000033
【図３１】
0004167777.tif 000034
【図３２】
0004167777.tif 000035
【図３３】
0004167777.tif 000036
【図３４】
0004167777.tif 000037
【図３５】
0004167777.tif 000038
【図３６】
0004167777.tif 000039
【図３７】
0004167777.tif 000040
【図３８】
0004167777.tif 000041
【図３９】
0004167777.tif 000042
【図４０】
0004167777.tif 000043
【図４１】
0004167777.tif 000044
【図４２】
0004167777.tif 000045
【図４３】
0004167777.tif 000046