(57)【要約】【課題】カメラの撮影位置に対応づけて撮影画像を容易に確認する。【解決手段】撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置を提供する。画面合成部１９０は、地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する。画面合成部１９０は、画像表示領域内に複数の撮像装置の撮影位置がある場合、複数の撮像装置の映像のサムネイル画像を画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または画像表示領域を分割して複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成する。【選択図】図２
2019062530.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置であって、
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成部を備え、
前記合成部は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成することを特徴とする
撮影画像表示装置。
【請求項２】
前記合成部は、前記サムネイル画像に前記撮像装置により撮像された映像の伝送品質または前記撮像装置のエラー情報を含む通知情報を前記映像信号に付加し、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の内、前記通知情報が存在する撮像装置の映像のサムネイル画像が前記画像表示領域内に表示されるとき、前記通知情報を表示させる映像信号を生成することを特徴とする請求項１に記載の撮影画像表示装置。
【請求項３】
前記合成部は、前記画像表示領域内に存在する撮像装置の台数が所定数以下の場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、前記画像表示領域内に存在する撮像装置の台数が前記所定数を超える場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成することを特徴とする請求項１または請求項２に記載の撮影画像表示装置。
【請求項４】
撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置であって、
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成部を備え、
前記合成部は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域内に、所定の順序に基づき前記複数の撮像装置の映像のサムネイル画像を重畳して表示させる映像信号を生成することを特徴とする
撮影画像表示装置。
【請求項５】
撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示方法であって、
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップを備え、
前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成することを特徴とする撮影画像表示方法。
【請求項６】
撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示プログラムであって、
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップをコンピュータに実行させ、
前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成することを特徴とする撮影画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の表示技術に関する。
【背景技術】
【０００２】
近年、業務用撮影カメラのＩＰ化が進展しており、撮影した映像データをストリーミングで配信するサービスが盛んになっている。このような中で、多数の業務用撮影カメラのストリーミングをクラウドで一元管理し、カメラやストリーミングの状況を監視することができるシステムが必要とされている。
【０００３】
例えば、特許文献１には、複数の監視地点のカメラから撮影した映像を地図データと並べて表示する監視システムが開示されている。特許文献２には、複数のカメラ装置から所定のカメラ装置を選択する場合、データベースから該当する地図表示エリアを表示するとともに、地図表示エリアに所定数のカメラが含まれる所定形状の選択範囲を表示し、選択範囲内に位置するカメラ装置から所定のカメラ装置を選択するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１０２４９５号公報
【特許文献２】特開２００８−１９９５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１や特許文献２に開示されているいずれのシステムでも複数台のカメラを監視する状況下において、カメラの撮影位置に対応づけて撮影画像を目線をそらすことなく同時に確認することは難しい。  
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラの撮影位置に対応づけて撮影画像を容易に確認することのできる撮影画像表示技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の撮影画像表示装置は、撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置であって、地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成部（１９０）を備える。前記合成部（１９０）は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成する。
【０００８】
本発明の別の態様は、撮影画像表示方法である。この方法は、撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示方法であって、地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップを備える。前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成する。  
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、カメラの撮影位置に対応づけて撮影画像を容易に確認することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。
【図２】図１のストリーミング監視装置の構成を説明する図である。
【図３】図１のストリーミングデータ配信サーバの構成を説明する図である。
【図４】図２のストリーミング監視装置によるストリーミングデータの管理手順を説明するフローチャートである。
【図５】図２の画面合成部による画像合成手順を説明するフローチャートである。
【図６】図２の画面合成部による合成表示の例を説明する図である。
【図７】図７（ａ）および図７（ｂ）は、図６の第１カメラのカメラ画像表示領域を説明する図である。
【図８】図８（ａ）および図８（ｂ）は、図６の第３カメラのカメラ画像表示領域を説明する図である。
【図９】図９は、変形例における画面合成部による合成表示の例を説明する図である。
【図１０】図１０（ａ）、図１０（ｂ）、図１０（ｃ）および図１０（ｄ）は、変形例における重畳する表示に関して一例を説明する図である。
【発明を実施するための形態】
【００１２】
図１は、実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。映像データストリーミング監視システムは、カメラ（撮像装置）１０００、１００１、ＧＰＳ機能搭載ルータ２０００、配信サーバ３０００、カメラ位置管理サーバ４０００、地図データ配信サーバ５０００、ストリーミング監視装置６０００、配信拠点７０００、７００１を含む。  
【００１３】
カメラ１０００、１００１は、Ｗｉ−Ｆｉなどの無線ＬＡＮによりＧＰＳ機能搭載ルータ２０００に接続される。ここでは、カメラ１０００、１００１がＧＰＳ機能搭載ルータ２０００と無線ＬＡＮで接続される形態を説明するが、カメラ１０００、１００１はＵＳＢ等でＧＰＳ機能搭載ルータ２０００と接続されてもよく、カメラ１０００、１００１がＧＰＳ機能を内蔵してもよい。  
【００１４】
ＧＰＳ機能搭載ルータ２０００は、配信サーバ３０００、カメラ位置管理サーバ４０００、およびストリーミング監視装置６０００にネットワークで接続される。配信サーバ３０００は、ストリーミング監視装置６０００および配信拠点７０００、７００１にネットワークで接続される。カメラ位置管理サーバ４０００は、ストリーミング監視装置６０００にネットワークで接続される。地図データ配信サーバ５０００は、ストリーミング監視装置６０００にネットワークで接続される。ストリーミング監視装置６０００は、配信サーバ３０００にネットワークで接続される。  
【００１５】
カメラ１０００、１００１は、それぞれの撮影場所で撮影された映像を符号化してストリーミングデータをＧＰＳ機能搭載ルータ２０００を経由して配信サーバ３０００に送信する。ここでは、ストリーミングデータは画像サイズが１９２０画素ラ１０８０画素のフルＨＤ（High Definition）映像でフレームレートは３０ｆｐｓである。  
【００１６】
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをトランスコードして１以上の配信拠点７０００、７００１に送信する。配信サーバ３０００は、配信拠点７０００、７００１毎に解像度やフレームレートの異なるストリーミングデータを配信してもよい。複数の配信拠点７０００、７００１は、複数の異なる放送局の受信装置であってもよく、一つの放送局における複数の受信装置であってもよい。
【００１７】
また、配信サーバ３０００はＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをストリーミング監視装置６０００に配信することができる。
【００１８】
カメラ１０００、１００１は、撮影中の映像のサムネイル画像（「カメラサムネイル画像」と呼ぶ）をＧＰＳ機能搭載ルータ２０００を経由してストリーミング監視装置６０００に送信する。ここで、カメラサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。また、カメラサムネイル画像は、ＪＰＥＧや、ＭＰＥＧなどの画像圧縮方式で画面内符号化（イントラフレーム）として圧縮されて送信されるものである。また、ストリーミング監視装置６０００は、WEB  APIを用いて、カメラ１０００、１００１からカメラサムネイル画像を取得してもよい。なお、WEB  APIとは、ＨＴＴＰ（HyperText Transfer Protocol）プロトコルを用いて所定のプログラムから呼び出されるアプリケーションプログラムインターフェイスを意味する。
【００１９】
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたトランスコード前のストリーミングデータのサムネイル画像（「ストリーミングサムネイル画像」と呼ぶ）またはトランスコード後のストリーミングデータのサムネイル画像（「配信サムネイル画像」と呼ぶ）をストリーミング監視装置６０００に送信する。
【００２０】
ＧＰＳ機能搭載ルータ２０００は、カメラ１０００、１００１の撮影位置情報として少なくとも緯度と経度を含むＧＰＳ情報をカメラ位置管理サーバ４０００に送信する。ここでは、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００がネットワークで接続される形態を説明するが、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００を一体化してＧＰＳ機能搭載ブリッジを構成してもよい。
【００２１】
カメラ位置管理サーバ４０００は、ＧＰＳ機能搭載ルータ２０００から入力されるＧＰＳ情報を記憶し、ＧＰＳ情報をカメラ位置情報としてストリーミング監視装置６０００に送信する。なお、ＧＰＳ情報は、ＧＰＳ機能搭載ルータ２０００からカメラ位置管理サーバ４０００へ入力されるとは限らない。ユーザがブラウザに表示されるＷＥＢ画面を介してカメラ位置管理サーバ４０００にＧＰＳ情報を入力することで、カメラ位置管理サーバ４０００はＧＰＳ情報を記録してもよい。または、予めＧＰＳ情報が記録された記録媒体を用いてカメラ位置管理サーバ４０００にＧＰＳ情報を入力することで、カメラ位置管理サーバ４０００はＧＰＳ情報を記録してもよい。
【００２２】
地図データ配信サーバ５０００は地図データをストリーミング監視装置６０００に送信する。
【００２３】
ストリーミング監視装置６０００は、配信制御データを配信サーバ３０００に送信する。配信サーバ３０００は、配信制御データにもとづいてカメラ１０００、１００１から送信されるストリーミングデータを適宜トランスコードして配信拠点７０００、７００１に配信する。
【００２４】
配信拠点７０００、７００１は、配信サーバ３０００から配信されるストリーミングデータを受信し、ストリーミングデータを復号して利用する。ここで、配信拠点７０００、７００１は、各カメラ１０００、１００１から送信されたストリーミングデータを分離して利用することができる。
【００２５】
図２は、ストリーミング監視装置６０００の構成を説明する図である。
【００２６】
ストリーミング監視装置６０００は、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００、及びモニタ２１０を含む。なお、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００は、ＣＰＵ、ＲＡＭ又はＲＯＭによって構成され、またはこれらを組み合わせものによって構成される。
【００２７】
ここでは、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を別個の構成としたが、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を一体に構成してもよい。同様に、カメラサムネイル画像取得部１１０とカメラ情報取得部１３０を一体に構成してもよい。
【００２８】
ストリーミング監視装置６０００をサーバ−クライアントシステムとして構成してもよい。その場合、画面合成部１９０とモニタ２１０はクライアント側に設けられ、クライアントの画面合成部１９０がブラウザとして機能し、ネットワーク経由でサーバから地図データ、画像データ、通知情報を受信し、地図上に画像と通知情報を合成してモニタ２１０に表示する。また、ここでは、ストリーミング監視装置６０００が地図データ取得部１８０を含む構成を説明するが、外部サーバから地図データを受信する場合は、ストリーミング監視装置６０００が地図データ取得部１８０の構成を含まず、クライアントの画面合成部１９０がブラウザとして機能し、外部サーバから地図データを取得し、地図を画面に表示し、地図上に画像と通知情報を合成してもよい。さらに、配信サーバに処理負担を分散させる場合は、配信サーバサムネイル画像取得部１００、配信サーバ情報取得部１２０、サムネイル画像選択部１５０はクライアント側に設けてもよい。
【００２９】
端子１０は配信サーバ３０００に、端子２０はＧＰＳ機能搭載ルータ２０００に、端子３０はカメラ位置管理サーバ４０００に、端子４０は地図データ配信サーバ５０００に、端子５０は配信サーバ３０００にそれぞれ接続される。
【００３０】
配信サーバサムネイル画像取得部１００は、配信サーバ３０００に接続された端子１０から「ストリーミングサムネイル画像」または「配信サムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。
【００３１】
配信サーバ情報取得部１２０は、配信サーバ３０００に接続された端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。
【００３２】
配信サーバ情報には、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを示す「配信実行情報」、カメラ１０００、１００１のストリーミングデータのビットレート、遅延時間、パケットの損失と回復などであるストリーミングデータの伝送品質を示す「ストリーミング情報」が含まれる。パケット損失情報、パケット回復情報には、それぞれストリーミング開始時点から現時点までのパケット数の総和、直近の所定期間パケット数の総和が含まれる。なお、パケットの損失（以降は「パケット損失」）は、例えば、送信機側から送信されたパケットの数から受信機で受信されたパケットの数を減算することで求められる値である。
【００３３】
カメラサムネイル画像取得部１１０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０から「カメラサムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。  
【００３４】
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０からカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。なお、カメラ情報取得部１３０は、WEB  APIを用いて、カメラ１０００、１００１からカメラ情報を取得してもよい。
【００３５】
カメラ情報には、カメラ１０００、１００１を識別するための「カメラ識別情報」、カメラ１０００、１００１がストリーミング中であるか否かを示す「ストリーミング実行情報」、カメラ１０００、１００１がストリーミング中である場合には、そのストリーミング先を示すＵＲＬである「ストリーミング対象情報」、及びカメラ１０００、１００１に記憶容量不足やバッテリ残量不足などを示す「カメラエラー情報」が含まれる。カメラ識別情報には、カメラ固有の番号であるシリアル番号や、ユーザが設定可能なカメラ名等が含まれる。ここでは、「ストリーミング対象情報」にはカメラ１０００、１００１を示すＵＬＲが記述されており、また配信サーバ３０００を示すＵＲＬが記述されているとする。
【００３６】
サムネイル画像選択部１５０は、カメラ情報取得部１３０から入力された「ストリーミング実行情報」を参照して、カメラ１０００、１００１がストリーミング中であるか否かを判定する。サムネイル画像選択部１５０は、カメラ１０００、１００１がストリーミング中である場合、配信サーバ情報取得部１２０から入力された「配信実行情報」を参照して、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを判定する。
【００３７】
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中である場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「配信サムネイル画像」を画面に合成すべきサムネイル画像（「選択サムネイル画像」と呼ぶ）として選択し、選択サムネイル画像を画面合成部１９０に出力する。
【００３８】
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中でない場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「ストリーミングサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。
【００３９】
カメラ１０００、１００１がストリーミング中でない場合、サムネイル画像選択部１５０は、カメラサムネイル画像取得部１１０から入力された「カメラサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。  
【００４０】
カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００に接続された端子３０からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する。
【００４１】
地図データ取得部１８０は、地図データ配信サーバ５０００に接続された端子４０から地図データを取得し、地図データを画面合成部１９０に出力する。
【００４２】
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０および配信拠点制御部２００に出力する。
【００４３】
画面合成部１９０は、地図データ取得部１８０から入力された地図データ上に、サムネイル画像選択部１５０から入力された選択サムネイル画像と、通知情報生成部１６０から入力された通知情報とを合成し、モニタ２１０に表示する。
【００４４】
配信拠点制御部２００は、通知情報生成部１６０から入力されたストリーミング情報を配信サーバ３０００に接続された端子５０に出力する。配信サーバ３０００はストリーミング情報を参照して、通信状況に応じて配信拠点７０００、７００１を選択する。
【００４５】
図３は、配信サーバ３０００の構成を説明する図である。
【００４６】
配信サーバ３０００は、受信部３００、トランスコード部４００、配信部５００、５０１、ストリーミングサムネイル画像送信部６００、ストリーミング情報送信部７００、及び配信サムネイル画像送信部８００を含む。
【００４７】
端子６１はＧＰＳ機能搭載ルータ２０００に、端子６２、端子６３、及び端子６４はストリーミング監視装置６０００に、端子６５は配信拠点７０００に、端子６６は配信拠点７００１にそれぞれ接続されている。
【００４８】
受信部３００は、ＧＰＳ機能搭載ルータ２０００に接続された端子６１から入力されるストリーミングデータをトランスコード部４００と配信部５０１に出力する。また、受信部３００は、必要に応じて受信したストリーミングデータから１フレーム分の静止画を抽出することでストリーミングサムネイル画像を生成し、ストリーミングサムネイル画像をストリーミングサムネイル画像送信部６００に出力する。ストリーミングサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、ストリーミングサムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。また、受信部３００は、ストリーミングデータのビットレート、遅延時間、パケット損失などである伝送品質を示すストリーミング情報をストリーミング情報送信部７００に出力する。
【００４９】
トランスコード部４００は、受信部３００から入力されるビットレートＡのストリーミングデータをビットレートＢの符号化ストリームにトランスコードし、符号化ストリームを配信部５００に出力する。
【００５０】
配信部５００は、トランスコード部４００から入力される符号化ストリームを配信拠点７０００に接続された端子６５に出力する。また、配信部５００は、必要に応じて符号化ストリームから１フレーム分の静止画を抽出することで配信サムネイル画像を生成し、配信サムネイル画像を配信サムネイル画像送信部８００に出力する。配信サムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、配信サムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。
【００５１】
配信部５０１は、受信部３００から入力されるストリーミングデータを必要に応じて配信拠点７００１に接続された端子６６に出力する。
【００５２】
ストリーミングサムネイル画像送信部６００は、受信部３００から入力されるストリーミングサムネイル画像をストリーミング監視装置６０００に接続された端子６２に出力する。
【００５３】
配信サムネイル画像送信部８００は、配信部５００から入力される配信サムネイル画像をストリーミング監視装置６０００に接続された端子６４に出力する。
【００５４】
配信サーバ３０００がストリーミングデータを配信中であれば、配信サムネイル画像送信部８００がトランスコード後の符号化ストリームの配信サムネイル画像をストリーミング監視装置６０００に提供する。配信サーバ３０００がストリーミングデータを配信していない場合は、ストリーミングサムネイル画像送信部６００がトランスコード前のストリーミングデータのストリーミングサムネイル画像をストリーミング監視装置６０００に提供する。
【００５５】
ストリーミング情報送信部７００は、ストリーミング情報をストリーミング監視装置６０００に接続された端子６３に出力する。
【００５６】
図４は、ストリーミング監視装置６０００によるストリーミングデータの管理手順を説明するフローチャートである。この管理手順は、各カメラ１０００、１００１について、それぞれたとえば３秒の更新間隔で実施される。以下、カメラ１０００の場合について説明する。
【００５７】
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００からカメラ１０００のカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１００）。カメラ情報には、カメラ１０００の識別情報、カメラ１０００がストリーミング中であるか否かを示すストリーミング実行情報、及びカメラ１０００のエラー情報が含まれる。
【００５８】
配信サーバ情報取得部１２０は、配信サーバ３０００から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１１０）。配信サーバ情報には、配信サーバ３０００がカメラ１０００のストリーミングデータを配信中であるか否かを示す配信実行情報、ストリーミングデータの伝送品質を示すストリーミング情報が含まれる。
【００５９】
サムネイル画像選択部１５０は、ストリーミング実行情報がカメラ１０００はストリーミング中であるかことを示しているか否かを検査する（Ｓ１２０）。  
【００６０】
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示している場合（Ｓ１２０のＹＥＳ）、配信サーバ情報取得部１２０は、配信サーバ３０００からストリーミング情報を取得し、ストリーミング情報を通知情報生成部１６０に出力する（Ｓ１２５）。
【００６１】
次に、サムネイル画像選択部１５０は、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示しているか否かを検査する（Ｓ１３０）。
【００６２】
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得し、サムネイル画像選択部１５０は配信サムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１５０）。
【００６３】
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得し、サムネイル画像選択部１５０はストリーミングサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１４０）。
【００６４】
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示していない場合（Ｓ１２０のＮＯ）、カメラサムネイル画像取得部１１０はカメラ１０００からカメラサムネイル画像を取得し、サムネイル画像選択部１５０はカメラサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１６０）。
【００６５】
ステップＳ１４０、Ｓ１５０、またはＳ１６０に続いて、カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する（Ｓ１７０）。
【００６６】
地図データ取得部１８０は、地図データ配信サーバ５０００から地図データを取得し、地図データを画面合成部１９０に出力する（Ｓ１８０）。
【００６７】
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０に出力する（Ｓ１９０）。
【００６８】
画面合成部１９０は、地図データを地図データ表示領域に表示して、カメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して合成画面を生成し、合成画面をモニタ２１０に出力する（Ｓ２００）。モニタ２１０は合成画面を表示する。モニタの画面サイズは、一例として２５６０画素ラ１６００画素のＷＱＸＧＡ（Wide Quad eXtended Graphics Array）であり、地図データ表示領域は、一例として２０００画素ラ１２００画素である。
【００６９】
配信拠点制御部２００は、ストリーミング情報に基づいて配信拠点を制御する（Ｓ２１０）。ここで、配信拠点の制御について説明する。配信拠点制御部２００は、ストリーミング情報を配信サーバ３０００に送信し、配信サーバ３０００は、ストリーミング情報を参照して、通信状況に応じてストリーミングデータの配信先の配信拠点７０００、７００１を選択させる。たとえば、ストリーミング情報のパケット損失の総和値が所定値を超えた場合に、配信サーバ３０００は、これまで配信拠点７０００に配信されていたストリーミングデータを別の配信拠点７００１に配信するように切り替える。
【００７０】
以上のように、カメラ１０００、１００１がストリーミング中であれば配信サーバ３０００からサムネイル画像を取得し、カメラ１０００、１００１がストリーミング中でない、すなわちカメラ１０００、１００１がプレビューモードなどストリーミングのスタンバイ状態であればカメラ１０００、１００１からサムネイル画像を取得する。これにより、カメラ１０００、１００１がストリーミングデータのエンコードとサムネイル画像のエンコードを同時に処理する必要がないから、ストリーミング中のカメラ１０００、１００１の処理量を抑制しながら、ストリーミング監視装置６０００は、カメラの撮影映像を絶えず監視することができる。
【００７１】
ここでは、ストリーミング実行情報はカメラ情報に含まれるとしたが、ストリーミング実行情報を配信サーバ情報に含めてもよい。この場合、配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００からのストリーミングの受信状況を監視することによってストリーミングが実行されているかどうか判断し、ストリーミング実行情報を含めた配信サーバ情報を生成する。配信サーバ情報取得部１２０は、端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。このような構成にすることで、カメラの処理負荷を低減させることができる。
【００７２】
ここでは、サムネイル画像の更新間隔は３秒としたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、更新間隔はこれに限定されない。例えば、ストリーミングサムネイル画像と配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも短い１秒の更新間隔とすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
【００７３】
ここでは、サムネイル画像の画像サイズはＱＶＧＡとしたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、サムネイル画像の画像サイズはこれに限定されない。例えば、配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも大きな画像サイズであるＶＧＡとすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
【００７４】
ここでは、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得するとした（Ｓ１５０）。また、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得するとした（Ｓ１４０）。しかし、配信サーバサムネイル画像取得部１００が、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合も有り得る。例えば、通信状況が悪化したことにより、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合や、配信サムネイル画像又はストリーミングサムネイル画像を取得することができない配信サーバが選択された場合などである。
【００７５】
そこで、サムネイル画像選択部１５０は、記憶部（図示せず）を備える構成であってもよい。この記憶部は、予め定められた画像を記憶する。予め定められた画像とは、例えば、「サムネイル画像が取得できません」などのような警告を発する画面である。
【００７６】
このような構成であって、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得する場合であって（Ｓ１５０）、配信サーバ３０００から配信サムネイル画像を取得できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
【００７７】
配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得する場合であって（Ｓ１４０）、配信サーバ３０００からストリーミングサムネイル画像できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
【００７８】
さらには、サムネイル画像選択部１５０が上述の記憶部を備える場合では、配信サーバ３０００がストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を備えない配信サーバ３０００にも本実施の形態は適用できる。つまり、配信サーバを示すＵＲＬが含まれるストリーミング対象情報から、配信サーバを特定し、上述の配信サーバ３０００から配信サムネイル画像を取得できるか否かの判断は、特定されたサーバがストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバであるか否かによって判断すればよい。ストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバである場合には、ストリーミングサムネイル画像又は配信サムネイル画像を選択サムネイル画像として選択し、そうでない場合には予め定められた画像を選択サムネイル画像として選択すればよい。このような構成にすることにより、汎用性を高めることができる。
【００７９】
また、ここでは、予め定められた画像を記憶する記憶部を備える構成としたが、備えなくもよい。この場合には、Ｓ１４０又はＳ１５０にて配信サーバ３０００からストリーミングサムネイル画像又は配信サムネイル画像が取得できなかったときには、Ｓ２００にて、地図データ表示領域上に選択サムネイル画像の代わりとして、ストリーミング対象情報がわかる文字列、例えば、ストリーミング対象情報やストリーミング対象情報を短縮した文字列を、通知情報と合成して合成画面を生成し、合成画面をモニタ２１０に出力してもよい。
【００８０】
続いて、カメラ位置情報に基づいて地図データ上に選択サムネイル画像と通知情報を合成して表示する方法を詳細に説明する。
【００８１】
図５は、画面合成部１９０による画像合成手順を説明するフローチャートである。
【００８２】
表示するカメラの総数がＮ台であるとして説明する。なお、図５のフローチャートは地図データの縮尺が変化する毎に処理するものとする。
【００８３】
最初に、画像合成部１９０は、全てのカメラのカメラ位置マーカ表示フラグをＯＮに設定する（Ｓ３０１）。
【００８４】
次に、画像合成部１９０は、カメラ画像表示領域の矩形の大きさを決定する（Ｓ３０２）。ここで、カメラ画像表示領域の矩形の大きさはピクセル単位で予め定められた値である。このカメラ画像表示領域の矩形の大きさは地図データ表示領域に応じて定められ、少なくとも地図データ表示領域に複数のカメラ画像表示領域が表示されるものとし、ここでは一例として１６０画素ラ１２０画素とする。
【００８５】
続いて、画像合成部１９０は、カメラｉについて、Ｓ３０３からＳ３９０までの処理を繰り返して行う。ここで、Ｎ台のカメラの処理順序は、予め定められた順序とし、ここではユーザが設定した重要度に基づいた順序とする。これ以外にもＮ台のカメラの処理順序は、カメラがストリーミング管理システムに登録された登録順などとすることもできる。
【００８６】
まず、カメラｉのカメラ位置マーカ表示フラグがＯＮであるか検査する（Ｓ３１０）。
【００８７】
カメラｉのカメラ位置マーカ表示フラグがＯＮである場合（Ｓ３１０のＹＥＳ）、地図データの縮尺に基づいて、カメラｉのカメラ画像表示領域の左下と右上の頂点の緯度・経度を算出する（Ｓ３２０）。なお、カメラ画像表示領域の４つの頂点の中で対角の位置にある２つの頂点を選択して緯度・経度を算出すればよく、カメラ画像表示領域の右下と左上の頂点の緯度・経度を算出してもよい。
【００８８】
ステップＳ３２０に引き続いて、カメラｉのカメラ画像表示領域の左下と右上の頂点の緯度・経度と、カメラｉ以外のカメラのカメラ位置情報に基づいて、カメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在するか検査する（Ｓ３３０）。
【００８９】
カメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在する場合（Ｓ３３０のＹＥＳ）、カメラｉのカメラ画像表示領域内に含まれるカメラｉ以外のカメラのカメラ位置マーカ表示フラグをＯＦＦに設定する（Ｓ３４０）。この時、カメラｉは代表カメラとなり、カメラｉのカメラ位置情報は、カメラｉのカメラ画像表示領域内に存在するカメラの代表位置となる。なお、カメラｉのカメラ画像表示領域内にカメラｊが存在するか否かは、カメラｉのカメラ画像表示領域の左下と右上の頂点の緯度・経度と、カメラｊのカメラ位置情報を比較することで判定することができる。
【００９０】
なお、カメラｉ又はカメラｊのカメラ位置情報が取得できなかった場合やカメラｉ又はカメラｊのカメラ位置情報が不正値であった場合、カメラ位置情報として、そのカメラのカメラ位置情報が取得できた最後の位置を利用する。また、カメラｉ又はカメラｊのカメラ位置情報が取得できなかった場合やカメラｉ又はカメラｊのカメラ位置情報が不正値であった場合、カメラ位置情報として、予め設定していた所定のカメラ位置を利用してもよい。
【００９１】
ステップＳ３４０に引き続いてカメラｉとカメラｉのカメラ画像表示領域内に含まれるカメラｉ以外のカメラのカメラサムネイル画像、通知情報、及びカメラ情報をカメラｉのカメラ画像表示領域内に合成した映像信号を生成する（Ｓ３５０）。
【００９２】
カメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在しない場合（Ｓ３３０のＮＯ）、カメラｉのカメラサムネイル画像、通知情報、及びカメラ情報をカメラｉのカメラ画像表示領域内に合成した映像信号を生成する（Ｓ３６０）。
【００９３】
カメラｉのカメラ位置マーカ表示フラグがＯＦＦである場合（Ｓ３１０のＮＯ）、ステップＳ３９０に移動する。ここで、カメラ位置マーカ表示フラグがＯＦＦであると判断される対象のカメラは、代表カメラのカメラ画像表示領域内に存在するカメラである。
【００９４】
Ｎ台のカメラについてステップＳ３０３からステップＳ３９０までの処理が繰り返された後、終了する。
【００９５】
図６は、画面合成部１９０による合成表示の例を説明する図である。ここでは、地図データ表示領域９００上に６台のカメラＡ〜Ｆが存在する。
【００９６】
地図データ表示領域９００上に第１、第２、第３カメラＡ、Ｂ、Ｃのそれぞれのカメラ位置情報ＬＡ、ＬＢ、ＬＣに基づいてカメラ位置を示すカメラ位置マーカ９１０ａ、９１０ｂ、９１０ｃがそれぞれ黒丸で表示される。第１、第２、第３カメラＡ、Ｂ、Ｃのカメラ位置マーカ９１０ａ、９１０ｂ、９１０ｃに隣接してそれぞれカメラ画像表示領域９５０ａ、９５０ｂ、９５０ｃが画面上に表示される。ここでは、カメラ位置マーカはカメラ画像表示領域の左下の位置にあるが、左上の位置や右上の位置などにあってもよい。
【００９７】
この時、第３カメラＣのカメラ画像表示領域９５０ｃ内に存在する第４、第５、第６カメラＤ、Ｅ、Ｆのカメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆは画面上には表示されないが、ここでは、説明のために第４、第５、第６カメラＤ、Ｅ、Ｆの位置をそれぞれ白丸で図示している。
【００９８】
図７（ａ）および図７（ｂ）は、図６の第１カメラＡのカメラ画像表示領域９５０ａを説明する図である。
【００９９】
図７（ａ）に示すように、カメラ画像表示領域９５０ａは、カメラサムネイル画像表示領域９２０、通知情報表示領域９３０、およびカメラ情報表示領域９４０を含む。
【０１００】
カメラサムネイル画像表示領域９２０には第１カメラＡの選択サムネイル画像がカメラサムネイル画像表示領域の大きさに合うようにスケーリングされて表示される。
【０１０１】
カメラサムネイル画像表示領域９２０の外枠の周辺領域である通知情報表示領域９３０には第１カメラＡの通知情報が表示される。
【０１０２】
ここで、通知情報について詳細に説明する。通知情報生成部１６０は、下記のような条件で通知情報を生成する。通知情報には、パケット損失エラー通知、パケット損失警告通知、パケット回復警告通知、カメラエラー通知、及びカメラ位置消失通知が含まれ、それぞれの通知は通知タイプで管理され、通知タイプにより判別可能である。
【０１０３】
通知情報生成部１６０が、ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ１を超えたと判断した場合、パケット損失エラー通知を生成する。
【０１０４】
通知情報生成部１６０が、ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ２（Ｔ２Ｔ１）を超えたと判断した場合、パケット損失警告通知を生成する。
【０１０５】
通知情報生成部１６０が、パケットを損失したときに再送されるパケットの数やＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）により誤り訂正されたパケットの数の直近の所定期間の総和値が所定閾値Ｔ３（Ｔ３Ｔ１）を超えたと判断した場合、パケット回復警告通知を生成する。なお、パケットを損失したときとは、例えば、サーバやネットワークの負荷の増大によりストリーミング情報のパケットが消失してしまうことであるが、ルータや中継装置などの故障等によっても生じる可能性がある。
【０１０６】
一般的には、サーバやネットワークの負荷の増大が原因であれば、サーバやネットワークの負荷が増大すると、まず、パケット回復警告通知が生成され、さらにサーバやネットワークの負荷が増大した場合に、パケット損失警告通知が生成され、さらにサーバやネットワークの負荷が増大した場合に、パケット損失エラー通知が生成されることになる。つまり、パケット回復警告通知が通知された段階でサーバやネットワークの負荷を低減したり、サーバやネットワークのリソースを増加させることで、パケットの損失を抑制することができる。一方、ルータや中継装置などの故障等が原因であれば、パケット回復警告通知はなく、まず、パケット損失警告通知が生成され、続いてパケット損失エラー通知が生成される。このように、パケット回復警告通知、パケット損失警告通知、及びパケット損失エラー通知の生成順序によって、サーバやネットワークの負荷の増大やルータや中継装置などの故障等の対策ができる。
【０１０７】
通知情報生成部１６０が、カメラエラー情報がエラーであることを示していると判断した場合、カメラエラー通知を生成する。カメラエラー情報には、バッテリの残量低下、メモリカードの残量低下、ストリーミングの失敗などが含まれる。
【０１０８】
通知情報生成部１６０が、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であったと判断した場合、カメラ位置消失通知を生成する。
【０１０９】
図７（ａ）の通知情報表示領域９３０には、一例として、パケット損失エラー通知、パケット損失警告通知又はパケット回復警告通知などの通知タイプが文字列で表示され、背景色が付けられる。なお、通知情報がない場合には、通知情報表示領域９３０には何も表示されない。また、通知情報表示領域９３０に表示される文字列と背景色は通知タイプに応じて色が変化し、所定期間で明滅する。明滅する所定間隔を通知タイプに応じて変化させてもよい。背景色は、たとえばパケット損失警告通知の場合は赤色、パケット損失エラー通知の場合は黄色にすることができる。これにより、地図上でどの場所のカメラにおいて問題が発生しているかを一目で把握することができる。
【０１１０】
カメラサムネイル画像表示領域９２０の下側のカメラ情報表示領域９４０にはカメラ識別情報に含まれるカメラ名などが表示される。
【０１１１】
図７（ａ）では、カメラ画像表示領域９５０ａにカメラサムネイル画像表示領域９２０、通知情報表示領域９３０、およびカメラ情報表示領域９４０が表示されているが、カメラ画像表示領域９５０ａは少なくとも、カメラサムネイル画像表示領域９２０と通知情報表示領域９３０が含まれていればよく、図７（ａ）に限定されない。図７（ｂ）は、カメラサムネイル画像表示領域９２０と通知情報表示領域９３０を含み、カメラ情報表示領域９４０が含まれていないカメラ画像表示領域９５０ａの表示例を示す。
【０１１２】
図８（ａ）および図８（ｂ）は、図６の第３カメラＣのカメラ画像表示領域９５０ｃを説明する図である。図８では説明を容易にするために、カメラサムネイル画像表示領域と通知情報表示領域が表示される例に基づいて説明する。図８で図示しているＣ、Ｄ、Ｅ、Ｆの記号は説明のために図示しており、実際の画面には表示されない。
【０１１３】
まず、図８（ａ）の表示例について説明する。カメラサムネイル画像表示領域の大きさを均等に４分割した各領域の大きさに合うように４台のカメラＣ、Ｄ、Ｅ及びＦのそれぞれの選択サムネイル画像がスケーリングされて表示される。４台のカメラＣ、Ｄ、Ｅ及びＦのそれぞれの選択サムネイル画像は、それぞれのカメラのカメラ位置情報に基づいて、カメラサムネイル画像表示領域内に表示される。ここでは図８（ａ）に示すようにカメラサムネイル画像表示領域は４つの領域９２０ｃ、９２０ｄ、９２０ｅ、９２０ｆに分割され、領域９２０ｃにカメラＣの選択サムネイル画像、領域９２０ｄにカメラＤの選択サムネイル画像、領域９２０ｅにカメラＥの選択サムネイル画像、領域９２０ｆにカメラＦの選択サムネイル画像が表示される。
【０１１４】
通知情報表示領域９３０は４台のカメラＣ、Ｄ、Ｅ、Ｆの少なくとも１つに通知情報がある場合だけ表示され、４台のカメラＣ、Ｄ、Ｅ、Ｆのいずれにも通知情報がない場合には通知情報表示領域９３０は表示されない。ここで、複数のカメラに通知情報がある場合について説明する。例えば、３台のカメラＣ、Ｄ、Ｅに通知情報がある場合、通知情報表示領域９３０には、カメラＣの通知情報が所定間隔明滅し、続いてカメラＤの通知情報が所定間隔明滅し、続いてカメラＥの通知情報が所定間隔で明滅する。これが繰り返される。図８（ａ）は、カメラＤの通知情報が通知情報表示領域９３０に表示されている状態を図示している。カメラＤの選択サムネイル画像の周辺に枠が表示されることでカメラＤの選択サムネイル画像が強調され、カメラＤの通知情報が通知情報表示領域９３０に表示されていることが把握できるようにしている。同様に、カメラＣ、Ｅの通知情報が通知情報表示領域９３０に表示されるときは、それぞれカメラＣ、Ｅの選択サムネイル画像が強調表示される。
【０１１５】
図８（ａ）の４台のカメラＣ、Ｄ、Ｅ、Ｆに対するカメラ位置マーカは代表カメラＣのカメラ位置マーカによって代表されており、カメラ画像表示領域９５０ｃ内にカメラＣ以外のカメラがない場合の１台のカメラＣに対するカメラ位置マーカと区別する必要がある。そのために一例として、複数台のカメラに対するカメラ位置マーカの色または形状を１台のカメラに対するカメラ位置マーカと異なる色または形状に設定する。また、カメラ位置マーカの色をカメラサムネイル、ストリーミングサムネイル、配信サムネイルのいずれかに応じて異なる色や形状に設定することもできる。
【０１１６】
次に図８（ｂ）の表示例について説明する。サムネイル画像の表示周期をサムネイル画像の更新間隔と同じにして、選択サムネイル画像の表示周期毎に４台のカメラＣ、Ｄ、Ｅ及びＦのそれぞれの選択サムネイル画像がサムネイル画像表示領域に表示される。すなわち、カメラサムネイル画像表示領域９２０には、カメラＣの選択サムネイル画像が３秒間表示され、カメラＤの選択サムネイル画像が３秒間表示され、カメラＥの選択サムネイル画像が３秒間表示され、カメラＦの選択サムネイル画像が３秒間表示される。これが繰り返される。ここでは、選択サムネイル画像の表示周期をサムネイル画像の更新間隔と同じにしたが、サムネイル画像の更新間隔内に４台のカメラＣ、Ｄ、Ｅ及びＦのそれぞれの選択サムネイル画像が表示されるように、選択サムネイル画像の表示周期をサムネイル画像の更新間隔をカメラ台数で除算した値に設定することもできる。
【０１１７】
通知情報表示領域９３０にはカメラサムネイル画像表示領域９２０に表示されているカメラの通知情報が表示される。通知情報が所定間隔明滅する周期は、サムネイル画像の更新間隔以下とし、選択サムネイル画像が表示されている間に少なくとも１回は明滅させる。図８（ｂ）の例では、カメラＤについて通知情報があり、カメラＤの選択サムネイル画像がカメラサムネイル画像表示領域９２０に表示されているとき、カメラＤの通知情報が通知情報表示領域９３０に表示されている。
【０１１８】
カメラ画像表示領域９５０内に存在するカメラの台数によって図８（ａ）と図８（ｂ）の表示形態を切り替えてもよい。すなわち、カメラ画像表示領域９５０内に存在するカメラの台数が所定数（たとえば４台）以下の場合、図８（ａ）のようにカメラサムネイル画像表示領域を分割してカメラ画像表示領域９５０内に存在する複数のカメラの映像のサムネイル画像を分割された領域内に表示し、カメラ画像表示領域９５０内に存在するカメラの台数が所定数を超える場合、図８（ｂ）のようにカメラ画像表示領域９５０内に存在する複数のカメラの映像のサムネイル画像をカメラサムネイル画像表示領域に所定の順序で切り替えて表示する。このように表示形態を切り替えることでカメラ画像表示領域９５０内に存在するカメラ台数に適した画面構成で各カメラのサムネイル画像を確認することができる。
【０１１９】
図６のカメラ画像表示領域９５０ａ、９５０ｂ、９５０ｃをクリックすると、クリックされた位置に表示されているサムネイル画像に関連付けられたカメラ識別情報にもとづいて、撮影中のカメラが特定され、特定されたカメラがストリーミングしている映像が画面上にストリーミング映像詳細確認画面としてポップアップ表示される。
【０１２０】
ストリーミング映像詳細確認画面は、一例として画像サイズが１９２０画素ラ１０８０画素のフルＨＤであり、フレームレートは３０ｆｐｓで表示される。ストリーミング映像詳細確認画面はストリーミング中の映像を詳細に確認するために利用される。このようにストリーミングデータの画像サイズとフレームレートはサムネイル画像よりも画像サイズが大きく、フレームレートが高いが、例えば、６４０画素ラ４８０画素等にスケーリング表示することもできる。
【０１２１】
また、ストリーミング映像詳細確認画面にはカメラ情報、カメラ位置情報、ストリーミング情報、及び通知情報を確認することができるように文字列で表示される。
【０１２２】
以上のように、カメラ位置情報に基づいて地図データ上にサムネイル画像と通知情報を合成して表示することで、カメラの位置、撮影画像、および通知情報を同時に監視することができる。
【０１２３】
本実施形態では、カメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在することを最初から許容したが、例えば、可能な限りカメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在しないように地図データの縮尺を調整してもよい。なお、地図データの縮尺は、実際の距離を地図上に縮めて表した割合のことであり、１／１０００などのように、実際の距離を分母とし、地図上の距離を分子とする。つまり、地図データの縮尺を大きくすると、地図は拡大して表示され、地図データの縮尺を小さくすると地図は縮小して表示される。
【０１２４】
具体例としては、ステップＳ３４０の前に、地図データの縮尺が所定の縮尺以下であって、かつ地図データの縮尺を大きく（地図データをより詳細に）することで、カメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在しないようにすることが可能かどうか検査する。地図データの縮尺が所定の縮尺以下であって、 かつカメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在しないようにすることが可能であれば、地図データの縮尺を大きくして処理を終了する。地図データの縮尺が所定の縮尺以下で、かつカメラｉのカメラ画像表示領域内にカメラｉ以外のカメラが存在しないようにすることが可能でなければステップＳ３４０を処理するようにしてもよい。なお、所定の縮尺とは、予め定めた縮尺であってもよく、地図データ表示領域９００上に予め定めた台数のカメラが表示される縮尺であってもよい。
【０１２５】
＜変形例＞
また、カメラＣ、カメラＤ、カメラＥ、カメラＦのカメラ画像表示領域は、カメラ位置マーカ９１０ｃに基づいて、図８（ａ）又は図８（ｂ）の通りに設定されるとした。他の変形例を、図９及び図１０を用いて説明する。この変形例は、上述した実施形態と比較して、カメラＣ、カメラＤ、カメラＥ、カメラＦのカメラ画像表示領域を重畳して表示する点が異なる。つまり、この変形例では、画像合成部１９０は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域内に、所定の順序に基づき前記複数の撮像装置の映像のサムネイル画像を重畳して表示させる映像信号を生成する。
【０１２６】
図９は、画面合成部１９０による合成表示の例を説明する図である。ここでは、地図データ表示領域９００上に４台のカメラＣ、カメラＤ、カメラＥ、カメラＦが存在する。カメラＣ、カメラＤ、カメラＥ、カメラＦのカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆは、それぞれ、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆに隣接して、または各カメラ位置マーカから所定の範囲内に、重畳して表示される。なお、カメラＤ、Ｅ、Ｆのカメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆはカメラ画像表示領域９５０ｃの背面に位置するため、カメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆは表示されないが、ここでは、説明のためにカメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆをそれぞれ白丸で図示している。
【０１２７】
図１０は、カメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの重畳する表示に関して一例を説明する図である。カメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆに対して所定の順序が予め定められている。この所定の順序に基づき、カメラ画像表示領域が前面に表示される。また、この所定の順序は、所定の周期で設定されている順序に沿った変更がされる。例えば、周期的に、所定の順序は、その順序が繰り上がるように変更され、もっとも順序が高いカメラ画像表示領域は、もっとも順序が低いカメラ画像表示領域へと変更される。従って、カメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの全ては、順番に最前面に表示される。
【０１２８】
図１０（ａ）は、この順序に基づくカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの表示を説明する図である。この順序に基づくと、カメラ画像表示領域９５０ｃは他のカメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆと比較して前面に表示される。また、カメラ画像表示領域９５０ｄは、カメラ画像表示領域９５０ｅ、９５０ｆと比較して前面に表示されるが、カメラ画像表示領域９５０ｃと比較すると、背面に表示される。カメラ画像表示領域９５０eは、カメラ画像表示領域９５０ｆと比較して前面に表示されるが、カメラ画像表示領域９５０ｃ、９５０ｄと比較すると、背面に表示される。カメラ画像表示領域９５０ｆは、カメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｆと比較すると、背面に表示される。
【０１２９】
図１０（ｂ）は、上述した所定の順序であるカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの順序が、所定の周期（例えば１秒ごと）で変更され、カメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆ、９５０ｃとなったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域９５０ｄは他のカメラ画像表示領域９５０ｃ、９５０ｅ、９５０ｆと比較して前面に表示される。一方で、カメラ画像表示領域９５０ｃは、カメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆと比較すると、背面に表示される。その他のカメラ画像表示領域９５０e、９５０ｆは、その順序に基づき、表示される。
【０１３０】
図１０（ｃ）は、所定の周期で変更された順序であるカメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆ、９５０ｃの順序が、さらに所定の周期で変更され、カメラ画像表示領域９５０ｅ、９５０ｆ、９５０ｃ、９５０ｄの順序となったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域９５０ｅは他のカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｆと比較して前面に表示される。その他のカメラ画像表示領域９５０ｆ、９５０ｃ、９５０ｄは、その順序に基づき、表示される。
【０１３１】
図１０（ｄ）は、所定の周期で変更された順序であるカメラ画像表示領域９５０ｅ、９５０ｆ、９５０ｃ、９５０ｄの順序が、さらに所定の周期で変更され、カメラ画像表示領域９５０ｆ、９５０ｃ、９５０ｄ、９５０ｅの順序となったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域９５０ｆは他のカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅと比較して前面に表示される。その他のカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｆは、その順序に基づき、表示される。さらに、所定の周期で変更されると、所定の順序は、カメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの順序となり、図１０（ａ）で説明した表示となる。
【０１３２】
また、この変形例では、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆを表示してもよい。カメラ位置マーカを表示する場合、各カメラ位置マーカは、対応するカメラ画像表示領域と同期させた上で表示する。つまり、カメラ画像表示領域に関する所定の順序に基づき、カメラ位置マーカが表示される。なお、カメラ位置マーカは、対応するカメラ画像表示領域よりも前面に表示される。
【０１３３】
例えば、図１０（ａ）では、所定の順序であるカメラ画像表示領域９５０ｃ、９５０ｄ、９５０ｅ、９５０ｆの順序に基づき、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆが表示されている。従って、カメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆは、カメラ画像表示領域９５０ｃと比較して背面に表示される。そのため、カメラ位置マーカ９１０ｄ、９１０ｅ、９１０ｆは、見かけ上、表示されない。
【０１３４】
図１０（ｂ）では、所定の順序であるカメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆ、９５０ｃの順序に基づき、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆが表示されている。従って、カメラ位置マーカ９１０ｄはカメラ画像表示領域９５０ｃ、９５０ｅ、９５０ｆと比較して前面に表示される。カメラ位置マーカ９１０ｅは、カメラ画像表示領域９５０ｃ、９５０ｆと比較して前面に表示されるが、カメラ画像表示領域９５０ｄと比較して背面に表示される。カメラ位置マーカ９１０ｆは、カメラ画像表示領域９５０ｃと比較して前面に表示されるが、カメラ画像表示領域９５０ｄ、９５０ｅと比較して背面に表示される。そのために、カメラ位置マーカ９１０ｆ、見かけ上は表示されない。カメラ位置マーカ９１０ｃは、カメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆと比較して背面に表示されるが、カメラ位置マーカ９１０ｃとカメラ画像表示領域９５０ｄ、９５０ｅ、９５０ｆとは、重畳していないために、見かけ上、表示される。
【０１３５】
図１０（ｃ）では、所定の順序であるカメラ画像表示領域９５０ｅ、９５０ｆ、９５０ｃ、９５０ｄの順序に基づき、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆが表示されている。また、図１０（ｄ）は、所定の順序であるカメラ画像表示領域９５０ｆ、９５０ｃ、９５０ｄ、９５０ｅの順序に基づき、カメラ位置マーカ９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆが表示されている。図１０（ｃ）では、見かけ上、カメラ位置マーカ９１０ｃ、９１０ｅが表示され、図１０（ｄ）では、見かけ上、カメラ位置マーカ９１０ｃ、９１０ｆが表示される。
【０１３６】
本変形例によれば、複数のカメラのカメラ画像表示領域またはカメラ位置マーカを重畳して表示できるので、各カメラの位置を相対的に把握することが可能となる。
【０１３７】
また、本変形例では、背面に表示されるカメラ画像表示領域またはカメラ位置マーカが前面に表示されるカメラ画像表示領域またはカメラ位置マーカに重畳した場合に、背面に表示されるカメラ画像表示領域またはカメラ位置マーカは、見かけ上、表示されないとした。しかし、前面に表示されるカメラ画像表示領域またはカメラ位置マーカに重畳するカメラ画像表示領域またはカメラ位置マーカを点線、半透明などで表示されてもよい。つまり、重畳するカメラ画像表示領域またはカメラ位置マーカは、重畳していないカメラ画像表示領域またはカメラ位置マーカとは異なる態様で表示されてもよい。そして、これらのカメラ画像表示領域またはカメラ位置マーカは、前面に表示されるカメラ画像表示領域またはカメラ位置マーカの上に表示されてもよい。このような構成にすることにより、各カメラの相対的な位置を一目で把握することが可能となる。
【０１３８】
また、別の例として、カメラ画像表示領域は重なるがカメラ位置マーカは重ならないことも多いため、カメラ位置マーカとカメラ画像表示領域をそれぞれの重なりに基づいて非同期に所定の順序で表示してもよい。さらには、カメラ位置マーカが常にカメラ画像表示領域よりも上になるように表示を制御してもよいし、カメラ画像表示領域が常にカメラ位置マーカよりも上になるように表示を制御してもよい。
【０１３９】
以上説明した各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
【０１４０】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１４１】
１００  配信サーバサムネイル画像取得部、  １１０  カメラサムネイル画像取得部、  １２０  配信サーバ情報取得部、  １３０  カメラ情報取得部、  １４０  カメラ位置情報取得部、  １５０  サムネイル画像選択部、  １６０  通知情報生成部、  １８０  地図データ取得部、  １９０  画面合成部、  ２００  配信拠点制御部、  ２１０  モニタ、  ３００  受信部、  ４００  トランスコード部、  ５００、５０１  配信部、  ６００  ストリーミングサムネイル画像送信部、  ７００  ストリーミング情報送信部、  ８００  配信サムネイル画像送信部、  ９００  地図データ表示領域、  ９１０  カメラ位置マーカ、  ９２０  カメラサムネイル画像表示領域、  ９３０  通知情報表示領域、  ９４０  カメラ情報表示領域、  ９５０  カメラ画像表示領域、  １０００、１００１  カメラ、  ２０００  ＧＰＳ機能搭載ルータ、  ３０００  配信サーバ、  ４０００  カメラ位置管理サーバ、  ５０００  地図データ配信サーバ、  ６０００  ストリーミング監視装置、  ７０００、７００１  配信拠点。
【図１】
2019062530.tif 000003
【図２】
2019062530.tif 000004
【図３】
2019062530.tif 000005
【図４】
2019062530.tif 000006
【図５】
2019062530.tif 000007
【図６】
2019062530.tif 000008
【図７】
2019062530.tif 000009
【図８】
2019062530.tif 000010
【図９】
2019062530.tif 000011
【図１０】
2019062530.tif 000012