(57)【要約】【課題】カメラが映像のストリーミング中であってもカメラの映像を監視する。【解決手段】カメラサムネイル画像取得部１１０はカメラから第１のサムネイル画像を取得する。配信サーバサムネイル画像取得部１００は配信サーバから第２のサムネイル画像を取得する。サムネイル画像選択部１５０は、第１のサムネイル画像と第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択する。カメラ情報取得部１３０は、カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得する。サムネイル画像選択部１５０は、ストリーミング実行情報にもとづいて、カメラがストリーミング中である場合、第２のサムネイル画像を表示すべきサムネイル画像として選択し、カメラがストリーミング中でない場合、第１のサムネイル画像を表示すべきサムネイル画像として選択する。【選択図】図２
2019057879.tif 000002
【特許請求の範囲】
【請求項１】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視する装置であって、
前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、
前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、
前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備え、
前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択することを特徴とする映像データストリーミング監視装置。
【請求項２】
前記配信サーバが配信中であるか否かを示す配信実行情報を含む配信サーバ情報を取得する配信サーバ情報取得部をさらに備え、
前記サムネイル画像選択部は、前記配信実行情報にもとづいて、前記配信サーバが配信中である場合、トランスコード後の前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記配信サーバが配信中でない場合、トランスコード前の前記第２のサムネイル画像を表示すべきサムネイル画像として選択することを特徴とする請求項１に記載の映像データストリーミング監視装置。
【請求項３】
前記カメラから前記配信サーバにストリーミングする際の伝送品質を示すストリーミング情報を含む配信サーバ情報を取得する配信サーバ情報取得部と、
前記ストリーミング情報にもとづいて、映像が配信される拠点を切り替える配信拠点制御部をさらに備えることを特徴とする請求項１に記載の映像データストリーミング監視装置。
【請求項４】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置にネットワークを介して接続する端末装置であって、
地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備え、
前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像であることを特徴とする端末装置。
【請求項５】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置と、前記映像データストリーミング監視装置にネットワークを介して接続する端末装置とを含む映像データストリーミング監視システムであって、
前記映像データストリーミング監視装置は、
前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、
前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、
前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備え、
前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択し、
前記端末装置は、
地図上のカメラの撮影位置に隣接して前記サムネイル画像選択部により選択された前記第１のサムネイル画像または前記第２のサムネイル画像を地図に合成し、前記第１のサムネイル画像または前記第２のサムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備えることを特徴とする映像データストリーミング監視システム。
【請求項６】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視する方法であって、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、
前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとを含むことを特徴とする映像データストリーミング監視方法。
【請求項７】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視するプログラムであって、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、
前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとをコンピュータに実行させることを特徴とする映像データストリーミング監視プログラム。
【請求項８】
カメラから配信サーバにストリーミングされる映像データストリーミングを監視するプログラムであって、
地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する表示ステップをコンピュータに実行させ、
前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像であることを特徴とする映像データストリーミング監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データストリーミングの監視技術に関する。
【背景技術】
【０００２】
近年、業務用撮影カメラのＩＰ化が進展しており、撮影した映像データをストリーミングで配信するサービスが盛んになっている。このような中で、多数の業務用撮影カメラのストリーミングをクラウドで一元管理し、カメラやストリーミングの状況を監視することができるシステムが必要とされている。
【０００３】
例えば、特許文献１には、複数の監視地点のカメラから撮影した映像を地図データと並べて表示する監視システムが開示されている。特許文献２には、被災する可能性のある地域のカメラからの映像をリアルタイムでストリーミング符号化し、携帯端末に配信する同報ストリーミング配信システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１０２４９５号公報
【特許文献２】特開２００３−１３４０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ストリーミング配信システムにおいてカメラが映像のストリーミングをしている間にカメラの映像を監視しようとすると、カメラにおいて符号化処理の負担が大きくなるという問題があった。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラが映像のストリーミング中であってもカメラの映像を監視することのできる映像データストリーミング監視技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の映像データストリーミング監視装置は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する装置であって、前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部（１１０）と、前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部（１００）と、前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部（１５０）と、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部（１３０）とを備える。前記サムネイル画像選択部（１５０）は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択する。
【０００８】
本発明の別の態様は、端末装置である。この装置は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置にネットワークを介して接続する端末装置であって、地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部（１９０）を備える。前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像である。
【０００９】
本発明のさらに別の態様は、映像データストリーミング監視システムである。この映像データストリーミング監視システムは、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置と、前記映像データストリーミング監視装置にネットワークを介して接続する端末装置とを含む映像データストリーミング監視システムであって、前記映像データストリーミング監視装置は、前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備える。前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択し、前記端末装置は、地図上のカメラの撮影位置に隣接して前記サムネイル画像選択部により選択された前記第１のサムネイル画像または前記第２のサムネイル画像を地図に合成し、前記第１のサムネイル画像または前記第２のサムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備える。
【００１０】
本発明のさらに別の態様は、映像データストリーミング監視方法である。この方法は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する方法であって、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとを含む。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、カメラが映像のストリーミング中であってもカメラの撮影映像を監視することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。
【図２】図１のストリーミング監視装置の構成を説明する図である。
【図３】図１のストリーミングデータ配信サーバの構成を説明する図である。
【図４】図２のストリーミング監視装置によるストリーミングデータの管理手順を説明するフローチャートである。
【図５】図２の画面合成部による合成表示の例を説明する図である。
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。映像データストリーミング監視システムは、カメラ１０００、１００１、ＧＰＳ機能搭載ルータ２０００、配信サーバ３０００、カメラ位置管理サーバ４０００、地図データ配信サーバ５０００、ストリーミング監視装置６０００、配信拠点７０００、７００１を含む。
【００１５】
カメラ１０００、１００１は、Ｗｉ−Ｆｉなどの無線ＬＡＮによりＧＰＳ機能搭載ルータ２０００に接続される。ここでは、カメラ１０００、１００１がＧＰＳ機能搭載ルータ２０００と無線ＬＡＮで接続される形態を説明するが、カメラ１０００、１００１はＵＳＢ等でＧＰＳ機能搭載ルータ２０００と接続されてもよく、カメラ１０００、１００１がＧＰＳ機能を内蔵してもよい。
【００１６】
ＧＰＳ機能搭載ルータ２０００は、配信サーバ３０００、カメラ位置管理サーバ４０００、およびストリーミング監視装置６０００にネットワークで接続される。配信サーバ３０００は、ストリーミング監視装置６０００および配信拠点７０００、７００１にネットワークで接続される。カメラ位置管理サーバ４０００は、ストリーミング監視装置６０００にネットワークで接続される。地図データ配信サーバ５０００は、ストリーミング監視装置６０００にネットワークで接続される。ストリーミング監視装置６０００は、配信サーバ３０００にネットワークで接続される。
【００１７】
カメラ１０００、１００１は、それぞれの撮影場所で撮影された映像を符号化してストリーミングデータをＧＰＳ機能搭載ルータ２０００を経由して配信サーバ３０００に送信する。ここでは、ストリーミングデータは画像サイズが１９２０画素×１０８０画素のフルＨＤ（High Definition）映像でフレームレートは３０ｆｐｓである。
【００１８】
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをトランスコードして１以上の配信拠点７０００、７００１に送信する。配信サーバ３０００は、配信拠点７０００、７００１毎に解像度やフレームレートの異なるストリーミングデータを配信してもよい。複数の配信拠点７０００、７００１は、複数の異なる放送局の受信装置であってもよく、一つの放送局における複数の受信装置であってもよい。
【００１９】
また、配信サーバ３０００はＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをストリーミング監視装置６０００に配信することができる。
【００２０】
カメラ１０００、１００１は、撮影中の映像のサムネイル画像（「カメラサムネイル画像」と呼ぶ）をＧＰＳ機能搭載ルータ２０００を経由してストリーミング監視装置６０００に送信する。ここで、カメラサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。また、カメラサムネイル画像は、ＪＰＥＧや、ＭＰＥＧなどの画像圧縮方式で画面内符号化（イントラフレーム）として圧縮されて送信されるものである。
【００２１】
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたトランスコード前のストリーミングデータのサムネイル画像（「ストリーミングサムネイル画像」と呼ぶ）またはトランスコード後のストリーミングデータのサムネイル画像（「配信サムネイル画像」と呼ぶ）をストリーミング監視装置６０００に送信する。
【００２２】
ＧＰＳ機能搭載ルータ２０００は、カメラ１０００、１００１の撮影位置情報として少なくとも緯度と経度を含むＧＰＳ情報をカメラ位置管理サーバ４０００に送信する。ここでは、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００がネットワークで接続される形態を説明するが、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００を一体化してＧＰＳ機能搭載ブリッジを構成してもよい。
【００２３】
カメラ位置管理サーバ４０００は、ＧＰＳ機能搭載ルータ２０００から入力されるＧＰＳ情報を記憶し、ＧＰＳ情報をカメラ位置情報としてストリーミング監視装置６０００に送信する。
【００２４】
地図データ配信サーバ５０００は地図データをストリーミング監視装置６０００に送信する。
【００２５】
ストリーミング監視装置６０００は、配信制御データを配信サーバ３０００に送信する。配信サーバ３０００は、配信制御データにもとづいてカメラ１０００、１００１から送信されるストリーミングデータを適宜トランスコードして配信拠点７０００、７００１に配信する。
【００２６】
配信拠点７０００、７００１は、配信サーバ３０００から配信されるストリーミングデータを受信し、ストリーミングデータを復号して利用する。ここで、配信拠点７０００、７００１は、各カメラ１０００、１００１から送信されたストリーミングデータを分離して利用することができる。
【００２７】
図２は、ストリーミング監視装置６０００の構成を説明する図である。
【００２８】
ストリーミング監視装置６０００は、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００、及びモニタ２１０を含む。なお、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００は、ＣＰＵ、ＲＡＭ又はＲＯＭによって構成され、またはこれらを組み合わせものによって構成される。
【００２９】
ここでは、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を別個の構成としたが、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を一体に構成してもよい。同様に、カメラサムネイル画像取得部１１０とカメラ情報取得部１３０を一体に構成してもよい。
【００３０】
ストリーミング監視装置６０００をサーバ−クライアントシステムとして構成してもよい。その場合、画面合成部１９０とモニタ２１０はクライアント側に設けられ、クライアントの画面合成部１９０がブラウザとして機能し、ネットワーク経由でサーバから地図データ、画像データ、通知情報を受信し、地図上に画像と通知情報を合成してモニタ２１０に表示する。また、ここでは、ストリーミング監視装置６０００が地図データ取得部１８０を含む構成を説明するが、外部サーバから地図データを受信する場合は、ストリーミング監視装置６０００が地図データ取得部１８０の構成を含まず、クライアントの画面合成部１９０がブラウザとして機能し、外部サーバから地図データを取得し、地図を画面に表示し、地図上に画像と通知情報を合成してもよい。さらに、配信サーバに処理負担を分散させる場合は、配信サーバサムネイル画像取得部１００、配信サーバ情報取得部１２０、サムネイル画像選択部１５０はクライアント側に設けてもよい。
【００３１】
端子１０は配信サーバ３０００に、端子２０はＧＰＳ機能搭載ルータ２０００に、端子３０はカメラ位置管理サーバ４０００に、端子４０は地図データ配信サーバ５０００に、端子５０は配信サーバ３０００にそれぞれ接続される。
【００３２】
配信サーバサムネイル画像取得部１００は、配信サーバ３０００に接続された端子１０から「ストリーミングサムネイル画像」または「配信サムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。
【００３３】
配信サーバ情報取得部１２０は、配信サーバ３０００に接続された端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。
【００３４】
配信サーバ情報には、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを示す「配信実行情報」、カメラ１０００、１００１のストリーミングデータのビットレート、遅延時間、パケットの損失と回復などストリーミングデータの伝送品質を示す「ストリーミング情報」が含まれる。パケット損失情報、パケット回復情報には、それぞれストリーミング開始時点から現時点までのパケット数の総和、直近の所定期間パケット数の総和が含まれる。なお、パケットの損失（以降は「パケット損失」）は、例えば、送信機側から送信されたパケットの数から受信機で受信されたパケットの数を減算することで求められる値である。
【００３５】
カメラサムネイル画像取得部１１０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０から「カメラサムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。
【００３６】
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０からカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。
【００３７】
カメラ情報には、カメラ１０００、１００１を識別するための「カメラ識別情報」、カメラ１０００、１００１がストリーミング中であるか否かを示す「ストリーミング実行情報」、カメラ１０００、１００１がストリーミング中である場合には、そのストリーミング先を示すＵＲＬである「ストリーミング対象情報」、及びカメラ１０００、１００１に記憶容量不足やバッテリ残量不足などを示す「カメラエラー情報」が含まれる。カメラ識別情報には、カメラ固有の番号であるシリアル番号や、ユーザが設定可能なカメラ名等が含まれる。ここでは、「ストリーミング対象情報」にはカメラ１０００、１００１を示すＵＬＲが記述されており、また配信サーバ３０００を示すＵＲＬが記述されているとする。
【００３８】
サムネイル画像選択部１５０は、カメラ情報取得部１３０から入力された「ストリーミング実行情報」を参照して、カメラ１０００、１００１がストリーミング中であるか否かを判定する。サムネイル画像選択部１５０は、カメラ１０００、１００１がストリーミング中である場合、配信サーバ情報取得部１２０から入力された「配信実行情報」を参照して、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを判定する。
【００３９】
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中である場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「配信サムネイル画像」を画面に合成すべきサムネイル画像（「選択サムネイル画像」と呼ぶ）として選択し、選択サムネイル画像を画面合成部１９０に出力する。
【００４０】
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中でない場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「ストリーミングサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。
【００４１】
カメラ１０００、１００１がストリーミング中でない場合、サムネイル画像選択部１５０は、カメラサムネイル画像取得部１１０から入力された「カメラサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。
【００４２】
カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００に接続された端子３０からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する。
【００４３】
地図データ取得部１８０は、地図データ配信サーバ５０００に接続された端子４０から地図データを取得し、地図データを画面合成部１９０に出力する。
【００４４】
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０および配信拠点制御部２００に出力する。
【００４５】
画面合成部１９０は、地図データ取得部１８０から入力された地図データ上に、サムネイル画像選択部１５０から入力された選択サムネイル画像と、通知情報生成部１６０から入力された通知情報とを合成し、モニタ２１０に表示する。
【００４６】
配信拠点制御部２００は、通知情報生成部１６０から入力されたストリーミング情報を配信サーバ３０００に接続された端子５０に出力する。配信サーバ３０００はストリーミング情報を参照して、通信状況に応じて配信拠点７０００、７００１を選択する。
【００４７】
図３は、配信サーバ３０００の構成を説明する図である。
【００４８】
配信サーバ３０００は、受信部３００、トランスコード部４００、配信部５００、５０１、ストリーミングサムネイル画像送信部６００、ストリーミング情報送信部７００、及び配信サムネイル画像送信部８００を含む。
【００４９】
端子６１はＧＰＳ機能搭載ルータ２０００に、端子６２、端子６３、及び端子６４はストリーミング監視装置６０００に、端子６５は配信拠点７０００に、端子６６は配信拠点７００１にそれぞれ接続されている。
【００５０】
受信部３００は、ＧＰＳ機能搭載ルータ２０００に接続された端子６１から入力されるストリーミングデータをトランスコード部４００と配信部５０１に出力する。また、受信部３００は、必要に応じて受信したストリーミングデータから１フレーム分の静止画を抽出することでストリーミングサムネイル画像を生成し、ストリーミングサムネイル画像をストリーミングサムネイル画像送信部６００に出力する。ストリーミングサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、ストリーミングサムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。また、受信部３００は、ストリーミングデータのビットレート、遅延時間、パケット損失など伝送品質を示すストリーミング情報をストリーミング情報送信部７００に出力する。
【００５１】
トランスコード部４００は、受信部３００から入力されるビットレートＡのストリーミングデータをビットレートＢの符号化ストリームにトランスコードし、符号化ストリームを配信部５００に出力する。
【００５２】
配信部５００は、トランスコード部４００から入力される符号化ストリームを配信拠点７０００に接続された端子６５に出力する。また、配信部５００は、必要に応じて符号化ストリームから１フレーム分の静止画を抽出することで配信サムネイル画像を生成し、配信サムネイル画像を配信サムネイル画像送信部８００に出力する。配信サムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、配信サムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。
【００５３】
配信部５０１は、受信部３００から入力されるストリーミングデータを必要に応じて配信拠点７００１に接続された端子６６に出力する。
【００５４】
ストリーミングサムネイル画像送信部６００は、受信部３００から入力されるストリーミングサムネイル画像をストリーミング監視装置６０００に接続された端子６２に出力する。
【００５５】
配信サムネイル画像送信部８００は、配信部５００から入力される配信サムネイル画像をストリーミング監視装置６０００に接続された端子６４に出力する。
【００５６】
配信サーバ３０００がストリーミングデータを配信中であれば、配信サムネイル画像送信部８００がトランスコード後の符号化ストリームの配信サムネイル画像をストリーミング監視装置６０００に提供する。配信サーバ３０００がストリーミングデータを配信していない場合は、ストリーミングサムネイル画像送信部６００がトランスコード前のストリーミングデータのストリーミングサムネイル画像をストリーミング監視装置６０００に提供する。
【００５７】
ストリーミング情報送信部７００は、ストリーミング情報をストリーミング監視装置６０００に接続された端子６３に出力する。
【００５８】
図４は、ストリーミング監視装置６０００によるストリーミングデータの管理手順を説明するフローチャートである。この管理手順は、各カメラ１０００、１００１について、それぞれたとえば３秒の更新間隔で実施される。以下、カメラ１０００の場合について説明する。
【００５９】
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００からカメラ１０００のカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１００）。カメラ情報には、カメラ１０００の識別情報、カメラ１０００がストリーミング中であるか否かを示すストリーミング実行情報、及びカメラ１０００のエラー情報が含まれる。
【００６０】
配信サーバ情報取得部１２０は、配信サーバ３０００から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１１０）。配信サーバ情報には、配信サーバ３０００がカメラ１０００のストリーミングデータを配信中であるか否かを示す配信実行情報、ストリーミングデータの伝送品質を示すストリーミング情報が含まれる。
【００６１】
サムネイル画像選択部１５０は、ストリーミング実行情報がカメラ１０００はストリーミング中であるかことを示しているか否かを検査する（Ｓ１２０）。
【００６２】
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示している場合（Ｓ１２０のＹＥＳ）、配信サーバ情報取得部１２０は、配信サーバ３０００からストリーミング情報を取得し、ストリーミング情報を通知情報生成部１６０に出力する（Ｓ１２５）。
【００６３】
次に、サムネイル画像選択部１５０は、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示しているか否かを検査する（Ｓ１３０）。
【００６４】
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得し、サムネイル画像選択部１５０は配信サムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１５０）。
【００６５】
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得し、サムネイル画像選択部１５０はストリーミングサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１４０）。
【００６６】
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示していない場合（Ｓ１２０のＮＯ）、カメラサムネイル画像取得部１１０はカメラ１０００からカメラサムネイル画像を取得し、サムネイル画像選択部１５０はカメラサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１６０）。
【００６７】
ステップＳ１４０、Ｓ１５０、またはＳ１６０に続いて、カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する（Ｓ１７０）。
【００６８】
地図データ取得部１８０は、地図データ配信サーバ５０００から地図データを取得し、地図データを画面合成部１９０に出力する（Ｓ１８０）。
【００６９】
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０に出力する（Ｓ１９０）。
【００７０】
画面合成部１９０は、地図データを地図データ表示領域に表示して、カメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して合成画面を生成し、合成画面をモニタ２１０に出力する（Ｓ２００）。モニタ２１０は合成画面を表示する。モニタの画面サイズは、一例として２５６０画素×１６００画素のＷＱＸＧＡ（Wide Quad eXtended Graphics Array）であり、地図データ表示領域は、一例として２０００画素×１２００画素である。
【００７１】
配信拠点制御部２００は、ストリーミング情報に基づいて配信拠点を制御する（Ｓ２１０）。ここで、配信拠点の制御について説明する。配信拠点制御部２００は、ストリーミング情報を配信サーバ３０００に送信し、配信サーバ３０００は、ストリーミング情報を参照して、通信状況に応じてストリーミングデータの配信先の配信拠点７０００、７００１を選択させる。たとえば、ストリーミング情報のパケット損失の総和値が所定値を超えた場合に、配信サーバ３０００は、これまで配信拠点７０００に配信されていたストリーミングデータを別の配信拠点７００１に配信するように切り替える。
【００７２】
以上のように、カメラ１０００、１００１がストリーミング中であれば配信サーバ３０００からサムネイル画像を取得し、カメラ１０００、１００１がストリーミング中でない、すなわちカメラ１０００、１００１がプレビューモードなどストリーミングのスタンバイ状態であればカメラ１０００、１００１からサムネイル画像を取得する。これにより、カメラ１０００、１００１がストリーミングデータのエンコードとサムネイル画像のエンコードを同時に処理する必要がないから、ストリーミング中のカメラ１０００、１００１の処理量を抑制しながら、ストリーミング監視装置６０００は、カメラの撮影映像を絶えず監視することができる。
【００７３】
ここでは、ストリーミング実行情報はカメラ情報に含まれるとしたが、ストリーミング実行情報を配信サーバ情報に含めてもよい。この場合、配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００からのストリーミングの受信状況を監視することによってストリーミングが実行されているかどうか判断し、ストリーミング実行情報を含めた配信サーバ情報を生成する。配信サーバ情報取得部１２０は、端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。このような構成にすることで、カメラの処理負荷を低減させることができる。
【００７４】
ここでは、サムネイル画像の更新間隔は３秒としたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、更新間隔はこれに限定されない。例えば、ストリーミングサムネイル画像と配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも短い１秒の更新間隔とすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
【００７５】
ここでは、サムネイル画像の画像サイズはＱＶＧＡとしたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、サムネイル画像の画像サイズはこれに限定されない。例えば、配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも大きな画像サイズであるＶＧＡとすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
【００７６】
ここでは、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得するとした（Ｓ１５０）。また、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得するとした（Ｓ１４０）。しかし、配信サーバサムネイル画像取得部１００が、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合も有り得る。例えば、通信状況が悪化したことにより、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合や、配信サムネイル画像又はストリーミングサムネイル画像を取得することができない配信サーバが選択された場合などである。
【００７７】
そこで、サムネイル画像選択部１５０は、記憶部（図示せず）を備える構成であってもよい。この記憶部は、予め定められた画像を記憶する。予め定められた画像とは、例えば、「サムネイル画像が取得できません」などのような警告を発する画面である。
【００７８】
このような構成であって、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得する場合であって（Ｓ１５０）、配信サーバ３０００から配信サムネイル画像を取得できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
【００７９】
配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得する場合であって（Ｓ１４０）、配信サーバ３０００からストリーミングサムネイル画像できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
【００８０】
さらには、サムネイル画像選択部１５０が上述の記憶部を備える場合では、配信サーバ３０００がストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を備えない配信サーバ３０００にも本実施の形態は適用できる。つまり、配信サーバを示すＵＲＬが含まれるストリーミング対象情報から、配信サーバを特定し、上述の配信サーバ３０００から配信サムネイル画像を取得できるか否かの判断は、特定されたサーバがストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバであるか否かによって判断すればよい。ストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバである場合には、ストリーミングサムネイル画像又は配信サムネイル画像を選択サムネイル画像として選択し、そうでない場合には予め定められた画像を選択サムネイル画像として選択すればよい。このような構成にすることにより、汎用性を高めることができる。
【００８１】
また、ここでは、予め定められた画像を記憶する記憶部を備える構成としたが、備えなくもよい。この場合には、Ｓ１４０又はＳ１５０にて配信サーバ３０００からストリーミングサムネイル画像又は配信サムネイル画像が取得できなかったときには、Ｓ２００にて、地図データ表示領域上に選択サムネイル画像の代わりとして、ストリーミング対象情報がわかる文字列、例えば、ストリーミング対象情報やストリーミング対象情報を短縮した文字列を、通知情報と合成して合成画面を生成し、合成画面をモニタ２１０に出力してもよい。
【００８２】
続いて、カメラ位置情報に基づいて地図データ上に選択サムネイル画像と通知情報を合成して表示する方法を詳細に説明する。
【００８３】
図５は、画面合成部１９０による合成表示の例を説明する図である。ここでは、地図データ９００上にカメラ位置情報に基づいてカメラ位置を示すカメラ位置マーカ９１０が表示される。カメラ位置マーカ９１０に隣接して選択サムネイル画像９２０が表示され、選択サムネイル画像９２０の外枠の周辺領域である通知情報表示領域９３０に通知情報が表示される。
【００８４】
ここで、通知情報について詳細に説明する。通知情報生成部１６０は、下記のような条件で通知情報を生成する。通知情報には、パケット損失エラー通知、パケット損失警告通知、パケット回復警告通知、カメラエラー通知、及びカメラ位置消失通知が含まれ、それぞれの通知は通知タイプで管理され、通知タイプにより判別可能である。
【００８５】
ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ１を超えた場合、パケット損失エラー通知を生成する。
【００８６】
ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ２（Ｔ２＜Ｔ１）を超えた場合、パケット損失警告通知を生成する。
【００８７】
ストリーミング情報のパケット回復のストリーミング開始時点から現時点までの総和値が所定閾値Ｔ３（Ｔ３＞Ｔ１）を超えた場合、パケット回復警告通知を生成する。
【００８８】
カメラエラー情報がエラーであることを示している場合、カメラエラー通知を生成する。カメラエラー情報には、バッテリの残量低下、メモリカードの残量低下、ストリーミングの失敗などが含まれる。
【００８９】
カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合、カメラ位置消失通知を生成する。なお、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合のカメラ位置情報として、そのカメラのカメラ位置情報が取得できた最後の位置を利用する。また、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合のカメラ位置情報として、予め設定していた所定のカメラ位置を利用してもよい。
【００９０】
図５の通知情報表示領域９３０には、一例として通知タイプが文字列で表示され、背景色が付けられる。なお、通知情報がない場合には、通知情報表示領域９３０には何も表示されない。また、通知情報表示領域９３０に表示される文字列と背景色は通知タイプの重要度に応じて色が変化し、所定期間で明滅する。明滅する所定間隔を重要度に応じて変化させてもよい。背景色は、たとえば警告の場合は赤色、注意の場合は黄色にすることができる。これにより、地図上でどの場所のカメラにおいて問題が発生しているかを一目で把握することができる。
【００９１】
図５のサムネイル画像表示領域をクリックすると、クリックされた位置に表示されているサムネイル画像に関連付けられたカメラ識別情報にもとづいて、撮影中のカメラが特定され、特定されたカメラがストリーミングしている映像が画面上にストリーミング映像詳細確認画面としてポップアップ表示される。
【００９２】
ストリーミング映像詳細確認画面は、一例として画像サイズが１９２０画素×１０８０画素のフルＨＤであり、フレームレートは３０ｆｐｓで表示される。ストリーミング映像詳細確認画面はストリーミング中の映像を詳細に確認するために利用される。このようにストリーミングデータの画像サイズとフレームレートはサムネイル画像よりも画像サイズが大きく、フレームレートが高いが、例えば、６４０画素×４８０画素等にスケーリング表示することもできる。
【００９３】
また、ストリーミング映像詳細確認画面にはカメラ情報、カメラ位置情報、ストリーミング情報、及び通知情報を確認することができるように文字列で表示される。なお、通知情報には通知情報表示領域９３０に表示される文字列と関連付けて色を付加して表示する。
【００９４】
以上のように、カメラ位置情報に基づいて地図データ上にサムネイル画像と通知情報を合成して表示することで、カメラの位置、撮影画像、および通知情報を同時に監視することができる。
【００９５】
以上説明した各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
【００９６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９７】
１００  配信サーバサムネイル画像取得部、  １１０  カメラサムネイル画像取得部、  １２０  配信サーバ情報取得部、  １３０  カメラ情報取得部、  １４０  カメラ位置情報取得部、  １５０  サムネイル画像選択部、  １６０  通知情報生成部、  １８０  地図データ取得部、  １９０  画面合成部、  ２００  配信拠点制御部、  ２１０  モニタ、  ３００  受信部、  ４００  トランスコード部、  ５００、５０１  配信部、  ６００  ストリーミングサムネイル画像送信部、  ７００  ストリーミング情報送信部、  ８００  配信サムネイル画像送信部、  ９００  地図データ、  ９１０  カメラ位置マーカ、  ９２０  選択サムネイル画像、  ９３０  通知情報表示領域、  １０００、１００１  カメラ、  ２０００  ＧＰＳ機能搭載ルータ、  ３０００  配信サーバ、  ４０００  カメラ位置管理サーバ、  ５０００  地図データ配信サーバ、  ６０００  ストリーミング監視装置、  ７０００、７００１  配信拠点。
【図１】
2019057879.tif 000003
【図２】
2019057879.tif 000004
【図３】
2019057879.tif 000005
【図４】
2019057879.tif 000006
【図５】
2019057879.tif 000007