(57)【特許請求の範囲】
【請求項１】
複数のカメラと、映像合成再符号化装置と、映像表示装置とを備えた映像表示システムであって、
前記複数のカメラは、
映像を撮影する撮影部と、
前記撮影部で撮影された映像を符号化して符号化映像データを生成する符号化部と、
前記符号化映像データを無線送信する送信部と、
を備え、
前記映像合成再符号化装置は、
前記複数のカメラの各々より無線送信された複数の前記符号化映像データを受信する受信部と、
前記受信部にて受信した複数の前記符号化映像データをそれぞれ復号する復号部と、
前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、
前記合成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、
前記再符号化合成映像データを送信する送信部と、
を備え、
前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、
前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、
前記送信部は、前記再符号化部分映像データを送信し、
前記映像表示装置は、
前記再符号化合成映像データ及び前記再符号化部分映像データを受信する受信部と、
前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号部と、
前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号部と、
前記合成映像復号部にて生成された前記合成映像データが未完の合成映像データである場合に、前記合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成部と、
前記合成映像復号部にて復号された完全な前記合成映像データ又は前記映像補完合成部にて生成された前記補完合成映像データを表示する表示部と、
を備えた
ことを特徴とする映像表示システム。
【請求項２】
前記映像合成部は、複数のカメラの複数の映像データがスライスで分割された合成映像データを生成することを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記映像合成部は、所定のゆらぎ許容時間内に前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記ゆらぎ許容時間内に前記複数のカメラの前記映像データがすべて揃っていない場合には、一部のカメラの前記映像データが欠落した未完の前記合成映像データを生成することを特徴とする請求項１又は２に記載の映像表示システム。
【請求項４】
前記ゆらぎ許容時間は可変に設定されることを特徴とする請求項３に記載の映像表示システム。
【請求項５】
前記映像合成部は、前記複数の映像データの各々の重要度、及び／又は人物の有無に基づいて、前記複数の映像データの各々を縮小し、及び／又は前記複数の映像データの各々の高周波成分をカットして、前記複数の映像データを合成することを特徴とする請求項１ないし４のいずれかに記載の映像表示システム。
【請求項６】
前記再符号化部は、前記複数の映像データの各々の重要度、及び／又は人物の有無に基づく符号化率で、前記合成映像データを符号化することを特徴とする請求項１ないし４のいずれかに記載の映像表示システム。
【請求項７】
前記再符号化部は、前記映像合成再符号化装置の送信部が送信するネットワークの伝送状況に基づく符号化率で、前記合成映像データを符号化することを特徴とする請求項１ないし６のいずれかに記載の映像表示システム。
【請求項８】
前記映像補完合成部は、前記合成映像復号部にて生成された前記合成映像データにおいて一部が欠落しているが、当該欠落している部分に対応する前記部分映像データがない場合に、前記未完の合成映像データの欠落している部分に過去の映像データを合成して前記補完合成映像データを生成することを特徴とする請求項１ないし７のいずれかに記載の映像表示システム。
【請求項９】
複数のカメラの各々より無線送信された複数の符号化された映像データを受信する受信部と、
前記受信部にて受信した複数の符号化された映像データをそれぞれ復号する復号部と、
前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、
前記合成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、
前記再符号化合成映像データを送信する送信部と、
を備え、
前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、
前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、
前記送信部は、前記再符号化部分映像データを送信する
ことを特徴とする映像合成再符号化装置。
【請求項１０】
複数のカメラの映像データを合成して符号化することで生成された再符号化合成映像データ及び遅延した映像データを符号化することで生成された再符号化部分映像データを受信する受信部と、
前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号部と、
前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号部と、
前記合成映像データが一部が欠落した未完の合成映像データである場合に、前記合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成部と、
一部が欠落していない完全な前記合成映像データ又は前記補完合成映像データを表示する表示部と、
を備えたことを特徴とする映像表示装置。
【請求項１１】
複数のカメラと、映像合成再符号化装置と、映像表示装置とを備えた映像表示システムにおける映像表示方法であって、
前記複数のカメラにおける、
映像を撮影する撮影ステップと、
前記撮影ステップにて撮影された映像を符号化して符号化映像データを生成する符号化ステップと、
前記符号化映像データを無線送信する送信ステップと、
前記映像合成再符号化装置における、
前記複数のカメラの各々より無線送信された複数の前記符号化映像データを受信する受信ステップと、
前記受信ステップにて受信した複数の前記符号化映像データをそれぞれ復号して前記複数のカメラの映像データを生成する復号ステップと、
前記複数のカメラの前記映像データがすべてある場合に、前記復号ステップにて復号された複数の映像データを合成して、前記複数のカメラのすべての前記映像データが合成された完全な合成映像データを生成する第１の映像合成ステップと、
前記複数のカメラの一部のカメラの前記映像データが欠落している場合に、前記復号ステップにて復号された複数の映像データを合成して、一部が欠落した未完の合成映像データを生成する第２の映像合成ステップと、
前記第１及び第２の映像合成ステップにて生成された前記合成映像データを再符号化して再符号化合成映像データを生成する第１の再符号化ステップと、
前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成する第２の再符号化ステップと、
前記再符号化合成映像データを送信する第１の送信ステップと、
前記再符号化部分映像データを送信する第２の送信ステップと、
前記映像表示装置における、
前記再符号化合成映像データを受信する第１の受信ステップと、
前記再符号化部分映像データを受信する第２の受信ステップと、
前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号ステップと、
前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号ステップと、
前記未完の合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成ステップと、
前記合成映像復号ステップにて復号された前記完全な合成映像データ又は前記映像補完合成ステップにて生成された前記補完合成映像データを表示する表示ステップと、
を含むことを特徴とする映像表示方法。
【請求項１２】
複数のカメラの各々より無線送信された複数の符号化映像データを受信する受信ステップと、
前記受信ステップにて受信した複数の前記符号化映像データをそれぞれ復号して前記複数のカメラの映像データを生成する復号ステップと、
前記複数のカメラの前記映像データがすべてある場合に、前記復号ステップにて復号された複数の映像データを合成して、前記複数のカメラのすべての前記映像データが合成された完全な合成映像データを生成する第１の映像合成ステップと、
前記複数のカメラの一部のカメラの前記映像データが欠落している場合に、前記復号ステップにて復号された複数の映像データを合成して、一部が欠落した未完の合成映像データを生成する第２の映像合成ステップと、
前記第１及び第２の映像合成ステップにて生成された前記合成映像データを再符号化して再符号化合成映像データを生成する第１の再符号化ステップと、
前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成する第２の再符号化ステップと、
前記再符号化合成映像データを送信する第１の送信ステップと、
前記再符号化部分映像データを送信する第２の送信ステップと、
を含むことを特徴とする映像合成再符号化方法。
【請求項１３】
コンピュータを、
複数のカメラの各々より無線送信された複数の符号化映像データを受信する受信部と、
前記受信部にて受信した前記複数の符号化映像データをそれぞれ復号する復号部と、
前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、
前記合成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、
前記再符号化合成映像データを送信する送信部と、
として機能させ、
前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、
前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、
前記送信部は、前記再符号化部分映像データを送信する
ことを特徴とする映像合成再符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影した複数の映像を合成して合成映像を表示する映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラムに関するものである。
【背景技術】
【０００２】
従来、複数のカメラで撮影した複数の映像を合成して合成映像を表示する映像表示システムが知られている。この映像表示システムによれば、例えば４つのカメラで撮影されたそれぞれの映像を上下左右に並べた合成映像を生成することで、４つのカメラでそれぞれ撮影された４つの映像をまとめて１つの映像として表示することができる。
【０００３】
特許文献１には、このような映像表示システムとして、多画面再生時の応答性を向上して応答時間のばらつきを低減することを目的とした監視画像記録装置が開示されている。図１０は、この監視画像記録装置の構成を示すブロック図である。監視画像記録装置１０は、ネットワークインターフェース１１、ＭＰＥＧデコーダ１２ａ〜１２ｄ、メモリ１３ａ〜１３ｄ、Ｈ．２６４エンコーダ１４ａ〜１４ｄ、画像認識部１５、エンコード制御部１６、記録制御部１７、記録装置１８、Ｈ．２６４デコーダ１９ａ〜１９ｄ、及び合成部２０を備えている。
【０００４】
複数のカメラ１ａ〜１ｄでそれぞれ撮影されて符号化された複数のチャンネルの映像の符号化ストリームは、ネットワーク２を介して監視画像記録装置１０へ伝送される。監視画像記録装置１０のネットワークインターフェース１１は、符号化ストリームを各チャンネル（カメラ）に対応するＭＰＥＧデコーダ１２ａ〜１２ｄへ配分する。ＭＰＥＧデコーダ１２ａ〜１２ｄは、各チャンネルの符号化ストリームをそれぞれデコードして、デコード画像をメモリ１３ａ〜１３ｄに一時保存するとともに、デコード画像を画像認識してイベント発生の判断を行なう画像認識部１５に送出する。画像認識部１５は、背景差分をとることによって動き検出及び顔検出を行い、画像中のイベント発生の有無を判断し、イベント発生に関するイベント情報を出力する。
【０００５】
この監視画像再生装置１０では、動画像の構成単位として、符号化ストリームにおけるＧＯＰ（group of pictures）を用いている。ＧＯＰ開始位置とＧＯＰサイズの情報により、ＧＯＰの先頭フレーム及び終了フレームが規定されることになる。エンコード制御部１６は、画像認識部１５で判定されたイベント発生を受け、イベント情報に基づいてＧＯＰ開始位置、ＧＯＰサイズ、再符号化のレートを含む符号化情報を生成して出力する。
【０００６】
Ｈ．２６４エンコーダ１４ａ〜１４ｄは、エンコード制御部１６の符号化情報に基づいて、メモリ１３ａ〜１３ｄに記憶された各チャンネルのデコード画像をエンコードし、再符号化ストリームを出力する。ここで、エンコード制御部１６にて生成されて出力される符号化情報では、Ｈ．２６４エンコーダ１４ａ〜１４ｄが、イベント発生に合わせて、すべてのチャンネルのＧＯＰサイズと開始位置を揃えた状態で再符号化するように、ＧＯＰ開始位置及びＧＯＰサイズが決定されている。
【０００７】
登録制御部１７は、再符号化ストリームと画像認識部１５からのイベント情報とを一括して管理するための画像管理情報として、イベント情報及び符号化情報を含む管理テーブルを生成し、この管理テーブルに従って再符号化ストリームを画像管理情報に対応させて記録装置１８に記録する。
【０００８】
記録装置１８に記録された画像を再生する場合、特に複数画像を再生する場合には、記録制御部１７が管理テーブルの画像管理情報を参照し、イベントに該当する各チャンネルの再符号化ストリームを記録装置１８から読み出す。そして、Ｈ．２６４デコーダ１９ａ〜１９ｄで各チャンネルの再符号化ストリームをデコードし、合成部２０で多画面合成処理を行なって出力する。これにより、監視モニタ３において多画面で記録画像の表示が行なわれる。即ち、チャンネルａ、チャンネルｂ、チャンネルｃ、チャンネルｄの４つの動画像の映像を１つの表示画面上に多画面表示できる。
【０００９】
特に、上記の監視画像再生装置１０では、エンコード制御部１６によって、イベント発生に関するイベント情報と装置の設定情報とから複数チャンネルの動画像のＧＯＰの先頭と終了のフレームを決定し、Ｈ．２６４エンコーダ１４ａ〜１４ｄによって複数のチャンネルについて再符号化ストリームのＧＯＰの先頭を揃えて再符号化する。
【００１０】
図１１（ａ）は、ＧＯＰのサイズ及び開始位置を揃えない場合の各チャンネルの符号化ストリームの構成を示す図であり、図１１（ｂ）は、ＧＯＰのサイズ及び開始位置を揃えた場合の各チャンネルの符号化ストリーム構成を示す図である。図１１（ｂ）に示すように、イベントが発生した場合には、それに合わせてＧＯＰのサイズ及び開始位置が揃えられているので、多画面再生時における応答時間のばらつきを低減できる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−２１９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、複数のカメラから無線ネットワーク経由で受信した複数の映像データを合成して、合成映像を再符号化して映像表示装置に送信し、映像表示装置で復号された合成映像をリアルタイムに表示する映像表示システムにおいて上記の従来の映像表示システムを適用する場合には、無線通信における伝送ゆらぎによって、上記のような合成及び再符号化が実現できない場合がある。
【００１３】
本発明は、上記の問題に鑑みてなされたものであり、複数のカメラから無線ネットワーク経由で受信した複数の映像データを合成して、合成映像を再符号化して映像表示装置に送信し、映像表示装置で復号された合成映像をリアルタイムに表示する映像表示システムにおいて、無線通信における伝送ゆらぎに対応しながら、表示映像の遅延を軽減する映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の映像表示システムは、複数のカメラと、映像合成再符号化装置と、映像表示装置とを備えた映像表示システムである。前記複数のカメラは、映像を撮影する撮影部と、前記撮影部で撮影された映像を符号化して符号化映像データを生成する符号化部と、前記符号化映像データを無線送信する送信部とを備えた構成を有している。前記映像合成再符号化装置は、前記複数のカメラの各々より無線送信された複数の前記符号化映像データを受信する受信部と、前記受信部にて受信した複数の前記符号化映像データをそれぞれ復号する復号部と、前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、前記成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、前記再符号化合成映像データを送信する送信部とを備えた構成を有しており、前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、前記送信部は、前記再符号化部分映像データを送信する。前記映像表示装置は、前記再符号化合成映像データ及び前記再符号化部分映像データを受信する受信部と、前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号部と、前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号部と、前記合成映像データが未完の合成映像データである場合に、前記合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成部と、前記合成映像復号部にて復号された完全な前記合成映像データ又は前記映像補完合成部にて生成された前記補完合成映像データを表示する表示部とを備えた構成を有している。
【００１５】
この構成により、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【００１６】
上記の映像表示システムにおいて、前記映像合成部は、複数のカメラの複数の映像データがスライスで分割された合成映像データを生成してよい。
【００１７】
この構成により、複数のカメラの複数の映像データがスライスで分割された合成映像データが生成されるので、映像表示装置では、各カメラの映像データを互いに独立して復号できる。
【００１８】
上記の映像表示システムにおいて、前記映像合成部は、所定のゆらぎ許容時間内に前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記ゆらぎ許容時間内に前記複数のカメラの前記映像データがすべて揃っていない場合には、一部のカメラの前記映像データが欠落した未完の前記合成映像データを生成してよい。
【００１９】
この構成により、カメラから映像合成再符号化装置への映像データの伝送の遅延をゆらぎ許容時間だけ許容することができる。但し、上記の構成によれば、映像合成部は映像データに欠落がある場合には、一部が欠落した未完の合成映像データを生成するので、このゆらぎ許容時間を比較的短く設定することができ、それによって映像表示の遅延を少なくできる。
【００２０】
上記の映像表示システムにおいて、前記ゆらぎ許容時間は可変に設定されてよい。
【００２１】
この構成により、映像の正確性と許容できる遅延時間との調整を任意に行なうことができる。
【００２２】
上記の映像表示システムにおいて、前記映像合成部は、前記複数の映像データの各々の重要度、及び／又は人物の有無に基づいて、前記複数の映像データの各々を縮小し、及び／又は前記複数の映像データの各々の高周波成分をカットして、前記複数の映像データを合成してよい。
【００２３】
この構成により、映像合成を行なう際の縮小率や高周波成分カットの程度を各カメラの映像データごとに設定できる。
【００２４】
上記の映像表示システムにおいて、前記再符号化部は、前記複数の映像データの各々の重要度、及び／又は人物の有無に基づく符号化率で、前記合成映像データを符号化してよい。
【００２５】
この構成により、再符号化を行なう際の符号化率を各カメラの映像データごとに設定できる。
【００２６】
上記の映像表示システムにおいて、前記再符号化部は、前記映像合成再符号化装置の前記送信部が送信するネットワークの伝送状況に基づく符号化率で、前記合成映像データを符号化してよい。
【００２７】
この構成により、ネットワークの伝送状況が悪い場合には符号化率を高くしてデータを圧縮する等の柔軟な対応が可能になる。
【００２８】
上記の映像表示システムにおいて、前記映像補完合成部は、前記合成映像データにおいて一部が欠落しているが、当該欠落している部分に対応する前記部分映像データがない場合に、前記未完の合成映像データの欠落している部分に過去の映像データを合成して前記補完合成映像データを生成してよい。
【００２９】
この構成によれば、未完の合成映像データにおいて欠落している部分映像データが未達の場合に、その欠落している部分については過去の映像データで未完の合成映像データで補完するので、映像合成再符号化装置において一部が欠落したまま未完の合成映像データを生成して送信したとしても、表示される合成映像として一部が欠落した合成映像が表示されることはなくなる。
【００３０】
本発明の映像合成再符号化装置は、複数のカメラの各々より無線送信された複数の符号化された映像データを受信する受信部と、前記受信部にて受信した複数の符号化された映像データをそれぞれ復号する復号部と、前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、前記合成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、前記再符号化合成映像データを送信する送信部とを備えた構成を有し、前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、前記送信部は、前記再符号化部分映像データを送信する。
【００３１】
この構成によっても、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【００３２】
本発明の映像表示装置は、複数のカメラの映像データを合成して符号化することで生成された再符号化合成映像データ及び遅延した映像データを符号化することで生成された再符号化部分映像データを受信する受信部と、前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号部と、前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号部と、前記合成映像データが一部が欠落した未完の合成映像データである場合に、前記合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成部と、一部が欠落していない完全な前記合成映像データ又は前記補完合成映像データを表示する表示部とを備えた構成を有している。
【００３３】
この構成によっても、完全な再符号化合成映像データが送られてきたときには、それをそのまま復号して表示できるとともに、一部が欠落した未完の再符号化合成映像データが送られてきて、かつ、遅れて当該欠落した部分に対応する再符号化部分映像データが送られてきたときには、未完の合成映像データと部分映像データとを合成して補完合成映像データを表示できる。
【００３４】
本発明の映像表示方法は、複数のカメラと、映像合成再符号化装置と、映像表示装置とを備えた映像表示システムにおける映像表示方法であって、前記複数のカメラにおける、映像を撮影する撮影ステップと、前記撮影ステップにて撮影された映像を符号化して符号化映像データを生成するカメラ符号化ステップと、前記符号化映像データを無線送信する送信ステップと、前記映像合成再符号化装置における、前記複数のカメラの各々より無線送信された複数の前記符号化映像データを受信する受信ステップと、前記受信ステップにて受信した複数の前期符号化映像データをそれぞれ復号する復号ステップと、前記複数のカメラの前記映像データがすべてある場合に、前記復号ステップにて復号された複数の映像データを合成して、前記複数のカメラのすべての前記映像データが合成された完全な合成映像データを生成する第１の映像合成ステップと、前記複数のカメラの一部のカメラの前記映像データが欠落している場合に、前記復号ステップにて復号された複数の映像データを合成して、一部が欠落した未完の合成映像データを生成する第２の映像合成ステップと、前記第１及び第２の映像合成ステップにて生成された前記合成映像データを再符号化して再符号化合成映像データを生成する第１の再符号化ステップと、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成する第２の再符号化ステップと、前記再符号化合成映像データを送信する第１の送信ステップと、前記再符号化部分映像データを送信する第２の送信ステップと、前記映像表示装置における、前記再符号化合成映像データを受信する第１の受信ステップと、前記再符号化部分映像データを受信する第２の受信ステップと、前記再符号化合成映像データを復号して合成映像データを生成する合成映像復号ステップと、前記再符号化部分映像データを復号して部分映像データを生成する部分映像復号ステップと、前記未完の合成映像データと欠落した部分に対応する前記部分映像データとを合成して補完合成映像データを生成する映像補完合成ステップと、合成映像復号ステップにて復号された前記完全な合成映像データ又は前記映像補完合成ステップにて生成された前記補完合成映像データを表示する表示ステップとを含んでいる。
【００３５】
この構成によっても、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【００３６】
本発明の映像合成再符号化方法は、複数のカメラの各々より無線送信された複数の符号化映像データを受信する受信ステップと、前記受信ステップにて受信した複数の前記符号化映像データをそれぞれ復号する復号ステップと、前記複数のカメラの前記映像データがすべてある場合に、前記復号ステップにて復号された複数の映像データを合成して、前記複数のカメラのすべての前記映像データが合成された完全な合成映像データを生成する第１の映像合成ステップと、前記複数のカメラの一部のカメラの前記映像データが欠落している場合に、前記復号ステップにて復号された複数の映像データを合成して、一部が欠落した未完の合成映像データを生成する第２の映像合成ステップと、前記第１及び第２の映像合成ステップにて生成された前記合成映像データを再符号化して再符号化合成映像データを生成する第１の再符号化ステップと、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成する第２の再符号化ステップと、前記再符号化合成映像データを送信する第１の送信ステップと、前記再符号化部分映像データを送信する第２の送信ステップとを含んでいる。
【００３７】
この構成によっても、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【００３８】
本発明の映像合成再符号化プログラムは、コンピュータを、複数のカメラの各々より無線送信された複数の符号化映像データを受信する受信部と、前記受信部にて受信した前記複数の符号化映像データをそれぞれ復号する復号部と、前記復号部にて復号された複数の映像データを合成して合成映像データを生成する映像合成部と、前記合成映像データを再符号化して再符号化合成映像データを生成する再符号化部と、前記再符号化合成映像データを送信する送信部として機能させ、前記映像合成部は、前記複数のカメラの前記映像データがすべてある場合には、完全な前記合成映像データを生成し、前記複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の前記合成映像データを生成し、前記再符号化部は、前記欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成し、前記送信部は、前記再符号化部分映像データを送信する。
【００３９】
この構成によっても、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【発明の効果】
【００４０】
本発明によれば、複数のカメラの一部のカメラの前記映像データが欠落している場合には、一部が欠落した未完の再符号化合成映像データを生成して送信するとともに、欠落した映像データが遅延して入力されたときに、当該遅延した映像データを再符号化して再符号化部分映像データを生成して送信するので、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態における映像表示システムの構成を示すブロック図
【図２】本発明の実施の形態における映像表示システムの適用例を示す図
【図３】本発明の実施の形態における合成映像データ及び遅延した映像データを示す図
【図４】本発明の実施の形態におけるカメラから入力される映像ストリームと映像合成及びネットワーク送出のタイミングを示す図
【図５】本発明の実施の形態における映像合成制御及び再符号化制御を説明する図
【図６】本発明の実施の形態における映像合成再符号化装置の動作を示すフロー図
【図７】本発明の実施の形態における映像表示装置の構成を示すブロック図
【図８】本発明の実施の形態におけるカメラで撮影された映像データがカメラから映像合成再符号化装置に送信されてから映像表示装置で合成映像として表示されるまでに要する時間を説明する図
【図９】本発明の実施の形態における映像表示装置の動作を示すフロー図
【図１０】従来の監視画像記録装置の構成を示すブロック図
【図１１】（ａ）従来のＧＯＰのサイズ及び開始位置を揃えない場合の各チャンネルの符号化ストリームの構成を示す図  （ｂ）従来のＧＯＰのサイズ及び開始位置を揃えた場合の各チャンネルの符号化ストリーム構成を示す図
【発明を実施するための形態】
【００４２】
以下、本発明の実施の形態の映像表示システムについて、図面を参照しながら説明する。図１は、本発明の実施の形態の映像表示システムの構成を示すブロック図である。図１に示すように、映像表示システム１００は、基本的な構成として、カメラ１０ａ〜１０ｄと、映像合成再符号化装置２０と、映像表示装置３０とを備えている。カメラ１０ａ〜１０ｄと映像合成再符号化装置２０とは、近距離無線ネットワークＮＷ１を介して通信可能である。映像合成再符号化装置２０と映像表示装置３０とは、公衆無線ネットワークＮＷ２を介して通信可能である。図１を参照して映像表示システムの具体的な構成を説明する前に、上記のような基本的な構成を有する映像表示システム１００の適用例を説明する。
【００４３】
図２は、本実施の形態の映像表示システムの適用例を示す図である。図２の例では、この映像表示システム１００が警備のための監視映像を撮影して表示するシステムとして適用されている。警備員ＳＧ１〜ＳＧ４は、カメラ１０１と、カメラ１０１で撮影された映像を送信するための送信機１０２を装着している。また、警備員ＳＧ５は、スマートフォン１０３を所持している。カメラ１０１は、警備員ＳＧ１〜ＳＧ４が頭部等に装着可能な小型のウェアラブルカメラである。カメラ１０１及び送信機１０２は、図１に示したカメラ１０ａ〜１０ｄに相当する。また、スマートフォン１０３は図１に示した映像合成再符号化装置２０に相当する。なお、送信機１０２はカメラ１０１に内蔵されてもよいし、カメラ１０１が送信機１０２に内蔵されてもよい。またスマートフォン１０３に撮影機能および送信機能をもたせれば、警備員ＳＧ１〜ＳＧ５がすべて同一のスマートフォン１０３を所持する構成としてもよい。
【００４４】
これらの警備員ＳＧ１〜ＳＧ５は、例えばデパートなどの監視対象施設に配置される。警備員ＳＧ１〜ＳＧ４は、カメラ１０１で監視対象施設の各箇所を撮影する。各カメラ１０１の映像データは、符号化されて送信機１０２によって警備員ＳＧ５のスマートフォン１０３に送信される。各警備員ＳＧ１〜ＳＧ４の送信機１０２と警備員ＳＧ５のスマートフォン１０３との間では、近距離無線ネットワークＮＷ１によって映像の送受信が行なわれる。近距離無線ネットワークＮＷ１は、例えば、ＷｉＦｉ（登録商標）通信ネットワークである。
【００４５】
スマートフォン１０３では、各カメラ１０１の映像を合成して再符号化した再符号化合成映像データが生成される。スマートフォン１０３は、公衆無線ネットワークＮＷ２に接続可能である。公衆無線ネットワークＮＷ２は、例えば、３Ｇネットワーク、又はＬＴＥネットワークである。スマートフォン１０３は、公衆無線ネットワークＮＷ２を介して再符号化合成映像データをビューワ端末１０４に送信する。ビューワ端末１０４では、送信された再符号化合成映像データが復号されて表示される。ビューワ端末１０４は、例えば監視センタなど、監視対象施設とは地理的に離れた場所にある。
【００４６】
上記のように複数のカメラ１０１で撮影した映像をスマートフォン１０３でまとめて１つの合成映像にした上でビューワ端末１０１に送るのは、ネットワーク伝送の効率及び画質を向上させるためである。即ち、複数のカメラ１０１で撮影した映像をそのまま各カメラ１０１からビューワ端末１０４に送信すると、各映像データに制御用のヘッダ等が付加されるので、伝送効率が悪くなり、また、その分画像に割り当てられる容量が減って画質が劣ってしまう。特に、上記のように、ビューワ端末１０４がカメラ１０１から遠い（近距離無線ネットワークでは無線通信できない）場所にある場合には、可用帯域が比較的小さい公衆無線ネットワークを利用する必要があるので、カメラで撮影された映像データをそのような公衆無線ネットワークを介してビューワ端末１０４に送信する際には、複数の映像をまとめて１つの合成映像として伝送することで、ネットワーク伝送効率及び画質の向上の利益が大きくなる。そこで、本実施の形態の映像表示システム１００では、複数のカメラ１０１で撮影された映像をいったんスマートフォン１０３で集めてそれらを合成した上で符号化してビューワ端末１０４に送信する。
【００４７】
しかしながら、スマートフォン１０３にて複数のカメラ１０１からの映像を合成するためには、スマートフォン１０３にて合成すべきすべての映像をカメラ１０１から受信しなければならない。カメラ１０１からスマートフォン１０３には無線通信で映像を送信しているので、この無線ネットワークの伝送ゆらぎによって、一部のカメラ１０１からの映像が遅延してスマートフォン１０３に届くこともある。このような伝送ゆらぎを踏まえて合成映像を生成するために、スマートフォン１０３において各カメラ１０１から映像を受信してから合成映像を生成するまで、伝送ゆらぎを許容する時間を確保するという方法が考えられる。しかし、そうすると、スマートフォン１０３からビューワ端末１０４に伝送する映像に定常的に比較的大きな遅延が発生することになる。そこで、本発明の実施の形態では、伝送ゆらぎを許容する時間による定常的な映像の遅延を軽減し、ないしはなくすことができる映像表示システムを提供する。
【００４８】
図１に戻って、上記の目的を達成するための映像表示システム１００の構成を説明する。  カメラ１０ａ〜１０ｄの構成については、カメラ１０ａのみについて図示し、カメラ１０ｂ〜１０ｄの構成については、カメラ１０ａと同様であるので、図示及び説明は省略する。カメラ１０ａは、映像を撮影する撮影部１０１ａと、撮影部１０１ａで撮影された映像を符号化して符号化映像データを生成する符号化部１０２ａと、符号化映像データを無線送信する送信部１０３ａとを備えている。送信部１０３ａは、ＷｉＦｉネットワークである近距離無線ネットワークＮＷ１を介して符号化映像データを送信する。この符号化映像データには制御情報が付加されている。制御情報には、その映像の重要度、及び人物が映っているか否かを示す情報が含まれる。
【００４９】
映像合成再符号化装置２０は、受信部２０１と、映像復号部２０２ａ〜２０２ｄと、デコード結果バッファ２０３ａ〜２０３ｄと、映像合成部２０４と、合成結果バッファ２０５と、再符号化部２０６と、送信部２０７と、映像制御部２０８と、映像合成制御部２０９と、再符号化制御部２１０と、ゆらぎ許容時間調整部２１１とを備えている。映像合成再符号化装置２０は、コンピュータが映像合成再符号化プログラムを実行することによって実現される。
【００５０】
受信部２０１は、カメラ１０ａ〜１０ｄの各々より無線送信された複数の符号化映像データ及びそれらに付加された制御情報を受信する。受信部２０１にて受信された符号化映像データは、対応する映像復号部２０２ａ〜２０２ｄに出力される。即ち、カメラ１０ａの符号化映像データは映像復号部２０２ａに出力され、カメラ１０ｂの符号化映像データは映像復号部２０２ｂに出力され、カメラ１０ｃの符号化映像データは映像復号部２０２ｃに出力され、カメラ１０ｄの符号化映像データは映像復号部２０２ｄに出力される。
【００５１】
映像復号部２０２ａ〜２０２ｄは、受信部２０１にて受信したカメラ１０ａ〜１０ｄからの符号化映像データをそれぞれ復号する。デコード結果バッファ２０３ａ〜２０３ｄは、映像復号部２０２ａ〜２０２ｄで復号された映像データをそれぞれ一時的に保存する。一方、受信部２０１にて受信された符号化映像データに付加された制御情報は、いずれも映像制御部２０８に出力される。
【００５２】
デコード結果バッファ２０３ａ〜２０３ｄに保存された映像データは、所定のゆらぎ許容時間内に得られたものであれば、映像合成部２０４に出力され、ゆらぎ許容時間を越えて遅延して得られたものであれば、再符号化部２０６に直接出力される。このゆらぎ許容時間は可変であり、ゆらぎ許容時間調整部２１１によって調整される。即ち、ゆらぎ許容時間は、ゆらぎ許容時間調整部２１１によって映像合成部２０４に設定され、映像合成部２０４は設定されたゆらぎ許容時間が経過したタイミングでデコード結果バッファか２０３ａ〜２０３ｄから、その時点で保存されている映像データを入力する。ゆらぎ許容時間として、例えば伝送揺らぎに起因する遅延時間の平均値を用いることができる。
【００５３】
映像合成部２０４は、映像復号部２０２ａ〜２０２ｄにて復号されてデコード結果バッファ２０３ａ〜２０３ｄから入力された複数の映像データを並べて１つの映像とした合成映像データを生成する。本実施の形態では、映像合成部２０４は、カメラ１０ａ〜１０ｄの４つの映像を上下左右に並べて１つの合成映像を生成する。このとき、映像合成部２０４は、複数の映像データがスライスで分割された合成映像データを生成する。映像合成部２０４は、映像合成制御部２０９による制御に従って映像を合成する。映像合成制御部２０９による制御については、後述する。
【００５４】
デコード結果バッファ２０３ａ〜２０３ｄにゆらぎ許容時間内にすべてのカメラ１０ａ〜１０ｄの映像データが得られた場合には、それらがすべて映像合成部２０４に出力されるので、映像合成部２０４は、それらを合成して、すべての映像データがそろった完全な合成映像データを生成する。デコード結果バッファ２０３ａ〜２０３ｄのいずれかにおいて、ゆらぎ許容時間内にカメラ１０ａ〜１０ｄの映像データの一部が得られていない場合には、得られている映像データのみが映像合成部２０４に出力されるので、映像合成部２０４は、入力された映像データのみを用いて一部のスライスが欠落した未完の合成映像データを生成する。映像合成部２０４は、生成した合成映像データに映像符号化情報を付加して出力する。映像符号化情報は、合成映像データが完全であるか未完であるか、及び未完である場合はどのスライス（どのカメラの映像データ）が欠落しているのかを示す情報である。
【００５５】
合成結果バッファ２０５は、映像合成部２０４で生成された合成映像データを一時的に保存して再符号化部２０６に出力する。再符号化部２０６は、Ｈ．２６４規格に従って映像データの符号化を行なう。再符号化部２０６は、合成映像データを再符号化して再符号化合成映像データを生成する。再符号化部２０６は、再符号化制御部２１０による制御に従って再符号化を行なう。再符号化制御部２１０による制御については後述する。再符号化部２０６は、また、デコード結果バッファ２０３ａ〜２０３ｄのいずれかから、デコード結果バッファ２０３ａ〜２０３ｄにてゆらぎ許容時間内に得られずに、映像合成部２０４で生成された未完の合成映像データにて欠落している映像データが遅延して入力されたときに、その遅延した映像データを再符号化して再符号化単スライス映像データを生成する。この再符号化単スライス映像データは、本発明の再符号化部分映像データに該当する。なお、映像合成部２０４にて合成されるべき複数の映像データのうち、複数の映像データが遅延している場合には、それら複数の映像データがそれぞれ単独で再符号化されることで、複数の再符号化単スライス映像データが生成される。
【００５６】
再符号化部２０６は、再符号化単スライス映像データを生成した場合には、それに映像符号化情報を付加して送信部２０７に出力する。この映像符号化情報は、当該再符号化単スライス映像データが対応する未完の合成映像データのどのスライスを補完する映像データであるのかを示す情報である。
【００５７】
送信部２０７は、公衆無線ネットワークＮＷ２を介して、再符号化部２０６で生成された再符号化合成映像データ及び再符号化単スライス映像データを、映像符号化情報と共に映像表示装置２０に送信する。公衆無線ネットワークとしては、例えば、３Ｇ、ＬＴＥ通信ネットワークであるが、近距離無線ネットワークＮＷ１とは異なる近距離無線ネットワークであってもよい。
【００５８】
図３は、合成映像データ及び遅延した映像データを示す図である。映像合成部２０４は、上述のように、カメラ１０ａ〜１０ｄの映像データを上下左右に並べた合成映像データを生成する。カメラ１０ａの映像データは左上に、カメラ１０ｂの映像データは右上に、カメラ１０ｃの映像データは左下に、カメラ１０ｄの映像データは右下に、それぞれ配置される。時刻ｔ0では、カメラ１０ａ〜１０ｄの映像データであるＳｌｉｃｅ０−１〜０−４がすべてそろっているので、それらを上下左右に並べた完全な合成映像データＩＭ０を生成する。この合成映像データＩＭ０は、再符号化部２０６で符号化されて送信部２０７から送信される。
【００５９】
時刻ｔ1では、ゆらぎ許容時間内にカメラ１０ｄの映像データＳｌｉｃｅ１−４が得られなかったので、映像合成部２０４は、右下の領域を空白とした未完の合成映像データＩＭ１を生成する。この合成映像データＩＭ１は、再符号化部２０６で符号化されて送信部２０７から送信される。時刻ｔ1＋αに、カメラ１０ｄの映像データＳｌｉｃｅ１−４が遅延して得られたときには、この映像データが単独で再符号化部２０６で符号化されて送信部２０７から送信される。
【００６０】
図４は、カメラ１０ａ〜１０ｄから入力される映像ストリーム（符号化された映像データのストリーム）と映像合成及びネットワーク送出（送信）のタイミングを示す図である。カメラ１０ａは、映像ストリームｓａとして映像データ１−１、１−２、１−３を順に送信し、映像合成再符号化装置２０のデコード結果バッファ２０３ａにはこの順で映像データが得られる。カメラ１０ｂ、１０ｃ、１０ｄも同様にしてそれぞれ映像ストリームｓｂ、映像ストリームｓｃ、映像ストリームｓｄとして、映像データ２−１、２−２、２−３、映像データ３−１、３−２、３−３、映像データ４−１、４−２、４−３をそれぞれ順に送信し、映像合成再符号化装置２０のデコード結果バッファ２０３ｂ、２０３ｃ、２０３ｄにはそれぞれこの順で映像データが得られる。但し、映像データ４−３は遅延してデコード結果バッファ２０３ｄにて得られる。
【００６１】
上記で説明したように、仮に、遅延した映像データ４−３も必ず含めて合成映像データを生成しようとすると、映像合成タイミング（比較例）で示したように、十分なゆらぎ許容時間を確保して各カメラからの映像データを合成して合成映像データｘ−１、ｘ−２、ｘ−３を生成することになる。これに対して、本実施の形態の場合には、ゆらぎ許容時間はなくてもよく、ゆらぎ許容時間を設定するとしても、比較例と比較して短く設定することができる。よって、図４から明らかなように、映像合成タイミングは、比較例よりも早く、ＮＷ送出タイミングも比較例と比較して早くなるので、映像の遅延を軽減できる。
【００６２】
本実施の形態の場合には、ゆらぎ許容時間を短くしているので、映像データ４−３が遅延して得られる前に映像合成が行なわれ、よって、合成映像データｘ−３（０）には、映像データ４−３が欠落している。この短いゆらぎ許容時間内に得られなかった映像データ４−３は、それが得られたタイミングでそのまま符号化されて再符号化単スライス映像データｘ−３（１）として、公衆無線ネットワークＮＷ２に送出される。
【００６３】
次に、図１及び図５を参照して映像合成及び再符号化の制御について説明する。図５は、本発明の実施の形態の映像合成制御及び再符号化制御を説明する図である。図５の例では、カメラ１０ａ〜１０でから得られた映像データを映像データｉｍ１〜ｉｍ４とし、それに付加される制御情報を制御情報ｃｄ１〜ｃｄ４としている。カメラ１０ａ〜１０ｄから映像データに付加されて送信されてきた制御情報ｃｄ１〜ｃｄ４（各カメラの映像データの重要度及び人物の有無）は、映像制御部２０８に入力される。また、送信部２０７は、公衆無線ネットワークＮＷ２の伝送状態の情報を取得して映像制御部２０８に出力する。映像制御部２０８は、重要度及び人物の有無の情報を映像合成制御部２０９に出力し、重要度及び人物の有無の情報及び伝送状態の情報を再符号化制御部２１０に出力する。なお、重要度についてはカメラ自身からの制御情報に基づく場合で説明するが、映像表示装置３０のユーザがカメラ１０ａ〜１０ｄの重要度を設定することとしてもよい。
【００６４】
映像データｉｍ１〜ｉｍ４は、映像合成部２０４によってスライスで分割されて合成映像ＩＭ１とされるが、このとき、各映像データｉｍ１〜ｉｍ４は、映像合成制御部２０９に入力された当該映像データの重要度及び人物の有無に応じた縮小率で縮小され、該映像データの重要度及び人物の有無に応じて高周波成分がカットされて、映像データｉｍ１’〜ｉｍ４’とされて、他の映像データｉｍ１’〜ｉｍ４’と合成される。重要でなく、人物が映っていない映像データｉｍ１〜ｉｍ４については、小さく縮小されて、高周波成分がより多くカットされる。
【００６５】
映像データｉｍ１’〜ｉｍ４’からなる合成映像データＩＭ１は、再符号化部２０６で符号化されて再符号化合成映像データＩＭ２となるが、このとき、再符号化合成映像データＩＭ２において、映像データｉｍ１’〜ｉｍ４’はそれぞれ重要度及び人物の有無に応じた符号化率で符号化されて、映像データｉｍ１’ ’〜ｉｍ４’ ’とされる。具体的には、まず、伝送状態に基づいて、伝送状態の情報がよい場合には合成映像データの発生符号化量が多くなり、伝送状態が悪い場合には合成映像データの発生符号化量が少なくなるように、映像データｉｍ１’ ’〜ｉｍ４’ ’の合計の発生符号量が求められる。その後、各映像データの重要度等に基づいて、各映像データに割り当てられる符号量が決定され、決定された符合量となるように、映像データｉｍ１’〜ｉｍ４’が符号化される。
【００６６】
次に、上記の映像合成再符号化装置２０の動作を説明する。図６は、映像合成再符号化装置２０の動作を示すフロー図である。映像合成再符号化装置２０の受信部２０１は、まず、複数のカメラ１０ａ〜１０ｄの各々より無線送信された複数の符号化映像データを受信する（ステップＳ６１）。そして、映像復号部２０２ａ〜２０２ｄは、受信部２０１にて受信した複数の符号化映像データをそれぞれ復号する（ステップＳ６２）。
【００６７】
次に、映像合成部２０４は、複数のカメラ１０ａ〜１０ｄの復号された映像データがすべて揃っているか否かを判断する（ステップＳ６３）。揃っている場合には（ステップＳ６３にてＹＥＳ）、映像復号部２０２ａ〜２０２ｄにて復号された複数の映像データを合成して、複数のカメラの複数の映像データがスライスで分割された完全な合成映像データを生成する（ステップＳ６４）。
【００６８】
一方、複数のカメラの一部のカメラの映像データが欠落している場合には（ステップＳ６３にてＹＥＳ）、ゆらぎ許容時間が経過したか否かを判断する（ステップＳ６５）。ゆらぎ許容時間が経過するまでは（ステップＳ６５にてＮＯ）、映像データがすべて揃っているか否かの判断（ステップＳ６３）を繰り返し、映像データがすべて揃わない状態で（ステップＳ６３でＹＥＳとならずに）ゆらぎ許容時間が経過したときは（ステップＳ６５でＹＥＳ）、映像合成部２０４は、得られている映像データのみを合成して、一部のスライスが欠落した未完の合成映像データを生成する（ステップＳ６６）。
【００６９】
再符号化部２０６は、ステップＳ６４又はステップＳ６６で生成された合成映像データを再符号化して再符号化合成映像データを生成し、送信部２０７はこの再符号化合成映像データを送信する（ステップＳ６７）。
【００７０】
再符号化部２０６は、欠落した映像データが遅延して入力されたときに、その遅延した映像データを再符号化して再符号化単スライス映像データを生成し、送信部２０７は、再符号化単スライス映像データを送信する（ステップＳ６８）。なお、ステップＳ６８は再符号化単スライス映像データがない場合は、不要である。また、上述のとおり、複数の映像データが遅延している場合には、それらの複数の遅延データについてそれぞれ再符号化単スライス映像データが生成されて、それぞれ送信される。
【００７１】
次に、映像合成再符号化装置２０から送信された再符号化合成映像データや再符号化単スライス映像データを受信して表示する映像表示装置３０について説明する。図７は、映像表示装置３０の構成を示すブロック図である。映像表示装置３０は、受信部３０１と、合成映像復号部３０２と、映像保持部３０３と、映像補完合成部３０４と、単スライス映像復号部３０５と、映像符号化情報保持部３０６と、映像合成制御部３０７と、映像表示部３０８とを備えている。
【００７２】
受信部３０１は、公衆無線ネットワークＮＷ２を介して映像合成再符号化装置２０から送信された再符号化合成映像データ及び再符号化単スライス映像データを受信する。受信部３０１は、再符号化合成映像データを合成映像復号部３０２に出力し、再符号化単スライス映像データを単スライス映像復号部３０５に出力し、再符号化合成映像データ及び再符号化単スライス映像データに付加されている映像符号化情報を映像符号化情報保持部３０６に出力する。
【００７３】
合成映像復号部３０３は、再符号化合成映像データを復号して合成映像データを生成する。合成映像復号部３０３は、完全な合成映像データを生成した場合には、それを映像保持部３０３に出力するとともに、直接映像表示部３０８に出力し、未完の合成映像データを生成した場合には、それを映像保持部３０３のみに出力する。
【００７４】
単スライス映像復号部３０５は、再符号化単スライス映像データを復号して単スライス映像データを生成し、それを映像補完合成部３０４に出力する。映像符号化情報保持部３０６は、映像符号化情報を映像合成制御部３０７に出力する。映像補完合成部３０４は、映像合成制御部３０７の制御に従って映像を補完合成する。具体的には、映像合成制御部３０７は、映像符号化情報に従って、受信部３０１にて受信した再符号化合成映像データが未完の合成映像データを再符号化したものである場合、即ち、合成映像復号部３０２にて復号された合成映像データが一部のスライスが欠落した未完の合成映像データである場合には、映像補完合成部３０４に、合成映像復号部３０２から入力された未完の合成映像データと、単スライス映像復号部３０５から入力した、欠落したスライスに対応する単スライス映像データとを合成して補完合成映像データを生成する。
【００７５】
映像合成部３０４は、合成映像復号部３０２より未完の合成映像データを取得して映像合成制御部３０７より補完合成映像データを生成するよう制御された場合において、単スライス映像復号部３０５から未完の合成映像データにおいて欠落している単スライス映像データを取得していない場合には、その部分の映像データとして、映像保持部３０３から過去の映像データを取得して、それを未完の合成映像データに合成して、補完合成映像データを生成する。映像合成部３０４は、所定の遅延許容時間の間、単スライス映像復号部３０５から欠落したスライスの単スライス映像データが入力されるのを待ち、遅延許容時間が経過したときに、その部分については映像保持部３０３に保存されている過去の映像データを未完の合成映像データと合成する。複数の映像データが欠落している場合には、そのうちの単スライス映像が得られているスライスについてのみ、当該単スライス映像で補完合成が行なわれ、単スライス映像が得られていないスライスについては、過去の映像データで補完合成が行なわれる。
【００７６】
映像表示部３０８は、合成映像復号部３０２からスライスが欠落していない完全な合成映像データが入力された場合には、それを表示し、映像合成部３０４から補完合成映像データが入力された場合には、それを表示する。
【００７７】
図８は、カメラ１０ａ〜１０ｄで撮影された映像データがカメラ１０ａ〜１０ｄから映像合成再符号化装置２０に送信されてから映像表示装置３０で合成映像として表示されるまでに要する時間を説明する図である。図４で説明したのと同様に、比較例では、映像合成再符号化装置での受信が遅延した映像データを待って合成映像を生成するので、映像合成再符号化装置では、想定される伝送ゆらぎの最大値に相当するゆらぎ許容時間を確保して映像データの合成を行なわなければならない。
【００７８】
映像合成再符号化装置において、まったくゆらぎ許容時間をとらずに、入力された映像データを合成して直ちに送信した場合には、時刻ｔ0にカメラから送信された符号化映像データは、最小伝送時間Ｔ１後の時刻ｔ1に合成映像として表示される。これに対して、比較例のように、最大のゆらぎ許容時間Ｔ３を確保するとなると、時刻ｔ1からゆらぎ許容時間Ｔ３だけ遅延した時刻ｔ3に表示されることになる。その結果、カメラが符号化映像データを送信した時刻ｔ0から合成映像が表示される時刻ｔ3までに最大伝送時間Ｔ２（＝最小伝送時間Ｔ１＋ゆらぎ許容時間Ｔ３）を要することになる。
【００７９】
一方、本実施の形態の映像表示システム１００では、ゆらぎ許容時間Ｔ４としては、想定される伝送ゆらぎによる遅延時間の最大値として設定する必要はなく、それより短い時間に設定できる。ゆらぎ許容時間Ｔ４をゼロとすることも可能である。また、上述のように、映像表示装置３０においても、遅延許容時間Ｔ５だけ単スライス映像データを待った上で補完合成映像データを生成する。なお、この遅延許容時間Ｔ５の長さも任意であってよく、ゼロに設定してもよい。よって、本実施の形態では、トータルの遅延時間は、ゆらぎ許容時間Ｔ４＋遅延許容時間Ｔ５となり、しかも、ゆらぎ許容時間Ｔ４及び遅延許容時間Ｔ５の長さは任意に設定できるので、合成映像データを表示する時刻ｔ2は、任意に設定でき、比較例の表示時刻ｔ3よりも早くすることができる。ゆらぎ許容時間Ｔ４及び遅延許容時間Ｔ５をいずれもゼロとした場合には、最も早く時刻ｔ1に合成映像を表示できる。
【００８０】
なお、映像表示装置３０において未完の合成映像データが復号されてから単スライス映像データが復号される（補完が可能になる）までの間の時間は、以下の二つの要因によって、映像合成再符号化装置２０にて一部のスライスが欠落した未完の合成映像データが生成されてから当該欠落したスライスの映像データが得られるまでの間の遅延時間よりも短縮されることがある。
【００８１】
その一つの要因は、映像合成再符号化装置２０の再符号化部２０６において、未完の合成映像データを再符号化するのに要する時間よりも、単スライス映像データを再符号化するのに要する時間のほうが一般的には短く、また、映像表示装置３０においても、未完の再符号化合成映像データを復号するのに要する時間よりも、再符号化単スライス映像データを復号するのに要する時間の方が一般的には短いからである。もう一つの要因は、公衆無線ネットワークＮＷ２にも伝送ゆらぎがあるので、再符号化単スライス映像データが映像合成再符号化装置２０から送信されて映像表示装置３０にて受信されるまでに要する時間が、未完の再符号化合成映像データが映像合成再符号化装置２０から送信されて映像表示装置３０にて受信されるまでに要する時間よりも短くなることがあるからである。
【００８２】
よって、ゆらぎ許容時間Ｔ４を短く設定して、映像合成再符号化装置２０における映像合成の際には遅延している映像データを長く待つことなく受信できている映像データで未完の合成映像データを生成して先に映像表示装置３０に送信した場合には、仮に遅延許容時間Ｔ５を十分に取らないとしても、遅延した単スライス映像データによって補完された補完合成映像データを生成することはあり、本実施の形態は有用である。なお、本実施の形態では、この遅延許容時間Ｔ５の経過後にも単スライス映像データが得られない場合には、上述のように欠落したスライスの過去の映像データを合成するので、比較例のように、ゆらぎ許容時間を越えて映像データが遅延した場合には当該部分の映像を表示できない場合と比較して、有利である。
【００８３】
次に、上記の映像表示装置３０の動作を説明する。図９は、映像表示装置３０の動作を示すフロー図である。映像表示装置３０は、まず、受信部３０１は、映像合成再符号化装置２０から、再符号化合成映像データが送信されてきたときはそれを受信し、再符号化単スライス映像データが送信されてきたときはそれを受信する（ステップＳ９１）。合成映像復号部３０２は、再符号化合成映像データを復号して合成映像データを生成する（ステップＳ９２）。合成映像復号部３０２は、映像符号化情報保持部３０６からの映像符号化情報に基づいて、復号された合成映像データがスライスの欠落のない完全な合成映像データであるか否（一部のスライスの欠落がある未完の合成映像データである）かを判断する（ステップＳ９３）。合成映像データが完全な合成映像データであるときは（ステップＳ９３にてＹＥＳ）、それを映像表示部３０８に出力する（ステップＳ９４）。映像表示部３０８は、入力された合成映像データを表示する（ステップＳ９５）。
【００８４】
一方、復号された合成映像データが、一部のスライスの欠落がある未完の合成映像データである場合には（ステップＳ９３にてＮＯ）、受信部３０１にて再符号化単スライス映像データを受信しているか否かを判断する（ステップＳ９６）。再符号化単スライス映像データを受信しているときは（ステップＳ９６にてＹＥＳ）、それを復号して単スライス映像データを生成し（ステップＳ９７）、単スライス映像データを未完の合成映像データに補完して補完合成映像データを生成する（ステップＳ９８）。
【００８５】
再符号化単スライス映像データを受信していない場合には（ステップＳ９６にてＮＯ）、遅延許容時間が経過したか否かを判断する（ステップＳ９９）。遅延許容時間が経過するまでは（ステップＳ９９にてＮＯ）、再符号化単スライス映像データを受信したか否かの判断（ステップＳ９６）を繰り返し、再符号化単スライス映像データを受信しない状態で（ステップＳ９６にてＹＥＳとならずに）遅延許容時間が経過したときは（ステップＳ９９でＹＥＳ）、映像補完合成部３０４は、未完の合成映像データの欠落しているスライスについて、映像保存部３０３に保存されている過去の映像データを読み出して、未完の合成映像データと合成して補完合成映像データを生成して、それを映像表示部３０８に出力する（ステップＳ１００）。映像表示部３０８は、入力された合成映像データを表示する（ステップＳ９５）。
【００８６】
以上、本発明の実施の形態を説明したが、本発明は、上記の実施の形態に限られない。例えば、上記の実施の形態では、４つのカメラの映像データを上下左右に並べて合成することで合成映像データを生成したが、合成する映像データは、４つより少なくても多くてもよい。また、複数のスライスのサイズが互いに異なっていてもよい。
【００８７】
また、上記の実施の形態の映像合成再符号化装置２０では、各カメラ１０ａ〜１０ｄについて、映像データが遅延しているか否かをストリーム単位で判断するので、映像合成再符号化装置２０に、カメラ制御部を設けて、頻繁に映像データが遅延するカメラ１０ａ〜１０ｄを特定して、そのようなカメラに映像データの符号化率を下げる制御信号を送信してよく、カメラ１０ａ〜１０ｄにてそのような制御信号を受けたときに、符号化部１０２ａ〜１０２ｄにおいて符号化率を調整してもよい。また、この場合に、そのようなカメラの映像データの遅延が少なくなった場合には、符号化率を元に戻す制御を行なってもよい。
【００８８】
また、上記の実施の形態の映像合成再符号化装置２０の映像合成部２０４は、複数のカメラの映像データを用いて、それらがスライスで分割された合成映像データを生成したが、映像合成部２０４は、他の方式で、複数のカメラの映像が並んだ合成映像データを生成してよい。また、映像合成部２０４は、複数のカメラの映像が一部重なるように合成された合成映像データを生成してもよい。
【産業上の利用可能性】
【００８９】
本発明は、大きなゆらぎ許容時間をとらずに（ないしはゆらぎ許容時間をほとんどとらずに）、合成映像データを映像表示装置に送信できるという効果を有し、複数のカメラで撮影した複数の映像を合成して映像表示装置で合成映像を表示する映像表示システム等として有用である。
【符号の説明】
【００９０】
１００  映像表示システム
１０ａ〜１０ｄ  カメラ
１０１ａ  撮影部
１０２ａ  符号化部
１０３ａ  送信部
２０  映像合成再符号化装置
２０１  受信部
２０２ａ〜２０２ｄ  映像復号部
２０３ａ〜２０３ｄ  デコード結果バッファ
２０４  映像合成部
２０５  合成結果バッファ
２０６  再符号化部
２０７  送信部
２０８  映像制御部
２０９  映像合成制御部
２１０  再符号化制御部
２１１  ゆらぎ許容時間調整部
３０  映像表示装置
３０１  受信部
３０２  合成映像復号部
３０３  映像保持部
３０４  映像補完合成部
３０５  単スライス映像復号部
３０６  映像符号化情報保持部
３０７  映像合成制御部
３０８  映像表示部
ＮＷ１  近距離無線ネットワーク
ＮＷ２  公衆無線ネットワーク
【図１】
0005942258.tif 000002
【図２】
0005942258.tif 000003
【図３】
0005942258.tif 000004
【図４】
0005942258.tif 000005
【図５】
0005942258.tif 000006
【図６】
0005942258.tif 000007
【図７】
0005942258.tif 000008
【図８】
0005942258.tif 000009
【図９】
0005942258.tif 000010
【図１０】
0005942258.tif 000011
【図１１】
0005942258.tif 000012