(57)【要約】  【課題】  映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することのできる画像監視システムを提供する。  【解決手段】  画像監視システム１は、符号化した映像信号を送信する複数の映像送信装置２と、複数の映像送信装置２から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置４に送信する変換装置３を備える。変換装置３は、複数の映像送信装置２から受信した映像信号を復号化する際に、映像送信装置２から受信した映像信号の符号化パラメータを算出し、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する。【選択図】  図１
2014127847.tif 000002
【特許請求の範囲】
【請求項１】
符号化した映像信号を送信する複数の映像送信装置と、
前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置と、
を備えた画像監視システムであって、
前記変換装置は、
前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、
前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、
を有することを特徴とする画像監視システム。
【請求項２】
前記符号化パラメータは、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つであることを特徴とする請求項１に記載の画像監視システム。
【請求項３】
前記符号化パラメータは、複雑度であり、
前記符号化パラメータ算出部は、イントラフレームの量子化値とビットレートに基づいて前記複雑度を算出することを特徴とする請求項１または２に記載の画像監視システム。
【請求項４】
前記符号化パラメータは、動き情報であり、
前記符号化パラメータ算出部は、インターフレームの量子化値とビットレートに基づいて前記動き情報を算出することを特徴とする請求項１または２に記載の画像監視システム。
【請求項５】
前記映像送信装置は、据付型の映像送信装置であり、
前記符号化パラメータは、動き情報と複雑度であり、
前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて前記画像に含まれる動き領域を決定し、前記動き領域の大きさおよび前記複雑度に基づいて前記動き領域の大きさを拡大または縮小する比率を決定することを特徴とする請求項１ないし４のいずれか一項に記載の画像監視システム。
【請求項６】
前記変換装置は、前記動き領域の画像を合成する合成部を備え、
前記合成部は、前記比率で拡大または縮小した前記動き領域の画像の周辺に、前記動き領域の周辺の動きなし領域の画像を前記比率で拡大または縮小して付加することを特徴とする請求項５に記載の画像監視システム。
【請求項７】
前記映像送信装置は、移動体への取付型の映像送信装置であり、
前記符号化パラメータは、動き情報と複雑度であり、
前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて対象物の移動方向を決定し、前記移動方向に基づいて前記画像に含まれる注目領域を決定し、前記注目領域の大きさおよび前記複雑度に基づいて前記注目領域の大きさを拡大または縮小する比率を決定することを特徴とする請求項１ないし４のいずれか一項に記載の画像監視システム。
【請求項８】
前記変換装置は、前記注目領域の画像を合成する合成部を備え、
前記合成部は、前記比率で拡大または縮小した前記注目領域の画像の周辺に、前記注目領域の周辺の非注目領域の画像を前記比率で拡大または縮小して付加することを特徴とする請求項７に記載の画像監視システム。
【請求項９】
複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置であって、
前記変換装置は、
前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、
前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、
を有することを特徴とする変換装置。
【請求項１０】
複数の映像送信装置が、符号化した映像信号を変換装置に送信し、前記変換装置が、前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する方法であって、
前記変換装置は、
前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出し、
前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定することを特徴とする方法。
【請求項１１】
複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置で実行されるプログラムであって、
前記プログラムは、コンピュータに、
前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する処理と、
前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する処理と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数ストリームをトランスコードする機能を備えた画像監視システムに関し、特に、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する画像監視システムに関するものである。
【背景技術】
【０００２】
従来、映像ごとに映像品質を制御することにより、目的に応じた複数の映像を同一画面上で適切に表示する映像監視システムが提案されている（例えば、特許文献１参照）。この従来の映像監視システムでは、複数の映像を任意の大きさやフレームレートで合成することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５１４３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の映像監視システムにおいては、複数の映像を任意の大きさやフレームレートで合成するために、映像の受信側（表示制御手段や表示手段）の性能の制限内になるように、映像の送信側（映像配信装置）に対してフレームレートや圧縮率や解像度などを指示する必要があるという問題があった。
【０００５】
本発明は、上記従来の問題を解決するためになされたもので、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することのできる画像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像監視システムは、符号化した映像信号を送信する複数の映像送信装置と、前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置と、を備えた画像監視システムであって、前記変換装置は、前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、を備えた構成を有している。
【０００７】
この構成により、画像監視システムにおいて、変換装置が、複数の映像送信装置から映像信号を受信し、受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する。この場合、変換装置は、映像送信装置から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。
【０００８】
また、本発明の画像監視システムでは、前記符号化パラメータは、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つである。
【０００９】
この構成により、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つに基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することができる。
【００１０】
また、本発明の画像監視システムでは、前記符号化パラメータは、複雑度であり、前記符号化パラメータ算出部は、イントラフレームの量子化値とビットレートに基づいて前記複雑度を算出する構成を有している。
【００１１】
この構成により、イントラフレームの量子化値とビットレートに基づいて、復号化により得られる複数の画像の複雑度を算出することができ、その複雑度に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。
【００１２】
また、本発明の画像監視システムでは、前記符号化パラメータは、動き情報であり、前記符号化パラメータ算出部は、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて前記動き情報を算出する構成を有している。
【００１３】
この構成により、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて、復号化により得られる複数の画像の動き情報を算出することができ、そして、その動き情報に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。
【００１４】
また、本発明の画像監視システムでは、前記映像送信装置は、据付型の映像送信装置であり、前記符号化パラメータは、動き情報と複雑度であり、前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて前記画像に含まれる動き領域を決定し、前記動き領域の大きさおよび前記複雑度に基づいて前記動き領域の大きさを拡大または縮小する比率を決定する構成を有している。
【００１５】
この構成により、映像送信装置が据付型である場合には、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。
【００１６】
また、本発明の画像監視システムでは、前記変換装置は、前記動き領域の画像を合成する合成部を備え、前記合成部は、前記比率で拡大または縮小した前記動き領域の画像の周辺に、前記動き領域の周辺の動きなし領域の画像を前記比率で拡大または縮小して付加する構成を有している。
【００１７】
この構成により、適切な比率で拡大または縮小した動き領域の画像の周辺に、同じ比率で拡大または縮小した動きなし領域の画像が付加された合成画像を生成することができる。動き領域の画像の周辺に動きなし領域の画像が付加されることにより、動き領域の周辺の状況も把握することが可能になる。
【００１８】
また、本発明の画像監視システムでは、前記映像送信装置は、移動体への取付型の映像送信装置であり、前記符号化パラメータは、動き情報と複雑度であり、前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて対象物の移動方向を決定し、前記移動方向に基づいて前記画像に含まれる注目領域を決定し、前記注目領域の大きさおよび前記複雑度に基づいて前記注目領域の大きさを拡大または縮小する比率を決定する構成を有している。
【００１９】
この構成により、映像送信装置が移動体への取付型である場合には、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて対象物の移動方向を決定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した注目領域の画像を用いた合成画像を生成することが可能になる。
【００２０】
また、本発明の画像監視システムでは、前記変換装置は、前記注目領域の画像を合成する合成部を備え、前記合成部は、前記比率で拡大または縮小した前記注目領域の画像の周辺に、前記注目領域の周辺の非注目領域の画像を前記比率で拡大または縮小して付加する構成を有している。
【００２１】
この構成により、適切な比率で拡大または縮小した注目領域の画像の周辺に、同じ比率で拡大または縮小した非注目領域の画像が付加された合成画像を生成することができる。注目領域の画像の周辺に非注目領域の画像が付加されることにより、注目領域の周辺の状況も把握することが可能になる。
【００２２】
本発明の変換装置は、複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置であって、前記変換装置は、前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、を備えた構成を有している。
【００２３】
本発明の方法は、複数の映像送信装置が、符号化した映像信号を変換装置に送信し、前記変換装置が、前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する方法であって、前記変換装置は、前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出し、前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する。
【００２４】
本発明のプログラムは、複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置で実行されるプログラムであって、前記プログラムは、コンピュータに、前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する処理と、前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する処理と、を実行させる。
【００２５】
これらの変換装置、方法、プログラムによっても、上記のシステムと同様に、変換装置は、映像送信装置から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。
【発明の効果】
【００２６】
本発明は、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができるという効果を有する画像監視システムを提供することができるものである。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態における画像監視システムの構成を示す説明図
【図２】本発明の第１の実施の形態における変換装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における変換装置の動作を説明するための図
【図４】本発明の第２の実施の形態における変換装置の動作を説明するための図
【図５】本発明の実施の形態における合成画像の表示例を示す図
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態の画像監視システムについて、図面を用いて説明する。本実施の形態では、複数ストリームをトランスコードする機能を備えた画像監視システムの場合を例示する。
【００２９】
（第１の実施の形態）
本発明の第１の実施の形態の画像監視システムの構成を、図面を参照して説明する。図１は、本実施の形態の画像監視システムの構成を示す説明図である。図１に示すように、画像監視システム１は、カメラ機能を有する複数の映像送信装置２と、変換装置３と、映像受信装置４で構成されている。映像送信装置２と変換装置３はネットワーク５を介して接続されており、変換装置３と映像受信装置４もネットワーク６を介して接続されている。なお、ネットワーク５および６はそれぞれ有線であってもよいし、無線であってもよい。例えばネットワーク５を近距離無線ネットワークのＷｉＦｉ（登録商標）通信ネットワークとし、ネットワーク６を公衆無線回線である３Ｇ、ＬＴＥなどのネットワークとしてよいし、いずれか片方を有線（イーサネット（登録商標）、光通信、ＰＬＣ等）としてもよい。もちろん共に有線とすることも可能である。
【００３０】
映像送信装置２は、映像信号を符号化して変換装置３へ送信する機能を備えている。本実施の形態では、映像送信装置２は、据付型の映像送信装置２（固定カメラ）である。変換装置３は、複数の映像送信装置２から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置４に送信する機能を備えている。映像受信装置４は、変換装置３から受信した合成画像を表示する機能を備えている。
【００３１】
ここで、変換装置３の構成について、図２のブロック図を参照しながら詳細に説明する。図２に示すように、変換装置３は、映像送信装置２からの映像信号を受信する受信部１０と、受信した映像信号を復号化する復号化部１１と、復号化により得られる複数の画像を合成して合成画像を生成する合成部１２と、合成画像を再符号化する符号化部１３と、再符号化した映像信号を映像受信装置４に送信する送信部１４を備えている。
【００３２】
この変換装置３は、複数の映像送信装置２から受信した映像信号を復号化する際に、映像送信装置２から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部１５と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部１６を備えている。また、変換装置３は、符号化パラメータ算出部１５や画像優先度決定部１６などを制御する制御部１７と、復号化部１１や合成部１２などで得られる画像や合成画像を記憶する記憶部１８を備えている。
【００３３】
符号化パラメータとしては、動き情報を用いることができる。動き情報には、動き領域（の大きさ）と動き量が含まれる。符号化パラメータ算出部１５は、インターフレーム（ＰフレームやＢフレーム）の動きベクトル（ＭＶ：Motion Vector）に基づいて、その画像の動き領域、動き量を推定するか、あるいは量子化値とビットレートに基づいて、その画像の動き量を推定する。そして、画像優先度決定部１６は、動き領域が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、動き量が大きいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。
【００３４】
例えば、符号化パラメータ算出部１５は、複数の映像送信装置２から得られる各画像について、インターフレーム（ＰフレームやＢフレーム）の量子化値ＱＰと発生符号量Ｃを検出し、量子化値に対する発生符号量（＝Ｃ／ｆ（ＱＰ））を「動き量」として算出する。画像優先度決定部１６は、各画像の動き量Ｃ／ｆ（ＱＰ）を比較して、動き量Ｃ／ｆ（ＱＰ）が大きいほど、その画像のフレームレートを高くする。動き量の比較は、基準値との比較（例えば、平均より大：＋１、平均より小：−１）で行ってもよく、相対的な比較（最も小さい：１、次に大きい：２、その次に大きい：３、最も大きい：４）で行ってもよい。
【００３５】
また、画像優先度決定部１６は、動き量Ｃ／ｆ（ＱＰ）が大きく増加した場合（例えば、シーンチェンジをした場合）には、合成画像中でのその画像の大きさを大きくする。その場合、動き量の比較は、例えば、第２の基準値との比較（例えば、上限値より大きいか否か）で行ってもよい。
【００３６】
また、符号化パラメータとしては、複雑度を用いることができる。符号化パラメータ算出部１５は、イントラフレーム（Ｉフレーム）の量子化値とビットレートに基づいて、その画像の複雑度を算出する。そして、画像優先度決定部１６は、複雑度が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。
【００３７】
例えば、符号化パラメータ算出部１５は、複数の映像送信装置２から得られる各画像について、イントラフレーム（Ｉフレーム）の量子化値ＱＰと発生符号量Ｃを検出し、量子化値に対する発生符号量（＝Ｃ／ｆ（ＱＰ））を「複雑度」として算出する。画像優先度決定部１６は、各画像の複雑度Ｃ／ｆ（ＱＰ）を比較して、複雑度Ｃ／ｆ（ＱＰ）が大きいほど、その画像の大きさを大きく。複雑度の比較は、基準値との比較（例えば、平均より大：＋１、平均より小：−１）で行ってもよく、相対的な比較（最も小さい：１、次に大きい：２、その次に大きい：３、最も大きい：４）で行ってもよい。
【００３８】
なお、符号化パラメータとしては、量子化値ＱＰ、解像度、ビットレート、フレームレート、伝送損失なども用いることができる。例えば、画像優先度決定部１６は、量子化値ＱＰが小さいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、解像度が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、ビットレートが大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、フレームレートが大きいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。また、画像優先度決定部１６は、伝送損失が小さいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。
【００３９】
以上のように構成された第１の実施の形態の画像監視システム１について、図３を参照してその動作を説明する。
【００４０】
図３に示すように、画像優先度決定部１６は、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する比率を決定する。そして、合成部１２は、比率で拡大または縮小した動き領域の画像の周辺に、動き領域の周辺の動きなし領域の画像を比率で拡大または縮小して付加する。
【００４１】
より具体的には、まず、図３（ａ）に示すように、マクロブロック単位の動きベクトル（ＭＶ）に基づいて、動き領域であるか否かを判定する。例えば、動きベクトル（ＭＶ）の値が所定の閾値より大きい場合には「動き領域」であると判定し、動きベクトル（ＭＶ）の値が所定の閾値以下の場合には「動きなし領域」（斜線で図示）であると判定する。
【００４２】
つぎに、図３（ｂ）に示すように、それぞれの動き領域について、所定の基準点（例えば、各４隅）を配置し、図３（ｃ）に示すように、動き領域の大きさや複雑度に応じた比率で、それぞれの動き領域を拡大／縮小する。動き領域の拡大／縮小は、それぞれの動き領域が互いに重ならないように行われる。そして、図３（ｄ）に示すように、それぞれの動き領域の周りに、各動き領域の周辺の動きなし領域を、上記と同じ比率で拡大／縮小して配置する。なお、動きなし領域を配置せずに、無信号としてもよい。これにより合成画像のビットレートを抑えつつ効率的な符号化が可能となる。
【００４３】
このような第１の実施の形態の画像監視システム１によれば、映像送信装置２に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができる。
【００４４】
すなわち、本実施の形態では、画像監視システム１において、変換装置３が、複数の映像送信装置２から映像信号を受信し、受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置４に送信する。この場合、変換装置３は、映像送信装置２から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置２に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。
【００４５】
例えば、本実施の形態では、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つに基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することができる。
【００４６】
この場合、イントラフレームの量子化値とビットレートに基づいて、復号化により得られる複数の画像の複雑度を算出することができ、その複雑度に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。
【００４７】
また、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて、復号化により得られる複数の画像の動き情報を算出することができ、その動き情報に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。
【００４８】
本実施の形態では、映像送信装置２が据付型であり、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。
【００４９】
また、本実施の形態では、適切な比率で拡大または縮小した動き領域の画像の周辺に、同じ比率で拡大または縮小した動きなし領域の画像が付加された合成画像を生成することができる。動き領域の画像の周辺に動きなし領域の画像が付加されることにより、動き領域の周辺の状況も把握することが可能になる。また、本実施の形態では複数のインターフレームまたはイントラフレームを用いた画像優先度の決定処理について説明したが、ＧＯＰ（Group of Pictures）単位で行うこともできる。
【００５０】
（第２の実施の形態）
次に、本発明の第２の実施の形態の画像監視システム１について説明する。ここでは、第２の実施の形態の画像監視システム１が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。
【００５１】
本実施の形態では、映像送信装置２は、移動体（例えば監視員）への取付型の映像送信装置２（携帯カメラ）である。この場合、図４に示すように、画像優先度決定部１６は、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動きベクトル（ＭＶ）に基づいて対象物（例えば監視対象）の移動方向を推定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する比率を決定する。そして、合成部１２は、比率で拡大または縮小した注目領域の画像の周辺に、注目領域の周辺の非注目領域の画像を比率で拡大または縮小して付加する。
【００５２】
より具体的には、まず、図４（ａ）に示すように、マクロブロック単位の動きベクトル（ＭＶ）に基づいて、対象物（例えば監視対象）の移動方向を推定する。この移動方向の推定は、揺れ補正を行った後に、公知の画像処理技術を用いて行われる。
【００５３】
つぎに、図４（ｂ）に示すように、上記の移動方向に基づいて、対象物の移動先を推定し、注目領域（移動先を含む領域）を決定する。そして、図４（ｃ）に示すように、注目領域の大きさや複雑度に応じた比率で、それぞれの注目領域を拡大／縮小する。注目領域の拡大／縮小は、それぞれの注目領域が互いに重ならないように行われる。そして、図４（ｄ）に示すように、それぞれの注目領域の周りに、各注目領域の周辺の非注目領域を、上記と同じ比率で拡大／縮小して配置する。
【００５４】
このような第２の実施の形態の画像監視システム１によっても、第１の実施の形態と同様の作用効果が奏される。
【００５５】
本実施の形態では、映像送信装置２が移動体への取付型であり、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて対象物の移動方向を決定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。
【００５６】
また、本実施の形態では、適切な比率で拡大または縮小した注目領域の画像の周辺に、同じ比率で拡大または縮小した非注目領域の画像が付加された合成画像を生成することができる。注目領域の画像の周辺に非注目領域の画像が付加されることにより、注目領域の周辺の状況も把握することが可能になる。
【００５７】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００５８】
例えば、以上の説明では、映像送信装置２の数が４つである場合について例示したが、映像送信装置２の数はこれに限定されない。また、合成画像の表示の仕方は、図５（ａ）に示すように、画面を等分割（例えば、４分割）して、それぞれの画像を表示するようにしてもよく、図５（ｂ）に示すように、画面の下部に、それぞれの画像（合成画像）を表示するとともに、画面の上部に、優先度の最も高い画像（注目すべき画像）を大きく表示するようにしてもよい。
【産業上の利用可能性】
【００５９】
以上のように、本発明にかかる画像監視システムは、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができるという効果を有し、複数ストリームをトランスコードする機能を備えた画像監視システム等として有用である。
【符号の説明】
【００６０】
１  画像監視システム
２  映像送信装置
３  変換装置
４  映像受信装置
５  ネットワーク
６  ネットワーク
１０  受信部
１１  復号化部
１２  合成部
１３  符号化部
１４  送信部
１５  符号化パラメータ算出部
１６  画像優先度決定部
１７  制御部
１８  記憶部
【図１】
2014127847.tif 000003
【図２】
2014127847.tif 000004
【図３】
2014127847.tif 000005
【図４】
2014127847.tif 000006
【図５】
2014127847.tif 000007