(57)【要約】【課題】リアルタイムでの映像送信と高品位の映像の視聴の両立を実現する。【解決手段】伝送レート取得部１０５はネットワークの伝送レートを取得する。予測伝送構造設定部１００は基本階層と補充階層を含む伝送構造を設定する。第１送信部１０２は基本階層の基本映像符号化データを送信する。記憶部１０３は補充階層の補充映像符号化データを記憶する。第２送信部１０４は、記憶部１０３に記憶された補充映像符号化データを送信する。送信制御部１０６は、伝送レートに応じて第２送信部１０４を制御する。【選択図】図１
2015195474.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークの伝送レートを取得する伝送レート取得部と、
基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、
基本階層の基本映像符号化データを送信する第１送信部と、
補充階層の補充映像符号化データを記憶する記憶部と、
前記記憶部に記憶された補充映像符号化データを送信する第２送信部と、
前記伝送レートに応じて前記第２送信部を制御する送信制御部と
を備えることを特徴とする映像符号化データ送信装置。
【請求項２】
前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部をさらに備えることを特徴とする請求項１に記載の映像符号化データ送信装置。
【請求項３】
前記伝送構造設定部は、前記伝送レートが大きくなるほど前記基本階層の割合が増え、伝送レートが小さくなるほど前記補充階層の割合が増えるように基本階層と補充階層の比率を設定することを特徴とする請求項１または２に記載の映像符号化データ送信装置。
【請求項４】
前記記憶部に記憶されている前記補充階層のピクチャの数または前記伝送レートの少なくとも一方に応じて、伝送レートを取得する期間または伝送構造を設定する期間を変更することを特徴とする請求項１から３のいずれかに記載の映像符号化データ送信装置。
【請求項５】
前記伝送構造設定部は、画像の一部の領域を前記基本階層とし、前記基本階層以外の領域を前記補充階層とすることを特徴とする請求項１から４のいずれかに記載の映像符号化データ送信装置。
【請求項６】
前記伝送構造設定部は、映像符号化データの一部のシンタックスを前記基本階層とし、前記基本階層とは異なるシンタックスを前記補充階層とすることを特徴とする請求項１から４のいずれかに記載の映像符号化データ送信装置。
【請求項７】
前記伝送構造設定部は、輝度成分の映像を前記基本階層とし、色差成分の映像を前記補充階層とすることを特徴とする請求項１から４のいずれかに記載の映像符号化データ送信装置。
【請求項８】
基本映像符号化データを受信する第１受信部と、
受信した基本映像符号化データを復号して映像を再生する映像復号部と、
基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する補充階層ピクチャを含む補充映像符号化データを受信する第２受信部と、
現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得する基本映像符号化データ取得部と、
前記基本映像符号化データ取得部で取得された基本映像符号化データと前記第２受信部により受信された前記補充映像符号化データとから映像符号化データを再構成する映像符号化データ再構成部と
を備えることを特徴とする映像符号化データ受信装置。
【請求項９】
ネットワークの伝送レートを取得するステップと、
基本階層と補充階層を含む伝送構造を設定するステップと、
基本階層の基本映像符号化データを送信するステップと、
補充階層の補充映像符号化データを記憶するステップと、
前記記憶された補充映像符号化データを送信する送信ステップと、
前記伝送レートに応じて前記送信ステップを制御する送信制御ステップと
を備えることを特徴とする映像符号化データ送信方法。
【請求項１０】
ネットワークの伝送レートを取得するステップと、
基本階層と補充階層を含む伝送構造を設定するステップと、
前記伝送構造に基づいて映像を基本階層の基本映像符号化データと補充階層の補充映像符号化データを含む映像符号化データに符号化するステップと、
基本階層の基本映像符号化データを送信するステップと、
補充階層の補充映像符号化データを記憶するステップと、
前記記憶された補充映像符号化データを送信する送信ステップと、
前記伝送レートに応じて前記送信ステップを制御する送信制御ステップと
をコンピュータに実行させることを特徴とする映像符号化データ送信プログラム。
【請求項１１】
映像を符号化して送信する映像符号化データ送信装置と、映像符号化データを受信して再構成する映像符号化データ受信装置とを含む映像符号化データ送受信システムであって、
前記映像符号化データ送信装置は、
ネットワークの伝送レートを取得する伝送レート取得部と、
基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、
基本階層の基本映像符号化データを送信する第１送信部と、
補充階層の補充映像符号化データを記憶する記憶部と、
前記記憶部に記憶された補充映像符号化データを送信する第２送信部と、
前記伝送レートに応じて前記第２送信部を制御する送信制御部と
を備え、
前記映像符号化データ受信装置は、
前記基本映像符号化データを受信する第１受信部と、
受信した基本映像符号化データを復号して映像を再生する映像復号部と、
基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する補充階層ピクチャを含む前記補充映像符号化データを受信する第２受信部と、
現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得する基本映像符号化データ取得部と、
前記基本映像符号化データ取得部で取得された基本映像符号化データと前記第２受信部により受信された前記補充映像符号化データとから映像符号化データを再構成する映像符号化データ再構成部と
を備えることを特徴とする映像符号化データ送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化データ伝送技術に関し、特に映像符号化データをリアルタイムで伝送する映像符号化データ伝送技術に関する。
【背景技術】
【０００２】
近年、スマートフォンなどのモバイル端末の性能の向上、ＬＴＥなどの導入によるネットワーク帯域の拡張、ＨＥＶＣなど映像圧縮符号化技術の進展に伴って、映像や音声などのコンテンツを圧縮符号化してネットワークでリアルタイムに伝送するサービスが盛んになっている。
【０００３】
インターネット（ＩＰ網）のようなネットワークではベストエフォート型の伝送が行われており帯域保証されていない。そのため、利用者数や利用場所などによって伝送レートは変動する。さらに、無線ネットワークではネットワークが一時的に切断されることもある。
【０００４】
そのため、非リアルタイムのデータ伝送では、再送制御など品質保証のあるＴＣＰが利用される。ところが、再送制御を伴う品質保証は遅延を伴うためリアルタイムのデータ伝送には向かない。リアルタイムのデータ伝送については、品質保証されないＵＤＰが利用されている。映像をリアルタイムで伝送する従来技術は、たとえば特許文献１と特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３９２５号公報
【特許文献２】特開２００８−１９９６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された方法は、間引き選択による選択データをリアルタイム送信した後、非選択だった未送信データを送信する技術であり、リアルタイムでの映像送信と高品位の映像の視聴を両立できないという課題がある。また、特許文献２に記載された方法は、同じ映像を高圧縮の映像データおよび低圧縮の映像データとして重複して伝送するため、伝送効率の低下が課題となる。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、リアルタイムでの映像送信と高品位の映像の視聴の両立を実現することのできる映像伝送技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の映像符号化データ送信装置は、ネットワークの伝送レートを取得する伝送レート取得部と、基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、基本階層の基本映像符号化データを送信する第１送信部と、補充階層の補充映像符号化データを記憶する記憶部と、前記記憶部に記憶された補充映像符号化データを送信する第２送信部と、前記伝送レートに応じて前記第２送信部を制御する送信制御部とを備える。
【０００９】
本発明の別の態様は、映像符号化データ受信装置である。この装置は、基本映像符号化データを受信する第１受信部と、受信した基本映像符号化データを復号して映像を再生する映像復号部と、基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する補充階層ピクチャを含む補充映像符号化データを受信する第２受信部と、現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得する基本映像符号化データ取得部と、前記基本映像符号化データ取得部で取得された基本映像符号化データと前記第２受信部により受信された前記補充映像符号化データとから映像符号化データを再構成する映像符号化データ再構成部とを備える。
【００１０】
本発明のさらに別の態様は、映像符号化データ送信方法である。この方法は、ネットワークの伝送レートを取得するステップと、基本階層と補充階層を含む伝送構造を設定するステップと、基本階層の基本映像符号化データを送信するステップと、補充階層の補充映像符号化データを記憶するステップと、前記記憶部に記憶された補充映像符号化データを送信する送信ステップと、前記伝送レートに応じて前記送信ステップを制御する送信制御ステップとを備える。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、リアルタイムでの映像送信と高品位の映像の視聴の両立を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態１に係る映像符号化データ送受信システムを説明する図である。
【図２】図１の監視カメラによる映像の符号化・送信手順を説明するフローチャートである。
【図３】図１の映像監視局による映像符号化データの受信・復号手順を説明する図である。
【図４】予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例について説明する図である。
【図５】図４の例において送信指示の一例を説明する図である。
【図６】実施の形態２の予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例を説明する図である。
【図７】実施の形態４に係る映像符号化データ送受信システムを説明する図である。
【発明を実施するための形態】
【００１４】
以下、図面とともに本発明の好適な実施の形態に係る映像符号化データ伝送技術の詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
【００１５】
［実施の形態１］
図１は、本実施の形態１に係る映像符号化データ送受信システムを説明する図である。図１では、３台の監視カメラ１０００がネットワーク（一例としてインターネット）を介して映像監視局２０００と接続されている。監視カメラ１０００は「映像符号化データ送信装置」の一例であり、映像監視局２０００は「映像符号化データ受信装置」の一例である。監視カメラ１０００で撮影された映像は映像監視局２０００にてリアルタイムで監視される。
【００１６】
（監視カメラ１０００と映像監視局２０００の構成）
最初に、監視カメラ１０００の構成について説明する。監視カメラ１０００は、予測伝送構造設定部１００、映像符号化部１０１、第１送信部１０２、記憶部１０３、第２送信部１０４、伝送レート取得部１０５、及び送信制御部１０６を備える。
【００１７】
伝送レート取得部１０５は、ネットワークの伝送レートを取得し、取得した伝送レートを送信制御部１０６と予測伝送構造設定部１００に供給する。伝送レート取得部１０５は、後述の映像監視局２０００の伝送状況情報生成部２０５からネットワークを介して伝送レートの情報を受信してもよく、ネットワークの伝送レートを自ら推定してもよい。
【００１８】
予測伝送構造設定部１００は、伝送レート取得部１０５から供給される伝送レートにもとづいて映像の伝送構造を設定するとともに、映像の各ピクチャの参照関係を示す予測構造を設定する。映像の伝送構造には基本階層と補充階層が含まれる。基本階層は、概要映像を伝送するための階層であり、補充階層は拡張映像を伝送するための階層である。
【００１９】
なお、ここでは、予測伝送構造設定部１００は、伝送レートに応じて基本階層と補充階層の比率を設定するとしたが、予測伝送構造設定部１００は、伝送レートに関係なく、基本階層と補充階層の比率を既定値または指定値に設定してもよい。
【００２０】
映像符号化部１０１は、予測伝送構造設定部１００により設定された伝送構造と予測構造にもとづいて、端子１から入力された映像を符号化して、基本階層に対応する基本映像符号化データと、補充階層に対応する補充映像符号化データとを生成する。映像符号化部１０１は、基本映像符号化データを第１送信部１０２に供給し、補充映像符号化データを記憶部１０３に保存する。
【００２１】
第１送信部１０２は、映像符号化部１０１から供給された基本映像符号化データをネットワークを介して映像監視局２０００に送信する。
【００２２】
送信制御部１０６は、伝送レート取得部１０５から供給される伝送レートにもとづいて、記憶部１０３に保存された補充映像符号化データの送信を制御する。送信制御部１０６が伝送レートにもとづいて補充映像符号化データの送出指示を出した場合、第２送信部１０４は、記憶部１０３に保存された補充映像符号化データを読み出し、補充映像符号化データをネットワークを介して映像監視局２０００に送信する。
【００２３】
ここで、第２送信部１０４が送信する補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２がリアルタイムで送信する基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有することに留意する。すなわち、第２送信部１０４は、伝送レートに余裕があるときに、過去の補充映像符号化データを遅れて送信する。
【００２４】
次に、映像監視局２０００の構成について説明する。映像監視局２０００は、受信部２００、第１映像復号部２０１、符号化データ再構成部２０２、符号化データ保持部２０３、第２映像復号部２０４、及び伝送状況情報生成部２０５を備える。
【００２５】
受信部２００は、第１送信部１０２から送信された基本映像符号化データを受信し、第２送信部１０４から送信された補充映像符号化データを受信する。ここで、基本映像符号化データは、監視カメラ１０００の映像符号化部１０１によってリアルタイムで符号化されて送信されたものであるが、補充映像符号化データは、監視カメラ１０００の記憶部１０３に記憶された過去の映像符号化データが遅れて送信されたものであることに留意する。すなわち、第２送信部１０４から送信された補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２からリアルタイムで送信された基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する。
【００２６】
伝送状況情報生成部２０５は、受信部２００が受信した映像符号化データにもとづいてネットワークの伝送状況を把握し、伝送レートやエラー発生率などの伝送状況情報を生成し、ネットワークを介して伝送状況情報を監視カメラ１０００に送信する。
【００２７】
受信部２００は、受信された基本映像符号化データを第１映像復号部２０１に供給するとともに、受信された基本映像符号化データを符号化データ再構成部２０２のメモリに保存する。また、受信部２００は、受信した補充映像符号化データを符号化データ再構成部２０２に供給する。
【００２８】
第１映像復号部２０１は、受信部２００から供給された基本映像符号化データを復号し、端子２に出力する。端子２からはリアルタイムで低フレームレートの概要映像が出力される。
【００２９】
符号化データ再構成部２０２は、メモリに保持された過去の基本映像符号化データと受信部２００により受信された補充映像符号化データとの間でピクチャの順序を並べ替えて再構成し、再構成された映像符号化データを符号化データ保持部２０３に記憶する。ここで、前述のように第２送信部１０４から送信された補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２からリアルタイムで送信された基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有することから、過去の基本映像符号化データをメモリに保持しておかなければ、補充映像符号化データと組み合わせて再構成することはできないことに留意する。符号化データ再構成部２０２は、映像符号化データが再構成された後、過去の基本映像符号化データをメモリから消去する。
【００３０】
第２映像復号部２０４は、符号化データ保持部２０３から再構成された映像符号化データを読み出して復号し、端子３に出力する。端子３からは非リアルタイムで高フレームレートの拡張映像が出力される。
【００３１】
監視カメラ１０００と映像監視局２０００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などにおいてハードウェアとソフトウェアの協働により実現される。監視カメラ１０００と映像監視局２０００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
【００３２】
（監視カメラ１０００の動作の概要）
次に、監視カメラ１０００の動作の概要について説明する。図２は、監視カメラ１０００による映像の符号化・送信手順を説明するフローチャートである。以下、図２に基づいて監視カメラ１０００の動作を説明する。
【００３３】
伝送レート取得部１０５はネットワークを経由して伝送状況情報生成部２０５からネットワークの伝送レートを取得する（Ｓ１０００）。取得した伝送レートは予測伝送構造設定部１００と送信制御部１０６に供給される。ここでは、伝送レート取得部１０５はネットワークを経由して伝送状況情報生成部２０５からネットワークの伝送レートを取得するとしたが、伝送レート取得部１０５がネットワークを監視して伝送レートを推定してもよい。
【００３４】
予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。設定された予測構造と伝送構造は映像符号化部１０１に供給される。なお、予測構造と伝送構造の設定は所定数の画像に対して行われる。ここでは、所定数を１０として説明するが、所定数は１５、３０、６０など任意の正の整数であればよい。ステップＳ１００２からステップＳ１００９は、所定数だけループ処理される。また、映像符号化データのビットレートを伝送レート取得部１０５より供給される伝送レートに依存して設定してもよい。
【００３５】
映像符号化部１０１は予測伝送構造設定部１００により設定される予測構造と伝送構造に基づいて、端子１より入力される映像を映像符号化データに符号化する（Ｓ１００３）。ここでは、映像符号化部１０１は、国際標準であるＨＥＶＣに基づいて映像を符号化するものとするが、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＡＶＣ）などに基づいて映像を符号化してもよい。映像符号化データは伝送構造に基づいて、基本映像符号化データと補充映像符号化データに分別される。予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係については後述する。
【００３６】
映像符号化データが基本映像符号化データであるかどうかを検査する（Ｓ１００４）。映像の伝送構造が基本映像符号化データであることを示していれば（Ｓ１００４のＹ）、映像符号化データは基本映像符号化データとして第１送信部１０２に供給され、第１送信部１０２は映像符号化部１０１より供給された基本映像符号化データをリアルタイムでネットワークに送出する（Ｓ１００５）。このとき、インターネットのトランスポート層としてＵＤＰを用い、ポートとしてポート番号ＰＡが割り当てられる。
【００３７】
映像の伝送構造が補充映像符号化データであることを示していれば（Ｓ１００４のＮ）、映像符号化データは補充映像符号化データとして記憶部１０３に供給され、記憶部１０３は映像符号化部１０１より供給された補充映像符号化データを記憶する（Ｓ１００６）。
【００３８】
記憶部１０３は送信制御部１０６から供給される送出指示がＯＮであるかどうかを検査する（Ｓ１００７）。送出指示がＯＮであれば（Ｓ１００７のＹ）、記憶部１０３は記憶された補充映像符号化データがあれば、記憶された順に補充映像符号化データを第２送信部１０４に供給し、第２送信部１０４は記憶部１０３より供給された補充映像符号化データをネットワークに送出する（Ｓ１００８）。なお、ネットワークより創出された補充映像符号化データは記憶部１０３から削除される。このとき、インターネットのトランスポート層としてＵＤＰを用い、ポートとしてポート番号ＰＢが割り当てられる。ここで、送信制御部１０６は伝送レート取得部１０５より供給される伝送レートに余裕がある場合に送出指示を行う。伝送レートに余裕がある場合の条件や送信指示の詳細については後述する。送出指示がＯＮでなければ（Ｓ１００７のＮ）、補充映像符号化データを送出せずに、ステップＳ１００９に進む。
【００３９】
ここで、補充映像符号化データのネットワークへの送出を伝送レートの設定のタイミングと合わせるために、ステップＳ１００７とステップＳ１００８をステップＳ１００９の後で実行してもよい。
【００４０】
以上で説明した動作は所定の伝送レート期間、繰り返し実行される。そのため、所定の伝送レート期間毎に伝送レートの変動に対応することができる。
【００４１】
（映像監視局２０００の動作の概要）
次に、映像監視局２０００の動作の概要について説明する。図３は、映像監視局２０００による映像符号化データの受信・復号手順を説明する図である。以下、図３に基づいて映像監視局２０００の動作を説明する。
【００４２】
受信部２００がネットワークから受信する映像符号化データがポートＰＡで受信される基本映像符号化データであれば（Ｓ１１００のＹ）、受信部２００は当該基本映像符号化データを第１映像復号部２０１と符号化データ再構成部２０２に供給する。第１映像復号部２０１は受信部２００より供給された基本映像符号化データを復号して再生映像を生成し、再生映像を端子２より出力する（Ｓ１１０１）。一方、符号化データ再構成部２０２は受信部２００より供給された基本映像符号化データを符号化データ再構成部２０２内のメモリに記憶する（Ｓ１１０２）。なお、基本映像符号化データを外部のメモリに記憶してもよい。要するに、符号化データ再構成部２０２が、現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得できればよい。続いてステップＳ１１０６に進む。ステップＳ１１０６については後述する。
【００４３】
受信部２００がネットワークから受信する映像符号化データがポートＰＡで入力される基本映像符号化データではなく（Ｓ１１００のＮ）、ポートＰＢで受信される補充映像符号化データがあれば（Ｓ１１０３のＹ）、受信部２００は補充映像符号化データを符号化データ再構成部２０２に供給する。符号化データ再構成部２０２は、ステップＳ１１０２でメモリに記憶した基本映像符号化データと、ステップＳ１１０３で受信した補充映像符号化データとを並び替えて映像符号化データを再構成する（Ｓ１１０４）。再構成された映像符号化データは符号化データ保持部２０３に供給される。次に、符号化データ再構成部２０２は、メモリに記憶した基本映像符号化データを符号化データ再構成部２０２内のメモリから消去する（Ｓ１１０５）。続いてステップＳ１１０６に進む。ステップＳ１１０６については後述する。
【００４４】
受信部２００がネットワークから受信する映像符号化データがポートＰＡで入力される基本映像符号化データではなく（Ｓ１１００のＮ）、ポートＰＢで受信される補充映像符号化データでもなければ（Ｓ１１０３のＮ）、ステップＳ１１０６に進む。
【００４５】
ここでは、基本映像符号化データと補充映像符号化データを並び替えは、ＡＶＣで定義されているピクチャの符号化順序を示すフレーム番号に基づいて行われるものとするが、ＵＤＰの拡張領域など映像符号化データとは別領域にシーケンス番号を符号化してもよい。また、再構成された映像符号化データは、ＭＰＥＧ−２トランスポートストリームのように固定長サイズでパケット化して音声データなどと多重化してメディアストリームとして保持してもよいし、ＭＰ４ファイルのようにアクセスユニット単位でパケット化して音声データなどと多重化してメディアストリームとして保持してもよい。さらには、基本映像符号化データと補充映像符号化データの並び替えを行わず、基本映像符号化データと補充映像符号化データは受信した順序で保持しながら、ピクチャの符号化順序を示すフレーム番号に基づいたピクチャ再生順序リストを作成して保持することもできる。この場合、ピクチャ再生順序リストに基づいて再生することで映像符号化データを並べ替えることなく正しく再生することができる。
【００４６】
伝送状況情報生成部２０５は、受信部２００の基本映像符号化データと補充映像符号化データの受信状況を分析して、ネットワークの伝送レートを推定する（Ｓ１１０６）。伝送レートの推定方法はラウンドトリップ時間を計測して行うような一般的な方法とする。推定した伝送レートは監視カメラ１０００の伝送レート取得部１０５に供給される。ここで、推定した伝送レートはＵＤＰの拡張領域に符号化されるとする。
【００４７】
符号化データ保持部２０３に保持された符号化ストリームは必要に応じて第２映像復号部２０４に供給され、第２映像復号部２０４により復号されて再生映像が生成され、再生映像が端子３より出力される。
【００４８】
このようにして、端子２からはリアルタイムで低フレームレートの再生映像が出力される一方で、端子３からは非リアルタイムで高フレームレートの再生映像が出力される。
【００４９】
（映像監視局２０００のイベント的な動作）
次に、映像監視局２０００のイベント的な動作について説明する。イベント的な動作はユーザの操作によって行われる。例えば、ユーザがよりフレームレートの高い映像を見たい場合などに利用される。この場合、第２映像復号部２０４は符号化データ再構成部２０２より供給された映像符号化データを復号して再生映像を生成し、再生された映像は端子３より出力される。ここで、符号化データ保持部２０３より出力される映像符号化データをファイルなどに保存してもよい。
【００５０】
（予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データ）
次に、図４を参照して、予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例について説明する。
【００５１】
伝送レート期間は伝送レート取得部１０５によって取得される伝送レートが有効となる期間である。伝送レート期間においてはいったん取得した伝送レートが変化しないとみなす。ここでは、１つの伝送レート期間は１０画像とし、４つの伝送レート期間Ｔ１、Ｔ２、Ｔ３、Ｔ４があり、各伝送レート期間の伝送レートはＲ１、Ｒ２、Ｒ３、Ｒ４である。図４の例では、Ｒ１＝４Ｍｂｐｓ、Ｒ２＝２Ｍｂｐｓ、Ｒ３＝８００ｋｂｐｓ、及びＲ４＝６Ｍｂｐｓであるとする。
【００５２】
ここでは、説明を容易にするために、伝送レート期間は、予測構造と伝送構造が設定される期間（同一の予測・伝送構造が適用される画像の枚数）と同一であるとして説明するが、伝送レート期間と予測・伝送構造の設定期間は独立した概念であり、別個に設定してもよい。
【００５３】
ピクチャ番号は端子１から入力される映像を構成する画像毎に割り当てられるピクチャ番号である。ピクチャタイプは画像内符号化するＩピクチャと画像間予測符号化するＰピクチャと双方向に画像間予測符号化するＢピクチャがある。ここでは説明を簡単にするためにＩピクチャとＰピクチャを用いて説明するが、ピクチャタイプとしてＰピクチャの代わりにＢピクチャを用いてもよい。
【００５４】
伝送構造には基本階層ピクチャ（Ａ）と補充階層ピクチャ（Ｂ）の２タイプがあり、基本階層ピクチャは基本映像符号化データとして第１送信部１０２に供給され、補充階層ピクチャは補充映像符号化データとして記憶部１０３に供給される。参照ピクチャは画像間予測で利用される画像であり、各画像の参照関係を予測構造と呼ぶ。ここでは参照ピクチャの最大数を２とする。
【００５５】
伝送レート期間Ｔ１及び伝送レート期間Ｔ４では全ての画像が基本階層ピクチャとして符号化される。伝送レート期間Ｔ２では各画像が基本階層ピクチャと補充階層ピクチャとして交互に符号化される。伝送レート期間Ｔ３では各画像が基本階層ピクチャと補充階層ピクチャとして１対２の割合または１対３の割合で交互に符号化される。ここでは、基本階層ピクチャと補充階層ピクチャの割合を１対３まで説明したが、基本階層ピクチャと補充階層ピクチャの割合を１対３０や２対１などにすることもできる。
【００５６】
このように伝送レートに応じて基本階層と補充階層の比率が変えられる。伝送レートが十分に高い（余裕がある）とき、伝送レート期間のすべての各基本階層を基本階層ピクチャとして符号化し、伝送レートが低くなる（余裕がなくなる）につれ、補充階層ピクチャを増やし、基本階層ピクチャの割合を減らす。
【００５７】
ここで、基本階層ピクチャは直前の２つの基本階層ピクチャを参照する。また、補充階層ピクチャは直前の２つの、基本階層ピクチャ及び／又は補充階層ピクチャを参照する。このように、基本階層ピクチャについては基本階層ピクチャのみの参照に制限することで、基本映像符号化データのみでも復号可能となる。一方、補充階層ピクチャについては基本階層ピクチャと補充階層ピクチャの両方の参照を許可することで符号化効率を向上させることができる。
【００５８】
ここでは、伝送レートに応じた伝送構造の設定の例として、伝送レートが４Ｍｂｐｓ以上であれば、全ての画像を基本階層ピクチャで符号化し、伝送レートが１Ｍｂｐｓ以上４Ｍｂｐｓ未満であれば、基本階層ピクチャと補充階層ピクチャを交互に符号化し、伝送レートが１Ｍｂｐｓ未満であれば、基本階層ピクチャと補充階層ピクチャを１対２または１対３の比率で符号化する。なお、全ての画像を基本階層ピクチャで符号化する最低伝送レートを基準伝送レートと呼ぶ。上記の例では４Ｍｂｐｓが基準伝送レートである。伝送レートに余裕がある場合とは、伝送レートが基準伝送レートよりも大きい場合を意味する。
【００５９】
以上のように、伝送レートを所定の伝送レート期間で取得して、伝送レートが大きくなるほど基本階層ピクチャの割合を増加させて、伝送レートが小さくなるほど補充階層ピクチャの割合を増加させるように基本階層ピクチャと補充階層ピクチャの比率を設定することで、伝送レートが小さい場合でも基本階層ピクチャをリアルタイムに伝送することができる。
【００６０】
また、伝送レートに余裕がある伝送レート期間に基本階層ピクチャとともに補充階層ピクチャを伝送し、受信側で基本階層ピクチャと補充階層ピクチャから映像符号化データを再構成することで、補充階層ピクチャの受信前には、リアルタイムで低フレームレートの映像の視聴が実現でき、補充階層ピクチャの受信後は、高フレームレートの映像の視聴を実現することができる。また、基本階層ピクチャと補充階層ピクチャでは重複したピクチャを伝送しないため、伝送効率は低下しない。
【００６１】
ここでは、基本階層符号化データと補充階層符号化データをＵＤＰの別ポートで伝送したが、映像監視局２０００において基本階層符号化データと補充階層符号化データを判別できればよく、この方法に限定されない。例えば、基本階層符号化データと補充階層符号化データにそれぞれ別の識別子を割り当ててＭＰ４ファイルやＭＰＥＧ−２ＴＳで多重化して同一ポートで伝送してもよい。ここで、識別子は映像符号化データ内に付与してもよいし、多重化時に付与してもよい。
【００６２】
ここでは、伝送レート期間および／または予測・伝送構造の設定期間を固定期間として説明したが、可変期間としてもよい。例えば、伝送レートが所定の閾値より小さい場合、または、記憶部１０３に記憶されている補充階層ピクチャの数が所定の閾値より多い場合、伝送レート期間および／または予測・伝送構造の設定期間を短くするように制御してもよい。伝送レートが所定の閾値より小さく、かつ、記憶部１０３に記憶されている補充階層ピクチャの数が所定の閾値より多い場合に、伝送レート期間および／または予測・伝送構造の設定期間を短くするように制御してもよい。
【００６３】
伝送レートが十分に大きい場合は、伝送レート期間および／または予測・伝送構造の設定期間を長めに設定し、伝送レートがしばらく変わらないとして、同じ伝送構造でしばらく符号化を続けてもよいが、伝送レートが小さい場合は、伝送レートが変動する可能性を考慮して、伝送レート期間および／または予測・伝送構造の設定期間を短く設定し、最新の伝送レートを取得して、伝送構造をこまめに更新することが望ましい。また、記憶部１０３に記憶されている補充階層ピクチャの数が多くなると、バッファオーバーフローが起きやすくなるため、伝送レート期間および／または予測・伝送構造の設定期間を短く設定し、最新の伝送レートを取得し、伝送構造を変更することが望ましい。このように伝送レート期間および／または予測・伝送構造の設定期間を可変期間とすることで、伝送レートを適宜更新、あるいは、伝送構造を適宜変更して、補充階層ピクチャの伝送を適切に行うことができる。
【００６４】
また、基本階層ピクチャをＩピクチャとして補充階層ピクチャをＰピクチャとする、より単純な構成を取り、映像の品質向上のために伝送レートに応じてＩピクチャの間隔を調整することもできる。例えば、伝送レートが高くなるほどＩピクチャの間隔を短くして伝送レートが低くなるほどＩピクチャの間隔を長くするように制御する。このようにすることで、より単純な構成で伝送レートが小さい場合でも基本階層ピクチャをリアルタイムに伝送し、伝送レートに余裕がある伝送レート期間に補充階層ピクチャを伝送することもできる。
【００６５】
（送信指示の一例）
次に、図５を参照して送信指示の一例について説明する。ここでは図４に示した予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係を例にして送信指示の一例を説明する。ピクチャ番号、ピクチャタイプ、伝送構造については図４と同じである。「ポートＰＡ送信」はポートＰＡから送信される基本階層ピクチャを示し、「ポートＰＢ送信」はポートＰＢから送信される補充階層ピクチャを示す。なお、ピクチャ番号'はポートＰＢから送信される補充階層ピクチャのピクチャ番号を示す。図４と同様、伝送レートについては、Ｒ１＝４Ｍｂｐｓ、Ｒ２＝２Ｍｂｐｓ、Ｒ３＝８００ｋｂｐｓ、及びＲ４＝６Ｍｂｐｓであるとする。
【００６６】
基本階層ピクチャはポートＰＡからリアルタイムで送信される。また、補充階層ピクチャは伝送レートに余裕がある場合（伝送レートがＲ４の場合）にポートＰＢから伝送レートを超えないように記憶された順で送信される。図５では、伝送レート期間Ｔ４において、記憶部１０３に記憶されている補充階層ピクチャであるピクチャ１１、ピクチャ１３、ピクチャ１５、ピクチャ１７、ピクチャ１９、ピクチャ２１、ピクチャ２２、ピクチャ２４、ピクチャ２５、ピクチャ２７、ピクチャ２８、及びピクチャ２９のうち、ピクチャ１１、ピクチャ１３、ピクチャ１５、ピクチャ１７、ピクチャ１９、ピクチャ２１が伝送されている様子を示している。このように、ある伝送区間において伝送される基本階層ピクチャよりも前の符号化順序と表示順序を有する補充階層ピクチャが伝送される。
【００６７】
符号化データ再構成部２０２は、メモリに記憶しておいた過去の基本階層ピクチャと伝送レート期間Ｔ４において受信した補充階層ピクチャの順序を並べ替えて再構成する。
【００６８】
このようにして、リアルタイムに基本階層ピクチャを視聴しながら、補充階層ピクチャを受信後に、メモリに記憶していた基本階層ピクチャと受信した補充階層ピクチャから映像符号化データを再構成して全てのピクチャからなる映像を視聴することができる。
【００６９】
例えば、防犯システムにおいては、低フレームレートの映像でリアルタイムで監視を行いながら、事後に決定的な瞬間を含む証拠映像として高フレームレートの映像を利用するといった使い方が有効である。また、３Ｇ／ＬＴＥやＷｉＦｉなど複数の伝送路が利用可能である移動体（モバイル）通信において、帯域制限のある３Ｇ／ＬＴＥのエリアでは基本階層ピクチャのみを伝送して伝送量を小さくし、帯域制限のないＷｉＦｉエリアで補充階層ピクチャを伝送するようにすることで、帯域制限のある環境でも概要映像の再生が可能であり、帯域制限のない環境では高フレームレートの映像の再生が可能となる。
【００７０】
［実施の形態１の変形例］
以下、実施の形態１の変形例について、実施の形態１との相違点を説明する。変形例は、実施の形態１とは伝送構造の設定が異なる。実施の形態１ではピクチャ単位で基本映像符号化データと補充映像符号化データを設定したが、変形例ではＧＯＰ単位で基本映像符号化データ（基本階層ＧＯＰ）と補充映像符号化データ（補充階層ＧＯＰ）を設定する。
【００７１】
ここで、基本階層ＧＯＰについては、直前のＧＯＰが基本階層ＧＯＰであれば当該基本階層ＧＯＰをオープンＧＯＰとし、直前のＧＯＰが補充階層ＧＯＰであれば、当該基本階層ＧＯＰをクローズドＧＯＰとする。クローズドＧＯＰでは、当該ＧＯＰ内でピクチャを参照して符号化、復号が可能である。一方、補充階層ＧＯＰについては、常にオープンＧＯＰとする。このように、基本階層ＧＯＰについては直前のＧＯＰが基本階層ＧＯＰである場合のみオープンＧＯＰにすることで、基本映像ＧＯＰのみでも復号可能となる。一方、補充階層ＧＯＰは常にオープンＧＯＰとすることで符号化効率を向上させることができる。
【００７２】
伝送構造の設定をピクチャよりも大きな単位であるＧＯＰとすることで、映像監視局２０００における符号化データ再構成部２０２の基本映像符号化データと補充映像符号化データを合成するクロックを低減することができる。勿論、伝送構造を複数ＧＯＰ単位で設定することもできる。
【００７３】
［実施の形態２］
以下、実施の形態２について説明する。実施の形態１との相違点を中心に説明する。図６は、実施の形態２の予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例を説明する図である。図６に示すように、実施の形態２では伝送構造が画像内で分割されていることが実施の形態１とは異なる。
【００７４】
伝送構造には基本階層領域（Ａ）と補充階層領域（Ｂ）の２タイプがあり、基本階層領域は基本映像符号化データに符号化されて第１送信部１０２に供給され、補充階層領域は補充映像符号化データに符号化されて記憶部１０３に供給される。
【００７５】
最初に、監視カメラ１０００について説明する。予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。ここで、実施の形態２の伝送構造の設定について説明する。画像は水平方向と垂直方向にそれぞれ４分割されて１６個の分割領域となり、分割領域ごとに基本階層領域または補充階層領域が設定される。
【００７６】
伝送レート期間Ｔ１（伝送レートＲ１）及び伝送レート期間Ｔ４（伝送レートＲ４）では全ての分割領域を基本階層領域に設定する。伝送レート期間Ｔ２（伝送レートＲ２）では第２行と第３行の分割領域を基本階層領域に、第１行と第４行の分割領域を補充階層領域に設定する。伝送レート期間Ｔ３（伝送レートＲ３）では画像の中央部分の４個の分割領域を基本階層領域に、基本階層領域以外の分割領域を補充階層領域に設定する。
【００７７】
映像符号化部１０１は、端子１より入力される映像を設定された伝送構造に基づいて領域分割し、分割領域をタイル（スライスでもよい）単位で基本階層符号化データまたは補充階層符号化データに符号化する（Ｓ１００３）。
【００７８】
ここで、基本階層領域は直前の２つのピクチャの基本階層領域を参照する。また、補充階層領域は直前の２つのピクチャの基本階層領域と補充階層領域を参照する。このように参照関係を決めることで、基本階層領域については補充階層領域に依存することなく基本階層領域のみから正確な映像を復号することができる。
【００７９】
ここでは、基本階層領域と補充階層領域を図６のように設定したが、伝送レートが大きくなるほど基本階層領域が広く（基本階層領域として分割される領域の数が多く）なり、伝送レートが小さくなるほど基本階層領域が狭く（基本階層領域として分割される領域の数が少なく）なるように設定できればこれに限定されない。例えば、特徴領域抽出処理と組み合わせて伝送レートが大きくなるほど特徴領域を広くするようにすることで、特徴領域を伝送レートに合わせて適応的に伝送することができる。
【００８０】
次に、映像監視局２０００について説明する。映像監視局２０００では、映像符号化データを再構成する手法が異なる。ここでは、基本映像符号化データと補充映像符号化データの並び替えは、スライスの最初のマクロブロックの位置を示す情報であるマクロブロックアドレスに基づいて行われるものとするが、ＵＤＰの拡張領域など映像符号化データとは別領域に領域の位置を符号化しておき、領域の位置に基づいて並び替えてもよい。
【００８１】
以上のように、基本階層領域を基本階層符号化データとして伝送し、補充階層領域を補充階層符号化データとして伝送することで、基本階層領域をリアルタイムに伝送しながら、補充階層領域を伝送レートに余裕がある伝送レート期間に伝送することができる。これにより、リアルタイムに基本階層領域を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成して全ての領域からなる映像を視聴することができる。
【００８２】
［実施の形態３］
以下、実施の形態３について説明する。実施の形態２との相違点を中心に説明する。実施の形態３の伝送構造には基本階層データ（Ａ）と補充階層データ（Ｂ）の２タイプがあり、基本階層データは基本映像符号化データとして第１送信部１０２に供給され、補充階層データは補充映像符号化データとして記憶部１０３に供給される。
【００８３】
予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。ここで、実施の形態３の伝送構造の設定について説明する。映像符号化データをシンタックス的にヘッダ、予測情報データ、及び予測誤差データに分類する。さらに、予測誤差データは低周波予測誤差データと高周波予測誤差データに分類する。ここでは、低周波予測誤差データを直交変換の直流成分に関する情報、高周波予測誤差データを直交変換の交流成分に関する情報とする。
【００８４】
伝送レート期間Ｔ１（伝送レートＲ１）及び伝送レート期間Ｔ４（伝送レートＲ４）ではヘッダ、予測情報データ、及び予測誤差データを基本階層データに設定する。伝送レート期間Ｔ２（伝送レートＲ２）ではヘッダ、予測情報データ、及び低周波予測誤差データを基本階層データに、高周波予測誤差データを補充階層データに設定する。伝送レート期間Ｔ３（伝送レートＲ３）ではヘッダと予測情報データを基本階層データに、予測情報データを補充階層データに設定する。
【００８５】
映像符号化部１０１は、端子１より入力される映像を伝送構造に基づいて基本階層符号化データと補充階層符号化データに符号化する（Ｓ１００３）。
【００８６】
ここでは、映像符号化データをシンタックス的にヘッダ、予測情報データ、及び予測誤差データに分類してそれぞれを基本階層データと補充階層データに設定したが、これに限定されない。例えば、ＡＶＣなどでは画像間予測や直行変換は可変サイズにて行われる。そこで、所定ブロックサイズ以下のブロックを基本階層データに、所定ブロックサイズより大きいブロックを補充階層データに設定するなど（基本階層データと補充階層データを逆に設定してもよい）のように、ブロックサイズに基づいて基本階層データと補充階層データに設定することもできる。ここでのブロックサイズとして、映像の動きの大小に基づいて伝送する映像の品質を制御したい場合には画像間予測のブロックサイズを選択し、予測誤差の大小の優先度に基づいて伝送する映像の品質を制御したい場合には直行変換のブロックサイズを選択しもよい。このようにすることで、基本階層符号化データと補充階層符号化データの比率を伝送する映像の品質の優先度に応じて柔軟に設定することができる。
【００８７】
以上のように、映像符号化データの一部のシンタックスを基本階層符号化データとして伝送し、基本階層領域以外のシンタックスを補充階層符号化データとして伝送することで、リアルタイムに映像の基本的な情報を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成して映像の詳細な情報を視聴することができる。
【００８８】
［実施の形態３の変形例］
以下、実施の形態３の変形例について説明する。実施の形態３との相違点について説明する。変形例では実施の形態３とは伝送構造の設定が異なる。
【００８９】
第１の変形例として、輝度成分Ｙを基本階層符号化データとし、第１色差成分Ｃｂと第２色差成分Ｃｒを補充階層符号化データとする。以上のように、輝度成分を基本階層符号化データとして伝送し、第１色差成分と第２色差成分を補充階層符号化データとして伝送することで、リアルタイムにモノクロ映像を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成してカラー映像を視聴することができる。
【００９０】
［実施の形態４］
以下、実施の形態４について、実施の形態１との相違点を中心に説明する。図７は、実施の形態４に係る映像符号化データ送受信システムを説明する図である。図７では、映像符号化データ送信装置の一例である３台の監視カメラ１１００が第２ネットワークを介して映像符号化データ中継装置１２００に接続され、さらに映像符号化データ中継装置１２００が第１ネットワークを介して映像符号化データ受信装置の一例である映像監視局２０００と接続されている。一例として第２ネットワークはＷｉＦｉなどの無線ＬＡＮであり、第１ネットワークはＬＴＥである。映像符号化データ中継装置１２００は、ＬＴＥ中継局の一例として、たとえばスマートフォン内に設置される。
【００９１】
（監視カメラ１１００と映像符号化データ中継装置１２００の構成）
最初に、監視カメラ１０００の構成について説明する。監視カメラ１０００は、映像符号化部１０１と第３送信部１０７を備える。
【００９２】
映像符号化部１０１は、映像符号化データ中継装置１２００の予測伝送構造設定部１２２により設定された伝送構造と予測構造にもとづいて、端子１から入力された映像を符号化して、基本階層に対応する基本映像符号化データと、補充階層に対応する補充映像符号化データとを生成する。映像符号化部１０１は基本映像符号化データと補充映像符号化データを含む映像ストリームを第３送信部１０７に供給する。
【００９３】
第３送信部１０７は、映像符号化部１０１から供給された映像ストリームを第２ネットワークを介して映像符号化データ中継装置１２００に送信する。
【００９４】
次に、映像符号化データ中継装置１２００の構成について説明する。映像符号化データ中継装置１２００は、第２受信部１２０、映像符号化データ解析部１２１、予測伝送構造設定部１２２、第１送信部１０２、記憶部１０３、第２送信部１０４、伝送レート取得部１０５、及び送信制御部１０６を備える。
【００９５】
伝送レート取得部１０５は、第１ネットワークの伝送レートを取得し、取得した伝送レートを送信制御部１０６と予測伝送構造設定部１２２に供給する。
【００９６】
予測伝送構造設定部１２２は、伝送レート取得部１０５から供給される伝送レートにもとづいて映像の伝送構造を設定するとともに、映像の各ピクチャの参照関係を示す予測構造を設定する。
【００９７】
第２受信部１２０は、監視カメラ１１００から映像ストリームを受信し、映像符号化データ解析部１２１に供給する。
【００９８】
映像符号化データ解析部１２１は、予測伝送構造設定部１２２により設定された伝送構造と予測構造にもとづいて、映像ストリームから基本映像符号化データと補充映像符号化データを分離して抽出し、基本映像符号化データを第１送信部に供給し、補充映像符号化データを記憶部１０３に保存する。ここでは、伝送構造と予測構造にもとづいて、映像ストリームから基本映像符号化データと補充映像符号化データを分離するとしたが、予め基本映像符号化データと補充映像符号化データにそれぞれ別の識別子を割り当てて分離することもできる。
【００９９】
第１送信部１０２は、映像符号化データ解析部１２１から供給された基本映像符号化データを第１ネットワークを介して映像監視局２０００に送信する。
【０１００】
送信制御部１０６は、伝送レート取得部１０５から供給される伝送レートにもとづいて、記憶部１０３に保存された補充映像符号化データの送信を制御する。送信制御部１０６が伝送レートにもとづいて補充映像符号化データの送出指示を出した場合、第２送信部１０４は、記憶部１０３に保存された補充映像符号化データを読み出し、補充映像符号化データを第１ネットワークを介して映像監視局２０００に送信する。
【０１０１】
実施の形態４では、映像符号化データ中継装置１２００は、監視カメラ１１００によって既に符号化された映像符号化データを受信するため、映像の符号化処理を実行しないが、符号化後の映像データの送信については、実施の形態１の監視カメラ１１００と同じ処理を実行する。映像監視局２０００の構成と動作は実施の形態１と同じである。
【０１０２】
映像符号化データ中継装置１２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などにおいてハードウェアとソフトウェアの協働により実現される。映像符号化データ中継装置１２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
【０１０３】
（監視カメラ１１００の動作の概要）
次に、監視カメラ１１００の動作の概要について説明する。第２ネットワークから受信される予測構造と伝送構造は映像符号化部１０１に供給される。映像符号化部１０１は受信された予測構造と伝送構造にもとづいて映像符号化データを生成し、第３送信部１０７に供給する。第３送信部１０７は映像符号化部１０１より供給される映像符号化データをリアルタイムで第２ネットワークに送出する。
【０１０４】
（映像符号化データ中継装置１２００の動作の概要）
次に、映像符号化データ中継装置１２００の動作の概要について説明する。
【０１０５】
予測伝送構造設定部１２２は、伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する。設定された予測構造と伝送構造は第２ネットワークを経由して映像符号化部１０１に供給される。ここで、予測構造と伝送構造の設定は例えばＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）のような仕様に基づいて行われるものとする。また、設定された予測構造と伝送構造は映像符号化データ解析部１２１にも供給される。一方、第２受信部１２０は第２ネットワークを介して第３送信部１０７より送出される映像符号化データを受信する。
【０１０６】
映像符号化データ解析部１２１は予測伝送構造設定部１２２により供給される予測構造と伝送構造に基づいて、第２受信部１２０より入力される映像符号化データを基本映像符号化データと補充映像符号化データに分別し、基本映像符号化データを第１送信部１０２に供給し、補充映像符号化データを記憶部１０３に供給する。これ以降の基本映像符号化データと補充映像符号化データの送信処理については実施の形態１と同じであり、基本映像符号化データは第１ネットワークを介してリアルタイムで映像監視局２０００に送信され、補充映像符号化データは第１ネットワークの伝送レートに余裕がある場合に第１ネットワークを介して映像監視局２０００に送信される。
【０１０７】
以上のように、実施の形態４では、予め送受信機能を有するスマートフォンなどを映像符号化データ中継装置として利用することで、監視カメラに基本階層と補充階層を識別して伝送する機能を追加する必要がなくなり、従来の監視カメラシステムの機能を容易に拡張することができる。
【０１０８】
以上の実施の形態で述べた処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１０９】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１０】
１００  予測伝送構造設定部、  １０１  映像符号化部、  １０２  第１送信部、  １０３  記憶部、  １０４  第２送信部、  １０５  伝送レート取得部、  １０６  送信制御部、  １０７  第３送信部、  １２０  第２受信部、  １２１  映像符号化データ解析部、  １２２  予測伝送構造設定部、  ２００  受信部、  ２０１  第１映像復号部、  ２０２  符号化データ再構成部、  ２０３  符号化データ保持部、  ２０４  第２映像復号部、  ２０５  伝送状況情報生成部、  １０００  監視カメラ、  １１００  監視カメラ、  １２００  映像符号化データ中継装置、  ２０００  映像監視局。
【図１】
2015195474.tif 000003
【図２】
2015195474.tif 000004
【図３】
2015195474.tif 000005
【図４】
2015195474.tif 000006
【図５】
2015195474.tif 000007
【図６】
2015195474.tif 000008
【図７】
2015195474.tif 000009