(57)【要約】  映像データ処理装置１０１は、選択して復号するメイン映像データストリームを切り替える場合に、新たに非選択となったメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも小さなメイン映像データストリームにするように、ネットワーク１１０を介して指示し、新たに選択されたメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも大きなメイン映像データストリームにするように、ネットワーク１１０を介して指示する。
2011013349.tif 000002
【特許請求の範囲】
【請求項１】
映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、
前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、
前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、
前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする
映像データ処理装置。
【請求項２】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項３】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が前記上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうち少なくとも送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項４】
前記選択部は、選択する符号化データストリームを選択中の符号化データストリームから第３の符号化データストリームに切り替える場合に、出力する符号化データストリームにおける切り替え後の最初のフレームが前記第３の符号化データストリームに含まれるＩフレームとなるタイミングで切り替えることを特徴とする
請求項１記載の映像データ処理装置。
【請求項５】
前記データ量指示部は、前記選択部が、選択する符号化データストリームを前記第１の符号化データストリームから前記第２の符号化データストリームに切り替えた場合に、前記第２の符号化データストリームを送信する符号化装置に対して、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項６】
複数の符号化装置と、当該複数の符号化装置とデータの送受信が可能な請求項１記載の映像データ処理装置とからなる映像データ処理システムであって、
前記符号化装置は、
映像データを、Ｉフレームを含む符号化データストリームに符号化する符号化部と、
前記映像データ処理装置からの指示を受信する指示受信部と、
前記映像データ処理装置に前記符号化部が符号化する符号化データストリームを送信する送信部とを備え、
前記符号化部は、前記指示受信部で受信された前記映像データ処理装置からの指示に基づいて、符号化する符号化データストリームにおけるＩフレーム間の時間間隔の変更と、Ｉフレームを量子化する際に用いる量子化テーブルの切り替えとを行うことを特徴とする
映像データ処理システム。
【請求項７】
前記符号化部は、Ｉフレームを量子化する際に用いる量子化テーブルを複数有し、
前記量子化テーブルのそれぞれは、映像データを符号化する際に用いられることで符号化される符号化データストリームの符号量が互いに異なる符号量となる量子化テーブルであって、
前記指示受信部が、前記映像データ処理装置から、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替える旨の指示を受けた場合において、
前記符号化部が有する、複数のＩフレームを量子化する際に用いる量子化テーブルの中に、映像データを符号化する際に用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる高圧縮量子化テーブルが存在するとき、前記符号化部は、Ｉフレームを量子化する際に用いている量子化テーブルを、現在用いている量子化テーブルから前記高圧縮量子化テーブルに切り替えることを特徴とする
請求項６記載の映像データ処理システム。
【請求項８】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示し、
前記指示受信部が、前記映像データ処理装置から、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替える旨の指示を受けた場合において、
前記符号化部が有する複数のＩフレームを量子化する際に用いる量子化テーブルの中に、映像データを符号化する際に用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる低圧縮量子化テーブルが存在するとき、前記符号化部は、Ｉフレームを量子化する際に用いている量子化テーブルを、現在用いている量子化テーブルから前記低圧縮量子化テーブルに切り替えることを特徴とする
請求項７記載の映像データ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化装置からの符号化データストリームを受信し、表示又は録画するために、受信する符号化データストリームの中から１つのデータストリームを選択して出力する映像データ処理装置に関する。
【背景技術】
【０００２】
近年、複数の監視カメラがネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者が監視対象の監視行うという、監視カメラシステムが普及している。【０００３】
このような監視カメラシステムにおいて、ネットワークにおけるデータ伝送量を抑えるために、各監視カメラは、撮影する映像を、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠した符号化方式（以後、単に「ＭＰＥＧ方式」と呼ぶ）等でリアルタイムに符号化し、単位時間当たりのデータ量を圧縮してから、符号化された映像データストリームを映像データ処理装置へ送信している。【０００４】
ＭＰＥＧ方式で符号化された映像データストリームは、Ｉフレーム（Intra-coded  フレーム）、Ｐフレーム（Predicted  フレーム）、Ｂフレーム（Bi-directional predicted  フレーム）の３種類のフレームからなるフレーム群で構成されている。【０００５】
ここで、Ｉフレームは、他のフレームのデータに依存することなくフレーム内のデータのみに基づいて符号化されるフレームであり、Ｐフレーム、Ｂフレームは、フレーム間におけるデータの差分に基づいて符号化されるフレームである。【０００６】
Ｉフレームは、Ｐフレーム、Ｂフレームに比べてデータ量が多いという特徴があるため、フレームレートが一定であれば、符号化された映像データストリームの単位時間当たりのデータ量は、符号化された映像データストリームにおける単位時間当たりのＩフレーム数が少なくなるように、すなわち、Ｉフレームの間隔が大きくなるように符号化されると少なくなり、逆に、Ｉフレームの間隔が小さくなるように符号化されると、符号化された映像データストリームの単位時間当たりのデータ量は多くなる。【０００７】
ＭＰＥＧ方式で符号化する場合に、Ｉフレームの間隔を変更して符号化することで、符号化された映像データストリームの単位時間当たりのデータ量を変更することができるという点に着目して、符号化した映像データストリームを送信するネットワークの負荷状況に応じて、Ｉフレームの間隔を変更して符号化するという技術（例えば、特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−４９５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＭＰＥＧ方式で符号化された映像データストリームの復号を開始する場合において、復号開始フレームがＩフレームのときには、Ｉフレームは他のフレームのデータに依存することなく復号することができるため、正しく映像データストリームの復号を開始することができるが、復号開始フレームがＰフレーム又はＢフレームであって、自フレームを復号するための参照フレームのデータが存在しないときにはそのＰフレーム又はＢフレームを正しく復号することができないため、正しく映像データストリームの復号を開始することができない。【００１０】
従って、複数の監視カメラからリアルタイムに送信されるＭＰＥＧ方式で符号化された映像データストリームから１つを選択して、選択中の映像データストリームをリアルタイムに復号してディスプレイに表示するといった監視カメラシステムであって、選択中でない映像データストリームのデータを保持していない監視カメラシステムにおいては、急いで映像データストリームを切り替えようとしても、切り替え先の映像データストリームのＩフレームが送られるまで待たないと、正しく映像データストリームの復号を開始することができない。【００１１】
例えば、複数の監視カメラとネットワークを介して接続している映像データ処理装置で映像を監視している監視者が、ある監視カメラの映像に、不審な行動を行う不審者を見つけて、すぐに他のアングルの監視カメラの映像に切り替えて、詳細に不審者による不審な行動を確認しようとした場合であっても、他のアングルの監視カメラの映像のＩフレームの位置まで待たないと映像を切り替えることができないという問題があり、映像が切り替るまでの間の不審者による不審な行動を見過ごしてしまう可能性があるという問題がある。【００１２】
この問題を解決するためには、切り替えられる可能性がある全ての監視カメラの映像データストリームに対してＩフレームの間隔を小さくする必要がある。【００１３】
しかしながら、単にＩフレームの間隔を小さくするだけでは、切り替えられる可能性がある監視カメラのそれぞれの送信する映像データストリームの単位時間当たりのデータ量が増加してしまうため、映像データストリームを伝送するネットワークの伝送ビットレートが増加し、映像データ処理装置が受信すべき単位時間当たりのデータ量が、ネットワークの伝送ビットレートの最大データ転送レートを超えてしまって、映像データ処理装置が正しく映像データストリームを受信できなくなる可能性があるという新たな問題が発生する。【００１４】
そこで、本発明は係る問題に鑑みてなされたものであり、ＭＰＥＧ方式で符号化された映像データストリームを取り扱う監視カメラシステムにおいて、ネットワークで伝送するデータの伝送ビットレートを抑えつつ監視カメラからの映像データストリームの切り替えを短時間で行うことができる監視カメラシステムを実現するための、映像データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために本発明に係る映像データ処理装置は、映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする。
【発明の効果】
【００１６】
上述の構成を備える本発明に係る映像データ処理装置によれば、ＭＰＥＧ方式で符号化された映像データストリームを取り扱う監視カメラシステムにおいて、ネットワークで伝送するデータの伝送ビットレートを抑えつつ監視カメラからの映像データストリームの切り替えを短時間で行うことができる監視カメラシステムを実現することができるようになる。
【図面の簡単な説明】
【００１７】
【図１】映像データ処理システム１０００の概要を示す構成図
【図２】監視カメラＡ１１１の構成を示す構成図
【図３】量子化テーブルの構造を示す構造図
【図４】メイン映像データストリームの概略データ構造を示すデータ構造図その１
【図５】メイン映像データストリームの概略データ構造を示すデータ構造図その２
【図６】符号化部２１２の構成の一部を示す構成図
【図７】映像データ処理装置１０１の構成を示す構成図
【図８】選択映像切り替え時の映像データ処理装置１０１の動作を示すフローチャート
【図９】選択映像切り替え時の監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャート
【図１０】４つのメイン映像データストリームの概略データ構造を示すデータ構造図
【図１１】データ復号部７０７が復号するメイン映像データストリームの概略データ構造を示すデータ構造図
【図１２】受信データレート変動時の映像データ処理装置１０１の動作を示すフローチャート
【図１３】受信データレート変動時の監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャート
【図１４】データ受信部７０３の受信データレートを示す受信データレート推移図
【図１５】４つのメイン映像データストリームの概略データ構造を示すデータ構造図
【図１６】映像データ処理装置１６００の構成を示す構成図
【発明を実施するための形態】
【００１８】
＜実施の形態＞
以下、本発明に係る映像データ処理装置を用いた映像データ処理システムの一実施形態として、４つの監視カメラ（＝符号化装置）がネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者が監視対象の監視を行うという、映像データ処理システムについて説明する。
【００１９】
＜構成＞
＜システムの概要＞
まず、本実施の形態に係る映像データ処理装置を用いた映像データ処理システムの概要について、図面を参照しながら説明する。
【００２０】
図１は、監視カメラＡ１１１と、監視カメラＢ１１２と、監視カメラＣ１１３と、監視カメラＤ１１４と、映像データ処理装置１０１と、ネットワーク１１０とから構成される本実施の形態に係る映像データ処理システム１０００の概要を示す概略構成図である。
【００２１】
監視カメラＡ１１１〜監視カメラＤ１１４は、例えばホテルの通路を監視するための映像を撮影する目的で通路の曲がり角毎に配置され、撮影する映像を、リアルタイムにＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）規格に準拠する符号化方式（以後、ＭＰＥＧ４−ＡＶＣ方式と呼ぶ）の符号化データストリームに符号化し、符号化した符号化データストリーム（以後、メイン映像データストリームと呼ぶ）を、ネットワーク１１０を介して映像データ処理装置１０１に送信する機能を有する。
【００２２】
この監視カメラＡ１１１〜監視カメラＤ１１４のそれぞれは、更に、メイン映像データストリームにおけるＩフレーム間の時間間隔（以後、単に「Ｉフレームの間隔」と呼ぶ）を変更する機能と、Ｉフレームを量子化する際に用いる量子化テーブルを変更して符号化する機能とを有している。
【００２３】
映像データ処理装置１０１は、ネットワーク１１０を介して受信する監視カメラＡ１１１〜監視カメラＤ１１４からの４つのメイン映像データストリームのうち１つのメイン映像データストリームを、データ保存部１０３で保存しながらリアルタイムに復号し、復号した映像をディスプレイＡ１０２で表示する。
【００２４】
このディスプレイＡ１０２で表示する映像は、ＮＴＳＣ（National Television System Committee）信号を、家庭用テレビ受像機で表示させた映像と同程度の解像度の映像である。
【００２５】
この映像データ処理装置１０１は、選択して復号するメイン映像データストリームを切り替える場合に、新たに非選択となったメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも小さなメイン映像データストリームにするように、ネットワーク１１０を介して指示し、新たに選択されたメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも大きなメイン映像データストリームにするように、ネットワーク１１０を介して指示する機能を有する。
【００２６】
新たに非選択とされた符号化データを送信する監視カメラに、Ｉフレームの間隔を小さくするように指示する理由は、映像データ処理装置１０１は、非選択とされている符号化データを保持しておらず、ＭＰＥＧ４−ＡＶＣ方式で符号化されたメイン映像データストリームを復号する場合においては、復号開始フレーム以前のフレームを保持していなければ、復号開始フレームがＩフレームになるまで待たないと正しく復号を開始することができないことから、メイン映像データストリームを切り替える要求を受けてから、最初に出現するＩフレームまでの待ち時間を短くするために、次に切り替えられる可能性があるメイン映像データストリームにおけるＩフレームの間隔を小さくしておく必要があるからである。
【００２７】
新たに選択された符号化データを送信する監視カメラに、Ｉフレームの間隔を大きくするように指示する理由は、新たに選択中になった監視カメラは切り替えられる可能性のある監視カメラでないので、Ｉフレームまでの待ち時間を短くするためにおこなっていたＩフレームの間隔を小さくするという必要がなくなり、逆にＩフレームの間隔を大きくすることで、符号化データのデータ量を減らすことができるからである。
【００２８】
図示していない監視者は、映像データ処理装置１０１のスイッチ１０５を操作することによって、ディスプレイＡ１０２が表示する映像を、現在表示中の映像から他の監視カメラの撮影している映像へ切り替えることができる。
【００２９】
さらに、監視カメラＡ１１１〜監視カメラＤ１１４は、撮影する映像を、上述のメイン映像データストリームの１／３２〜１／１２程度（後述）のデータレートである符号化データストリーム（以後、サブ映像データストリームと呼ぶ）にもリアルタイムに符号化し、サブ映像データストリームを、ネットワーク１１０を介して映像データ処理装置１０１に送信する機能を有する。
【００３０】
サブ映像データストリームは、単位時間当たりのデータ量を少なくするために、符号化時の符号量を少なくしたデータストリームであって、復号することで得られる映像（以後、サブ映像と呼ぶ）は、ＱＣＩＦ（Quarter Common Intermediate Format）程度の解像度の画質となっている。
【００３１】
映像データ処理装置１０１は、ネットワーク１１０を介して受信する監視カメラＡ１１１〜監視カメラＤ１１４からの４つのサブ映像データストリームをリアルタイムに復号し、サブ映像を、４つの映像を同時に表示することができるディスプレイＢ１０４で表示する。
【００３２】
ネットワーク１１０は、監視カメラＡ１１１〜監視カメラＤ１１４が出力するメイン映像データストリームと、サブ映像データストリームとを、映像データ処理装置１０１に有線方式で伝送し、映像データ処理装置１０１が出力する符号化方式に関する指示信号を、監視カメラＡ１１１〜監視カメラＤ１１４に有線方式で伝送するネットワークであって、伝送するデータの最大伝送ビットレートは例えば５０Ｍｂｐｓである。
【００３３】
映像データ処理システム１０００において、監視者は、ディスプレイＢ１０４に表示されている、４つの監視カメラＡ１１１〜監視カメラＤ１１４のＱＣＩＦ程度の解像度であるサブ映像をリアルタイムに見て、注視すべき映像を選択し、スイッチ１０５を操作することでディスプレイＡ１０２で表示するＮＴＳＣ程度の画質である映像の切り替えをおこなって、選択中の映像をディスプレイＡ１０２にリアルタイムに表示させつつ、データ保存部１０３に記憶させることで、ホテルの通路の監視を行っている。
【００３４】
以下、監視カメラＡ１１１〜監視カメラＤ１１４と、映像データ処理装置１０１の詳細について順に説明する。
【００３５】
＜監視カメラ＞
図２は、監視カメラＡ１１１の構成を示す構成図である。
【００３６】
監視カメラＡ１１１〜監視カメラＤ１１４のうち、ここでは代表して監視カメラＡ１１１のみの構成を示しているが、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４は、監視カメラＡ１１１と同じ構造であって、同じ性能の監視カメラである。
【００３７】
監視カメラＡ１１１は、撮像部２１１と、符号化部２１２と、データ送信部２１３と、指示受信部２１５と、量子化テーブル保持部２１６と、サブ符号化部２１７と、サブデータ送信部２１８とから構成されている。
【００３８】
撮像部２１１は、映像を撮影するカメラ機能と、撮影した映像をデジタル信号に変換してデジタル映像データを生成する機能とを持ち、符号化部２１２とサブ符号化部２１７に、生成したデジタル映像データを出力する機能を有する。
【００３９】
指示受信部２１５は、映像データ処理装置１０１からネットワーク１１０を介して送信される各信号、即ち、監視カメラＡ１１１が送信するメイン映像データストリームに含まれるＩフレームの間隔を今よりも短くする旨の指示である間隔縮小指示信号と、メイン映像データストリームに含まれるＩフレームの間隔を今よりも長くする旨の指示である間隔拡大指示信号と、メイン映像データストリームの符号量を少なくする旨の指示である符号量削減指示信号と、メイン映像データストリームの符号量を多くする旨の指示である符号量増大指示信号とを受信して、符号化部２１２へ出力する機能を有する。
【００４０】
量子化テーブル保持部２１６は、符号化部２１２がＩフレームの量子化をおこなう際に使用する量子化テーブルとして、第１の量子化テーブルと、第２の量子化テーブルとを保持している。
【００４１】
図３は、量子化テーブル保持部２１６で保持する第１の量子化テーブル３０１と第２の量子化テーブル３０２の具体的内容を示す図である。
【００４２】
各量子化テーブルは、水平周波数成分４つ、垂直周波数成分４つのマトリックス状の１６の周波数成分に対応する１６個の量子化ステップによって構成される。
【００４３】
第１の量子化テーブル３０１を構成する量子化ステップのそれぞれは、第２の量子化テーブル３０２における対応する周波数成分の量子化ステップよりも大きな値になっているため、第１の量子化テーブル３０１と第２の量子化テーブル３０２との関係は、Ｉフレームを量子化する際に第１の量子化テーブル３０１を使用した場合の符号量は、Ｉフレームを量子化する際に第２の量子化テーブル３０２を使用した場合の符号量よりも、少ないという関係にある。
【００４４】
符号化部２１２は、撮像部２１１から入力されるデジタル映像データを、ＭＰＥＧ４−ＡＶＣ規格に準拠する符号化方式で符号化し、符号化されたメイン映像データストリームを、データ送信部２１３に出力するブロックである。
【００４５】
この符号化部２１２は、入力されるデジタル映像データを、指示受信部２１５から入力される間隔縮小指示信号もしくは間隔拡大指示信号に応じて、メイン映像データストリームにおけるＩフレームの間隔を、１５フレームに１つの割合、もしくは、３フレームに１つの割合のいずれか一方の間隔で符号化し、指示受信部２１５から入力される符号量削減指示信号もしくは符号量増大指示信号に応じて、Ｉフレームを量子化する際に使用する量子化テーブルを、量子化テーブル保持部２１６が保持する、第１の量子化テーブル３０１、もしくは、第２の量子化テーブル３０２のいずれか一方の量子化テーブルを使用して符号化を行う機能を有する。
【００４６】
図４は、符号化部２１２が符号化するメイン映像データストリームを構成するフレームを、復号されてディスプレイＡ１０２に表示される順番に並べて表示している、メイン映像データストリームの概略データ構造図である。
【００４７】
図４において、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表している。
【００４８】
矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
【００４９】
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、図４上段の「Ｉフレーム間隔大」の列に示す通り、フレームの種類が、Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂの順番で１つのＧＯＰ（Grope Of Pictures）となるように符号化し、Ｉフレームの間隔が３フレームに１つの割合になるように符号化する場合には、図４下段の「Ｉフレーム間隔小」の列に示す通り、フレームの種類が、Ｉ−Ｐ−Ｐの順番で１つのＧＯＰとなるように符号化する。
【００５０】
どちらの符号化方法で入力されるデジタル映像データを符号化する場合も、５００ｍｓで１５枚のフレームが含まれるように符号化するので、フレームレートは３０ｆｐｓとなっている。
【００５１】
Ｐフレームは、符号化される場合に、表示される順番において、自フレームよりも早い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームを参照フレームとして符号化される。
【００５２】
Ｂフレームは、符号化される場合に、表示される順番において、自フレームよりも早い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームと、自フレームよりも遅い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームとの２つのフレームを参照フレームとして符号化される。
【００５３】
Ｐフレーム、Ｂフレームともに、参照フレームは自フレームが含まれるＧＯＰ内のフレームであって、自フレームが含まれないＧＯＰのフレームを参照フレームとすることはない。
【００５４】
符号化部２１２が、デジタル映像データを、前述のＩフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、符号化されたメイン映像データストリームの中にＢフレームが含まれるように符号化しているため、表示される順番とは異なった順番で符号化している。
【００５５】
例えば、Ｂフレーム４０２は、Ｉフレーム４０１とＰフレーム４０３とを参照フレームとし、Ｐフレーム４０３はＩフレーム４０１を参照フレームとしているため、Ｂフレーム４０２は、Ｉフレーム４０１とＰフレーム４０３とが符号化された後に符号化される。
【００５６】
これに対して、符号化部２１２が、デジタル映像データを、前述のＩフレームの間隔が３レームに１つの割合になるように符号化する場合には、表示される順番と同じ順番で符号化している。
【００５７】
これは、符号化されたメイン映像データストリームの中にＢフレームが含まれないように符号化しているためである。
【００５８】
図５は、符号化部２１２が符号化するメイン映像データストリームを構成するフレームを、符号化される順番に並べて表示している、メイン映像データストリームの概略データ構造図である。
【００５９】
図５において、図４と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表している。
【００６０】
矩形内に書かれている数字は、図４と同様に、表示される順番を示しており、図４中での順番と、図５中での順番が同じであれば、同一のフレームを示す。例えばＰフレーム５０３は表示される順番が「３」のフレームであって、図４中のＰフレーム４０３と同じフレームとなっている。
【００６１】
図５に示されているように、符号化部２１２が、デジタル映像データをＩフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、正しく復号されてディスプレイＡ１０２に表示される順番とは異なり、表示される順番で表記すると、３−１−２−６−４−５−９、、、、となる順番で符号化される。
【００６２】
符号化部２１２は、指示受信部２１５から間隔縮小指示信号を受け取った場合において、デジタル映像データをＩフレームの間隔が１５フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔が３フレームに１つの割合になるように変更して符号化し、Ｉフレームの間隔が３フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔を変更することはない。
【００６３】
また、この符号化部２１２は、指示受信部２１５から間隔増大指示信号を受け取った場合において、デジタル映像データをＩフレームの間隔が３フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔が１５フレームに１つの割合になるように変更して符号化し、Ｉフレームの間隔が１５フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔を変更することはない。
【００６４】
図６は、符号化部２１２の内部構造の一部であって、入力されるデジタル映像データからＩフレームを生成する部分の構成を示した、符号化部２１２の内部構成図である。
【００６５】
Ｉフレームを生成する部分以外の構成は、広く知られているＭＰＥＧ４−ＡＶＣ規格に準拠した符号化を行う符号化回路と比べて、特に特徴的なところはないため、ここでは説明を省略し、Ｉフレームを生成する部分の構成の説明に関しても、本実施の形態の説明のために必要と思われるところを中心に説明し、一部の説明を省略している。
【００６６】
符号化部２１２のＩフレームを生成する部分は、フレーム内予測回路６０１と、減算回路６０２と、映像切替スイッチ６０３と、直交変換回路６０４と、量子化回路６０５と、エントロピー符号化回路６０６と、テーブル切替スイッチ６０７と、Ｉフレーム符号化制御部６０８とから構成され、Ｉフレームとして符号化されるデジタル映像データが入力されると、符号化されたＩフレームを出力する機能を有する。
【００６７】
フレーム内予測回路６０１は、入力映像データのうち、フレーム内予測をする必要があるマクロブロック（以下、ＭＢ（Macro Block）と呼ぶ）に対して、ＭＢ単位でフレーム内予測を行って、予測したＭＢデータを、減算回路６０２へ出力する機能を有する。
【００６８】
ここでＭＢデータとは、水平方向４画素×垂直方向４画素の計１６画素から構成される画素データの集まりのことをいい、フレーム内予測回路６０１、減算回路６０２、直交変換回路６０４、量子化回路６０５は、このＭＢ単位でデータ処理を行う。
【００６９】
減算回路６０２は、フレーム内予測回路６０１から出力される予測したＭＢデータと、オリジナルのＭＢデータとを比較して、その差分である差分データを生成し、映像切替スイッチ６０３に出力する機能を有する。
【００７０】
映像切替スイッチ６０３は、減算回路６０２の出力である差分データと、入力画像データのうちフレーム内予測をする必要がないＭＢデータとのいずれか一方を選択して、直交変換回路６０４へ出力する機能を有する。
【００７１】
直交変換回路６０４は、映像切替スイッチ６０３の出力である、水平方向４画素×垂直方向４画素の計１６画素から構成される、ＭＢデータもしくは差分データを入力とし、離散関数を周波数成分に変換する直交変換を行い、水平周波数成分４つ×垂直周波数成分４つの計１６の周波数成分から構成される周波数成分の集まりを生成し、周波数成分データとして量子化回路６０５に出力する機能を有する。
【００７２】
テーブル切替スイッチ６０７は、Ｉフレーム符号化制御部６０８を介して受け取る、指示受信部２１５からの信号に従って、量子化テーブル保持部２１６が保持する第１の量子化テーブル３０１または第２の量子化テーブル３０２のいずれか一方の量子化テーブルを選択し、Ｉフレームを量子化する際に使用する量子化テーブルとして、量子化回路６０５へ出力する機能を有する。
【００７３】
このテーブル切替スイッチ６０７は、指示受信部２１５から符号量削減指示信号を受け取った場合には、第１の量子化テーブル３０１を選択して出力していれば選択する量子化テーブルを第２の量子化テーブル３０２に変更し、第２の量子化テーブル３０２を選択して出力していれば選択する量子化テーブルを変更することはない。
【００７４】
また、テーブル切替スイッチ６０７は、指示受信部２１５から符号量増大指示信号を受け取った場合には、第２の量子化テーブル３０２を選択して出力していれば選択する量子化テーブルを第１の量子化テーブル３０１に変更し、第１の量子化テーブル３０１を選択して出力していれば選択する量子化テーブルを変更することはない。
【００７５】
量子化回路６０５は、入力される周波数成分データを、テーブル切替スイッチ６０７によって選択されている量子化テーブルを使用して量子化し、量子化後データとして、エントロピー符号化回路６０６へ出力する機能を有する。
【００７６】
エントロピー符号化回路６０６は、入力される量子化後データを、コンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Cording））で符号化して出力する機能を有する。
【００７７】
このように、符号化部２１２は、指示受信部２１５から符号量削減指示信号を受け取った場合において、第１の量子化テーブル３０１を使用して符号化しているときは、使用する量子化テーブルを符号化された映像データの符号量が少なくなる第２の量子化テーブル３０２に切り替えて符号化し、指示受信部２１５から符号量増大指示信号を受け取った場合において、第２の量子化テーブル３０２を使用して符号化しているときは、使用する量子化テーブルを符号化された映像データの符号量が多くなる第１の量子化テーブル３０１に切り替えて符号化する。
【００７８】
符号化部２１２は、入力されるデジタル映像データを符号化することで、結果的に、出力するメイン映像データストリームのデータレートが、（１）Ｉフレームの間隔が１５フレームに１つの割合になるように符号化している場合：およそ４Ｍｂｐｓ、（２）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第１の量子化テーブル３０１を使用するとき：およそ３Ｍｂｐｓ、（３）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第２の量子化テーブル３０２を使用するとき：およそ８Ｍｂｐｓとなる。
【００７９】
但し、このデータレートは、撮影範囲内の物体の動作、種類、量等で変動する。
【００８０】
データ送信部２１３は、符号化部２１２から入力されるメイン映像データストリームを、ネットワーク１１０を介して映像データ処理装置１０１に出力する機能を有する。
【００８１】
サブ符号化部２１７は、撮像部２１１から入力されるデジタル映像データを、ＭＰＥＧ４−ＡＶＣ規格に準拠する符号化方式で符号化し、符号化したサブ映像データストリームを、サブデータ送信部２１８に出力する機能を有する。
【００８２】
サブ符号化部２１７は、入力されるデジタル映像データを符号化することで、結果的に、出力するサブ映像データストリームのデータレートが、およそ０．２５Ｍｂｐｓとなる。
【００８３】
但し、このデータレートも、撮影範囲内の物体の動作、種類、量等で変動する。
【００８４】
また、このデータレートは、符号化部２１２によって、第１の量子化テーブル３０１を使用して符号化されるメイン映像データストリームに比べて１／３２程度〜１／１２程度となっている。
【００８５】
サブデータ送信部２１８は、サブ符号化部２１７から入力されたサブ映像データストリームを、ネットワーク１１０を介して、映像データ処理装置１０１に送信する。
【００８６】
＜映像データ処理装置＞
図７は、映像データ処理装置１０１の構成を示す構成図である。
【００８７】
映像データ処理装置１０１は、指示送信部７０１と、データレート解析部７０２と、データ受信部７０３と、切替要求受付部７０５と、データ選択部７０６と、データ復号部７０７と、スイッチ１０５と、データ保存部１０３と、ディスプレイＡ１０２と、サブデータ受信部７０８と、サブデータ復号部７０９と、ディスプレイＢ１０４とから構成される。
【００８８】
データ受信部７０３は、ネットワーク１１０を介して、監視カメラＡ１１１〜監視カメラＤ１１４から送信されるメイン映像データストリームを受信し、受信するメイン映像データストリームをデータ選択部７０６に出力し、受信するデータのビット数を累積してカウントすることで、１００ｍｓ毎に受信するデータの１００ｍｓの平均受信データレートを計測してデータレート解析部７０２へ出力する機能を有する。
【００８９】
データレート解析部７０２は、データ受信部７０３からの平均受信データレートを入力として、指示送信部７０１に、平均受信データレートが例えば４０Ｍｂｐｓ以上の場合に符号量削減指示信号を出力し、平均受信データレートが例えば１０Ｍｂｐｓ以下の場合に符号量増大指示信号を出力する機能を有する。
【００９０】
スイッチ１０５は、図示しない監視者によって操作され、ディスプレイＡ１０２に表示させている映像を切り替えるために、監視カメラＡ１１１〜監視カメラＤ１１４のうちのいずれか１つの監視カメラからの映像を選択して、切り替えるスイッチである。
【００９１】
切替要求受付部７０５は、監視者がスイッチ１０５を操作した場合、監視者の操作に応じて、スイッチ１０５が操作される直前に選択されていた監視カメラに対する間隔縮小指示信号と、スイッチ１０５が操作されて新たに選択された監視カメラに対する間隔増大指示信号とを、指示送信部７０１に出力し、監視カメラＡ選択信号、監視カメラＢ選択信号、監視カメラＣ選択信号、又は、監視カメラＤ選択信号のいずれか１つの信号を、データ選択部７０６に出力する機能を有する。
【００９２】
指示送信部７０１は、データレート解析部７０２から符号量削減指示信号が入力されると、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量削減指示信号を送信し、データレート解析部７０２から符号量増大指示信号が入力されると、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量増大指示信号を送信する機能を有する。
【００９３】
さらに、この指示送信部７０１は、切替要求受付部７０５からスイッチ１０５が操作される直前に選択されていた監視カメラに対する間隔縮小指示信号が入力されると、データ選択部７０６から出力される、メイン映像データストリームの切り替えが完了した旨の信号である切替完了信号が入力されるのを待って、ネットワーク１１０を介してスイッチ１０５が操作される直前に選択されていた監視カメラへ、間隔縮小指示信号と符号量増大信号とを送信し、切替要求受付部７０５からスイッチ１０５が操作されて新たに選択された監視カメラに対する間隔増大指示信号が入力されると、データ選択部７０６から出力される切替完了信号が入力されるのを待って、ネットワーク１１０を介してスイッチ１０５が操作されて新たに選択された監視カメラへ、間隔増大指示信号を送信する機能を有する。
【００９４】
データ選択部７０６は、データ受信部７０３が出力する４つのメイン映像データストリームの中から１つを選択して、データ保存部１０３と、データ復号部７０７とに出力し、切替要求受付部７０５から、監視カメラＡ選択信号が入力されると、選択するメイン映像データストリームを、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、監視カメラＡ１１１のＩフレームとなるように、選択中のメイン映像データストリームから監視カメラＡ１１１のメイン映像データストリームに切り替えて出力する機能を有する。
【００９５】
このデータ選択部７０６は、監視カメラＡ選択信号が入力される場合と同様に、監視カメラＢ選択信号、監視カメラＣ選択信号、又は、監視カメラＤ選択信号が入力されると、選択するメイン映像データストリームを、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、監視カメラＢ１１２、監視カメラＣ１１３、又は監視カメラＤ１１４のＩフレームとなるように、選択中のメイン映像データストリームから監視カメラＢ１１２、監視カメラＣ１１３、又は、監視カメラＤ１１４のメイン映像データストリームに切り替えて出力する機能を有する。
【００９６】
また、このデータ選択部７０６は、選択するメイン映像データストリームを切り替えると、メイン映像データストリームの切り替えが完了した旨の信号である切替完了信号を指示送信部７０１に出力する。
【００９７】
データ保存部１０３は、ハードディスクドライブを有し、データ選択部７０６から入力されるメイン映像データストリームを、ハードディスクドライブに保存する。
【００９８】
データ復号部７０７は、データ選択部７０６から入力されるメイン映像データストリームを復号し、ディスプレイＡ１０２へ出力する。
【００９９】
ディスプレイＡ１０２は、データ選択部７０６によって復号されたメイン映像データストリームを表示する機能を有する。
【０１００】
サブデータ受信部７０８は、ネットワーク１１０を介して、監視カメラＡ１１１〜監視カメラＤ１１４から送信されるサブ映像データストリームを受信し、受信するサブ映像データストリームをサブデータ復号部７０９に出力する機能を有する。
【０１０１】
サブデータ復号部７０９は、サブデータ受信部から入力される４つのサブ映像データストリームを復号し、ディスプレイＢ１０４へ出力する機能を有する。
【０１０２】
ディスプレイＢ１０４は、４分割された画面のそれぞれに、サブデータ復号部７０９によって復号された４つのサブ映像データストリームを同時に表示する機能を有する。
【０１０３】
以上のように構成された、映像データ処理システム１０００の動作について、以下、ディスプレイＡ１０２に表示させる選択映像を監視者が切り替える場合と、映像データ処理装置１０１が受信するデータレートが変動した場合とについて説明する。
【０１０４】
＜動作＞
＜概要＞
以下、上述のように構成された映像データ処理システム１０００について、その動作の概要を説明する。
【０１０５】
監視カメラＡ１１１〜監視カメラＤ１１４は、撮影している映像をメイン映像データストリームとサブ映像データストリームとにリアルタイムに符号化して、ネットワーク１１０を介して映像データ処理装置１０１へ送信している。
【０１０６】
映像データ処理装置１０１は、４つの監視カメラＡ１１１〜監視カメラＤ１１４からのメイン映像データストリームの中から１つのメイン映像データストリームを選択して、リアルタイムにデータ保存部１０３に記憶しつつ復号し、復号した映像をディスプレイＡ１０２に表示し、４つの監視カメラＡ１１１〜監視カメラＤ１１４からのサブ映像データストリームをリアルタイムに復号してディスプレイＢ１０４に表示している。
【０１０７】
監視者が、ディスプレイＡ１０２に表示されている映像を、現在選択中の監視カメラ（以後、切替前監視カメラと呼ぶ）が撮影する映像から、新たな監視カメラ（以後、切替後監視カメラと呼ぶ）が撮影する映像に切り替えようとしてスイッチ１０５を操作すると、切替前監視カメラに間隔縮小信号を出力し、切替後監視カメラに間隔増大指示信号と符号量増大指示信号とを出力するという動作を行う。
【０１０８】
選択映像を切り替える場合における上述の動作は、次に切り替えられる可能性があるメイン映像データストリームにおけるＩフレームの間隔を小さくしておくことで、映像データ処理装置１０１が、メイン映像データストリームを切り替える要求を受けてから、メイン映像データストリームを切り換えるまでの時間を短くするために行う動作である。
【０１０９】
また、映像データ処理装置１０１は、ネットワーク１１０を介して受信するデータの受信データレートが変動して、ネットワーク１１０が伝送することができるデータの最大伝送ビットレート（例えば５０Ｍｂｐｓ）に対してあまり余裕がないビットレート（例えば４０Ｍｂｐｓ）となる場合には、４つの監視カメラＡ１１１〜監視カメラＤ１１４のうち、ディスプレイＡ１０２で表示している映像を撮影していない３つの監視カメラに対して、メイン映像データストリームの符号量を少なくして符号化する旨の指示を出し、ネットワーク１１０が伝送することができるデータの最大伝送ビットレートに対して十分に余裕があるビットレート（例えば１０Ｍｂｐｓ）を下回る場合には、４つの監視カメラＡ１１１〜監視カメラＤ１１４のうち、ディスプレイＡ１０２で表示している映像を撮影していない３つの監視カメラに対して、メイン映像データストリームの符号量を多くして符号化する旨の指示を出すという動作を行う。
【０１１０】
受信するデータレートが変動する場合における上述の動作は、映像データ処理装置１０１が受信する受信データレートが、ネットワーク１１０が伝送することができるデータの最大伝送ビットレートを超えないようにするために行う動作である。
【０１１１】
本実施の形態における映像データ処理システム１０００の特徴的な動作は、上述の（１）選択映像を切り替える場合の動作と、（２）受信するデータレートが変動する場合の動作とにあるため、以下、この２つの動作について詳細に説明する。
【０１１２】
＜選択映像を切り替える場合の動作＞
ディスプレイＡ１０２に表示させる映像を切り替える場合における、映像データ処理システム１０００の動作について、図面を用いながら説明する。
【０１１３】
図８は、ディスプレイＡ１０２に表示させる映像を切り替える場合において、映像データ処理装置１０１の動作を示すフローチャートである。
【０１１４】
監視者は、ディスプレイＡ１０２で表示する映像を、切替前監視カメラが撮影する映像から、切替後監視カメラが撮影する映像に切り替えようとしてスイッチ１０５を操作すると、切替要求受付部７０５は、監視者からの切替前監視カメラの映像から切替後監視カメラの映像に切り替える旨の要求を受け付ける（ステップＳ８００：Ｙｅｓ）。
【０１１５】
切替要求受付部７０５は、この要求を受け付けると、指示送信部７０１に、切替前監視カメラに対する間隔縮小指示信号と、切替後監視カメラに対する間隔増大指示信号とを出力し、データ選択部７０６に、切替後監視カメラ選択信号を出力する。
【０１１６】
データ選択部７０６は、切替後監視カメラ選択信号を受信すると、データ受信部から送られてくる切替後監視カメラからのメイン映像データストリームにおけるフレームがＩフレームであるか否かを調べ（ステップＳ８１０）、Ｉフレームであれば（ステップＳ８１０：Ｙｅｓ）、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、そのＩフレームとなるように、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから切替後監視カメラのメイン映像データストリームに切り替えて（ステップＳ８３０）出力し、指示送信部７０１に切替完了信号を出力する。
【０１１７】
データ選択部７０６は、ステップＳ８１０において切替後監視カメラからのメイン映像データストリームにおけるフレームがＩフレームでなければ（ステップＳ８１０：Ｎｏ）、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、そのフレーム以降に最初に入力されるＩフレームとなるように（ステップＳ８２０）、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから切替後監視カメラのメイン映像データストリームに切り替えて（ステップＳ８３０）出力し、指示送信部７０１に切替完了信号を出力する。
【０１１８】
指示送信部７０１は、既に、切替前監視カメラに対する間隔縮小指示信号と、切替後監視カメラに対する間隔増大指示信号とを受け取っているので、データ選択部７０６から切替完了信号を受け取ると、ネットワーク１１０を介して、切替後監視カメラに、間隔増大指示信号と符号量増大指示信号とを出力し（ステップＳ８４０）、切替前監視カメラに、間隔縮小指示信号を出力する（ステップＳ８５０）。
【０１１９】
ステップＳ８００において、監視カメラを切り替える旨の要求を受け付けない場合（ステップＳ８００：Ｎｏ）、もしくは、ステップＳ８５０の処理を終えた場合は、再びステップＳ８００に戻って、監視者がスイッチ１０５を操作して、監視カメラを切り替える要求を出すまで待つ。
【０１２０】
図９は、ディスプレイＡ１０２に表示させる映像を切り替える場合において、監視カメラＡ１１１の動作を示すフローチャートである。
【０１２１】
監視カメラＡ１１１の指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から、間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００：Ｙｅｓ）、符号化部２１２に、間隔増大指示信号と符号量増大指示信号とを出力する。
【０１２２】
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が３フレームに１つの割合か、１５フレームに１つの割合かのいずれか一方のＩフレームの間隔で符号化しており、間隔増大指示信号と符号量増大指示信号とを受け取ると、符号化しているＩフレームの間隔が３フレームに１つの割合であれば（ステップＳ９１０：Ｙｅｓ）、Ｉフレームの間隔を１５フレームに１つの割合になるように変更し（ステップＳ９２０）、符号化しているＩフレームの間隔が１５フレームに１つの割合であれば（ステップＳ９１０：Ｎｏ）、Ｉフレームの間隔を変更しない。
【０１２３】
さらに、符号化部２１２は、Ｉフレームを符号化する際に使用している量子化テーブルが第２の量子化テーブル３０２であれば（ステップＳ９３０：Ｙｅｓ）、使用する量子化テーブルを切り替えず、Ｉフレームを符号化する際に使用している量子化テーブルが第１の量子化テーブル３０１であれば（ステップＳ９３０：Ｎｏ）、使用する量子化テーブルを、第１の量子化テーブル３０１から第２の量子化テーブルに切り替える（ステップＳ９４０）。
【０１２４】
ステップＳ９００において間隔増大指示信号と符号量増大指示信号とを受け取らない場合（ステップＳ９００：Ｎｏ）、ステップＳ９３０においてＩフレームを符号化する際に使用している量子化テーブルが、第１の量子化テーブル３０１である場合（ステップＳ９３０：Ｙｅｓ）、もしくは、ステップＳ９４０の処理を終えた場合において、符号化部２１２は、ネットワーク１１０を介して、映像データ処理装置１０１から間隔縮小指示信号を受け取ると（ステップＳ９５０：Ｙｅｓ）、符号化部２１２に、間隔縮小指示信号を出力する。
【０１２５】
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が３フレームに１つの割合か、１５フレームに１つの割合かのいずれか一方のＩフレームの間隔で符号化しており、間隔縮小指示信号を受け取ると、符号化しているＩフレームの間隔が１５フレームに１つの割合であれば（ステップＳ９６０：Ｙｅｓ）、Ｉフレームの間隔を３フレームに１つの割合になるように変更し（ステップＳ９７０）、符号化しているＩフレームの間隔が３フレームに１つの割合であれば（ステップＳ９６０：Ｎｏ）、Ｉフレームの間隔を変更しない。
【０１２６】
ステップＳ９５０において間隔縮小指示信号を受け取らない場合（ステップＳ９５０：Ｎｏ）、ステップＳ９６０において符号化しているＩフレームの間隔が３フレームに１つの割合である場合（ステップＳ９６０：Ｎｏ）、もしくは、ステップＳ９７０の処理を終えた場合には、ステップＳ９００に戻って処理を繰り返す。
【０１２７】
以下、ディスプレイＡ１０２に監視カメラＡ１１１の映像が表示されている場合に、監視者が時刻ｔ１に、ディスプレイＡ１０２に監視カメラＢ１１２の映像が表示されるようにスイッチ１０５を操作した場合についての具体的動作について、図面を用いて説明する。
【０１２８】
図１０は、ディスプレイＡ１０２に監視カメラＡ１１１からの映像を表示されている場合おいて、監視者が時刻ｔ１に、ディスプレイＡ１０２に監視カメラＢ１１２の映像が表示されるようにスイッチ１０５を操作したときの、データ受信部７０３が受信する４つのメイン映像データストリームの概略データ構造図であって、図４と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
【０１２９】
また、実線のフレームは、データ選択部７０６が選択しているメイン映像データストリームのフレームを示し、破線のフレームは、データ選択部７０６が選択していないメイン映像データストリームのフレームを示している。
【０１３０】
ここでは、監視カメラＡ１１１からのメイン映像データストリームは、Ｉフレームを量子化する際に使用する量子化テーブルとして、第２の量子化テーブル３０２を用いて符号化されているものとして説明する。
【０１３１】
時刻０ｓでは、データ選択部７０６は、監視カメラＡ１１１からのメイン映像データストリームを選択しており、監視カメラＡ１１１からのメイン映像データストリームは、Ｉフレームの間隔が１５フレームに１つの割合に符号化されており、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４からのメイン映像データストリームは、Ｉフレームの間隔が３フレームに１つの割合で符号化されている。
【０１３２】
時刻０ｓにおいて、監視者は、ディスプレイＢ１０４に４分割して表示されている、ＱＣＩＦ程度の解像度と画質の映像である、監視カメラＡ１１１〜監視カメラＤ１１４からのサブ映像をみて、ホテルの通路を監視している。
【０１３３】
この時、ディスプレイＡ１０２には、監視カメラＡ１１１の撮影する映像が表示されており、データ保存部１０３では、監視カメラＡ１１１からのメイン映像データストリームが保存されている。
【０１３４】
監視者は、ディスプレイＢ１０４で表示されている、監視カメラＢ１１２の撮影する映像に不審な動作を見つけたため、ディスプレイＡ１０２でよりよい画質の映像を見ようと考えて、時刻ｔ１に、ディスプレイＡ１０２で表示する映像を、監視カメラＡ１１１の撮影する映像から、監視カメラＢ１１２の撮影する映像へと切り替えるように、スイッチ１０５を操作する。
【０１３５】
切替要求受付部７０５は、時刻ｔ１に監視カメラＢ１１２への切替要求を受け付けると（ステップＳ８００：Ｙｅｓ）、指示送信部７０１に、監視カメラＡ１１１に対する間隔縮小指示信号と、監視カメラＢ１１２に対する間隔増大指示信号とを出力し、データ選択部７０６に、監視カメラＢ選択信号を出力する。
【０１３６】
データ選択部７０６は、時刻ｔ１における監視カメラＢ１１２からのメイン映像データストリームにおけるフレームがＰフレームであるため（ステップＳ８１０：Ｎｏ）、２フレーム後の時刻ｔ２まで待って、最初に現れるＩフレームの位置で、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから、切替後監視カメラのメイン映像データストリームに切り替え（ステップＳ８３０）、指示送信部７０１に切替完了信号を出力する。
【０１３７】
時刻ｔ２に、データ選択部７０６が選択するメイン映像データストリームを、監視カメラＢ１１２からのメイン映像データストリームに切り替えたため、時刻ｔ２以降は、ディスプレイＡ１０２は監視カメラＢ１１２の映像を表示し、データ保存部１０３は監視カメラＢ１１２からのメイン映像データストリームを保存する。
【０１３８】
指示送信部７０１は、データ選択部７０６から切替完了信号を受け取ると、時刻ｔ３にネットワーク１１０を介して、監視カメラＢ１１２に間隔増大指示信号と符号量増大指示信号とを出力し（ステップＳ８４０）、監視カメラＡ１１１に間隔縮小指示信号を出力する（ステップＳ８５０）。
【０１３９】
監視カメラＢ１１２の指示受信部２１５は、ネットワーク１１０を介して間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００：Ｙｅｓ）、監視カメラＢ１１２の符号化部２１２に、間隔増大指示信号と符号量増大指示信号とを出力する。
【０１４０】
監視カメラＢ１１２の符号化部２１２は、間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００）、現在符号化しているＩフレームの間隔が３フレームに１つの割合なので（ステップＳ９１０：Ｙｅｓ）、Ｉフレームの間隔を１５フレームに１つの割合になるように変更して（ステップＳ９２０）符号化を行う（時刻ｔ４）。
【０１４１】
また、監視カメラＢ１１２の符号化部２１２は、時刻ｔ４以前において、Ｉフレームを量子化する際に使用する量子化テーブルは第２の量子化テーブル３０２なので（ステップＳ９３０：Ｙｅｓ）、時刻ｔ４以降も、そのまま第２の量子化テーブル３０２を使用して符号化する。
【０１４２】
監視カメラＢ１１２のデータ送信部２１３が、ネットワーク１１０を介して映像データ処理装置１０１送信するメイン映像データストリームにおける、時刻ｔ４以降の最初のフレームは、フレーム１００３である。
【０１４３】
フレーム１００３の次に送信すべきフレームであるフレーム１００１と、フレーム１００２は、本来、それぞれ、１３番目のＢフレームと、１４番目のＢフレームであるべきであるが、１３番目のフレームと１４番目のフレームは、共にＩフレームの間隔が３フレームに１つとなるように符号化されていた期間のフレームとなるため、既に、それぞれ、１３番目のＰフレームと、１４番目のＰフレームとして作成されて映像データ処理装置１０１に送信されている。
【０１４４】
従って、フレーム１００１とフレーム１００２とは作成される必要がないため、監視カメラＢ１１２の符号化部２１２は、フレーム１００１とフレーム１００２とを作成しない。
【０１４５】
監視カメラＡ１１１の指示受信部２１５は、ネットワーク１１０を介して間隔縮小指示信号を受け取ると（ステップＳ９００：Ｙｅｓ）、監視カメラＡ１１１の符号化部２１２に、間隔縮小指示信号を出力する。
【０１４６】
監視カメラＡ１１１の符号化部２１２は、間隔縮小指示信号を受け取ると（ステップＳ９５０：Ｙｅｓ）、現在符号化しているＩフレームの間隔が１５フレームに１つの割合なので（ステップＳ９６０：Ｙｅｓ）、Ｉフレームの間隔を３フレームに１つの割合になるように変更して（ステップＳ９７０）符号化を行う（時刻ｔ４）。
【０１４７】
監視カメラＡ１１１のデータ送信部２１３が、ネットワーク１１０を介して映像データ処理装置１０１送信するメイン映像データストリームにおける、時刻ｔ４以降の最初のフレームは、フレーム１００４である。
【０１４８】
この間、監視カメラＣ１１３、監視カメラＤ１１４は、撮影する映像をＩフレームの間隔が３フレームに１つの割合になるように符号化して、ネットワーク１１０を介して、映像データ処理装置１０１に送信している。
【０１４９】
図１１は、データ復号部７０７が復号するメイン映像データストリームの概略データ構成図であって、図１０と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
【０１５０】
図１１の上段は、データ選択部７０６の出力に補正をかけなかった場合のデータ復号部７０７が復号するメイン映像データストリームの概略データ構成図であって、図１１の下段は、データ選択部７０６の出力に補正をかけた場合（後述）のデータ復号部が復号するメイン映像データストリームの概略データ構成図である。
【０１５１】
本実施の形態では、データ選択部７０６は、出力に補正をかけて出力している。
【０１５２】
データ選択部７０６の出力に補正をかけなければ、時刻ｔ１で切替要求を受け付けてから３フレーム後のフレーム１１０１と４フレーム後のフレーム１１０２とは、それぞれ、監視カメラＡ１１１のメイン映像データストリームのフレームである図１０中のフレーム１００５、フレーム１００６であるべきであるが、時刻ｔ２にデータ選択部７０６が選択するメイン映像データストリームを、監視カメラＢ１１２のメイン映像データストリームのフレームに切り替えているので、フレーム１００５、フレーム１００６は、データ復号部７０７には入力されず、従って、データ復号部７０７はフレーム１００５とフレーム１００６とを復号することができない。
【０１５３】
復号されないフレームがあると、復号された映像が乱れてしまうので、ここでは、データ選択部７０６は、出力データに補正をすることで、フレーム１１０２の次のフレームであって、監視カメラＢ１１２のメイン映像データストリームに含まれるフレーム１１０３を、図１１の下段に示すように、フレーム１１０４、フレーム１１０５として出力する。
【０１５４】
このように、時刻ｔ１に監視者がスイッチ１０５を操作した３フレーム後から、切り替え先の監視カメラＢ１１２からの映像が、ディスプレイＡ１０２に表示される。
【０１５５】
＜受信するデータレートが変動する場合の動作＞
映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理システム１０００の動作について、図面を用いながら説明する。
【０１５６】
図１２は、映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理装置１０１の動作を示すフローチャートである。
【０１５７】
データレート解析部７０２は、１００ｍｓ毎に、データ受信部７０３から出力される、データ受信部７０３が受信するデータの１００ｍｓの平均受信データレートを受け取る。
【０１５８】
データレート解析部７０２は、平均受信データレートを受け取ると、平均受信データレートが４０Ｍｂｐｓ未満か否かを判断し（ステップＳ１２００）、平均受信データレートが４０Ｍｂｐｓ未満の場合（ステップＳ１２００：Ｙｅｓ）、平均受信データレートが１０Ｍｂｐｓ以上か否かを判断し（ステップＳ１２２０）、平均受信データレートが１０Ｍｂｐｓ以上の場合（ステップＳ１２２０：Ｙｅｓ）、次にデータ受信部７０３から出力される平均受信データレートを待つ。
【０１５９】
ステップＳ１２００において、平均受信データレートが４０Ｍｂｐｓ以上であれば（ステップＳ１２００：Ｎｏ）、データレート解析部７０２は、ネットワーク１１０におけるデータ伝送量の総和が、最大データ伝送量（５０Ｍｂｐｓ）に対して余裕が十分でないとして指示送信部７０１に符号量削減指示信号を出力し（ステップＳ１２１０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量削減指示信号を送信して、ステップＳ１２２０の処理に移行する。
【０１６０】
ステップＳ１２２０において、平均受信データレートが１０Ｍｂｐｓ以下であれば（ステップＳ１２２０：Ｎｏ）、データレート解析部７０２は、ネットワーク１１０におけるデータ伝送量の総和が、最大データ転送レート（５０Ｍｂｐｓ）に対して余裕が十分にあるとして指示送信部７０１に符号量増大指示信号を出力し（ステップＳ１２３０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量増大指示信号を送信して、データレート解析部７０２は、次にデータ受信部７０３から出力される平均受信データレートを待つ。
【０１６１】
図１３は、映像データ処理装置１０１が受信するデータレートが変動した場合における、監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャートである。
【０１６２】
指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から符号量削減指示信号を受け取ると（ステップＳ１３００：Ｙｅｓ）、符号化部２１２に符号量削減指示信号を出力する。
【０１６３】
符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが、第１の量子化テーブル３０１であるか否かを調べ（ステップＳ１３１０）、第１の量子化テーブル３０１であれば（ステップＳ１３１０：Ｙｅｓ）Ｉフレームを量子化する際に使用している量子化テーブルとして、そのまま第１の量子化テーブル３０１を使用し、第２の量子化テーブル３０２であれば（ステップＳ１３１０：Ｎｏ）Ｉフレームを量子化する際に使用している量子化テーブルとして、第１の量子化テーブル３０１を使用するように変更する（ステップＳ１３２０）。
【０１６４】
ステップＳ１３００において、指示受信部２１５が符号量削減指示信号を受け取らない場合と、ステップＳ１３１０において、符号化部２１２がＩフレームを量子化する際に使用している量子化テーブルが第１の量子化テーブル３０１である場合と、ステップＳ１３２０の処理が終わった場合に、指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から符号量増大指示信号を受け取っているか否かを判定し（ステップＳ１３３０）、符号量増大指示を受け取っていると（ステップＳ１３３０：Ｙｅｓ）、符号化部２１２に符号量増大指示信号を出力する。
【０１６５】
符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが、第２の量子化テーブル３０２であるか否かを調べ（ステップＳ１３４０）、第２の量子化テーブル３０２であれば（ステップＳ１３４０：Ｙｅｓ）Ｉフレームを量子化する際に使用している量子化テーブルとして、そのまま第２の量子化テーブル３０２を使用し、第１の量子化テーブル３０１であれば（ステップＳ１３４０：Ｎｏ）Ｉフレームを量子化する際に使用している量子化テーブルとして、第２の量子化テーブル３０２を使用するように変更する（ステップＳ１３５０）。
【０１６６】
ステップＳ１３３０において、指示受信部２１５が符号量増大指示信号を受け取っていない場合と、ステップＳ１３４０において、符号化部２１２がＩフレームを量子化する際に使用している量子化テーブルが第２の量子化テーブル３０２である場合と、ステップＳ１３５０の処理が終わった場合に、再びステップＳ１３００の処理を開始する。
【０１６７】
以下、映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理システム１０００の具体的動作について、図面を用いて説明する。
【０１６８】
図１４は、データ受信部７０３が受信しているデータのデータレートの時間的な変動を示す、受信データレート推移図である。
【０１６９】
図１５は、ディスプレイＡ１０２で、監視カメラＡ１１１からの映像を表示されている場合おいて、データ受信部７０３が受信しているデータのデータレートが変動したときの、４つのメイン映像データストリームの概略データ構造図であって、図１０と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示し、実線のフレームは、データ選択部７０６が選択しているメイン映像データストリームのフレームを示し、破線のフレームは、データ選択部７０６が選択していないメイン映像データストリームのフレームを示している。
【０１７０】
また、Ｉフレームの下に矢印と共に記載されている数字は、そのＩフレームを符号化する際に使用する量子化テーブルの種類を示し、「１」は第１の量子化テーブル３０１であることを示し、「２」は第２の量子化テーブル３０２であることを示している。
【０１７１】
時刻ｔ０における受信データレートは、図１４に示すように１０Ｍｂｐｓ以上４０Ｍｂｐｓ未満の範囲内にあり、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４は、図１５に示すように、Ｉフレームを量子化する際に使用する量子化テーブルとして、第２の量子化テーブル３０２を使用して符号化している。
【０１７２】
図１４に示すように、時刻ｔ１０以降、次第に受信データレートが増加し、時刻ｔ１１に受信データレートが４０Ｍｂｐｓ以上になると、データレート解析部７０２は、データ受信部７０３から受け取る平均受信データレートが４０Ｍｂｐｓ以上になり（ステップＳ１２００：Ｎｏ）、指示送信部７０１に符号量削減指示信号を出力し（ステップＳ１２１０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４へ、符号量削減指示信号を送信する（時刻ｔ１２）。
【０１７３】
監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４の指示受信部２１５は、符号量削減指示信号を受信すると（ステップＳ１３００：Ｙｅｓ）、符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが第２の量子化テーブル３０２なので、Ｉフレームを量子化する際に使用している量子化テーブルを、第２の量子化テーブル３０２から第１の量子化テーブル３０１に切り替えて（ステップＳ１３１０：Ｎｏ，ステップＳ１３２０）符号化する。
【０１７４】
すなわち、図１５に示すように、監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４のメイン映像データストリームに含まれるＩフレームは、時刻ｔ１２以前のＩフレームは、第１の量子化テーブル３０１を使用して量子化されていたが、時刻ｔ１２以降のＩフレームは、第２の量子化テーブル３０２を使用して量子化されるようになる。
【０１７５】
従って、時刻ｔ１２以前に比べて、時刻ｔ１２以降のメイン映像データストリームの符号量は少なくなるため、図１４に示すように、時刻ｔ１２を過ぎると、受信データレートは小さくなる。
【０１７６】
その後、次第に受信データレートが減少し、時刻ｔ１３に受信データレートが１０Ｍｂｐｓ未満になると、データレート解析部７０２は、データ受信部７０３から受け取る平均受信データレートが１０Ｍｂｐｓ未満になり（ステップＳ１２２０：Ｎｏ）、指示送信部７０１に符号量増大指示信号を出力し（ステップＳ１２３０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４へ、符号量増大指示信号を送信する（時刻ｔ１４）。
【０１７７】
監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４の指示受信部２１５は、符号量増大指示信号を受信すると（ステップＳ１３３０：Ｙｅｓ）、符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが第１の量子化テーブル３０１なので、Ｉフレームを量子化する際に使用している量子化テーブルを、第１の量子化テーブル３０１から第２の量子化テーブル３０２に切り替えて（ステップＳ１３４０：Ｎｏ，ステップＳ１３５０）符号化する。
【０１７８】
すなわち、図１５に示すように、監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４のメイン映像データストリームに含まれるＩフレームは、時刻ｔ１４以前のＩフレームは、第２の量子化テーブル３０２を使用して量子化されていたが、時刻ｔ１４以降のＩフレームは、第１の量子化テーブル３０１を使用して量子化されるようになる。
【０１７９】
従って、時刻ｔ１４以前に比べて、時刻ｔ１４以降のメイン映像データストリームの符号量は多くなるため、図１４に示すように、時刻ｔ１４を過ぎると、受信データレートは多くなる。
＜補足＞
以上、本発明に係る映像データ処理装置を用いた映像データ処理システムの一実施形態として、４つの監視カメラ（＝符号化装置）がネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者がホテルの通路の監視を行うという、映像データ処理システムについて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの映像データ処理装置に限られないことはもちろんである。
（１）実施の形態において、４つの監視カメラＡ１１１〜監視カメラＤ１１４がネットワーク１１０を介して映像データ処理装置１０１と接続するとして説明したが、監視カメラの個数は４以外の数であっても構わない。
（２）実施の形態において、ネットワーク１１０が有線方式でデータを転送するとして説明したが、無線方式でデータを転送するネットワークや、有線方式と無線方式を併用してデータを転送するネットワークであるとしても構わない。
【０１８０】
例えば、信号線を設置するのが困難な場所に配置されている監視カメラがある場合等には、無線方式でデータを転送するネットワークが有効である。
（３）実施の形態において、ネットワーク１１０は、伝送するデータの最大伝送ビットレートを５０Ｍｂｐｓであるとしたが、これ以外の最大伝送ビットレートであっても構わないし、最大伝送ビットレートが時間と共に変動する構成であっても構わない。
【０１８１】
ただし、データレート解析部７０２が符号量削減指示信号を出力する基準である、平均受信データレートの上限閾値を適切に設定して、映像データ処理装置１０１が、ネットワーク１１０が伝送するデータの最大伝送ビットレートを超えないようにすることが重要であって、特に、時間と共に最大伝送ビットレートが変動する場合には、最大伝送ビットレートの変動に対応して、平均受信データレートの上限閾値を変動させるように設定するか、最大伝送ビットレートの変動下限値を超えないように、平均受信データレートの上限閾値を設定する必要がある。
（４）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、出力するメイン映像データストリームのデータレートが、結果的に、（１）Ｉフレームの間隔が１５フレームに１つの割合になるように符号化している場合：およそ４Ｍｂｐｓ、（２）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第１の量子化テーブル３０１を使用するとき：およそ３Ｍｂｐｓ、（３）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第２の量子化テーブル３０２を使用するとき：およそ８Ｍｂｐｓとなるとしたが、これ以外のデータレートになるように符号化しても構わない。
【０１８２】
メイン映像データストリームの符号量は、符号量が多いほど復号映像の画質が良くなり、符号量が少ないほどネットワーク１１０で伝送するデータのビットレートが下がるため、復号映像の画質とビットレートとのトレードオフで、最適な符号量に設定することが望ましい。
（５）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、メイン映像データストリームの１／３２〜１／１２程度のデータレートであるサブ映像データストリームを送信し、映像データ処理装置１０１は、受信した４つのサブ映像データストリームを復号してディスプレイＢ１０４で表示し、監視者はディスプレイＢ１０４の画面を見ながら、スイッチ１０５を操作するという構成について説明したが、サブ映像データストリームの符号量は、これ以外の符号量であっても構わないし、サブ映像データストリームを送信しない構成としても構わない。
【０１８３】
サブ映像データストリームの符号量は、符号量が多いほど復号映像の画質が良くなり、符号量が少ないほどネットワーク１１０で伝送するデータのビットレートが下がるため、画質とビットレートとのトレードオフで、最適な符号量に設定することが望ましい。
【０１８４】
サブ映像データストリームを送信しない構成としては、例えば、監視カメラの配置場所毎に、赤外線センサー等の人の動作を感知するセンサーを配置しておいて、監視者は、各赤外線センサーの信号を見ながら、スイッチ１０５を操作するという構成等が考えられる。
（６）実施の形態において、Ｉフレームを量子化する際に使用する量子化テーブルとして、第１の量子化テーブル３０１と第２の量子化テーブル３０２との２つの量子化テーブルのうちいずれか一方の量子化テーブルを使用するとしているが、３つ以上の量子化テーブルのうちのいずれか一つの量子化テーブルを使用するとしても構わない。
【０１８５】
量子化テーブルの個数が多いほど、よりきめ細かく、メイン映像データストリームの符号量を調節することができるため、必要とされる伝送ビットレートの調整頻度等に応じて、量子化テーブルの個数を決めることが望ましい。
（７）実施の形態において、Ｉフレームを量子化する際に使用する量子化テーブルとして、構成する各周波数成分の量子化ステップが、図３に記載されている数値である場合についての例を示したが、構成する各周波数成分の量子化ステップが、この例以外の数値であっても構わない。
【０１８６】
各周波数成分の量子化ステップの数値は、符号量と、複号される映像の画質とに影響を与える為、両者のトレードオフを勘案して、最適な数値にすることが望ましい。
（８）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、撮影した映像をＭＰＥＧ４−ＡＶＣ方式で符号化する場合について説明したが、符号化する符号化方式がＩフレームを含む符号化方式であって、映像データ処理装置１０１からの指示に従って、符号化された映像データストリームにおけるＩフレームの間隔を変更することと、符号化する際に使用する量子化テーブルを変更することができる符号化方式であれば、符号化する符号化方式が、ＭＰＥＧ４−ＡＶＣ方式以外の符号化方式、例えば、ＭＰＥＧ２、ＭＰＥＧ４方式等であっても構わない。
【０１８７】
符号化方式毎に、符号化時に必要な演算量、符号化された符号化データの符号量等に特徴があるため、システムに最も適した符号化方式を選ぶことが望ましい。
（９）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、同じ性能の監視カメラであるとしたが、異なる性能の監視カメラであっても構わない。
【０１８８】
例えば、セキュリティ上重要な範囲を撮影する監視カメラは、他の監視カメラに比べて、解像度が高く、画素数の多い監視カメラにして、より詳細な映像を撮影するようしても構わない。
（１０）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４が符号化するメイン映像データストリームのＩフレームの間隔は、１５フレームに１つの割合か、３フレームに１つの割合のいずれか一方の割合であって、そのフレームレートは３０ｆｐｓとしている場合について説明したが、これ以外のＩフレームの間隔であってもかまわないし、３０ｆｐｓ以外のフレームレートであっても構わない。
【０１８９】
メイン映像データストリームにおける、Ｉフレームの間隔とフレームレートとは、選択する映像を切り替える場合において最初のＩフレームの位置まで待つ待ち時間と、画質と、
ネットワークが伝送する伝送データのビットレートとに影響するため、これらのトレードオフを勘案して、最も適切な組み合わせを選択することが望ましい。
（１１）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４が符号化するメイン映像データストリームのフレームレートは、３０ｆｐｓとして固定である構成について説明したが、フレームレートが可変となる構成であっても構わない。
【０１９０】
ただし、このフレームレートが可変となる構成では、メイン映像データストリームにおけるＩフレームの割合ではなくて、Ｉフレームから次のＩフレームまでの時間を制御することで、メイン映像データストリームを切り替える要求を受けてから最初に出現するＩフレームまでの待ち時間を制御することとなる。
（１２）実施の形態において、映像データ処理装置１０１は、監視カメラに符号量削減指示信号、又は、符号量増大指示信号を送信する場合に、データ選択部７０６が選択しているメイン映像データストリームを符号化していない監視カメラの全てに対して、符号量削減指示信号、又は、符号量増大指示信号を送信するとしていたが、データ選択部７０６が選択しているメイン映像データストリームを符号化していない監視カメラのうちからいくつかの監視カメラを選んで送信するとしても構わない。
【０１９１】
例えば、送信しているメイン映像データストリームのデータレートが最も多い監視カメラに対して、符号量削減指示信号、又は、符号量増大指示信号を送信するといった選び方等が考えられる。
【０１９２】
このようにすることで、復号することによって得られる映像の画質が劣化するメイン映像データストリームの数を抑えつつ、映像データ処理装置１０１が受信する符号量の制御をすることができるようになる。
（１３）実施の形態において、データ受信部７０３は、受信するデータの１００ｍｓ毎に、受信するデータの１００ｍｓの平均受信データレートを計測してデータレート解析部７０２へ出力するとしているが、１００ｍｓ毎以外の平均受信データレートを計測して、１００ｍｓ毎以外にデータレート解析部７０２へ出力するとしても構わない。
【０１９３】
平均受信データレートを計測する間隔を短くすれば、受信データレートの変動をよりきめ細かく反映した平均受信データレートとなるため、受信データレート変動に対して、より迅速に対応する必要があれば、平均受信データレートを計測する間隔を短くすることが考えられる。
（１４）以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。
【０１９４】
（ａ）本発明の一実施形態に係る画像分類装置は、映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする。
【０１９５】
上述の構成を備える画像分類装置は、切り替えられる可能性がある符号化装置に対して、符号化する符号化データストリームにおけるＩフレーム間の時間間隔を小さくするように指示することができるようになる。
【０１９６】
このため、選択する符号化データストリームを切り替える場合に、正しく符号化データストリームの復号を開始するために必要な、切り替え先の符号化データストリームにおけるＩフレームの位置になるまで待つ待ち時間を短くすることができるという効果を有する。
【０１９７】
さらに、受信している単位時間当たりのデータ量が上限閾値より多い場合に、符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が少なくなる量子化テーブルに切り替えるように指示することができるようになる。
【０１９８】
このため、上限閾値を、符号化データストリームを伝送するネットワークの最大データ転送レートよりも少なくなるように設定しておくことで、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートを超えてしまわないように、伝送ビットレートの増加を抑えることができるという効果を有する。
【０１９９】
図１６は、上述の変形例における映像データ処理装置１６００の機能構成図である。
【０２００】
同図に示される通り、映像データ処理装置１６００は、データ受信部１６０１と選択部１６０２とデータ量指示部１６０３と間隔指示部１６０４とから構成され、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４と接続する。
【０２０１】
データ受信部１６０１は、ネットワーク１１０と選択部１６０２とデータ量指示部１６０４とに接続し、映像データを符号化する複数の符号化装置である監視カメラＡ１１１〜監視カメラＤ１１４から並行してネットワーク１１０を介して送信される、Ｉフレームを含む符号化データストリームを受信する機能を有する。
【０２０２】
一例として、データ受信部１６０１は、実施の形態におけるデータ受信部７０３（図７参照）として実現される。
【０２０３】
選択部１６０２は、データ受信部１６０１と間隔指示部１６０３とに接続し、データ受信部１６０１で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する機能を有する。
【０２０４】
一例として、選択部１６０２は、実施の形態におけるデータ選択部７０６として実現される。
【０２０５】
間隔指示部１６０３は、ネットワーク１１０と選択部１６０２とに接続し、選択部１６０２が、選択する符号化データストリームを第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する機能を有する。
【０２０６】
一例として、間隔指示部１６０３は、実施の形態における指示送信部７０１の一部とデータ選択部７０６の一部と切替要求受付部７０５として実現される。
【０２０７】
データ量指示部１６０４は、ネットワーク１１０とデータ受信部１６０１とに接続し、データ受信部１６０１が受信している単位時間当たりのデータ量が上限閾値より多い場合には、選択部１６０２が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示する機能を有する。
【０２０８】
一例として、データ量指示部１６０４は、実施の形態における指示送信部７０１の一部とデータレート解析部７０２として実現される。
（ｂ）また、前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０２０９】
これにより、受信している単位時間当たりのデータ量が下限閾値より少ない場合に、符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が多くなる量子化テーブルに切り替えるように指示することができるようになるため、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートに対して余裕があれば、符号化装置から伝送される符号化データストリームを、符号量の多い、すなわち、画質の良い符号化データストリームにすることができるという効果を有する。
（ｃ）また、前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が前記上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうち少なくとも送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０２１０】
これにより、送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が少なくなる量子化テーブルに切り替えるように指示することができるようになるため、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートを超えてしまわないように、効率よく伝送ビットレートの増加を抑えることができるという効果を有する。
（ｄ）また、前記選択部は、選択する符号化データストリームを選択中の符号化データストリームから第３の符号化データストリームに切り替える場合に、出力する符号化データストリームにおける切り替え後の最初のフレームが前記第３の符号化データストリームに含まれるＩフレームとなるタイミングで切り替えることを特徴とするとしてもよい。
【０２１１】
これにより、選択する符号化データストリームを切り替える場合に、切り替え後の最初のフレームが、他のフレームの情報を用いずに復号されるフレームであるＩフレームとなるので、切り替え後の符号化データストリームにおいて正しく復号できないフレームがなくなるという効果を有する。
（ｅ）また、前記データ量指示部は、前記選択部が、選択する符号化データストリームを前記第１の符号化データストリームから前記第２の符号化データストリームに切り替えた場合に、前記第２の符号化データストリームを送信する符号化装置に対して、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０２１２】
これにより、新たに選択されることになった符号化装置から伝送される符号化データストリームを、符号量の多い、すなわち、画質の良い符号化データストリームにすることができるという効果を有する。
【産業上の利用可能性】
【０２１３】
本発明は、監視カメラシステム等に代表される、複数の符号化された映像データストリームを取り扱うシステムに広く利用することができる。
【符号の説明】
【０２１４】
１０１  映像データ処理装置
１０２  ディスプレイＡ
１０３  データ保存部
１０４  ディスプレイＢ
７０１  指示送信部
７０２  データレート解析部
７０３  データ受信部
７０５  切替要求受付部
７０６  データ選択部
７０７  データ復号部
７０８  サブデータ受信部
７０９  サブデータ復号部
【図１】
2011013349.tif 000003
【図２】
2011013349.tif 000004
【図３】
2011013349.tif 000005
【図４】
2011013349.tif 000006
【図５】
2011013349.tif 000007
【図６】
2011013349.tif 000008
【図７】
2011013349.tif 000009
【図８】
2011013349.tif 000010
【図９】
2011013349.tif 000011
【図１０】
2011013349.tif 000012
【図１１】
2011013349.tif 000013
【図１２】
2011013349.tif 000014
【図１３】
2011013349.tif 000015
【図１４】
2011013349.tif 000016
【図１５】
2011013349.tif 000017
【図１６】
2011013349.tif 000018
【手続補正書】
【提出日】平成23年3月23日(2011.3.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化装置からの符号化データストリームを受信し、表示又は録画するために、受信する符号化データストリームの中から１つのデータストリームを選択して出力する映像データ処理装置に関する。
【背景技術】
【０００２】
近年、複数の監視カメラがネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者が監視対象の監視行うという、監視カメラシステムが普及している。
【０００３】
このような監視カメラシステムにおいて、ネットワークにおけるデータ伝送量を抑えるために、各監視カメラは、撮影する映像を、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠した符号化方式（以後、単に「ＭＰＥＧ方式」と呼ぶ）等でリアルタイムに符号化し、単位時間当たりのデータ量を圧縮してから、符号化された映像データストリームを映像データ処理装置へ送信している。
【０００４】
ＭＰＥＧ方式で符号化された映像データストリームは、Ｉフレーム（Intra-coded  フレーム）、Ｐフレーム（Predicted  フレーム）、Ｂフレーム（Bi-directional predicted  フレーム）の３種類のフレームからなるフレーム群で構成されている。
【０００５】
ここで、Ｉフレームは、他のフレームのデータに依存することなくフレーム内のデータのみに基づいて符号化されるフレームであり、Ｐフレーム、Ｂフレームは、フレーム間におけるデータの差分に基づいて符号化されるフレームである。
【０００６】
Ｉフレームは、Ｐフレーム、Ｂフレームに比べてデータ量が多いという特徴があるため、フレームレートが一定であれば、符号化された映像データストリームの単位時間当たりのデータ量は、符号化された映像データストリームにおける単位時間当たりのＩフレーム数が少なくなるように、すなわち、Ｉフレームの間隔が大きくなるように符号化されると少なくなり、逆に、Ｉフレームの間隔が小さくなるように符号化されると、符号化された映像データストリームの単位時間当たりのデータ量は多くなる。
【０００７】
ＭＰＥＧ方式で符号化する場合に、Ｉフレームの間隔を変更して符号化することで、符号化された映像データストリームの単位時間当たりのデータ量を変更することができるという点に着目して、符号化した映像データストリームを送信するネットワークの負荷状況に応じて、Ｉフレームの間隔を変更して符号化するという技術（例えば、特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−４９５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＭＰＥＧ方式で符号化された映像データストリームの復号を開始する場合において、復号開始フレームがＩフレームのときには、Ｉフレームは他のフレームのデータに依存することなく復号することができるため、正しく映像データストリームの復号を開始することができるが、復号開始フレームがＰフレーム又はＢフレームであって、自フレームを復号するための参照フレームのデータが存在しないときにはそのＰフレーム又はＢフレームを正しく復号することができないため、正しく映像データストリームの復号を開始することができない。
【００１０】
従って、複数の監視カメラからリアルタイムに送信されるＭＰＥＧ方式で符号化された映像データストリームから１つを選択して、選択中の映像データストリームをリアルタイムに復号してディスプレイに表示するといった監視カメラシステムであって、選択中でない映像データストリームのデータを保持していない監視カメラシステムにおいては、急いで映像データストリームを切り替えようとしても、切り替え先の映像データストリームのＩフレームが送られるまで待たないと、正しく映像データストリームの復号を開始することができない。
【００１１】
例えば、複数の監視カメラとネットワークを介して接続している映像データ処理装置で映像を監視している監視者が、ある監視カメラの映像に、不審な行動を行う不審者を見つけて、すぐに他のアングルの監視カメラの映像に切り替えて、詳細に不審者による不審な行動を確認しようとした場合であっても、他のアングルの監視カメラの映像のＩフレームの位置まで待たないと映像を切り替えることができないという問題があり、映像が切り替るまでの間の不審者による不審な行動を見過ごしてしまう可能性があるという問題がある。
【００１２】
この問題を解決するためには、切り替えられる可能性がある全ての監視カメラの映像データストリームに対してＩフレームの間隔を小さくする必要がある。
しかしながら、単にＩフレームの間隔を小さくするだけでは、切り替えられる可能性がある監視カメラのそれぞれの送信する映像データストリームの単位時間当たりのデータ量が増加してしまうため、映像データストリームを伝送するネットワークの伝送ビットレートが増加し、映像データ処理装置が受信すべき単位時間当たりのデータ量が、ネットワークの伝送ビットレートの最大データ転送レートを超えてしまって、映像データ処理装置が正しく映像データストリームを受信できなくなる可能性があるという新たな問題が発生する。
【００１３】
そこで、本発明は係る問題に鑑みてなされたものであり、ＭＰＥＧ方式で符号化された映像データストリームを取り扱う監視カメラシステムにおいて、ネットワークで伝送するデータの伝送ビットレートを抑えつつ監視カメラからの映像データストリームの切り替えを短時間で行うことができる監視カメラシステムを実現するための、映像データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために本発明に係る映像データ処理装置は、映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする。
【発明の効果】
【００１５】
上述の構成を備える本発明に係る映像データ処理装置によれば、ＭＰＥＧ方式で符号化された映像データストリームを取り扱う監視カメラシステムにおいて、ネットワークで伝送するデータの伝送ビットレートを抑えつつ監視カメラからの映像データストリームの切り替えを短時間で行うことができる監視カメラシステムを実現することができるようになる。
【図面の簡単な説明】
【００１６】
【図１】映像データ処理システム１０００の概要を示す構成図
【図２】監視カメラＡ１１１の構成を示す構成図
【図３】量子化テーブルの構造を示す構造図
【図４】メイン映像データストリームの概略データ構造を示すデータ構造図その１
【図５】メイン映像データストリームの概略データ構造を示すデータ構造図その２
【図６】符号化部２１２の構成の一部を示す構成図
【図７】映像データ処理装置１０１の構成を示す構成図
【図８】選択映像切り替え時の映像データ処理装置１０１の動作を示すフローチャート
【図９】選択映像切り替え時の監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャート
【図１０】４つのメイン映像データストリームの概略データ構造を示すデータ構造図
【図１１】データ復号部７０７が復号するメイン映像データストリームの概略データ構造を示すデータ構造図
【図１２】受信データレート変動時の映像データ処理装置１０１の動作を示すフローチャート
【図１３】受信データレート変動時の監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャート
【図１４】データ受信部７０３の受信データレートを示す受信データレート推移図
【図１５】４つのメイン映像データストリームの概略データ構造を示すデータ構造図
【図１６】映像データ処理装置１６００の構成を示す構成図
【発明を実施するための形態】
【００１７】
＜実施の形態＞
以下、本発明に係る映像データ処理装置を用いた映像データ処理システムの一実施形態として、４つの監視カメラ（＝符号化装置）がネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者が監視対象の監視を行うという、映像データ処理システムについて説明する。
【００１８】
＜構成＞
＜システムの概要＞
まず、本実施の形態に係る映像データ処理装置を用いた映像データ処理システムの概要について、図面を参照しながら説明する。
【００１９】
図１は、監視カメラＡ１１１と、監視カメラＢ１１２と、監視カメラＣ１１３と、監視カメラＤ１１４と、映像データ処理装置１０１と、ネットワーク１１０とから構成される本実施の形態に係る映像データ処理システム１０００の概要を示す概略構成図である。
【００２０】
監視カメラＡ１１１〜監視カメラＤ１１４は、例えばホテルの通路を監視するための映像を撮影する目的で通路の曲がり角毎に配置され、撮影する映像を、リアルタイムにＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）規格に準拠する符号化方式（以後、ＭＰＥＧ４−ＡＶＣ方式と呼ぶ）の符号化データストリームに符号化し、符号化した符号化データストリーム（以後、メイン映像データストリームと呼ぶ）を、ネットワーク１１０を介して映像データ処理装置１０１に送信する機能を有する。
【００２１】
この監視カメラＡ１１１〜監視カメラＤ１１４のそれぞれは、更に、メイン映像データストリームにおけるＩフレーム間の時間間隔（以後、単に「Ｉフレームの間隔」と呼ぶ）を変更する機能と、Ｉフレームを量子化する際に用いる量子化テーブルを変更して符号化する機能とを有している。
【００２２】
映像データ処理装置１０１は、ネットワーク１１０を介して受信する監視カメラＡ１１１〜監視カメラＤ１１４からの４つのメイン映像データストリームのうち１つのメイン映像データストリームを、データ保存部１０３で保存しながらリアルタイムに復号し、復号した映像をディスプレイＡ１０２で表示する。
【００２３】
このディスプレイＡ１０２で表示する映像は、ＮＴＳＣ（National Television System Committee）信号を、家庭用テレビ受像機で表示させた映像と同程度の解像度の映像である。
【００２４】
この映像データ処理装置１０１は、選択して復号するメイン映像データストリームを切り替える場合に、新たに非選択となったメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも小さなメイン映像データストリームにするように、ネットワーク１１０を介して指示し、新たに選択されたメイン映像データストリームを符号化している監視カメラに対して、Ｉフレームの間隔が現在よりも大きなメイン映像データストリームにするように、ネットワーク１１０を介して指示する機能を有する。
【００２５】
新たに非選択とされた符号化データを送信する監視カメラに、Ｉフレームの間隔を小さくするように指示する理由は、映像データ処理装置１０１は、非選択とされている符号化データを保持しておらず、ＭＰＥＧ４−ＡＶＣ方式で符号化されたメイン映像データストリームを復号する場合においては、復号開始フレーム以前のフレームを保持していなければ、復号開始フレームがＩフレームになるまで待たないと正しく復号を開始することができないことから、メイン映像データストリームを切り替える要求を受けてから、最初に出現するＩフレームまでの待ち時間を短くするために、次に切り替えられる可能性があるメイン映像データストリームにおけるＩフレームの間隔を小さくしておく必要があるからである。
【００２６】
新たに選択された符号化データを送信する監視カメラに、Ｉフレームの間隔を大きくするように指示する理由は、新たに選択中になった監視カメラは切り替えられる可能性のある監視カメラでないので、Ｉフレームまでの待ち時間を短くするためにおこなっていたＩフレームの間隔を小さくするという必要がなくなり、逆にＩフレームの間隔を大きくすることで、符号化データのデータ量を減らすことができるからである。
【００２７】
図示していない監視者は、映像データ処理装置１０１のスイッチ１０５を操作することによって、ディスプレイＡ１０２が表示する映像を、現在表示中の映像から他の監視カメラの撮影している映像へ切り替えることができる。
【００２８】
さらに、監視カメラＡ１１１〜監視カメラＤ１１４は、撮影する映像を、上述のメイン映像データストリームの１／３２〜１／１２程度（後述）のデータレートである符号化データストリーム（以後、サブ映像データストリームと呼ぶ）にもリアルタイムに符号化し、サブ映像データストリームを、ネットワーク１１０を介して映像データ処理装置１０１に送信する機能を有する。
【００２９】
サブ映像データストリームは、単位時間当たりのデータ量を少なくするために、符号化時の符号量を少なくしたデータストリームであって、復号することで得られる映像（以後、サブ映像と呼ぶ）は、ＱＣＩＦ（Quarter Common Intermediate Format）程度の解像度の画質となっている。
【００３０】
映像データ処理装置１０１は、ネットワーク１１０を介して受信する監視カメラＡ１１１〜監視カメラＤ１１４からの４つのサブ映像データストリームをリアルタイムに復号し、サブ映像を、４つの映像を同時に表示することができるディスプレイＢ１０４で表示する。
【００３１】
ネットワーク１１０は、監視カメラＡ１１１〜監視カメラＤ１１４が出力するメイン映像データストリームと、サブ映像データストリームとを、映像データ処理装置１０１に有線方式で伝送し、映像データ処理装置１０１が出力する符号化方式に関する指示信号を、監視カメラＡ１１１〜監視カメラＤ１１４に有線方式で伝送するネットワークであって、伝送するデータの最大伝送ビットレートは例えば５０Ｍｂｐｓである。
【００３２】
映像データ処理システム１０００において、監視者は、ディスプレイＢ１０４に表示されている、４つの監視カメラＡ１１１〜監視カメラＤ１１４のＱＣＩＦ程度の解像度であるサブ映像をリアルタイムに見て、注視すべき映像を選択し、スイッチ１０５を操作することでディスプレイＡ１０２で表示するＮＴＳＣ程度の画質である映像の切り替えをおこなって、選択中の映像をディスプレイＡ１０２にリアルタイムに表示させつつ、データ保存部１０３に記憶させることで、ホテルの通路の監視を行っている。
【００３３】
以下、監視カメラＡ１１１〜監視カメラＤ１１４と、映像データ処理装置１０１の詳細について順に説明する。
＜監視カメラ＞
図２は、監視カメラＡ１１１の構成を示す構成図である。
【００３４】
監視カメラＡ１１１〜監視カメラＤ１１４のうち、ここでは代表して監視カメラＡ１１１のみの構成を示しているが、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４は、監視カメラＡ１１１と同じ構造であって、同じ性能の監視カメラである。
【００３５】
監視カメラＡ１１１は、撮像部２１１と、符号化部２１２と、データ送信部２１３と、指示受信部２１５と、量子化テーブル保持部２１６と、サブ符号化部２１７と、サブデータ送信部２１８とから構成されている。
【００３６】
撮像部２１１は、映像を撮影するカメラ機能と、撮影した映像をデジタル信号に変換してデジタル映像データを生成する機能とを持ち、符号化部２１２とサブ符号化部２１７に、生成したデジタル映像データを出力する機能を有する。
【００３７】
指示受信部２１５は、映像データ処理装置１０１からネットワーク１１０を介して送信される各信号、即ち、監視カメラＡ１１１が送信するメイン映像データストリームに含まれるＩフレームの間隔を今よりも短くする旨の指示である間隔縮小指示信号と、メイン映像データストリームに含まれるＩフレームの間隔を今よりも長くする旨の指示である間隔拡大指示信号と、メイン映像データストリームの符号量を少なくする旨の指示である符号量削減指示信号と、メイン映像データストリームの符号量を多くする旨の指示である符号量増大指示信号とを受信して、符号化部２１２へ出力する機能を有する。
【００３８】
量子化テーブル保持部２１６は、符号化部２１２がＩフレームの量子化をおこなう際に使用する量子化テーブルとして、第１の量子化テーブルと、第２の量子化テーブルとを保持している。
【００３９】
図３は、量子化テーブル保持部２１６で保持する第１の量子化テーブル３０１と第２の量子化テーブル３０２の具体的内容を示す図である。
各量子化テーブルは、水平周波数成分４つ、垂直周波数成分４つのマトリックス状の１６の周波数成分に対応する１６個の量子化ステップによって構成される。
【００４０】
第１の量子化テーブル３０１を構成する量子化ステップのそれぞれは、第２の量子化テーブル３０２における対応する周波数成分の量子化ステップよりも大きな値になっているため、第１の量子化テーブル３０１と第２の量子化テーブル３０２との関係は、Ｉフレームを量子化する際に第１の量子化テーブル３０１を使用した場合の符号量は、Ｉフレームを量子化する際に第２の量子化テーブル３０２を使用した場合の符号量よりも、少ないという関係にある。
【００４１】
符号化部２１２は、撮像部２１１から入力されるデジタル映像データを、ＭＰＥＧ４−ＡＶＣ規格に準拠する符号化方式で符号化し、符号化されたメイン映像データストリームを、データ送信部２１３に出力するブロックである。
【００４２】
この符号化部２１２は、入力されるデジタル映像データを、指示受信部２１５から入力される間隔縮小指示信号もしくは間隔拡大指示信号に応じて、メイン映像データストリームにおけるＩフレームの間隔を、１５フレームに１つの割合、もしくは、３フレームに１つの割合のいずれか一方の間隔で符号化し、指示受信部２１５から入力される符号量削減指示信号もしくは符号量増大指示信号に応じて、Ｉフレームを量子化する際に使用する量子化テーブルを、量子化テーブル保持部２１６が保持する、第１の量子化テーブル３０１、もしくは、第２の量子化テーブル３０２のいずれか一方の量子化テーブルを使用して符号化を行う機能を有する。
【００４３】
図４は、符号化部２１２が符号化するメイン映像データストリームを構成するフレームを、復号されてディスプレイＡ１０２に表示される順番に並べて表示している、メイン映像データストリームの概略データ構造図である。
【００４４】
図４において、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表している。
【００４５】
矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、図４上段の「Ｉフレーム間隔大」の列に示す通り、フレームの種類が、Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂの順番で１つのＧＯＰ（Grope Of Pictures）となるように符号化し、Ｉフレームの間隔が３フレームに１つの割合になるように符号化する場合には、図４下段の「Ｉフレーム間隔小」の列に示す通り、フレームの種類が、Ｉ−Ｐ−Ｐの順番で１つのＧＯＰとなるように符号化する。
【００４６】
どちらの符号化方法で入力されるデジタル映像データを符号化する場合も、５００ｍｓで１５枚のフレームが含まれるように符号化するので、フレームレートは３０ｆｐｓとなっている。
【００４７】
Ｐフレームは、符号化される場合に、表示される順番において、自フレームよりも早い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームを参照フレームとして符号化される。
【００４８】
Ｂフレームは、符号化される場合に、表示される順番において、自フレームよりも早い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームと、自フレームよりも遅い順番のＩフレームもしくはＰフレームのうち、最も自フレームの順番に近いフレームとの２つのフレームを参照フレームとして符号化される。
【００４９】
Ｐフレーム、Ｂフレームともに、参照フレームは自フレームが含まれるＧＯＰ内のフレームであって、自フレームが含まれないＧＯＰのフレームを参照フレームとすることはない。
【００５０】
符号化部２１２が、デジタル映像データを、前述のＩフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、符号化されたメイン映像データストリームの中にＢフレームが含まれるように符号化しているため、表示される順番とは異なった順番で符号化している。
【００５１】
例えば、Ｂフレーム４０２は、Ｉフレーム４０１とＰフレーム４０３とを参照フレームとし、Ｐフレーム４０３はＩフレーム４０１を参照フレームとしているため、Ｂフレーム４０２は、Ｉフレーム４０１とＰフレーム４０３とが符号化された後に符号化される。
【００５２】
これに対して、符号化部２１２が、デジタル映像データを、前述のＩフレームの間隔が３レームに１つの割合になるように符号化する場合には、表示される順番と同じ順番で符号化している。
【００５３】
これは、符号化されたメイン映像データストリームの中にＢフレームが含まれないように符号化しているためである。
図５は、符号化部２１２が符号化するメイン映像データストリームを構成するフレームを、符号化される順番に並べて表示している、メイン映像データストリームの概略データ構造図である。
【００５４】
図５において、図４と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表している。
【００５５】
矩形内に書かれている数字は、図４と同様に、表示される順番を示しており、図４中での順番と、図５中での順番が同じであれば、同一のフレームを示す。例えばＰフレーム５０３は表示される順番が「３」のフレームであって、図４中のＰフレーム４０３と同じフレームとなっている。
【００５６】
図５に示されているように、符号化部２１２が、デジタル映像データをＩフレームの間隔が１５フレームに１つの割合になるように符号化する場合には、正しく復号されてディスプレイＡ１０２に表示される順番とは異なり、表示される順番で表記すると、３−１−２−６−４−５−９、、、、となる順番で符号化される。
【００５７】
符号化部２１２は、指示受信部２１５から間隔縮小指示信号を受け取った場合において、デジタル映像データをＩフレームの間隔が１５フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔が３フレームに１つの割合になるように変更して符号化し、Ｉフレームの間隔が３フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔を変更することはない。
【００５８】
また、この符号化部２１２は、指示受信部２１５から間隔増大指示信号を受け取った場合において、デジタル映像データをＩフレームの間隔が３フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔が１５フレームに１つの割合になるように変更して符号化し、Ｉフレームの間隔が１５フレームに１つの割合になるように符号化しているときは、Ｉフレームの間隔を変更することはない。
【００５９】
図６は、符号化部２１２の内部構造の一部であって、入力されるデジタル映像データからＩフレームを生成する部分の構成を示した、符号化部２１２の内部構成図である。
Ｉフレームを生成する部分以外の構成は、広く知られているＭＰＥＧ４−ＡＶＣ規格に準拠した符号化を行う符号化回路と比べて、特に特徴的なところはないため、ここでは説明を省略し、Ｉフレームを生成する部分の構成の説明に関しても、本実施の形態の説明のために必要と思われるところを中心に説明し、一部の説明を省略している。
【００６０】
符号化部２１２のＩフレームを生成する部分は、フレーム内予測回路６０１と、減算回路６０２と、映像切替スイッチ６０３と、直交変換回路６０４と、量子化回路６０５と、エントロピー符号化回路６０６と、テーブル切替スイッチ６０７と、Ｉフレーム符号化制御部６０８とから構成され、Ｉフレームとして符号化されるデジタル映像データが入力されると、符号化されたＩフレームを出力する機能を有する。
【００６１】
フレーム内予測回路６０１は、入力映像データのうち、フレーム内予測をする必要があるマクロブロック（以下、ＭＢ（Macro Block）と呼ぶ）に対して、ＭＢ単位でフレーム内予測を行って、予測したＭＢデータを、減算回路６０２へ出力する機能を有する。
【００６２】
ここでＭＢデータとは、水平方向４画素×垂直方向４画素の計１６画素から構成される画素データの集まりのことをいい、フレーム内予測回路６０１、減算回路６０２、直交変換回路６０４、量子化回路６０５は、このＭＢ単位でデータ処理を行う。
【００６３】
減算回路６０２は、フレーム内予測回路６０１から出力される予測したＭＢデータと、オリジナルのＭＢデータとを比較して、その差分である差分データを生成し、映像切替スイッチ６０３に出力する機能を有する。
【００６４】
映像切替スイッチ６０３は、減算回路６０２の出力である差分データと、入力画像データのうちフレーム内予測をする必要がないＭＢデータとのいずれか一方を選択して、直交変換回路６０４へ出力する機能を有する。
【００６５】
直交変換回路６０４は、映像切替スイッチ６０３の出力である、水平方向４画素×垂直方向４画素の計１６画素から構成される、ＭＢデータもしくは差分データを入力とし、離散関数を周波数成分に変換する直交変換を行い、水平周波数成分４つ×垂直周波数成分４つの計１６の周波数成分から構成される周波数成分の集まりを生成し、周波数成分データとして量子化回路６０５に出力する機能を有する。
【００６６】
テーブル切替スイッチ６０７は、Ｉフレーム符号化制御部６０８を介して受け取る、指示受信部２１５からの信号に従って、量子化テーブル保持部２１６が保持する第１の量子化テーブル３０１または第２の量子化テーブル３０２のいずれか一方の量子化テーブルを選択し、Ｉフレームを量子化する際に使用する量子化テーブルとして、量子化回路６０５へ出力する機能を有する。
【００６７】
このテーブル切替スイッチ６０７は、指示受信部２１５から符号量削減指示信号を受け取った場合には、第１の量子化テーブル３０１を選択して出力していれば選択する量子化テーブルを第２の量子化テーブル３０２に変更し、第２の量子化テーブル３０２を選択して出力していれば選択する量子化テーブルを変更することはない。
【００６８】
また、テーブル切替スイッチ６０７は、指示受信部２１５から符号量増大指示信号を受け取った場合には、第２の量子化テーブル３０２を選択して出力していれば選択する量子化テーブルを第１の量子化テーブル３０１に変更し、第１の量子化テーブル３０１を選択して出力していれば選択する量子化テーブルを変更することはない。
【００６９】
量子化回路６０５は、入力される周波数成分データを、テーブル切替スイッチ６０７によって選択されている量子化テーブルを使用して量子化し、量子化後データとして、エントロピー符号化回路６０６へ出力する機能を有する。
【００７０】
エントロピー符号化回路６０６は、入力される量子化後データを、コンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Cording））で符号化して出力する機能を有する。
【００７１】
このように、符号化部２１２は、指示受信部２１５から符号量削減指示信号を受け取った場合において、第１の量子化テーブル３０１を使用して符号化しているときは、使用する量子化テーブルを符号化された映像データの符号量が少なくなる第２の量子化テーブル３０２に切り替えて符号化し、指示受信部２１５から符号量増大指示信号を受け取った場合において、第２の量子化テーブル３０２を使用して符号化しているときは、使用する量子化テーブルを符号化された映像データの符号量が多くなる第１の量子化テーブル３０１に切り替えて符号化する。
【００７２】
符号化部２１２は、入力されるデジタル映像データを符号化することで、結果的に、出力するメイン映像データストリームのデータレートが、（１）Ｉフレームの間隔が１５フレームに１つの割合になるように符号化している場合：およそ４Ｍｂｐｓ、（２）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第１の量子化テーブル３０１を使用するとき：およそ３Ｍｂｐｓ、（３）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第２の量子化テーブル３０２を使用するとき：およそ８Ｍｂｐｓとなる。
【００７３】
但し、このデータレートは、撮影範囲内の物体の動作、種類、量等で変動する。
データ送信部２１３は、符号化部２１２から入力されるメイン映像データストリームを、ネットワーク１１０を介して映像データ処理装置１０１に出力する機能を有する。
【００７４】
サブ符号化部２１７は、撮像部２１１から入力されるデジタル映像データを、ＭＰＥＧ４−ＡＶＣ規格に準拠する符号化方式で符号化し、符号化したサブ映像データストリームを、サブデータ送信部２１８に出力する機能を有する。
【００７５】
サブ符号化部２１７は、入力されるデジタル映像データを符号化することで、結果的に、出力するサブ映像データストリームのデータレートが、およそ０．２５Ｍｂｐｓとなる。
【００７６】
但し、このデータレートも、撮影範囲内の物体の動作、種類、量等で変動する。
また、このデータレートは、符号化部２１２によって、第１の量子化テーブル３０１を使用して符号化されるメイン映像データストリームに比べて１／３２程度〜１／１２程度となっている。
【００７７】
サブデータ送信部２１８は、サブ符号化部２１７から入力されたサブ映像データストリームを、ネットワーク１１０を介して、映像データ処理装置１０１に送信する。
＜映像データ処理装置＞
図７は、映像データ処理装置１０１の構成を示す構成図である。
【００７８】
映像データ処理装置１０１は、指示送信部７０１と、データレート解析部７０２と、データ受信部７０３と、切替要求受付部７０５と、データ選択部７０６と、データ復号部７０７と、スイッチ１０５と、データ保存部１０３と、ディスプレイＡ１０２と、サブデータ受信部７０８と、サブデータ復号部７０９と、ディスプレイＢ１０４とから構成される。
【００７９】
データ受信部７０３は、ネットワーク１１０を介して、監視カメラＡ１１１〜監視カメラＤ１１４から送信されるメイン映像データストリームを受信し、受信するメイン映像データストリームをデータ選択部７０６に出力し、受信するデータのビット数を累積してカウントすることで、１００ｍｓ毎に受信するデータの１００ｍｓの平均受信データレートを計測してデータレート解析部７０２へ出力する機能を有する。
【００８０】
データレート解析部７０２は、データ受信部７０３からの平均受信データレートを入力として、指示送信部７０１に、平均受信データレートが例えば４０Ｍｂｐｓ以上の場合に符号量削減指示信号を出力し、平均受信データレートが例えば１０Ｍｂｐｓ以下の場合に符号量増大指示信号を出力する機能を有する。
【００８１】
スイッチ１０５は、図示しない監視者によって操作され、ディスプレイＡ１０２に表示させている映像を切り替えるために、監視カメラＡ１１１〜監視カメラＤ１１４のうちのいずれか１つの監視カメラからの映像を選択して、切り替えるスイッチである。
【００８２】
切替要求受付部７０５は、監視者がスイッチ１０５を操作した場合、監視者の操作に応じて、スイッチ１０５が操作される直前に選択されていた監視カメラに対する間隔縮小指示信号と、スイッチ１０５が操作されて新たに選択された監視カメラに対する間隔増大指示信号とを、指示送信部７０１に出力し、監視カメラＡ選択信号、監視カメラＢ選択信号、監視カメラＣ選択信号、又は、監視カメラＤ選択信号のいずれか１つの信号を、データ選択部７０６に出力する機能を有する。
【００８３】
指示送信部７０１は、データレート解析部７０２から符号量削減指示信号が入力されると、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量削減指示信号を送信し、データレート解析部７０２から符号量増大指示信号が入力されると、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量増大指示信号を送信する機能を有する。
【００８４】
さらに、この指示送信部７０１は、切替要求受付部７０５からスイッチ１０５が操作される直前に選択されていた監視カメラに対する間隔縮小指示信号が入力されると、データ選択部７０６から出力される、メイン映像データストリームの切り替えが完了した旨の信号である切替完了信号が入力されるのを待って、ネットワーク１１０を介してスイッチ１０５が操作される直前に選択されていた監視カメラへ、間隔縮小指示信号と符号量増大信号とを送信し、切替要求受付部７０５からスイッチ１０５が操作されて新たに選択された監視カメラに対する間隔増大指示信号が入力されると、データ選択部７０６から出力される切替完了信号が入力されるのを待って、ネットワーク１１０を介してスイッチ１０５が操作されて新たに選択された監視カメラへ、間隔増大指示信号を送信する機能を有する。
【００８５】
データ選択部７０６は、データ受信部７０３が出力する４つのメイン映像データストリームの中から１つを選択して、データ保存部１０３と、データ復号部７０７とに出力し、切替要求受付部７０５から、監視カメラＡ選択信号が入力されると、選択するメイン映像データストリームを、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、監視カメラＡ１１１のＩフレームとなるように、選択中のメイン映像データストリームから監視カメラＡ１１１のメイン映像データストリームに切り替えて出力する機能を有する。
【００８６】
このデータ選択部７０６は、監視カメラＡ選択信号が入力される場合と同様に、監視カメラＢ選択信号、監視カメラＣ選択信号、又は、監視カメラＤ選択信号が入力されると、選択するメイン映像データストリームを、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、監視カメラＢ１１２、監視カメラＣ１１３、又は監視カメラＤ１１４のＩフレームとなるように、選択中のメイン映像データストリームから監視カメラＢ１１２、監視カメラＣ１１３、又は、監視カメラＤ１１４のメイン映像データストリームに切り替えて出力する機能を有する。
【００８７】
また、このデータ選択部７０６は、選択するメイン映像データストリームを切り替えると、メイン映像データストリームの切り替えが完了した旨の信号である切替完了信号を指示送信部７０１に出力する。
【００８８】
データ保存部１０３は、ハードディスクドライブを有し、データ選択部７０６から入力されるメイン映像データストリームを、ハードディスクドライブに保存する。
データ復号部７０７は、データ選択部７０６から入力されるメイン映像データストリームを復号し、ディスプレイＡ１０２へ出力する。
【００８９】
ディスプレイＡ１０２は、データ選択部７０６によって復号されたメイン映像データストリームを表示する機能を有する。
サブデータ受信部７０８は、ネットワーク１１０を介して、監視カメラＡ１１１〜監視カメラＤ１１４から送信されるサブ映像データストリームを受信し、受信するサブ映像データストリームをサブデータ復号部７０９に出力する機能を有する。
【００９０】
サブデータ復号部７０９は、サブデータ受信部から入力される４つのサブ映像データストリームを復号し、ディスプレイＢ１０４へ出力する機能を有する。
ディスプレイＢ１０４は、４分割された画面のそれぞれに、サブデータ復号部７０９によって復号された４つのサブ映像データストリームを同時に表示する機能を有する。
【００９１】
以上のように構成された、映像データ処理システム１０００の動作について、以下、ディスプレイＡ１０２に表示させる選択映像を監視者が切り替える場合と、映像データ処理装置１０１が受信するデータレートが変動した場合とについて説明する。
【００９２】
＜動作＞
＜概要＞
以下、上述のように構成された映像データ処理システム１０００について、その動作の概要を説明する。
【００９３】
監視カメラＡ１１１〜監視カメラＤ１１４は、撮影している映像をメイン映像データストリームとサブ映像データストリームとにリアルタイムに符号化して、ネットワーク１１０を介して映像データ処理装置１０１へ送信している。
【００９４】
映像データ処理装置１０１は、４つの監視カメラＡ１１１〜監視カメラＤ１１４からのメイン映像データストリームの中から１つのメイン映像データストリームを選択して、リアルタイムにデータ保存部１０３に記憶しつつ復号し、復号した映像をディスプレイＡ１０２に表示し、４つの監視カメラＡ１１１〜監視カメラＤ１１４からのサブ映像データストリームをリアルタイムに復号してディスプレイＢ１０４に表示している。
【００９５】
監視者が、ディスプレイＡ１０２に表示されている映像を、現在選択中の監視カメラ（以後、切替前監視カメラと呼ぶ）が撮影する映像から、新たな監視カメラ（以後、切替後監視カメラと呼ぶ）が撮影する映像に切り替えようとしてスイッチ１０５を操作すると、切替前監視カメラに間隔縮小信号を出力し、切替後監視カメラに間隔増大指示信号と符号量増大指示信号とを出力するという動作を行う。
【００９６】
選択映像を切り替える場合における上述の動作は、次に切り替えられる可能性があるメイン映像データストリームにおけるＩフレームの間隔を小さくしておくことで、映像データ処理装置１０１が、メイン映像データストリームを切り替える要求を受けてから、メイン映像データストリームを切り換えるまでの時間を短くするために行う動作である。
【００９７】
また、映像データ処理装置１０１は、ネットワーク１１０を介して受信するデータの受信データレートが変動して、ネットワーク１１０が伝送することができるデータの最大伝送ビットレート（例えば５０Ｍｂｐｓ）に対してあまり余裕がないビットレート（例えば４０Ｍｂｐｓ）となる場合には、４つの監視カメラＡ１１１〜監視カメラＤ１１４のうち、ディスプレイＡ１０２で表示している映像を撮影していない３つの監視カメラに対して、メイン映像データストリームの符号量を少なくして符号化する旨の指示を出し、ネットワーク１１０が伝送することができるデータの最大伝送ビットレートに対して十分に余裕があるビットレート（例えば１０Ｍｂｐｓ）を下回る場合には、４つの監視カメラＡ１１１〜監視カメラＤ１１４のうち、ディスプレイＡ１０２で表示している映像を撮影していない３つの監視カメラに対して、メイン映像データストリームの符号量を多くして符号化する旨の指示を出すという動作を行う。
【００９８】
受信するデータレートが変動する場合における上述の動作は、映像データ処理装置１０１が受信する受信データレートが、ネットワーク１１０が伝送することができるデータの最大伝送ビットレートを超えないようにするために行う動作である。
【００９９】
本実施の形態における映像データ処理システム１０００の特徴的な動作は、上述の（１）選択映像を切り替える場合の動作と、（２）受信するデータレートが変動する場合の動作とにあるため、以下、この２つの動作について詳細に説明する。
【０１００】
＜選択映像を切り替える場合の動作＞
ディスプレイＡ１０２に表示させる映像を切り替える場合における、映像データ処理システム１０００の動作について、図面を用いながら説明する。
【０１０１】
図８は、ディスプレイＡ１０２に表示させる映像を切り替える場合において、映像データ処理装置１０１の動作を示すフローチャートである。
監視者は、ディスプレイＡ１０２で表示する映像を、切替前監視カメラが撮影する映像から、切替後監視カメラが撮影する映像に切り替えようとしてスイッチ１０５を操作すると、切替要求受付部７０５は、監視者からの切替前監視カメラの映像から切替後監視カメラの映像に切り替える旨の要求を受け付ける（ステップＳ８００：Ｙｅｓ）。
【０１０２】
切替要求受付部７０５は、この要求を受け付けると、指示送信部７０１に、切替前監視カメラに対する間隔縮小指示信号と、切替後監視カメラに対する間隔増大指示信号とを出力し、データ選択部７０６に、切替後監視カメラ選択信号を出力する。
【０１０３】
データ選択部７０６は、切替後監視カメラ選択信号を受信すると、データ受信部から送られてくる切替後監視カメラからのメイン映像データストリームにおけるフレームがＩフレームであるか否かを調べ（ステップＳ８１０）、Ｉフレームであれば（ステップＳ８１０：Ｙｅｓ）、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、そのＩフレームとなるように、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから切替後監視カメラのメイン映像データストリームに切り替えて（ステップＳ８３０）出力し、指示送信部７０１に切替完了信号を出力する。
【０１０４】
データ選択部７０６は、ステップＳ８１０において切替後監視カメラからのメイン映像データストリームにおけるフレームがＩフレームでなければ（ステップＳ８１０：Ｎｏ）、切り替え後に出力するメイン映像データストリームにおける最初のフレームが、そのフレーム以降に最初に入力されるＩフレームとなるように（ステップＳ８２０）、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから切替後監視カメラのメイン映像データストリームに切り替えて（ステップＳ８３０）出力し、指示送信部７０１に切替完了信号を出力する。
【０１０５】
指示送信部７０１は、既に、切替前監視カメラに対する間隔縮小指示信号と、切替後監視カメラに対する間隔増大指示信号とを受け取っているので、データ選択部７０６から切替完了信号を受け取ると、ネットワーク１１０を介して、切替後監視カメラに、間隔増大指示信号と符号量増大指示信号とを出力し（ステップＳ８４０）、切替前監視カメラに、間隔縮小指示信号を出力する（ステップＳ８５０）。
【０１０６】
ステップＳ８００において、監視カメラを切り替える旨の要求を受け付けない場合（ステップＳ８００：Ｎｏ）、もしくは、ステップＳ８５０の処理を終えた場合は、再びステップＳ８００に戻って、監視者がスイッチ１０５を操作して、監視カメラを切り替える要求を出すまで待つ。
【０１０７】
図９は、ディスプレイＡ１０２に表示させる映像を切り替える場合において、監視カメラＡ１１１の動作を示すフローチャートである。
監視カメラＡ１１１の指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から、間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００：Ｙｅｓ）、符号化部２１２に、間隔増大指示信号と符号量増大指示信号とを出力する。
【０１０８】
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が３フレームに１つの割合か、１５フレームに１つの割合かのいずれか一方のＩフレームの間隔で符号化しており、間隔増大指示信号と符号量増大指示信号とを受け取ると、符号化しているＩフレームの間隔が３フレームに１つの割合であれば（ステップＳ９１０：Ｙｅｓ）、Ｉフレームの間隔を１５フレームに１つの割合になるように変更し（ステップＳ９２０）、符号化しているＩフレームの間隔が１５フレームに１つの割合であれば（ステップＳ９１０：Ｎｏ）、Ｉフレームの間隔を変更しない。
【０１０９】
さらに、符号化部２１２は、Ｉフレームを符号化する際に使用している量子化テーブルが第２の量子化テーブル３０２であれば（ステップＳ９３０：Ｙｅｓ）、使用する量子化テーブルを切り替えず、Ｉフレームを符号化する際に使用している量子化テーブルが第１の量子化テーブル３０１であれば（ステップＳ９３０：Ｎｏ）、使用する量子化テーブルを、第１の量子化テーブル３０１から第２の量子化テーブルに切り替える（ステップＳ９４０）。
【０１１０】
ステップＳ９００において間隔増大指示信号と符号量増大指示信号とを受け取らない場合（ステップＳ９００：Ｎｏ）、ステップＳ９３０においてＩフレームを符号化する際に使用している量子化テーブルが、第１の量子化テーブル３０１である場合（ステップＳ９３０：Ｙｅｓ）、もしくは、ステップＳ９４０の処理を終えた場合において、符号化部２１２は、ネットワーク１１０を介して、映像データ処理装置１０１から間隔縮小指示信号を受け取ると（ステップＳ９５０：Ｙｅｓ）、符号化部２１２に、間隔縮小指示信号を出力する。
【０１１１】
符号化部２１２は、入力されるデジタル映像データを、Ｉフレームの間隔が３フレームに１つの割合か、１５フレームに１つの割合かのいずれか一方のＩフレームの間隔で符号化しており、間隔縮小指示信号を受け取ると、符号化しているＩフレームの間隔が１５フレームに１つの割合であれば（ステップＳ９６０：Ｙｅｓ）、Ｉフレームの間隔を３フレームに１つの割合になるように変更し（ステップＳ９７０）、符号化しているＩフレームの間隔が３フレームに１つの割合であれば（ステップＳ９６０：Ｎｏ）、Ｉフレームの間隔を変更しない。
【０１１２】
ステップＳ９５０において間隔縮小指示信号を受け取らない場合（ステップＳ９５０：Ｎｏ）、ステップＳ９６０において符号化しているＩフレームの間隔が３フレームに１つの割合である場合（ステップＳ９６０：Ｎｏ）、もしくは、ステップＳ９７０の処理を終えた場合には、ステップＳ９００に戻って処理を繰り返す。
【０１１３】
以下、ディスプレイＡ１０２に監視カメラＡ１１１の映像が表示されている場合に、監視者が時刻ｔ１に、ディスプレイＡ１０２に監視カメラＢ１１２の映像が表示されるようにスイッチ１０５を操作した場合についての具体的動作について、図面を用いて説明する。
【０１１４】
図１０は、ディスプレイＡ１０２に監視カメラＡ１１１からの映像を表示されている場合おいて、監視者が時刻ｔ１に、ディスプレイＡ１０２に監視カメラＢ１１２の映像が表示されるようにスイッチ１０５を操作したときの、データ受信部７０３が受信する４つのメイン映像データストリームの概略データ構造図であって、図４と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
【０１１５】
また、実線のフレームは、データ選択部７０６が選択しているメイン映像データストリームのフレームを示し、破線のフレームは、データ選択部７０６が選択していないメイン映像データストリームのフレームを示している。
【０１１６】
ここでは、監視カメラＡ１１１からのメイン映像データストリームは、Ｉフレームを量子化する際に使用する量子化テーブルとして、第２の量子化テーブル３０２を用いて符号化されているものとして説明する。
【０１１７】
時刻０ｓでは、データ選択部７０６は、監視カメラＡ１１１からのメイン映像データストリームを選択しており、監視カメラＡ１１１からのメイン映像データストリームは、Ｉフレームの間隔が１５フレームに１つの割合に符号化されており、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４からのメイン映像データストリームは、Ｉフレームの間隔が３フレームに１つの割合で符号化されている。
【０１１８】
時刻０ｓにおいて、監視者は、ディスプレイＢ１０４に４分割して表示されている、ＱＣＩＦ程度の解像度と画質の映像である、監視カメラＡ１１１〜監視カメラＤ１１４からのサブ映像をみて、ホテルの通路を監視している。
【０１１９】
この時、ディスプレイＡ１０２には、監視カメラＡ１１１の撮影する映像が表示されており、データ保存部１０３では、監視カメラＡ１１１からのメイン映像データストリームが保存されている。
【０１２０】
監視者は、ディスプレイＢ１０４で表示されている、監視カメラＢ１１２の撮影する映像に不審な動作を見つけたため、ディスプレイＡ１０２でよりよい画質の映像を見ようと考えて、時刻ｔ１に、ディスプレイＡ１０２で表示する映像を、監視カメラＡ１１１の撮影する映像から、監視カメラＢ１１２の撮影する映像へと切り替えるように、スイッチ１０５を操作する。
【０１２１】
切替要求受付部７０５は、時刻ｔ１に監視カメラＢ１１２への切替要求を受け付けると（ステップＳ８００：Ｙｅｓ）、指示送信部７０１に、監視カメラＡ１１１に対する間隔縮小指示信号と、監視カメラＢ１１２に対する間隔増大指示信号とを出力し、データ選択部７０６に、監視カメラＢ選択信号を出力する。
【０１２２】
データ選択部７０６は、時刻ｔ１における監視カメラＢ１１２からのメイン映像データストリームにおけるフレームがＰフレームであるため（ステップＳ８１０：Ｎｏ）、２フレーム後の時刻ｔ２まで待って、最初に現れるＩフレームの位置で、選択するメイン映像データストリームを、切替前監視カメラのメイン映像データストリームから、切替後監視カメラのメイン映像データストリームに切り替え（ステップＳ８３０）、指示送信部７０１に切替完了信号を出力する。
【０１２３】
時刻ｔ２に、データ選択部７０６が選択するメイン映像データストリームを、監視カメラＢ１１２からのメイン映像データストリームに切り替えたため、時刻ｔ２以降は、ディスプレイＡ１０２は監視カメラＢ１１２の映像を表示し、データ保存部１０３は監視カメラＢ１１２からのメイン映像データストリームを保存する。
【０１２４】
指示送信部７０１は、データ選択部７０６から切替完了信号を受け取ると、時刻ｔ３にネットワーク１１０を介して、監視カメラＢ１１２に間隔増大指示信号と符号量増大指示信号とを出力し（ステップＳ８４０）、監視カメラＡ１１１に間隔縮小指示信号を出力する（ステップＳ８５０）。
【０１２５】
監視カメラＢ１１２の指示受信部２１５は、ネットワーク１１０を介して間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００：Ｙｅｓ）、監視カメラＢ１１２の符号化部２１２に、間隔増大指示信号と符号量増大指示信号とを出力する。
【０１２６】
監視カメラＢ１１２の符号化部２１２は、間隔増大指示信号と符号量増大指示信号とを受け取ると（ステップＳ９００）、現在符号化しているＩフレームの間隔が３フレームに１つの割合なので（ステップＳ９１０：Ｙｅｓ）、Ｉフレームの間隔を１５フレームに１つの割合になるように変更して（ステップＳ９２０）符号化を行う（時刻ｔ４）。
【０１２７】
また、監視カメラＢ１１２の符号化部２１２は、時刻ｔ４以前において、Ｉフレームを量子化する際に使用する量子化テーブルは第２の量子化テーブル３０２なので（ステップＳ９３０：Ｙｅｓ）、時刻ｔ４以降も、そのまま第２の量子化テーブル３０２を使用して符号化する。
【０１２８】
監視カメラＢ１１２のデータ送信部２１３が、ネットワーク１１０を介して映像データ処理装置１０１送信するメイン映像データストリームにおける、時刻ｔ４以降の最初のフレームは、フレーム１００３である。
【０１２９】
フレーム１００３の次に送信すべきフレームであるフレーム１００１と、フレーム１００２は、本来、それぞれ、１３番目のＢフレームと、１４番目のＢフレームであるべきであるが、１３番目のフレームと１４番目のフレームは、共にＩフレームの間隔が３フレームに１つとなるように符号化されていた期間のフレームとなるため、既に、それぞれ、１３番目のＰフレームと、１４番目のＰフレームとして作成されて映像データ処理装置１０１に送信されている。
【０１３０】
従って、フレーム１００１とフレーム１００２とは作成される必要がないため、監視カメラＢ１１２の符号化部２１２は、フレーム１００１とフレーム１００２とを作成しない。
【０１３１】
監視カメラＡ１１１の指示受信部２１５は、ネットワーク１１０を介して間隔縮小指示信号を受け取ると（ステップＳ９００：Ｙｅｓ）、監視カメラＡ１１１の符号化部２１２に、間隔縮小指示信号を出力する。
【０１３２】
監視カメラＡ１１１の符号化部２１２は、間隔縮小指示信号を受け取ると（ステップＳ９５０：Ｙｅｓ）、現在符号化しているＩフレームの間隔が１５フレームに１つの割合なので（ステップＳ９６０：Ｙｅｓ）、Ｉフレームの間隔を３フレームに１つの割合になるように変更して（ステップＳ９７０）符号化を行う（時刻ｔ４）。
【０１３３】
監視カメラＡ１１１のデータ送信部２１３が、ネットワーク１１０を介して映像データ処理装置１０１送信するメイン映像データストリームにおける、時刻ｔ４以降の最初のフレームは、フレーム１００４である。
【０１３４】
この間、監視カメラＣ１１３、監視カメラＤ１１４は、撮影する映像をＩフレームの間隔が３フレームに１つの割合になるように符号化して、ネットワーク１１０を介して、映像データ処理装置１０１に送信している。
【０１３５】
図１１は、データ復号部７０７が復号するメイン映像データストリームの概略データ構成図であって、図１０と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示している。
【０１３６】
図１１の上段は、データ選択部７０６の出力に補正をかけなかった場合のデータ復号部７０７が復号するメイン映像データストリームの概略データ構成図であって、図１１の下段は、データ選択部７０６の出力に補正をかけた場合（後述）のデータ復号部が復号するメイン映像データストリームの概略データ構成図である。
【０１３７】
本実施の形態では、データ選択部７０６は、出力に補正をかけて出力している。
データ選択部７０６の出力に補正をかけなければ、時刻ｔ１で切替要求を受け付けてから３フレーム後のフレーム１１０１と４フレーム後のフレーム１１０２とは、それぞれ、監視カメラＡ１１１のメイン映像データストリームのフレームである図１０中のフレーム１００５、フレーム１００６であるべきであるが、時刻ｔ２にデータ選択部７０６が選択するメイン映像データストリームを、監視カメラＢ１１２のメイン映像データストリームのフレームに切り替えているので、フレーム１００５、フレーム１００６は、データ復号部７０７には入力されず、従って、データ復号部７０７はフレーム１００５とフレーム１００６とを復号することができない。
【０１３８】
復号されないフレームがあると、復号された映像が乱れてしまうので、ここでは、データ選択部７０６は、出力データに補正をすることで、フレーム１１０２の次のフレームであって、監視カメラＢ１１２のメイン映像データストリームに含まれるフレーム１１０３を、図１１の下段に示すように、フレーム１１０４、フレーム１１０５として出力する。
【０１３９】
このように、時刻ｔ１に監視者がスイッチ１０５を操作した３フレーム後から、切り替え先の監視カメラＢ１１２からの映像が、ディスプレイＡ１０２に表示される。
＜受信するデータレートが変動する場合の動作＞
映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理システム１０００の動作について、図面を用いながら説明する。
【０１４０】
図１２は、映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理装置１０１の動作を示すフローチャートである。
データレート解析部７０２は、１００ｍｓ毎に、データ受信部７０３から出力される、データ受信部７０３が受信するデータの１００ｍｓの平均受信データレートを受け取る。
【０１４１】
データレート解析部７０２は、平均受信データレートを受け取ると、平均受信データレートが４０Ｍｂｐｓ未満か否かを判断し（ステップＳ１２００）、平均受信データレートが４０Ｍｂｐｓ未満の場合（ステップＳ１２００：Ｙｅｓ）、平均受信データレートが１０Ｍｂｐｓ以上か否かを判断し（ステップＳ１２２０）、平均受信データレートが１０Ｍｂｐｓ以上の場合（ステップＳ１２２０：Ｙｅｓ）、次にデータ受信部７０３から出力される平均受信データレートを待つ。
【０１４２】
ステップＳ１２００において、平均受信データレートが４０Ｍｂｐｓ以上であれば（ステップＳ１２００：Ｎｏ）、データレート解析部７０２は、ネットワーク１１０におけるデータ伝送量の総和が、最大データ伝送量（５０Ｍｂｐｓ）に対して余裕が十分でないとして指示送信部７０１に符号量削減指示信号を出力し（ステップＳ１２１０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量削減指示信号を送信して、ステップＳ１２２０の処理に移行する。
【０１４３】
ステップＳ１２２０において、平均受信データレートが１０Ｍｂｐｓ以下であれば（ステップＳ１２２０：Ｎｏ）、データレート解析部７０２は、ネットワーク１１０におけるデータ伝送量の総和が、最大データ転送レート（５０Ｍｂｐｓ）に対して余裕が十分にあるとして指示送信部７０１に符号量増大指示信号を出力し（ステップＳ１２３０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４のうち、データ選択部７０６が選択しているメイン映像データストリームを符号していない監視カメラへ、符号量増大指示信号を送信して、データレート解析部７０２は、次にデータ受信部７０３から出力される平均受信データレートを待つ。
【０１４４】
図１３は、映像データ処理装置１０１が受信するデータレートが変動した場合における、監視カメラＡ１１１〜監視カメラＤ１１４の動作を示すフローチャートである。
指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から符号量削減指示信号を受け取ると（ステップＳ１３００：Ｙｅｓ）、符号化部２１２に符号量削減指示信号を出力する。
【０１４５】
符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが、第１の量子化テーブル３０１であるか否かを調べ（ステップＳ１３１０）、第１の量子化テーブル３０１であれば（ステップＳ１３１０：Ｙｅｓ）Ｉフレームを量子化する際に使用している量子化テーブルとして、そのまま第１の量子化テーブル３０１を使用し、第２の量子化テーブル３０２であれば（ステップＳ１３１０：Ｎｏ）Ｉフレームを量子化する際に使用している量子化テーブルとして、第１の量子化テーブル３０１を使用するように変更する（ステップＳ１３２０）。
【０１４６】
ステップＳ１３００において、指示受信部２１５が符号量削減指示信号を受け取らない場合と、ステップＳ１３１０において、符号化部２１２がＩフレームを量子化する際に使用している量子化テーブルが第１の量子化テーブル３０１である場合と、ステップＳ１３２０の処理が終わった場合に、指示受信部２１５は、ネットワーク１１０を介して、映像データ処理装置１０１から符号量増大指示信号を受け取っているか否かを判定し（ステップＳ１３３０）、符号量増大指示を受け取っていると（ステップＳ１３３０：Ｙｅｓ）、符号化部２１２に符号量増大指示信号を出力する。
【０１４７】
符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが、第２の量子化テーブル３０２であるか否かを調べ（ステップＳ１３４０）、第２の量子化テーブル３０２であれば（ステップＳ１３４０：Ｙｅｓ）Ｉフレームを量子化する際に使用している量子化テーブルとして、そのまま第２の量子化テーブル３０２を使用し、第１の量子化テーブル３０１であれば（ステップＳ１３４０：Ｎｏ）Ｉフレームを量子化する際に使用している量子化テーブルとして、第２の量子化テーブル３０２を使用するように変更する（ステップＳ１３５０）。
【０１４８】
ステップＳ１３３０において、指示受信部２１５が符号量増大指示信号を受け取っていない場合と、ステップＳ１３４０において、符号化部２１２がＩフレームを量子化する際に使用している量子化テーブルが第２の量子化テーブル３０２である場合と、ステップＳ１３５０の処理が終わった場合に、再びステップＳ１３００の処理を開始する。
【０１４９】
以下、映像データ処理装置１０１が受信するデータレートが変動した場合における、映像データ処理システム１０００の具体的動作について、図面を用いて説明する。
図１４は、データ受信部７０３が受信しているデータのデータレートの時間的な変動を示す、受信データレート推移図である。
【０１５０】
図１５は、ディスプレイＡ１０２で、監視カメラＡ１１１からの映像を表示されている場合おいて、データ受信部７０３が受信しているデータのデータレートが変動したときの、４つのメイン映像データストリームの概略データ構造図であって、図１０と同様に、矩形はフレームを表し、その中に書かれている「Ｉ」、「Ｐ」、「Ｂ」は、そのフレームがそれぞれ「Ｉフレーム」、「Ｐフレーム」、「Ｂフレーム」であることを表し、矩形内に書かれている数字は、各フレームが復号されてディスプレイＡ１０２に表示される順番を示し、実線のフレームは、データ選択部７０６が選択しているメイン映像データストリームのフレームを示し、破線のフレームは、データ選択部７０６が選択していないメイン映像データストリームのフレームを示している。
【０１５１】
また、Ｉフレームの下に矢印と共に記載されている数字は、そのＩフレームを符号化する際に使用する量子化テーブルの種類を示し、「１」は第１の量子化テーブル３０１であることを示し、「２」は第２の量子化テーブル３０２であることを示している。
【０１５２】
時刻ｔ０における受信データレートは、図１４に示すように１０Ｍｂｐｓ以上４０Ｍｂｐｓ未満の範囲内にあり、監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４は、図１５に示すように、Ｉフレームを量子化する際に使用する量子化テーブルとして、第２の量子化テーブル３０２を使用して符号化している。
【０１５３】
図１４に示すように、時刻ｔ１０以降、次第に受信データレートが増加し、時刻ｔ１１に受信データレートが４０Ｍｂｐｓ以上になると、データレート解析部７０２は、データ受信部７０３から受け取る平均受信データレートが４０Ｍｂｐｓ以上になり（ステップＳ１２００：Ｎｏ）、指示送信部７０１に符号量削減指示信号を出力し（ステップＳ１２１０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４へ、符号量削減指示信号を送信する（時刻ｔ１２）。
【０１５４】
監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４の指示受信部２１５は、符号量削減指示信号を受信すると（ステップＳ１３００：Ｙｅｓ）、符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが第２の量子化テーブル３０２なので、Ｉフレームを量子化する際に使用している量子化テーブルを、第２の量子化テーブル３０２から第１の量子化テーブル３０１に切り替えて（ステップＳ１３１０：Ｎｏ，ステップＳ１３２０）符号化する。
【０１５５】
すなわち、図１５に示すように、監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４のメイン映像データストリームに含まれるＩフレームは、時刻ｔ１２以前のＩフレームは、第１の量子化テーブル３０１を使用して量子化されていたが、時刻ｔ１２以降のＩフレームは、第２の量子化テーブル３０２を使用して量子化されるようになる。
【０１５６】
従って、時刻ｔ１２以前に比べて、時刻ｔ１２以降のメイン映像データストリームの符号量は少なくなるため、図１４に示すように、時刻ｔ１２を過ぎると、受信データレートは小さくなる。
【０１５７】
その後、次第に受信データレートが減少し、時刻ｔ１３に受信データレートが１０Ｍｂｐｓ未満になると、データレート解析部７０２は、データ受信部７０３から受け取る平均受信データレートが１０Ｍｂｐｓ未満になり（ステップＳ１２２０：Ｎｏ）、指示送信部７０１に符号量増大指示信号を出力し（ステップＳ１２３０）、指示送信部７０１は、ネットワーク１１０を介して監視カメラＢ１１２、監視カメラＣ１１３、監視カメラＤ１１４へ、符号量増大指示信号を送信する（時刻ｔ１４）。
【０１５８】
監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４の指示受信部２１５は、符号量増大指示信号を受信すると（ステップＳ１３３０：Ｙｅｓ）、符号化部２１２は、Ｉフレームを量子化する際に使用している量子化テーブルが第１の量子化テーブル３０１なので、Ｉフレームを量子化する際に使用している量子化テーブルを、第１の量子化テーブル３０１から第２の量子化テーブル３０２に切り替えて（ステップＳ１３４０：Ｎｏ，ステップＳ１３５０）符号化する。
【０１５９】
すなわち、図１５に示すように、監視カメラＢ１１２と監視カメラＣ１１３と監視カメラＤ１１４のメイン映像データストリームに含まれるＩフレームは、時刻ｔ１４以前のＩフレームは、第２の量子化テーブル３０２を使用して量子化されていたが、時刻ｔ１４以降のＩフレームは、第１の量子化テーブル３０１を使用して量子化されるようになる。
【０１６０】
従って、時刻ｔ１４以前に比べて、時刻ｔ１４以降のメイン映像データストリームの符号量は多くなるため、図１４に示すように、時刻ｔ１４を過ぎると、受信データレートは多くなる。
＜補足＞
以上、本発明に係る映像データ処理装置を用いた映像データ処理システムの一実施形態として、４つの監視カメラ（＝符号化装置）がネットワークを介して映像データ処理装置と接続し、映像データ処理装置で受信した監視カメラからの映像データに基づいて、監視者がホテルの通路の監視を行うという、映像データ処理システムについて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの映像データ処理装置に限られないことはもちろんである。
（１）実施の形態において、４つの監視カメラＡ１１１〜監視カメラＤ１１４がネットワーク１１０を介して映像データ処理装置１０１と接続するとして説明したが、監視カメラの個数は４以外の数であっても構わない。
（２）実施の形態において、ネットワーク１１０が有線方式でデータを転送するとして説明したが、無線方式でデータを転送するネットワークや、有線方式と無線方式を併用してデータを転送するネットワークであるとしても構わない。
【０１６１】
例えば、信号線を設置するのが困難な場所に配置されている監視カメラがある場合等には、無線方式でデータを転送するネットワークが有効である。
（３）実施の形態において、ネットワーク１１０は、伝送するデータの最大伝送ビットレートを５０Ｍｂｐｓであるとしたが、これ以外の最大伝送ビットレートであっても構わないし、最大伝送ビットレートが時間と共に変動する構成であっても構わない。
【０１６２】
ただし、データレート解析部７０２が符号量削減指示信号を出力する基準である、平均受信データレートの上限閾値を適切に設定して、映像データ処理装置１０１が、ネットワーク１１０が伝送するデータの最大伝送ビットレートを超えないようにすることが重要であって、特に、時間と共に最大伝送ビットレートが変動する場合には、最大伝送ビットレートの変動に対応して、平均受信データレートの上限閾値を変動させるように設定するか、最大伝送ビットレートの変動下限値を超えないように、平均受信データレートの上限閾値を設定する必要がある。
（４）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、出力するメイン映像データストリームのデータレートが、結果的に、（１）Ｉフレームの間隔が１５フレームに１つの割合になるように符号化している場合：およそ４Ｍｂｐｓ、（２）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第１の量子化テーブル３０１を使用するとき：およそ３Ｍｂｐｓ、（３）Ｉフレームの間隔が３フレームに１つの割合になるように符号化している場合において第２の量子化テーブル３０２を使用するとき：およそ８Ｍｂｐｓとなるとしたが、これ以外のデータレートになるように符号化しても構わない。
【０１６３】
メイン映像データストリームの符号量は、符号量が多いほど復号映像の画質が良くなり、符号量が少ないほどネットワーク１１０で伝送するデータのビットレートが下がるため、復号映像の画質とビットレートとのトレードオフで、最適な符号量に設定することが望ましい。
（５）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、メイン映像データストリームの１／３２〜１／１２程度のデータレートであるサブ映像データストリームを送信し、映像データ処理装置１０１は、受信した４つのサブ映像データストリームを復号してディスプレイＢ１０４で表示し、監視者はディスプレイＢ１０４の画面を見ながら、スイッチ１０５を操作するという構成について説明したが、サブ映像データストリームの符号量は、これ以外の符号量であっても構わないし、サブ映像データストリームを送信しない構成としても構わない。
【０１６４】
サブ映像データストリームの符号量は、符号量が多いほど復号映像の画質が良くなり、符号量が少ないほどネットワーク１１０で伝送するデータのビットレートが下がるため、画質とビットレートとのトレードオフで、最適な符号量に設定することが望ましい。
【０１６５】
サブ映像データストリームを送信しない構成としては、例えば、監視カメラの配置場所毎に、赤外線センサー等の人の動作を感知するセンサーを配置しておいて、監視者は、各赤外線センサーの信号を見ながら、スイッチ１０５を操作するという構成等が考えられる。
（６）実施の形態において、Ｉフレームを量子化する際に使用する量子化テーブルとして、第１の量子化テーブル３０１と第２の量子化テーブル３０２との２つの量子化テーブルのうちいずれか一方の量子化テーブルを使用するとしているが、３つ以上の量子化テーブルのうちのいずれか一つの量子化テーブルを使用するとしても構わない。
【０１６６】
量子化テーブルの個数が多いほど、よりきめ細かく、メイン映像データストリームの符号量を調節することができるため、必要とされる伝送ビットレートの調整頻度等に応じて、量子化テーブルの個数を決めることが望ましい。
（７）実施の形態において、Ｉフレームを量子化する際に使用する量子化テーブルとして、構成する各周波数成分の量子化ステップが、図３に記載されている数値である場合についての例を示したが、構成する各周波数成分の量子化ステップが、この例以外の数値であっても構わない。
【０１６７】
各周波数成分の量子化ステップの数値は、符号量と、複号される映像の画質とに影響を与える為、両者のトレードオフを勘案して、最適な数値にすることが望ましい。
（８）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、撮影した映像をＭＰＥＧ４−ＡＶＣ方式で符号化する場合について説明したが、符号化する符号化方式がＩフレームを含む符号化方式であって、映像データ処理装置１０１からの指示に従って、符号化された映像データストリームにおけるＩフレームの間隔を変更することと、符号化する際に使用する量子化テーブルを変更することができる符号化方式であれば、符号化する符号化方式が、ＭＰＥＧ４−ＡＶＣ方式以外の符号化方式、例えば、ＭＰＥＧ２、ＭＰＥＧ４方式等であっても構わない。
【０１６８】
符号化方式毎に、符号化時に必要な演算量、符号化された符号化データの符号量等に特徴があるため、システムに最も適した符号化方式を選ぶことが望ましい。
（９）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４は、同じ性能の監視カメラであるとしたが、異なる性能の監視カメラであっても構わない。
【０１６９】
例えば、セキュリティ上重要な範囲を撮影する監視カメラは、他の監視カメラに比べて、解像度が高く、画素数の多い監視カメラにして、より詳細な映像を撮影するようしても構わない。
（１０）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４が符号化するメイン映像データストリームのＩフレームの間隔は、１５フレームに１つの割合か、３フレームに１つの割合のいずれか一方の割合であって、そのフレームレートは３０ｆｐｓとしている場合について説明したが、これ以外のＩフレームの間隔であってもかまわないし、３０ｆｐｓ以外のフレームレートであっても構わない。
【０１７０】
メイン映像データストリームにおける、Ｉフレームの間隔とフレームレートとは、選択する映像を切り替える場合において最初のＩフレームの位置まで待つ待ち時間と、画質と、
ネットワークが伝送する伝送データのビットレートとに影響するため、これらのトレードオフを勘案して、最も適切な組み合わせを選択することが望ましい。
（１１）実施の形態において、監視カメラＡ１１１〜監視カメラＤ１１４が符号化するメイン映像データストリームのフレームレートは、３０ｆｐｓとして固定である構成について説明したが、フレームレートが可変となる構成であっても構わない。
【０１７１】
ただし、このフレームレートが可変となる構成では、メイン映像データストリームにおけるＩフレームの割合ではなくて、Ｉフレームから次のＩフレームまでの時間を制御することで、メイン映像データストリームを切り替える要求を受けてから最初に出現するＩフレームまでの待ち時間を制御することとなる。
（１２）実施の形態において、映像データ処理装置１０１は、監視カメラに符号量削減指示信号、又は、符号量増大指示信号を送信する場合に、データ選択部７０６が選択しているメイン映像データストリームを符号化していない監視カメラの全てに対して、符号量削減指示信号、又は、符号量増大指示信号を送信するとしていたが、データ選択部７０６が選択しているメイン映像データストリームを符号化していない監視カメラのうちからいくつかの監視カメラを選んで送信するとしても構わない。
【０１７２】
例えば、送信しているメイン映像データストリームのデータレートが最も多い監視カメラに対して、符号量削減指示信号、又は、符号量増大指示信号を送信するといった選び方等が考えられる。
【０１７３】
このようにすることで、復号することによって得られる映像の画質が劣化するメイン映像データストリームの数を抑えつつ、映像データ処理装置１０１が受信する符号量の制御をすることができるようになる。
（１３）実施の形態において、データ受信部７０３は、受信するデータの１００ｍｓ毎に、受信するデータの１００ｍｓの平均受信データレートを計測してデータレート解析部７０２へ出力するとしているが、１００ｍｓ毎以外の平均受信データレートを計測して、１００ｍｓ毎以外にデータレート解析部７０２へ出力するとしても構わない。
【０１７４】
平均受信データレートを計測する間隔を短くすれば、受信データレートの変動をよりきめ細かく反映した平均受信データレートとなるため、受信データレート変動に対して、より迅速に対応する必要があれば、平均受信データレートを計測する間隔を短くすることが考えられる。
（１４）以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。
【０１７５】
（ａ）本発明の一実施形態に係る画像分類装置は、映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする。
【０１７６】
上述の構成を備える画像分類装置は、切り替えられる可能性がある符号化装置に対して、符号化する符号化データストリームにおけるＩフレーム間の時間間隔を小さくするように指示することができるようになる。
【０１７７】
このため、選択する符号化データストリームを切り替える場合に、正しく符号化データストリームの復号を開始するために必要な、切り替え先の符号化データストリームにおけるＩフレームの位置になるまで待つ待ち時間を短くすることができるという効果を有する。
【０１７８】
さらに、受信している単位時間当たりのデータ量が上限閾値より多い場合に、符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が少なくなる量子化テーブルに切り替えるように指示することができるようになる。
【０１７９】
このため、上限閾値を、符号化データストリームを伝送するネットワークの最大データ転送レートよりも少なくなるように設定しておくことで、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートを超えてしまわないように、伝送ビットレートの増加を抑えることができるという効果を有する。
【０１８０】
図１６は、上述の変形例における映像データ処理装置１６００の機能構成図である。
同図に示される通り、映像データ処理装置１６００は、データ受信部１６０１と選択部１６０２とデータ量指示部１６０３と間隔指示部１６０４とから構成され、ネットワーク１１０を介して監視カメラＡ１１１〜監視カメラＤ１１４と接続する。
【０１８１】
データ受信部１６０１は、ネットワーク１１０と選択部１６０２とデータ量指示部１６０４とに接続し、映像データを符号化する複数の符号化装置である監視カメラＡ１１１〜監視カメラＤ１１４から並行してネットワーク１１０を介して送信される、Ｉフレームを含む符号化データストリームを受信する機能を有する。
【０１８２】
一例として、データ受信部１６０１は、実施の形態におけるデータ受信部７０３（図７参照）として実現される。
選択部１６０２は、データ受信部１６０１と間隔指示部１６０３とに接続し、データ受信部１６０１で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する機能を有する。
【０１８３】
一例として、選択部１６０２は、実施の形態におけるデータ選択部７０６として実現される。
間隔指示部１６０３は、ネットワーク１１０と選択部１６０２とに接続し、選択部１６０２が、選択する符号化データストリームを第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する機能を有する。
【０１８４】
一例として、間隔指示部１６０３は、実施の形態における指示送信部７０１の一部とデータ選択部７０６の一部と切替要求受付部７０５として実現される。
データ量指示部１６０４は、ネットワーク１１０とデータ受信部１６０１とに接続し、データ受信部１６０１が受信している単位時間当たりのデータ量が上限閾値より多い場合には、選択部１６０２が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示する機能を有する。
【０１８５】
一例として、データ量指示部１６０４は、実施の形態における指示送信部７０１の一部とデータレート解析部７０２として実現される。
（ｂ）また、前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０１８６】
これにより、受信している単位時間当たりのデータ量が下限閾値より少ない場合に、符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が多くなる量子化テーブルに切り替えるように指示することができるようになるため、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートに対して余裕があれば、符号化装置から伝送される符号化データストリームを、符号量の多い、すなわち、画質の良い符号化データストリームにすることができるという効果を有する。
（ｃ）また、前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が前記上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうち少なくとも送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０１８７】
これにより、送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在よりも符号量が少なくなる量子化テーブルに切り替えるように指示することができるようになるため、符号化データストリームを伝送するネットワークの伝送ビットレートが、最大データ転送レートを超えてしまわないように、効率よく伝送ビットレートの増加を抑えることができるという効果を有する。
（ｄ）また、前記選択部は、選択する符号化データストリームを選択中の符号化データストリームから第３の符号化データストリームに切り替える場合に、出力する符号化データストリームにおける切り替え後の最初のフレームが前記第３の符号化データストリームに含まれるＩフレームとなるタイミングで切り替えることを特徴とするとしてもよい。
【０１８８】
これにより、選択する符号化データストリームを切り替える場合に、切り替え後の最初のフレームが、他のフレームの情報を用いずに復号されるフレームであるＩフレームとなるので、切り替え後の符号化データストリームにおいて正しく復号できないフレームがなくなるという効果を有する。
（ｅ）また、前記データ量指示部は、前記選択部が、選択する符号化データストリームを前記第１の符号化データストリームから前記第２の符号化データストリームに切り替えた場合に、前記第２の符号化データストリームを送信する符号化装置に対して、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とするとしてもよい。
【０１８９】
これにより、新たに選択されることになった符号化装置から伝送される符号化データストリームを、符号量の多い、すなわち、画質の良い符号化データストリームにすることができるという効果を有する。
【産業上の利用可能性】
【０１９０】
本発明は、監視カメラシステム等に代表される、複数の符号化された映像データストリームを取り扱うシステムに広く利用することができる。
【符号の説明】
【０１９１】
１０１  映像データ処理装置
１０２  ディスプレイＡ
１０３  データ保存部
１０４  ディスプレイＢ
７０１  指示送信部
７０２  データレート解析部
７０３  データ受信部
７０５  切替要求受付部
７０６  データ選択部
７０７  データ復号部
７０８  サブデータ受信部
７０９  サブデータ復号部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データを符号化する複数の符号化装置から並行して送信される、Ｉフレームを含む符号化データストリームを受信するデータ受信部と、
前記データ受信部で並列に受信されている符号化データストリームの中から１つの符号化データストリームを選択して出力する選択部と、
前記選択部が選択する符号化データストリームを、第１の符号化データストリームから第２の符号化データストリームに切り替えた場合に、前記第１の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも小さくして符号化するように指示し、前記第２の符号化データストリームを送信する符号化装置に対してＩフレーム間の時間間隔を前記切り替え前よりも大きくして符号化するように指示する間隔指示部と、
前記データ受信部が受信している単位時間当たりのデータ量が上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示するデータ量指示部とを備えることを特徴とする
映像データ処理装置。
【請求項２】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項３】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が前記上限閾値より多い場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうち少なくとも送信している単位時間当たりのデータ量が最も多い符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項４】
前記選択部は、選択する符号化データストリームを選択中の符号化データストリームから第３の符号化データストリームに切り替える場合に、出力する符号化データストリームにおける切り替え後の最初のフレームが前記第３の符号化データストリームに含まれるＩフレームとなるタイミングで切り替えることを特徴とする
請求項１記載の映像データ処理装置。
【請求項５】
前記データ量指示部は、前記選択部が、選択する符号化データストリームを前記第１の符号化データストリームから前記第２の符号化データストリームに切り替えた場合に、前記第２の符号化データストリームを送信する符号化装置に対して、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示することを特徴とする
請求項１記載の映像データ処理装置。
【請求項６】
複数の符号化装置と、当該複数の符号化装置とデータの送受信が可能な請求項１記載の映像データ処理装置とからなる映像データ処理システムであって、
前記符号化装置は、
映像データを、Ｉフレームを含む符号化データストリームに符号化する符号化部と、
前記映像データ処理装置からの指示を受信する指示受信部と、
前記映像データ処理装置に前記符号化部が符号化する符号化データストリームを送信する送信部とを備え、
前記符号化部は、前記指示受信部で受信された前記映像データ処理装置からの指示に基づいて、符号化する符号化データストリームにおけるＩフレーム間の時間間隔の変更と、Ｉフレームを量子化する際に用いる量子化テーブルの切り替えとを行うことを特徴とする
映像データ処理システム。
【請求項７】
前記符号化部は、Ｉフレームを量子化する際に用いる量子化テーブルを複数有し、
前記量子化テーブルのそれぞれは、映像データを符号化する際に用いられることで符号化される符号化データストリームの符号量が互いに異なる符号量となる量子化テーブルであって、
前記指示受信部が、前記映像データ処理装置から、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる量子化テーブルに切り替える旨の指示を受けた場合において、
前記符号化部が有する、複数のＩフレームを量子化する際に用いる量子化テーブルの中に、映像データを符号化する際に用いている量子化テーブルよりも映像データを符号化するときの符号量が少なくなる高圧縮量子化テーブルが存在するとき、前記符号化部は、Ｉフレームを量子化する際に用いている量子化テーブルを、現在用いている量子化テーブルから前記高圧縮量子化テーブルに切り替えることを特徴とする
請求項６記載の映像データ処理システム。
【請求項８】
前記データ量指示部は、前記データ受信部が受信している単位時間当たりのデータ量が下限閾値よりも少ない場合には、前記選択部が選択中でない符号化データストリームを送信する符号化装置のうちの少なくとも１つの符号化装置に対して、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替えるように指示し、
前記指示受信部が、前記映像データ処理装置から、Ｉフレームを量子化する際に用いる量子化テーブルを、現在用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる量子化テーブルに切り替える旨の指示を受けた場合において、
前記符号化部が有する複数のＩフレームを量子化する際に用いる量子化テーブルの中に、映像データを符号化する際に用いている量子化テーブルよりも映像データを符号化するときの符号量が多くなる低圧縮量子化テーブルが存在するとき、前記符号化部は、Ｉフレームを量子化する際に用いている量子化テーブルを、現在用いている量子化テーブルから前記低圧縮量子化テーブルに切り替えることを特徴とする
請求項７記載の映像データ処理システム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011013349.tif 000019
【図２】
2011013349.tif 000020
【図３】
2011013349.tif 000021
【図４】
2011013349.tif 000022
【図５】
2011013349.tif 000023
【図６】
2011013349.tif 000024
【図７】
2011013349.tif 000025
【図８】
2011013349.tif 000026
【図９】
2011013349.tif 000027
【図１０】
2011013349.tif 000028
【図１１】
2011013349.tif 000029
【図１２】
2011013349.tif 000030
【図１３】
2011013349.tif 000031
【図１４】
2011013349.tif 000032
【図１５】
2011013349.tif 000033
【図１６】
2011013349.tif 000034
【国際調査報告】
2011013349.tif 000035
2011013349.tif 000036
2011013349.tif 000037
2011013349.tif 000038