(57)【要約】【課題】映像の特性によらず、ネットワークの帯域を効率的に利用でき、安定的なデータ転送を実現する。【解決手段】映像データを取得する複数のカメラ２１０と複数のカメラ２１０に接続され、カメラ２１０で取得した映像データから送信データを生成する中継装置２３０と、を備え、中継装置２３０は、各カメラ２１０で取得した映像データをネットワークに送出する際の消費帯域の予測値である消費帯域予測値を得る帯域予測値算出部２４３と、消費帯域予測値が予め定めた帯域使用上限以上である場合、映像データを多重化した多重化送信データを送信データとして生成する送信データ生成部２４２と、を備え、送信データ生成部２４２は、複数のカメラ２１０で取得した映像データそれぞれの輝度情報を、送信データの送信フォーマットの各色情報領域に配置することにより多重化送信データを生成する。【選択図】図１
2020136796.tif 000002
【特許請求の範囲】
【請求項１】
映像データを取得してネットワークに送出するデータ送信側サブシステムと、前記ネットワークから前記映像データを受信して出力するデータ受信側サブシステムとを有する映像監視システムにおいて、
前記データ送信側サブシステムは、
前記映像データを取得する複数のカメラと、
前記複数のカメラに接続され、前記各カメラで取得した前記映像データから前記ネットワークへ送出する送信データを生成して当該ネットワークへ出力する中継装置と、を備え、
前記中継装置は、
前記各カメラで取得した映像データを前記ネットワークに送出する際の消費帯域の予測値である消費帯域予測値を得る帯域予測値算出部と、
前記消費帯域予測値が予め定めた帯域使用上限以上である場合、前記映像データを多重化した多重化送信データを前記送信データとして生成する送信データ生成部と、を備え、
前記送信データ生成部は、前記複数のカメラで取得した映像データそれぞれの輝度情報を、前記送信データの送信フォーマットの各色情報領域に配置することにより前記多重化送信データを生成し、
前記データ受信側サブシステムは、
前記ネットワークから前記送信データを受信する受信部と、
受信した前記送信データから表示データを生成する表示データ生成部と、を備え、
前記表示データ生成部は、前記多重化送信データを受信した場合、前記各色情報領域に配置された前記カメラ毎の輝度情報を分離し、それぞれ、前記表示データとすること
を特徴とする映像監視システム。
【請求項２】
請求項１記載の映像監視システムであって、
前記送信フォーマットの前記色情報領域は、前記輝度情報を格納する輝度情報領域と第一色情報を格納する第一色情報領域と第二色情報を格納する第二色情報領域とを備えること
を特徴とする映像監視システム。
【請求項３】
請求項２記載の映像監視システムであって、
前記第一色情報は青の色差情報であり、前記第二色情報は赤の色差情報であること
を特徴とする映像監視システム。
【請求項４】
請求項１記載の映像監視システムであって、
前記送信データ生成部は、前記多重化送信データの生成元の前記映像データから、前記多重化送信データを生成する際に除去した情報を用いて、補完データを、前記送信フォーマットで生成すること
を特徴とする映像監視システム。
【請求項５】
請求項１記載の映像監視システムであって、
前記複数のカメラは、それぞれ、取得した前記映像データから背景として用いる背景データを抽出する背景抽出部を備え、
前記背景抽出部は、予め定めた時間範囲の映像データ群の中で、最もデータ量の少ない映像データを、前記背景データとすること
を特徴とする映像監視システム。
【請求項６】
請求項１記載の映像監視システムであって、
前記複数のカメラは、前記映像データを、フレーム間予測符号化により生成し、
前記中継装置は、前記複数のカメラそれぞれにおいて、異なるタイミングで、Ｉフレームが生成されるよう制御すること
を特徴とする映像監視システム。
【請求項７】
映像データを取得してネットワークに送出するデータ送信側サブシステムと、前記ネットワークから前記映像データを受信して出力するデータ受信側サブシステムとを有する映像監視システムにおける映像データの送受信方法であって、
前記データ送信側サブシステムは、
前記映像データを前記ネットワークに送出する際の消費帯域の予測値である消費帯域予測値を算出し、
前記消費帯域予測値が予め定めた帯域使用上限以上である場合、前記映像データを多重化した多重化送信データを送信データとして生成して送信し、
前記多重化送信データは、前記多重化を行う対象の映像データそれぞれの輝度情報を、前記送信データの送信フォーマットの各色情報領域に配置することにより生成され、
前記データ受信側サブシステムは、
前記データ送信側サブシステムから前記多重化送信データを受信した場合、前記送信フォーマットの前記各色情報領域に配置された各映像データの輝度情報を分離し、
分離した輝度情報毎に表示データを生成し、表示装置に表示すること
を特徴とする映像データの送受信方法。
【請求項８】
コンピュータを、
複数の映像データそれぞれの輝度情報を、予め定めた送信フォーマットの各色情報領域に配置することにより多重化送信データを生成する多重化手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の監視カメラで得た映像情報を、ネットワークを介して送受信する技術に関する。
【背景技術】
【０００２】
セキュリティや情報サービスを目的としてＩＰ監視カメラを設置し、離れた場所のサーバに映像を送信して監視する映像監視システムがある。このような映像監視システムでは、映像情報を常時サーバに送信しているため、消費するネットワーク帯域が大きい。
【０００３】
カメラで取得した映像情報を送信するにあたり、国際規格に準拠しつつ、より少ない符号量でより高い品質の復号映像を得ることができる映像符号化方法がある。例えば、特許文献１には、「入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、背景画像をフレーム間動き補償符号化する符号化ステップと、背景画像の符号に長期参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法（要約抜粋）」が開示されている。
【０００４】
複数の符号化方式を備え、映像信号の総帯域に応じて使用する符号化方式を決定する技術がある。例えば、特許文献２には、「複数のカメラの各々は、撮影して得た映像信号を、平均ビットレートのそれぞれ相違する複数の可変ビットレートの符号化方式のうちの一の符号化方式で符号化して送信する。受信装置は、複数のカメラから受信する映像信号の総帯域を定期的に測定し、総帯域が第１の閾値を上回る場合、カメラで使用する符号化方式をより平均ビットレートの低いものに切替える。また受信装置は、総帯域が第１の閾値以下の第２の閾値を下回る場合、カメラで使用する符号化方式をより平均ビットレートの高いものに切替える（要約抜粋）」技術が開示されている。
【０００５】
画質の低減を抑制する画像処理装置および方法がある。例えば、特許文献３には、「符号化されてフレームメモリに記憶され、そのフレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する（要約抜粋）」技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−９２８８６号公報
【特許文献２】国際公開２０１４／０６１１８１号公報
【特許文献３】国際公開２０１８／１１０２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、特許文献１に開示の方式で抽出した背景を、長期参照フレームとして使用することで、データ転送量を軽減することができる。さらに、帯域不足が生じる可能性がある場合、特許文献２に開示の技術を用いて重要でない映像の画質を低下させて転送することで、さらにデータ転送量を低減することができる。
【０００８】
しかしながら、特許文献１に開示の方式は、複数のフレームの各画素に対して前後のフレームの各画素間で演算処理を行い、背景画像を生成する。この処理のリソース消費は大きい。また、特許文献２に開示の方式は、情報量の大きなＩフレーム（Ｉｎｔｒａ  Ｆｒａｍｅ）の転送タイミングが考慮されていない。このため、複数のカメラから同じタイミングでＩフレーム送信が行われた場合に、消費帯域が大きいと判定され、必要以上に低画質化が行われてしまう可能性がある。この結果、監視カメラ映像品質が大きく低下し、運用に支障が出る可能性がある。
【０００９】
また、交通系の監視映像等では、監視対象の交通量が信号等により周期的に変化する。このため、得られる映像データの情報量も周期的に変化する。このような映像データでは、交通が途切れた状態や信号待ちの停車等により映像変化がほとんどない状況が発生する。このような場合、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ  ｉｎｔｅｒ  Ｆｒａｍｅ）のデータ量は極端に小さくなる。このようなＰフレームの送信の多い期間を対象として消費帯域が見積もられてカメラの帯域（映像データ量）が設定されると、複数のカメラから情報量の大きなＩフレームが同時に送信された際に帯域不足が生じ、フレーム欠損や遅延が発生する可能性がある。
【００１０】
本発明は上記事情を鑑みてなされたもので、映像の特性によらず、ネットワークの帯域を効率的に利用でき、安定的なデータ転送を実現する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、映像データを取得してネットワークに送出するデータ送信側サブシステムと、前記ネットワークから前記映像データを受信して出力するデータ受信側サブシステムとを有する映像監視システムにおいて、前記データ送信側サブシステムは、前記映像データを取得する複数のカメラと、前記複数のカメラに接続され、前記カメラで取得した前記映像データから前記ネットワークへ送出する送信データを生成して当該ネットワークへ出力する中継装置と、を備え、前記中継装置は、前記各カメラで取得した映像データを前記ネットワークに送出する際の消費帯域の予測値である消費帯域予測値を得る帯域予測値算出部と、前記消費帯域予測値が予め定めた帯域使用上限以上である場合、前記映像データを多重化した多重化送信データを前記送信データとして生成する送信データ生成部と、を備え、前記送信データ生成部は、前記複数のカメラで取得した映像データそれぞれの輝度情報を、前記送信データの送信フォーマットの各色情報領域に配置することにより前記多重化送信データを生成し、前記データ受信側サブシステムは、前記ネットワークから前記送信データを受信する受信部と、受信した前記送信データから表示データを生成する表示データ生成部と、を備え、前記表示データ生成部は、前記多重化送信データを受信した場合、前記各色情報領域に配置された前記カメラ毎の輝度情報を分離し、それぞれ、前記表示データとすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、映像の特性によらず、ネットワークの帯域を効率的に利用でき、安定的なデータ転送を実現できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態の映像監視システムの全体構成図である。
【図２】（ａ）は、本発明の実施形態のカメラのハードウェア構成図であり、（ｂ）は、本発明の実施形態のカメラの機能ブロック図である。
【図３】（ａ）〜（ｃ）は、本発明の実施形態の高効率モードを説明するための説明図である。
【図４】（ａ）〜（ｃ）は、本発明の実施形態の背景抽出処理を説明するための説明図である。
【図５】（ａ）は、本発明の実施形態の中継装置のハードウェア構成図であり、（ｂ）は、本発明の実施形態の中継装置の機能ブロック図である。（ｃ）は、本発明の実施形態のヘッダの一例を説明するための説明図である。
【図６】（ａ）は、本発明の実施形態の映像認識装置のハードウェア構成図であり、（ｂ）は、本発明の実施形態のデータ受信装置のハードウェア構成であり、（ｃ）は、本発明の実施形態のデータ受信装置の機能ブロック図である。
【図７】本発明の実施形態の多重化処理を説明するための説明図である。
【図８】本発明の実施形態の多重化復元処理を説明するための説明図である。
【図９】（ａ）〜（ｃ）は、本発明の実施形態のカメラが記憶するテーブル例である。
【図１０】（ａ）〜（ｃ）は、本発明の実施形態の中継装置が記憶するテーブル例である。
【図１１】本発明の実施形態の、各装置間のデータの流れを説明するための説明図である。
【図１２】本発明の実施形態の映像データ生成処理のフローチャートである。
【図１３】本発明の実施形態のカメラ制御処理のフローチャートである。
【図１４】本発明の実施形態の送信データ生成処理、多重化データ生成処理および補完データ生成処理のフローチャートである。
【図１５】本発明の実施形態の多重化処理のフローチャートである。
【図１６】本発明の実施形態の映像ファイル作成もしくは復元処理のフローチャートである。
【図１７】本発明の実施形態の映像データ受信処理のフローチャートである。
【図１８】本発明の実施形態の多重化映像復元処理のフローチャートである。
【図１９】（ａ）および（ｂ）は、本発明の実施形態の映像表示装置に表示される映像例である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を用いて説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。
【００１５】
また、以下の説明では、「管理テーブル」等の表現にて各種情報を説明することがある。しかし、各種情報は、テーブル以外のデータ構造（例えば、リスト、リポジトリ、キューなど）で表現されてもよい。また、データ構造に依存しないことを示すために「管理テーブル」を「管理情報」と称すことがある。
【００１６】
また、「プログラム」を主語として処理を説明する場合がある。そのプログラムは、プロセッサ、例えば、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によって実行されることにより、定められた処理を行うものである。このとき、定められた処理は、適宜、記憶資源（例えば、メモリ）および通信インタフェース装置（例えば、ＬＡＮポート）を用いながら行われる。従って、処理の主語は、プロセッサとされてもよい。プロセッサは、ＣＰＵの他に専用ハードウェアを有してもよい。コンピュータプログラムは、プログラムソースから各コンピュータにインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは記憶メディアなどで提供されるものでもよい。
【００１７】
また、各要素、例えば、記憶装置は番号などで識別可能であるが、識別可能な情報であれば、名前など他種の識別情報が用いられてもよい。
【００１８】
本発明は、以下に説明する実施形態に制限されず、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。また、特に明示しない限り、各構成要素は複数でも単数でも構わない。
【００１９】
＜発明の概要＞
本実施形態では、複数のカメラで取得した映像データのデータ量を、所定の時間間隔で監視する。データ量が予め定めた閾値を超える場合、複数のカメラで取得した映像データを多重化し、送信映像データを生成する。多重化においては、各映像データの輝度情報を、予め定めた送信映像データの色情報領域（色空間）に配置する。
【００２０】
以下、本実施形態では、交通系監視映像を対象とし、送信映像データの色情報として、輝度信号（輝度情報）Ｙと、２つの色差信号（色差情報）Ｃｂ、Ｃｒとを用いて表現される色情報を用いる場合を例にあげて説明する。なお、各色情報を格納する領域を、Ｙ領域（輝度情報領域）、Ｃｂ領域（第一色（Ｃｂ）情報領域）、Ｃｒ領域（第二色（Ｃｒ）情報領域）と呼ぶ。
【００２１】
［システム構成］
図１は、本実施形態の映像監視システム１００の全体構成を示す図である。本図に示すように、本実施形態の映像監視システム１００は、データ送信側サブシステム２００と、データ送信側サブシステム２００にネットワーク３００を介して接続されるデータ受信側サブシステム４００とを備える。
【００２２】
データ送信側サブシステム２００およびデータ受信側サブシステム４００は、複数であっても構わない。以下、本実施形態では、データ送信側サブシステム２００およびデータ受信側サブシステム４００がそれぞれ１つの場合を例にあげて説明する。
【００２３】
データ送信側サブシステム２００は、複数のカメラ２１０と、中継装置２３０と、映像認識装置２５０と、送信側記憶装置２７０と、を備える。各カメラ２１０と中継装置２３０とは、信号線またはネットワークケーブルにより通信可能に接続される。なお、両者の通信経路上には、信号切替器やネットワークスイッチ、レンジエクステンダ（信号延長機器）等が含まれてよい。
【００２４】
また、映像認識装置２５０と送信側記憶装置２７０とは、中継装置２３０と通信可能に接続される。なお、これらは、中継装置２３０に含まれてもよい。また、映像認識装置２５０は、複数であってもよい。以下、本実施形態では、映像認識装置２５０を１つ備える場合を例にあげて説明する。
【００２５】
データ受信側サブシステム４００は、データ受信装置４１０と、受信側記憶装置４３０と、映像表示装置４５０と、ユーザ端末４７０と、を備える。なお、データ受信側サブシステム４００は、その他、プリンタ等の出力機器や光学記録媒体への入出力機器、マウス／キーボード等の入力機器（いずれも非図示）を備えてもよい。
【００２６】
中継装置２３０、映像認識装置２５０、およびデータ受信装置４１０は、一般的な電子計算機に必要なソフトウェアおよびインタフェースを実装したものでも構わないし、複数の電子計算機を用いたり、専用のハードウェアを用いたりして実現しても良い。
【００２７】
カメラ２１０は、道路の交通監視を行う固定カメラである。交差点等に固定的に配置され、予め定められた撮像範囲の映像データを所定の時間間隔（第一時間間隔）で取得し、所定の処理を施し映像データとし、中継装置２３０に受け渡す。
【００２８】
カメラ２１０は、取得した画像を予め定められたエンコードモードでエンコードし映像データを生成する。エンコードモードには、高精細モード、通常モード、高効率モードがある。エンコードモード間の移行は、予め定められた規則に従って行われる。また、中継装置２３０からの指示に従って行われる。
【００２９】
中継装置２３０は、予め定めた複数台のカメラ２１０から映像データを受信し、受信した映像データから送信データを生成し、ネットワーク３００を介してデータ受信側サブシステム４００に送信する（映像受信）。このとき、ネットワーク３００へ送出される映像データ（送信データ）の使用帯域量をモニタし、モニタ結果に応じて、転送する映像データに対し、帯域削減処理を施す（通信帯域監視、多重化映像データ生成）。また、指示に応じて、カメラ２１０のエンコードモード変更指示をカメラ２１０に出力する（カメラ制御）。また、帯域削減処理を施す対象の映像データは、送信側記憶装置２７０に保存する（一時映像バックアップ）。なお、中継装置２３０からデータ受信側サブシステム４００に送信するデータには、通常データと、高精細データと多重化データと、補完データとがある。
【００３０】
さらに、中継装置２３０は、カメラ２１０で取得した統計情報を学習情報として映像認識装置２５０に転送する。
【００３１】
映像認識装置２５０は、中継装置２３０から受信した統計情報に基づいて、映像の異常を検出し、中継装置２３０に通知する。また、異常状態が解消された場合も、その旨、中継装置２３０に通知する。
【００３２】
送信側記憶装置２７０は、中継装置２３０が受信した映像データのうち、帯域削減処理対象の映像データを、バックアップ映像データとして記憶する。さらに、中継装置２３０が生成した補完データを記憶する。補完データについては、後述する。
【００３３】
データ受信装置４１０は、ネットワーク３００を介して送信データを受信し、表示データを生成して映像表示装置４５０やユーザ端末４７０の表示装置に表示させる（映像出力）。このとき、送信データが多重化されている場合は、復元処理を行う（多重化映像復元）。さらに、受信した映像データを、受信側記憶装置４３０に保存する（映像データ記録）。また、保存された映像データが低画質の場合は、補完データ等による非同期での復元処理を行う（低画質映像データ復元）。
【００３４】
受信側記憶装置４３０は、データ受信装置４１０が生成した表示データ（映像データ）を保存する。
【００３５】
映像表示装置４５０は、データ受信装置４１０が生成した表示データを表示する。ユーザ端末４７０は、データ受信側サブシステム４００のユーザインタフェースとして機能する。
【００３６】
［データ送信側サブシステム］
次に、データ送信側サブシステム２００の各構成要素の詳細を説明する。
【００３７】
［カメラ］
カメラ２１０のハードウェア構成および機能構成を説明する。
【００３８】
図２（ａ）は、本実施形態のカメラ２１０のハードウェア構成図である。なお、電源等の、動作に必須であっても本実施形態に直接関与しないものについては省略する。これは他の図においても同様である。
【００３９】
カメラ２１０は、ＣＰＵ２１１と、メモリ２１２と、内蔵記憶装置２１３と、通信インタフェース（Ｉ／Ｆ）２１４と、光学モジュール２１５と、を備える。
【００４０】
光学モジュール２１５は、光学系制御部２１５ａと、光学レンズ２１５ｂと、撮像素子２１５ｃと、映像符号化機構２１５ｄと、フレームメモリ２１５ｅと、を備える。
【００４１】
映像符号化機構２１５ｄは、撮像素子２１５ｃで取得した画像を、所定の解像度、ビットレート等に基づいたＭＰＥＧ等のフレーム間予測符号化方式等でエンコードし、中継装置２３０に送信する映像データの各フレームデータを生成する。
【００４２】
ＣＰＵ２１１は、内蔵記憶装置２１３に格納された各種プログラムをメモリ２１２にロードして実行し、光学系の制御、映像データの符号化、中継装置２３０等からのコマンドに対応する処理等を行う。
【００４３】
メモリ２１２は、不揮発性の記憶素子であるＲＯＭおよび揮発性の記憶素子であるＲＡＭを備える。ＲＯＭは、通常、不変のプログラムや管理テーブルの初期データなどを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ２１１が実行するプログラムおよびプログラムの実行時に使用されるデータを一時的に格納する。
【００４４】
内蔵記憶装置２１３は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ等からなる半導体記憶装置（ＳＳＤ）等の大不揮発性の記憶装置等を備える。また、フラッシュメモリチップ等により基板上の回路の一部やメモリの一部により構成されてもよい。ＣＰＵ２１１が実行するプログラムおよびプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、内蔵記憶装置２１３から読み出されて、メモリ２１２にロードされて、ＣＰＵ２１１によって実行される。
【００４５】
図２（ｂ）は、カメラ２１０の、機能ブロック図である。ここでは、本実施形態の機能に関係する箇所のみ取り上げて説明する。
【００４６】
カメラ２１０は、光学モジュール制御部２２１と、映像符号化部２２２と、モード決定部２２３と、背景抽出部２２４と、統計情報処理部２２５と、を備える。また、これらの各部は、内蔵記憶装置２１３等に格納されるカメラ管理テーブル５１０と、映像関連情報設定テーブル５３０と、モード制御関連情報設定テーブル５５０と、のデータを用いて、処理を行う。
【００４７】
各機能は、ＣＰＵ２１１が内蔵記憶装置２１３に格納されたプログラムを、メモリ２１２にロードして実行することにより、実現される。
【００４８】
光学モジュール制御部２２１は、光学モジュール２１５の各部を制御して、所定の時間間隔で画像を取得する。
【００４９】
映像符号化部２２２は、映像符号化機構２１５ｄを制御し、光学モジュール制御部２２１が取得した画像にフレーム間予測符号化方式等で圧縮処理を施し、圧縮符号化し、フレームを生成し、映像データとして中継装置２３０に出力する。ここで、作成するフレームは、全画面の情報を有するフレーム（イントラフレーム（Ｉフレーム）と呼ぶ。）と、Ｉフレームから、直前に生成したフレームとの変化（差分）情報のみを有するフレーム（Ｐフレーム）である。なお、本実施形態では、Ｂフレームは生成しないものとする。
【００５０】
映像符号化部２２２は、所定のタイミングでＩフレームを生成する。生成されるＩフレームは、次のＩフレームを生成するまでの間のベース画像となる。Ｉフレームは、周期的、または、映像の変化が大きい任意のタイミングで生成される。Ｐフレームは、ＩフレームとＩフレームとの間に生成される。すなわち、Ｉフレームが生成された後は、次のＩフレームが生成されるまでは、Ｐフレームが生成される。
【００５１】
なお、映像符号化部２２２は、中継装置２３０からの指示に従って、Ｉフレームを生成するタイミングを変更する。
【００５２】
本実施形態では、カメラ２１０側で映像データの符号化（エンコード）を実施する。このため、通常状態では、Ｉフレームの生成タイミングがカメラ２１０毎に異なる。このため、カメラ２１０は、中継装置２３０からの指示でＩフレームの生成タイミングを変更する機能を有する。
【００５３】
タイミング変更指示（Ｉフレーム送信タイミング調整指示）は、「次回のＩフレーム作成後、ｎフレーム後にＩフレームを作成する。」というように行われる。例えば３０フレーム毎にＩフレームを生成している場合に、次のＩフレームの１０フレーム後にＩフレームを作成すると指示された場合、１０フレーム後にＩフレームを生成し、その後は３０フレーム毎に戻る。また、指示は３１フレーム後のように通常の周期を上回る指定も可能とする。このように指定することで、Ｉフレームの直後（１フレーム後）に再びＩフレームを生成するような高負荷状態を回避できる。（もしくは、１フレーム後という指示を受領した場合、カメラ２１０側で判断して３１フレーム後に行うようにしてもよい。）なお、この時、カメラ２１０が後述する高効率モードで動作中の場合は、Ｉフレームを示すフレームマーカの位置を移動させるだけでよい。
【００５４】
なお、中継装置２３０側でエンコードする場合は、このような問題は生じない。しかしながら、中継装置２３０では、複数のカメラ２１０（チャネル）からの映像情報を同時にエンコードしなくてはならず、大量のリソースが必要となる。本実施形態では、このようなＩフレームの生成タイミングを変更する機能を有することにより、中継装置２３０への高負荷を回避できる。
【００５５】
背景抽出部２２４は、複数のフレームをモニタし、背景画像とするフレーム（背景データ）を決定する。
【００５６】
本実施形態では、交通系の監視カメラを対象としている。交通系監視カメラで取得した映像データの場合、動体である自動車等の移動に伴い背景に書き戻すためのデータが幾度も必要になる。このような環境では、データ量を小さくするため、変化しない背景画像をベースとし、動体オブジェクトを符号化するスプライト符号化が用いられる。背景抽出部２２４は、このスプライト符号化の背景画像を抽出する。
【００５７】
以下、図３（ａ）に示すように、Ｉフレームと所定数のＰフレームとのセットが繰り返されるエンコードモードを、通常モードと呼ぶ。なお、Ｉフレームから次のＩフレームまでのフレームをＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）と呼ぶ。
【００５８】
また、上述のスプライト符号化方式のエンコードモードを高効率モードと呼ぶ。高効率モードでは、長期参照フレームを特定し、次の長期参照フレームを検出するまで、あるいは、通常モードとなるまでの間は、長期参照フレームと異なる画素を切り出し、Ｐフレームとして送信する、動き予測補償による帯域削減を実現する。また、Ｉフレーム送信時には、長期参照フレームと同じデータは送信しない。これにより帯域を削減する。
【００５９】
このように、高効率モードは、通常モードと、画像の画質は同じであるが、エンコード方式が異なる。このため、全体として、よりデータの圧縮率が高く、データ転送量が少ないモードである。本実施形態では、この高効率モードの長期参照フレームとして背景画像フレームを用いる。
【００６０】
本実施形態では、図３（ｂ）に示すように、通常モードで稼働中に、背景画像が検出できると、高効率モードに移行する。背景画像（長期参照フレーム）には、有効期限を設けておく。この有効期限内に次の長期参照フレームを検出する。この有効期限内に次の長期参照フレームを検出できない場合は、通常モードに戻る。
【００６１】
なお、長期参照フレームとして用いる背景画像の検出は、所定の時間間隔をあけて行う。この時間間隔を、背景検出抑止期間とよぶ。この背景検出抑止期間は、ある程度の時間間隔をおいて背景検出を行った方が、データ転送量を小さくできるために設けられた期間である。
【００６２】
本実施形態では、図３（ｃ）に示すように、交通が途切れて映像の変化がなくなった状態を検出し、背景画像フレーム９１１とする。そして、背景画像フレームを長期参照フレームとして、次の長期参照フレームを検出するまで、あるいは、通常モードとなるまでの間は、背景と異なる画素９１２を切り出し、Ｐフレームとして送信する。
【００６３】
なお、動体として切りだす単位は、画素単位でなくてもよい。予め定めた所定の画素群で構成されるマクロブロック単位であってもよい。
【００６４】
本実施形態の背景抽出部２２４は、データ量の増減のみに着目し、背景画像を特定する。すなわち、所定の時間間隔で生成されるＧＯＰのデータ量を監視し、予め定めた期間内で所定サイズ以下のＧＯＰからＩフレームを抽出し、背景画像とする。
【００６５】
本実施形態では、上述のように交通系の監視カメラを対象としている。従って、交通が途切れた状態に取得した映像データを背景画像とする。このような交通の途切れは、信号により発生する場合が多い。従って、例えば、データ量の監視期間は、近隣の信号の制御シーケンスが、少なくとも２回は含まれる時間以上に設定する。
【００６６】
図４（ａ）〜図４（ｃ）に示すように、本実施形態では、道路に設置された固定カメラの場合、交通が途切れて背景状態になったことを検出し、当該状態の映像データの生成過程において作成されるＩフレームを背景画像として指定する。具体的には、背景抽出部２２４は、所定期間、各ＧＯＰの情報量（データ量）を算出し、その間で、例えば最もデータ量の少ないＧＯＰのＩフレームを、背景画像と決定する。一般的に交通が途切れる状態は信号により発生する場合が多く、当該状態は数秒から数十秒生じることが多い。このため、当該状態を検出してから次のＩフレーム生成タイミングを待つことも可能である。さらに、背景画像は長期参照フレームとして使用される。長期参照フレームの有効期間は、例えば３０分と設定される。なお。有効期間はこれに限定されない。当該期間内に次の長期参照フレーム候補が抽出できればよい。
【００６７】
本実施形態では、背景の抽出手法を効率化し、処理負荷を低減する。
【００６８】
なお、背景画像の抽出においては、データ量だけでなく、映像周波数も加味して判断してもよい。例えば、図４（ｂ）のように、車両が停止中であるために映像に動きが無い場合、画像の乱雑性が大きく、映像周波数が高い。一方、図４（ｃ）に示すように、車両等の動体が全く写っていない映像の場合は、画像の乱雑性が小さく、映像周波数も小さい。従って、映像周波数が最も小さい映像フレームを、背景画像フレームとしてもよい。
【００６９】
モード決定部２２３は、カメラ２１０で取得した画像（映像）のエンコードモードを決定する。そして、決定したモードを映像符号化部２２２に通知する。映像符号化部２２２は、モード決定部２２３からの指示に従って、エンコードモードを変更する。本実施形態のカメラ２１０は、それぞれ、フレームの情報量が異なる高精細モード、通常モードおよび高効率モードを有する。
【００７０】
なお、高精細モードは、通常モードよりも高精細（高ビットレートもしくは高解像度）な映像を得るモードである。高精細モードは、事故発生時等に情報量の多い映像データを生成するために用いられる。
【００７１】
モード決定部２２３は、カメラ２１０に設定された移行条件（ポリシ等）に従って、各モードを決定する。また、中継装置２３０等からの指示に従って、各モードを決定する。
【００７２】
例えば、モード決定部２２３は、高効率モード時、長期参照フレームの有効期間内に次の長期参照フレーム候補（次候補と呼ぶ）が抽出できなかった場合や、突然の豪雨等による画面変化量（Ｐフレームのデータ量）の急激な増大を検出した場合等は、高効率モードを解除して、通常モードに復帰する。また、中継装置２３０からの指示は、例えば、映像認識装置２５０が、交通事故発生等の異常状態を検出した場合、高精細モードへの移行指示を行う。
【００７３】
また、映像認識装置２５０の判定結果に基づく、中継装置２３０等からの指示によっても、通常モードに復帰する。
【００７４】
なお、この時、別のオプション指示等により指定のＩフレーム生成後から通常モードに復帰するようにしてもよい。また、中継装置２３０は、カメラ２１０の高精細モードへの移行タイミングを、当該指示を用いて制御するようにしてもよい。これは、情報量の大きい高精細モードのカメラ間のＩフレーム生成タイミングが重複するのを避けるためである。
【００７５】
統計情報処理部２２５は、中継装置２３０へ送信する映像データから、統計情報（動き予測情報等）を採取して、後述するカメラ管理テーブル５１０の蓄積統計情報領域に蓄積する。
【００７６】
具体的には、映像符号化機構２１５ｄから受領した映像データ（ＩフレームまたはＰフレーム）を、通信インタフェース２１４を介して映像認識装置２５０に送信する。また、当該映像データに含まれる動き予測情報等を採取し、また、当該映像データのデータサイズをチェックし、カメラ管理テーブル５１０における蓄積統計情報領域（レコード５２５〜５２８）に蓄積（値を加算）する。
【００７７】
統計情報処理部２２５は、映像認識装置２５０に与える学習情報として、定期的に高精細静止画を送信するようにしてもよい。さらに映像認識装置２５０もしくは中継装置２３０からの指示に応答して前述の情報を送信してもよい。なお、この場合の高精細静止画は、前述の高精細モードにおけるＩフレーム相当の静止画像を想定しているが、通常モードにおける画質が機械学習に必要充分な場合は、Ｉフレームの映像をそのまま転送するようにしてもよい。
【００７８】
［中継装置］
図５（ａ）は、本実施形態の中継装置２３０のハードウェア構成を説明するための図である。本図に示すように、中継装置２３０は、ＣＰＵ２３１と、メモリ２３２と、内蔵記憶装置２３３と、通信インタフェース２３４と、グラフィック処理装置２３５と、拡張ボード２３６と、を備える。なお、これらの各デバイスは、内部インタフェースバスにより接続される。ＣＰＵ２３１と、メモリ２３２と、内蔵記憶装置２３３と、通信インタフェース２３４と、は、基本的に、映像認識装置２５０およびデータ受信装置４１０の同名の装置と同様の機能を備える。
【００７９】
グラフィック処理装置２３５は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備え、画像処理を行う。なお、ＧＰＵはＣＰＵ２３１内にコアとして実装されてもよい。グラフィック処理装置２３５は、ＣＰＵ２３１の周辺回路として実装されてもよい。
【００８０】
拡張ボード２３６は、複数のカメラ２１０と接続され、カメラ２１０から入力される映像データを、カメラ２１０毎に受信し、処理（復号／分析／符号化／多重化等）を行う。拡張ボード２３６は、各カメラ２１０と通信を行う複数のポート２３６ａと、複数のポート２３６ａから入力される映像データをそれぞれ処理するアクセラレータ２３６ｂと、メモリ２３６ｃと、を備える。
【００８１】
中継装置２３０は、各カメラ２１０から送信された映像データから送信データを生成してネットワーク３００を介してデータ受信側サブシステム４００へ送信する。このとき、ネットワーク３００の消費帯域を監視し、消費帯域が予め定めた上限を超える可能性がある場合、送信データのデータ量を削減する。また、カメラ２１０のエンコードモードの制御も行う。
【００８２】
これらの機能を実現するため、本実施形態の中継装置２３０は、図５（ｂ）に示すように、カメラ制御部２４１と、送信データ生成部２４２と、帯域予測値算出部２４３と、送信部２４４と、を備える。また、帯域制御設定テーブル６１０と、カメラグループ設定テーブル６３０と、チャネル管理テーブル６５０と、を備える。
【００８３】
各機能は、ＣＰＵ２３１が、予め内蔵記憶装置２３３に格納されたプログラムをメモリ２３２にロードして実行することにより、実現される。また、帯域制御設定テーブル６１０と、カメラグループ設定テーブル６３０と、チャネル管理テーブル６５０と、は、内蔵記憶装置２３３に記憶される。
【００８４】
カメラ制御部２４１は、カメラ２１０のエンコードモードを制御する。本実施形態では、ユーザからの指示、あるいは、映像認識装置２５０からの指示に従って、カメラ２１０に対し、エンコードモードを指示する。映像認識装置２５０からの指示は、後述する。
【００８５】
また、この他にも、ユーザが特定のカメラ２１０の映像を高精細化したい場合等に、ユーザ端末等４７０からカメラ２１０のエンコードモード変更を指示することができる。ユーザはユーザ端末等４７０の操作により、当該特定カメラ２１０への映像モードを変更する。ユーザ端末４７０は、ユーザの操作により映像モード変更の指示を受け付けると、当該指示をデータ受信装置４１０に送信する。データ受信装置４１０は、ネットワーク３００経由で当該指示を中継装置２３０に送信する。当該指示を受信した中継装置２３０は、カメラ制御部２４１にカメラ２１０のエンコードモードを指示に従って変更させる。
【００８６】
カメラ制御部２４１は、映像認識装置２５０からの、特定チャネルのカメラ２１０映像に対する異常検出／解除情報（通知）等に基づいて、当該特定チャネルのカメラ２１０を高精細モード等へ切替／解除の指示を行う。
【００８７】
なお、映像認識装置２５０からは、対象のカメラ２１０を特定する情報とともに、高精細モードへ移行させる指示または、高精細モードを解除する指示が出力される。このとき、移行対象のカメラ２１０のみを移行させてもよいし、後述するカメラグループ設定テーブル６３０に従って、移行対象のカメラ２１０が属するグループの全てのカメラ２１０を一括して高精細モードに移行させてもよい。解除も同様である。
【００８８】
複数のカメラ２１０は、個々に管理されてもよいし、いくつかのグループに分け、グループ単位で管理されてもよい。例えば、同一交差点に、それぞれ異なる方向に向けて設置されている複数のカメラ２１０を１つのグループとし、管理する。また、直線道路の同一ポイントにおいて、上下線のそれぞれの方向に向けて設置された２つのカメラ２１０を、１つのグループとして管理する。
【００８９】
例えば、同一グループに属する複数のカメラ２１０の内、少なくとも１台のカメラ映像に、映像認識装置２５０が当該映像内に異常状態が生じていることを検出した場合、中継装置２３０は、同一グループ内の全カメラ２１０もしくは優先度等に応じて選択された複数のカメラ２１０を、高精細モードに切り替えることができる。交通事故等の異常状態が発生した場合は、同一交差点の全てのカメラ２１０を高精細モードに移行させ、多面的な映像データを取得することが望ましいためである。
【００９０】
また、カメラ制御部２４１は、Ｉフレーム送信タイミング調整指示を各カメラ２１０に出力する。本実施形態では、後述する多重化した映像データのＩフレームの送信タイミングは、高精細モード映像のＩフレーム送信タイミングや別の多重化された映像データの同タイミングとできるだけ重ならないようにすることが望ましい。このＩフレーム送信タイミング調整指示により、使用帯域が時間的に平準化されるよう制御する。
【００９１】
帯域予測値算出部２４３は、ネットワーク３００へ出力する映像データの使用帯域量を監視する。一例として、単位時間当たりのデータ量に基づいて使用帯域量を算出し、モニタする。
【００９２】
本実施形態では、カメラ２１０のエンコードモード変更の指示を受け付けると、変更後の消費帯域量が、予め定めた上限を超えないよう制御する。本実施形態では、高精細モードへの移行の指示を受け付けた際、送信データ生成部２４２からの指示により、消費帯域の予測値（消費帯域予測値）を算出する。
【００９３】
本実施形態では、各カメラ２１０から受信し、データ受信側サブシステム４００へ送信するためにネットワーク３００に出力する映像データ（送信データ）の、単位時間当たりのデータ量を使用帯域量として算出する。算出は、後述する帯域制御設定テーブル６１０を参照し、帯域監視を行う。
【００９４】
送信データ生成部２４２は、カメラ２１０から受け取った映像データから、ネットワーク３００経由で送信する送信データを生成する。このとき、予め定めた送信モードに従って、映像データから送信データを生成し、送信部２４４に出力する。
【００９５】
送信モードには、通常送信モード、ダウンコンバートモード、多重化モードの３種がある。
【００９６】
通常送信モードは、カメラ２１０から送信された映像データに特殊処理を加えずに送信データとするモードである。ダウンコンバートモードおよび多重化モードは、映像データに対し、帯域削減処理を行い、送信データを生成するモードである。ダウンコンバートモードは、映像データに対し、解像度、ビットレート等を低下させるダウンコンバート処理を施し、送信データを生成するモードである。「ダウンコンバート」モードは、カメラ２１０のエンコードモードが高精細モードである場合のみ設定可能である。多重化モードは、複数の映像入力チャネル映像（複数のカメラ２１０から受け取った映像データ）を多重化して送信データとするモードである。これらのモードは、各チャネル（ポートに接続されたカメラ２１０）について、予め判定され、後述するチャネル管理テーブル６５０に保持される。
【００９７】
本実施形態では、高精細モードへの移行指示を受け付けた場合、送信データ生成部２４２は、その場合の消費帯域予測値を、帯域予測値算出部２４３に算出させる。算出結果が予め定めた上限値を超えている場合、帯域削減処理を行う。
【００９８】
帯域削減処理として、所定のカメラ２１０群の映像データを多重化し、送信データを生成する多重化処理を行う。多重化処理を行っても、消費帯域予測値が上限値を超える場合、ダウンコンバートを行う。
【００９９】
ダウンコンバートは、高精細モードに移行するカメラグループの中から予め定めた優先順に従ってカメラグループを選択し、当該グループに属する複数のカメラ２１０の内の少なくとも一つのカメラ２１０の映像データをダウンコンバートして送信データとする。
【０１００】
なお、送信データ生成部２４２は、映像データに対し、帯域削減処理を行う場合、処理前の映像データを、バックアップ映像データとして、送信側記憶装置２７０に保存する。
【０１０１】
送信側記憶装置２７０にバックアップされた映像データは、帯域不足状態が解消された後に、データ受信側サブシステム４００からの要求もしくは自動的に、データ受信側サブシステム４００に送信（データ移行）される。なお、受信したデータ受信側サブシステム４００では、バックアップ映像データを映像解析、置き換え等に活用する。
【０１０２】
また、送信データ生成部２４２は、送信側記憶装置２７０に保存したバックアップ映像データから、送信データとして補完データを生成する。補完データは、以前に帯域削減処理を加えて送信された映像データを補完して復元するためのデータである。例えば、多重化処理がなされた映像データを復元するために用いるデータである。補完データは、多重化データを分離復号して得られた複数のモノクロ映像データを、通常モードの映像データとして復号する際に用いられる映像データである。補完データは、例えば、多重化処理時の除去された情報を用いて、生成元の映像データから生成される。詳細は、後述する。
【０１０３】
なお、補完データは、帯域不足状態が解消された後に、送信されるよう生成される。帯域不足状態が解消されたとは、比較結果が帯域閾値未満状態となる場合である。なお、中継装置２３０から補完データを送信せずに、送信側記憶装置２７０からバックアップされた映像データを送信するよう構成してもよい。
【０１０４】
送信データは、生成した送信データを区別するため、例えば、ヘッダ２４９を付す。図５（ｃ）に示すように、ヘッダ２４９は、データ種別フラグ２４９ａと、処理方式フラグ２４９ｂと、エンコード種別フラグ２４９ｃと、カメラＩＤ２４９ｄと、を備える。
【０１０５】
カメラＩＤ２４９ｄは、当該映像を取得したカメラ２１０を特定する情報である。なお、後述するように多重化する場合は、多重化するカメラ２１０群を含むグル―プＩＤであってもよい。
【０１０６】
データ種別フラグ２４９ａは、送信データの種別を示す。送信データの種別は、映像データをそのまま送信データにした通常データ、映像データを多重化した多重化データ、ダウンコンバートしたダウンコンバートデータ、補完データのいずれかが格納される。
【０１０７】
処理方式フラグ２４９ｂは、補完データの場合の、処理方式が格納される処理方式の詳細については、後述する。
【０１０８】
エンコード種別フラグ２４９ｃには、エンコード種別が格納される。本実施形態では、高精細モード、通常モード、高効率モードのいずれかを示す値が格納される。
【０１０９】
送信部２４４は、送信データ生成部２４２が生成した送信データを、通信インタフェース２３４を介して外部に送信する。本実施形態では、ネットワーク３００を介してデータ受信側サブシステム４００に送信する。
【０１１０】
これらの各機能は、予めプログラムとして、内蔵記憶装置２３３に格納される。そして、ＣＰＵ２３１が、それらのプログラムを、メモリ２３２にロードして実行することにより、実現される。
【０１１１】
［映像認識装置］
図６（ａ）は、本実施形態の映像認識装置２５０のハードウェア構成図である。
【０１１２】
映像認識装置２５０は、ＣＰＵ２５１と、メモリ２５２と、内蔵記憶装置２５３と、外部通信インタフェース２５５と、グラフィック処理機構２５６と、を備える。これらのデバイスは、動作可能に接続されている。各構成は、中継装置２３０の同名の構成と基本的に同様であるため、ここでは、説明を省略する。
【０１１３】
映像認識装置２５０では、メモリ２５２および内蔵記憶装置２５３に、学習エンジン２５３ａ、学習データベース２５３ｂ、映像異常検出通知プログラム２５３ｃが格納される。ＣＰＵ２５１がこれらのプログラムをメモリ２５２にロードして実行することにより、学習機能を実現する
【０１１４】
映像認識装置２５０は、中継装置２３０から受信した動き予測統計情報および高精細静止画等に基づいて機械学習を行う。そして、この機械学習により、映像（高精細静止画像）内に異常状態が発生しているかどうかを判断する。異常状態が発生していると判定された場合、中継装置２３０へ通知を行う。また異常状態検出後に、異常状態が解消されたと判定した場合も、同様に通知する。
【０１１５】
本実施形態では、例えば、異常状態が発生していると判定した場合、映像認識装置２５０は、中継装置２３０に対し、当該映像データの送信元のカメラ２１０のエンコードモードを高精細モードに移行させるよう指示を行う。一方、異常状態が解消されたと判定した場合は、逆に、高精細モードを解除するよう指示を行う。
【０１１６】
なお、映像認識装置２５０が当該異常状態の検出により、対象のカメラ２１０が高精細モードに移行したことが識別可能な場合、対象のカメラ２１０からの高精細の静止画入手が容易であり、かつ、高精細映像の各種統計情報等を用いて学習の精度向上が図れる可能性がある。従って、この場合、通常より短い周期で、当該情報等を入手するよう中継装置２３０に要求するようにしてもよい。またカメラ２１０内に映像認識装置２５０を実装してもよい。
【０１１７】
［送信側記憶装置］
送信側記憶装置２７０には、上述のように、バックアップ映像データおよび補完データが格納される。なお、送信側記憶装置２７０の代わりに、中継装置２３０の内蔵記憶装置２３３がこれらのデータを記憶してもよい。
【０１１８】
［データ受信側サブシステム］
次に、データ受信側サブシステム４００の各構成要素について説明する。上述のように、データ受信側サブシステム４００は、データ受信装置４１０と、受信側記憶装置４３０と、映像表示装置４５０と、ユーザ端末４７０と、を備える。
【０１１９】
［データ受信装置］
データ受信装置４１０は、データ送信側サブシステム２００の中継装置２３０から送信された映像データ（送信データ）を復号して、表示データを生成したり、受信側記憶装置４３０にＭＰ４等の動画ファイル形式で格納したりする。
【０１２０】
データ受信装置４１０のハードウェア構成は、図６（ｂ）に示すように、映像認識装置２５０のハードウェア構成と同様に、ＣＰＵ４１１と、メモリ４１２と、内蔵記憶装置４１３と、通信インタフェース４１４と、ＧＰＵ４１５とを備える。各構成要素は、映像認識装置２５０の同名の構成要素と同じであるため、ここでは、説明しない。
【０１２１】
データ受信装置４１０は、図６（ｃ）に示すように、受信部４２１と、表示データ生成部４２２と、を備える。
【０１２２】
受信部４２１は、ネットワーク３００からの、送信データを受信する。
【０１２３】
表示データ生成部４２２は、受信した送信データから、表示データを生成する。
【０１２４】
本実施形態では、中継装置２３０から送信される送信データの種類は、通常送信モードで送信される送信データと、ダウンコンバートモードで送信される送信データと、多重化モードで送信される送信データ（多重化データ）と、補完データである。そして、通常送信モードで送信される送信データには、カメラ２１０の高精細モードで取得された映像データ（高精細データ）と、通常モードで取得された映像データ（通常データ）と、高効率モードで取得された映像データ（高効率データ）の３種がある。
【０１２５】
本実施形態の表示データ生成部４２２は、通常送信モードで送信された送信データおよびダウンコンバートモードで送信された送信データは、そのまま表示データとする。高精細映像データ、通常映像データ、高効率映像データおよび多重化データの４種類は、ほぼ、リアルタイムで閲覧が可能である。
【０１２６】
なお、多重化データに対しては、当該送信データに対し多重化復元処理を施し、表示データとする。また、補完データを受け取った場合は、当該補完データの対象となるモノクロ映像データ（低画質映像ファイル）を受信側記憶装置４３０から特定し、それぞれのデータを用いて映像データの復元処理を行い、受信側記憶装置４３０に再格納（置換）する。多重化復元処理については、後述する。なお、補完データの代わりに、バックアップされた映像データが送信される場合は、送信された映像データで対象のモノクロ映像データ（低画質映像ファイル）を置き換える（マイグレーション）。
【０１２７】
表示データ生成部４２２は、生成した表示データを映像表示装置４５０またはユーザ端末４７０に出力し、表示させる。
【０１２８】
受信部４２１および表示データ生成部４２２の機能は、ＣＰＵ４１１が、内蔵記憶装置４１３に記憶されたプログラムを、メモリ４１２にロードして実行することにより実現される。
【０１２９】
映像表示装置４５０は、一般のディスプレイ装置である。また、ユーザ端末４７０は、一般の携帯端末、パーソナルコンピュータ等の情報処理装置である。
【０１３０】
［多重化処理および多重化復元処理］
次に、本実施形態の映像データの多重化処理および多重化データを復号する多重化復元（多重化分離）処理について説明する。以下、図１のカメラ２（２１０ａ）と、カメラ３（２１０ｂ）と、カメラ４（２１０ｃ）とから出力される映像データ（７００Ａ，７００Ｂ、７００Ｃ）を多重化する場合を例にあげて説明する。
【０１３１】
まず、送信データ生成部２４２による、多重化処理について説明する。
【０１３２】
本実施形態では、各カメラ２１０ａ、２１０ｂ、２１０ｃで取得された画像データは、４：２：０フォーマットでエンコードされ、カメラ２１０から出力される。以下、映像情報（Ｙ，Ｃｂ，Ｃｒ）と呼ぶ。
【０１３３】
まず、送信データ生成部２４２は、多重化対象のカメラ２１０ａ、２１０ｂ、２１０ｃの、Ｉフレームの位置を同期させる。そして、同期させた３台のカメラ２１０ａ，２１０ｂ，２１０ｃそれぞれから送信される映像情報（Ｙ，Ｃｂ，Ｃｒ）の内、輝度情報（Ｙ）を抽出し、それぞれ、Ｙ，Ｃｂ，Ｃｒの色情報領域に埋め込む。３台のカメラ２１０ａ，２１０ｂ，２１０ｃのうち、いずれのカメラ２１０ａ，２１０ｂ，２１０ｃの輝度情報（Ｙ）を、Ｙ領域、Ｃｂ領域，Ｃｒ領域に埋め込むかは、予め定めておく。
【０１３４】
この時、Ｙ領域に格納される情報は、そのまま格納できるが、Ｃｂ領域，Ｃｒ領域に格納する情報は、サンプリングにより１／４（縦横１／２）に縮小してから格納する。このように、送信データ生成部２４２は、１つのフォーマットに、３台のカメラ２１０ａ，２１０ｂ，２１０ｃからの映像の輝度情報を格納することにより、多重化を行う。
【０１３５】
なお、Ｉフレームは全画面の静止画相当であり、上記手法で問題ないが、Ｐフレームは差分情報のため、各チャネルの映像変化（差分）位置がそれぞれ異なる。従って、そのままの状態では多重化することができない。そのため、多重化の前に各チャネルのＰフレームにおけるマクロブロックの位置の和（ＯＲ）を取得し、各チャネルに不要な位置のマクロブロックの情報としてマスクコードで埋め尽くす。
【０１３６】
以下、本実施形態の多重化処理の概要を、図７を用いて説明する。本図において、映像データ７００Ａ、７００Ｂ、７００Ｃは、それぞれ映像多重化の対象となるカメラ２１０ａ、２１０ｂ、２１０ｃ（中継装置２３０から見た場合、チャネルＡ，Ｂ，Ｃ）における処理対象フレーム（Ｎ）の基準となる映像データである。これらは、例えば、直前のフレーム映像やＩフレームの映像を示す。なお、図には便宜的に動きのある被写体（車両）の方向を示す矢印を付す。
【０１３７】
映像データ７１０Ａ、７１０Ｂ、７１０Ｃは、多重化処理対象となるフレームＮの映像であり、Ｐフレームとして送信される映像データである。当該映像データはＰフレーム生成のため、マクロブロック７０１単位に分割される。それぞれ基準フレームである映像データ７００Ａ，７００Ｂ，７００Ｃとの差分である差分マクロブロック７０２をハイライトして示す。なお、本説明において背景に書き戻すための差分マクロブロックは無視する。
【０１３８】
実際には、当該Ｐフレームの生成処理自体は各カメラ２１０ａ、２１０ｂ、２１０ｃにより従来技術を用いて行われ、差分情報のみのＰフレームがそれぞれ中継装置２３０に送信される。なお、この時点で、後述するＩフレームの同期処理は、終了しているものとする。
【０１３９】
中継装置２３０の送信データ生成部２４２は、各カメラ２１０ａ、２１０ｂ、２１０ｃから送信されたＰフレーム（多重化対象フレームＮ）における差分マクロブロック７０２の位置情報を取得する。そして、それらの和を取る（ＯＲする）ことにより、多重化Ｐフレーム７２０のマクロブロック位置（マクロブロック和領域）７２１を特定する。
【０１４０】
捕捉的に説明すると、映像符号化規格の４：２：０フォーマットでは、輝度情報Ｙ（４ブロック）、色差分情報Ｃｂ．Ｃｒ（それぞれ１ブロック）のマクロブロックのセットであり、Ｙ，Ｃｂ，Ｃｒで位置が異なることがない。しかしながら、本実施形態の方式のように映像符号化規格に準拠しつつ３チャネル分を多重化するためには、３チャネル分の差分位置を全てカバーしておく必要がある。
【０１４１】
送信データ生成部２４２は、各カメラから送信されたフレームＮのＰフレームにおける色差分情報（Ｃｂ，Ｃｒ）を削除し、それぞれの輝度情報Ｙと多重化Ｐフレーム７２０のマクロブロック和領域７２１との比較に基づいて、不要マクロブロック７０３をマスクコードで埋める。不要マクロブロック７０３を、マスクコードで埋めた後の映像データ例を７３０Ａ，７３０Ｂ，７３０Ｃに示す。
【０１４２】
なお、マスクコードは、通常撮影においては発生しない範囲の輝度値（例：００ｈ（真黒）やＦＦｈ（真白））から任意に選択すればよい。同一値の連続は符号化処理時に１ワードに変換可能であり、圧縮効率が非常に高いため、マスクコード埋めされたマクロブロックが追加されてもデータ量は殆ど増加しない。
【０１４３】
また、当該マスクコードで埋め尽くされたマクロブロックは、データ受信側サブシステム４００のデータ受信装置４１０における多重化復元処理時に破棄される。
【０１４４】
送信データ生成部２４２は、さらに、色差分情報（Ｃｂ，Ｃｒ）に格納されるチャネルＢ，Ｃの映像情報７３０Ｂ、７３０Ｃをサンプリング等により縦横１／２のサイズに縮小する。縮小後の映像データ例を、７４０Ｂ，７４０Ｃに示す。そして、色情報の、Ｙ領域、Ｃｂ領域、Ｃｒ領域に、それぞれ、映像情報７３０Ａ，７４０Ｂ，７４０Ｃを対応づけた多重化映像データを送信データとして生成する。
【０１４５】
ここで、生成された多重化映像データの例を、図８の映像データ（多重化映像データ）７５０に示す。
【０１４６】
例えば、図７の例では、マクロブロック和領域７２１の７３０Ａの白丸のマクロブロックのデータは、Ｙ領域のデータ７４０Ａでは、マスクコードが格納される。Ｃｂ領域の映像情報７４０Ｂでは、カメラ２１０ｂの輝度情報が格納される。また、Ｃｒ領域の映像情報７４０Ｃでは、マスクコードが格納される。
【０１４７】
なお、Ｉフレームを多重化する場合は、全画面の情報が揃っているため、位置情報を気にする必要がない。従って、チャネルＡの輝度情報ＹａをＹ領域に、チャネルＢ、Ｃの輝度情報Ｙｂ、Ｙｃを縮小してそれぞれ、Ｃｂ、Ｃ領域に対応付け、多重化するのみでよい。すなわち、不要なマクロブロックのマスク処理は不要である。なお、高効率モードで取得した映像データのＩフレームは差分情報のため、不要なマクロブロックのマスク処理を行う必要がある。
【０１４８】
なお、以上の処理により得られた多重化映像データ７５０は、ヘッダ２４９やタグ情報等に多重化映像データであることを示す識別情報（多重化対象の映像チャネルを識別するための情報等が含まれてよい）等を付加して、送信部２４４により、データ受信装置４１０に送信される。
【０１４９】
次に、多重化映像データ７５０を受信したデータ受信装置４１０側での復元処理の概要を説明する。
【０１５０】
Ｉフレームの送信データの場合は、Ｙ領域、Ｃｂ領域、Ｃｒ領域に格納されているデータをそれぞれ抽出し、Ｙ領域に格納されていたデータはそのまま、Ｃｂ領域およびＣｒ領域に格納されていたデータは、それぞれ、縦横２倍に伸長する。そして、色差分情報（Ｃｂ，Ｃｒ）には所定の値を格納して、処理後の各データを、それぞれ、カメラ２１０ａ、２１０ｂ、２１０ｃの表示データとする。すなわち、復元された映像データは、色情報の無いモノクローム（白黒）映像として再生される。
【０１５１】
Ｐフレームの多重化復元処理では、映像データの輝度情報（Ｙ）、色差分情報（Ｃｂ，Ｃｒ）の各色情報領域にそれぞれ格納された３チャネル分の輝度情報（Ｙａ，Ｙｂ，Ｙｃ）を分離抽出し、マスクコードで埋め尽くされたダミーのマクロブロックを削除する。次に色差分情報（Ｃｂ，Ｃｒ）に格納された（Ｙｂ，Ｙｃ）は、縦横２倍に拡大する（Ｙｂ’，Ｙｃ’）。このようにして得られた（Ｙａ，Ｙｂ’，Ｙｃ’）をそれぞれ、元のチャネルの輝度情報（Ｙ）とし、色差分情報（Ｃｂ，Ｃｒ）には所定の値を格納して、白黒（もしくは単色）のモノクロ映像データを生成する。
【０１５２】
送信データがＰフレームの場合の復元処理を、図８を用いて説明する。データ受信装置４１０が受信したＰフレーム形式の多重化映像データ７５０、および、多重化映像データ７５０に含まれる輝度情報Ｙおよび色差分情報Ｃｂ，Ｃｒに格納された各チャネルの映像情報７５０Ａ，７５０Ｂ，７５０Ｃを模式的に示す。
【０１５３】
データ受信装置４１０は、多重化映像データ７５０を受信した場合、各チャネルの映像情報７５０Ａ，７５０Ｂ，７５０Ｃを、それぞれ、本来のチャネルの映像情報として分離し、不要マクロブロック７０３を削除して、映像情報７６０Ａ，７６０Ｂ，７６０Ｃを生成する。
【０１５４】
なお、この時、不要マクロブロック７０３を削除しなくてもよい。この場合は、後述する多重化復元処理において、不要マクロブロック７０３を削除する処理をスキップする。この場合のマスクコードとして、マクロブロックスキップ用の特殊コード等が使用されてもよい。
【０１５５】
また、後で伸長（拡大）処理を行う７５０Ｂ，７５０Ｃのみ不要マクロブロック７０３を削除するようにしてもよい。また、拡大処理において不要マクロブロック７０３を除外することで、結果的に不要マクロブロック７０３が削除されるようにしてもよい。
【０１５６】
データ受信装置４１０は、Ｃｂ領域，Ｃｒ領域に格納された映像情報７５０Ｂ，７５０Ｃを、縦横２倍に伸長（拡大）する。これにより、輝度情報Ｙｂ，Ｙｃを復元する。また、得られた各チャネルの映像情報に所定（固定値等）の色情報（Ｃｂ，Ｃｒ）を付加する等して単色映像のＰフレーム７７０Ａ、７７０Ｂ，７７０Ｃを得る。このようにして得られたそれぞれのチャネルの映像データは受信側記憶装置４３０に格納する。
【０１５７】
さらにデータ受信装置４１０は、それぞれのチャネル映像における前フレーム／Ｉフレーム／長期参照フレーム等のベースフレームと、単色映像のＰフレーム７７０とを合成することにより、復元された各チャネルの映像７８０Ａ，７８０Ｂ，７８０Ｃを生成し、映像表示装置４５０に出力する。
【０１５８】
なお、例えば、カラー状態の長期参照フレームと単色映像のＰフレームとの合成において、当該長期参照フレームをモノクロ映像化して合成してもよい。また、背景がカラー映像のまま、移動体だけがモノクロ映像状態で合成してもよい。
【０１５９】
なお、Ｃｂ領域およびＣｒ領域に格納されるマクロブロックの内、輝度情報（Ｙ）にもともと存在しなかった位置の情報については、データ量の増加要因となる。しかし、Ｃｂ領域およびＣｒ領域の情報量は、それぞれ輝度情報（Ｙ）の１／４であること、および、輝度情報（Ｙ）に存在し、かつ色情報（Ｃｂ／Ｃｒ）に存在しないマクロブロック容量と相殺可能であることから、データ量が大きく増大することはない。
【０１６０】
このようにして３チャネル分の帯域を１チャネルに纏めることで、帯域を削減する。
【０１６１】
この時、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）の単位でカメラ２１０ａ，２１０ｂ，２１０ｃの情報格納領域は固定される。しかし、次のＧＯＰではＹ領域に格納されるチャネルを（例えば順繰りに）変化させてもよい。これにより、特定のチャネル映像が低画質のまま固定化されることを抑止する。
【０１６２】
なお、高効率モードの映像データ同士の多重化や通常モードの映像データと高効率モードの映像データが混在した映像データの多重化は可能である。しかし、高効率モード同士の多重化は、全画面のＩフレームが殆ど送信されないため、効果が小さい。また、長期参照フレームの有効期限内に次候補が抽出できない等で通常モードに復帰する場合があり、その時には後述の通常／高効率モード混在と同様となる。
【０１６３】
また、多重化中に特定チャネルに関し、長期参照フレームの次候補を送信する場合、当該背景画像はＹチャネルに格納して送信するようにすると解像度が低下しない。従って、カメラ２１０と中継装置２３０の間で、当該画像の送信タイミングも制御可能とすることが望ましい。
【０１６４】
通常／高効率モード混在の場合は管理が複雑となる可能性が高いため、通常モード２チャネルに高効率モード１チャネルのセットを組むより、当該高効率モードの１チャネルを通常モードに復帰させて、３チャネルの通常モードとした方がよい場合がある。また当該処理には、中継装置２３０のリソースや内部的な帯域を消費するので、製品実装に際しては、低減帯域とのトレードオフを考慮することが望ましい。
【０１６５】
また、多重化する映像データ数は、３チャネル（３つのカメラ２１０）分に限定されない。２チャネル以上であればよい。例えば、２チャネルの場合、Ｙ領域と、ＣｂおよびＣｒ領域のいずれかの領域とに、両チャネルの輝度情報（Ｙ）をそれぞれ格納する。また、４チャネル以上であっても、Ｙ領域に格納する映像をサンプリング等により縮小して複数チャネルの映像を合成して、同様に対応可能である。すなわち、４チャネルの場合、Ｙ領域に２チャネル、Ｃｂ領域、Ｃｒ領域に各１チャネルを格納する。
【０１６６】
なお、各チャネルを全て縦横１／２に縮小した画質に落としてよい場合には、６チャネルの多重化（輝度情報Ｙに４チャネル分）が可能である。
【０１６７】
［補完データ生成処理］
次に、本実施形態の送信データ生成部２４２による、補完データ生成処理を説明する。上述のように、補完データは、帯域削減処理を加えて送信された映像データを補完して復元するためのデータである。
【０１６８】
前述の多重化データに格納されている輝度情報の内、色差分領域であるＣｂ領域およびＣｒ領域に格納された情報は、本来の１／４の情報量しかない。
【０１６９】
カメラ２１０ａ、２１０ｂ、２１０ｃそれぞれで取得した映像データの本来のデータ量を、［Ｙ領域のデータ量、Ｃｂ領域のデータ量、Ｃｒ領域のデータ量］で表した場合、それぞれ、［Ｙ１、Ｃｂ１、Ｃｒ１］、［Ｙ２、Ｃｂ２、Ｃｒ２］、［Ｙ３、Ｃｂ３、Ｃｒ３］とする。この場合、多重化データのデータ量は、［Ｙ１、Ｙ２＊１／４、Ｙ３＊１／４］である。すなわち、それぞれ、本来の輝度情報のデータ量を１とすると、［１、０．２５、０．２５］である。
【０１７０】
これを完全な元の状態に戻すために必要なデータ（不足データ）は、カメラ２１０ａの映像データについては、Ｃｂ１＋Ｃｒ１である。カメラ２１０ｂおよび２１０ｃの映像データについては、それぞれ、Ｙ２＊３／４＋Ｃｂ２＋Ｃｒ２、Ｙ３＊３／４＋Ｃｂ３＋Ｃｒ３である。
【０１７１】
カメラ２１０ａの不足データのデータ量は、上述のように、本来の輝度情報（Ｙ１）のデータ量を１とすると、０．２５＋０．２５で０．５である。また、カメラ２１０ｂおよび２１０ｃの不足データのデータ量は、同様に、それぞれ、１．２５である。従って、不足データのデータ量の合計は３である。
【０１７２】
この不足データに対応する補完データとして４：４：４フォーマットのプロファイルを用いれば、一度で必要な情報を全て送信できるうえ、バックアップデータを送信するためのプロトコルを別途用意する必要がない。
【０１７３】
すなわち、本実施形態の送信データ生成部２４２は、上述のデータ量３の不足データを４：４：４フォーマットに格納し、補完データとする。上記不足データは、４：４：４フォーマットのどの領域に格納してもよい。
【０１７４】
このように、本実施形態では、補完データも多重化した送信データとして生成される。ただし、補完データは上述の多重化データの２倍の情報量が必要なため、通常の映像データおよび多重化映像データで用いられる４：２：０フォーマットと異なり４：４：４フォーマットを用いて生成される。
【０１７５】
例えば、データ受信装置４１０は、４：４：４フォーマットのプロファイルを有する送信データの受領を契機として、補完データによる補完処理を実行することができる。すなわち、４：４：４：フォーマットを用いて補完データを生成する場合、ヘッダ２４９のデータ種別フラグ２４９ａに補完データであることを示すデータを格納しなくてもよい。
【０１７６】
なお、例えばＣｒ２とＣｒ３は、Ｃｂ１およびＣｒ１と同じ領域に格納することで、理論上は全て、１：１：１となる。しかし演算が複雑であるので、時間的に多重化してもよい。
【０１７７】
また、多重化する際の割当領域が、ＧＯＰ単位で順に変化する場合は、補完データも４：２：０フォーマットで作成できる。
【０１７８】
Ｙ１，Ｙ２，Ｙ３が、ある時点で、それぞれ、Ｙ，Ｃｂ，Ｃｒに割当てられ、次のＧＯＰでは、Ｙ２，Ｙ３，Ｙ１がそれぞれ、Ｙ，Ｃｂ，Ｃｒに割当てられ、その次のＧＯＰでは、Ｙ３，Ｙ１，Ｙ２がそれぞれＹ，Ｃｂ，Ｃｒに割当てられ、以後この順序を繰り返す場合を例にあげて説明する。
【０１７９】
カメラ２１０ａの映像データ［Ｙ１、Ｃｂ１，Ｃｒ１］に着目すると、最初のＧＯＰにおける不足データは、Ｃｂ１およびＣｒ１である。次の２回のＧＯＰでの不足データは、Ｙ１＊３／４、Ｃｂ１およびＣｒ１である。
【０１８０】
この場合、最初のＧＯＰの不足データのうち、Ｃｂ１を、次のＧＯＰの補完データのＹ情報に多重化し、最初のＧＯＰの不足データのうちＣｒ１をその次のＧＯＰの補完データのＹ情報に多重化する。これにより、カメラ２１０ａの補完データを４：２：０フォーマットで生成することができる。この場合、最初のＧＯＰとそれぞれのＧＯＰの輝度情報の位置情報の差分を考慮するだけでよいため、演算量を少なくできる。
【０１８１】
上記の場合は、カメラ２１０毎に補完データが送信される。補完データのデータ量はバックアップデータ量の２／３である。ただし、この場合、データ受信装置４１０側では、プロファイルを用いて、通常の送信データであるか、補完データであるかの識別はできない。従って、この場合、ヘッダ２４９のデータ種別フラグ２４９ａは、必須である。なお、補完データは、本来のデータよりデータ量を小さくできれば、上記の方式に限定しなくてよい。
【０１８２】
４：４：４フォーマットで補完データを生成する方式は、演算負荷が高い。一方、４：２：０フォーマットで補完データを生成する方式はメモリ消費量が大きい。中継装置２３０における補完データの生成処理およびデータ受信装置４１０における映像データ復元処理にはリアルタイム性は要求されない。このため、消費リソース量を抑制したり、外部リソースに処理を委託したりすることも可能である。
【０１８３】
さらに、補完データを受信側記憶装置４３０に一時保管することにより、補完データ受領時に復元処理を実行する必要もなく、任意のタイミングで処理を行うことができる。
【０１８４】
消費帯域を気にしなくてよい場合や、処理に必要なリソースが確保できない場合は、送信側記憶装置２７０にバックアップされたバックアップ映像データを、補完データとして送信してもよい。この場合、送信データのヘッダ２４９のデータ種別フラグ２４９ａには、補完データを示すフラグが設定される。ただし、処理方式フラグ２４９ｂには、処理不要であることを示すフラグが設定される。これにより、データ受信装置４１０は、受信した補完データがバックアップ映像データであることを把握できる。そして、多重化復元データ（低画質映像ファイル）に対し、補完処理を行う代わりに、バックアップ映像データで置き換える処理を行う。
【０１８５】
なお、補完データやバックアップ映像データの送信は、上述のように、消費帯域をモニタし、余裕がある場合に行われる。ただし、本処理に伴う消費帯域は、前述の送信データ転送に伴う消費帯域とは別々にカウントすることが望ましい。高精細映像転送等の消費帯域見積もりにおいて、本処理が実行中の場合は、本処理の中断により、当該帯域を開放することができる。
【０１８６】
［カメラ内データ］
次に、カメラ２１０の内蔵記憶装置２１３に格納される、カメラ管理テーブル５１０、映像関連情報設定テーブル５３０およびモード制御関連情報設定テーブル５５０について説明する。
【０１８７】
図９（ａ）は、カメラ管理テーブル５１０である。カメラ管理テーブル５１０は、管理項目種別として、便宜的に、カメラ情報と、送信統計情報と、蓄積統計情報とを備える。以下、各項目について、順を追って説明する。
【０１８８】
カメラ情報は、カメラ２１０に関する個別情報およびカメラ２１０のモード制御を行うための情報である。カメラＩＤ５１１と、補足情報５１２と、映像出力モード５１３と、背景抽出タイムスタンプ５１４とを備える。
【０１８９】
カメラＩＤ５１１は、個々のカメラ２１０の識別子であり、システム内でユニークな値が格納される。
【０１９０】
補足情報５１２は、人（ユーザ）による当該カメラ２１０の識別を容易にするために付与される情報である。補足情報５１２は、本実施形態の処理に用いられるものではない。本実施形態では、補足情報５１２は、例えば、カメラ２１０の設置された交差点の番地と形状記号とを組み合わせたものとする。方向や座標等の情報が追加されてもよい。これは、後述するチャネル管理テーブル６５０における、カメラＩＤ６５１が同一のレコードの補足情報６５２の値と同じである。
【０１９１】
映像出力モード５１３は、カメラ２１０の現在の映像符号化モードを示す情報である。本実施形態では、高精細モードと通常モードと高効率モードとのいずれかを示す値が格納される。本項目は、チャネル管理テーブル６５０におけるカメラモード６５５に対応する。
【０１９２】
背景抽出タイムスタンプ５１４は、高効率モードにおいて、背景画像となる長期参照フレームを取得または設定した時刻が格納される。背景抽出タイムスタンプ５１４として格納されたタイムスタンプに基づいて、長期参照フレームの有効期限等が判定される。
【０１９３】
送信統計情報は、カメラ２１０から中継装置２３０経由で映像認識装置２５０に送信される学習情報の一部である。送信統計情報は、映像データサイズ５１５と、映像周波数５１６と、動き予測パラメータ５１７と、映像明度／露出補正情報等５１８と、送信統計情報の前回の送信時刻５１９とを備える。
【０１９４】
蓄積統計情報は、送信統計情報の各レコード（５１５〜５１８）の情報を算出するためのワーク用の情報である。蓄積統計情報は、映像データサイズ５２５と、映像周波数５２６と、動き予測パラメータ５２７と、映像明度／露出補正情報等５２８と、を備える。
【０１９５】
送信統計情報の各レコード（５１５〜５１８）の情報は、蓄積統計情報の同名の各レコード（５２５〜５２８）の情報を計算により求めた値である。
【０１９６】
映像データサイズ５１５、５２５は、エンコード後の映像フレームのサイズに関する統計情報である。
【０１９７】
映像周波数５１６、５２６は、映像が有する周波数に関する情報である。この情報は、画面の乱雑さ等を測る指標に用いられる。
【０１９８】
動き予測パラメータ５１７、５２７は、Ｐフレーム生成時における動き予測情報（方向，度合い）に関する統計情報である。
【０１９９】
映像明度／露出補正情報等５１８、５２８は、画面の明るさや、あるいはそれに応じた補正を行うパラメータ等に関する統計情報である。
【０２００】
なお、各情報として、必ずしも一つのデータが格納されるとは限らない。複数のデータや区分の異なるデータが格納されてもよい。例えば、動き予測パラメータ５１７、５２７は、画面を構成するマクロブロックの座標単位の値が格納されてもよい。また、所定期間の時間軸に応じた情報が格納されてもよい。
【０２０１】
前回の送信時刻５１９は、前回の統計情報を送信した時刻を示す。前回の送信時刻５１９として格納されたタイムスタンプおよび後述する統計情報送信間隔５３４に基づいて、情報送信タイミングが到達したか否かが判定される。
【０２０２】
図９（ｂ）は、映像関連情報設定テーブル５３０の一例である。映像関連情報設定テーブル５３０は、画面サイズ５３１と、ビットレート５３２と、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）フレーム数５３３と、統計情報送信間隔５３４と、を備える。これらの情報は、画面サイズ５３１と、ビットレート５３２とは、映像モード別にそれぞれ映像関連情報設定テーブル５３０に格納される。一方、ＧＯＰフレーム数５３３と、統計情報送信間隔５３４とは、映像モード共通の設定情報である。
【０２０３】
画面サイズ５３１は、画面の解像度に関する情報である。画面サイズ５３１として、例えば、６４０×４８０（ＳＤ）や１２８０×７２０（ＨＤ）といった画素数に関する情報が格納される。なお、図中の表記は一例であり、当該画素数および表記に限定されるものではない。
【０２０４】
ビットレート５３２は、映像フレームのエンコード（符号化）における情報量に関する情報である。画面の解像度にもよるが、一般的にはビットレートが高い程、高精細な映像を得ることができる。表中では高効率モードと通常モードのビットレートが同じ場合を例示している。しかし、高効率モードでは、Ｉフレームの情報送信量が少ないため、画質を低下させずにデータ量（消費帯域）削減が可能である。
【０２０５】
ＧＯＰフレーム数５３３は、Ｉフレームから次のＩフレームまでのフレーム数である。本実施形態では、３０フレームに設定されている。
【０２０６】
統計情報送信間隔５３４は、前述した統計情報を送信する間隔（周期）である。本実施例では、３００秒（５分間隔）に設定されている。
【０２０７】
図９（ｃ）は、モード制御関連情報設定テーブル５５０である。本テーブルには、高効率モード制御のための設定情報が格納される。具体的には、モード制御関連情報設定テーブル５５０には、高効率モード移行条件５５１と、高効率モード解除条件５５２と、背景検出条件５５３と、長期参照フレーム有効期間５５４と、背景検出抑止期間５５５と、の各情報が格納される。
【０２０８】
高効率モード移行条件５５１として、高効率モードに移行する各種条件を記述したポリシを参照するためのポインタ（ポリシファイルやＤＢレコードのインデクス等）が格納される。
【０２０９】
高効率モード解除条件５５２として、高効率モードを解除して通常モードに移行する各種条件を記述したポリシを参照するためのポインタが格納される。記述されるポリシには、例えば、急な降雨等により背景との差分が増大したことに伴いデータ量が増大した場合や、所定の期間内に新たな背景となるフレーム候補を抽出できず、長期参照フレームの有効期限が切れてしまった場合等が該当する。
【０２１０】
背景検出条件５５３として、映像が背景状態かどうかを判定する各種条件を記述したポリシを参照するためのポインタが格納される。本実施形態では、上述のように、所定の期間内で、最もデータ量が小さいＧＯＰのＩフレーム映像データを背景画像とする。
【０２１１】
長期参照フレーム有効期間５５４は、背景となる長期参照フレームの有効期間が格納される。長期参照フレーム有効期間５５４は、予め設定され、格納される。当該有効期間内に、次の背景フレームが検出された場合、高効率モードが維持される。
【０２１２】
背景検出抑止期間５５５は、所定のデータ量削減効果を得るために背景検出を抑止する期間が格納される。背景検出抑止期間５５５は、予め設定され、格納される。背景検出抑止期間５５５は、上述のように、長期参照フレーム有効期間５５４より、短い期間が設定される。
【０２１３】
［中継装置内データ］
次に、中継装置２３０の内蔵記憶装置２３３に格納される、帯域制御設定テーブル６１０と、カメラグループ設定テーブル６３０と、チャネル管理テーブル６５０とについて説明する。
【０２１４】
図１０（ａ）は、帯域制御設定テーブル６１０に格納されるデータの一例である。本テーブルには、帯域測定条件６１１、帯域使用量上限６１２、平均帯域使用量（前回実績値）６１３が格納される。
【０２１５】
帯域測定条件６１１は、帯域モニタリングのための測定条件設定用パラメータである。帯域測定条件６１１として、測定時間および測定間隔の設定値が格納される。本図の例では、測定時間が３秒間であり、測定間隔が１０秒である。従って、１０秒間隔で３秒間計測する設定であることを示す。
【０２１６】
帯域使用量上限６１２は、中継装置２３０が送信する映像データの帯域使用上限の設定値が格納される。本図の例では、設定値は５１２Ｍｂｐｓである。中継装置２３０は、当該設定値を超過しない様に許容範囲内でデータ送信間隔を広げたり、チャネル多重化等のデータ量削減処理を行ったりする。
【０２１７】
なお、帯域使用量は、仲介するネットワーク３００の特性に大きく依存する。例えば、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を経由する場合には低く抑える必要がある。また、専用線等で十分な帯域が確保できる場合には、高い値とすることができる。直接値を設定することが困難な場合、実測値のピーク値と平均値との対比で、ピーク値に対する割合（例えば、７０％等）といった間接的な値を設定してもよい。
【０２１８】
平均帯域使用量（前回実績値）６１３は、前述の帯域測定条件６１１に設定された測定条件に基づき、測定（モニタリング）を行って得た実測値が格納される。本図の例では直前の測定結果の実測値のみが格納されている。しかし、これに限らず、時系列で過去の実測値が格納されてもよい。この場合、各実測値は、測定時刻に対応づけて格納される。また、実測値の詳細な情報（ピーク値、変動率、遅延時間等）が追加されてもよい。
【０２１９】
図１０（ｂ）は、カメラグループ設定テーブル６３０である。本テーブルは、複数のカメラ２１０のうち、グループとして管理するカメラ２１０群を定義するためのテーブルである。グループとして管理するカメラ２１０群は、例えば、同一交差点を方向別に監視する複数のカメラ２１０等である。カメラグループ設定テーブル６３０は、グループ毎に、カメラグループＩＤ６３１と、カメラグループポリシ６３２と、メンバ数６３３と、所属カメラＩＤリスト６３４を示す情報が格納される。なお、多重化は、同一グループに属するカメラ２１０で取得した映像で行うとは限らない。また、グループ毎の各レコード（６３１〜６３４）の情報で形成される情報セットを、エントリ６３５と呼ぶ。
【０２２０】
カメラグループＩＤ６３１は、各カメラグループを特定する識別子である。目的のカメラグループを特定するための検索キーと照合する際に用いられる。
【０２２１】
カメラグループポリシ６３２は、各カメラグループにおける高精細モードや多重化モードに移行する各種の条件を記述したポリシを参照するためのポインタ（ポリシファイルやＤＢレコードのインデクス等）が格納される。当該ポリシには、例えば、以下のような条件が含まれる。
【０２２２】
＜モード移行ポリシの例＞
・高精細モードへの移行または解除ポリシの例
・移行数条件：全数移行／一部移行／一台のみ移行／移行しない
なお、移行条件は、通常時と帯域逼迫時とを別個に設定してもよい。
・高精細モード強制解除条件：上限時間／帯域消費状況／優先度等
解除条件は、組み合わせも可能
・多重化モード設定用ポリシの例
・移行数条件（通常時／帯域逼迫時別）：全数可／一部可／移行禁止
なお、移行条件は、通常時と帯域逼迫時とを別個に設定してもよい。
・多重化条件：
組合せ選択条件：グループ内優先／他グループ優先／制限なし，通常モード優先等
多重化時画質劣化抑止：する／帯域逼迫時はしない／しない等
・バックアップおよび補完データ関連ポリシ
・バックアップ：する／しない
（バックアップする場合）
・補完データ生成方式：方式１（４：４：４多重化）／方式２（４：２：０多重化）／未処理（全データ再送）
・補完データ送信帯域レベル：（余剰帯域消費度合いに応じて）０〜３等
【０２２３】
メンバ数６３３は、当該カメラグループに所属するカメラ２１０の台数である。本図の例では、各カメラグループには複数のカメラ２１０が所属するものとする。単独のカメラ２１０は、モード移行ポリシが同じものを纏めてグループ化するか、もしくは、グループに所属せずに、予め定義されたポリシ条件から選択した条件設定を使用する。
【０２２４】
所属カメラＩＤリスト６３４は、当該カメラグループに属する複数のカメラ２１０にそれぞれ付与されたカメラＩＤ５１１が格納される。カメラＩＤ５１１は、当該カメラグループ内におけるカメラ２１０の優先順位の順に格納される。優先順位は、予め設定される。
【０２２５】
所属カメラＩＤリスト６３４により、特定のカメラ２１０が属するカメラグループにおける他のカメラ２１０を、迅速に特定できる。また、前述のモード移行ポリシの移行数条件が「一部移行」である場合に、当該優先順位に基づいてモード移行対象となるカメラ２１０を特定できる。
【０２２６】
図１０（ｃ）は、チャネル管理テーブル６５０の一例である。チャネル管理テーブル６５０は、中継装置２３０の映像入力チャネルを個別に管理する際に用いられる。映像入力チャネルは、中継装置２３０の各カメラ２１０がそれぞれ接続されるポート２３６ａに相当する。各ポート２３６ａには、それぞれ、カメラ２１０が接続される。従って、各ポートに接続されたカメラ２１０の情報を管理する。
【０２２７】
チャネル管理テーブル６５０では、カメラ２１０自体の静的情報と動的情報と、当該カメラで取得した映像の出力時の処理に関する情報とが管理される。このため、チャネル管理テーブル６５０では、カメラ情報と、カメラステータスと、チャネルステータスとが、映像入力チャネルごとに管理項目種別として管理される。
【０２２８】
カメラ情報は、各映像入力チャネルに接続されたカメラ２１０に関する個別情報、当該カメラ２１０が所属するカメラグループに関する情報群である。カメラ情報は、カメラＩＤ６５１と、補足情報６５２と、カメラグループＩＤ６５３と、グループ内優先順位６５４と、を備える。カメラ情報として格納される各情報は、基本的に参照情報である。
【０２２９】
カメラＩＤ６５１は、各ポート２３６ａに接続されたカメラ２１０の識別子であり、システム内でユニークな値が格納される。
【０２３０】
補足情報６５２は、人（ユーザ）による当該カメラ２１０を容易に識別可能とするために付与される情報である。本実施形態の処理に用いられるものではない。この補足情報６５２は、カメラ管理テーブル５１０の補足情報５１２と同じ情報である。また、この補足情報６５２は、映像内にスーパーインポーズされたり、映像表示装置４５０の画面上に表示されたりしてもよい。
【０２３１】
カメラグループＩＤ６５３は、当該カメラ２１０が所属するカメラグループの識別子が格納される。識別子は、カメラグループ設定テーブル６３０のカメラグループＩＤ６３１と同じ値である。カメラグループに所属しないカメラ２１０については、識別子に代えて、予め定義済みの設定条件識別子が格納されてもよい。モード移行ポリシを特定するためである。また、識別子ではなく、情報を参照するためのポインタ等が格納されてもよい。ポインタを格納する場合、テーブル等を検索する必要がないので、識別子の場合より早く情報を参照できる。
【０２３２】
グループ内優先順位６５４は、カメラグループが定義されている場合は、当該カメラグループ内における当該カメラ２１０の優先順位が格納される。カメラグループに所属しないカメラ２１０の場合は、１が格納される。本図の例では、単独カメラとして扱うためである。
【０２３３】
これらの情報は、ユーザにより中継装置２３０に情報が設定されるか、もしくは、カメラ２１０に設定された情報を中継装置２３０が収集することにより、チャネル管理テーブル６５０に登録される。
【０２３４】
カメラステータスは、各映像入力チャネルに接続されたカメラ２１０の制御に関連して使用される管理情報群である。カメラステータスは、カメラモード６５５と、フレーム位置同期化指示フラグ６５６と、フレーム位置同期グループ６５７と、を備える。これらのレコード（６５５〜６５７）の情報群は、中継装置２３０により処理に応じて変更／更新される。
【０２３５】
カメラモード６５５は、当該映像入力チャネルに接続したカメラ２１０の映像符号化モードの状態を示す情報である。高精細モード、通常モード、および、高効率モードのいずれかの状態を示す値が格納される。さらに、これらの情報に加えて、「故障中」や「未接続」等の状態を示す値が適宜追加されてもよい。
【０２３６】
例えば、中継装置２３０がカメラ２１０へ高精細モード移行指示のコマンドを発行した場合に、カメラモード６５５に高精細モードを示す値が格納される。
【０２３７】
また、カメラ２１０の起動／リセット時および他モードの解除時に、カメラモード６５５に通常モードを示す値が格納される。また、中継装置２３０の判断により通常モードを示す値が格納される。
【０２３８】
他モードの解除時は、例えば、高精細モード時や高効率モード時に、中継装置２３０がカメラ２１０へ通常モード移行指示のコマンドを出力した場合等である。中継装置２３０の検出による場合としては、例えば、カメラ２１０が高効率モードに遷移後に、カメラ２１０自身の判断により高効率モードを解除して通常モードに移行する場合である。例えば、この時、カメラ２１０から長期参照フレーム指定（マーカ）の無いＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）フレームが送出される。中継装置２３０は、当該フレームを検出した場合、カメラモード６５５に通常モードを示す値を格納する。また、カメラ２１０が自律的に通常モードから高効率モードに移行する時、マーカ付きのＩＤＲフレームが送信される。中継装置２３０は、当該フレームを検出した場合、カメラモード６５５に高効率モードを示す値を格納する。
【０２３９】
なお、カメラ２１０が高効率モードに移行済みの場合にも、マーカ付きのＩＤＲフレームが送信される場合がある（高効率モードの期限延長時）。しかし、この場合は、カメラモード６５５に格納された値に変化がないので、カメラモード６５５の値を更新する必要はない。あるいは、このような場合であっても、同じ値で更新してもよい。
【０２４０】
フレーム位置同期化指示フラグ６５６は、中継装置２３０が、データ送信量が大きいＩフレーム生成タイミング制御指示を行ったか否かを示すフラグ情報である。当該フラグ情報に「済」を示す値が格納されている場合は、後述するフレーム位置同期グループ６５７に、Ｉフレームのタイミンググループを示す値が格納される。一方、当該フラグ情報に「未」を示す値が格納されている場合は、Ｉフレームタイミング制御を実行していない。このため、フレーム位置同期グループ６５７の値が無効であることを示す。
【０２４１】
フレーム位置同期グループ６５７は、前述したようにＩフレームのタイミンググループを示す値である。Ｉフレームのタイミンググループは、Ｉフレームの送信タイミングが同じであるカメラ２１０をグループ化したものである。Ｉフレームの送信タイミング（送信位置）が同じであるカメラ２１０には、同じグループＩＤが付与される。フレーム位置同期グループ６５７には、このグループＩＤが格納される。
【０２４２】
例えば、ＧＯＰの単位が３０フレームとすると、Ｉフレームの位置に応じて、理論上は最大３０のタイミンググループに分類することができる。この場合、各チャネルを一貫して基準となるフレームタイミングを制御する必要があるため、本図に示す例では、５フレーム毎の間隔を空けてグルーピングしている。すなわち、ＣＨ１のカメラ２１０のＩフレーム送信タイミングを基準とし、このカメラ２１０のＩフレーム送信後の何フレーム目にＩフレームを送信するかがグループＩＤとして登録される。
【０２４３】
初期状態においては、全ての映像入力チャネルが通常モードである。初期状態では、消費帯域にマージンを有している。このため、Ｉフレーム制御の必要はない（制御してない）。この状態から、複数のカメラ２１０に高精細モードに移行する指示が出された場合、各カメラ２１０は、Ｉフレームの生成タイミングが異なることが望ましい。これは、Ｉフレームが、情報量が大きいためである。
【０２４４】
本図の例では、Ｃｈ１のカメラ２１０（Ｃ０１）は、Ｉ００のタイミンググループに設定し、Ｃｈ２のカメラ２１０（Ｃ０５）は、Ｉ１５のタイミンググループとなるようにＩフレームの位置を制御したことを示す。この例ではＣｈ１とＣｈ２とのＩフレーム生成タイミングが１５フレームずれているため、Ｉフレーム送信タイミングが重畳することはない。
【０２４５】
本実施形態では、このようにしてＩフレーム生成位置の制御により消費帯域を時間的に平準化し、伝送帯域を有効利用することができる。
【０２４６】
なお、多重化するカメラ２１０群は、Ｉフレームの生成タイミングを同期する必要がある。本図の例では、Ｃｈ３〜Ｃｈ５のカメラ２１０（Ｃ０２，Ｃ０３，Ｃ０４）である。これら３チャネルのカメラ２１０はＩフレームの生成タイミングをＩ０５のタイミンググループで同期するよう制御する。
【０２４７】
チャネルステータスは、カメラ２１０から送信された映像データに対する中継装置２３０側での加工処理に関連する管理情報である。チャネルステータスは、チャネルモード６５８、多重化グループ６５９、多重化時伝送シーケンス６６０、映像データ保存指示フラグ６６１、補完データ転送指示フラグ６６２の各情報を有する。これらの情報も中継装置２３０により処理に応じて変更／更新される。
【０２４８】
チャネルモード６５８は、カメラ２１０から送信された映像データから送信データを生成する際に施す処理を示す情報である。具体的には、「通常」モードと、「ダウンコンバート」モードと、「多重化」モードと、のいずれかの設定状態を示す値が格納される。
【０２４９】
多重化グループ６５９は、前述のチャネルモード６５８の値が「多重化」モードである場合において、同一のグループを識別するための情報がセットされる。図の例ではＣｈ３〜Ｃｈ５の当該レコードに同一の値（Ｔ１００）が格納されており、同一の多重化グループであることを示す。
【０２５０】
多重化時伝送シーケンス６６０は、同一多重化グループ内において、送信データのＹ領域、Ｃｂ領域、およびＣｒ領域のいずれに当該チャネルの映像データを格納（多重化）するかの順序性を示す情報である。一例としてＧＯＰ単位で１，２，３，１，・・・と変化するシーケンスカウンタ（非図示）があり、当該カウンタと一致したチャネルから順にＹ，Ｃｂ，Ｃｒに割当てる。
【０２５１】
例えば、ｎをシーケンスカウンタとし、多重化時伝送シーケンス６６０の値をｘとすると、（（（ｘ＋３）−ｎ）ＭＯＤ（剰余）３）の式の値の小さい順にＹ，Ｃｂ，Ｃｒに割り当てるようにしてもよい。この場合、シーケンスカウンタが２の場合、当該ＧＯＰ単位（範囲）内で、中継装置２３０のＣｈ４において受領した映像データ内の輝度情報Ｙが多重化映像データのＹ領域に割り当てられ、Ｃｈ５において受領した映像データ内の輝度情報Ｙが縮小されて、多重化映像データのＣｂ領域に割り当てられ、Ｃｈ３において受領した映像データ内の輝度情報Ｙが縮小されて、多重化映像データのＣｒ領域に割り当てられる。
【０２５２】
映像データ保存指示フラグ６６１は、チャネルモード６５８の値が「通常」モード以外を示す値の場合に、当該チャネルにおいて受領した映像データ（オリジナル）が、送信側記憶装置２７０にバックアップすべき対象であるか否かを示すフラグ値である。「対象」を示す値が格納されている場合、オリジナル映像データは一時的に送信側記憶装置２７０に保存される。本項目は前述のモード移行ポリシにおけるバックアップおよび補完データ関連ポリシにて定義された情報に基づいて値が設定されている。
【０２５３】
補完データ転送指示フラグ６６２は、チャネルモード６５８の値が「通常」モード以外を示す値の場合に、前述のバックアップデータをどのタイミングで転送するかを示すフラグ値である。図の例では、「設定解除後」を示す値が格納されている。これは、チャネルモード６５８の値が「通常」モードに変更された後に、補完データを送信することを示す。なお、補完データの生成方式等については、前述のモード移行ポリシにおけるバックアップおよび補完データ関連ポリシにて定義された情報に基づき処理が決定される。
【０２５４】
［データの流れ］
次に、本実施形態の映像監視システム１００で実行される各処理における、カメラ２１０、中継装置２３０、映像認識装置２５０、データ受信装置４１０間のデータの流れを説明する。図１１は、装置間のデータの流れを説明するシーケンス図である。なお、同一の機器／装置内であっても処理を実行するプログラムは、ステップ毎で異なったり、一つのステップ内で複数のプログラムが連携して動作したりする場合がある。
【０２５５】
［初期化処理］
カメラ２１０の初期化処理（ステップＳ３０１）には、例えば、電源起動時のプログラムおよびデータのメモリ２１２へのロード、ハードウェアの初期化等の処理が含まれる。また、このステップには中継装置２３０との通信を確立する処理も含まれる。本処理の後、カメラ２１０は通常モードへ移行し、映像データを中継装置２３０に送信可能となる。
【０２５６】
中継装置２３０の初期化処理（ステップＳ３１１）には、例えば、電源起動時のプログラムおよびデータのメモリ２３２へのロード、ハードウェアの初期化等の処理が含まれる。またこのステップには中継装置２３０に接続された機器との通信を確立する処理も含まれる。
【０２５７】
映像認識装置２５０の初期化処理（ステップＳ３２１）には、例えば、電源起動時のプログラムおよびデータのメモリ２５２へのロード、ハードウェアの初期化等の処理が含まれる。またこのステップには中継装置２３０との通信を確立する処理も含まれる。また、この他、中継装置２３０に接続されたカメラ２１０のそれぞれに対応するエントリを有する学習データベース２５３ｂの生成や判定に用いられる各種パラメータ等の初期設定等を行ってもよい。
【０２５８】
また運用初期においては、異常検出精度があまり高くないため、一定条件が揃うまでの間、判定が抑止されるようにしてもよい。当該期間中に異常が発生した場合は、データ受信側サブシステム４００を操作するユーザにより、手動で中継装置２３０に指示を出すことで、カバー可能である。また、中継装置２３０においても、当該期間において映像認識装置２５０からの異常検出通知を受領した場合は、ステップＳ３１４以降の処理が生じない程度に、カメラ２１０を高精細モードに移行させるようなポリシ等を用いた制御を行うようにしてもよい。
【０２５９】
データ受信装置４１０の初期化処理（ステップＳ３４１）には、例えば電源起動時のプログラムおよびデータのメモリ４１２へのロード、ハードウェアの初期化等の処理が含まれる。また、このステップには中継装置２３０やデータ受信装置４１０に接続された機器との通信を確立する処理も含まれる。
【０２６０】
［映像データの流れ］
次に、カメラ２１０で取得、生成した映像データの流れを説明する。カメラ２１０は、所定の時間間隔で、取得した画像をエンコード（符号化）して映像データを生成して中継装置２３０に送信する「映像データ生成処理」を行う（ステップＳ３０２）。このとき、統計情報処理部２２５は、映像フレーム符号化時のデータ容量や動き予測データ等の統計情報を取得する。この映像データ生成送信処理は、所定の時間間隔で、永続的に行われる。
【０２６１】
映像データをカメラ２１０から受信した中継装置２３０は、受信した映像データから送信データを生成し、データ受信装置４１０へ送信する「送信データ生成処理」を実行する（ステップＳ３１２）。本処理に際して、中継装置２３０では、各カメラ２１０の動作モードの把握およびネットワーク３００への送信データのデータ量に基づく、消費帯域のモニタリング（監視）が並行して行われる。
【０２６２】
データ受信装置４１０は、中継装置２３０から送信された送信データを受信し、データ受信装置４１０に接続された機器を出力する「第一表示データ出力処理」を実行する（ステップＳ３４２）。具体的には、受信した送信データ（映像データ）の受信側記憶装置４３０への格納、および、映像表示装置４５０への映像出力である。なお、本処理で中継装置２３０から受信する送信データ（映像データ）は、基本的に加工されておらず、従来技術を利用して処理が行われる。
【０２６３】
［高精細画像の流れ］
次に、カメラ２１０が、高精細画像（静止画）を取得し、送信する場合の処理について説明する。本実施形態では、上述のように、映像認識装置２５０に与える学習情報として、所定のタイミングで高精細静止画像を取得する。この場合のデータの流れである。
【０２６４】
カメラ２１０は、高精細画像（静止画像）を取得し中継装置２３０に送信する「高精細画像取得処理」を行う（ステップＳ３０３）。なお、高精細画像取得時においては、統計情報処理部２２５は、高精細画像を取得する際に取得された各種統計情報を中継装置２３０に送信する。
【０２６５】
この高精細画像の取得は、所定のタイミング毎が到達した場合に実行される。所定のタイミングには、予め設定されている時間的な周期の他に、カメラ２１０のモード切替え直後や、ＩＤＲフレームの作成時点が含まれてよい。また、ステップＳ３０１の初期化処理の直後が含まれてもよい。ただし、当該時点では有効な統計情報は送信できない。カメラ２１０が高精細モードで動作中の場合、Ｉフレームの内容は高精細静止画像と同様である。従って、このＩフレームを、高精細画像としてもよい。この場合の「高精細画像取得処理」は、前述の所定の周期より短い周期やＩフレーム作成タイミング毎に実行されるようにしてもよい。
【０２６６】
中継装置２３０では、カメラ２１０から高精細静止画像および映像符号化統計情報等を受信すると、学習情報として映像認識装置２５０へ送信する「高精細画像転送処理」を実行する（ステップＳ３１３）。
【０２６７】
映像認識装置２５０では、中継装置２３０のステップＳ３１３において転送された高精細静止画像データおよび映像符号化統計情報等受信し、「データ分析／学習処理」を実行する（ステップＳ３２３）。映像認識装置２５０では、学習エンジン２５３ａが、受領した情報を、学習データベース２５３ｂを用いて分析し、得られた情報を用いて学習データベース２５３ｂ内の情報を更新する。
【０２６８】
また、分析した結果、画像内に異常状態が生じていると判定された場合は、映像認識装置２５０は、中継装置２３０へメッセージ等を用いて異常を通知する。逆に、異常状態発生後に、画像内で異常状態が解消されたと判定された場合も同様に、中継装置２３０へ異常状態が解除されたことを通知する。
【０２６９】
異常状態発生および解消の検出は、高精細静止画像内を複数の領域に区切り、各領域内の動き予測方向や動き量の直接的もしくは周期的な変化との対比や、異常状態時の各種パラメータとの類似性の算出等により実施される。本処理は、従来技術との差がないことから詳細は記述しない。
【０２７０】
［カメラ制御指示の流れ］
次に、中継装置２３０によるカメラ制御処理を説明する。例えば、高精細画像伝送後、映像認識装置２５０から異常状態検出または解除の通知を受けると、中継装置２３０のカメラ制御部２４１は、特定のカメラ２１０を高精細モードに移行または解除させる指示および、Ｉフレーム位置調整指示等のカメラ制御指示を特定のカメラ２１０に発行する「カメラ制御処理」を実行する（ステップＳ３１４）。
【０２７１】
特定のカメラ２１０は、判断の基とした高精細静止画像の送信元であるカメラ２１０である。Ｉフレーム位置調整指示は、消費帯域調整（削減）のために映像データを多重化する複数のカメラ２１０の映像データのＩフレームを同期するための、Ｉフレーム位置調整等の指示である。なお、映像認識装置２５０機構から異常状態解除の通知があった場合に、対象の高精細モードのカメラ２１０を通常モードに戻す（高精細モードを解除する）場合もステップＳ３１４が実行される。
【０２７２】
なお、「カメラ制御処理」（ステップＳ３１４）は、ユーザの指示により、データ受信側サブシステム４００側から送信されたカメラモードの変更要求を契機として実行されてもよい。
【０２７３】
カメラ２１０では、中継装置２３０等からの制御指示（コマンド）に基づいて、当該指示に対応する処理を行う「コマンド対応処理」を実行する（ステップＳ３０４）。当該指示の例としては、前述した高精細／通常モードの切替え指示や、Ｉフレーム位置調整の指示等が含まれる。また、即時にステップＳ３０３を実行する指示を設けるようにしてもよい。
【０２７４】
［多重化データの流れ］
次に、多重化データの流れについて説明する。
【０２７５】
データ多重化を行う場合、中継装置２３０において、多重化対象のカメラ２１０から受信した各チャネルの映像データを、送信側記憶装置２７０にバックアップすると共に、多重化して送信データを生成する、「多重化データ生成処理」を行う（ステップＳ３１５）。生成した多重化データは、データ受信装置４１０に送信される。
【０２７６】
なお、高精細モードを含む多重化非対象のカメラ２１０の映像データは、ステップＳ３１２の「映像データ生成処理」で対応する。また、ステップＳ３１４で、特定カメラ２１０の高精細モードが解除され、本処理が必要なくなった場合の後処理として、ステップＳ３１６が実行される。
【０２７７】
送信データとして多重化データを受信したデータ受信装置４１０は、分離復号処理を行い、データ受信装置４１０に接続された機器へ出力する「第二表示データ出力処理」を実行する（ステップＳ３４５）。
【０２７８】
第二表示データ出力処理は、ステップＳ３４２の第一表示データ出力処理同様、受信した送信データ（映像データ）の受信側記憶装置４３０への格納、および、映像表示装置４５０への映像出力である。しかし、本ステップにおける送信データは、中継装置２３０により加工（多重化）されたものであり、受信側記憶装置４３０および映像表示装置４５０への出力に先立って、データの非多重化を含む映像復元処理が実施される。
【０２７９】
当該モノクロ映像データは映像表示装置４５０へ映像出力され、受信側記憶装置４３０の提供する記憶領域へも格納される。当該モノクロ映像データに対応する本来の映像データは、データ送信側サブシステム２００の送信側記憶装置２７０に格納されている。このため、後でオリジナルのデータに更新／復元することができる。
【０２８０】
なお、このように、受信側記憶装置４３０の記憶領域へ格納された、本来とは異なる低画質映像データ（多重化データ、または、ダウンコンバートされた映像データを含む）は、後で更新する情報である。したがって、格納時に、後で更新される情報であることが識別可能となるようファイル名や内部タグ情報等にその旨を示す情報を付与しておくとよい。
【０２８１】
［補完データの流れ］
次に、補完データの流れについて説明する。
【０２８２】
送信データ生成部２４２は、送信側記憶装置２７０にバックアップされている各チャネルの映像データから、多重化送信済みの映像データに対する補完データを生成して、データ受信装置４１０へ送信する、「補完データ生成処理」を実行する（ステップＳ３１６）。補完データの生成手法は、上述の通りである。また、このとき、補完データの生成方式を特定する情報は、処理方式フラグ２４９ｂとして送信データに添付する。
【０２８３】
なお、送信データ生成部２４２は、補完データ送信後、当該補完データ生成に用いたバックアップ映像データを、送信側記憶装置２７０から削除する。
【０２８４】
補完データを受信したデータ受信装置４１０は、これを用いて受信側記憶装置４３０に格納された映像データを復元する（ステップＳ３４６）。ここでは、データ受信装置４１０は、受信側記憶装置４３０に格納されたモノクロの映像データを本来の状態に復元する「映像ファイル復元処理」を実行する。なお、本来の状態とは、送信側記憶装置２７０に格納されている映像データと同等の状態である。
【０２８５】
本実施形態では、補完データも多重化して送信される。上述のように、４：４：４フォーマットを用いて補完データが生成されて送信される場合、データ受信装置４１０は、このフォーマットのプロファイルを有する送信データの受信を契機に、映像ファイル復元処理を行う。
【０２８６】
以上を端的に言い換えれば、中継装置２３０は、ステップＳ３１２もしくはステップＳ３１５の処理の実行により、データ受信側サブシステム４００へ、リアルタイム性のある映像データを送信する。また、特にステップＳ３１４〜Ｓ３１６は本実施形態の特徴的な処理であり、詳細については後述する。
【０２８７】
［映像データ生成処理］
次に、Ｓ３０２の映像データ生成処理の流れについて説明する。図１２は、本実施形態の映像データ生成処理のフローチャートである。
【０２８８】
まず、モード決定部２２３は、現在のエンコードモード（映像出力モード）を判定する（ステップＳ１１０１）。まず、高精細モードであるか否かを判定する。具体的には、図９（ａ）に示すカメラ管理テーブル５１０における、映像出力モード５１３を示すレコードに格納された値に基づき判定する。
【０２８９】
当該判定の結果が「高精細」モードの場合（Ｓ１１０１；Ｙｅｓ）、モード決定部２２３は、映像符号化部２２２が生成した映像データを中継装置２３０へ送信する。また、統計情報処理部２２５は、該映像データから統計情報（動き予測情報等）を採取してカメラ管理テーブル５１０の蓄積統計情報領域に蓄積する（ステップＳ１１０２）。具体的には、映像符号化機構２１５ｄから受信した映像データ（ＩフレームまたはＰフレーム）を、通信インタフェース２１４を介して外部に送出すると共に、当該映像データに含まれる動き予測情報等を採取、および当該映像データのデータサイズをチェックし、カメラ管理テーブル５１０における蓄積統計情報領域（レコード５２５〜５２８）に蓄積（値を加算）する。
【０２９０】
次に、モード決定部２２３は、前ステップで蓄積した統計情報等の転送タイミングが到達したかどうかを判定する（ステップＳ１１０３）。具体的には、カメラ管理テーブル５１０の前回の送信時刻５１９と現在時刻に基づく経過時間と映像関連情報設定テーブル５３０の統計情報送信間隔５３４とを比較することにより判定する。
【０２９１】
当該判定の結果が否定的（Ｓ１１０３；Ｎｏ）の場合、ステップＳ１１０１に戻り、前述の処理を繰り返す。
【０２９２】
一方、当該判定の結果が肯定的（Ｓ１１０３；Ｙｅｓ）の場合、統計情報処理部２２５は、統計情報の生成および送信処理を実行する（ステップＳ１１０４）。これは、図１１のステップＳ３０３における学習情報に相当する。統計情報処理部２２５は、蓄積統計情報に蓄積された値から、当該期間における平均値を算出して、送信統計情報領域（レコード５１５〜５１８）を更新し、蓄積統計情報（レコード５２５〜５２８）の領域をクリアする。また、更新後の送信統計情報を中継装置２３０に送出すると共に、送信時刻（送信タイムスタンプ）を、前回の送信時刻５１９を示すレコードに格納する。なお、本処理は、モード切替が生じた場合も実施される。
【０２９３】
次に、モード決定部２２３は、光学モジュール２１５から高精細静止画像を取得して中継装置２３０に送出する（ステップＳ１１０５）。なお、本処理については、所定のタイミングで自動的に光学モジュール２１５から高精細静止画像が送信されるようにしてもよい。また、任意のタイミングで取得する方式としてもよい。また、カメラ２１０が高精細モードの場合は、高精細静止画像の取得に変えて、Ｉフレームの映像を使用してもよい。
【０２９４】
本処理の終了後、モード決定部２２３は、ステップＳ１１０１に戻り前述の処理を繰り返す。
【０２９５】
一方、高精細モード以外の場合（Ｓ１１０１；Ｎｏ）、モード決定部２２３は、現在のエンコードモードが、通常モードであるか否かを判別する（ステップＳ１１１１）。判別手法は、ステップＳ１１０１と同様である。
【０２９６】
通常モードの場合（Ｓ１１１１；Ｙｅｓ）、モード決定部２２３は、映像符号化部２２２が生成した映像データを中継装置２３０へ送信する。また、統計情報処理部２２５は、当該映像データから統計情報（動き予測情報等）を採取してカメラ管理テーブル５１０の蓄積統計情報領域に蓄積する（ステップＳ１１１２）。
【０２９７】
次に、モード決定部２２３は、高効率モードへ遷移可能か否かを判定する（ステップＳ１１１３）。判定は、当該映像データから得られた統計情報およびモード制御関連情報設定テーブル５５０の高効率モード移行条件５５１を示すレコードが参照するポリシ（例：データ量や映像周波数に基づいて判定。）に基づいて行われる。
【０２９８】
当該判定の結果が否定的（Ｓ１１１３；Ｎｏ）の場合、ステップＳ１１０３へ移行する。また、当該判定の結果が肯定的（Ｓ１１１３；Ｙｅｓ）の場合、モード決定部２２３は、高効率モードへ移行するための処理として、ステップＳ１１１４以降の処理を行う。
【０２９９】
モード決定部２２３は、まず、背景抽出部２２４と映像符号化部２２２に、長期参照フレームとして使用される（マーカ等を付与した）ＩＤＲフレームを作成させる（ステップＳ１１１４）。また、この際に、モード決定部２２３は、映像符号化部２２２が、フレームメモリ２１５ｅに格納された当該フレームの映像データを参照フレームとし、以降のエンコードを高効率モード動作に対応するアルゴリズムに変更するよう設定する。
【０３００】
次に、モード決定部２２３は、当該ＩＤＲフレームを中継装置２３０へ送信する（ステップＳ１１１５）。
【０３０１】
そして、モード決定部２２３は、カメラ管理テーブル５１０を更新する（ステップＳ１１１６）。具体的には、長期参照フレームの有効期限等を管理する基準となるタイムスタンプを、カメラ管理テーブル５１０の背景抽出タイムスタンプ５１４に対応するレコードに格納する。さらに、高効率モードへの変更を伴う場合は、映像出力モード５１３を示すレコードの内容を、高効率モードを示す値に変更する。そして、本処理後、ステップＳ１１０３へ移行する。
【０３０２】
ステップＳ１１１１で通常モードではないと判定された場合（Ｓ１１１１；Ｎｏ）、映像符号化部２２２が生成した映像データを中継装置２３０へ送信する。また、統計情報処理部２２５は、当該映像データから統計情報（動き予測情報等）を採取してカメラ管理テーブル５１０の蓄積統計情報領域に蓄積する（ステップＳ１１２１）。
【０３０３】
次に、モード決定部２２３は、高効率モードの解除条件が成立したか否かを判定する（ステップＳ１１２２）。当該解除条件は、モード制御関連情報設定テーブル５５０の高効率モード解除条件５５２を示すレコードが参照するポリシ内に定義される。
【０３０４】
当該判定の結果が否定的（Ｓ１１２２；Ｎｏ）である場合、ステップＳ１１２６に分岐する。一方、当該判定の結果が肯定的（Ｓ１１２２；Ｙｅｓ）の場合、モード決定部２２３は、長期参照フレームを破棄して通常モードに遷移するためにステップＳ１１２３以降の処理を実行する。
【０３０５】
まず、モード決定部２２３は、映像符号化部２２２に、ＩＤＲフレームを作成させる（ステップＳ１１２３）。なお、このＩＤＲフレームには、長期参照フレームとして使用することを示す識別情報（マーカ等）は付与されない。このＩＤＲフレームが作成された場合、バッファ等に格納されていた以前の長期参照フレームは破棄される。すなわち、モード決定部２２３は、映像符号化部２２２が、フレームメモリ２１５ｅに格納された当該フレームの映像データを破棄し、以降のエンコードを通常モード動作に対応するアルゴリズムに変更するよう設定する。
【０３０６】
映像符号化部２２２は、当該ＩＤＲフレームを中継装置２３０へ送信する（ステップＳ１１２４）。また、モード決定部２２３は、カメラ管理テーブル５１０の映像出力モード５１３を示すレコードの内容を、通常モードを示す値に変更して更新する（ステップＳ１１２５）。なお、さらに、背景抽出タイムスタンプ５１４を無効化してもよい。そして、本ステップの処理終了後にステップＳ１１０３に移行する。
【０３０７】
次に、ステップＳ１１２２の判定において、高効率モードの解除条件が非成立の場合（Ｓ１１２２；Ｎｏ）、モード決定部２２３は、背景検出抑止期間内であるかを判別する（ステップＳ１１２６）。ここでは、カメラ管理テーブル５１０の背景抽出タイムスタンプ５１４を示すレコードに格納された時刻からの経過時間が、背景検出抑止期間内（モード制御関連情報設定テーブル５５０の背景検出抑止期間５５５の設定値未満）か、否かで判定する。
【０３０８】
本ステップの処理は、データ量削減効果が小さくなることを抑止するために行われる。あまり短時間（頻繁）に背景フレーム更新が行われると、データ量削減効果が小さくなるためである。背景検出抑止期間には、上述のように、長期参照フレームの有効期限よりも短く、かつ長期参照フレームの有効期限から背景検出抑止期間を差し引いた残り時間内で、次の背景候補フレームが検出可能となるよう、適切な値を設定する。
【０３０９】
当該判定の結果、背景抽出タイムスタンプからの経過時間が背景検出抑止期間内（Ｓ１１２６；Ｙｅｓ）の場合、モード決定部２２３は、ステップＳ１１０３に分岐する。
【０３１０】
一方、背景検出抑止期間を超えている（Ｓ１１２６；Ｎｏ）と判定された場合、モード決定部２２３は、背景検出条件が成立するか否かを判定する（ステップＳ１１２７）。判定は、当該映像データから得られた統計情報およびモード制御関連情報設定テーブル５５０の背景検出条件５５３を示すレコードが参照するポリシ（例：データ量や映像周波数に基づいて判定。）に基づいて、行われる。
【０３１１】
当該判定は、ステップＳ１１１３における背景検出判定と同様とすることが可能である。なお、ステップＳ１１１３の場合は、さらに高効率モードへの移行のための追加条件判定を加えることができる。しかし、特に指定がない場合、本ステップに移行する代わりに、ステップＳ１１１３に分岐するようにしてもよい。
【０３１２】
当該判定の結果が否定的（Ｓ１１２７；Ｎｏ）の場合は、モード決定部２２３は、ステップＳ１１０３に分岐し、肯定的（Ｓ１１２７；Ｙｅｓ）の場合は、ステップＳ１１１４に分岐する。これにより、新たな背景画像である長期参照フレームが設定され、タイムスタンプが更新される。このようにすることで、高効率モードが維持（延長）される。
【０３１３】
なお、ステップＳ１１２７からステップＳ１１１４へ移行した場合（背景フレーム更新時）は、既に高効率モードを示す値がカメラ管理テーブル５１０の映像出力モード５１３に格納されているため、変更は不要である。
【０３１４】
なお、図１２の、映像データ生成処理の、ステップＳ１１０２の後に、例えば、所定時間経過後に自動的に高精細モードを解除する場合の処理を行うようにしてもよい。
【０３１５】
［カメラ制御処理］
次に、Ｓ３４１の、中継装置２３０のカメラ制御部２４１によるカメラ制御処理の流れを、図１３の処理フローに沿って説明する。本処理は、図１１のＳ３１４，Ｓ３０４に関連する処理の詳細フローである。
【０３１６】
当該処理は中継装置２３０への映像認識装置２５０もしくはユーザからの指示に基づき、特定カメラ２１０を高精細モードに移行または、高精細モードを解除する要求を受領したことを契機に開始される。
【０３１７】
カメラ制御部２４１は、モード移行対象となるカメラ群を特定する（ステップＳ２１０１）。ここでは、受信した要求で指定されたカメラ２１０のカメラグループを特定することにより、モード移行対象となるカメラ群を特定する。
【０３１８】
具体的には、受信した要求からカメラＩＤを抽出し、図１０（ｃ）のチャネル管理テーブル６５０内のカメラＩＤ６５１を示すレコードを検索して、該当するカメラＩＤを有するエントリ６６３を特定する。次に当該エントリ６６３のカメラグループＩＤ６５３を参照し、カメラグループ設定テーブル６３０のカメラグループＩＤ６３１を検索し、ＩＤが合致するエントリ６３５を特定する。当該エントリ６３５におけるメンバ数６３３および所属カメラＩＤリスト６３４を用いて、移行対象候補のカメラ群を特定する。特定された移行対象候補のカメラ群に対し、カメラグループポリシ６３２のレコードにより特定されたポリシ条件によるフィルタリングを行い、最終的に、モード移行対象となるカメラ２１０（群）を特定する。
【０３１９】
カメラ制御部２４１は、前ステップで特定された移行対象カメラ（複数の場合はそれぞれ）２１０に対し、モード切替コマンドを発行し、モード切替指示を行う（ステップＳ２１０２）。なお、ここでは、さらに、該当するチャネル管理テーブル６５０のカメラモード６５５のレコード内容を、変更後のカメラモードを示す値に更新する。
【０３２０】
ここで、当該モード切替コマンドを受領したカメラ２１０は、自身のモードを指示されたモードに切り替える（図１１のステップＳ３０４に相当）。
【０３２１】
当該処理の一例を示せば、高精細モードへの移行において、カメラ２１０のモード決定部２２３が映像符号化部２２２に対し、高精細モードとして予め設定された画質およびビットレートに従い映像符号化するよう指示する。そしてカメラ管理テーブル５１０の映像出力モード５１３を示すレコードの内容を、高精細モードを示す値に変更して更新する。高効率モードから移行する場合、さらに背景抽出タイムスタンプ５１４を無効化してもよい。また長期参照フレームの無効化を含め、最初のＩフレームは無条件にＩＤＲフレーム（マーカ無）として送信するようにするとよい。
【０３２２】
カメラ制御部２４１は、当該指示が高精細モード移行指示であるか否かを判別する（ステップＳ２１０３）。当該判定結果が否定的（Ｓ２１０３；Ｎｏ）の場合、高精細モード解除処理のステップＳ２１０４に分岐する。
【０３２３】
一方、判定結果が肯定的（Ｓ２１０３；Ｙｅｓ）の場合は、カメラ制御部２４１は、ステップＳ２２０１以降の処理を実行する。
【０３２４】
カメラ制御部２４１は、帯域予測値算出部２４３に、モード移行対象カメラ２１０が高精細モードに移行した場合の消費帯域予測値を算出させる（ステップＳ２２０１）。ここでは、帯域予測値算出部２４３は、直前の帯域消費量（帯域制御設定テーブル６１０の平均帯域使用量６１３）と、移行対象カメラ２１０が全て高精細モードに移行する場合に必要となる帯域増加分（計算値）とを合算して消費帯域の予測値を算出する。
【０３２５】
カメラ制御部２４１は、算出した消費帯域予測値と帯域制御設定テーブル６１０の帯域使用量上限６１２に格納された閾値とを比較し、消費帯域予測値が設定上限帯域を超過するか否かを判定する（ステップＳ２２０２）。
【０３２６】
当該判定結果が否定的（Ｓ２２０２；Ｎｏ）の場合、映像データの転送に問題が生じない十分な転送帯域があるため、カメラ制御部２４１は、これで本処理を終了する。
【０３２７】
一方、判定結果が肯定的（Ｓ２２０２；Ｙｅｓ）の場合、そのままでは帯域不足となりデータ転送に問題が生じる。これを回避するために、カメラ制御部２４１は、他のチャネルに対する帯域削減処理と組み合わせて超過分の帯域を相殺するようステップＳ２２０３以降の処理を実行する。
【０３２８】
カメラ制御部２４１は、本実施形態の多重化モードの使用による帯域削減分を計算する（ステップＳ２２０３）。
【０３２９】
ここで、多重化するカメラ２１０は、カメラグループポリシ６３２に従って決定される。上述のように、カメラグループポリシ６３２には、「モード移行ポリシ」として、「多重化モード設定ポリシ」が設定される。多重化するカメラ２１０は、この「多重化モード設定ポリシ」の「移行数条件」に「移行禁止」が設定されていないカメラグループの、「組み合わせ選択条件」に基づいて選択される。
【０３３０】
例えば、「組み合わせ選択条件」に、「グループ内優先」が設定されているカメラグループ内のカメラ２１０が優先的に選択される。「グループ内優先」が設定されているカメラグループが複数ある場合は、当該グループに属するカメラ２１０の台数が多いグループが優先的に選択される。これは、カメラグループ設定テーブル６３０のレコード６３３の値に基づいて決定される。そして、選択されたカメラグループ内では、チャネル管理テーブル６５０のグループ内優先順位６５４に従って、当該グループ内の一番優先順位の低い（最下位の）カメラ２１０から順に、必要な台数のカメラ２１０が選択される。
【０３３１】
例えば、事故発生率の少ない場所に設置されたカメラ２１０等に「グループ内優先」を設定することにより、事故発生率の少ない環境のカメラ２１０からの映像を優先的に多重化することができる。
【０３３２】
さらに、「組み合わせ選択条件」には、「グループ内優先」、「他グループ優先」、「制限なし」と組み合わせて「通常モード優先」が設定されることがある。この「通常モード優先」が設定されているカメラグループでは、通常モードで動作しているカメラ２１０から優先的に選択される。
【０３３３】
また、「通常モード優先」が組み合わせて設定されている場合は、「グループ内優先」が設定されているカメラグループが複数ある場合、属するカメラ２１０の台数ではなく、属するカメラ２１０が通常モードで動作しているカメラグループを優先的に選択してもよい。すなわち、例えば、「グループ内優先」が設定されているカメラグループの中で、最も台数の多いカメラグループのカメラ２１０が高効率モードで動作している場合は、別のカメラグループ、カメラグループに属さない単独カメラ２１０の順に候補を検索する。当該検索の結果、他に選択肢が無い場合には、高効率モードで動作しているカメラ２１０が属するカメラグループであって、「グループ内優先」が設定されているカメラグループ内の最下位の高効率モード動作カメラ２１０を選択する。
【０３３４】
さらに、同じ条件で同じ台数のグループが複数ある場合は、カメラモード６５５がデータ転送量の多い通常モードであるグループが優先される。そして、選択された当該グループ内では、チャネル管理テーブル６５０のグループ内優先順位６５４の低いカメラ２１０から順に必要な台数のカメラ２１０が選択される。
【０３３５】
逆に、「組み合わせ選択条件」に「他グループ優先」が設定されているカメラグループのカメラ２１０の多重化は、他に選択肢がない場合のみに限られる。
【０３３６】
なお、上記選択手法は一例であり、帯域削減に効果の高い順に、所定の優先順位に基づいて選択が行われれば、特に選択手法は問わない。また、この場合の消費帯域予測値も、帯域予測値算出部２４３に算出させる。
【０３３７】
ここで、カメラ制御部２４１は、算出された消費帯域予測値が、帯域使用量上限６１２に格納された閾値（帯域使用上限値）を上回るかどうかを判定する（ステップＳ２２０４）。
【０３３８】
判定結果が帯域使用上限値を上回る（Ｓ２２０４；Ｙｅｓ）場合は、高精細モードに移行した全てのカメラ２１０の高精細映像を送信することができないことを示している。このため、カメラ制御部２４１は、ダウンコンバートすべき台数を決定する（ステップＳ２２０５）とともに、ダウンコンバート対象カメラ２１０を決定する（ステップＳ２２０６）。
【０３３９】
ここでは、カメラ制御部２４１は、ステップＳ２２０３で算出した消費帯域予測値と帯域使用上限値との差から高精細モードの画質を通常モード相当の画質にダウンコンバートすべきカメラ２１０の台数を決定する。なお、本処理では、帯域超過は、複数のカメラ２１０を高精細モードに移行することにより発生したものである。このため、必ず、帯域超過分を相殺可能な台数が求まる。
【０３４０】
そして、当該高精細モードに移行したカメラ２１０の内、ステップＳ２２０５で算出した台数分のカメラ２１０を、所属するカメラグループ内の優先順位に従い、優先順位の低い順に対象カメラ２１０と決定する。決定したカメラ２１０が取得した映像をダウンコンバートして転送するように設定する。具体的には、チャネル管理テーブル６５０の対応するエントリ６６３内のチャネルモード６５８に対応するレコードに、ダウンコンバートモードを示す値を設定し、チャネルステータスの関連項目（６６１，６６２）のレコードに値を設定する。
【０３４１】
一方、判定結果が閾値以下（Ｓ２２０４；Ｎｏ）の場合は、当該処理をスキップしてステップＳ２２０７に分岐する。
【０３４２】
カメラ制御部２４１は、多重化する映像入力チャネルのセットであるカメラセットを決定する（ステップＳ２２０７）。この時のカメラセットの選択条件は、前述したように、当該カメラ２１０の設置位置における事故発生率等に基づいた優先順位に基づいて決定されてもよいし、当該時点で、通常モードで動作中（高効率モードで動作していない）のカメラ２１０（映像入力チャネル）群から選択するようにしてもよい。さらに、それらの中から、データ転送帯域の高いもの（データ入力量が大きいもの）が優先的に選択されるようにしてもよい。また映像入力チャネルにＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）が設定されている場合は、サービスレベルの低いものが優先的に選択されるようにしてもよい。
【０３４３】
カメラ制御部２４１は、ステップＳ２２０７で、決定したカメラセットに対し、フレーム同期処理を行う（ステップＳ２２０８）。ここでは、決定したカメラセットに対し、フレーム位置同期グループを決定して、チャネル管理テーブル６５０の、対応する各エントリ６６３内のフレーム位置同期グループ６５７のレコードに反映する。また、当該カメラセットの各カメラ２１０に対してＩフレーム位置を同期するための、Ｉフレーム生成タイミング変更指示コマンドを発行する。
【０３４４】
なお、Ｉフレーム生成タイミング変更指示コマンドを受領したカメラ２１０は、前述した手法で、Ｉフレーム生成位置を、指示されたフレーム数分移動させる。なお、本処理は、図１１のステップＳ３０４に相当する。
【０３４５】
カメラ制御部２４１は、チャネル管理テーブル６５０の対応する各エントリ６６３に多重化対象映像チャネル設定を行って更新する（ステップＳ２２０９）。具体的には、エントリ６６３内のチャネルモード６５８に対応するレコードに、多重化モードを示す値を設定し、チャネルステータスの関連項目（図１０（ｃ）６５９〜６６２）のレコードに値を設定し、処理を終了する。
【０３４６】
なお、他にも多重化するカメラセットを設定する必要がある場合は、ステップＳ２２０７からＳ２２０９の処理を必要なセット数分、繰り返す。
【０３４７】
次にＳ２１０３で高精細モード解除指示の場合に実施される処理を説明する。
【０３４８】
カメラ制御部２４１は、ステップＳ２２０６やステップＳ２２０９で設定されたダウンコンバートモードや、多重化モードの設定を解除する（ステップＳ２１０４）。これは、チャネル管理テーブル６５０のチャネルモード６５８に対応するレコードに「ダウンコンバート」モードや「多重化」モードを示す値が格納されているエントリ６６３において、それぞれ実施される。なお、上記は、当該高精細モード解除対象のカメラ２１０（群）が高精細モード設定時に帯域相殺用に設定されたカメラ群を対象とする。
【０３４９】
具体的には、カメラ制御部２４１は、まず、チャネルモード６５８に対応するレコードに、「通常」モードを示す値を設定し、チャネルステータスの関連項目（図１０（ｃ）６５９〜６６１）のレコードの値を「無効」を示す値に変更する。そして補完データ転送指示フラグ６６２のレコードを「実行中」を示す値に更新する。
【０３５０】
カメラ制御部２４１は、送信側記憶装置２７０に格納されている（オリジナルの）映像データから、補完データを生成し、余剰帯域を利用して送信する（ステップＳ２１０５）。このときの補完データの生成方式および余剰帯域消費量は、前述したように、バックアップおよび補完データ関連ポリシにおける、補完データ生成方式および補完データ送信帯域レベルに従って実施される。
【０３５１】
カメラ制御部２４１は、送信側記憶装置２７０に格納されている補完データ送信済みの映像データを削除すると共に、ステップＳ２１０４で設定した補完データ転送指示フラグ６６２のレコードを「実行中」を示す値から「無効」を示す値に変更し、処理を終了する。
【０３５２】
なお、前述した図１３の処理において、カメラ２１０およびチャネルの設定等は並列的に処理が可能であり、必ずしもフローチャートの順序に限定されない。例えば、先に多重化等の帯域削減設定を実施した後に、カメラ２１０を高精細モードに変更してもよいし、中継装置２３０の帯域削減設定とカメラ２１０の高精細モードへの変更が同時に行われるようにしてもよい。
【０３５３】
［送信データ生成、送信処理］
次に、図１１のステップＳ３１２，Ｓ３１５、Ｓ３１６の、送信データ生成処理、多重化データ生成処理および補完データ生成処理について、図１４の処理フローに沿って、説明する。当該処理は中継装置２３０への映像入力チャネルからの映像データ受信を契機として開始される。
【０３５４】
送信データ生成部２４２は、映像データの受信チャネルを特定する（ステップＳ３１０１）。ここでは、映像データを受信した映像入力チャネルに対応する図１０（ｃ）のチャネル管理テーブル６５０の当該エントリ６６３を特定して参照する。
【０３５５】
送信データ生成部２４２は、受信した当該映像データを送信側記憶装置２７０へ保存する必要があるかどうかを判定する（ステップＳ３１０２）。具体的には、当該エントリ６６３の映像データ保存指示フラグ６６１に対応するレコードに格納された値が「対象」を示しているか否かを判定する。
【０３５６】
判定の結果が肯定的（Ｓ３１０２；Ｙｅｓ）の場合は、受信した当該映像データを送信側記憶装置２７０へ一時的に保存する（ステップＳ３１０３）。これに対応して送信側記憶装置２７０は、当該映像データを記憶領域に格納する。
【０３５７】
一方、ステップＳ３１０２において、判定結果が否定的（Ｓ３１０２；Ｎｏ）の場合は、ステップＳ３１０３の処理をスキップする。
【０３５８】
次に、送信データ生成部２４２は、チャネルモードが多重化であるか否かを判別する（ステップＳ３１０４）。ここでは、当該エントリ６６３のチャネルモード６５８に対応するレコードに格納された値に基づいて判定する。
【０３５９】
判定が否定的（Ｓ３１０４；Ｎｏ）の場合、チャネルモードがダウンコンバートモードであるかを判別する（ステップＳ３２０１）。判定は、同様に、当該エントリ６６３のチャネルモード６５８に対応するレコードに格納された値に基づいて行う。
【０３６０】
ダウンコンバートモードであれば（Ｓ３２０１；Ｙｅｓ）、送信データ生成部２４２は、受信した当該映像（高精細映像）データを、通常モードの画質にダウンコンバート処理を行い（ステップＳ３２０２）、送信データのデータ量を削減する。例えば、前述のＳ２２０４の判定において、帯域削減処理による相殺を行っても、帯域上限閾値を超過する場合に、当該映像入力チャネルに設定されたものである。この場合、カメラ２１０からは高精細映像が中継装置２３０に送信されてくるが、データ受信側サブシステム４００へは、通常画質の映像データが送信される。従って、データ受信側サブシステム４００上で視聴するユーザは、オリジナルの高精細映像をリアルタイムでは視聴することはできない。但し、補完データの送信等により、後で当該高精細映像データに置き換えることは可能である。
【０３６１】
送信部２４４は、送信データ生成部２４２が生成した送信データを、データ受信側サブシステム４００のデータ受信装置４１０に送信する（ステップＳ３２０３）。
【０３６２】
なお、ステップＳ３２０１において、ダウンコンバートモードでなければ（Ｓ３２０１；Ｎｏ）、チャネルモード６５８に「通常」モードを示す値が格納されている。この場合、送信データ生成部２４２は、中継装置２３０側で特段の処理を行なうことなく、すなわち、ステップＳ３２０２の処理をスキップし、ステップＳ３２０３へ分岐する。
【０３６３】
また、ステップＳ３１０４において、判定が肯定的（Ｓ３１０４；Ｙｅｓ）の場合、チャネルモード６５８に「多重化」モードを示す値が格納されている。送信データ生成部２４２は、映像データに多重化処理を施し（ステップＳ３１０５）、多重化送信データが完成したか否かを判定する（ステップＳ３１０６）。なお。多重化処理の詳細は、後述する。
【０３６４】
多重化送信データが完成した場合（Ｓ３１０６；Ｙｅｓ）、ステップＳ３２０３へ分岐する。一方、未完成な場合（Ｓ３１０６；Ｎｏ）、ステップＳ３２０４へ分岐する。
【０３６５】
送信データの送信を終えると、送信データ生成部２４２は、送信側記憶装置２７０に格納された一時保存の映像データの有無を判定する（ステップＳ３２０４）。当該判定の結果が否定的（Ｓ３２０４；Ｎｏ）の場合、一時保存映像データは無し、である。この場合は、処理を終了する。
【０３６６】
一方、判定結果が肯定的（Ｓ３２０４；Ｙｅｓ）の場合、送信データ生成部２４２は、現在の消費帯域に余流があるかどうかを判定する（ステップＳ３２０５）。当該判定は、図１０（ａ）の帯域制御設定テーブル６１０における帯域使用量上限６１２と平均帯域使用量６１３の各レコードに格納された値の比較に基づいて行われる。
【０３６７】
当該判定の結果、帯域に余裕がないと判定された場合（Ｓ３２０５；Ｎｏ）は、送信データ生成部２４２は、処理を終了する。一方、帯域に余裕ありと判定された場合（Ｓ３２０５；Ｙｅｓ）は、送信データ生成部２４２は、送信側記憶装置２７０から一時保存された映像データを取得する（読み出す）（ステップＳ３２０６）。
【０３６８】
そして、送信データ生成部２４２は、一時保存された映像データのチャネルのカメラグループ定義等のポリシに基づき、補完データを生成して、同じくポリシに基づく許容消費帯域の範囲内に収まるタイミングで、生成した補完データを、データ受信装置４１０に送信し（ステップＳ３２０７）、処理を終了する。なお、Ｓ３２０７の処理終了後、図１３のカメラ制御処理のステップＳ２１０６へ移行し、補完データを生成する基となった映像データを、送信側記憶装置２７０から削除する。
【０３６９】
なお、ステップＳ３２０４以降の、補完データ生成、送信処理は、必ずしも、ステップＳ３２０３の映像データ送信処理に引き続いて行う必要はない。これらの処理は、任意のタイミングで非同期に実施してよい。
【０３７０】
［多重化処理］
次に、送信データ生成処理の、ステップＳ３１０５の多重化処理の詳細について図１５に沿って説明する。これは、上述のように、図１０（ｃ）のチャネル管理テーブル６５０のチャネルモード６５８に「多重化」モードを示す値が格納されている場合に行われる処理である。
【０３７１】
まず、送信データ生成部２４２は、多重化対象の映像入力チャネルで受信した映像データの輝度情報（Ｙ）を抽出する（ステップＳ３３０１）。当該抽出された輝度情報（Ｙ）は、多重先の送信データの色情報領域の、Ｙ領域、Ｃｂ領域およびＣｒ領域のいずれかに格納される。
【０３７２】
送信データ生成部２４２は、多重化時伝送シーケンス６６０に相当するレコードの参照に基づき、多重先の送信データの色情報領域の、Ｃｂ領域またはＣｒ領域に格納されるか否かを判定する（ステップＳ３３０２）。判定結果が肯定的（Ｓ３３０２；Ｙｅｓ）の場合、送信データ生成部２４２は、抽出した輝度情報（Ｙ）をサンプリングする等により縦横それぞれ１／２のサイズに縮小する（ステップＳ３３０３）。これは送信データが４：２：０フォーマットの場合、Ｃｂ領域またはＣｒ領域の情報量はＹ領域の情報量の１／４（縦横各１／２）であることに対応するためである。
【０３７３】
一方、判定の結果が否定的（Ｓ３３０２；Ｎｏ＝Ｙ領域に格納）の場合、送信データ生成部２４２は、ステップＳ３３０３をスキップする。
【０３７４】
次に、送信データ生成部２４２は、多重化対象となる複数の映像入力チャネルの対象映像データが、全て揃ったかどうかを判定する（ステップＳ３３０４）。ここでは、３つの映像入力チャネルの対象映像データがそろったかどうか、すなわち、送信データの色情報領域が全て充填可能か否かを判定する。
【０３７５】
全て揃った場合（Ｓ３３０４；Ｙｅｓ）、送信データ生成部２４２は、当該映像がＰフレームか否かを判定する（ステップＳ３３０５）。当該映像がＰフレームと判定された場合（Ｓ３３０５；Ｙｅｓ）は、送信データ生成部２４２は、不要なマクロブロックをマスクコードで埋める（マスク化マクロブロック追加）処理を行う（ステップＳ３３０６）。
【０３７６】
なお、判定の結果が否定的（Ｓ３３０５；Ｎｏ＝Ｉ／ＩＤＲフレーム）の場合、ステップＳ３３０６をスキップする。ここで、仮に、高効率モード映像を多重化する場合は、長期参照フレーム有のＩフレームかどうかを判断して、当該判断が肯定的の場合にステップ３３０６を実施するとよい。この場合において、通常モードのＩフレームと多重化の場合は、差分領域以外の全てのマクロブロックがマスクコードで埋められる。また全て高効率モードのＩフレームを多重化する場合は、Ｐフレームの多重化処理と変わらない。
【０３７７】
そして、送信データ生成部２４２は、多重化映像データを生成（合成）し、送信用データが完成したことを示すフラグを設定する等して（ステップＳ３３０７）、処理を終了する。
【０３７８】
一方、全て揃っていない場合（Ｓ３３０４；Ｎｏ）は、そのまま処理を終了する。この場合は、多重化映像データが完成したことを示すフラグが設定されていないため、図１４のステップＳ３１０６において、送信データ生成部２４２は、多重化送信データが未完成（Ｓ３１０６；Ｎｏ）と判定する。
【０３７９】
なお、上記図７を用いた説明では、理解し易いようマスク化マクロブロックを追加してから、Ｃｂ領域およびＣｒ領域を縮小するという順序で処理を行っている。マスク化マクロブロック追加処理と、縮小処理とは、どちらを先に行ってもよい。
【０３８０】
［データ受信処理］
次に、図１１のステップＳ３４２の第一表示データ出力処理、Ｓ３４５の第二表示データ出力処理およびＳ３４６の映像ファイル復元処理について、図１６に沿って説明する。本処理は、中継装置２３０からの映像データ（送信データ）の受信を契機として開始される。
【０３８１】
表示データ生成部４２２は、受信した送信データの種別を判定する。まず、通常映像データであるか否かを判別する（ステップＳ４１０１）。
【０３８２】
通常映像データと判別された場合（Ｓ４１０１；Ｙｅｓ）、表示データ生成部４２２は、映像チャネルを特定する（ステップＳ４１０２）。その後、映像データ受信処理を行い（ステップＳ４１０３）、生成された映像データ（フレーム）を、受信側記憶装置４３０の対応する映像ファイルに格納する（ステップＳ４１０４）。なお、本処理は、図１１のステップＳ３４２の第一表示データ出力処理に対応する。
【０３８３】
なお、ステップＳ４１０４の処理内で映像ファイルの生成／クローズ／切替え等が実施されることがある。例えば、前フレームが多重化映像で今回のフレームが通常映像の場合は、後述する低画質映像ファイルをクローズし、新たに映像ファイルを生成して格納するケース（切替え）や、ファイルサイズが所定容量に達したり、記録時間が所定の時間範囲に達したりするケース等である。
【０３８４】
次に、表示データ生成部４２２は、当該フレームがＰフレームか否かを判定する（ステップＳ４２０４）。判定の結果が肯定的（Ｓ４２０４；Ｙｅｓ＝Ｐフレーム）の場合は、チャネル映像における前フレーム／Ｉフレーム／長期参照フレーム等のベースフレーム映像と、Ｐフレーム映像とを合成する（ステップＳ４２０５）。そして、合成後のフレーム映像を映像表示装置４５０に出力し（ステップＳ４２０６）、図１６の処理を終了する。
【０３８５】
なお、ステップＳ４２０４において、判定の結果が否定的（Ｓ４２０４；Ｎｏ＝Ｉフレーム／ＩＤＲフレーム）の場合は、ステップＳ４２０５をスキップし、ステップＳ４２０６へジャンプする。
【０３８６】
ステップＳ４１０１で通常映像データでないと判別された場合（Ｓ４１０１；Ｎｏ）、表示データ生成部４２２は、多重化データであるか否かを判別する（ステップＳ４２０１）。
【０３８７】
ステップＳ４２０１で多重化データと判別された場合（Ｓ４２０１；Ｙｅｓ）、表示データ生成部４２２は、多重化復元処理を行い（ステップＳ４２０２）、各チャネルの映像データ（フレーム）を復元する。なお、本処理は、図１１のステップＳ３４５の第二表示データ出力処理である。
【０３８８】
その後、表示データ生成部４２２は、復元した各チャネルの映像データをそれぞれ受信側記憶装置４３０内の対応する映像ファイル（低画質映像ファイルと呼ぶ。）に格納し（ステップＳ４２０３）、ステップＳ４２０４へ移行する。
【０３８９】
なお、本処理内で映像ファイルの生成／クローズ／切替え等が実施されることがある。例えば、前フレームが通常映像で今回のフレームが多重化映像の場合は、通常映像で格納していた映像ファイルをクローズし、新たに低画質映像ファイルを生成して格納するケース（切替え）や、ファイルサイズが所定容量に達したり、記録時間が所定の時間範囲に達したりするケース等である。
【０３９０】
ステップＳ４２０１で多重化データでないと判別された場合（Ｓ４２０１；Ｎｏ）、送信データは補完データである。この場合、表示データ生成部４２２は、この補完データで更新（復元）する対象のチャネルおよびタイムスタンプ範囲の映像データが格納されているファイル（低画質ファイル）を特定する（ステップＳ４２０７）。この時、補完データが多重化映像データ用の場合は、複数の低画質ファイルが特定される。
【０３９１】
次に、表示データ生成部４２２は、映像データ復元処理を行う（ステップＳ４２０８）。映像データ復元処理では、当該低画質ファイルの映像データを読み出し、受領した補完データと合成する等して、映像データを本来の状態に復元する。なお、置き換え更新の場合は、本ステップはスキップしてよい。また、映像データ復元処理は、ステップＳ４２０７で特定された全ての復元対象の映像データに対して行う。
【０３９２】
映像データ復元処理後、表示データ生成部４２２は、復元された映像データで、受信側記憶装置４３０の映像データを更新し（ステップＳ４２０９）、処理を終了する。ここで行う更新は、例えば、低画質ファイルを復元したデータで上書き更新もしくは、新規に映像ファイルを作成し、対応する低画質ファイルを削除する等である。なお、映像ファイルが所定時間幅や所定ファイルサイズ上限等で規制されている場合等は、ファイルの統合や分割等を実行してもよい。
【０３９３】
なお、送信データが補完データである場合の処理は、図１１のステップＳ３４６の映像ファイル復元処理に対応する。
【０３９４】
［映像データ受信処理］
次に、表示データ生成部４２２による上記ステップＳ４１０３の映像データ受信処理の詳細な流れを、図１７に沿って説明する。
【０３９５】
まず、表示データ生成部４２２は、映像データがＩＤＲフレームか否かを判定する（ステップＳ４３０１）。判定の結果が肯定的（Ｓ４３０１；Ｙｅｓ；ＩＤＲフレーム）の場合は、現在の参照フレームを破棄し、関係性をクリアする（ステップＳ４３０２）。そして、当該ＩＤＲフレームを長期参照フレームとするか否かを判定する（ステップＳ４３０３）。
【０３９６】
ステップＳ４３０３の判定の結果が肯定的（Ｓ４３０３；Ｙｅｓ）の場合は、当該映像データを長期参照フレームに設定する（ステップＳ４３０４）。このとき、例えば、当該映像データを、長期参照フレームとしてメモリ４１２に記憶する。
【０３９７】
次に、表示データ生成部４２２は、当該フレームが、長期参照フレーム設定済み状態のＩフレームであるか否かを判別する（ステップＳ４３０５）。ここでは、Ｉフレームを生成する必要があるかどうかを判定する。
【０３９８】
判定の結果が否定的（Ｓ４３０５；Ｎｏ）の場合（つまりＰフレームもしくは全画面情報を有するＩフレームの場合）は、処理を終了する。
【０３９９】
一方、Ｓ４３０５の判定の結果が肯定的（Ｓ４３０５；Ｙｅｓ）の場合は、表示データ生成部４２２は、当該フレームと長期参照フレームとに基づいて、Ｉフレーム（ＩＶＯ：Ｉｎｔｒａ  Ｖｉｄｅｏ  Ｏｂｊｅｃｔと称する場合もある）を生成し（ステップＳ４３０６）、処理を終了する。なお、Ｓ４３０６の処理は、必ずしも必要ではなく、サポートする映像符号化規格によっては省略することもできる。
【０４００】
なお、ステップＳ４３０１の判定の結果が否定的（Ｓ４３０１；Ｎｏ＝Ｉフレーム／Ｐフレーム）の場合は、ステップＳ４３０５に移行する。
【０４０１】
［多重化復元処理］
次に、上記ステップＳ４２０２の多重化復元処理の流れを、図１８に沿って説明する。
【０４０２】
まず、表示データ生成部４２２は、特定したチャネル別に映像データを分離する（ステップＳ４４０１）。分離手法は、図８を用いて説明した通りである。ここで、分離された映像データは、各チャネルの輝度情報（Ｙ）となる。また、この時、Ｃｂ領域およびＣｒ領域に格納されている映像データ（輝度情報（Ｙ））は、縦横半分ずつ縮小された状態である（当該データを便宜的に縮小映像データと記述する。）。
【０４０３】
次に、表示データ生成部４２２は、当該フレームがＰフレームか否かを判定する（ステップＳ４４０２）。判定の結果が肯定的（Ｓ４４０２；Ｙｅｓ＝Ｐフレーム）の場合は、上述の手法を用いて不要なマクロブロック（不要マクロブロック）７０３を削除する（ステップＳ４４０３）。なお、高効率モードの映像が多重化される場合は、上記の判定条件に長期参照フレーム有のＩフレームが含まれているかどうかを追加することで対応可能である。
【０４０４】
なお、Ｓ４４０２の判定結果が否定的（Ｓ４４０２；Ｎｏ＝Ｉフレーム／ＩＤＲフレーム）の場合は、Ｓ４４０３をスキップする。
【０４０５】
次に、表示データ生成部４２２は、縮小映像データを縦横２倍に伸長（拡大）する（ステップＳ４４０４）。そして、表示データ生成部４２２は、各チャネルの色差分情報を追加し（ステップＳ４４０５）、処理を終了する。なお、色差分情報は、固定値もしくは輝度情報に基づいて生成する。
【０４０６】
なお、上述のように、例えば、特定の交差点で事故等が発生した場合、映像認識装置２５０は、中継装置２３０に、特定のカメラ２１０（例えば、カメラ１）を高精細モードに切り替えるよう指示を行う。このとき、中継装置２３０では、カメラ１を高精細モードにすると、使用帯域予測値が帯域使用量上限を超えると判断され、カメラ２、３，４からの映像データを多重化するものとする。このような場合の、事故発生前と発生後の映像表示装置４５０に表示される映像例を、図１９（ａ）および図１９（ｂ）に示す。
【０４０７】
図１９（ａ）は、事故発生前、すなわち、通常時の画面表示例８１０である。本図においては、カメラ１で取得した映像データから生成された表示データ（以下、単にカメラ１の表示データと呼ぶ。）８１１と、カメラ２の表示データ８１２と、カメラ３の表示データ８１３と、カメラ４の表示データ８１４とが、同じ画質で表示される。
【０４０８】
図１９（ｂ）は、事故発生後、カメラ１で高精細映像を取得し、カメラ２〜４の映像データが多重化して送信された場合の画面表示例８２０である。本図においては、カメラ１の表示データ８２１は、高精細映像として表示される。一方、カメラ２〜４の表示データ８２２〜８２４は、白黒（モノクロ）映像として表示される。
【０４０９】
以上説明したように、本実施形態の映像監視システム１００は、映像データを取得してネットワーク３００に送出するデータ送信側サブシステム２００と、ネットワーク３００から映像データを受信して出力するデータ受信側サブシステム４００とを有する。そして、データ送信側サブシステム２００は、映像データを取得する複数のカメラ２１０と、複数のカメラ２１０に接続され、各カメラ２１０で取得した映像データからネットワーク３００へ送出する送信データを生成してネットワーク３００へ出力する中継装置２３０と、を備える。中継装置２３０は、各カメラ２１０で取得した映像データをネットワーク３００に送出する際の消費帯域の予測値である消費帯域予測値を得る帯域予測値算出部２４３と、消費帯域予測値が予め定めた帯域使用上限以上である場合、映像データを多重化した多重化送信データを送信データとして生成する送信データ生成部２４２と、を備える。送信データ生成部２４２は、複数のカメラ２１０で取得した映像データそれぞれの輝度情報を、送信データの送信フォーマットの各色情報領域に配置することにより多重化送信データを生成する。データ受信側サブシステム４００は、ネットワーク３００から送信データを受信する受信部４２１と、受信した送信データから表示データを生成する表示データ生成部４２２と、を備える。表示データ生成部４２２は、多重化送信データを受信した場合、各色情報領域に配置されたカメラ２１０毎の輝度情報を分離し、それぞれ、表示データとする。
【０４１０】
このように、本実施形態によれば、帯域使用量が上限値を超える可能性がある場合、映像データを多重化して送信する。そして、この多重化は、既存のフォーマットをそのまま用い、多重化された各データの輝度情報は維持される。従来技術のような必要以上の画質劣化が懸念されるビットレート変動型の帯域制御とは異なり、監視に用いる画像の必要品質は安定的に維持されるものである。従って、本実施形態によれば、映像の特性によらず、簡易な構成で、画質を犠牲にすることなく、最適な転送量を維持できる。このため、安定したデータ転送を実現できる。
【０４１１】
本実施形態では、例えば、高精細モードへの移行指示を契機に、高精細モードに移行した場合の帯域使用量の予測値を算出し、上限値を超えるか否かを判別する。そして、超える場合、高精細モードへの移行対象のカメラ２１０以外のカメラ２１０の映像データを上記本実施形態の手法で多重化し、帯域使用量を上限値以内に納める。
【０４１２】
従って、本実施形態によれば、異常検出されたカメラ２１０の映像を高精細で確認できると共に、他の複数のカメラ２１０の映像については、画質劣化を最低限に抑えつつデータ転送量を低減できる。つまり、必要な映像帯域を重要なチャネルに与えて高精細映像を確認しつつ、他のチャネルについては画質低下を軽減し、帯域不足を抑制可能な映像監視システム１００を提供でき、ネットワーク３００の帯域をより効率的に使用できる。
【０４１３】
また、本実施形態では、上述のように、帯域使用量が上限値を超えるか否かを、エンコードモード変更時に判定する。従って、変化の少ない映像データ送信期間や、変化が多大な映像データ送信期間に判定が行われることがないため、極端な見積もりが成されることがない。
【０４１４】
さらに、本実施形態によれば、所定期間の映像のデータ量の推移を見て、背景画像を抽出している。すなわち、背景抽出処理の負荷が少なく、必要なリソースを抑えることができる。従って、スプライト符号化方式を効果的に実現できる。
【０４１５】
また、本実施形態によれば、Ｉフレームの生成タイミング調整機能を有する。そして、１つの中継装置２３０が送信対象とする複数のカメラ２１０毎に、Ｉフレームの生成タイミングが異なるよう設定している。従って、データ量の多いＩフレームが分散して送信されるため、時間当たりのデータ送信量を平準化でき、帯域資源を有効活用できる。
【０４１６】
このように、本実施形態によれば、映像の特性によらず、処理負荷を増加させることなく、効率的に必要十分な品質の映像を安定的に転送できる。
【０４１７】
特に、事故等の異常が発生している場所の映像は通常より高精細な映像が得られ、他の場所の映像は映像監視の目的から逸脱しない範囲で画質低下や映像遅延を抑えつつ、データ量を必要分だけ削減することができるため、多数の交通系監視カメラを有する映像監視システム１００に最適である。
【０４１８】
さらに、図１に例示するデータ送信側サブシステム２００における構成は、映像認識装置２５０をカメラ２１０や中継装置２３０から分離している。これにより、学習アルゴリズムの変更／修正を容易にし、学習および判定処理に必要なリソースを外部に委託するのに都合がよい。なお、判定（検出）時間に対しては、ＧＯＰ単位時間内で且つ、次のＩフレーム作成までの間に特定のカメラ２１０のモード切替えが実施可能な時間を残せるようなタイミングで、応答できることが望ましい。
【０４１９】
なお、上記実施形態では、交通系監視映像データを例にあげて説明したが、本実施形態の映像データは、これに限定されない。例えば、火山等の自然現象の状態監視、留守宅の監視等の映像データであってもよい。
【０４２０】
また、上記実施形態では、固定カメラを想定しているが、本実施形態の背景抽出方式は、首振りタイプのような可動型のカメラにも適用可能である。可動型カメラの場合は、カメラの位置（向き）が所定の位置（角度）になった時にＩフレームを生成するとよい。
【０４２１】
例えば１８０度の可動角で左右に往復するカメラの場合、カメラが静止する０°と１８０°の位置および、中間点は、カメラの移動速度および画角にもよるが、４５°、９０°、１３５°の位置でＩフレームを生成するようにする。
【０４２２】
このように構成することにより、同一角度において、固定カメラと同様の背景映像を得ることができ、判定は当該ポジション（角度）に到達する直前の複数のＰフレームのデータ量（背景状態の場合、動き補償による予測フレームとの差異が非常に小さい。）に基づいて行われる。但し、複数のポジションのフレーム情報を保持する必要があり、固定カメラの場合より多くのメモリリソースが必要となる。
【０４２３】
また、映像認識装置２５０による異常状態発生の判定結果は、同様に背景抽出に応用することも可能である。背景抽出方法としては、状態変化が生じないことからＰフレームのデータサイズが非常に小さくなる。このため、所定数のＰフレームのデータサイズもしくは、ＧＯＰ単位データサイズおよび当該ＧＯＰのＩフレームデータサイズとの比率等を判定条件としてもよい。
【０４２４】
加えて、Ｉフレーム映像の周波数分布や色の乱雑度等を判定するようにするとよい。これにより渋滞や信号待ち等で車が停止している状態の、背景との誤検出を抑止できる。
【０４２５】
これらにさらに機械学習による判定パラメータの重みづけの最適化や、統計的に作成された教師データ等との比較により、精度向上が可能である。
【０４２６】
また、本実施形態の背景抽出処理は、遅延の少ないカメラ２１０側で実施する。このような場合において、カメラ２１０の識別精度を向上させるための、フィードバックデータ（パラメータ、統計値）等を送信してもよい。
【０４２７】
本実施形態において、中継装置２３０、映像認識装置２５０およびデータ受信装置４１０は、一般的な計算機を想定しているが、これに限らず複数のＧＰＵを搭載した計算用途向きのハードウェアや、ＣＰＵに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用いた専用ハードウェア等により構成されてよく、さらにそれらを複数組み合わせて構成されてもよい。
【０４２８】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置いてもよい。
【０４２９】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０４３０】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【０４３１】
１００：映像監視システム、
２００：データ送信側サブシステム、
２１０：カメラ、２１０ａ：カメラ、２１０ｂ：カメラ、２１０ｃ：カメラ、２１１：ＣＰＵ、２１２：メモリ、２１３：内蔵記憶装置、２１４：通信インタフェース、２１５：光学モジュール、２１５ａ：光学系制御部、２１５ｂ：光学レンズ、２１５ｃ：撮像素子、２１５ｄ：映像符号化機構、２１５ｅ：フレームメモリ、２２１：光学モジュール制御部、２２２：映像符号化部、２２３：モード決定部、２２４：背景抽出部、２２５：統計情報処理部、
２３０：中継装置、２３１：ＣＰＵ、２３２：メモリ、２３３：内蔵記憶装置、２３４：通信インタフェース、２３５：グラフィック処理装置、２３６：拡張ボード、２３６ａ：ポート、２３６ｂ：アクセラレータ、２３６ｃ：メモリ、２４１：カメラ制御部、２４２：送信データ生成部、２４３：帯域予測値算出部、２４４：送信部、２４９：ヘッダ、２４９ａ：データ種別フラグ、２４９ｂ：処理方式フラグ、２４９ｃ：エンコード種別フラグ、２４９ｄ：カメラＩＤ、
２５０：映像認識装置、２５１：ＣＰＵ、２５２：メモリ、２５３：内蔵記憶装置、２５３ａ：学習エンジン、２５３ｂ：学習データベース、２５３ｃ：映像異常検出通知プログラム、２５４：外部通信インタフェース、２５５：グラフィック処理機構、
２７０：送信側記憶装置、
３００：ネットワーク、
４００：データ受信側サブシステム、４１０：データ受信装置、４１１：ＣＰＵ、４１２：メモリ、４１３：内蔵記憶装置、４１４：通信インタフェース、４１５：ＧＰＵ、４２１：受信部、４２２：表示データ生成部、４３０：受信側記憶装置、４５０：映像表示装置、４７０：ユーザ端末、
５１０：カメラ管理テーブル、５１１：カメラＩＤ、５１２：補足情報、５１３：映像出力モード、５１４：背景抽出タイムスタンプ、５１５：映像データサイズ、５１６：映像周波数、５１７：動き予測パラメータ、５１８：露出補正情報等、５１９：送信時刻、５２５：映像データサイズ、５２６：映像周波数、５２７：動き予測パラメータ、５２８：露出補正情報等、
５３０：映像関連情報設定テーブル、５３１：画面サイズ、５３２：ビットレート、５３３：ＧＯＰフレーム数、５３４：統計情報送信間隔、
５５０：モード制御関連情報設定テーブル、５５１：高効率モード移行条件、５５２：高効率モード解除条件、５５３：背景検出条件、５５４：長期参照フレーム有効期間、５５５：背景検出抑止期間、
６１０：帯域制御設定テーブル、６１１：帯域測定条件、６１２：帯域使用量上限、６１３：平均帯域使用量、
６３０：カメラグループ設定テーブル、６３１：カメラグループＩＤ、６３２：カメラグループポリシ、６３３：メンバ数、６３４：所属カメラＩＤリスト、６３５：エントリ、
６５０：チャネル管理テーブル、６５１：カメラＩＤ、６５２：補足情報、６５３：カメラグループＩＤ、６５４：グループ内優先順位、６５５：カメラモード、６５６：フレーム位置同期化指示フラグ、６５７：フレーム位置同期グループ、６５８：チャネルモード、６５９：多重化グループ、６６０：多重化時伝送シーケンス、６６１：映像データ保存指示フラグ、６６２：補完データ転送指示フラグ、６６３：エントリ、
７００Ａ：映像データ、７００Ｂ：映像データ、７００Ｃ：映像データ、７０１：マクロブロック、７０２：差分マクロブロック、７０３：不要マクロブロック、７１０Ａ：映像データ、７１０Ｂ：映像データ、７１０Ｃ：映像データ、７２０：多重化Ｐフレーム、７２１：マクロブロック和領域、７３０Ａ：映像情報、７３０Ｂ：映像情報、７３０Ｃ：映像情報、７４０Ａ：データ、７４０Ｂ：映像情報、７４０Ｃ：映像情報、７５０：多重化映像データ、７５０Ａ：映像情報、７５０Ｂ：映像情報、７５０Ｃ：映像情報、７６０Ａ：映像情報、７６０Ｂ：映像情報、７６０Ｃ：映像情報、７７０：Ｐフレーム、７７０Ａ：フレーム、７７０Ｂ：フレーム、７７０Ｃ：フレーム、７８０Ａ：映像、７８０Ｂ：映像、７８０Ｃ：映像、
８１１：表示データ、８１２：表示データ、８１３：表示データ、８１４：表示データ、８２１：高精細表示データ、８２２：モノクロ表示データ、８２３：モノクロ表示データ、８２４：モノクロ表示データ、
９１１：背景画像フレーム、９１２：差分映像
【図１】
2020136796.tif 000003
【図２】
2020136796.tif 000004
【図３】
2020136796.tif 000005
【図４】
2020136796.tif 000006
【図５】
2020136796.tif 000007
【図６】
2020136796.tif 000008
【図７】
2020136796.tif 000009
【図８】
2020136796.tif 000010
【図９】
2020136796.tif 000011
【図１０】
2020136796.tif 000012
【図１１】
2020136796.tif 000013
【図１２】
2020136796.tif 000014
【図１３】
2020136796.tif 000015
【図１４】
2020136796.tif 000016
【図１５】
2020136796.tif 000017
【図１６】
2020136796.tif 000018
【図１７】
2020136796.tif 000019
【図１８】
2020136796.tif 000020
【図１９】
2020136796.tif 000021