(57)【要約】【課題】  ネットワーク回線の回線帯域を保証しない回線では、通信する1111047964827_1.htmlやトラフィックが増えてくると、回線帯域が変動し、通信帯域の低下などが起こる。このため、一定の回線帯域を確保できずにパケットロスや遅延が発生し、画像の崩れを生じる。  本発明は、映像の種類に応じて、要求された映像に適した形式のコーデックを実現するエンコーダ及びコーデック方法並びにネットワーク伝送システムを提供する。【解決手段】  DSP を採用することにより、複数の形式のコーデック処理を同時に実行するマルチコーデックソフトウェアの最適化とベストエフォート回線の帯域状況を検出し、映像の配信レートを制御する適応シェーピング機能を行う。【選択図】  図５
2006262205.tif 000002
【特許請求の範囲】
【請求項１】
配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行することを特徴とするエンコーダ。
【請求項２】
配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行することを特徴とするコーデック方法。
【請求項３】
配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行することを特徴とするネットワーク伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク伝送システムに関わり、特に映像と音声のエンコーダ及びコーデック方法に関わる。
【背景技術】
【０００２】
従来、JPEG（ Joint Photographic Experts Group ）形式のコーデックの方法が開発されている。この JPEG 形式のコーデックを使用したエンコーダを小型化し、カメラに内蔵してネットワークカメラとして製品化がされている。また、JPEG 形式のコーデックを使用したエンコーダをユニットに組込んで、カメラに外付けするためWEB エンコーダとしても用いられている。
また、JPEG 形式のコーデックの他に、MPEG（ Moving Pictures Experts Group ）形式（例えば、MPEG-2 や MPEG-4 ）のコーデックを使用したエンコーダをネットワークカメラやWEB エンコーダに搭載した製品が用いられている（例えば、特許文献１参照。）。コーデックとは、圧縮と伸張をまとめて呼んだもの、あるいは、符号化（ coding ）と復号（ decode ）のことをいい、どのようにコーデックするかで、その形式がいくつか存在する。
【０００３】
【特許文献１】特開２００４−２９５８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来は、複数の形式のコーデックを映像の種類に応じて使い分け、映像の種類に適した形式のコーデックを行っていなかった。
本発明の目的は、映像の種類に応じて、要求された映像に適した形式のコーデックを実現するエンコーダ及びコーデック方法並びにネットワーク伝送システムを提供することにある。
本発明の他の目的は、複数の形式のコーデック処理を同時に実行するエンコーダ及びコーデック方法並びにネットワーク伝送システムであり、更に、伝送状態を検出し、最適な映像の配信レートを制御する配信方法及び配信システムを提供することにある。
更に、本発明の他の目的は、音声を同時に圧縮処理し、双方向音声通信が可能なエンコーダ及びコーデック方法並びにネットワーク伝送システムを提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明のエンコーダは、配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行する。
【０００６】
上記の目的を達成するため、本発明のコーデック方法は、配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行する。
上記の目的を達成するため、本発明のネットワーク伝送システムは、配信するデータの種類に応じて優先度を設け、優先度に応じて配信要求されたデータに適した形式のコーデックを実行する。
【発明の効果】
【０００７】
本発明により、複数の形式のコーデック処理を同時に実行するエンコーダ及びコーデック方法並びにネットワーク伝送システムを実現できた。そして更に、伝送状態を検出し、最適な映像の配信レートを制御する配信方法及び配信システムを実現した。
【発明を実施するための最良の形態】
【０００８】
複数の形式のコーデック処理を行うネットワークカメラや WEB エンコーダについて、JPEG 形式のコーデックと MPEG-4 形式のコーデックの両方の機能を備えたマルチコーデック形式のネットワークカメラやWEB エンコーダについて説明する。
マルチコーデックは、ネットワーク型監視システム向けとして、圧縮効率が高く動画像監視に適したMPEG-4 形式と静止画像記録に適した JPEG 形式の両方式による同時画像圧縮機能と音声符号化機能をリアルタイムで実現する WEB エンコーダ機能である。
【０００９】
JPEG 形式のコーデックや MPEG-4 形式のコーデックは、例えば、SH-4（ RISC プロセッサ）のソフトウェアにより実現が可能である。しかしその他、より処理能力の高い DSP（ Digital Signal Processor ）を採用することにより、MPEG-4 と JPEG の同時処理をリアルタイムで実現し、両方式に対応したWEB エンコーダをマルチコーデックボードによって実現する。
【００１０】
特に本発明は、DSP で複数の形式のコーデック処理を同時に実行するマルチコーデックソフトウェアの最適化とベストエフォート回線の帯域状況を検出し、映像の配信レートを制御する適応シェーピング機能を実現する。
【００１１】
高速ネットワークインフラの拡大やユビキタス社会の進展により、監視システム市場やセキュリティーシステム市場においてもネットワーク型システムへ移行が進んでいる。また、画像圧縮の形式として、JPEG 形式の他、更に圧縮効率が高く監視システムやセキュリティーシステムの動画像監視に適した MPEG-4 形式のニーズが高まってきた。
【００１２】
図１は、本発明の一実施例のネットワーク型監視システムの構成を示すブロック図である。11 はカメラ、12 はマイク・スピーカ部、14 は WEB エンコーダ、15 は記録装置、16 はネットワーク回線、17 は監視センタである。カメラ 11 は、例えば、ビデオカメラ、あるいは TV カメラ、等の２次元イメージセンサである。記録装置 15 は、例えば、DVD（ Digital Versatile Disc ）と HD（ Hard Disk ）を搭載したネットワークサーバである。ネットワーク回線 16 は、例えば、ADSL（ Asymmetric Digital Subscriber Line ）である。
【００１３】
カメラ 11 は道路等の視野範囲内を撮像して取得した映像を映像信号としてWEB エンコーダ 14 に出力する。マイク・スピーカ部 12 のマイクは、周囲の音を集音し、電気信号に変換して WEB エンコーダ 14 に出力する。WEB エンコーダ 14 は、カメラ 11 から入力された映像信号を複数の形式のコーデックの映像データに変換して出力する。また、マイク・スピーカ部 12 のマイクから入力された音の電気信号をネットワーク回線 16 に配信する形式の音データに変換して出力する。変換された複数のコーデック形式に変換された映像データとネットワーク回線16 に配信する形式に変換された音データは、記録装置 15 とネットワーク回線 16 とに出力される。記録装置 15 は、入力されたデータをそれぞれ蓄積する。
【００１４】
監視センタ 17 は、ネットワーク回線16 から映像データや音データを取込み、デコードして出力（映像再生や音再生）する機能を有し、所望のカメラやマイクからのデータを出力する端末を少なくとも１台持っている。
監視センタ 17 では、カメラが取得したライブ映像と音を再生するが、必要な時には、ネットワーク回線16 を介して WEB エンコーダ 14 に配信要求を出し、記録装置 15 から映像データや音データを取得することもできるし、ライブ映像や音を取得することもできる。また、マイク・スピーカ部 12 のスピーカは、ネットワーク回線16 から WEB エンコーダ 14 を介して入力された音の電気信号を音に変換して出力する。
また端末の表示画面を複数に分割して、複数のカメラからのライブ映像や記録装置からの映像を同時に複数出力するように切替えることもできる。
【００１５】
図１に示すように、例えば、道路監視におけるネットワーク型監視システムに必要な機能として、本発明の WEB エンコーダ及び WEB デコーダでは、動画で監視するモニタリング機能、定期的に道路状況を記録する機能、集音や拡声のための音声機能の３つが必要になる。これらの市場動向を踏まえ、動画像伝送に適した MPEG-4 形式、検索が容易など静止画像記録に適した JPEG 形式の両形式による同時画像圧縮機能と音声符号化（音声圧縮化）機能を搭載し、監視システムの主要機能である双方向音声通話機能や携帯電話への画像配信機能、各種カメラ制御やアラーム機能を全て搭載している。
【００１６】
本発明において、製品のシリーズ展開が可能となるコーデックボードのプラットフォーム化を実現するため、コーデックボードの基板の大きさを、例えば小型名刺サイズ（ 55 mm × 88 mm ）とした。更に、名刺サイズの基板に DSP（ Digital Signal Processor）を搭載し、ソフトウェアで同時圧縮処理を実現することで小型化した。
【００１７】
しかし、能力の限られた DSP で MPEG-4 、JPEG 、音声の同時圧縮処理をリアルタイムで実現するには、DSP の能力を効率的に利用可能とするソフトウェアの最適化が必要になる。
【００１８】
一方、ネットワーク型監視システムでは、インターネット、イントラネット、専用回線などのあらゆる IP（ Internet protocol ）ネットワーク回線で映像を配信する。しかし、ネットワーク回線の回線帯域を保証しないベストエフォート型の回線では、通信する
1111047964827_0.html
やトラフィックが増えてくると、回線帯域が変動し、通信帯域の低下などが起こる。このため、一定の回線帯域を確保できずにパケットロスや遅延が発生し、画像の崩れを生じる。そこで、パケットロスを検出し、変動する回線帯域に適応した配信データレートになるよう、ダイナミックに制御する適応シェーピング機能が必要になる。
【００１９】
図１において、WEB エンコーダ 14 は、カメラ 11 から入力されるアナログの映像信号と、マイク・スピーカ部 12 から入力される音声信号をデジタル信号に変換し、MPEG-4 、JPEG 、及び音声の圧縮処理（符号化処理）を同時に行う。そしてそれぞれの圧縮データ毎にネットワークプロトコルによるパケット化を行い、ネットワーク回線16 へ配信する。また、記録装置 15 に出力し、長時間の映像データや音声データを蓄積する。また更に、簡易保存用として、内蔵した電源がなくてもデータを保持できるリムーバルなメモリ（着脱可能なメモリ）への記録も可能である（後述する）。
【００２０】
また、図１の監視センタ 17 では、ネットワーク回線16 からインタフェースを介して WEB デコーダが接続され、ネットワーク回線 16 を介して配信された映像データと音声データを伸張し、モニタやスピーカに出力する。
モニタは配信された映像データの映像を表示し、スピーカは配信された音声データを音に変換して出力する。
即ち、WEB デコーダは、ネットワークから受信した各圧縮データ（複数の形式で圧縮された映像データそれぞれと圧縮された音声データ）を伸張し、デジタル信号からアナログの映像信号及び音声信号に変換する。
【００２１】
本発明のマルチコーデックは、次のような特長を有する。
（１）動画像監視と高精細画像記録を同時に実現する。
（２）音声双方向通話が可能である。
（３）回線帯域を保証しないベストエフォート回線でも受信画像のフリーズの発生やブロックノイズの発生を最小限に抑えることができる。
（４）回線障害時のバックアップとして、静止画記録が可能で電源がなくてもデータが保持できる着脱可能なメモリを装置内に装備し、簡易記録が可能である。
（５）外部アラームと定時取り込みによる画像の記録が可能である。
（６）携帯電話への静止画配信が可能である。
【００２２】
本発明の主な機器構成の一実施例を図１３に、本発明のネットワーク型監視システムの構成例を図２に示す。図１３は、本発明の主な機器構成の一実施例を説明するための図である。また、図２は、本発明のネットワーク型監視システムの一実施例の構成を示すブロック図である。
映像配信系（サイト側）210 には、WEB エンコーダ 214 がある。WEB エンコーダ 214 は、電動雲台カメラ 211が接続されている。また、電動雲台カメラ 211 の他、図示しないが、アナログカメラや記録装置等の映像配信装置が接続可能である。また、WEB エンコーダを内蔵したネットワークカメラでも良い。
【００２３】
またWEB エンコーダ 214 には、マイク、スピーカ、及びアンプ部を少なくとも備えるマイク・スピーカ部 212 が結合され、映像表示系 230 側のマイク・スピーカ部 233 と結合され、映像配信系 210 側と映像表示系 230 側とは、ネットワーク回線 220 を介して双方向の音声通話を行う。
また、ネットワーク回線220 には、携帯電話 222 を結合することができるので、映像配信系 210 側と映像表示系 230 側は随時携帯電話 222 とも通話をすることができ、かつ映像配信系 210 側からの映像情報を携帯電話 222 配信することができる。配信する映像情報は、例えば、静止画像であるが、伝送能力に応じて、コマ落としの動画像等も可能である。
【００２４】
映像表示系（監視側）230 には WEB デコーダ 232 とクライアント PC（ Personal Computer ）231 がある。WEB デコーダ 232 は、アナログの一般モニタでの表示や電源投入操作だけの簡単起動や常時モニタリングなどクライアント PC 231 より信頼性の要求される場合に用いる。クライアント PC 231 は監視画像をそれ自体のディスプレイに表示する。
【００２５】
本発明の WEB エンコーダ 214 の構成と基本処理の一実施例を図３によって説明する。図３は、本発明の WEB エンコーダの構成を示すブロック図である。
図３において、WEB エンコーダ 214 は、圧縮処理を行うマルチコーデックボードユニット 300 と、圧縮データをネットワーク回線220 へ配信するネットワーク配信ボードユニット 350 で構成される。
【００２６】
マルチコーデックボードユニット 300 は、アナログ映像入力部 310 、アナログ音声入出力部 320 、マルチコーデック処理部 330 、圧縮データメモリ 340 で構成される。
アナログ映像入力部 310 では、電動雲台カメラ 211 からのアナログ映像信号を受信し、LPF（ローパスフィルタ）とアンプを経由後、A/D 変換部でデジタル映像信号に変換し、変換されたデジタル映像信号はフレームメモリに格納される。
【００２７】
アナログ音声入出力部 320 は、マイク・スピーカ部 212 から出力されるアナログ音声信号をA/D 変換部でデジタル音声信号に変換し、マルチコーデック処理部 330 に出力する。また、ネットワーク回線 220 から受信した音声（双方向）にも対応する。
マルチコーデック処理部 330 では、画像取込み変換部でアナログ映像入力部 310 のフレームメモリからデジタル映像信号を読み出し、アナログ音声入出力部 320 からデジタル音声信号を受信し、MPEG-4 と JPEG 、及び音声信号の同時圧縮処理を行う。即ち、画像取込み変換部からの映像信号は MPEG-4 圧縮部と JPEG 圧縮部とでそれぞれ圧縮され、それぞれ、圧縮データメモリ 340 に出力される。また、音声信号は音声圧縮部で圧縮され、圧縮データメモリ 340 に出力される。
圧縮データメモリ 340 は、圧縮後の圧縮データを格納する。
【００２８】
ネットワーク配信ボードユニット 350 は、プロトコル処理部 351 とメモリ制御部 352 とで構成される。
プロトコル処理部 351 は、マルチコーデックボードユニット 300 の圧縮データメモリ 340 から各圧縮データを読み出し、ネットワークプロトコルによりネットワーク回線 220 に配信する。
メモリ制御部 352 は、センサーなどのアラーム信号等で JPEG を着脱可能なメモリ 353 に書込む処理を行う。
【００２９】
本発明の WEB エンコーダの一実施例の仕様を図１４に示す。以下、動画像伝送に適した MPEG-4 と、静止画像記録に適したJPEG の両形式による映像同時配信に関して、（１）ソフトウェアの最適化、及び（２）適応シェーピング機能の実現について説明する。
【００３０】
（１）ソフトウェアの最適化
WEB エンコーダの特長である MPEG-4 、JPEG 、音声の圧縮処理を同時実行するマルチスク処理の最適化を行う。
マルチコーデックボードユニット（以後、コーデックボードと称す）は、DSP のソフトウェア処理により映像及び音声の圧縮処理を行い、外部に接続したネットワーク配信ボードユニット（以後、配信ボードと称す）に圧縮データを出力する。
【００３１】
組み込み用途である DSP は PC で使用されるプロセッサに比べ、サイズが小さく、また使用部品点数を削減できるため機器内蔵に適しているが、処理能力が低くなる。
このような処理能力の低い DSP で効率よく複数の圧縮処理を実行するために、マルチコーデック用ソフトウェアのマルチタスク構成を用いる。その構成を図４によって説明する。図４は本発明のマルチタスク構成のコーデックボードのソフトウェア処理の一実施例の概要を説明するための模式図である。
【００３２】
各タスクを実行する優先順位のつけ方において、基本的なつけ方は、圧縮データ出力処理側の優先度を高くすることである。これにより、タスク間のバッファにデータが蓄積されること無く、遅延時間を最小にすることができる。また、各圧縮方式の優先度は高いものから、音声圧縮、JPEG 圧縮、MPEG-4 圧縮の順にする。音声の圧縮処理時間は、30 ミリ秒（ msec ）相当の音声データの処理に対し 1 msec 程度と、JPEG 圧縮や MPEG-4 圧縮等の画像圧縮処理に比べ短いので、最優先で処理を行う。また、JPEG 圧縮は記録に使用するため、画像のフレーム抜けが許されない。したがって、音声の次に優先度を高くする。通常は全ての圧縮処理は必要な時間内に完了するが、複雑な画像の入力が続き MPEG-4 形式の圧縮処理時間が増大して、DSP の処理時間が不足した場合は、MPEG-4 の圧縮処理は後回しにし、一時的なフレーム抜けを許容する。
更に、画像取り込み変換処理の優先度を、JPEG や MPEG-4 関係の処理よりも上げ、取り込む画像データが欠落しないようにする。
以上のような基本的な考えにより、最終的なタスク優先度を決定した。
【００３３】
以上が本発明のマルチタスク構成の一実施例であるが、MPEG-4 形式の圧縮処理時間の増大による処理量不足に対し対策した部分について更に詳細に述べる。
画像データ取り込み変換処理は、例えば、外部から 33 msec 間隔で入力される画像データ（ 30 fps ）を取り込む必要がある。しかし、入力画像の複雑さによる MPEG-4 圧縮処理時間の変動で、次の画像データ取り込み変換処理が開始できずに画像データが欠落することが発生する場合がある。
【００３４】
図１５に、実験により測定したタスク処理時間を取得し、画像データの複雑さとタスク処理時間の関係について表したものを示す。
図１５(a) は、道路監視画像と ITU-R 評価画像である Diva with Noise の処理時間との関係を表し、図１５(b) は道路監視画像、図１５(c) は ITU-R 評価画像を示す。
【００３５】
道路監視画像は、MPEG-4 形式と JPEG 形式の圧縮処理を同時に実行した場合、１フレーム期間の 33 msec 以内に処理が完了する。しかし、ITU-R 評価画像である Diva with Noise では、圧縮処理を同時に実行すると、33 msec 以内に処理が終わらない。このため、フレーム抜けが発生する。
【００３６】
この画像データ欠落について、その詳細を図５を用いて説明する。図５は、本発明の WEB エンコーダの一実施例の構成を示すブロック図である。
MPEG-4 と JPEG の処理タスクは、各々画像取り込み変換処理部と圧縮処理部が共通のタスクである。
MPEG-4 画像取り込み変換処理は、画像データを取り込み、画像サイズ変換などのフィルタ処理を実行する。また、MPEG-4 圧縮処理部は、画像データを圧縮し出力する。図５の割り込み処理・DMA 転送部の出力（ OUT ）は、Vsync 入力をトリガとする DMA 転送による画像データ転送である。この処理は、33 msec 周期の一定間隔で行われる。よって、DMA 転送が行われてから 33 msec 以内に画像データを読み出さないと、次の画像データで上書きされてしまう。
【００３７】
MPEG-4 画像取り込み変換処理部と MPEG-4 圧縮処理部は同一タスクであるので、２つはシーケンシャルに実行される。このため、圧縮処理時間が増加すると画像データの取り込みができず、フレーム抜けになる問題がある。
また、JPEG 処理タスクも上記の MPEG-4 処理タスクと同様の構成である。
ここで、処理時間の内訳は、例えば、図１６に示すようになる。
【００３８】
図１６に示すように、MPEG-4 と JPEG の画像取り込み変換処理は、画像の複雑さによらず一定である。MPEG-4 と JPEG で画像取り込み変換処理時間に違いがあるのは、図１４の WEB エンコーダの仕様にあるように、MPEG-4 と JPEGで画像サイズが異なり、処理内容に違いがあるためである。
よって、フレーム抜けが発生するのは、画像取り込み変換処理が 33 msec の一定周期で実行できないためであり、原因は MPEG-4 圧縮処理時間が画像の複雑さにより増加するためである。一方、画像取り込み変換処理時間は画像の複雑さに影響されない。
【００３９】
MPEG-4 圧縮処理時間の増加で他の圧縮処理時間が不足し、JPEG のフレーム抜けが発生するときの動作を、図６のタイムチャートで説明する。横軸は、時刻の経過を示す。
(a) は、Vsync 信号が入力されるタイミングを示す図で、描かれている下矢印は、Vsync 信号の Vsync A 、Vsync B 、Vsync C 、Vsync D 、Vsync E が入力されるタイミングを示す。(b) は、フレームメモリ画像が格納されているタイミングを示す図で、枠で囲ったところがそれぞれ、Vsync 信号の Vsync A 、Vsync B 、Vsync C 、Vsync D 、Vsync E のトリガーによって、フレームメモリ画像 MA 、MB 、MC 、MD 、ME をそれぞれ格納している部分である。(c) は、MPEG-4 処理タスクが実行されているタイミングを示す図で、枠で囲った MPA 、MPB 、MPC 、MPD のところがそれぞれ、対応するフレームメモリ画像 MA 、MB 、MC 、MD を MPEG-4 形式のコーデックを実行しているタイミング部分である。(d) は、JPEG 処理タスクが実行されているタイミングを示す図で、枠で囲った JPB 、JPC のところがそれぞれ、対応するフレームメモリ画像 MB 、MC を JPEG 形式のコーデックを実行しているタイミング部分である。
【００４０】
図５と図６において、Vsync B が入力され、画像データがフレームメモリ画像に 画像データ MB として格納される。それによりMPEG-4 処理タスク MPB が実行される。ここで、次は JPEG 処理タスクが実行されるのだが、フレームメモリ画像 MB の画像が複雑で MPEG-4 処理タスク MPB の処理時間が増加すると、JPEG 処理タスク中にフレームメモリの画像データ MB が、画像データ MC に上書きされ、フレームメモリ画像 MB の JPEG 圧縮処理ができない。このため、JPEG のフレーム抜けが発生する。
【００４１】
そこで、画像データ取り込み処理を優先度の高いタスクとして独立させる。また、Vsync 入力間隔である 33 msec の一定間隔の画像取り込み変換処理と、処理時間が変動する圧縮処理をキューで接続する。この画像取り込み変換処理を独立させたタスク構成図を図７に示す。
【００４２】
図７は、本発明の他の実施例の画像取り込み変換処理を独立させたタスク構成を示す図である。
図７に示すように、画像取り込み変換処理を１つのタスクとして独立させることで圧縮処理による時間変動を吸収しフレーム抜けを防止できる。
また、変動時間を吸収するためのキューを画像取り込み変換処理と圧縮処理の間に置くことで、画像取り込み変換処理により画像サイズが変更された 320 × 240 画素などの縮小画像を格納する際のメモリ使用効率を向上させた。
このように、タスクの切り換えを Vsync をトリガとし、画像取り込み変換処理を 33 msec 間隔で実行することで、フレーム抜けを防止する。
【００４３】
更に、タスク処理の切り換えについて最適化を行う実施例を説明する。
JPEG は、記録用でフレーム抜けが許されない。一方、動画像監視に用いる MPEG-4 は、高フレームレートのため、一時的なフレーム抜けが発生しても監視対象の把握に影響が少ない。そこで、JPEG 圧縮処理のタスク優先度をMPEG-4 より高くし、MPEG-4 圧縮処理中でも画像データ入力時にタスクを切り替え実行することにより、JPEG のフレーム抜けを防止した。
【００４４】
その動作を、JPEG と MPEG-4 について、図８のタイムチャートで説明する。図８は、画像データ入力時のタスク切り替えによる動作を説明するための図である。横軸は、時刻の経過を示す。
(a) は、Vsync 信号が入力されるタイミングを示す図で、描かれている下矢印は、Vsync 信号の Vsync A 、Vsync B 、Vsync C 、Vsync D 、Vsync E が入力されるタイミングを示す。(b) は、フレームメモリ画像が格納されているタイミングを示す図で、枠で囲ったところがそれぞれ、Vsync 信号の Vsync A 、Vsync B 、Vsync C 、Vsync D 、Vsync E のトリガーによって、フレームメモリ画像 MA 、MB 、MC 、MD 、ME をそれぞれ格納している部分である。(c) は、JPEG 画像の取り込み処理が実行されているタイミングを示す図で、枠で囲った JWA のところが、対応するフレームメモリ画像 MA を取り込んでいる。(d) は、MPEG-4 画像の取り込み処理が実行されているタイミングを示す図で、枠で囲った MWA 、MWB 、MWC 、MWD のところが、対応するフレームメモリ画像 MA 、MB 、MC 、MD を取り込んでいる。
(e) は、JPEG 処理タスクが実行されているタイミングを示す図で、枠で囲った JDA のところが、対応するフレームメモリ画像 MA を JPEG 形式のコーデックを実行しているタイミング部分である。(f) は、MPEG-4 処理タスクが実行されているタイミングを示す図で、枠で囲った MDA 、MDB 、MDC 、MDD のところがそれぞれ、対応するフレームメモリ画像 MA 、MB 、MC 、MD を MPEG-4 形式のコーデックを実行しているタイミング部分である。
【００４５】
図７と図８において、フレームメモリ画像 MA に対する JPEG 画像データ取り込み変換処理 JWA と MPEG-4 画像データ取り込み変換処理 MWA を実行後、優先度が高い JPEG 圧縮処理 JDA を実行する、次に、MPEG-4 圧縮処理 MDA を実行する。
【００４６】
図５、図６と同様に、この時に入力された画像が複雑で MPEG-4 の圧縮処理時間が増加したとする。フレームメモリ画像 MB が画像取り込み変換処理部に入力されると、全ての処理を中断し、タスク切り替えにより優先順位が高い処理を実行する。
この場合、MPEG-4 画像取り込み変換処理 MWB の優先順位が高いので、MPEG-4 圧縮処理 MDA は中断され、フレームメモリ画像 MB に対する画像取り込み変換処理 MWB が実行される。その後、残りの時間で MPEG-4 圧縮処理 MDA の続きが行われる。取り込んだ画像データはキューに格納され、MPEG-4 圧縮処理 MDA が終了後、フレームメモリ画像 MB の圧縮処理が実行される。
【００４７】
このように、タスクの切り換えを Vsync によるフレームメモリ画像の入力をトリガとし、画像取り込み変換処理を 33 msec 間隔で実行、かつ JPEG の処理を優先的に実行することで JPEG 画像のフレーム抜けを防止することができる。
【００４８】
本発明のマルチコーデックの仕様に従った設定における各タスクの処理時間の一実施例を図１７に示す。入力画像は、MPEG-4 の圧縮処理時間が極端に増大する複雑な画像である「Diva with Noise」を選んだ。１秒あたりの合計処理時間は 884.7 msec で、処理時間の余裕度は 12 ％である。
【００４９】
次に、（２）適応シェーピング機能の実現
適応シェーピング機能の実現とは、ネットワーク回線帯域の変動に適応した映像配信及び配信レートの制御を行うことである。
【００５０】
WEB エンコーダは、インターネット、イントラネット、専用回線などのあらゆる IP ネットワーク回線で映像（画像）を配信することが可能である。しかし、ストリーム（圧縮データ）配信を行った場合、WEB デコーダ側で画像のフレーム抜けが生じることがある。これは、MPEG-4 圧縮データのストリームは、各フレーム毎の圧縮データ量が変動し、平均レートは回線帯域内であっても、時間方向でバースト的にデータ量が大きく変動するため、回線帯域を一時的にオーバーする。
【００５１】
このデータのバースト性は、平均レートが回線帯域内であっても、データ量が大きくなったときに回線帯域を超えてしまうことがある。そのため、ストリームデータを伝送しきれず、UDP パケットでは、パケットロスの原因になり、デコーダでは表示画像の崩れとなる。
この対策として、本発明では、図９に示すような一般にシェーピングと呼ばれる伝送方法を使用する。図９は、本発明のシェーピングによるストリーム伝送の一実施例を説明するための図である。
【００５２】
図９に示すように、シェーピングは、バースト的なデータのパケット出力間隔を調整することで、時間軸方向で一定にし、回線でのパケットロスを防ぐ方法である。しかし、シェーピングの課題として、インターネットやイントラネットといった回線帯域が変動するベストエフォート型の回線では、平均レートが保証される回線帯域内であっても、一時的に回線帯域が伝送すべきデータ量を下回ることがありパケットロスが発生する。よってベストエフォート回線で使用する場合、シェーピングを行ってもパケットロスによる画像崩れが発生する。
そこで、本発明では、適応シェーピングを行う。この適応シェーピング機能は、ベストエフォート回線の帯域状況を検出し、ダイナミックに映像の配信レートを制御する機能である。本発明の適応シェーピング機能の一実施例の概要について図１０を用いて説明する。
【００５３】
図１０は、本発明の適応シェーピング機能の一実施例の概要を説明するための図である。
T2 秒間に１つのパケットしか通過できない状態のベストエフォート回線に対し、WEB エンコーダが T1 秒（ T1 ＝ T2 ÷ 2 ）間隔でパケットを配信した場合、配信したパケットの半分のパケットが回線内で破棄され、WEB デコーダへ到着する。
そこで、WEB デコーダは、受信パケットがパケット毎に付けられたシーケンス番号に従い、到着していないパケットがあるか無いかを検出する。
【００５４】
到着していないパケットを検出した場合、WEB デコーダは、WEB エンコーダへパケットロス情報を通知する。これにより、WEB エンコーダは、WEB デコーダへ送ったパケットが正しく届いていないことを検出できる。WEB エンコーダは、その情報をもとにパケットの配信間隔を T1 秒から T2 秒に調整することで、WEB デコーダは配信された全てのパケットを受信することができる。
【００５５】
次にパケット配信間隔の調整方法について、図１１を用いて説明する。
図１１は、本発明のパケット配信間隔の調整方法による MPEG-4 ストリームの一実施例の状態を説明するための図である。
図１１では、WEB エンコーダはエンコード処理後、ストリームをリングバッファに順次書込む。リングバッファが一周すると順次古いストリームは上書きされる。
【００５６】
書き込み単位は、MPEG-4 ストリームの VOP（ Video Object Plane）単位である。VOP とは、MPEG-4 ストリームで１フレーム画像を表しており、基準画像 I−VOP（ Intra - Video Object Plane ）と差分画像 P-VOP（ Predictive - Video Object Plane ）の２種類がある。基準画像 I-VOP は、このデータだけで１フレームの画像をデコードすることができる。また、差分画像 P-VOP は、前回画像の情報との差分データであり、このデータだけでは正しくデコードできない。
【００５７】
図１１は、MPEG-4 ストリームを表しており、１つの正方形が１つのフレームを表している。I と書かれている正方形がI-VOP 、P と書かれている正方形が P-VOP を表している。
奥から手前へと時間軸が進んでおり、一番手前が一番新しいフレームとなる。図１１中の点線のフレームは、ロストフレームを表している。このロストフレーム以降の P-VOP 差分データから正常にデコードできず崩れた画像になり、次の I-VOP までのフレーム全てが正しく表示できない。
【００５８】
しかし、I-VOP 直前の P-VOP は、ロストフレームとなっても他のフレームに影響を及ばさない。この特徴を利用して、回線帯域の変動で送りきれなかったデータを廃棄する時、I-VOP 直前のフレームから順に破棄することで、崩れた画像の配信を防いでいる。
このように、WEB エンコーダでは、回線帯域の変動に適応した配信データレートに制御する適応シェーピングを行い、パケットロスが発生した後、WEB デコーダ受信映像の画像崩れを最小限に抑えることができる。
【００５９】
本発明による WEB エンコーダと WEB デコーダの外観の一実施例を図１２に示す。名刺サイズのマルチコーデックボードが、WEB エンコーダ、WEB デコーダそれぞれに実装されている。
【００６０】
以上述べたように、本発明によれば、ソフトウェアの最適化により、処理能力の限られた DSP で効率的な MPEG-4 、JPEG 、及び音声の同時圧縮処理をリアルタイムで実行するマルチコーデックと適応シェーピング機能を実現し、これにより、回線帯域が変動するベストエフォート回線でも、画像の崩れを最小限に抑える映像配信が可能となる。
【００６１】
上記実施例では、 MPEG-4 、JPEG 、及び音声のコーデックについてのべた。しかし、圧縮の形式やその数、ならびにそれらの組み合わせは、上記実施例に限らない。更に、上記システムにおいて、暗号化、マルチストリーム配信、または画像認識機能の少なくとも１つを組み合わせたソフトウェアコーデックや、更に高効率な H．264 コーデックを採用しても良い。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施例のネットワーク型監視システムの構成を示すブロック図。
【図２】本発明のネットワーク型監視システムの一実施例の構成を示すブロック図。
【図３】本発明の WEB エンコーダの一実施例の構成を示すブロック図。
【図４】本発明のマルチタスク構成のコーデックボードのソフトウェア処理の一実施例の概要を説明するための模式図。
【図５】本発明の WEB エンコーダの一実施例の構成を示すブロック図。
【図６】本発明の一実施例を説明するためのタイムチャート。
【図７】本発明の WEB エンコーダの一実施例の構成を示すブロック図。
【図８】本発明の一実施例を説明するためのタイムチャート。
【図９】本発明のシェーピングによるストリーム伝送の一実施例を説明するための図。
【図１０】本発明の適応シェーピング機能の一実施例の概要を説明するための図。
【図１１】本発明のパケット配信間隔の調整方法による MPEG-4 ストリームの一実施例の状態を説明するための図。
【図１２】本発明による WEB エンコーダと WEB デコーダの外観の一実施例を示す図。
【図１３】本発明の主な機器構成の一実施例を説明するための図。
【図１４】本発明の WEB エンコーダの一実施例の仕様を示す図。
【図１５】画像データの複雑さとタスク処理時間の関係について説明するための図。
【図１６】画像データの複雑さとタスク処理時間の関係について説明するための図。
【図１７】本発明のマルチコーデックの仕様に従った設定における各タスクの処理時間の一実施例を示す図。
【符号の説明】
【００６３】
11：はカメラ、  12：マイク・スピーカ部、  14：WEB エンコーダ、  15：記録装置、  16：ネットワーク回線、  17：監視センタ、  210：映像配信系、  211：電動雲台カメラ、  212：マイク・スピーカ部、  214：WEBエンコーダ、  215：着脱可能なメモリ、  220：ネットワーク回線、  221：ブロードバンドネットワーク、  222：携帯電話、  230：映像表示系、  231：クライアントPC、  232：WEBデコーダ、  233：マイク・スピーカ部、  236：モニタ、  300：マルチコーデックボードユニット、  310：アナログ映像入力部、  320：アナログ音声入出力部、  330：マルチコーデック処理部、  340：圧縮データメモリ、  350：ネットワーク配信ボードユニット、  351：プロトコル処理部、  352：メモリ制御部。
【図１】
2006262205.tif 000003
【図２】
2006262205.tif 000004
【図３】
2006262205.tif 000005
【図４】
2006262205.tif 000006
【図５】
2006262205.tif 000007
【図６】
2006262205.tif 000008
【図７】
2006262205.tif 000009
【図８】
2006262205.tif 000010
【図９】
2006262205.tif 000011
【図１０】
2006262205.tif 000012
【図１１】
2006262205.tif 000013
【図１２】
2006262205.tif 000014
【図１３】
2006262205.tif 000015
【図１４】
2006262205.tif 000016
【図１５】
2006262205.tif 000017
【図１６】
2006262205.tif 000018
【図１７】
2006262205.tif 000019