(57)【要約】画像及び音声符号化データをＴＣＰ及びＵＤＰ伝送をするＩＰ画像伝送装置において、蓄積媒体と、第１メモリと、第１バスと、第２バスと、画像及び音声データを符号化データに符号化して、第１バスに出力する符号化部と、第１バスに出力された符号化データを第２バスを通して第１メモリに書き込む符号化データ転送部と、第１バスに出力された符号化データを前記第１バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、蓄積媒体に書き込まれた蓄積データを第１バスを通して読み出し、第２バスを通して第１メモリに書き込み制御する蓄積データ読出制御部とを具備して構成する。
2004093445.tif 000002
【特許請求の範囲】
【請求項１】
符号化データをＴＣＰ及びＵＤＰ伝送をするＩＰ画像伝送装置であって、
蓄積媒体と、
第１メモリと、
第１バスと、
第２バスと、
画像や音声データを符号化データに符号化して、前記第１バスに出力する符号化部と、
前記第１バスに出力された符号化データを前記第２バスを通して前記第１メモリに書き込む符号化データ転送部と、
前記第１バスに出力された符号化データを前記第１バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、
前記蓄積媒体に書き込まれた蓄積データを前記第１バスを通して読み出し、前記第２バスを通して前記第１メモリに書き込み制御する蓄積データ読出制御部と、
を具備したことを特徴とするＩＰ画像伝送装置。
【請求項２】
第２メモリを具備し、前記符号化データ転送部は前記第１バスに出力された符号化データを前記第２メモリに書き込み、当該第２メモリに書き込んだ符号化データを読み出し、前記第２バスを通して前記第１メモリに書き込むことを特徴とする請求項１記載のＩＰ画像伝送装置。
【請求項３】
前記蓄積データ読出制御部は、前記第１バスを通して読み出した前記蓄積データを前記第２メモリに書き込み、当該第２メモリに書き込んだ符号化データを読み出し、前記第２バスを通して前記第１メモリに書き込むことを特徴とする請求項２記載のＩＰ画像伝送装置。
【請求項４】
前記蓄積媒体への前記蓄積データの前記第１バスを通した書き込み及び前記蓄積媒体からの前記蓄積データの前記第１バスを通した読み出しと、前記第１メモリへの符号化データの前記泰２バスを通した書き込み及び前記第１メモリからの前記第２バスを通した読み出しとを並列的に処理するように制御するシーケンス制御部を具備したことを特徴とする請求項１記載のＩＰ画像伝送装置。
【請求項５】
単位時間に処理すべき符号化データが前記第１メモリに書き込まれた直後に当該符号化データを前記第１メモリより前記第２バスを通して読出し、当該符号化データをＵＤＰパケット化し、当該ＵＤＰパケットを前記第２バスを通して前記第１メモリに書き込み及び当該ＵＤＰパケットを前記第１メモリより読み出してＵＤＰデータを送出する処理を順次行うＵＤＰ処理部を具備したことを特徴とする請求項２記載のＩＰ画像伝送装置。
【請求項６】
前記蓄積データ読出制御部は、前記ＵＤＰデータを送出してから一定時間経過後に前記第２メモリから蓄積データを読み出して、前記第１メモリに書き込みを行い、単位時間に処理すべき蓄積データが前記第１メモリに書き込まれた直後に当該蓄積データを前記第１メモリより前記第２バスを通して読出し、当該符号化データをＴＣＰパケット化し、当該ＴＣＰパケットを前記第２バスを通して前記第１メモリに書き込み及び当該ＴＣＰパケットを前記第１メモリより読み出してＴＣＰデータを送出する処理を順次行うＴＣＰ処理部を具備したことを特徴とする請求項５記載のＩＰ画像伝送装置。
【請求項７】
前記蓄積データ書込制御部は、前記第１バスに出力された符号化データをレジスタに格納し、前記第１バスのバスサイクルだけバスを獲得した後、前記第１バスを開放し、前記蓄積媒体への前記符号化データの書き込みが終了すると、前記レジスタに格納されている次の符号化データを前記第１バスを通して前記蓄積媒体へ書き込み制御を行い、前記符号化部は、前記蓄積データ書込制御部が前記第１バスを開放したとき、次の符号化データを前記第１バスへ出力することを特徴とする請求項１記載のＩＰ画像伝送装置。
【発明の詳細な説明】
【技術分野】  本発明は、ＩＰネットワークを利用して画像配信を行う画像伝送装置（ＩＰ画像伝送装置）に関するものであり、特に、ライブ配信機能（ＵＤＰ伝送）とサーバ蓄積機能（ＴＣＰ伝送）の実現に必要となるデータバス方式に関するものである。
【背景技術】  ＩＰ画像伝送装置では、ＵＤＰ伝送により画像及び音声符号化データを伝送してライブ配信を行い、ＴＣＰ伝送により画像及び音声符号化データをサーバに蓄積している。図７はＩＰ画像伝送システムの構成図である。図７に示すように、ＩＰ画像伝送装置１０は、カメラ１２により撮像された画像及びカメラ１２に内蔵されたマイクロフォンにより録音された音声データを符号化し、図７中の（２）に示すようにＵＤＰ伝送により、ＩＰネットワーク２０を通して、ＩＰ画像伝送装置３０に送信する。ＩＰ画像伝送装置３０は、ＵＤＰ伝送された符号化データを画像及び音声データに復号化してＴＶモニタ３２に出力する。一方、ＩＰ画像伝送装置１０は、符号化データをＩＰ画像伝送装置内蓄積媒体１４に一旦蓄積してから、この蓄積された符号化データをＴＣＰ伝送により、ＩＰネットワーク２０を通して、蓄積サーバ４０に送信する。蓄積サーバ４０は、蓄積データをサーバ内ＨＤＤ４２に蓄積する。
ライブ配信機能は、リアルタイム且つ低遅延なライブ配信機能をＩＰネットワーク上で実現させるため再送処理の行わないＵＤＰを用いてリアルタイム性を優先したデータ伝送を行っている。ライブ配信データの伝送処理は、各符号化方式による符号化データを一定以上の伝送速度で送信する必要がある。即ち、ある伝送速度でリアルタイム性を実現するためには、送信処理を一定時間内に終える必要がある。その一定時間の最小単位は、ひとつのＵＤＰパケット送信処理にかかる時間（ライブ配信最小単位時間）である。ここで、ライブ配信最小時間Ｔｌｉｖｅは次式（１）で表される。
ＴＬｉｖｅ＝（符号化レート［ｂｐｓ］）／（８×ＵＤＰパケットサイズ［ｂｙｔｅ］）
・・・（１）
ここで、符号化レートとは、画像や音声データを符号化するビットレートをいう。サーバ蓄積機能は、フレーム落ちのないデータをサーバに蓄積するため、蓄積データの転送には再送処理を含むＴＣＰによる信頼性を優先したデータ伝送を行っている。従って、ＩＰネットワーク上でライブ配信機能とサーバ蓄積機能を同時に実現するにはライブ配信最小単位時間内に両方の処理が終了することが最低条件である。
図８はＩＰ画像伝送装置における符号化データ転送時間配分を示す図である。図８に示すように、ライブ配信最小時間Ｔｌｉｖｅ内に符号化データＵＤＰ配信処理を行い、サーバ蓄積機能のＴＣＰ送信処理は、ＵＤＰ配信処理以外の空き時間を使って行われる。これは、ＵＤＰ配信処理、ＴＣＰ送信処理は、１個のＣＰＵ上のプロセスが動作することにより行われるからである。サーバ蓄積機能では、ＴＣＰパケットの再送処理を伴うことがあるため、符号化データは蓄積媒体に一旦蓄積してからＴＣＰパケットを送信している。しかし、この空き時間内にＵＤＰ配信処理と同じ量のデータを転送できなければ、蓄積媒体への書き込み速度よりも読み出し速度が遅くなりいずれＩＰ画像伝送装置内の蓄積媒体はオーバフローを起こし、サーバ蓄積機能は破綻してしまう。従って、上述したように、ライブ配信機能とサーバ蓄積機能を実現させるためには、ライブ配信とサーバ蓄積のための処理が単位時間内にＩＰ画像伝送装置内で処理されなければならないことが分かる。
図９は従来のＩＰ画像伝送装置ブロック図である。図９に示すように、ＩＰ画像伝送装置は、オーディオＡ／Ｄコンバータ５０、ビデオＡ／Ｄコンバータ５２、画像／音声符号化デバイス５４、蓄積媒体５６、メモリ５８、メインＣＰＵ６０、ネットワーク制御デバイス６２、ネットワークＩ／Ｆ６４及びＣＰＵバス６６により構成される。メインＣＰＵ６０は、リアルタイムＯＳ７０、符号化ＬＳＩ制御プロセス７２、蓄積制御プロセス７４、ＩＰパケット処理プロセス７６、ネットワーク送信処理プロセス７８、ｈｔｔｐサーバ処理プロセス８０及び装置全体制御プロセス８２が実行される。
図１０は従来のＩＰ画像伝送装置内のデータの流れを示す図である。ＩＰ画像伝送装置では、図１０に示す９本のストリームデータが以下のようにしてリアルタイムに転送される。
（１）符号化データ転送
符号化ＬＳＩ制御プロセス７２はオーディオＡ／Ｄコンバータ５０によりアナログ／ディジタル変換された音声データ及びビデオＡ／Ｄコンバータ５２によりアナログ／ディジタル変換された画像データが画像／音声符号化デバイス５４により符号化された符号化データをメモリ５８にＣＰＵバス６６を通して転送する。
（２）符号化データ読出
ＩＰパケット処理プロセス７６はメモリ５８の符号化データをＣＰＵバス６６を通して読み出す。
（３）ＵＤＰパケット化データ書込
ＩＰパケット処理プロセス７６は符号化データをＵＤＰパケット化してＣＰＵバス６６を通してメモリ５８に書き込む。
（４）ＵＤＰデータ送出
ネットワーク送信処理プロセス７８はメモリ５８からＵＤＰパケットをＣＰＵバス６６を通して読み出し、ネットワーク制御デバイス６２及びネットワークＩ／Ｆ６４を通してＩＰネットワークへＵＤＰ伝送をする。
（５）蓄積データ書込
蓄積制御プロセス７４はメモリ５８からＣＰＵバス５６を通して符号化データを読み出し、蓄積媒体５６へ転送する。
（６）蓄積データ読出
蓄積制御プロセス７４は蓄積媒体５６から符号化データをＣＰＵバス２５６を通して読み出し、メモリ５８へ転送する。
（７）符号化データ読込
ＩＰパケット処理プロセス７６はメモリ５８から符号化データ（蓄積データ）をＣＰＵバス６６を通して読み出す。
（８）ＴＣＰパケット化データ書込
ＩＰパケット処理プロセス７６は蓄積データをＴＣＰパケット化して、ＣＰＵバス６６を通してメモリ５８に書き込む。
（９）ＴＣＰデータ送出
ネットワーク送信処理プロセス７８はメモリ５８からＣＰＵバス６６を通してＴＣＰパケットを読み出し、ネットワーク制御デバイス６２及びネットワークＩ／Ｆ６４を通してＩＰネットワークへＴＣＰ伝送をする。
図１１は従来のＩＰ画像伝送装置内の符号化データ転送処理時間配分を示す図であり、ライブ配信最小時間単位における、画像／音声符号化デバイス５４、蓄積媒体５６、ＣＰＵ６０−メモリ５８間、ネットワーク制御デバイス６２での各処理時間を示している。図１１に示すように、符号化データ転送（１）、符号化データ読出（２）、ＵＤＰパケット化データ書込（３）、ＵＤＰデータ送出（４）までのＵＤＰ配信処理が行われてから、蓄積データ書込（５）、蓄積データ読出（６）、符号化データ書込（７）、ＴＣＰパケット化データ書込（８）、ＴＣＰデータ送出（９）までのＴＣＰ送信処理が行われる。ここで、蓄積データ書込（５）及び蓄積データ読出（６）の処理時間が他と比べて長くなっているのは、蓄積媒体５６のアクセス速度がＣＰＵ６０、メモリ５８の処理速度（アクセス速度）に比べて低速であることによる。ライブ配信最小単位時間内のＵＤＰ配信処理、ＴＣＰ送信処理を除く時間にサーバとの通信処理、装置全体制御処理等のその他の処理（１０）が行われる。
ライブ配信の画像や音声の品質向上のために符号化レートを大きくすることへのニーズがある。図１１に示す符号化レートでは、ライブ配信最小単位時間内で（１）〜（１０）の処理を行うと残余の時間が無い場合を示している。ここで、符号化レートを図１１に示す符号化レートの１．５倍にしたときの符号化データ転送処理時間配分について考える。
図１２は符号化レートを１．５倍にしたときのＩＰ画像伝送装置内の符号化データ転送処理時間配分を示す図である。図１２では、図９中の各構成要素を変更しない場合を示している。符号化レートを１．５倍にすることは、図１１と同じライブ配信処理単位時間に処理するべきデータ量が１．５倍に増加することを意味する。よって、図１２中の破線で示すように、符号化データ転送（１）〜ＵＤＰデータ送出（４）までのＵＤＰ配信処理時間及び蓄積データ書込（５）〜ＴＣＰデータ送出（９）までのＴＣＰ送信処理時間がそれぞれ１．５倍となる。ところが、図１１に示したように、ライブ配信最小時間における符号化データ転送処理時間配分に余裕がない場合には、当該ライブ配信最小時間内に上記（１）〜（９）の処理が終了せずに、例えば、図１２に示すように蓄積データ読出（６）迄で最小時間単位を使い切ってしまい、残り３つの処理ができない。即ち、符号化レートを１．５倍に引き上げるとサーバ蓄積機能は実現できないことになる。ここで、符号化レートを大きくしたときの処理を高速化してＣＰＵバスの転送速度を高速にすることが考えられる。ここでは、符号化レートを１．５倍にしたときのＣＰＵバスの転送速度を２倍にした場合を例に説明する。
図１３は符号化レートを１．５倍、ＣＰＵバスの転送速度を２倍にしたときのＩＰ画像伝送装置内の符号化データ転送処理時間配分を示す図である。図１３中の（１）〜（９）の処理における実線及び破線はＣＰＵバス６６の転送速度を２倍にしたときの、図１１に示した符号化レートでの処理時間及び符号化レートが１．５倍での処理時間を示している。図１３に示すように、ＣＰＵ６０−メモリ５８間の処理だけが速くなるが、蓄積媒体５６ではデバイスそのものが遅いため、蓄積データ書込（５）、蓄積データ読出（６）の時間が図１２と比較して変化しない。そのため、例えば、蓄積データ読出（７）途中で最小時間単位を使い切ってしまい残り２つの処理ができない。即ち、ＣＰＵバスの転送速度を２倍にしても、符号化レートを１．５倍に引き上げるとサーバ蓄積機能は実現できない。従って、ＣＰＵバス１本のデータバス構成をそのままにして符号化レートの増加に対応するには、２倍のアクセス速度を持つ蓄積媒体を採用する必要が出てくる。上述したように、従来のデータバス方式のままでは、符号化レートを上げるためにはバスの高速化と高速な蓄積媒体を利用するしか手段がない。
しかし、高速なバスを使用することは、高速なＣＰＵ等を使用する必要になり消費電力の増加、設計マージンの減少を招き、高コスト、開発費の増大など、あらゆる面でリソースを多く消費する。また、高速な蓄積媒体の採用も、コスト増、実装面積増加を招き、耐環境、低消費電力、小型化等の装置要件をクリアできないなどの課題を抱えている。
また、先行技術文献としては、以下の特許文献１〜２がある。
特許文献１は、画像処理装置とメモリをＣＰＵバスとは別の専用ローカルバスで接続し、ＣＰＵバスと専用ローカルバス間は、ＤＭＡで接続する構成を開示している。
特許文献２は、画像処理装置と蓄積装置をＣＰＵバスとは別のローカルバスで接続し、ＣＰＵバスとローカル間はバッファメモリで転送制御することを開示している。
【特許文献１】  ＷＯ００／４３８６８号公報
【特許文献２】  特開２０００−２３６４０３号公報
特許文献１は画像符号化装置の符号化／復号化処理そのものが対象であるため、画像配信を対象とする本発明の上記課題を解決することができない。また、特許文献２が対象とする技術分野はファクシミリ装置が対象であり、ＩＰ画像伝送装置が対象である本発明の技術分野と全く異なる分野であり、本発明の上記課題を解決することができない。
本発明の目的は、耐環境、低消費電力、小型化等の装置要件をクリアし、符号化レートを上げることのできるＩＰ画像伝送装置を提供することである。
【発明の開示】
本発明の側面によれば、符号化データをＴＣＰ及びＵＤＰ伝送をするＩＰ画像伝送装置であって、蓄積媒体と、第１メモリと、第１バスと、第２バスと、画像又は音声データを符号化データに符号化して、前記第１バスに出力する符号化部と、前記第１バスに出力された符号化データを前記第２バスを通して前記第１メモリに書き込む符号化データ転送部と、前記第１バスに出力された符号化データを前記第１バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、前記蓄積媒体に書き込まれた蓄積データを前記第１バスを通して読み出し、前記第２バスを通して前記第１メモリに書き込み制御する蓄積データ読出制御部とを具備したことを特徴とするＩＰ画像伝送装置が提供される。
好ましくは、第２メモリを具備し、前記符号化データ転送部は前記第１バスに出力された符号化データを前記第２メモリに書き込み、当該第２メモリに書き込んだ符号化データを読み出し、前記第２バスを通して前記第１メモリに書き込むようにする。
更に好ましくは、前記蓄積データ読出制御部は、前記第１バスを通して読み出した前記蓄積データを前記第２メモリに書き込み、当該第２メモリに書き込んだ符号化データを読み出し、前記第２バスを通して前記第１メモリに書き込むようにする。
【図面の簡単な説明】  図１は本発明の原理図；
図２は本発明の実施形態によるＩＰ画像伝送装置の構成図；
図３はＩＰ画像伝送装置の構成例を示す図；
図４はＩＰ画像伝送装置内のデータの流れ図；
図５はＩＰ画像装置内の符号化データ転送処理時間配分図；
図６は符号化レートを１．５倍にした場合のＩＰ画像装置内の符号化データ転送処理時間配分図；
図７はＩＰ画像伝送全体システム構成図；
図８はＩＰ画像伝送装置における符号化データ転送時間配分図；
図９は従来のＩＰ画像伝送装置の構成図；
図１０は従来のＩＰ画像伝送装置内のデータの流れ図；
図１１は従来のＩＰ画像伝送装置内の符号化データ転送処理時間配分図；
図１２は符号化レートを１．５倍にした場合の従来のＩＰ画像伝送装置内の符号化データ転送処理時間配分図；
図１３は符号化レートを１．５倍にし、ＣＰＵバスのデータ転送速度を２倍にした場合の従来のＩＰ画像伝送装置内の符号化データ転送処理時間配分図である。
発明を実施するための最良の態様
本発明の実施形態の説明をする前に本発明の原理の説明をする。図１は本発明の原理図である。図１に示すように、ＩＰ画像伝送装置は、蓄積媒体１００、第１メモリ１０２、第１バス１０４、第２バス１０６、符号化部１０８、符号化データ転送部１１０、蓄積データ書込制御部１１２及び蓄積データ読出制御部１１４を具備する。符号化部１０８は、（２）に示すように、画像や音声を符号化データに符号化して、第１バス１０４に出力する。符号化データ転送部１１０は、（４）に示すように、第１バス１０４に出力された符号化データを第２バス１０６を通して第１メモリ１０２に書き込む。
蓄積データ書込制御部１１２は、（６）に示すように、第１バス１０４に出力された符号化データを第１バス１０４を通して蓄積媒体１００に書き込み制御をする。このとき、蓄積媒体１００への蓄積データの書き込みが第２バス１０６を通さずに第１バス１０４を通して行うので、符号化データ転送部１１０による第２バス１０６を通した第１メモリ１０２への符号化データの転送処理と、蓄積データ書込制御部１１２への符号化データの蓄積処理とを並列処理することができる。
蓄積データ読出制御部１１４は、（８）に示すように、蓄積媒体１００に書き込まれた蓄積データを第１バス１０４を通して読み出し、第２バス１０６を通して第１メモリ１０４に書き込み制御する。このとき、蓄積媒体１００からの読み出しが第１バス１０４を通して行われるので、第１バス１０４を用いた蓄積データの読出処理中に並列して、第２バス１０６を通して第１メモリ１０２へアクセスして処理することができるので処理時間を短縮することができる。
図２は本発明の実施形態によるＩＰ画像伝送装置構成ブロック図である。図２に示すように、ＩＰ画像伝送装置は、画像Ａ／Ｄコンバータ１５０、音声Ａ／Ｄコンバータ１５２、画像／音声符号化デバイス１５４、メインＣＰＵ１５６、符号化データ専用ＤＭＡＣ（専用ＤＭＡＣと略す）１５８、メモリ１６０、蓄積媒体１６２、ネットワーク制御デバイス１６４、ネットワークＩ／Ｆ１６６、ＣＰＵバス１６８及び符号化データ専用バス（専用バスと略す）１７０を有する。
画像Ａ／Ｄコンバータ１５０は、野外等に設置されたビデオカメラにより撮影されたアナログ画像をディジタル画像に変換する。音声Ａ／Ｄコンバータ１５２は、マイクロフォンにより録音したアナログ音声信号をディジタル音声に変換する。画像／音声符号化デバイス１５４は、次の機能を有する。（１）ディジタル画像及び音声をＭＰＥＧ−２方式等により符号化して、図示しないフレームメモリに蓄積する。（２）専用ＤＭＡＣ１５８を通してメインＣＰＵ１５６上の符号化ＬＳＩ制御プロセス１９２からの指示に従って、フレームメモリから符号化データを読み出して、専用バス１７０に出力する。
メインＣＰＵ１９０は、ＩＰ画像伝送に係わる制御及び処理を行うためのＣＰＵであり、リアルタイムＯＳ１９０並びに符号化ＬＳＩ制御プロセス１９２、蓄積制御プロセス１９４、ＩＰパケット処理プロセス１９６、ネットワーク送信処理プロセス１９８、ｈｔｔｐサーバ処理プロセス２００及び装置全体制御プロセス２０２を実行する。リアルタイムＯＳ１９０は、リアルタイム配信を行うためにプロセスの高速な切り替えをするオペレーティングシステムである。符号化ＬＳＩ制御プロセス１９２は、専用ＤＭＡＣ１５８に画像／音声符号化デバイス１５４が符号化した符号化データのメインメモリ１６８への転送を指示する。蓄積制御プロセス１９４は、次の機能を有する。（１）専用ＤＭＡＣ１５８に符号化データの蓄積媒体１６２への蓄積を指示する。（２）蓄積媒体１６２から蓄積データのメモリ１６０への読み出しを指示する。
ＩＰパケット処理プロセス１９６は次の処理を有する。（１）メモリ１６０よりＣＰＵバス１６８を通してメインＣＰＵ１５６に符号化データを読み出す。（２）メモリ１６０より読み出した符号化データをＵＤＰパケット化する。（３）ＵＤＰパケットをＣＰＵバス１６８を通してメモリ１６０に書き込む。（４）メモリ１６０よりＣＰＵバス１６８を通してメインＣＰＵ１５６に蓄積データを読み出す。（５）メモリ１６０より読み出された蓄積データをＴＣＰパケット化する。（６）ＴＣＰパケットをメモリ１６０に書き込む。
ネットワーク送信処理プロセス１９８は、次の処理をする。（１）メモリ１６０よりＵＤＰパケットをＣＰＵバス１６８を通してネットワーク制御デバイス１６４に転送する。（２）メモリ１６０よりＴＣＰパケットをＣＰＵバス１６８を通してネットワーク制御デバイス１６４に転送する。ｈｔｔｐサーバ処理プロセス２００は、次の処理を行う。（１）サーバ装置からの指示に従って、自装置ＩＰアドレスの設定をする。（２）サーバからの指示に従って、符号化レート（符号化方式）を設定する。
装置全体制御プロセス２０２は、次の機能を有する。（１）ライブ配信最小単位時間内でＵＤＰ配信処理、ＴＣＰ送信処理、その他の処理が終了するように、後述する符号化ＬＳＩ制御プロセス１９２等の処理シーケンスを制御する。（２）アラームの監視等、装置内の監視制御を行う。
専用ＤＭＡＣ１５８は、転送メモリ１８０を有し、メインＣＰＵ１５６からの図示しない信号線による指示に従って次の処理を行う。（１）画像／音声符号化デバイス１５４より専用バス１７０が空きであるとき、符号化データを専用バス１７０上に読み出し、レジスタに格納すると共に転送メモリ１８０に書き込む処理を単位時間内に必要とされる符号化データについて行う。転送メモリ１５８に一定の符号化データが書き込まれると、転送メモリ１５８より符号化データを読み出してＣＰＵバス１６８を通してメインメモリ１６０に書き込む。（２）専用バス１７０を獲得して、レジスタに書き込まれた符号化データを専用バス１７０上に出力を通して蓄積媒体１６２に書き込むために専用バス１７０上に出力し、バスサイクル終了後にバス１７０を開放する。蓄積媒体１６２への書き込みが終了するとバス１７０を獲得して、レジスタに書き込まれた次の符号化データを専用バス１７０上に出力を通して蓄積媒体１６２に書き込むために専用バス１７０上に出力し、バスサイクル終了後にバス１７０を開放する。この処理を単位時間内に必要とされる符号化データについて行う。（３）蓄積媒体１６２に書き込まれた蓄積データを専用バス１７０を通して転送メモリ１８０に読み出す。転送メモリ１８０に一定の蓄積データが読み出されると、転送メモリ１８０より蓄積データを読み出して、ＣＰＵバス１６８を通してメインメモリ１６０に書き込む。（４）ＣＰＵ１５６からの要求に従って、ＣＰＵバス１６８のバスを獲得する。
転送メモリ１８０は、バッファメモリである。転送メモリ１８０を使用するのは以下の理由による。（１）画像／音声符号化デバイス１５４から専用バス１７０を通しての符号化データの転送レートとＣＰＵバス１６８の転送レートとの間に差があるためである。（２）メモリ１６０へ符号化データを転送するタイミングを制御するためである。（３）蓄積媒体１６２から専用バス１７０を通しての蓄積データの読み出し速度とＣＰＵバス１６８の転送レートとの間に差があるためである。（４）蓄積データをメモリ１６０へ書き込むタイミングを制御するためである。
メモリ１６０は、符号化データ、プロセスを記憶するメインメモリ及び符号化ＬＳＩ制御プログラム１９２等に対応するプログラムを記憶するＲＯＭである。蓄積媒体１６２は、ＴＣＰ送信のための符号化データを蓄積する記憶媒体であり、コントローラを有する。コントローラは、専用バス１７０上の符号化データを蓄積媒体１６２に書き込み、蓄積媒体１６２から蓄積データを専用バス１７０上に読み出す。ネットワーク制御デバイス１６４はＩＰ画像伝送装置が接続されるネットワークをインタフェースするものである。ネットワークＩ／Ｆ１６６は、ＩＰ画像伝送装置を通信ケーブルと接続するコネクタやトランス等である。
ＣＰＵバス１６８は、メインＣＰＵ１５６−メモリ１６０、専用ＤＭＡＣ１５８−メモリ１６０間の符号化データ、ＵＤＰパケット、蓄積データ及びＴＣＰパケットの書き込み・読み出しを行うためのバスである。専用バス１７０は、蓄積媒体１６２への書き込み、蓄積媒体１６２からの読み出し及び画像／符号化デバイス１５４から符号化データの読み出しのためのものである。
図３は図２に示すＩＰ画像伝送装置の構成例を示す図であり、図２中の構成要素に該当する構成要素は同一の符号を附している。画像／音声符号化デバイス１５４はＭＰＥＧ−２エンコーダＬＳＩであり、ＩＰ画像伝送装置ライブ配信／サーバ蓄積機能同時動作可能符号化レートを６Ｍｂｐｓであるとしている。メインＣＰＵ１５６は、例えば、クロック周波数が１６２ＭＨｚである。フラッシュＲＯＭ１６６ａはメモリ１６６を構成するＲＯＭであり、例えば、転送レート、約２０ＭｂｐｓのＡＴＡフラッシュカードである。ＳＤＲＡＭ１６０ｂはメモリ１６６８を構成するメインメモリである。専用ＤＭＡＣ１５８は、ＦＰＧＡにより作製されて、ＤＭＡＣ１８２＃１，１８２＃２，１８２＃３及びメモリ１８０を有する。
ネットワーク制御デバイス１６４は、例えば、ＬＡＮコントローラである。ＤＭＡＣ１８２＃１は、符号化データＬＳＩ制御ＤＭＡＣであり、符号化ＬＳＩ制御プロセス１９２の指示に従って次の処理を行う。（１）専用バス１７０が空きのとき、画像／音声符号化デバイス１５４より専用バス１７０上に符号化データを読み出して、レジスタに書き込む。（２）レジスタに書き込んだ符号化データを転送メモリ１７０に書き込む。
ＤＭＡＣ１８２＃２は、蓄積制御ＤＭＡＣであり、蓄積制御プロセス１９４の指示に従って次の処理を行う。（１）専用バス１７０を獲得して、レジスタに書き込まれた符号化データを専用バス１７０を通して蓄積媒体１６２に書き込み要求を行い、バスサイクル後に専用バス１７０を開放する処理を単位時間内に必要とされる符号化データについて行う。（２）専用バス１７０を獲得して、蓄積媒体１６２より蓄積データを専用バス１７０を通して読み出し、転送メモリ１７０に書き込む。
ＤＭＡＣ１８２＃３は、メモリ制御ＤＭＡＣであり、次の処理を行う。（１）転送メモリ１８０に書き込まれた符号化データ／蓄積データが一定になると、ＣＰＵバス１６８を通して、メモリ１６０に書き込む。（２）ＩＰパケット処理プロセス１９６又はネットワーク送信処理プロセス１９８の指示に従って、ＣＰＵバス１６８を獲得する。
転送メモリ１８０は、例えば、デュアルポートメモリで構成される。符号化データの書き込みと読み出しが同時に行われることがあるからである。蓄積媒体１６２は、小型・軽量化の構成要件により、転送レートが約２２ＭｂｐｓのＡＴＡＨＤＤカードであり、コントローラを有する。ＣＰＵバス１６８は、例えば、バス幅３２ビット、最大転送速度は３２４Ｍバイト／秒である。
図４はＩＰ画像伝送装置内のデータの流れを示す図である。図５はＩＰ画像伝送装置内の符号化データ転送処理時間配分を示す図であり、画像／音声符号化デバイス１５４、蓄積媒体１６２、専用ＤＭＡＣ１５８、ＣＰＵ１５８−メモリ１６０及びネットワーク制御デバイス１６４における処理時間を示している。図５中のハッチングで示す画像符号化デバイス１５４、蓄積媒体１６２及び専用ＤＭＡＣ１５８に係わる処理が専用バス１７０を使用する処理である。図５中のライブ配信最小単位時間は図１１と同一の時間である。図４に示すように、ＩＰ画像伝送装置内では同時に９本のストリームデータをリアルタイムに転送する必要があり、以下のようにして本実施形態では実現される。
（１）  符号化データ転送
画像／音声符号化デバイス１５４は、ＭＰＥＧ−２方式に従って音声及び画像データを符号化してフレームメモリに蓄積する。装置全体制御プロセス２０２は、図５に示す単位時間の開始において、符号化ＬＳＩ制御プロセス１９２を起動する。符号化ＬＳＩ制御プロセス１９２は、専用ＤＭＡＣ１８２＃１を通して画像／音声符号化デバイス１５４に符号化データの読み出しを指示する。画像／音声符号化デバイス１５４は、図４中の（１）及び図５中の（１ａ）に示すように、ＤＭＡＣ１８２＃１の指示に従って専用バス１７０上に符号化データを出力する。ＤＭＡＣ１８２＃１は、符号化データを専用バス１７０から読み出して、レジスタに書き込む。バスサイクルが終了すると、専用バス１７０を開放する。
後述する蓄積データ書込（５）のためのバスサイクルが終了して、専用バス１７０が空きになると、ＤＭＡＣ１８２＃１が画像／音声符号化デバイス１５４より次の符号化データを専用バス１７０上に読み出し、レジスタに書き込む。画像／音声符号化デバイス１５４からの符号化データ転送（１ａ）がＵＤＰパケット化に必要な符号化データについて行われる。ＤＭＡＣ１８２＃１は、図４中の（１）及び図５中の（１ｂ）に示すように、レジスタに書き込まれた符号化データを転送メモリ１７０に書き込む。メモリ制御用ＤＭＡＣ１８２＃３は、転送メモリ１７０への書き込みと並列的に、転送メモリ１７０から符号化データを読み出し、ＣＰＵバス１６８を通してメモリ１６０へ書き込みを行う。
（２）  符号化データ読み込み
装置全体制御プロセス２０２は、図５に示すようにメモリ１６０への符号化データ転送（１ｂ）が終了すると、ＩＰパケット処理プロセス１９４を起動する。ＩＰパケット処理プロセス１９４は、図４及び図５中の（２）に示すように、ＣＰＵバス１６８を通して、メモリ１６０より符号化データを読み出す。
（３）  ＵＤＰパケット化データ書き込み
ＩＰパケット処理プロセス１９４は、メモリ１６０より読み出した符号化データをＵＤＰパケット化し、ＣＰＵバス１６８を通して、（３）に示すようにＵＤＰパケット化データをメモリ１６０に書き込む。
（４）  ＵＤＰパケットデータ送出
装置全体制御プロセス２０２は、ＵＤＰパケット化データ書き込み（３）が終了すると、ネットワーク送信処理プロセス１９８を起動する。ネットワーク送信処理プロセス１９８は、図４及び図５中の（４）に示すように、ＣＰＵバス１６８を通して、メモリ１６０よりＵＤＰパケットを読み出し、ネットワーク制御デバイス１６４に出力する。ネットワーク制御デバイス１６４は、ネットワークＩ／Ｆ１６６を通してＵＤＰパケットデータのＵＤＰ伝送を行う。
（５）  蓄積データ書込
装置全体制御プロセス２０２は、図５に示す符号化データ転送（１ａ）により符号化データがレジスタに書き込まれると、蓄積制御プロセス１９４を起動する。蓄積制御プロセス１９４は、ＤＭＡＣ１８２＃２に符号化データの蓄積を指示する。ＤＭＡＣ１８２＃２は、専用バス１７０を獲得し、図４中の（５）に示すように、レジスタに書き込まれた符号化データを蓄積媒体１６２へ書き込みのために専用バス１７０に出力し、バスサイクル終了後に専用バス１７０を開放する。
蓄積媒体１６２中のコントローラは専用バス１７０より符号化データを受信して、図５中の（５）に示すように蓄積媒体１６２に蓄積する。ＤＭＡＣ１８２＃２は、符号化データの蓄積媒体１６２へ書き込みが終了すると、上述したと同様に専用バス１７０を通して蓄積媒体１６２に書き込む。レジスタに書き込まれた符号化データについて蓄積媒体１６２への上述の書き込みを繰り返す。蓄積データ書込（５）はＤＭＡＣ１８２＃２が専用バス１７０を通して行い、符号化データ転送（１ｂ）はＤＭＡＣ１８２＃３が、符号化データ読込（２）及びＵＤＰパケット化データ書込（３）はＣＰＵ１５６がＣＰＵバス１６８を通して行うことから、処理（５）と処理（１ｂ），（２），（３）とを並列的に行うことができる。
（６ａ）  蓄積データ読出
装置全体制御プロセス２０２は、蓄積データ書込（５）が終了すると、蓄積制御プロセス１９４を起動する。蓄積制御プロセス１９４は、蓄積制御ＤＭＡＣ１８２＃２に蓄積媒体１６２から該当する符号化データの読み出しを指示する。ＤＭＡＣ１８２＃２は、図５中の（６ａ）に示すように、蓄積媒体１６２中のコントローラを通して蓄積媒体１６２から蓄積データを専用バス１７０に順次読み出し、転送メモリ１８０に書き込む。このとき、蓄積データ読出（６ａ）はＤＭＡＣ１８２＃２が専用バス１７０を通して行い、例えば、ＵＤＰデータ送出（４）やサーバとの通信処理、装置全体制御処理等のその他の処理（１０）はＣＰＵ１５６がＣＰＵバス１６８を通して行うことから、処理（６ａ）と処理（４）及びその他の処理（１０）は並行して行うことができる。
（６ｂ）  蓄積データ読出
ＤＭＡＣ１８２＃３は、図４中の（６）及び図５中の（６ｂ）に示すように、転送メモリ１８０に蓄積データが書き込まれると、処理（６ａ）と並列的に、転送メモリ１８０から蓄積データを読み出し、ＣＰＵバス１６８を通してメモリ１６０に書き込む。
（７）  符号化データ読込
装置全体制御プロセス２０２は、図５に示す蓄積データ読出（６ｂ）が終了すると、ＩＰパケット処理プロセス１９６を起動する。ＩＰパケット処理プロセス１９６は、図４及び図５中の（７）に示すように、メモリ１６０よりＣＰＵバス１６８上に蓄積データの読み込みを行う。
（８）  ＴＣＰパケットデータ書込
ＩＰパケット処理プロセス１９６は、図４及び図５中の（８）に示すように、ＣＰＵバス１６８上に読み出された蓄積データを受信してＴＣＰパケット化する。ＩＰパケット処理プロセス１９６はＣＰＵバス１６８を通してメモリ１６０にＴＣＰパケットデータの書き込みを行う。
（９）  ＴＣＰデータ送出
装置全体制御プロセス２０２は、図５に示すＴＣＰパケットデータ書込（８）が終了すると、ネットワーク送信処理プロセス１９８を起動する。ネットワーク送信処理プロセス１９８は、図４及び図５中の（９）に示すように、メモリ制御ＤＭＡＣ１８２＃３を通してメモリ１６０よりＣＰＵバス１６８上にＴＣＰパケットデータ読み出し、ネットワークデバイス１６４に出力する。ネットワーク制御デバイス１６４は、ネットワークＩ／Ｆ１６６を通してＴＣＰパケットデータのＴＣＰ伝送を行う。
（１０）  その他の処理
装置全体制御プロセス２０２は、図５中の（１０）に示すように、ＵＤＰパケット処理及びＴＣＰパケット処理の空き時間、例えば、ＵＤＰデータ送出（４）が終了すると、サーバとの通信処理、アラーム処理等装置全体制御処理をＣＰＵ１５６−メモリ１６０間で行う。
図５に示すように、蓄積データ書込（５）と符号化データ転送（１ｂ）、符号化データ読込（２）及びＵＤＰバケットデータ書込（３）、並びに蓄積データ読出（６ａ）とＵＤＰデータ送出及びその他の処理（１０）を並行して行うことができるため、例えば、符号化データ転送処理時間が従来方式よりも３割程度短縮する。
図６はＩＰ画像伝送装置内の符号化レートを１．５倍にした場合の符号化データ転送時間を示す図である。図６中の破線で示すように、最小単位時間内に処理するべきデータ量が１．５倍となるため、符号化データ転送（１ａ）等の処理時間がそれぞれ図５に示す処理時間に比べて１．５倍となっているが、図５に示したように、従来方式では、図１１に示したように、ライブ配信最小単位時間内で、ＵＤＰ送信処理、ＴＣＰ送信処理及びその他の処理に時間的な余裕がない場合でも、図５に示したように、従来に比べて３割程度処理時間が短縮するとき、図６に示すように符号化レートを１．５倍としても単位時間内に処理が可能となる。
【産業上の利用可能性】  以上説明した本発明によれば、専用バスを設けることにより、ＣＰＵバスを介したメモリへのアクセスによるＵＤＰ・ＴＣＰ処理と、専用バスを介した蓄積媒体への書込・読出処理を並列的に処理することが可能となり、蓄積媒体やＣＰＵバスの転送速度を高速化せずとも符号化データ転送処理時間を短縮し、符号化レートを上げることができる。
【図１】
2004093445.tif 000003
【図２】
2004093445.tif 000004
【図３】
2004093445.tif 000005
【図４】
2004093445.tif 000006
【図５】
2004093445.tif 000007
【図６】
2004093445.tif 000008
【図７】
2004093445.tif 000009
【図８】
2004093445.tif 000010
【図９】
2004093445.tif 000011
【図１０】
2004093445.tif 000012
【図１１】
2004093445.tif 000013
【図１２】
2004093445.tif 000014
【図１３】
2004093445.tif 000015
【国際調査報告】
2004093445.tif 000016
2004093445.tif 000017
2004093445.tif 000018
2004093445.tif 000019