(57)【特許請求の範囲】
【請求項１】
所定の符号化方式にて符号化した画像データを所定の通信路を介して伝送する画像データ伝送装置において、該装置は、
入力画像を所定の符号化方式にて符号化する動画像符号化手段であって発生符号量を変化させる符号化パラメータにより前記入力画像を符号化する動画像符号化手段と、該動画像符号化手段からの符号化データが書込みクロックに応じて順次書き込まれて、所定のビット列毎に送信フレームとして読み出される送信バッファと、該送信バッファからの送信フレームが順次書き込まれて、再送時に該当のフレームが読み出される再送バッファと、前記送信バッファからの送信フレームの読み出しおよび前記再送バッファへの送信フレームの書き込みを制御する第１の読出しクロックを生成して該送信バッファに供給し、受信側からの再送要求に応じて前記再送バッファからの再送フレームの読み出しを制御する第２の読出しクロックを生成して該再送バッファに供給する再送制御手段であって、前記再送要求に応じて前記第１の読出しクロックを停止し、前記送信バッファの送信フレームの読み出しから前記再送バッファの再送フレームの読み出しに切り替える再送制御手段と、前記送信バッファのバッファ残量に基づいて前記符号化パラメータを制御する符号化制御手段とを含み、
さらに該装置は、前記送信バッファのバッファ残量を前記書込みクロックおよび第１の読出しクロックに基づいて計測して前記符号化制御手段に供給するバッファ残量計測手段であって、再送にともなう前記送信バッファのデータ読出し量として前記第１の読出しクロックを計数した計数値をローパスフィルタを用いて補正し、該補正した計数値を、前記書込みクロックを計数した計数値から減算して、該減算の結果を前記バッファ残量として前記符号化制御手段に出力する補正手段を含むバッファ残量計測手段と、前記再送要求が所定の値よりも増加した場合に前記通信路状態が悪くなっていると推定し、前記ローパスフィルタの時定数を小とする補正パラメータを選択する制御信号を前記補正手段に供給し、前記再送要求が所定の値よりも減少した場合に前記通信路状態が良くなっていると推定し、前記時定数を大とする補正パラメータを選択する制御信号を前記補正手段に供給する通信路状態推定手段とを含み、
前記補正手段は、前記制御信号に応じて前記ローパスフィルタの時定数を選択し、該選択した時定数に応じて前記バッファ残量を補正し、該補正されたバッファ残量を前記符号化制御手段に供給し、
前記符号化制御手段は、前記補正されたバッファ残量に基づいて、前記通信路状態がよいときに再送が生じた場合、前記動画像符号化手段の発生符号量が急激に変化しないように前記符号化パラメータを制御することを特徴とする画像データ伝送装置。
【請求項２】
請求項１に記載の画像データ伝送装置において、前記第２の読出しクロックは前記再送要求が増加すると増加する第２の読出しクロックであり、前記通信路状態推定手段は、前記第２の読出しクロックの値が所定の値よりも増加した場合、前記通信路状態が悪くなっていると推定することを特徴とする画像データ伝送装置。
【請求項３】
請求項２に記載の画像データ伝送装置において、前記通信路状態推定手段は、前記第２の読出しクロックを順次カウントする計数手段と、該計数手段の所定時間当たりのカウント量を保持する保持手段と、該保持手段の値が所定の値よりも増加した場合に前記通信路状態が悪いと推定し、前記補正手段の補正パラメータの補正量をさらに増加させる補正パラメータを選択する補正パラメータ選択手段とを含むことを特徴とする画像データ伝送装置。
【請求項４】
請求項２に記載の画像データ伝送装置において、前記通信路状態推定手段は、前記第２の読出しクロックをカウントする第１の計数手段と、前記第２の読出しクロックを所定の時間遅延させる第１の遅延手段と、該第１の遅延手段の出力を順次カウントする第２の計数手段と、前記第１の計数手段の出力と前記第２の計数手段の出力の差を求める第１の演算手段と、該第１の演算手段の出力が所定の値よりも増加した場合に前記通信路状態が悪いと推定し、前記補正手段の補正パラメータの補正量をさらに増加させる補正パラメータを選択するパラメータ選択手段とを含むことを特徴とする画像データ伝送装置。
【請求項５】
請求項１に記載の画像データ伝送装置において、前記通信路状態推定手段は、前記再送制御手段に供給される受信側からの再送要求である再送要求信号が所定の値よりも増加した場合、前記通信路状態が悪くなっていると推定することを特徴とする画像データ伝送装置。
【請求項６】
請求項５に記載の画像データ伝送装置において、前記通信路状態推定手段は、前記再送要求信号を順次カウントする計数手段と、該計数手段の所定時間当たりのカウント量を保持する保持手段と、該保持手段のカウント量が所定の値よりも増加した場合に前記補正手段の補正パラメータの補正量をさらに増加させる補正パラメータを選択する補正パラメータ選択手段とを含むことを特徴とする画像データ伝送装置。
【請求項７】
請求項５に記載の画像データ伝送装置において、前記通信路状態推定手段は、前記再送要求信号をカウントする第３の計数手段と、前記再送要求信号を所定の時間遅延させる第２の遅延手段と、該第２の遅延手段の出力を順次カウントする第４の計数手段と、前記第３の計数手段の出力と第４の計数手段の出力の差を求める第２の演算手段と、該第２の演算手段の出力が所定の値よりも増加した場合に前記補正手段の補正パラメータの補正量をさらに増加させる補正パラメータを選択するパラメータ選択手段とを含むことを特徴とする画像データ伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ伝送装置に係り、特に、たとえば、テレビ電話装置またはテレビ会議システムなどの動画像通信システムに用いて好適な画像データ伝送装置に関するものである。
【０００２】
【従来の技術】
近年、たとえば、テレビ電話装置では、ITU(International Telecommunications Union) 勧告H.261 などの画像圧縮方式にて符号化した画像データをISDN(integrated services digital network) などのディジタル回線を介して伝送する画像データ伝送装置が知られている。
【０００３】
従来、上記のような画像データ伝送装置は、たとえば「最新MPEG教科書」（アスキー出版局）の72頁〜86頁に記載のように、情報源符号器およびビデオ信号多重化符号器などを含む動画像符号化回路と、その符号発生量を制御する符号化制御回路と、動画像符号化回路からの符号化データが順次蓄積されて所定の速度にて読み出される送信バッファと、送信バッファからのデータを所定の送信フレームに形成して通信路に伝送する伝送符号器を含む伝送制御回路とを有するものであった。
【０００４】
すなわち、動画像符号化回路に供給された入力画像は、情報源符号化器にて、たとえば、ITU 勧告H.261 に準拠した動き補償フレーム間予測および離散コサイン変換により所定の符号に変換されて、さらにそれぞれの符号が量子化されて圧縮符号化される。圧縮符号化された画像データは、ビデオ信号多重化符号器にてたとえば、ハフマン符号等により可変長符号化されて、さらに所定のデータフォーマットに生成されて送信バッファに順次書き込まれる。
【０００５】
送信バッファに書き込まれた符号化データは、順次所定のビット列毎に所定の速度にて読み出されて、伝送符号器にて誤り訂正符号などが付加されて送信フレームとして通信路に伝送される。
【０００６】
この際、伝送制御回路では、送信したビット列をたとえば、再送バッファなどの記憶回路に蓄積しておき、受信側から再送要求があれば、送信バッファからの次の送信フレームのビット列の読み出しを停止して、再送バッファに蓄積しておいたビット列を読み出して、これを再送フレームとして送信する。
【０００７】
一方、符号化制御回路では、送信バッファのバッファ残量を検出して、たとえばバッファ残量が小となるとき、つまり動画像符号化回路から送信バッファに書き込まれる符号化データ量が送信バッファから読み出されるデータ量より多くなって送信バッファの容量を越えようとする場合には、動画像符号化回路に、たとえば量子化パラメータを大とする制御信号を供給する。これにより、動画像符号化回路での画像データの圧縮率が大となって、その発生符号量が少なくなり、送信バッファへの符号化データの書き込み量が少なくなって、送信バッファのオーバフローが防止される。
【０００８】
これとは反対に、送信バッファのバッファ残量が大となって、送信バッファがアンダーフローとなる場合には、符号化制御回路は、動画像符号化回路に、たとえば量子化パラメータを小とする制御信号を供給する。これにより、動画像符号化回路からの発生符号量が大となって、送信バッファへのデータ書込み量が多くなり、送信バッファのアンダーフローが防止される。
【０００９】
この場合、たとえば、送信バッファへの書込みクロックと読出しクロックとをそれぞれ計測して、それらの差からバッファ残量を得るものであった。ただし、再送時には送信バッファからのデータの読み出しが停止して、データの書き込みのみとなるため、バッファ残量が急激に減少する。その際のバッファ残量を符号化制御に用いると、動画像符号化回路での発生符号量を急激に減少させることになり、これは画像劣化の原因となる。
【００１０】
このため、再送時における送信バッファの読出しクロックのカウント値を適正に補正して、その値の急激な変化を緩和する、たとえば、所定の値の時定数を有するローパスフィルタなどの補正回路を設けるものであった。これにより、再送時に送信バッファからのデータの読み出しが停止した場合にも、補正回路からの出力が次のデータの読み出しまで所定値ずつ得られて、符号化制御回路から動画像符号化回路に供給する、たとえば、量子化パラメータの急激な変化が緩和されて、その際の画像劣化が防止される。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、再送時における送信バッファの読出しクロックのカウント値の急激な変化を所定の補正値を有する補正回路、たとえば所定の時定数のローパスフィルタなどを通して補正するので、通信路状態によっては、その補正値、たとえばローパスフィルタの時定数の値が適正値にならない場合があり、送信バッファのデータ残量に応じた符号化制御を有効に実行できない場合があるという問題があった。
【００１２】
すなわち、たとえば、ローパスフィルタの時定数の値を通信路状態が最悪な場合、たとえば連続的に複数回の再送が生じる場合を想定して設定すると、送信バッファには、複数回の再送が生じた場合にローパスフィルタを通したカウント値に応じた符号化データを蓄積可能な残量、つまり通信路状態が最悪の場合に対応可能な大きなマージンが必要となる。この結果、通常の通信路状態の場合には、送信バッファに常にある程度のマージンを残した状態にて、動画像符号化回路の符号化制御を実行することになり、送信バッファの容量を有効に活用した符号化制御を実行することができない。特に、送信バッファの容量に制約がある場合には、マージンを除いたバッファ残量の範囲にて符号化制御を実行するので、画質に応じた有効な符号化パラメータの設定が困難になるという問題があった。
【００１３】
当然、ローパスフィルタの時定数の値をある程度通信路状態が良好な場合に設定すると、通信路状態が大きく変動する場合には追随することができず、送信バッファのオーバフローが生じて、画質の劣化の原因となる問題があった。
【００１４】
本発明はこのような従来の技術の欠点を解消し、通信路状態が変化しても送信バッファの容量を有効に活用して発生符号量を適正に制御することができる画像データ伝送装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明による画像データ伝送装置は上述の課題を解決するために、所定の符号化方式にて符号化した画像データを所定の通信路を介して伝送する画像データ伝送装置において、入力画像を所定の符号化方式にて符号化する動画像符号化手段と、動画像符号化手段からの符号化データが順次書き込まれて、所定のビット列毎の送信フレームとして読み出される送信バッファと、送信バッファからの送信フレームが順次書き込まれて、再送時に該当のフレームが読み出される再送バッファと、送信バッファからの送信フレームの読み出しおよび再送フレームからの再送フレームの読み出しを制御する制御手段であって、受信側からの再送要求に応じて送信フレームの読み出しを切り替える再送制御手段と、送信バッファのバッファ残量に基づいて動画像符号化手段の符号化パラメータを制御する符号化制御手段とを含み、さらに、送信バッファのバッファ残量を計測して符号化制御手段に供給するバッファ残量計測手段であって、再送にともなうバッファ残量値の急激な変化を適正に補正する補正手段を含むバッファ残量計測手段と、通信路状態を推定してバッファ残量計測手段の補正手段の補正量をさらに補正する通信路状態推定手段とを含むことを特徴とする。
【００１６】
この場合、通信路状態推定手段は、再送制御手段から再送バッファへの再送フレームの読出しクロックに基づいて通信路状態を推定するとよい。
【００１７】
また、通信路状態推定手段は、再送制御手段に供給される受信側からの再送要求信号に基づいて通信路状態を推定するとよい。
【００１８】
これらの場合、通信路状態推定手段は、再送制御手段から再送バッファへの再送フレームの読出しクロックまたは再送制御手段に供給される受信側からの再送要求信号を順次カウントする計数手段と、計数手段の所定時間当たりのカウント量を保持する保持手段と、保持手段の値に基づいて通信路状態を推定してバッファ残量計測手段の補正手段の補正パラメータを選択する補正パラメータ選択手段とを含むと有利である。
【００１９】
また、通信路状態推定手段は、再送制御手段から再送バッファへの再送フレームの読出しクロックまたは再送制御手段に供給される受信側からの再送要求信号をカウントする第１の計数手段と、再送制御手段から再送バッファへの再送フレームの読出しクロックまたは再送制御手段に供給される受信側からの再送要求信号を所定の時間遅延させる遅延手段と、遅延手段の出力を順次カウントする第２の計数手段と、第１の計数手段の出力と第２の計数手段の出力の差を求める演算手段と、演算手段の出力に基づいて通信路状態を推定して補正回路のパラメータを選択するパラメータ選択手段とを含んでもよい。
【００２０】
また、本発明による画像データ伝送装置は、所定の符号化方式にて符号化した画像データを所定の通信路を介して伝送する画像データ伝送装置において、入力画像を所定の符号化方式にて符号化する動画像符号化手段と、動画像符号化手段からの符号化データが順次書き込まれて、所定のビット列毎の送信フレームとして読み出される送信バッファと、送信バッファからの送信フレームが順次書き込まれて、再送時に該当のフレームが読み出される再送バッファと、送信バッファからの送信フレームの読み出しおよび再送フレームからの再送フレームの読み出しを制御する制御手段であって、受信側からの再送要求に応じて送信フレームの読み出しを切り替える再送制御手段と、送信バッファのバッファ残量に基づいて動画像符号化手段の符号化パラメータを制御する符号化制御手段とを含み、さらに送信バッファのバッファ残量を計測して符号化制御手段に供給するバッファ残量計測手段であって、再送にともなうバッファ残量値の急激な変化を適正に補正する補正手段を含むバッファ残量計測手段と、バッファ残量計測手段の補正手段の補正量を制御する補正量制御手段を有することを特徴とする。
【００２１】
この場合、バッファ残量計測手段は、送信バッファへの符号化データの書込みクロックを順次カウントする第１の計数手段と、送信バッファからの送信フレームの読出しクロックを順次カウントする第２の計数手段と、第２の計数手段のカウント値を補正する補正手段と、補正手段の出力値と第１の計数手段の出力値との差をとる第１の演算手段とを含み、補正量制御手段は、第２の計数手段のカウント値と補正手段の出力値との差をとる第２の演算手段と、第２の演算手段の出力値に基づいて補正手段の補正パラメータを選択する補正パラメータ選択手段とを含むと有利である。
【００２２】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像データ伝送装置の一実施例を詳細に説明する。図１には、本発明による画像データ伝送装置の第１の実施例が示されている。本実施例による画像データ伝送装置は、たとえば、ITU 勧告H.261 に準拠した符号化方式にて圧縮符号化した動画像データをISDNなどのディジタル回線を介して伝送する動画像符号化器であり、画像に応じて変動する発生符号量を制御して一定速度にて伝送するレート制御と、受信側の再送要求に応じて再送フレームを送信する再送制御とを含むデータ伝送装置である。
【００２３】
特に、本実施例では、符号化された画像データを順次蓄積して所定の速度にて読み出される送信バッファ12の書込みクロックと読出しクロックとに基づいてバッファ残量を計測するバッファ残量計測回路20と、再送データ量から通信路状態を推定する通信路状態推定回路24とを含み、通信路状態推定回路24にて推定した通信路状態に応じて、再送時におけるバッファ残量計測回路20の読出しクロックのカウント値を補正する補正回路206 の補正値をさらに補正する点が主な特徴点である。
【００２４】
詳細には、本実施例による画像データ伝送装置は、図１に示すように、動画像符号化回路10と、送信バッファ12と、再送バッファ14と、再送制御回路16と、セレクタ18と、バッファ残量計測回路20と、符号化制御回路22と、通信路状態推定回路24とを含む。
【００２５】
動画像符号化回路10は、入力端子100 からの画像信号を圧縮符号化して所定のフォーマットのデータを生成する符号化回路であり、たとえば、フレーム間符号化および直交変換ならびに量子化によって画像信号を圧縮符号化する情報源符号化器と、情報源符号化器からの圧縮符号を階層化および可変長符号化によって所定のデータフォーマットに形成するビデオ多重符号化器とを含む。入力画像信号およびその画像圧縮方式などは、本実施例には直接関係ないので、その詳細な説明は省略する。ただし、本実施例では、たとえば、ITU 勧告H.261 に準拠した符号化方式が有効に適用されて、量子化パラメータなどの発生符号量を変化させる符号化パラメータの制御により圧縮率を変化させて、その発生符号量を変化可能としたものである。符号化された画像データは、送信バッファ12に順次供給される。
【００２６】
送信バッファ12は、動画像符号化回路10からの符号化データが順次蓄積されてその符号化データが蓄積順に所定のビット列毎に所定の速度にて読み出される記憶回路であり、所定の容量を有して動画像符号化回路10からの符号発生量の変動を吸収するバッファ回路である。送信バッファ12からの画像データは、セレクタ18を介して通信路に送信される。
【００２７】
再送バッファ14は、送信バッファ12から読み出された送信フレームが順次蓄積される記憶回路であり、再送時に該当のフレームが読み出されて再送されるバッファ回路である。再送バッファ14からの再送フレームは、セレクタ18を介して通信路に送信される。
【００２８】
再送制御回路16は、送信バッファ12および再送バッファ14を制御するメモリ制御回路であり、通常時は、クロック入力端子102 からの伝送路クロックCLK に応動して、送信バッファ12および再送バッファ14にデータ読出しおよびデータ書込みのためのタイミングクロックCK1 を供給するタイミングクロック生成回路である。特に、本実施例では、信号入力端子104 から受信側からの再送要求信号ARQ を受けた際に、タイミングクロックCK1 を停止して、再送バッファ14に再送フレームのアドレスおよび読出しクロックCK2 を供給し、さらにセレクタl8に切替信号KSを供給して再送フレームの再送制御を実行する再送制御回路である。
【００２９】
セレクタ18は、再送制御回路16からの制御の下に送信バッファ12または再送バッファ14のいずれかの読出しデータを選択的に出力する選択回路であり、たとえば、通常は送信バッファ12の出力を選択して、再送制御回路16からの切替信号KSに応動して再送バッファの出力を選択する２入力１出力のセレクタである。セレクタ18からの出力は、出力端子106 を介して所定の通信路に伝送される。
【００３０】
一方、バッファ残量計測回路20は、符号発生量制御のための送信バッファ12のバッファ残量を随時求める計測回路であり、本実施例では送信バッファ12への書込みクロックCK3 および読出しクロックCK1 に基づいてバッファ残量を求める。特に、本実施例では、再送時における送信バッファ12への読出しクロックCK1 の停止による符号発生量の急激な変化を緩和するため、読出しクロックCK1 のカウント値を補正する補正回路206 を含む。
【００３１】
より具体的には、本実施例のバッファ残量計測回路20は、図の一点鎖線内に示すように、送信バッファ12への書込みクロックCK3 をカウントする第１のカウンタ202 と、送信バッファ12への読出しクロックCK1 をカウントする第２のカウンタ204 と、第２のカウンタ204 の出力を補正する補正回路206 と、第１のカウンタ202 の出力と補正回路206 の出力との差を求める減算器208 とを含む。特に、補正回路206 は、第２のカウンタ204 の計数値、つまり送信バッファ12からのデータ読出し量の急激な変化を平滑化する、たとえば、ローパスフィルタなどから形成されており、本実施例では、後述する通信路状態推定回路24からの制御信号PSに基づいてローパスフィルタの時定数を任意に選択可能となっている。減算器208 の出力はバッファ残量の計測結果として符号化制御回路22に供給される。
【００３２】
符号化制御回路22は、バッファ残量計測回路20からの計測結果に基づいて動画像符号化回路10の符号化パラメータを制御する符号量制御回路であり、たとえば量子化ビット数を決定する量子化パラメータを動画像符号化回路10の情報源符号化器に供給し、それによる符号発生量の増減をビデオ信号多重化符号器に指示する符号化パラメータ制御回路である。
【００３３】
たとえば、図15を参照すると、図15(a) には符号化制御を行なわない場合が示されており、図15(b) には符号化制御を行なう場合が示されている。これらの図において、最初の３フレームでは、フレーム周期Ｔの間に送信バッファ12から読み出されるデータ量と、書き込まれる発生符号量とが同様のデータ量であるために、平均的なバッファ残量は一定となる。これらの区間では、図15(a),(b) 双方の場合、符号化パラメータは一定値でよい。しかし、４フレームないし７フレームでは、図15(a) に示す場合、送信バッファ12から読み出されるデータ量に比べて発生符号量が少ないためにアンダーフローになる。
【００３４】
このため、図15(b) に示すように、符号化制御により符号化パラメータを小として、符号発生量を多くしてアンダーフローを防止する。反対に、８フレーム以降、図15(a) では発生符号量が読み出されるデータ量より多くなり、オーバーフローとなる。図15(b) では、９フレーム目から符号化制御により符号化パラメータを大として、符号発生量を抑制して、オーバーフローを防止する。
【００３５】
同様に、図16を参照して再送がある場合の符号化制御を説明すると、図16(b) に示すように、再送区間では、バッファ残量が減るため、符号化パラメータを大として、発生符号量を抑制して、送信バッファ12のオーバフローを防止する。図16(a) は再送がなく発生符号量が一定とした場合であり、図16(b) と比較するための例である。
【００３６】
他方、本実施例特有の通信路状態推定回路24は、通信路状態が良好か否かを随時推定して、その結果からバッファ残量計測回路20の補正回路206 の補正値を制御する補正値制御回路であり、図の一点鎖線内に示すように、再送制御回路16から再送バッファ14への読出しクロックCK2 を検出して再送制御回路16の制御状態を監視する再送制御モニタ回路242 と、その検出結果に基づいて通信路状態を推定してバッファ計測回路20の補正回路206 の補正値を選択する補正パラメータ選択回路244 とを含む。
【００３７】
より具体的には、本実施例の再送制御モニタ回路242 は、たとえば、図２に示すように、再送バッファ14に供給される読出しクロックCK2 をカウントするカウンタ250 と、その結果を保持するレジスタ252 と、所定の時間毎にレジスタ252 にカウント値を保持するためのタイミング信号TSを供給して、その際、カウンタ250 をリセットするリセット信号RSを供給するタイミング信号生成回路254 とを含み、所定の時間当たりの再送バッファ14への読出しクロック数を補正パラメータ選択回路244 に供給する。
【００３８】
補正パラメータ選択回路244 は、図示しないが、たとえば、再送制御モニタ回路242 からの所定の時間当たりの読出しクロック数が所定値以上か否かを判定して所定値未満、つまり再送データ量が少ない場合に通信路状態が良いと判断し、再送データ量が多い場合に通信路状態が悪いと判断する判定回路と、その判定結果から通信路状態が良いと判定された場合に補正回路206 の、たとえばローパスフィルタの時定数を大とする補正パラメータを選択し、通信路状態が悪いと判定された場合にローパスフィルタの時定数を小とする補正パラメータを選択して、その結果の制御信号PSを生成する制御信号生成回路を含むとよい。
【００３９】
以上のような構成において、本実施例の画像データ伝送装置の動作を説明すると、まず、入力端子100 から符号化すべき画像信号が動画像符号化回路10に順次供給されると、動画像符号化回路10では、符号化制御回路22からのあらかじめ設定された符号化パラメータに従って入力画像信号を順次符号化する。
【００４０】
次に、動画像符号化回路10からの符号化データは、書込みクロックCK3 とともに送信バッファ12に順次供給されて、そのタイミングにて順次蓄積される。
【００４１】
次いで、再送がない場合には、たとえば、図３に示すように、再送制御回路16からの読出しクロックCK1 が伝送路クロックCLK に応動して生成されて、送信バッファ12に順次供給される。これにより、送信バッファ12に蓄積されている符号化データのうち始めのビット列が送信フレームData1 として読み出されて、セレクタ18を介して順次通信路に送信される。
【００４２】
この際、再送制御回路16からのクロックCK1 は、再送バッファ14に書込みクロックCK1 として供給されて、送信バッファ12から読み出されたデータData1 は、受信側からの再送要求に備えて、再送バッファ14に再送フレームData1 として順次、蓄積される。
【００４３】
さらに受信側からの再送要求がなければ、以上の動作が繰り返されて、動画像符号化回路10にて符号化された画像データが順次送信バッファ14に蓄積されるとともに、送信バッファ14に蓄積された画像データがその蓄積順に所定のビット列毎に所定の速度にて読み出されて、送信フレームData2,Data3 としてセレクタ18を介して通信路に送信され、これとともに再送バッファ14に再送フレームが順次蓄積される。
【００４４】
次いで、再送制御回路16にて受信側から再送要求信号ARQ を受けると、再送制御回路16では再送要求のあった送信フレームのデータ、たとえばData1 を再送バッファ14から読み出すようにアドレスを生成して、これとともに読出しクロックCK2 を再送バッファ14に供給し、また、セレクタ18に再送バッファ14からのデータを選択するように切替信号KSを供給する。
【００４５】
これにより、再送バッファ14からの再送フレームData1 がセレクタ18を介して通信路に送信されることになる。この際、再送制御回路16では、再送要求信号を受けとったときにデータの消失を防ぐために、送信バッファ12への読出しクロックCK1 を停止する。
【００４６】
再送フレームData1 の送信が終了すると、再送バッファ14への読出しクロックCK2 を停止するとともにセレクタ18を切り替えて、再び、送信バッファ12に読出しクロックCK1 を送り、次の送信フレームData4 を送信する。
【００４７】
以下、同様に送信バッファ12から符号化データの蓄積順に所定のビット列毎の送信フレームを読み出して送信し、再送要求信号ARQ を受けると、送信バッファ12からの読み出しを停止して、再送バッファ14からの該当のフレームを読み出して再送する。
【００４８】
以上の動作が繰り返されている間に、通信路状態推定回路24では、再送制御モニタ回路242 にて再送制御回路16から再送バッファ14への読出しクロックCK2 を検出して、その制御状態を監視している。
【００４９】
つまり、再送制御モニタ回路242 では、カウンタ250 にて再送バッファ14への読出しクロックCK2 をカウントしており、その計数値が所定の時間毎にタイミング生成回路254 からのタイミング信号TSに応動してレジスタ252 に保持される。この際、カウンタ250 はリセットされて、次の期間の計数を開始する。
【００５０】
したがって、レジスタ252 には、一定時間内つまり、カウンタ250 がリセットされてから次にリセットされるまでの間に再送があれば、その再送されたデータ量を表わす計数値が保持される。レジスタ252 に保持された計数値は、順次補正パラメータ選択回路244 に供給されて、通信路状態が判定される。
【００５１】
たとえば、図４に示すように、図の前半にて通信路状態が良いときは、再送があまり起こらず再送バッファ14の読出しクロックCK2 はほとんど生じない。このため、カウンタ250 の計数値があまり大きくならないうちにリセットされて、レジスタ252 に保持された計数値は小さな値となっている。
【００５２】
一方、図の後半にて通信路状態が悪いときは、再送が多発して、再送バッファ14への読出しクロックCK2 が生じている時間が長くなるために、レジスタ252 に保持された計数値は大きな値となっている。したがって、補正パラメータ選択回路244 では、レジスタ252 からの値が所定の値、たとえば図の一点鎖線にて示す閾値より大となるか否かによって、通信路状態を推定する。レジスタ252 からの値が閾値より大となる場合は通信路状態が悪いと推定し、小さい場合は良いと推定する。
【００５３】
これにより、補正パラメータ選択回路244 では、判定回路にて通信路状態が良いと判定された場合は、制御信号生成回路からバッファ残量計測回路20の補正回路206 に、そのローパスフィルタの時定数を大とする補正パラメータを選択する制御信号PSを供給し、通信路状態が悪いと判定された場合は、ローパスフィルタの時定数を小とする補正パラメータを選択する制御信号PSを供給する。
【００５４】
この結果、制御信号PSを受けたバッファ残量計測回路20の補正回路206 には、通信路状態に応じた補正パラメータが設定される。
【００５５】
一方、バッファ残量計測回路20では、送信バッファ12への書込みクロックCK3 を第１のカウンタ202 にてカウントし、送信バッファ12への読出しクロックCK1 を第２のカウンタ204 にて随時カウントして、送信バッファ12へのデータの書込み量および読出し量を計測している。
【００５６】
第１のカウンタ202 のカウント値は、バッファ書込み量として減算器208 に供給される。第２のカウンタ202 のカウント値は、上記のように通信路状態に応じて補正パラメータが設定された補正回路206 にて補正された値が仮想的なデータ読出し量として減算器208 に供給される。
【００５７】
これにより、減算器208 では、それぞれのカウント値の差をとって、その結果をバッファ残量として出力する。符号化制御回路22は、バッファ残量計測回路20から出力されるバッファ残量に基づいて動画像符号化回路10で発生する符号量に関連するパラメータ、たとえば量子化パラメータを決定する。この結果、動画像符号化回路10からの符号発生量は、再送が生じた場合にも急激な変化をきたすことなく、かつ通信路状態に応じた送信バッファ12の容量に合ったデータ量に調整されて、送信バッファ12に供給される。
【００５８】
以降、上記動作が繰り返されて、符号化データの所定の速度での伝送および再送制御、ならびに通信路状態に応じたバッファ残量の補正およびそのバッファ残量に基づく符号化制御が適正に実行される。
【００５９】
以上のように本実施例の画像データ伝送装置によれば、再送制御回路16から再送バッファ14への読出しクロックCK2 に基づいて通信路状態を推定して、その推定結果からバッファ残量計測回路20の補正回路206 における補正パラメータを通信路状態に応じた適正値に制御する通信路状態推定回路24を設けたので、たとえば、通信路状態が大きく変動する場合であっても、送信バッファ12の容量を有効に活用した符号化制御を実行することができる。
【００６０】
図11には、本実施例の画像データ伝送装置の特徴をより明確にするための比較例が示されている。この図において、上記本実施例の画像データ伝送装置と異なる点は、通信路推定回路22がなく、バッファ残量計測回路20の補正回路206 の、たとえばローパスフィルタの時定数が固定値となっている点である。
【００６１】
この比較例において、補正回路206 の入出力の関係が、たとえば、図12に示すように設定されているとすると、図からわかるように、補正回路206 から出力する仮想的な読み出し量は、再送時のはじめの間、実際の読み出し量より大きくなり、その後、徐々に実際の読み出し量へと収束する。仮想的な読み出し量が大きくなると、仮想的なバッファ残量が増えるため、符号化制御回路22は符号化データが増加するように符号化パラメータを制御する。このため、実際のバッファ使用量が送信バッファ12の容量を越える場合がある。したがって、送信バッファ12の容量には送信バッファ12の仮想的な読み出し量と実際の読み出し量の差に相当する量のマージンをもつ必要がある。実際には、バッファ容量の方に制限されるため、補正回路206 の補正パラメータをマージンを含めた送信バッファ12がオーバフローしないように設定しなければならない。
【００６２】
仮想的な読み出し量と実際の読み出し量の差が最大になるのは、通信路状態が悪く伝送路での誤りが多発し再送が連続して、送信バッファ12の読み出しが長時間にわたり停止した場合である。その時の補正回路206 の入出力の関係は、たとえば、図13に示すようになる。図に示す仮想的な読み出し量と実際の読み出し量の差の最大値が送信バッファ12のマージンと等しくなるように補正回路206 の時定数を設定しなければならない。
【００６３】
次に、通信路状態が良好で再送データが少ない場合の補正回路206 の人出力の関係を図14に示す。補正回路206 の時定数として、図13と同じ値を用いると、仮想的な読み出し量と実際の読み出し量の差の最大値は送信バッファ12のマージンに比べて小さくなっている。通信路状態が良好な場合のみを考えると、読み出し量を平滑化する効果を大きくするために時定数をもっと大きくしても、図14に示すように送信バッファ12のマージンを越えることはない。しかし、補正回路206 の時定数は、通信路状態が悪くなっても送信バッファ503 のオーバフローが生じないように、図13の場合に合わせて設定しなければならない。このため、通信路状態が良好な場合には送信バッファ12のマージンに対して補正回路206 の時定数を最適な値にすることができない。
【００６４】
一方、本実施例の画像データ伝送装置では、再送バッファ14の読出しクロックCK2 をカウントして、一定時間内の再送データ量を観測することにより、通信路状態を推定し、補正回路206 の補正パラメータを通信路状態に最適な値に切り替えている。その結果、通信路状態が変化しても、補正回路206 の補正パラメータとして最適な値を用いることができ、比較例では最適に設定できなかった通信路状態が良い場合での符号化画像の画質を向上することができる。
【００６５】
次に、図５には、本発明による画像データ伝送装置の第２の実施例が示されている。この図において、上記実施例と異なる点は、通信路状態推定回路24の入力を、再送要求信号ARQ が供給される信号入力端子104 に接続して、通信路状態推定回路24の各部の回路規模の縮小を図った点である。なお、上記実施例と同様の部分には、同符号を付し、その説明は省略する。
【００６６】
詳しくは、本実施例の通信路状態推定回路24は、受信側から再送制御回路16に供給される再送要求信号ARQ を受けて、再送制御を監視する再送制御モニタ回路300 と、その結果に基づいて通信路状態を推定して、バッファ残量計測回路20の補正回路206 の補正パラメータを適正値に制御する補正パラメータ選択回路302 とを含む。
【００６７】
特に、本実施例の再送制御モニタ回路300 は、図２に示す回路と同様の回路構成とした場合、カウンタ250 およびレジスタ252 の桁数を大幅に少なくして、その回路規模を縮小することができる。たとえば、上記実施例では、再送バッファ14への読出しクロックCK2 をカウントするので、数百桁のカウンタ250 およびレジスタ252 が必要になる。本実施例では、再送要求信号ARQ の回数をカウントするので、数桁ないし十数桁のカウンタ250 およびレジスタ252 でよい。
【００６８】
同様に、補正パラメータ選択回路302 では、レジスタ252 の値が閾値以上か否かを判定する判定回路の規模の縮小を図ることができる。
【００６９】
次に図６を参照して本実施例の画像データ伝送装置の動作を説明すると、上記実施例と同様に、動画像符号化回路10にて符号化された画像データは、順次送信バッファ12に蓄積されて、その蓄積順に所定のビット列毎に読み出されて送信される。また、上記実施例と同様に、再送バッファ14では送信フレームを順次蓄積して、受信側から再送要求があれば、該当のフレームが読み出されて再送が実施される。
【００７０】
この際、本実施例では、受信側からの再送要求信号ARQ を通信路状態推定回路24の再送制御モニタ回路300 にて受けて、その再送制御を監視している。たとえば、図６に示すように、図の前半にて通信路状態が良い場合、再送があまり起こらないので、再送要求信号ARQ の回数をカウントするカウンタ250 の値は大きくならないうちにリセットされて、レジスタ252 の保持する値は小さな値となる。一方、図の後半に示すように通信路状態が悪い場合は、再送が多発するため、レジスタ252 の保持する値は大きな値となる。
【００７１】
レジスタ252 にて保持した計数値は、順次補正パラメータ選択回路302 に供給される。これにより、補正パラメータ選択回路302 では、レジスタ252 からの計数値が図の一点鎖線にて示す閾値より大きいときには、通信路状態が悪いと推定し、小さいときには通信路状態が良いと推定して、補正回路206 のローパスフィルタの時定数をそれぞれの状態に応じた時定数に設定する。
【００７２】
これにより、バッファ計測回路20では、上記実施例と同様に、第２のカウンタ204 にてカウントした送信バッファ12への読出しクロックCK1 のカウント値を補正回路206 にて通信路状態に応じた補正値にて補正して、これを送信バッファ12のデータ読出し量として減算器208 に供給する。以下、上記実施例と同様に減算器208 にて第１のカウンタ202 からカウント値と補正回路206 からのカウント値との差をとって、これをバッファ残量として符号化制御回路22に送り、その結果に基づいて動画像符号化回路10の発生符号量制御が実行される。
【００７３】
以上のように、本実施例の画像データ伝送装置によれば、通信路状態推定回路24にて受信側から再送制御回路16に供給される再送要求信号ARQ に基づいて通信路状態を推定して、補正回路206 の補正パラメータを制御するので、上述したように再送制御モニタ回路300 および補正パラメータ302 の回路規模の縮小を図ることができる。
【００７４】
次に、図７には上記各実施例の画像データ伝送装置に適用される通信路状態推定回路24における再送制御モニタ回路242,300 の他の実施例が示されている。この図において、上記各実施例と異なる点は、再送バッファ14への読出しクロックCK2 または再送要求信号ARQ を受けてカウントする第１のカウンタ400 と、再送バッファ14への読出しクロックCK2 または再送要求信号ARQ を受けて、これを所定の時間遅延させる遅延回路402 と、遅延回路402 にて遅延した読出しクロックCK2 または再送要求信号ARQ をカウントする第２のカウンタ404 と、第１のカウンタ400 の出力と第２のカウンタ404 の出力との差をとる減算器406 とを含み、減算器406 の出力を再送制御の監視結果として、補正パラメータ選択回路244 または302 に供給する点である。
【００７５】
次に図７に示す再送制御モニタ回路を上記第１の実施例に適用した場合の動作を図８を参照して説明すると、まず、再送が実行されると、再送バッファ14への読出しクロックCK2 は、入力端子INを介して第１のカウンタ400 および遅延回路402 に順次供給される。これにより、第１のカウンタ400 では入力した読出しクロックCK2 を順次カウントして、その計数結果が減算器406 に順次供給される。
【００７６】
一方、遅延回路402 では、入力した読出しクロックCK2 を所定の時間遅延させて、その出力が第２のカウンタ404 に供給される。これにより、第２のカウンタでは、遅延出力を順次カウントして、その計数結果が減算器406 に順次供給される。
【００７７】
この結果、減算器406 では、第１のカウンタ400 からの計数値と第２のカウンタ404 からの計数値との差を順次求めて、その結果が再送制御の監視結果として出力端子OUT から補正パラメータ選択回路244 に順次供給される。
【００７８】
この場合、第１のカウンタ400 からの計数結果は、入力端子INから受けた読出しクロックCK2 のカウント総数、つまり現在までに再送されたデータの総量を表わしている。また、第２のカウンタ404 からの計数結果は、遅延回路402 にて所定時間遅延させた読出しクロックCK2 のカウント総数であるので、これは遅延回路402 での遅延時間だけ前までに再送されたデータの総量を表わしている。
【００７９】
したがって、図に示すように、第２のカウンタ404 からの出力は、第１のカウンタ400 の出力を所定の時間だけずらした形になる。減算器406 では、これら２つのカウンタの計数値の差を求めるので、その出力は、所定の時間前から現在までの期間に再送したデータ量となる。
【００８０】
この結果、補正パラメータ選択回路244 では、減算器406 の出力に基づいて、その期間の通信路状態を推定して、それぞれの通信路状態に適した補正パラメータを選択して、バッファ残量計測回路20の補正回路206 に供給する。
【００８１】
同様に、図７に示す再送制御モニタ回路を上記第２の実施例の画像データ伝送装置に適用した場合には、再送制御モニタ回路300 の出力が所定期間毎の再送回数となって、補正パラメータ選択回路244 に供給されて、通信路状態が推定される。
【００８２】
以上のように本実施例の再送制御モニタでは、再送データ量の計測期間が固定されておらず、常に最新の情報を得ているので、通信路状態の変化にすばやく追従することができる。
【００８３】
次に、図９には本発明による画像データ伝送装置の第３の実施例が示されている。本実施例において上記各実施例と異なる点は、バッファ残量計測回路20の補正回路206 の入出力値に基づいて、補正回路206 の補正値を制御する補正量制御回路50を設けた点である。なお、上記各実施例と同様の部分には同符号を付して、その説明を省略する。
【００８４】
詳しくは、本実施例の補正量制御回路50は、図９に示すように、減算器500 と補正パラメータ選択回路502 とを含む。減算器500 は、バッファ残量計測回路20の補正回路206 の入力値、つまり第２のカウンタ204 の計数値を第１の入力として、補正回路206 の出力値、つまり第２のカウンタ204 の計数値を補正した値を第２の入力として、これらの差をとる演算回路である。
【００８５】
補正パラメータ選択回路502 は、減算器500 からの減算結果が所定値以上か否かを判定する判定回路と、その判定結果に基づいて補正回路206 の補正パラメータを選択して、その結果の制御信号PSを生成する制御信号生成回路とを含む。
【００８６】
次に図10を参照して本実施例による画像データ伝送装置の動作を説明すると、上記実施例と同様に、動画像符号化回路10にて符号化された画像データは、順次送信バッファ12に蓄積されて、その蓄積順に所定のビット列毎に読み出されて送信される。また、上記実施例と同様に、再送バッファ14では送信フレームを順次蓄積して、受信側から再送要求があれば、該当のフレームが読み出されて再送が実施される。
【００８７】
このような状態にて、バッファ残量計測回路20では、上記各実施例と同様に、動画像符号化回路10から送信バッファ12に供給される書込みクロックCK3 を第１のカウンタ202 にてカウントし、再送制御回路16から送信バッファ12に供給される読出しクロックCK2 を第２のカウンタ204 にてカウントする。第１のカウンタ202 からの計数結果は、送信バッファ12のデータ書込み量として、減算器208 に供給され、第２のカウンタ204 からの計数結果は、補正回路206 にて補正されて、送信バッファ12のデータ読出し量として減算器208 に供給される。これにより、減算器208 では、それぞれの値の差をとって、これを送信バッファ12のバッファ残量として符号化制御回路22に供給する。この結果、符号化制御回路22にて動画像符号化回路10からの符号発生量を適正に制御する。
【００８８】
一方、補正量制御回路50では、バッファ残量計測回路20の第２のカウンタ204 の出力、つまり送信バッファ12でのデータの実読出し量と、補正回路206 の出力、つまりデータの仮想読出し量とを減算器500 に受けて、それらの差を求める。減算器500 の演算結果は、順次補正パラメータ選択回路502 に供給される。これにより、補正パラメータ選択回路502 では、減算器500 の演算結果に基づいて、補正回路206 の補正パラメータを決定する。
【００８９】
この場合、補正回路206 の入出力の差は、送信バッファ12の仮想的なデータ読出し量と実際のデータ読出し量の差、すなわち送信バッファ12のマージンの使用量である。本実施例では、送信バッファ12のマージンを有効に使うために、補正回路206 の入出力の差に基づいて、補正回路206 の時定数を切り替えている。
【００９０】
すなわち、図10に示すように、補正回路206 の入出力の差が小さいときは、送信バッファ12のマージンはあまり使われていないので、マージンを有効に使うために、補正パラメータ選択回路502 では大きな値の時定数を選択する。実際には補正回路206 の入出力の差が図の一点鎖線にて示す閾値より小さい時に大きな値の時定数を選択する。
【００９１】
一方、補正回路206 の入出力の差が大きくなり送信バッファ12のマージンを越えてしまうと、送信バッファ12がオーバフローするので、補正回路206 の入出力の差が閾値を越えると、補正パラメータ選択回路502 は、送信バッファ12のマージンを越えないように設計した小さな値の時定数を選択する。
【００９２】
以上のように本実施例では、補正回路206 の時定数として、送信バッファ12のマージンが多く残っているときはマージンを有効に利用するために大きな値に切り替え、マージンの残りが少なくなると送信バッファ12のオーバフローを回避するために小さな値に切り替える。その結果、補正回路206 の時定数として、送信バッファ12のマージンの使用量に最適な値を用いることができ、符号化画像の画質を向上することができる。
【００９３】
なお、上記各実施例では、画像データのみを伝送する場合を例に挙げて説明したが、本発明においては画像データ以外のデータ、たとえば音声データなどを伝送する場合、あるいはたとえば、画像データと音声データなどを多重化して伝送する場合に適用してもよい。
【００９４】
【発明の効果】
以上説明したように本発明の画像データ伝送装置によれば、バッファ残量に基づいて符号化制御を適正に行なうために、送信バッファのバッファ残量を補正する補正手段を含むバッファ残量計測手段の、その補正手段の補正量を通信路状態に応じて制御する通信路状態推定手段を設けたので、たとえば、通信路状態が大きく変動する場合に、その通信路状態に応じて補正手段の補正量をさらに補正して、有効に符号化制御を実行することができる。したがって、送信バッファの容量を有効に活用した適正な符号化制御を実現することができ、伝送する画像データによる画質の劣化を防止することができる優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明による画像データ伝送装置の第１の実施例を示すブロック図である。
【図２】図１の実施例による画像データ伝送装置の要部を示すブロック図である。
【図３】図１の実施例による画像データ伝送装置の再送制御を示すタイムチャートである。
【図４】図１の実施例による画像データ伝送装置の要部の動作を説明するためのタイムチャートである。
【図５】本発明による画像データ伝送装置の第２の実施例を示すブロック図である。
【図６】図５の実施例による画像データ伝送装置の要部の動作を説明するためのタイムチャートである。
【図７】第１の実施例または第２の実施例の画像データ伝送装置に適用される要部の他の実施例を示すブロック図である。
【図８】図７の実施例による画像データ伝送装置の要部の動作を説明するためのタイムチャートである。
【図９】本発明による画像データ伝送装置の第３の実施例を示すブロック図である。
【図１０】図９の実施例による画像データ伝送装置の要部の動作を説明するための図である。
【図１１】図１の実施例による画像データ伝送装置の比較例を示すブロック図である。
【図１２】図11の比較例による画像データ伝送装置の要部の特性を示すグラフである。
【図１３】図11の比較例による画像データ伝送装置の要部の特性を示すグラフである。
【図１４】図11の比較例による画像データ伝送装置の要部の特性を示すグラフである。
【図１５】画像データ伝送装置における符号化制御を説明するためのタイムチャートである。
【図１６】画像データ伝送装置における符号化制御を説明するためのタイムチャートである。
【符号の説明】
10  動画像符号化回路
12  送信バッファ
14  再送バッファ
16  再送制御回路
20  バッファ残量計測回路
22  符号化制御回路
24  通信路状態推定回路
50  補正量制御回路
206 補正回路
【図１】
0004002008.tif 000002
【図２】
0004002008.tif 000003
【図３】
0004002008.tif 000004
【図４】
0004002008.tif 000005
【図５】
0004002008.tif 000006
【図６】
0004002008.tif 000007
【図７】
0004002008.tif 000008
【図８】
0004002008.tif 000009
【図９】
0004002008.tif 000010
【図１０】
0004002008.tif 000011
【図１１】
0004002008.tif 000012
【図１２】
0004002008.tif 000013
【図１３】
0004002008.tif 000014
【図１４】
0004002008.tif 000015
【図１５】
0004002008.tif 000016
【図１６】
0004002008.tif 000017