(57)【要約】【課題】伝送路の伝送ビットレートを監視しながら符号化ビットレートの変更を指示する方法は、伝送ビットレートの変動を検出するまでに一定の時間差が生じ、伝送遅延が拡大する。【解決手段】エンコード部１１１は、第１複数フレーム格納用メモリ１０６からスイッチＳＷ２を介して入力フレームを取得すると共に、第２複数フレーム格納用メモリ１１３に格納されている複数の参照フレームの中からスイッチＳＷ４により選択した一の参照フレームを取得する。その後、エンコード部１１１は、取得した入力フレームと参照フレームにより符号化を行い、得られた符号化フレームを緩衝バッファ１０９に出力する。ローカルデコード部１１６は、取得した符号化フレームと参照フレームにより復号化を行って参照フレームを生成し、その参照フレームをスイッチＳＷ３を介して第２複数フレーム格納用メモリ１１３に格納する。【選択図】            図１
2004312059.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を参照フレームを利用して符号化を行い、得られた符号化フレームを予め定められた所定のフレーム送出順に従って送出する画像符号化伝送装置であって、
前記入力画像信号を少なくとも１フレーム分格納する第１のフレーム格納用メモリと、
符号化時に使用する参照フレームを所定数格納する第２のフレーム格納用メモリと、
前記第１のフレーム格納用メモリの出力側に設けられた第１のスイッチ手段と、
前記第２のフレーム格納用メモリの入力側と出力側に設けられた第２のスイッチ手段と、
前記予め定められたフレーム送出順に従い、前記第１及び第２のスイッチ手段を制御して、前記第１及び第２のフレーム格納用メモリに格納されている入力画像信号及び参照フレームの受け渡しを制御する参照フレーム制御手段と、
前記第１のフレーム格納用メモリに格納されている入力画像信号の中から前記第１のスイッチ手段により選択されたフレーム番号の入力画像信号を、前記第２のフレーム格納用メモリに格納されている参照フレームの中から前記第２のスイッチ手段により選択された一の参照フレームを利用して、符号化して符号化フレームを得るエンコード部と、
前記エンコード部から出力された前記符号化フレームを復号し、前記第２のフレーム格納用メモリに格納されている参照フレームの中から、前記エンコード部による符号化時に使用した一の参照フレームを用いて、新たに参照フレームを生成し、その新たな参照フレームを、前記第２のスイッチ手段を介して前記第２のフレーム格納用メモリに新たに格納するローカルデコード部と、
前記第１のフレーム格納用メモリの蓄積状態の監視を行って蓄積状態の管理をし、前記エンコード部から出力される前記符号化フレームの監視を行い、符号化出力の管理をし、これらの状態を前記参照フレーム制御手段に通知する入出力フレーム管理手段と、
前記エンコード部によって生成された前記符号化フレームのまとまりを格納する第３のフレーム格納用メモリと、
前記第３のフレーム格納用メモリに格納された符号化フレームのまとまりに含まれる各フレームをパケット化して、前記予め定められたフレーム送出順に従って送出する出力手段と
を有することを特徴とする画像符号化伝送装置。
【請求項２】
前記参照フレーム制御手段は、演算手段により決定された送出フレーム番号を、決定された順に前記予め定められたフレーム送出順として前記第１及び第２のスイッチ手段を制御する手段であり、前記演算手段は、
前記符号化フレームのまとまりに含まれる符号化フレーム数をＭとし、前記第１のフレーム格納用メモリに格納されている入力画像信号のフレーム番号は０からＭ−１までの自然数であるとすると、フレーム番号０を最初の送出フレーム番号とし、変数Ａの初期値をＭ、カウント値Ｃの初期値を１に初期化する初期化手段と、
前記初期化手段により初期化後に、次式
Ｂ＝［（Ａ＋１）／２］  （［  ］はガウス記号）
によりＢの値を算出すると共に、変数ｎを０とする第１の算出手段と、
前記第１の算出手段により求めた前記Ｂの値と変数ｎの値を用いて、次式
Ｄ＝Ｂ＋２×Ｂ×ｎ      （ｎは正の整数）
によりＤを算出する第２の算出手段と、
前記第２の算出手段により算出した前記Ｄの値がＭ未満であるか否か判定する第１の判定手段と、
前記第１の判定手段により、Ｄ＜Ｍと判定されたときは、そのときの前記Ｄの値を送出フレーム番号に決定すると共に、前記変数ｎ及びカウント値Ｃをそれぞれ１インクリメントして、前記第２の算出手段により再度前記Ｄを算出させる送出フレーム番号決定手段と、
前記第１の判定手段により、前記Ｄが前記Ｍ以上であると判定されたときは、前記カウント値Ｃが前記Ｍより大であるか否か判定する第２の判定手段と、
前記第２の判定手段により、前記カウント値Ｃが前記Ｍ以下であると判定されたときには、前記Ａの値をその時点の前記Ｂの値に設定した後、前記第１の算出手段により前記Ｂを算出させる設定手段と
からなり、前記演算手段は、前記第２の判定手段により、前記カウント値Ｃが前記Ｍより大であると判定されるまで演算を行うことを特徴とする請求項１記載の画像符号化伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像符号化伝送装置に係り、特に画像信号の符号化時に任意のフレームを参照フレームとして利用して符号化して得られた符号化ビットストリームを、蓄積媒体やネットワークによる伝送路で伝送させる任意参照フレームを利用した画像符号化伝送装置に関する。
【０００２】
【従来の技術】
近年、コンピュータのネットワークを経由して、視聴したい動画像にアクセスすることができる映像配信システムが普及してきている。この映像配信システムは、複数のネットワークに対して相互に接続されており、各ネットワークには、映像情報を配信する複数のサーバが接続されている。また、映像情報が配信される複数の映像受信再生端末装置（以下単に端末装置という。）が、各ネットワークに接続されている。
【０００３】
上記の映像配信システムでは、端末装置がサーバから映像情報を配信される場合、まず、この端末装置はサーバとの間で連絡をとり、端末装置とサーバの間で回線の接続状態を成立させる。その後、端末装置は、サーバから提供される所望の映像情報を受信し、この映像情報を再生する。
【０００４】
このような映像配信システムにおいて、一般に伝送される映像情報は、ディジタル化された音声、画像、その他のデータが組み合わされて作成されたマルチメディア情報であることが多い。このような映像情報（マルチメディア情報）の情報量は、単純にデータをディジタル化して換算した場合、一般に文字情報の情報量については１〜２バイトである。音声の場合には電話品質で６４ｋｂｐｓである。動画の場合には現行の地上波テレビ放送品質で１００Ｍｂｐｓ以上の情報量が必要になる。このような膨大なディジタル情報をそのままの状態で扱うことは、現状における伝送路や記録媒体を利用する際のコストを勘案すると現実的ではない。
【０００５】
そこで、このような膨大な情報量を圧縮するための符号化技術が現在盛んに研究開発されている。映像の符号化技術において代表的なものとしては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が挙げられる。ＭＰＥＧは、動画像データの符号化技術に関する国際標準規格である。現在、このＭＰＥＧ標準規格には、主にビデオＣＤなどの１．５Ｍｂｐｓ程度の蓄積メディア向けのＭＰＥＧ−１、ディジタル放送などのような通信や放送などの多様なアプリケーションに対応することを可能にするＭＰＥＧ−２、オブジェクト符号化やその制御によってより高度なマルチメディアコンテンツを実現することができるＭＰＥＧ−４、コンテンツ記述向けのＭＰＥＧ−７が規定されている。
【０００６】
このような符号化技術を適用することで膨大な情報量を持つ映像データを効率良く符号化し、情報量をおおむね１／２０〜１／４０程度にまで圧縮することが可能になる。また、他の符号化方式では、現在規格策定中のＨ．２６４や、ＪＰＥＧ２０００（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２０００）などのような新たな符号化方法を導入したものも存在し、これらを導入することでより効果的な情報の符号化を行うことができる。
【０００７】
一方、ＭＰＥＧは複数の技術を組み合わせることでより効果的な圧縮ができるように構成されている。図８は従来のＭＰＥＧ方式の符号化装置の一例のブロック図を示す。この符号化装置は、ＭＰＥＧにより画像情報を符号化する装置で、入力符号３０１を動き補償予測器３０５で復号化した画像信号と、入力符号３０１との差分をとることで、入力符号３０１の時間軸方向に含まれる冗長成分を削減する。
【０００８】
ＭＰＥＧには、フレーム内（Ｉｎｔｒａ）符号化、前方向（Ｐｒｅｄｉｃｔｉｖｅｌｙ）予測符号化、双方向（Ｂｉｄｉｒｅｃｔｉｏｎａｌｙ）予測符号化の３つの予測モードが存在する。このうち、フレーム内符号化では、動き補償予測器３０５の出力を利用せずにフレーム内の情報だけを利用して符号化を行う。このモードで符号化されたフレームをＩピクチャもしくはＩＶＯＰ（Ｉｎｔｒａ  Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）と呼ぶ。ＩＶＯＰは、復号化時に他のフレームに依存することなく復号することができる。
【０００９】
前方向予測符号化では、動き補償予測器３０５により過去に符号化したフレームを補償し、現フレームの予測を行う。この差分フレームに対して直交変換器３０３による変換が行われる。直交変換器３０３で行われる直交変換は、ＭＰＥＧではＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）が使用される。直交変換は、アダマール基底や、ウェーブレット基底といった他の変換基底を用いても行うことができる。このモードで符号化されたフレームをＰピクチャもしくはＰＶＯＰと呼ぶ。ＰＶＯＰは、他のフレームに依存するため、ＩＶＯＰのように独立して復号することはできないが、ＩＶＯＰよりも圧縮率を高めることができる。
【００１０】
双方向予測符号化では、動き補償予測器３０５により過去と未来の符号化されたフレームを補償し、現フレームの予測を行う。この差分フレームに対して直交変換器３０３による変換が行われる。このモードで符号化されたフレームをＢピクチャもしくはＢＶＯＰと呼ぶ。ＢＶＯＰは、過去と未来の他のフレームに依存するため、ＩＶＯＰ、ＰＶＯＰのように独立して復号することはできないが、ＩＶＯＰ、ＰＶＯＰよりも更に圧縮率を高めることができる。
【００１１】
各ＶＯＰは、１６画素×１６画素のＭＢ（マクロブロック）ごとに予測処理が行われる。予測方向はＩＶＯＰ、ＰＶＯＰ、ＢＶＯＰにより異なっている。全てのＭＢを独立して符号化するのがＩＶＯＰである。過去のフレームからの予測により符号化するモードと、予測をしないでそのＭＢを独立して符号化するモードの２つのモードが存在するのがＰＶＯＰである。また、未来からの予測、過去からの予測、両方からの予測、予測をしないでそのＭＢを独立して符号化する４つのモードが存在するのがＢＶＯＰである。
【００１２】
動き推定器３０４は、入力符号の動き領域をＭＢ毎にパターンマッチングを行って０．５画素精度で動きベクトルを検出する。動き補償予測器３０５は、動き推定器３０４で検出された動きベクトルを利用して動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）モードとともにＭＢの付加情報として伝送される。
【００１３】
フレームメモリ３０２から読み出された１フレーム分の入力符号３０１と、動き補償予測器３０５からの動きベクトルとを、減算器３１４で減算して得られた差分画像信号は直交変換器３０３に供給され、ここで直交変換される。この直交変換は、ＭＰＥＧではＤＣＴを利用する。ＤＣＴは、余弦関数を基底とした積分変換を有限空間へ離散変換する直交変換である。ＭＰＥＧではＭＢを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般に、ビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うことで係数を低域成分に集中させることができ、その後の量子化器３０６により効率の良い情報量の削減ができる。
【００１４】
直交変換器３０３においてＤＣＴによって得られたＤＣＴ係数は、量子化器３０６により量子化される。この量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近い値を得ることになる。
【００１５】
量子化されたデータはエントロピー符号化器３１０で符号化される。一般に、エントロピー符号化器３１０は、ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ）器であり、量子化されたデータに対して可変長符号化（ＶＬＣ）を行う。量子化された値のうち直流（ＤＣ）成分は、予測符号化の一つであるＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）を使用する。また、量子化された値のうち交流（ＡＣ）成分は、低域から高域にジグザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１６】
また、エントロピー符号化器３１０は、量子化されたデータだけでなく、動き推定器３０４及び動き補償予測器３０５から出力される動きベクトルに関する補助情報も所定の条件に従って符号化し、それぞれエントロピー符号化したデータを、多重化器３１１を通して一時バッファメモリ３１２に蓄え、所定の転送レートで符号化データ（出力符号）３１７として出力する。また、その出力符号３１７のマクロブロック毎の符号量は、符号量制御器３１３に通知される。符号量制御器３１３は、通知された符号量と目標とする符号量との誤差符号量を量子化器３０６に通知する。量子化器３０６は、通知された誤差符号量の情報をもとに量子化スケールを調整することで符号量を制御することができる。
【００１７】
量子化器３０６から出力された量子化データは、逆量子化器３０７によって逆量子化され、更に逆直交変換器３０８によって直交変換器３０３に対応する変換基底により逆直交変換される。逆量子化器３０７と逆直交変換器３０８は、ローカルデコード部３１５を構成している。逆直交変換器３０８から出力された信号は、加算器３１６において動き補償予測器３０５からのフレームと加算されて復号化画像とされた後、参照予測メモリ３０９に一時格納される。参照予測メモリ３０９に一時格納されたフレームは、動き補償予測器３０５において、差分画像を計算するための参照フレーム（参照復号化画像）として使用される。
【００１８】
ところで、あるＩピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）という。また、あるＩＶＯＰから次のＩＶＯＰの前のＶＯＰまでをＧＯＶ（Ｇｒｏｕｐ  Ｏｆ  Ｖｏｐ）という。蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのＧＯＰ、ＧＯＶとして使用される。ここではＧＯＶを構成するための構造を図９に示す。
【００１９】
同図に示すように、ＧＯＶの開始コードは３２ビット、シーケンスの先頭からの時間を示すタイムコードは１８ビット、ＧＯＶ内の画像が他のＧＯＶからの独立再生か否かを示すクローズド・ｇｏｖが１ビット、先行するＧＯＶデータが編集のために使用不可であるか否かを示すブロークン・リンクが１ビットで表される。
【００２０】
図８に示した構成の画像符号化伝送装置から出力された符号化ビットストリームは、蓄積媒体やネットワークによる伝送により配信され、端末装置によって再生されることになる。端末装置で再生する場合には、配信された符号化ビットストリームは端末装置のＭＰＥＧ復号化器によって復号された後に再生される。
【００２１】
図１０は従来のＭＰＥＧ復号化器の一例のブロック図を示す。同図において、端末装置に配信された符号化ビットストリームは、入力符号４０１としてＭＰＥＧ復号化器に入力されると、多重化分離器４０２に供給される。多重化分離器４０２は、入力符号４０１をエントロピー符号化された動きベクトル情報やテクスチャ情報などの各情報に分離し、各情報をエントロピー復号化器４０３に供給する。
【００２２】
エントロピー復号化器４０３は、エントロピー符号化されたテクスチャ情報を復号し、逆量子化器４０４に供給すると共に、エントロピー符号化された動きベクトル情報を復号し、動き補償予測器４０７に供給する。一般に、エントロピー復号化器４０３は、ＩＶＬＣ（Ｉｎｖｅｒｓｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ）器であり、多重化分離されたデータに対して可変長復号化を行う。逆量子化器４０４は、エントロピー復号化されたテクスチャ情報に対して、量子化値で乗算することにより、元の直交変換係数に近い値を計算し、その計算結果を逆直交変換器４０５に供給する。
【００２３】
動き補償予測器４０７は、マクロブロックを単位として、現在符号化しようとしているマクロブロックの位置を基準として、参照予測メモリ４０６に格納されている参照フレームから現在符号化しようとしているマクロブロックに対応する領域を動きベクトル情報を逆に利用することで特定する。そして、動き補償予測器４０７は、特定された参照フレーム上の領域をエントロピー復号化器４０３から得られる動きベクトルの情報分だけシフトして、現在符号化しようとしているマクロブロックの位置に配置することで、予測フレームを作成する。逆直交変換器４０５は、逆量子化器４０４から入力された直交変換係数を逆直交変換することにより、元のフレーム情報、もしくはフレーム間差分情報を得る。逆直交変換は、ＭＰＥＧではＩＤＣＴを利用する。
【００２４】
ＩＤＣＴによって得られたフレームは、加算器４０８において、動き補償予測器４０７からの予測フレームと加算された後に、出力符号４０９として出力されると共に、参照予測メモリ４０６に格納される。このようにして、入力された入力符号４０１は、端末装置のＭＰＥＧ復号化器によって復号され、映像情報として再生される。
【００２５】
【発明が解決しようとする課題】
従来は、伝送路を介して映像情報を伝送しようとした場合、画像受信復号化装置側で同期等の問題を回避するために、一般的なＭＰＥＧ方式の構成を利用して、ネットワーク伝送ができるように構成した画像符号化伝送装置側では、ＧＯＰもしくはＧＯＶを単位として映像情報を符号化する。通常、画像符号化伝送装置により映像情報をＧＯＶ単位で符号化して得られた符号化ビットストリームは、一般的なＭＰＥＧ方式の構成を利用して、ネットワーク伝送ができるように構成した画像受信復号化装置に対して伝送路を介してＧＯＶの先頭から順番に伝送される。
【００２６】
図１１は従来の画像符号化伝送装置の一例のブロック図、図１２は従来の画像受信復号化装置の一例のブロック図を示す。図１１に示すように、従来の画像符号化伝送装置は、符号化部５０１と、符号化伝送部５０２とから構成されており、一般に、符号化伝送部５０２では、伝送時に伝送路で効率良くデータを伝送するために、ＧＯＶをより小さいパケットに分割して伝送することが行われる。
【００２７】
符号化部５０１は、入力手段５０３からの画像信号を一時記憶する緩衝バッファ５０４と、入力画像信号を少なくとも１フレーム分記憶する複数フレーム格納用メモリ５０６と、ＧＯＶ管理手段５０５と、複数フレーム格納用メモリ５０６から出力された画像信号をＭＰＥＧ方式で符号化するエンコード部５１０と、符号化フレームを蓄積する緩衝バッファ５０９と、符号化フレームを復号化するデコード部５１１と、参照フレームを生成してエンコード部５１０へ供給するフレーム参照予測用メモリ５１２とからなる。
【００２８】
ＧＯＶを符号化単位として伝送するために、ＧＯＶ管理手段５０５は、複数フレーム格納用メモリ５０６、ＧＯＶ格納バッファメモリ５１３の格納状態を監視しながら、必要に応じてスイッチＳＷ２１、ＳＷ２２を制御することで、ＧＯＶ単位の符号化出力を符号化伝送部５０２へ出力する。
【００２９】
符号化伝送部５０２のＧＯＶ格納バッファメモリ５１３は、符号化部５０１内エンコード部５１０から緩衝バッファ５０９及びスイッチＳＷ２２を介して入力された符号化フレームを一時格納した後、伝送パケット送出手段５１４へ出力する。伝送パケット送出手段５１４は、ネットワーク伝送する際の伝送単位である少なくとも１つのパケットに分割し、ネットワークの伝送帯域の状態を監視しながら、パケットをネットワーク若しくは格納手段５１５へ送出する。
【００３０】
また、図１２に示すように、従来の画像受信符号化装置は、図１１の符号化伝送部５０２によってネットワーク又は格納手段５１５（６０３）へ送出された少なくとも１つのパケットを、受信して復号化する復号化受信部６０１と、復号化したデータを復号化する復号化部６０２と、復号化部６０２からの画像信号を１フレーム分格納してから表示装置６１５に供給して画像表示させる表示用フレームメモリ６１４とからなる。
【００３１】
復号化受信部６０１は、入力されたパケットを、伝送パケット受信手段６０４で受信し、符号化ビットストリーム解析手段６０５によってビットストリームを解析し、得られた符号化フレーム情報を、フレーム格納順制御手段６０６により制御されるスイッチＳＷ３１を介してＧＯＶ格納バッファメモリ６０８に入力し、復号化単位であるＧＯＶを再構成する。
【００３２】
復号化部６０２内のＧＯＶ管理手段６０９は、ＧＯＶ格納バッファメモリ６０８の格納状態を監視しながら、必要に応じてスイッチＳＷ３２を制御することで、ＧＯＶ単位の符号化データを緩衝バッファ６１１を介してデコード部６１２に送る。デコード部６１２は、フレーム参照予測用メモリ６１３からの参照フレームを使用してＧＯＶ単位で復号化を行い、再生映像信号を得て表示用フレームメモリ６１４に供給する。表示用フレームメモリ６１４に格納された１フレーム分の再生映像信号は、表示装置６１５により画像表示される。
【００３３】
ここで、図１１の画像符号化伝送装置から図１２の画像受信復号化装置に対して伝送路を介して符号化ビットストリームを伝送する際に、伝送レートの変動が激しい場合には、パケットの欠落によりＧＯＶ内の情報を完全に再構成することができずにＧＯＶの復号に影響を与えることがある。
【００３４】
また、伝送レートの急激な低下により現在伝送しているＧＯＶのビットレートを満たすことができないためにパケットの遅延や再送が行われることでＧＯＶを再構成するまでに時間がかかり、結果としてＧＯＶの伝送が遅延することがある。
【００３５】
このようにＧＯＶの伝送が十分でない場合に、画像受信復号化装置では再生時刻に間に合わなかった不完全なＧＯＶを破棄してしまうことにより、１ＧＯＶ分再生が停止してしまうといった問題が発生する。
【００３６】
また、画像受信復号化装置において、まだ不完全なＧＯＶに対してＧＯＶの再生時刻がきてしまった場合、不完全なＧＯＶを破棄せずに復号ができるところまで復号を行い、再生表示をできる限り継続することもできる。しかし、この場合であっても、再生時刻までに伝送できなかったＧＯＶの後半部分に存在していたＶＯＰは復号することができないため、次のＧＯＶまで再生が停止することになる。
【００３７】
従来は、このようなＧＯＶの欠落や遅延を回避するため、画像符号化伝送装置と画像受信復号化装置間の伝送路の伝送レートを随時監視し、伝送レートの急激な低下を検出した場合には、画像符号化伝送装置に対して符号化ビットレートを下げるように要求する。画像符号化伝送装置では、要求された符号化ビットレートに応じて空間解像度やフレームレート及び画像品質を下げることによって符号化ビットレートを切り替えて、より低いビットレートの符号化ビットストリームが生成されるように切り替えて、符号化伝送部５０２によって伝送することが考えられる。
【００３８】
しかし、このような伝送路の伝送ビットレートを監視しながら符号化ビットレートの変更を指示するためには、画像受信復号化装置の復号化受信部に大きめのＧＯＶ受信バッファを用意して、伝送路の伝送ビットレートを検出する必要がある。このＧＯＶ受信バッファの蓄積状態を監視することで伝送路の伝送ビットレートを検出することから、伝送ビットレートの変動を検出するまでに一定の時間差が生じることになる。この時間差によって伝送ビットレートが低い状態の伝送路に対して符号化ビットレートが高い状態のままの符号化ビットストリームを伝送し続けようとするため、伝送遅延が拡大することになる。
【００３９】
更に、図１１に示した画像符号化伝送装置内の符号化伝送部５０２において、符号化部５０１内のエンコード部５１０から緩衝バッファ５０９及びスイッチＳＷ２２を介して出力された符号化ビットストリームが、ＧＯＶ格納バッファメモリ５１３に格納された後、伝送パケット送出手段５１４によりＧＯＶがパケット化されて、ネットワーク又は格納手段５１５である伝送路に対して伝送される場合について考える。
【００４０】
符号化部５０１から出力された符号化ビットストリームが、ＧＯＶ格納バッファメモリ５１３に格納された後、伝送パケット送出手段５１４によりＧＯＶのパケット化と、伝送路に対する送出を行っている途中で、伝送路の伝送ビットレートが低下したことを画像符号化伝送装置が検知した場合、現在送出中のＧＯＶの符号化ビットレートを途中から変更しようとしていることを想定する。
【００４１】
通常の画像符号化伝送装置では、符号化伝送部５０２のＧＯＶ格納バッファメモリ５１３にＧＯＶを格納してしまうと、格納したＧＯＶに対する符号化ビットレートの修正を行うことができないため、少なくとも１ＧＯＶ分だけ符号化ビットレートの制御に時間差が生じることになる。
【００４２】
より高度な画像符号化伝送装置であれば、現在まだ伝送路に対して送出していない送出途中のＧＯＶを解析して、伝送路に対してまだ送出していないＶＯＰを特定する。その後、ＧＯＶ格納バッファメモリ５１３から現在送出途中のＧＯＶを削除して、符号化部５０１に対して再度特定したＶＯＰから再符号化要求を行う。特定したＶＯＰから残りのフレーム数分のＶＯＰを取得することができれば、ＧＯＶの伝送遅延が少なく、画像受信復号化装置側での再生品資の低下も少なく抑えることができる。
【００４３】
しかし、このような画像符号化伝送装置、画像受信復号化装置の構成では、ライブ映像などをリアルタイムで配信しているような場合には、画像符号化伝送装置側に、再符号化処理ができるようにするための大量のフレーム格納バッファメモリが必要になる。また、符号化部５０１の複雑な制御が必要になるという問題がある。
【００４４】
本発明は以上の点に鑑みなされたもので、画像符号化伝送装置から画像受信復号化装置に対して伝送路を介して符号化ビットストリームを伝送する際に、伝送レートの変動が激しい場合において、従来法ではパケットの欠落によりＧＯＶ内の情報を完全に再構成することが難しい場合でも、ＧＯＶ内の符号化フレームの符号化方法と伝送順を考慮することで、画像受信復号化装置側のデコード時間までに伝送されたＧＯＶの情報を利用して、デコード時間までに蓄積されたＧＯＶ内のフレーム数によって復号側のフレームレートが自動的に変化し、できる限り等間隔でフレームが再生表示できるようにし、もって、ＧＯＶの復号に与える影響を少なくし、従来よりも高品質の画像伝送を実現し得る画像符号化伝送装置を提供することを目的とする。
【００４５】
【課題を解決するための手段】
本発明は上記の目的を達成するため、入力画像信号を参照フレームを利用して符号化を行い、得られた符号化フレームを予め定められた所定のフレーム送出順に従って送出する画像符号化伝送装置であって、入力画像信号を少なくとも１フレーム分格納する第１のフレーム格納用メモリと、符号化時に使用する参照フレームを所定数格納する第２のフレーム格納用メモリと、第１のフレーム格納用メモリの出力側に設けられた第１のスイッチ手段と、第２のフレーム格納用メモリの入力側と出力側に設けられた第２のスイッチ手段と、予め定められたフレーム送出順に従い、第１及び第２のスイッチ手段を制御して、第１及び第２のフレーム格納用メモリに格納されている入力画像信号及び参照フレームの受け渡しを制御する参照フレーム制御手段と、第１のフレーム格納用メモリに格納されている入力画像信号の中から第１のスイッチ手段により選択されたフレーム番号の入力画像信号を、第２のフレーム格納用メモリに格納されている参照フレームの中から第２のスイッチ手段により選択された一の参照フレームを利用して、符号化して符号化フレームを得るエンコード部と、エンコード部から出力された符号化フレームを復号し、第２のフレーム格納用メモリに格納されている参照フレームの中から、エンコード部による符号化時に使用した一の参照フレームを用いて、新たに参照フレームを生成し、その新たな参照フレームを、第２のスイッチ手段を介して第２のフレーム格納用メモリに新たに格納するローカルデコード部と、第１のフレーム格納用メモリの蓄積状態の監視を行って蓄積状態の管理をし、エンコード部から出力される符号化フレームの監視を行い、符号化出力の管理をし、これらの状態を参照フレーム制御手段に通知する入出力フレーム管理手段と、エンコード部によって生成された符号化フレームのまとまりを格納する第３のフレーム格納用メモリと、第３のフレーム格納用メモリに格納された符号化フレームのまとまりに含まれる各フレームをパケット化して、予め定められたフレーム送出順に従って送出する出力手段とを有する構成としたものである。
【００４６】
この発明では、第１のフレーム格納用メモリに格納されている入力画像信号の中から第１のスイッチ手段により選択されたフレーム番号の入力画像信号を、第２のフレーム格納用メモリに格納されている参照フレームの中から第２のスイッチ手段により選択された一の参照フレームを利用した符号化を行って符号化フレームを得るエンコード部から出力された当該符号化フレームを、ローカルデコード部で復号し、第２のフレーム格納用メモリに格納されている参照フレームの中から、エンコード部による符号化時に使用した一の参照フレームを用いて、新たに参照フレームを生成し、その新たな参照フレームを、第２のスイッチ手段を介して第２のフレーム格納用メモリに新たに格納するようにしたため、エンコード部の符号化時には、第２のフレーム格納用メモリに格納されたフレームを任意に参照フレームとして利用することができる。
【００４７】
ここで、上記の出力手段は、第３のフレーム格納用メモリに格納された符号化フレームのまとまりに含まれる各フレームを特定するための符号化ビットストリーム解析手段と、第３のフレーム格納用メモリに格納された符号化フレームのまとまりに含まれる各フレームを伝送路に対して所定のフレーム送出順に従って送出する順序を制御するためのフレーム送出制御手段を備える。
【００４８】
符号化ビットストリーム解析手段は、第３のフレーム格納用メモリに格納されたＧＯＶ内に含まれる各符号化フレームを特定する。フレーム送出制御手段は、符号化ビットストリーム解析手段が特定した各符号化フレームの位置情報を利用して、第３のフレーム格納用メモリに格納されているＧＯＶ内の各符号化フレームの並び順を、ＧＯＶを伝送路に送出する際の所定のフレーム送出順に従って変更することが可能となる。
【００４９】
また、上記の目的を達成するため、本発明は、参照フレーム制御手段を、演算手段により決定された送出フレーム番号を、決定された順に予め定められたフレーム送出順として第１及び第２のスイッチ手段を制御する手段とし、演算手段が、符号化フレームのまとまりに含まれる符号化フレーム数をＭとし、第１のフレーム格納用メモリに格納されている入力画像信号のフレーム番号は０からＭ−１までの自然数であるとすると、フレーム番号０を最初の送出フレーム番号とし、変数Ａの初期値をＭ、カウント値Ｃの初期値を１に初期化する初期化手段と、初期化手段により初期化後に、次式
Ｂ＝［（Ａ＋１）／２］  （［  ］はガウス記号）
によりＢの値を算出すると共に、変数ｎを０とする第１の算出手段と、第１の算出手段により求めたＢの値と変数ｎの値を用いて、次式
Ｄ＝Ｂ＋２×Ｂ×ｎ      （ｎは正の整数）
によりＤを算出する第２の算出手段と、第２の算出手段により算出したＤの値がＭ未満であるか否か判定する第１の判定手段と、第１の判定手段により、Ｄ＜Ｍと判定されたときは、そのときのＤの値を送出フレーム番号に決定すると共に、変数ｎ及びカウント値Ｃをそれぞれ１インクリメントして、第２の算出手段により再度Ｄを算出させる送出フレーム番号決定手段と、第１の判定手段により、ＤがＭ以上であると判定されたときは、カウント値ＣがＭより大であるか否か判定する第２の判定手段と、第２の判定手段により、カウント値ＣがＭ以下であると判定されたときには、Ａの値をその時点のＢの値に設定した後、第１の算出手段によりＢを算出させる設定手段とからなる手段であり、第２の判定手段により、カウント値ＣがＭより大であると判定されるまで上記の演算を行うことを特徴とする。
【００５０】
この発明では、予め定められたフレーム送出順を、演算手段により決定された送出フレーム番号の決定された順とし、これを参照フレーム制御手段と出力手段で利用することによって、画像受信復号化装置側で受信した符号化フレーム順に復号した場合であっても、ＧＯＶ単位内で符号化フレームを復号する度にフレームレートが向上するように符号化伝送することができる。
【００５１】
また、本発明は、上記参照フレーム制御手段において、予め定められた送出フレーム順に基づいて、現在符号化しようとしているフレームよりも前に既に伝送されることになっている少なくとも１つのフレーム位置の少なくとも１つの参照フレームを利用して符号化が行われるように第１のフレーム格納用メモリ、第２のフレーム格納用メモリからエンコード部及びローカルデコード部に対するフレームの入出力を管理することを特徴とする。この管理によって、画像受信復号化装置側で受信した符号化フレーム順に復号した場合であっても、ＧＯＶ単位内で符号化フレームを復号する度に、フレームレートが向上するように符号化出力を制御することができる。
【００５２】
また、本発明は、上記参照フレームにおいて、エンコード部からの参照フレーム切り替え要求に応じて、前記演算手段によって求められた送出フレーム順に基づいて、現在符号化しようとしているフレームよりも前に既に伝送されることになっている少なくとも１つのフレーム位置の少なくとも１つの参照フレームのうち、現在符号化しようとしているフレームを符号化する際に、まだ参照フレームもしくは複数の参照フレームの組み合わせとして利用していない、別の参照フレームもしくは複数の参照フレームの組み合わせに切り替えて再度符号化が行われるように上記第１のフレーム格納用メモリ、第２のフレーム格納用メモリから上記エンコード部、ローカルデコード部に対するフレームの入出力を管理することを特徴とする。
【００５３】
また、本発明は、エンコード部において、符号化時の符号化ビットレートを監視する手段を備え、所定の符号化出力条件に応じて参照フレーム制御手段に対して再エンコードを行うために、参照フレーム切り替え要求を行う手段を備えることを特徴とする。これにより、所定の符号化出力条件が満たされる。
【００５４】
また、本発明は、所定の符号化出力条件が、請求項２の演算手段によって求められた送出フレーム順に基づいて、現在符号化しようとしているフレームよりも前に既に伝送されることになっている少なくとも１つのフレーム位置の少なくとも１つの参照フレームの中から最小の符号化ビットレートになった時点で符号化フレームを出力することであることを特徴とする。この発明では、送出フレーム順に基づいて、ＧＯＶ内の各フレームに対して符号化を行う際に、最適な符号化出力を得ることができる。
【００５５】
更に、本発明は、エンコード部によって生成された少なくとも１つの符号化フレームのまとまりを格納することができる第３のフレーム格納用メモリの内容を、次の少なくとも１つの符号化フレームのまとまりがエンコード部によって生成され、伝送する時刻になった時点で破棄し、エンコード部によって生成された次の少なくとも１つの符号化フレームのまとまりを速やかに格納することを特徴とする。この発明では、伝送路の伝送ビットレートを常に監視することなく符号化ビットレートを制御し、伝送ビットレートの変動を検出するまでにかかる一定の時間差による伝送遅延の拡大や、ＧＯＶの復号に与える影響を軽減することができる。
【００５６】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる任意参照フレームを利用した画像符号化伝送装置の一実施の形態のブロック図を示す。この実施の形態の画像符号化伝送装置は、主に入力画像を少なくとも１つの参照フレームを利用して符号化することができる符号化部１０１と、少なくとも１つの符号化フレームのまとまりで構成されたＧＯＶを伝送路に対して効率良く伝送することができる符号化伝送部１０２と、符号化伝送したい画像を符号化部１０１が取得できるようにすることができる入力手段１０３と、符号化フレームを画像受信復号化装置に伝送することができるネットワークもしくは格納手段１２２とから構成される。
【００５７】
更に、本実施の形態において符号化部１０１は、緩衝バッファ１０４、スイッチＳＷ１〜ＳＷ５、第１複数フレーム格納用メモリ１０６、入出力フレーム管理手段１０７、緩衝バッファ１０９、参照フレーム制御手段１１０、エンコード部１１１、第２複数フレーム格納用メモリ１１３、ローカルデコード部１１６によって構成される。ここで、符号化部１０１は、図１１に示した符号化部５０１のフレーム参照予測メモリ５１２が第２複数フレーム格納用メモリ１１３に拡張された構成となっており、それに伴い、図１１のＧＯＶ管理手段５０５が図１では参照フレーム制御手段１１０及び入出力フレーム管理手段１０７に拡張された構成である。
【００５８】
また、図１のローカルデコード部１１６は、図８のローカルデコード部３１５に対応し、図１の第２複数フレーム格納用メモリ１１３は、図８の参照予測メモリ３０９に対応し、エンコード部１１１は、図８の残りの部分に対応する。
【００５９】
符号化部１０１の各構成要素に関する説明を以下に述べる。緩衝バッファ１０４は、入力手段１０３から入力される画像フレームを一時的に複数フレーム格納するのに十分な量のバッファ領域を持ち、第１複数フレーム格納用メモリ１０６にＧＯＶ分のフレームを格納する際の調整を行うためのバッファである。
【００６０】
スイッチＳＷ１は、緩衝バッファ１０４と第１複数フレーム格納用メモリ１０６との間の接続を管理するためのものである。スイッチＳＷ１は、入出力フレーム管理手段１０７により接続や切断及び切り替えを行う。第１複数フレーム格納用メモリ１０６は、エンコード部１１１がＧＯＶ単位で符号化を行うことができるように、少なくともＧＯＶを構成する際に必要な入力フレーム数分を格納することができる必要がある。
【００６１】
例えば、入力画像のフレームレートが３０［ｆｐｓ］、１ＧＯＶが０．５秒、１ＧＯＶ内に格納される符号化フレーム数が１５である場合には、第１複数フレーム格納用メモリ１０６は、少なくとも１５フレーム分の入力画像を格納することができるメモリ領域を確保している。
【００６２】
入出力フレーム管理手段１０７は、符号化をＧＯＶ単位で制御するために、緩衝バッファ１０４から第１複数フレーム格納用メモリ１０６に対する入力フレームの格納を、スイッチＳＷ１の接続や切断及び切り替えを行うことによって管理する。また、入出力フレーム管理手段１０７は、緩衝バッファ１０９からの出力信号をスイッチＳＷ５の接続や切断及び切り替えを行うことによって管理する。更に、入出力フレーム管理手段１０７は、ＧＯＶ単位の符号化を開始する要求を参照フレーム制御手段１１０に通知することにより、ＧＯＶ単位で符号化を開始するタイミングを管理する。
【００６３】
すなわち、入出力フレーム管理手段１０７は、第１複数フレーム格納用メモリ１０６にＧＯＶを符号化するために必要な入力フレームが格納されているかを監視する。第１複数フレーム格納用メモリ１０６にＧＯＶ単位で符号化するために十分な入力フレームが格納されていることを確認することで、ＧＯＶ単位でＧＯＶ内に含まれる任意のフレーム順で符号化を行うことができるようになる。
【００６４】
また、エンコード部１１１から出力される符号化フレームの監視を行うことで、第３複数フレーム格納用メモリ１１７の格納状態を制御することが可能となる。更に、第１複数フレーム格納用メモリ１０６と第３複数フレーム格納用メモリ１１７の格納状況を参照フレーム制御手段１１０に通知することで、参照フレーム制御手段１１０がＧＯＶ単位での符号化の開始タイミングや、少なくとも１つの参照フレームを制御することが可能となる。
【００６５】
スイッチＳＷ５は、緩衝バッファ１０９に一時的に格納されているＧＯＶの出力タイミングを管理するためのものである。このスイッチＳＷ５の接続や切断及び切り替えのタイミングは、入出力フレーム管理手段１０７によって管理されている。緩衝バッファ１０９は、エンコード部１１１から出力されるＧＯＶの符号化フレームを、ＧＯＶ単位で符号化伝送部に対して出力するために、一時的に格納するための緩衝バッファである。
【００６６】
スイッチＳＷ２は、第１複数フレーム格納用メモリ１０６とエンコード部１１１との間の接続を管理するためのスイッチで、参照フレーム制御手段１１０により接続や切断及び切り替え制御される。第２複数フレーム格納用メモリ１１３は、ローカルデコード部１１６が生成した参照フレームをＧＯＶ内の対応するフレーム位置に格納することができるように、少なくともＧＯＶを構成する際に必要なフレーム数を格納することができるフレームメモリを備える必要がある。例えば、入力画像のフレームレートが３０［ｆｐｓ］、１ＧＯＶが０．５秒、１ＧＯＶ内に格納される符号化フレーム数が１５である場合には、第２複数フレーム格納用メモリ１１３は、少なくとも１５フレーム分の参照フレームを格納することができるメモリ容量を確保する。
【００６７】
スイッチＳＷ３は、ローカルデコード部１１６と第２複数フレーム格納用メモリ１１３との間の接続を管理するためのスイッチで、参照フレーム制御手段１１０により接続や切断及び切り替え制御される。スイッチＳＷ４は、第２複数フレーム格納用メモリ１１３とエンコード部１１１、第２複数フレーム格納用メモリ１１３とローカルデコード部１１６との間の接続を管理するためのスイッチで、参照フレーム制御手段１１０により接続や切断及び切り替え制御される。
【００６８】
参照フレーム制御手段１１０は、スイッチＳＷ２の接続や切断及び切り替えを所定のフレーム送出順に基づいてエンコード部１１１に入力すべき入力フレームを特定し、エンコード部１１１に正しい入力フレームが入力されるように制御を行う。また、参照フレーム制御手段１１０は、スイッチＳＷ３の接続や切断及び切り替えを管理することにより、ローカルデコード部１１６が生成する参照フレームを、第２複数フレーム格納用メモリ１１３内の、対応する参照フレーム位置に正しく格納することができるように制御を行う。
【００６９】
更に、参照フレーム制御手段１１０は、スイッチＳＷ４の接続や切断及び切り替えを管理することにより、所定のフレーム送出順を適用した場合における、現在符号化しようとしている入力フレームの位置に対して、所定のフレーム送出順では既に送出済みになっている参照フレームを符号化の予測に利用することができるように制御を行う。
【００７０】
ローカルデコード部１１６は、例えば図８に示されるようなＭＰＥＧの符号化装置内に含まれるローカルデコード部１１５のような構成である。すなわち、エンコード部１１１からローカルデコード部１１６に対して出力される符号化フレームは、図８におけるエントロピー符号化器の入力側の量子化器による量子化後の符号化フレームに相当するため、ローカルデコード部１１６は、少なくとも逆量子化器と逆直交変換器を備えている。
【００７１】
また、ローカルデコード部１１６は、エンコード部１１１から出力される符号化フレームを取得すると、逆量子化器により逆量子化を行った後、逆直交変換を行うことで、現在符号化が行われた符号化フレームの復号フレームを得る。ローカルデコード部１１６は、この復号フレームを参照フレームとしてスイッチＳＷ３を介して第２複数フレーム格納用メモリ１１３に出力し、次の入力フレームの符号化に備える。
【００７２】
エンコード部１１１は、例えば図８に示されるようなＭＰＥＧの符号化装置のように、ＩＶＯＰを符号化する場合には、第１複数フレーム格納用メモリ１０６から取得することができる入力フレームに対して、所定の直交変換を行う。ここで、所定の直交変換は、ＭＰＥＧではＤＣＴを採用する。しかし、本実施の形態の画像符号化伝送装置におけるエンコード部１１１、ローカルデコード部１１６、及び画像受信復号化装置のデコード部２１６は、共に同じ直交変換を用いていれば、所定の直交変換がアダマール変換や、ウェーブレット変換などの他の直交変換であっても構わず、特に限定されるものではないことに注意する必要がある。
【００７３】
その後、図８に示した構成のエンコード部１１１内の量子化器により情報量の削減を行う。ＰＶＯＰ、ＢＶＯＰの場合には、第１複数フレーム格納用メモリ１０６から取得することができる入力フレームと、第２複数フレーム格納用メモリ１１３から取得することができる参照フレームを利用して、参照フレームに対して動き補償を行ったフレームと入力フレームとの差分フレームに対して、所定の直交変換を行う。その後、エンコード部１１１内の量子化器により情報量の削減を行う。
【００７４】
エンコード部１１１は、この時点での符号化データをローカルデコード部１１６に対して出力する。更に、量子化後の符号化データに対して、エントロピー符号化を行う。その後、同様にエントロピー符号化されたベクトル情報などの付加情報を、エンコード部１１１内の多重化器により多重化する。エンコード部１１１は、このようにして符号化された符号化フレームを緩衝バッファ１０９に対して出力する。
【００７５】
更に、符号化時の符号量を最小にする必要がある場合には、エンコード部１１１内のバッファメモリを符号量制御器が監視し、少なくとも１つの参照フレームを利用して少なくとも１回の符号化を行い、符号化を行うたびに出力される符号化結果の符号量を監視して、符号量が一番少ない時の符号化結果を符号化フレーム出力とする必要がある。よって、エンコード部１１１内の符号量制御器は、参照フレーム制御手段１１０に対して参照フレーム変更要求を通知することができる。
【００７６】
参照フレーム制御手段１１０は、この参照フレーム変更要求を取得すると、所定のフレーム送出順に基づいて現在符号化している入力フレームよりも既に前に符号化出力している参照フレームの中から別の参照フレームに切り替える。これにより、エンコード部１１１は所定のフレーム送出順に基づいた新たな参照フレームを取得することができる。
【００７７】
この操作を繰り返すことで、複数の参照フレームで符号化した際の符号量を比較することができ、エンコード部１１１は最小の符号量となる参照フレームを特定し、最小の符号量をもつ符号化フレームを緩衝バッファ１０９に対して出力することができる。
【００７８】
例えば、１５フレームを１ＧＯＶとして符号化を行っているものとし、図２に示すような所定のフレーム送出順に基づいて符号化が行われており、現在は伝送される順番の３番目まで符号化が進んでいるものとする。つまり、フレーム番号では、０、８、４、１２番目のフレームまでが既に符号化されて参照フレームとして図１の第２複数フレーム格納用メモリ１１３に格納されているものとする。
【００７９】
通常の符号化であれば、参照フレームは符号化した直後の１フレーム分しか格納せず、それ以前に符号化された際の参照フレームは利用することができない。しかし、本実施の形態であれば、スイッチＳＷ４を制御することで、現在までの符号化によって生成された参照フレーム、すなわち、ここでは第２複数フレーム格納用メモリ１１３に格納されているフレーム番号０、８、４、１２のフレームを参照フレームとして利用することができる。
【００８０】
よって、次の符号化対象であるフレーム番号２（伝送される順番では４）の符号化を行う際に利用する参照フレームは、フレーム番号０、８、４、１２の４つから選択することができる。そこで、これら４つのフレームにおいてそれぞれ符号化を行い、その時の出力符号量をそれぞれ取得して各出力符号量を比較して最小の符号量を出力する参照フレームを特定することができる。
【００８１】
次に、符号化伝送部１０２について説明する。本実施の形態において符号化伝送部１０２は、第３複数フレーム格納用メモリ１１７、符号化ビットストリーム解析手段１１８、フレーム送出順制御手段１１９、スイッチＳＷ６及び伝送パケット送出手段１２１より構成されている。符号化伝送部１０２の各構成要素に関する説明を以下に述べる。
【００８２】
第３複数フレーム格納用メモリ１１７は、エンコード部１１１によって生成された符号化フレームをＧＯＶ分一時的に蓄積している緩衝バッファ１０９からスイッチＳＷ５を介してＧＯＶを取得し、格納することができるメモリを備えている。この第３複数フレーム格納用メモリ１１７のメモリ量は、符号化部１０１の最大ビットレートや、伝送路であるネットワークもしくは格納手段１２２の最大ビットレートから予め算出して確保されている。
【００８３】
符号化ビットストリーム解析手段１１８は、第３複数フレーム格納用メモリ１１７に格納されたＧＯＶのＧＯＶヘッダ及び各符号化フレームのヘッダ情報を解析し、各符号化フレーム毎に所定のフレーム送出順で伝送路によって伝送する際に必要となるＧＯＶ内での符号化フレームの位置を特定するための情報を収集する。
【００８４】
また、符号化ビットストリーム解析手段１１８は、フレーム送出順制御手段１１９に対して、符号化伝送開始要求を行うことにより、第３複数フレーム格納用メモリ１１７に格納されたＧＯＶを伝送路によって伝送するタイミングを管理する。また、収集したＧＯＶ内での符号化フレームの位置を特定するための情報をフレーム送出順制御手段１１９に対して通知する。さらに、フレーム送出順制御手段１１９からＧＯＶ内の符号化フレームの送出が完了したことを取得する手段を備える。
【００８５】
この他に、符号化ビットストリーム解析手段１１８は、第３複数フレーム格納用メモリ１１７からスイッチＳＷ６を介して符号化フレームを取得し、伝送パケット送出手段１２１に対して出力する。その際に、ＧＯＶヘッダ情報内のタイムコード（ｔｉｍｅ＿ｃｏｄｅ）や、符号化フレームのヘッダ情報内のモジュロ・タイムベース（ｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅ）、ｖｏｐタイム・インクリメント（ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ）などの情報で修正が必要な場合には、この符号化ビットストリーム解析手段１１８において、これらのヘッダ情報を修正することができる手段を備えていることが望ましい。
【００８６】
フレーム送出順制御手段１１９は、符号化ビットストリーム解析手段１１８によって通知されるＧＯＶ内での符号化フレームの位置を特定するための情報と、所定のフレーム送出順に基づいてスイッチＳＷ６の接続や切断及び切り替えを行うことで、第３複数フレーム格納用メモリ１１７に格納されているＧＯＶ内の符号化フレームの送出順を管理する。ここでは、第３複数フレーム格納用メモリ１１７にはエンコード部１１１で生成された符号化フレームが、生成された順番で入力され、その入力順のまま第３複数フレーム格納用メモリ１１７から符号化フレームを出力するようにスイッチＳＷ６を切り替え制御する。
【００８７】
また、フレーム送出順制御手段１１９は、スイッチＳＷ６の切り替えを行った際に、ＧＯＶ内の符号化フレームが全て送出されたことを検出した場合には、符号化ビットストリーム解析手段１１８に対して、ＧＯＶ内の符号化フレームの送出が完了したことを通知する。
【００８８】
スイッチＳＷ６は、第３複数フレーム格納用メモリ１１７と符号化ビットストリーム解析手段１１８との間の接続を管理するためのスイッチで、フレーム送出順制御手段１１９により接続や切断及び切り替え制御される。伝送パケット送出手段１２１は、符号化ビットストリーム解析手段１１８から符号化フレームを取得し、取得した符号化フレームを少なくとも１つのパケットに分解して、伝送路であるネットワークもしくは格納手段１２２に対して伝送する。
【００８９】
送出する符号化フレームを伝送路に対してパケット化して伝送するための伝送パケット送出手段１２１を備えることで、フレーム送出順制御手段１１９によって特定されたＧＯＶ内の現在伝送しようとしている符号化フレームを、伝送路において効率良く伝送することができるパケットサイズにパケット化して伝送することができる。以上のような構成と各構成要素の機能を備えることで、本発明の画像符号化伝送装置の一実施の形態を実現することができる。
【００９０】
次に、本発明である画像符号化伝送装置及び画像受信復号化装置における動作において、所定のフレーム送出順が重要な要素となることから、この所定のフレーム送出順と、符号化時の参照フレームの選択方法について以下に説明する。
【００９１】
まず、所定のフレーム送出順の決定方法について図２、図３を用いて以下に説明する。図２は、ＧＯＶ内に含まれる符号化フレームが伝送される順番と、ＧＯＶ内に含まれるそれぞれの符号化フレームがどの参照フレームによって符号化されるかを示した図である。図３は本発明において所定のフレーム送出順を求める方法を示したフローチャートである。なお、図３の処理は予め外部で行っておいて、その結果である送出フレーム順に関する情報を参照フレーム制御手段１１０に予め保持して利用できるようにするか、あるいは、参照フレーム制御手段１１０が、符号化伝送装置全体の起動時に行う初期化処理の段階で行う。
【００９２】
まず、符号化フレームのまとまり、つまり、本実施の形態ではＧＯＶに含まれる符号化フレーム数をＭとする。格納されているフレーム番号は０からＭ−１までの整数であると表現することができる。ここで、フレーム番号０を最初の送出フレーム番号とする。以後の説明では、Ｍ＝１５で、ＧＯＶ内で先頭のフレームがＩＶＯＰである以外はすべてＰＶＯＰによってＧＯＶが構成されているものとして話を進める。
【００９３】
最初に、Ａ＝Ｍ、Ｃ＝１に初期化する（ステップＳ１０１）、ここで、Ａは演算の途中で利用する変数である。Ｃはフレーム送出順をいくつ求めたかを計数するためのカウンタ変数である。既に最初に送出するフレーム番号は、０番目のフレームであるものとしており、既に求められたフレーム送出順は、１であることからこのような初期化を行っている。今、Ｍ＝１５であるため、Ａ＝１５，Ｃ＝１で初期化が行われる。
【００９４】
続いて、次式
Ｂ＝［（Ａ＋１）／２］
により変数Ｂを算出する（ステップＳ１０２）。ただし、上式中、［  ］はガウス記号を示す。続いて、変数ｎを０に初期化した後（ステップＳ１０３）、次式
Ｄ＝Ｂ＋２×Ｂ×ｎ
により変数Ｄを算出する（ステップＳ１０４）。
【００９５】
このステップＳ１０４で求められるＤは、ｎを正の整数であるとすると、初項をＢ、公比を２×Ｂとする等比数列で生成される数列であると考えられる。よって、フレーム０の位置から、Ｂの間隔で次のフレーム伝送順に対応するフレーム番号が求まることになる。
【００９６】
次に、Ｄ＜Ｍであるかを判定する（ステップＳ１０５）。ステップＳ１０５においてＤ＜Ｍと判定された場合は、ステップＳ１０４において求められたフレーム伝送順のフレーム位置が、ＧＯＶ内に存在するフレーム位置に収まっていることを意味する。Ｄ＜Ｍの場合は、ステップＳ１０６に進んで、ステップＳ１０４で求められたＤを次のフレーム伝送順として採用し、この値を次のフレーム送出番号として保存する。
【００９７】
その後、ステップＳ１０７に進み、Ｃ＝Ｃ＋１，ｎ＝ｎ＋１を求める。このステップＳ１０７では、新たにフレーム伝送順が求まったため、カウンタＣを１つ増加させている。また、次の数列を求めるため、ｎを１つ増加させている。ステップＳ１０７の処理が終わると、次にステップＳ１０４に進み次の数列の値が求められる。他方、ステップＳ１０５においてＤ＜Ｍと判定された場合は、ステップＳ１０４において求められたフレーム伝送順のフレーム位置が、ＧＯＶ内に存在するフレーム位置に収まっていないことを意味する。
【００９８】
ここで、ここまでの処理において実際に行われたことを確認することにする。まず、一番初めのフレーム伝送順は、フレーム０から始まっている。次のフレーム伝送順は、初項Ｂ、つまりＢ＝８であるため、フレーム８が次のフレーム伝送順として採用される。その後、公比２×Ｂで増加するため、再度Ｄを計算すると、Ｄ＝８＋２×８×１＝２４となる。この値は、Ｍ＝１５を超えているため、ＧＯＶ内に存在することができないため、Ｃ＞Ｍであるかを判定する（ステップＳ１０８）。
【００９９】
Ｃ＞Ｍである場合には、ＧＯＶ内に含まれる全てのフレームがフレーム伝送順として採用されたことを表していることから、フレーム伝送順を求める処理を終了する。他方、ステップＳ１０８においてＣ＞Ｍでないと判定された場合には、ステップＳ１０９に進み、Ａ＝Ｂ、すなわち、Ａの値をＢの値とする。その後、ステップＳ１０２に戻って処理を継続する。
【０１００】
以上のような処理を行うことで、本発明のフレーム伝送順を求めることができる。参考までに、ステップＳ１０２からの実際の処理をもう少し継続して説明する。現在、ステップＳ１０８で、求められたフレーム伝送順が、フレーム０、フレーム８の順であり、Ａ＝１５，Ｂ＝８、Ｄ＝２４，Ｃ＝２，ｎ＝１である所から処理を継続する。
【０１０１】
この時点ではＣ＞Ｍではないため、ステップＳ１０９に進む。ステップＳ１０９では、Ａの値をＢの値「８」に更新するため、Ａ＝８に更新される。次に、ステップＳ１０２に進み、再度Ｂ＝［（Ａ＋１）／２］を求める。Ａ＝８に更新されたため、Ｂ＝［４．５］＝４と求まる。その後、ステップＳ１０３でｎ＝０にリセットされ、ステップＳ１０４で、新たなＢ＝４を用いてフレーム伝送順を求める。すると、Ｄの値は、４（ｎ＝０のとき）、１２（ｎ＝１のとき）、２０（ｎ＝２のとき）のように変化する（ステップＳ１０４〜Ｓ１０７の繰り返し）。従って、ｎ＝２の時点でＤ＜Ｍではなくなるため、再度ステップＳ１０９でＡの値をＢの値（この時点では４）に更新してから、上記の処理が繰り返される。従って、現在までで、フレーム伝送順は、フレーム０→フレーム８→フレーム４→フレーム１２まで求められたことになる。続きのフレーム伝送順は、図２（Ｃ）の「伝送される順番」に示されるような順番が求められることにより、処理が完了する。
【０１０２】
なお、図２（Ｃ）及び（Ｄ）に示す「伝送される順番」及び「参照するフレーム番号」は、４本の水平線上に数値が記載されているが、これは図示の便宜上で記載したものであって、時間的には左から右へ、かつ、上から下へ推移する。すなわち、図２（Ｃ）に図示されているのは伝送される順番であって、フレーム番号ではなく、最初は０で示す位置の同図（Ｂ）に示すフレーム番号０のフレームが伝送され、次に同図（Ｃ）に１で示す位置の同図（Ｂ）に示すフレーム番号８のフレームが伝送され、続いて同図（Ｃ）に２で示す位置の同図（Ｂ）に示すフレーム番号４のフレームが伝送され、続いて同図（Ｃ）に３で示す位置の同図（Ｂ）に示すフレーム番号１２のフレームが伝送され、以下、同様にしてフレーム番号２、フレーム番号６、フレーム番号１０、・・・の順で各フレームが伝送され、最後に図２（Ｃ）に１４で示す位置の同図（Ｂ）に示すフレーム番号１３のフレームが伝送される。
【０１０３】
次に、本発明のフレーム伝送順に基づいた符号化時の参照フレームの選択方法について説明する。まず、図２（Ａ）に四角で囲んでフレームの種類を模式的に示しており、ＧＯＶ内の符号化フレームの先頭はＩで示すようにＩＶＯＰであり、２番目以降の符号化フレームはＰで示すようにＰＶＯＰによって構成され、また、ＧＯＶは０．５秒分、ＧＯＶに含まれる符号化フレームは１５フレームであるものとする。また、符号化フレームが伝送される順番は、図２（Ｃ）に示されるような、本実施の形態における所定のフレーム送出順であるものとする。
【０１０４】
ＧＯＶ内で初めに符号化されるフレームは、ＧＯＶの先頭フレームであるフレーム０である。このフレーム０がＩＶＯＰとして符号化される。次に、図２（Ｄ）の「伝送される順番」で示すように、フレーム番号８のフレーム（フレーム８）が次に符号化されるべきフレームであることが分かる。
【０１０５】
従来、このフレーム８を符号化しようとした場合には、あるサンプル間隔で入力された入力フレームの中のフレームの１つが、このフレーム８である。このフレーム８は、ＰＶＯＰとして符号化する必要があるため、通常の参照フレームは、このフレーム８よりも１つ前に符号化したフレームの参照フレームを利用することになる。
【０１０６】
つまり、従来法では、現在符号化しようとしているフレームがフレーム８で、１つ前に符号化したフレームがフレーム０である場合には、符号化を行う際のサンプル間隔が８であることになる。このことは、それ以降のフレームを符号化する際にもサンプル間隔が８で符号化しなければならず、この場合のフレームレートは、２［ｆｐｓ］となってしまう。
【０１０７】
これに対し、本実施の形態では、現在符号化しようとしているフレームよりも前に符号化したフレームの参照フレームであれば利用することが可能であるため、図２（Ｄ）に示すように、フレーム８はフレーム０を参照して符号化される。続いて、３番目に伝送されるフレーム４は、フレーム０及びフレーム８を参照することが可能であるが、ここでは図２（Ｄ）に示すように、フレーム０を参照している。更に、４番目に伝送されるフレーム１２は、フレーム０、８、４を参照することが可能であるが、ここでは図２（Ｄ）に示すように、最もフレーム１２に近いフレーム８を参照している。
【０１０８】
このように、本実施の形態では、図２（Ｄ）に示すように、伝送される順番に従い、しかもＧＯＶ内の既に符号化されたフレーム位置の参照フレームの中から、一番時間的に近い参照フレームを利用することが可能である。
【０１０９】
更に、本発明は所定のフレーム送出順に従って符号化を行うため、符号化の際のフレーム間隔が上述した従来法で示されたような現象は発生せず、徐々にフレーム間隔が短くなるように符号化が進む。このことにより、復号側でのフレームレートは、本発明の所定のフレーム送出順と参照フレームの選択方法によって、復号することができたフレーム数の分だけ向上することが可能になる。
【０１１０】
以上のようなフレーム伝送順の求め方を採用することで、このようなフレーム伝送順で伝送路を介して符号化フレームを伝送し、画像受信復号化装置で伝送された順番で復号することが可能なように画像符号化伝送装置によって符号化を行った場合に新たな効果が生じることになる。
【０１１１】
図２のＧＯＶ構成の例では、初めのうちは、ＧＯＶに含まれるフレーム数Ｍ＝１５の約半分の８フレーム分の時間間隔で再生フレームが復号される。その後、復号されるフレームの間隔が更に半分の８／２＝４フレーム分になり、最終的には復号されるフレームの間隔が１フレーム分になり、本来のフレームレートとなる。
【０１１２】
ここで、仮に伝送路の伝送ビットレートが急激に低下して、ＧＯＶに含まれる符号化フレームのうち、半分の量しか伝送されなかった場合を考える。上記のように１ＧＯＶは０．５秒分で、ＧＯＶに含まれるフレーム数Ｍは、Ｍ＝１５であり、また、復号側ではＧＯＶ１５フレームのうち８フレーム分しか受信することができなかったものとする。
【０１１３】
従来法では、フレームレートはそのままの３０［ｆｐｓ］であるため、受信することができた８フレーム分、つまり約０．２５秒分の画像は滑らかな動画像表示が行われるが、その後の残り約０．２５秒分は、表示するフレームが存在しないため、動画像表示を約０．２５秒間停止させてしまうことになる。このことは、後半の０．２５秒間に動画像表示内で起こった内容が完全に欠落してしまうことを意味する。このような現象が生じてしまうと、順にＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）や監視カメラなどで映像の配信を行っていたとすると、映像中の重要な情報を見逃してしまう可能性が高まり、映像品質上重要な影響を与えることになる。
【０１１４】
これに対し、本実施の形態では、仮にＧＯＶ内の前半８フレームだけしか受信することができなかったとしても、本実施の形態のフレーム伝送順に基づいた符号化により、復号時にフレームレートが自動的に減少し、しかもＧＯＶ単位でできる限り等間隔で再生表示ができるようにＧＯＶ内の符号化フレームを構成することができるため、本来であれば０．２５秒分の動画像表示しかできないところ、本実施の形態ではフレームレートが低下した分、映像表示の滑らかさは低下して、フレーム間で起こった映像の内容は欠落する可能性が生じることはあるが、映像の内容が完全に欠落してしまうということは回避できる。
【０１１５】
この効果は、伝送路の伝送ビットレートが頻繁に変動するような環境で符号化フレームの伝送を行った場合において更に顕著である。従来法では、頻繁に伝送レートが変動した場合には、映像情報が細切れに再生されることになり、映像全体の内容を把握することが極端に困難になってくる。しかし、本実施の形態のように、フレームレートが受信フレームに応じて動的に変化することにより、映像全体の内容を把握することはさほど気にすることなく再生され、しかもフレームレートの極端な変動も回避することができるため、このような伝送レートが頻繁に変動するような環境に対してはかなり有効な手法であることが分かる。
【０１１６】
また、以上の効果とは別の新たな効果も生じる。伝送路によって伝送される符号化フレームは、予め符号化されたビットストリームであった場合を考える。従来法で符号化されたビットストリームであれば、復号時のフレームレートは、符号化時に決定されてしまう。よって、必要に応じてフレームレートを制御仕様とした場合には、何らかのトランスコーディング手段が必要となる。
【０１１７】
一方、本実施の形態であれば、一度作成したビットストリームにおいて、ＧＯＶ単位で復号し、ある位置で復号を止めることで、今まで復号したフレーム数に応じたフレームレートでＧＯＶを再生表示することが可能となる。更に、本実施の形態においては、画像受信復号化装置側のデコード能力が低い場合であっても、同様の理由から、デコードできるフレーム数に応じてそれなりのフレームレートで再生表示を行うことが可能となる。
【０１１８】
次に、本発明である画像符号化伝送装置における動作について、図１の本発明の画像符号化伝送装置の一実施の形態のブロック図と、図４、図５、図６の各フローチャートを参照して以下に説明する。図４は図１における符号化器１０１の動作を表すフローチャートである。
【０１１９】
以下に、図１における符号化器１０１の動作を説明する。入力手段１０３により画像入力が開始されると、符号化器１０１は入力手段１０３から取得した入力フレームを緩衝バッファ１０４に格納する（図４のステップＳ２０１）。この時点で、ＧＯＶを構成するために必要なフレーム数が既に緩衝バッファ１０４に格納されているものとする。
【０１２０】
ステップＳ２０２で、入出力フレーム管理手段１０７は、緩衝バッファ１０４にＧＯＶを構成するために必要なフレーム数が十分格納されているかを判定する。緩衝バッファ１０４に十分フレームが格納されている場合には、ステップＳ２０３に進む。緩衝バッファ１０４に十分フレームが格納されていない場合には、端子▲３▼に進み、符号化部１０１の処理を終了する。
【０１２１】
ステップＳ２０３で、入出力フレーム管理手段１０７はスイッチＳＷ１を接続する。入出力フレーム管理手段１０７によってスイッチＳＷ１が接続されると、緩衝バッファ１０４から第１複数フレーム格納用メモリ１０６に対して、ＧＯＶを構成するために必要なフレーム数を格納することができるようになり、第１複数フレーム格納用メモリ１０６は緩衝バッファ１０４から入力される入力フレームを、ＧＯＶを構成するために必要なフレーム数分格納する（図４のステップＳ２０４）。
【０１２２】
第１複数フレーム格納用メモリ１０６にＧＯＶを構成するために必要なフレーム数を十分格納すると、入出力フレーム管理手段１０７はスイッチＳＷ１とＳＷ５を切断する（図４のステップＳ２０５）。続いて、入出力フレーム管理手段１０７は、参照フレーム制御手段１１０に対して符号化開始要求を通知する（図４のステップＳ２０６）。その後、参照フレーム制御手段１１０は、スイッチＳＷ２とスイッチＳＷ３をＧＯＶの先頭フレームが取得できるような位置に接続し（図４のステップＳ２０７）、更に、スイッチＳＷ４を切断する（図４のステップＳ２０８）。
【０１２３】
続いて、参照フレーム制御手段１１０は、エンコード部１１１に対して符号化開始要求を通知する（図４のステップＳ２０９）。すると、エンコード部１１１は、第１複数フレーム格納用メモリ１０６から、スイッチＳＷ２を介して入力フレームを取得して（図４のステップＳ２１０）、その入力フレームを符号化する（図４のステップＳ２１１）。そして、エンコード部１１１は、符号化フレームを緩衝バッファ１０９に出力する（図４のステップＳ２１２）。また、ローカルデコード部１１６が、エンコード部１１１から符号化フレームを取得する（図４のステップＳ２１３）。
【０１２４】
ローカルデコード部１１６は、取得した符号化フレームを復号化して参照フレームを生成し（図４のステップＳ２１４）、その参照フレームをスイッチＳＷ３を介して第２複数フレーム格納用メモリ１１３に格納する（図４のステップＳ２１５）。次に、参照フレーム制御手段１１０は、所定のフレーム送出順に基づいた現在の符号化フレーム位置から、ＧＯＶ内の全ての符号化フレームが揃ったかどうか判定する（図４のステップＳ２１６）。全ての符号化フレームが揃った場合には、端子▲１▼に対応するステップＳ２２６に進む。全ての符号化フレームが揃っていない場合には、ステップＳ２１７に進む。
【０１２５】
全ての符号化フレームが揃っていない場合には、参照フレーム制御手段１１０は、所定のフレーム送出手段に基づきスイッチＳＷ２、スイッチＳＷ３、スイッチＳＷ４をＧＯＶの次のフレームが取得できるような位置に切り替える。その後、参照フレーム制御手段１１０は、エンコード部１１１に対して符号化開始要求を通知する（図４のステップＳ２１８）。
【０１２６】
エンコード部１１１は、上記の符号化開始要求に基づき、第１複数フレーム格納用メモリ１０６からスイッチＳＷ２を介して入力フレームを取得すると共に、第２複数フレーム格納用メモリ１１３からスイッチＳＷ４を介して参照フレームを取得する（図４のステップＳ２１９）。その後、エンコード部１１１は、取得した入力フレームと参照フレームにより符号化を行い（図４のステップＳ２２０）、得られた符号化フレームを緩衝バッファ１０９に出力する（図４のステップＳ２２１）。
【０１２７】
次に、ローカルデコード部１１６は、エンコード部１１１から符号化フレームを取得すると共に、第２複数フレーム格納用メモリ１１３からスイッチＳＷ４を介して参照フレームを取得する（図４のステップＳ２２２）。続いて、ローカルデコード部１１６は、取得した符号化フレームと参照フレームにより復号化を行って参照フレームを生成し（図４のステップＳ２２３）、その参照フレームをスイッチＳＷ３を介して第２複数フレーム格納用メモリ１１３に格納する（図４のステップＳ２２４）。
【０１２８】
続いて、参照フレーム制御手段１１０は、所定のフレーム送出順に基づいた現在の符号化フレーム位置から、ＧＯＶ内の全ての符号化フレームが揃ったかどうか判定する（図４のステップＳ２２５）。全ての符号化フレームが揃った場合には、ステップＳ２２６に進む。全ての符号化フレームが揃っていない場合には、ステップＳ２１７に進み、再び前述したステップＳ２１７〜Ｓ２２４の処理を行う。
【０１２９】
参照フレーム制御手段１１０は、ステップＳ２１６又はステップＳ２２６で、ＧＯＶ内の全ての符号化フレームが揃ったと判定した場合は、入出力フレーム管理手段１０７及びエンコード部１１１に対してＧＯＶ符号化停止要求を通知し（図４のステップＳ２２６）、スイッチＳＷ２を切断する（図４のステップＳ２２７）。一方、入出力フレーム管理手段１０７は、スイッチＳＷ５を接続する（図４のステップＳ２２８）。これにより、緩衝バッファ１０９からスイッチＳＷ５を介して、符号化伝送部１０２内の第３複数フレーム格納用メモリ１１７にＧＯＶ内の全ての符号化フレームが格納される（図４のステップＳ２２９）。その後、端子▲２▼に対応するステップＳ２０２に進む。
【０１３０】
以上のような処理を行うことで、本実施の形態の画像符号化伝送装置の動作が行われ、従来法における各種の課題を解決することが可能となる。
【０１３１】
次に、図１の符号化伝送部１０２の動作について、図５及び図６のフローチャートを参照して説明する。まず、符号化部１０１内の緩衝バッファ１０９からＧＯＶが取得できる状態であるかどうか判定し（図５のステップＳ３０１）、取得できる場合には第３複数フレーム格納用メモリ１１７は緩衝バッファ１０９からＧＯＶを取得する（図５のステップＳ３０２）。続いて、符号化ビットストリーム解析手段１１８は、第３複数フレーム格納用メモリ１１７からＧＯＶ内のヘッダ情報を取得して（図５のステップＳ３０３）、そのヘッダ情報を解析し（図５のステップＳ３０４）、フレーム送出順制御手段１１９に対して符号化伝送開始要求を行う（図５のステップＳ３０５）。
【０１３２】
これにより、フレーム送出順制御手段１１９は、所定のフレーム送出順に基づき、スイッチＳＷ６を切り替え（図５のステップＳ３０６）、第３複数フレーム格納用メモリ１１７に格納されている符号化フレームを、所定のフレーム送出順に符号化ビットストリーム解析手段１１８に供給させる（図５のステップＳ３０７）。符号化ビットストリーム解析手段１１８は、入力された符号化フレームに対して必要なヘッダ情報を追加・修正して（図５のステップＳ３０８）、符号化フレームをヘッダ情報と共に伝送パケット送出手段１２１へ出力する（図５のステップＳ３０９）。以上のステップＳ３０５〜Ｓ３０９の動作は、ＧＯＶ内の符号化フレームがすべて処理されるまで繰り返される（図５のステップＳ３１０）。
【０１３３】
次に、伝送パケット送出手段１２１は、符号化ビットストリーム解析手段１１８から符号化フレームを取得できるかどうか判定し（図６のステップＳ４０１）、取得できる場合には符号化フレームを取得する（図６のステップＳ４０２）。そして、伝送パケット送出手段１２１は、取得した符号化フレームをパケット化し（図６のステップＳ４０３）、そのパケット化したデータを、伝送路であるネットワーク若しくは格納手段１２２へ出力する（図６のステップＳ４０４）。最後に、伝送パケット送出手段１２１は、パケット化したデータを全てネットワーク若しくは格納手段１２２へ出力した時点で処理を終了する（図６のステップＳ４０５、Ｓ４０４）。
【０１３４】
次に、本発明の画像符号化伝送装置から伝送路を介して伝送される符号化ビットストリームを受信して復号化する画像受信復号化装置の一例について説明する。図７は上記の画像受信復号化装置の一例のブロック図を示す。同図に示すように、画像受信復号化装置は、図１に示した画像符号化伝送装置からネットワーク又は格納手段２０３（１２２）を介して少なくとも１つのパケットを受信し、少なくとも１つのパケットから符号化フレームを再構成すると共に、ＧＯＶを再構成するための復号化受信部２０１と、再構成されたＧＯＶを復号し、少なくとも１つの参照フレームを利用して復号化することができる復号化部２０２と、復号化部２０２からの画像信号を１フレーム分格納する表示用フレームメモリ２１９と、表示用フレームメモリ２１９からの画像信号を画像表示する表示装置２２０とからなる。
【０１３５】
図７において、復号化受信部２０１及びスイッチＳＷ１２及び緩衝バッファ２１１が図１０に示した多重化分離器４０２を拡張した構成部であり、第２複数フレーム格納用メモリ２１３が図１０に示した参照予測メモリ４０６を拡張した構成であり、それ以外の図１０の構成部を拡張した構成がデコード部２１６、参照フレーム制御手段２１２、スイッチＳＷ１３〜ＳＷ１５及び入出力フレーム管理手段２０９である。
【０１３６】
次に、復号化受信部２０１の構成及び動作について説明する。復号化部受信部２０１は、伝送パケット受信手段２０４、符号化ビットストリーム解析手段２０５、フレーム格納順制御手段２０６、スイッチＳＷ１１及び第１複数フレーム格納用メモリ２０８から構成されている。まず、ネッワーク又は格納手段２０３から入力された少なくとも１つのパケットは、伝送パケット受信手段２０４により受信されて符号化フレームが再構成された後、符号化ビットストリーム解析手段２０５に供給される。
【０１３７】
符号化ビットストリーム解析手段２０５は、入力されたヘッダ情報を解析し、ＧＯＶを再構成するためにフレーム格納順制御手段２０６に対してスイッチＳＷ１１の切り替え制御を要求する。これにより、フレーム格納順制御手段２０６は、所定のフレーム格納順に基づき、スイッチＳＷ１１を切り替え、符号化ビットストリーム解析手段２０５からの符号化フレームを第１複数フレーム格納用メモリ２０８に供給して格納させると共に、ヘッダ情報も第１複数フレーム格納用メモリ２０８に格納させる。
【０１３８】
第１複数フレーム格納用メモリ２０８は、伝送パケット受信手段２０４及び符号化ビットストリーム解析手段２０５によって再構成された符号化フレームを格納するためのメモリで、少なくとも１ＧＯＶ分の符号化フレームを格納することができるメモリ容量を有している。このメモリ容量は、符号化部の最大のビットレートや、伝送路の最大ビットレートから予め算出して確保する。
【０１３９】
次に、復号化部２０２の構成及び動作について説明する。復号化部２０２は、入出力フレーム管理手段２０９、スイッチＳＷ１２〜ＳＷ１５、緩衝バッファ２１１、参照フレーム制御手段２１２、第２複数フレーム格納用メモリ２１３、デコード部２１６、緩衝バッファ２１８から構成されている。スイッチＳＷ１３及びスイッチＳＷ１５は、何れも参照フレーム制御手段２１２により、第２複数フレーム格納用メモリ２１３に格納されている複数フレームの画像信号の中から一のフレームの画像信号を選択する点で同じであるが、スイッチＳＷ１３は選択したフレームの画像信号をデコード部２１６へ出力し、スイッチＳＷ１５は選択したフレームの画像信号を緩衝バッファ２１８へ出力する点で異なる。
【０１４０】
また、上記の入出力フレーム管理手段２０９は、復号化をＧＯＶ単位で制御するために、第１複数フレーム格納用メモリ２０８から緩衝バッファ２１１に対する符号化フレームの格納を、スイッチＳＷ１２の接続や切断及び切り替えを行うことによって管理する。また、ＧＯＶ単位の符号化を開始する要求を参照フレーム制御手段２１２に通知することにより、ＧＯＶ単位で符号化を開始するタイミングを管理する。
【０１４１】
これにより、第１複数フレーム格納用メモリ２０８に全てのＧＯＶ内の符号化フレームが格納されると、入出力フレーム管理手段２０９の制御により復号化部２０２内のスイッチＳＷ１２が接続され、第１複数フレーム格納用メモリ２０８に格納されているＧＯＶ内の符号化フレームが順次ＧＯＶ単位で緩衝バッファ２１１に一時記憶される。
【０１４２】
続いて、入出力フレーム管理手段２０９は、参照フレーム制御手段２１２に対して復号化開始要求を通知する。すると、参照フレーム制御手段２１２は、スイッチＳＷ１３とスイッチＳＷ１４をＧＯＶの先頭の復号化フレームが取得できるような位置に接続し、スイッチＳＷ１２を切断する。
【０１４３】
続いて、参照フレーム制御手段２１２は、デコード部２１６に対して復号化開始要求を通知する。ここで、デコード部２１６は、例えば図１０に示したＭＰＥＧの復号化装置のエントロピー復号化器４０３、逆量子化器４０４、逆直交変換器４０５、加算器４０８、動き補償予測器４０７を少なくとも備える構成である必要がある。図１０に示された参照予測メモリ４０６は、図５中の第２複数フレーム格納用メモリ２１３により構成される。
【０１４４】
デコード部２１６は、緩衝バッファ２１１から符号化フレームを取得すると、内部のエントロピー復号化器によりエントロピー復号を行い、その後、逆量子化器により逆量子化し、続いて、逆直交変換が行われた結果と、第２複数フレーム格納用メモリ２１３からスイッチＳＷ１３を介して参照フレームの画像信号を受ける動き補償予測器からの出力から、現在符号化が行われた符号化フレームの復号フレームを得る。
【０１４５】
参照フレーム制御手段２１２は、スイッチＳＷ１４を切り替え制御して、デコード部２１６により復号化された参照フレームをスイッチＳＷ１４を介して第２複数フレーム格納用メモリ２１３の対応する参照フレーム位置に正しく格納させ、次の符号化フレームの復号に備える。
【０１４６】
第２複数フレーム格納用メモリ２１３は、デコード部２１６が生成した参照フレームを、ＧＯＶ内の対応するフレーム位置に格納することができるように、少なくともＧＯＶを構成する際に必要なフレーム数を格納することができるフレームメモリを備えている。例えば、入力画像のフレームレートが３０［ｆｐｓ］、１ＧＯＶが０．５秒、１ＧＯＶ内に格納される符号化フレーム数が１５である場合には、第２複数フレーム格納用メモリ２１３は少なくとも１５フレーム分の参照フレームを格納することができるメモリ容量を確保する。
【０１４７】
次に、参照フレーム制御手段２１２は、所定のフレーム送出順に基づいた現在の復号化フレーム位置から、ＧＯＶ内の全ての復号化フレームが第２複数フレーム格納用メモリ２１３内に揃ったかどうか判定し、全ての復号化フレームが揃っていない場合には、所定のフレーム送出手段に基づきスイッチＳＷ１４をＧＯＶの次の復号化フレームが取得できるような位置に切り替える。
【０１４８】
以上の動作を繰り返し、参照フレーム制御手段２１２は、ＧＯＶ内の全ての符号化フレームがデコード部２１６で復号化されて第２複数フレーム格納用メモリ２１３に揃ったと判定した場合は、デコード部２１６に対してＧＯＶ復号化停止要求を通知すると共に、スイッチＳＷ１４を切断する。一方、入出力フレーム管理手段２０９は、スイッチＳＷ１５を接続する。
【０１４９】
これにより、第２複数フレーム格納用メモリ２１３からスイッチＳＷ１５を介して緩衝バッファ２１８へＧＯＶ内の全ての画像信号（復号された参照フレーム）が供給されて一時格納された後、表示用フレームメモリ２１９に供給されて一時記憶された後、表示装置２２０により画像表示される。
【０１５０】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１において、エンコード部１１１が生成した符号化フレームを緩衝バッファ１０９に１ＧＯＶ分格納した段階で、フレーム番号０、１、２、・・・、１４という、本来のフレーム番号順で符号化フレームを第３複数フレーム格納用メモリ１１７に格納し、フレーム送出順制御手段１１９がエンコード部１１１が符号化した順番（図２（Ｃ）に示した伝送される順番）で第３複数フレーム格納用メモリ１１７から対応するフレーム番号の符号化フレームを読み出すように、スイッチＳＷ６を切り替え制御するようにしてもよい。ただし、この場合は、図３に示したフローチャートによる送出フレーム順を決定する送出フレーム順決定手段が、予め例えば符号化部１０１内に設けられ、この送出フレーム順決定手段により決定された送出フレーム順を、参照フレーム制御手段１１０とフレーム送出順制御手段１１９の両方が参照できるようにする必要がある。
【０１５１】
なお、第１複数フレーム格納用メモリ１０６は、１つの画像フレームを格納することができるメモリ容量であってもよい。
【０１５２】
また、ＧＯＶ内の符号化フレームの符号化方法と伝送順を考慮することで、伝送路の伝送ビットレートが低下した場合であっても、生成したＧＯＶが一定時間で伝送することができなければ、伝送できなかった残りのＧＯＶを破棄することで、伝送する符号化フレーム数を制限し、ＧＯＶ内の符号化フレームの符号化方法と伝送順を考慮することで、画像受信復号化装置側で受信したＧＯＶ内に含まれる符号化フレーム数に応じてフレームレートが自動的に変化し、できる限り等間隔でフレームが再生表示できるようにすることにより、伝送路の伝送ビットレートを常に監視することなく符号化ビットレートを制御するようにしてもよい。
【０１５３】
更に、ＧＯＶ内の符号化フレームの符号化方法と伝送順を考慮することで、伝送路の伝送ビットレートが低下した場合であっても、生成したＧＯＶが一定時間で伝送することができなければ、伝送できなかった残りのＧＯＶを破棄することで、伝送する符号化フレーム数を制限し、ＧＯＶ内の符号化フレームの符号化方法と伝送順を考慮することで、画像受信復号化装置側で受信したＧＯＶ内に含まれる符号化フレーム数に応じてフレームレートが自動的に変化し、できる限り等間隔でフレームが再生表示できるようにしてもよく、この場合は、伝送路の伝送ビットレートを常に監視して伝送ビットレートの変動を検出するまでにかかる一定の時間差による伝送遅延の拡大や、ＧＯＶの復号に与える影響を軽減し、従来よりも高品質の画像伝送を行うことができる。
【０１５４】
【発明の効果】
以上説明したように、本発明によれば、エンコード部の符号化時には、第２のフレーム格納用メモリに格納されている、現在符号化しようとしているフレームよりも前に符号化したフレームの中から任意のフレームを参照フレームとして利用するようにしているため、時間的に一番近い参照フレームを利用することができ、よって、伝送レートの変動によるパケットの欠落によりＧＯＶ内の情報を完全に再構成することが難しいような伝送レートの変動が激しい伝送路に対しても、所定の送出フレーム順で符号化ビットストリームの送出ができる。
【０１５５】
また、本発明によれば、デコード時間までに伝送されたＧＯＶの情報を利用して、デコード時間までに蓄積されたＧＯＶ内のフレーム数によって復号側のフレームレートが自動的に変化し、できる限り等間隔でフレームが再生表示できるような所定の送出フレーム順で符号化ビットストリームの画像受信符号化装置への送出ができるため、伝送レートの変動が激しい伝送路へ符号化ビットストリームを送出する場合でも、画像の内容が完全に欠落することがなく、画像受信符号化装置側で画像全体の内容の把握が可能な伝送ができる。
【０１５６】
また、本発明によれば、できる限り等間隔でフレームが再生表示できるように所定のフレーム送出順で符号化フレームを伝送するようにしたため、伝送路の伝送ビットレートを常に監視することなく符号化ビットレートを制御することができ、更に、本発明によれば、伝送路の伝送ビットレートを常に監視して伝送ビットレートの変動を検出するまでにかかる一定の時間差による伝送遅延の拡大や、ＧＯＶの復号に与える影響を軽減することができる。以上より、本発明によれば、従来よりも高品質の画像伝送を実現することができる。
【図面の簡単な説明】
【図１】本発明の画像符号化伝送装置の一実施の形態のブロック図である。
【図２】本発明の画像符号化伝送装置によるフレーム送出順及び符号化時における参照フレームの利用方法の一例を説明するための図である。
【図３】本発明のフレーム送出順を求めるための処理の一実施の形態を表すフローチャートである。
【図４】本発明の画像符号化伝送装置における符号化部の動作説明用フローチャートである。
【図５】本発明の画像符号化伝送装置における符号化伝送部の動作説明用フローチャート（その１）である。
【図６】本発明の画像符号化伝送装置における符号化伝送部の動作説明用フローチャート（その２）である。
【図７】本発明の画像符号化伝送装置により出力される符号化フレームを復号する画像受信復号化装置の一例のブロック図である。
【図８】従来のＭＰＥＧ技術による符号化装置の一例のブロック図である。
【図９】ＭＰＥＧ−４におけるＧＯＶヘッダを表現した図である。
【図１０】従来のＭＰＥＧ技術による復号化装置の一例のブロック図である。
【図１１】従来の画像符号化伝送装置の一例のブロック図である。
【図１２】従来の画像受信復号化装置の一例のブロック図である。
【符号の説明】
１０１  符号化部
１０２  符号化伝送部
１０３  入力手段（入力画像）
１０４、１０９、２１１、２１８  緩衝バッファ
１０６、２０８  第１複数フレーム格納用メモリ
１０７、２０９  入出力フレーム管理手段
１１０、２１２  参照フレーム制御手段
１１１  エンコード部
１１３、２１３  第２複数フレーム格納用メモリ
１１６  ローカルデコード部
１１７  第３複数フレーム格納用メモリ
１１８、２０５  符号化ビットストリーム解析手段
１１９  フレーム送出順制御手段
１２１  伝送パケット送出手段
１２２、２０３  ネットワークもしくは格納手段
２０１  復号化受信部
２０２  復号化部
２０４  伝送パケット受信手段
２０６  フレーム格納順制御手段
２０９  入出力フレーム管理手段
２１６  デコード部
２１９  表示用フレームメモリ
２２０  表示装置
ＳＷ１〜ＳＷ６、ＳＷ１１〜ＳＷ１４  スイッチ
【図１】
2004312059.tif 000003
【図２】
2004312059.tif 000004
【図３】
2004312059.tif 000005
【図４】
2004312059.tif 000006
【図５】
2004312059.tif 000007
【図６】
2004312059.tif 000008
【図７】
2004312059.tif 000009
【図８】
2004312059.tif 000010
【図９】
2004312059.tif 000011
【図１０】
2004312059.tif 000012
【図１１】
2004312059.tif 000013
【図１２】
2004312059.tif 000014