(57)【要約】  【課題】  １または２以上の複数の伝送路が存在する映像伝送環境において、より多くの伝送路を持つユーザにはより高い品質の映像を視聴できるような映像伝送を実現する映像伝送装置を提供することにある。  【解決手段】  オブジェクト化部１１は映像をObj１〜Ｍに分割する。符号化部１２は基本符号化ストリームＢと拡張符号化ストリームＥとレート歪み特性を生成する。階層化部１３は各オブジェクト映像の符号化データを、（オブジェクト・品質・時間）に関して階層化する。一例として、オブジェクトはObj１〜Ｍに、品質は基本階層、拡張階層（さらに、設定符号量Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）を用いてＫ階層に細分階層化）、時間はＩ、Ｐ、Ｂピクチャに階層化する。送信部１４は符号化ユニットを優先度の高い方から順番に、伝送路１，伝送路２、・・・、伝送路Ｎに振り分けて送信する。  【選択図】  図１
2006279550.tif 000002
【特許請求の範囲】
【請求項１】
入力映像内から有意なオブジェクトを抽出し、該入力映像を複数のオブジェクトに分割するオブジェクト化部と、
前記オブジェクト化部により分割された各オブジェクトに対して、基本符号化ストリームと拡張符号化ストリームとレート歪み特性とを生成する符号化部と、
前記各オブジェクトに対して、オブジェクト、品質、および時間に関して階層化された符号化データ（以下、符号化ユニットと呼ぶ）を作成する階層化部と、
優先度の付けられた符号化ユニットを、該優先度に基づいて複数の伝送路に振り分けて送信する送信部とを備えたことを特徴とする映像伝送装置。
【請求項２】
請求項１に記載の映像伝送装置において、
前記オブジェクト化部は、前記有意なオブジェクト以外の映像部分を輝度レベルで０とすることを特徴とする映像伝送装置。
【請求項３】
請求項１又は２に記載の映像伝送装置において、
前記階層化部は、前記品質に関する階層化について、前記レート歪み特性を品質に関する階層化のための設定符号量に関して最適にするようにオブジェクト間で符号量を配分し、各オブジェクトに割り当てることを特徴とする映像伝送装置。
【請求項４】
請求項１ないし３のいずれかに記載の映像伝送装置において、
前記品質に関する階層化は、前記拡張符号化ストリームに対して行うことを特徴とする映像伝送装置。
【請求項５】
請求項１ないし４のいずれかに記載の映像伝送装置において、
前記送信部は、視覚特性を考慮した優先度の付けられた符号化ユニットを、該優先度に基づいて複数の伝送路に振り分けて送信することを特徴とする映像伝送装置。
【請求項６】
請求項１ないし５のいずれかの映像伝送装置により送信された符号化ユニットを受信し、時間的にずれがなく復号できるように該符号化ユニットの同期をとる受信部と、
前記符号化ユニットを統合する統合部と、
該統合された符号化データを復号し、復号オブジェクト映像を得る復号部と、
該復号部で復号された複数の復号オブジェクト映像を統合し、１つの復号映像を得るオブジェクト統合部とを具備したことを特徴とする受信再生装置。
【請求項７】
請求項６に記載の受信再生装置において、
前記統合部は、品質に関して複数に階層化されたオブジェクトの拡張符号化ストリームを１つの拡張符号化ストリームに統合することを特徴とする受信再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像伝送装置およびその受信再生装置に関し、特に１または２以上の複数の伝送路が存在する映像伝送環境において、より多くの伝送路を持つユーザはより高い品質の映像を視聴できるようにする映像伝送装置およびその受信再生装置に関する。
【背景技術】
【０００２】
近年、コンピュータの性能向上とネットワークの広帯域化により、デジタル映像の配信が容易になった。一方、ネットワークの多様化により、映像受信者が有する伝送路の種類は様々に異なっている。放送という観点からは、様々に異なる受像環境が混在する場合でも、全ての映像受信者が受像環境の違いに関わらず、同じ映像を視聴できることが重要である。
【０００３】
この課題を解決するための手法として、階層符号化技術とそれを利用した映像伝送方式が存在する。階層符号化技術では、基本階層と拡張階層の２階層に分割された符号化ストリームを作成する。基本階層は映像を再生するための最低限の情報を含み、拡張階層は、基本階層に付加されて、再生画像の品質を高める情報を含む。
【０００４】
本出願人による特許出願である下記の特許文献１では、階層符号化技術を利用し、映像受信者が有する伝送路の帯域幅や表示機器の処理能力に応じて、伝送する符号化ストリームの符号量を制御して、常に最高の品質の映像を視聴できるようにした映像伝送装置が提案されている。
【０００５】
この装置では、符号化蓄積手段は、各オブジェクト画像を基本階層および拡張階層に階層符号化し、それぞれのストリームを作成して蓄積する。この際、拡張階層ではビットプレーン符号化を行う。また、符号化の際に、各オブジェクト画像について拡張階層符号化ストリームの符号語が順次復号された場合の符号量と符号化歪みとの関係を示すレート歪み特性を生成して保持する。伝送手段は、該レート歪み特性と通信路の帯域幅とに基づいて、各オブジェクト画像に対する符号量を配分し、該配分に従って各オブジェクトについての拡張符号化ストリームをカットして送出する。
【特許文献１】特願２００３−３８７８１７ 画像伝送装置
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の映像伝送装置は単一の伝送路を介した映像伝送を想定し、そのような環境では伝送路の状態を反映させて送信する符号量を変化させるものであったが、複数の伝送路が存在する環境を想定したものではなかった。
【０００７】
そのため、複数の伝送路が存在する環境で、従来の映像伝送装置を使った映像伝送を行った場合、２つ目以降の伝送路は空き状態のままであり、同時に複数の伝送路を用いた効率の良い映像伝送を行えなかった。
【０００８】
したがって、複数の伝送路を持っているにもかかわらず、単一の伝送路しか有していないユーザと同じ品質の映像しか視聴できないため、ユーザの受信環境を反映させた映像伝送を行えるものではなかった。
【０００９】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、１または２以上の複数の伝送路が存在する映像伝送環境において、より多くの伝送路を持つユーザにはより高い品質の映像を視聴できるような映像伝送を実現する映像伝送装置およびその受信再生装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記した目的を達成するために、本発明は、入力映像内から有意なオブジェクトを抽出し、該入力映像を複数のオブジェクトに分割するオブジェクト化部と、前記オブジェクト化部により分割された各オブジェクトに対して、基本符号化ストリームと拡張符号化ストリームとレート歪み特性とを生成する符号化部と、前記各オブジェクトに対して、オブジェクト、品質、および時間に関して階層化された符号化データ（以下、符号化ユニットと呼ぶ）を作成する階層化部と、優先度の付けられた符号化ユニットを、該優先度に基づいて複数の伝送路に振り分けて送信する送信部とを備えた点に第１の特徴がある。
【００１１】
また、本発明は、前記映像伝送装置により送信された符号化ユニットを受信し、時間的にずれがなく復号できるように該符号化ユニットの同期をとる受信部と、前記符号化ユニットを統合する統合部と、該統合された符号化データを復号し、復号オブジェクト映像を得る復号部と、該復号部で復号された複数の復号オブジェクト映像を統合し、１つの復号映像を得るオブジェクト統合部とを具備した点に第２の特徴がある。
【発明の効果】
【００１２】
本発明によれば、複数の回線の帯域に合わせた伝送が可能になり、ユーザの受信状況に合わせて最適な品質の映像を伝送することができるようになる。
【００１３】
すなわち、より多くの伝送路をもつユーザは、より高い品質の映像を視聴できるようになる。また、ユーザは、まず優先度の高い順に符号化ユニットだけを受信・復号して映像の概要を把握し、それが興味の沸いた映像であれば、必要に応じて、残りの符号化ユニットも受信・復号する事によって、全容をより高い品質で視聴できるようになる。換言すれば、段階的な映像視聴が可能になる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る映像伝送装置の基本構成を示すブロック図である。以下では、映像受信者に映像を配信する場合を例にとって説明する。
【００１５】
まず、入力映像がオブジェクト化部１１に入力される。入力映像は、オブジェクト以外の部分が例えば「０」レベルとされた複数のオブジェクト映像Ｏｂｊ１，Ｏｂｊ２，・・・，ＯｂｊＭ（Ｍは、正の整数）に分割される。これはフレーム映像からオブジェクトの映像領域を分割することによって得られる。
【００１６】
フレーム映像からオブジェクト映像を分割するには公知の技術を利用できる。例えば特開2003-44860号公報「映像オブジェクト追跡装置」や特開2002-358526号公報「映像オブジェクト検出・追跡装置」や特開2001-236512号公報「動オブジェクト抽出装置」に記載されたオブジェクト抽出の技術を利用できる。
【００１７】
次に、各オブジェクト映像は符号化部１２に入力され、基本符号化ストリームＢと拡張符号化ストリームＥとレート歪み特性を生成する。レート歪み特性の詳細は後述する。なお、拡張階層ではビットプレーン符号化が行われる。
【００１８】
次に、階層化部１３では、各オブジェクト映像の符号化データを、（オブジェクト・品質・時間）に関して階層化する。該階層化された各オブジェクト映像の符号化データを、以後「符号化ユニット」と呼ぶ。この際、品質（例えば、映像品質）に関する階層化には、レート歪み特性を用いる。また、符号化ユニットには、人間の視覚特性を考慮した優先度を付与する。
【００１９】
次に、送信部１４は、前記符号化ユニットを、前記優先度の高い方から順番に、伝送路１，伝送路２、・・・、伝送路Ｎに振り分け、伝送路１９に送信する。この際、伝送路のインデックス番号は、利用ユーザ数が多い伝送路の順に昇順であるとする。また、ＭＰＥＧ−２  ＴＳ（トランスポート  ストリーム）のシンタックスを利用し、時間をパケットヘッダに記述してパケット化してから送信する。
【００２０】
次に、受信部１５は、ＭＰＥＧ−２  ＴＳ形式のパケットを受信し、パケットヘッダに記述された時間情報を見て、符号化ユニットの同期を取る。
【００２１】
次に、統合部１６は、符号化ユニットを統合し、品質に関する階層化前の拡張符号化ストリームを得る。
【００２２】
次に、復号部１７は、各オブジェクトの符号化データを復号し、復号オブジェクト映像を得る。
【００２３】
最後に、オブジェクト統合部１８は、複数の復号映像オブジェクトを統合し、復号映像を得る。これにより、フレーム映像を視聴できるようになる。
【００２４】
以下に、階層符号化技術として、ＭＰＥＧ−４ベースのＦＧＳ（Fine Granularity Scalability）符号化技術を用いた場合を例にとって、図１の各ブロックの処理の具体例を説明する。
【００２５】
なお、ＦＧＳ符号化技術は、下記の文献に記されているように周知である。ＦＧＳ符号化技術は、特にスケーラビリティ（復号自由度）の高い階層符号化技術であり、このスケーラビリティの高さをビットプレーン符号化処理によって実現するものである。
Weiping Li,“Overviw of Fine Granularity Scalability in MPEG-4 Video Standard”,IEEE Transaction on circuit and systems for video technology, Vol.11, No.3, Mar.2001
【００２６】
オブジェクト化部１１
入力映像を、オブジェクト以外の部分が例えば「０」レベルとされた複数のオブジェクト映像Ｏｂｊ１，Ｏｂｊ２，・・・，ＯｂｊＭ（Ｍは、正の整数）に分割する。映像からオブジェクト映像に分割するオブジェクト化部には、前記した公知の技術を利用できる。
【００２７】
図１の例では、オブジェクト映像Ｏｂｊ１は自動車、Ｏｂｊ２は道路、Ｏｂｊ３は並木であり、オブジェクト以外の部分は例えば「０」レベルとされている。
【００２８】
符号化部１２
図２は符号化部１２の詳細を示すブロック図である。図２はオブジェクト部１１にてオブジェクト化されたオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍのうちの１つを処理するための構成を示している。複数のオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍは、このような構成を複数設けて並列的に、あるいは１つの構成を時分割で使用して処理される。以下では、図２の構成が、前記各オブジェクト映像の代表であるオブジェクト映像Ｏｂｊを処理するものとして説明する。
【００２９】
入力されたオブジェクト映像Ｏｂｊは、減算器３１、減算器３２および動き検出部３３にフレーム１枚ずつ入力オブジェクト画像ＯｂｊＩｍｇとして順次入力される。減算器３１より後段の部分で基本階層の符号化処理が行われ、減算器３２より後段の部分で拡張階層の符号化処理が行われる。
【００３０】
基本階層の符号化処理では、まず、減算器３１で入力オブジェクト画像ＯｂｊＩｍｇから動き補償予測部３４で得られた予測画像が減算されて、予測誤差画像が生成される。この予測誤差画像はＤＣＴ（直交変換）部３５で、例えば縦８画素、横８画素のブロック単位でＤＣＴ係数に変換される。量子化部３６は量子化パラメータに従ってＤＣＴ係数を量子化する。量子化済みＤＣＴ係数がＶＬＣ（可変長符号化）部３７で可変長符号化され、動きベクトルＭＶと共に多重化されて、基本符号化ストリームＢＯｂｊが作成される。
【００３１】
また量子化部３６からの量子化済みＤＣＴ係数は、逆量子化部３８で逆量子化され、逆ＤＣＴ部３９で予測誤差画像が再生され、加算器４０で動き補償予測部３４からの予測画像と加算される。加算器４０で得られた復号画像は、フレームメモリ４１に格納される。
【００３２】
動き検出部３３は、オブジェクト映像Ｏｂｊから１フレームずつ順次入力される入力オブジェクト画像ＯｂｊＩｍｇとフレームメモリ４１からの復号画像に基づいて、オブジェクト映像Ｏｂｊの動きを検出し、動きベクトルＭＶを出力する。動きベクトルＭＶは、動き補償予測部３４と可変長符号化部３７に与えられる。オブジェクト映像Ｏｂｊの動きは、例えば縦１６画素、横１６画素のマクロブロックを単位として検出される。動き補償予測部３４は、フレームメモリ４１からの局部復号画像と動き検出部３３からの動きベクトルＭＶとにより、予測画像を生成して減算器３１と加算器４０に出力する。
【００３３】
拡張階層の符号化処理で符号化対象となるのは残差画像であり、それは減算器３２の出力、すなわち入力オブジェクト画像ＯｂｊＩｍｇとフレームメモリ４１に格納されている復号画像との差分である。この残差画像は、ＤＣＴ部４２でＤＣＴ係数に変換される。これにより、生成されたＤＣＴ係数は、ビットプレーン符号化部４３でビットプレーン単位に符号化され、さらに可変長符号化部４４で可変長符号化されて拡張符号化ストリームＥＯｂｊが作成される。また、この符号化の際に、ビットプレーン符号化部４３でレート歪み特性ＲＤＯｂｊが生成される。
【００３４】
図３(a)~(d)は、該ビットプレーン符号化部４３で行われるＦＧＳ符号化技術の拡張階層の符号化処理手順の説明図である。ＦＧＳ符号化技術の拡張階層では、図３(a)に示されているように、残差画像に対して縦８画像、横８画素のブロック単位でＤＣＴを行ってＤＣＴ係数を得る。次に、同図(b)に示されているように、各ブロックのＤＣＴ係数をジグザグスキャンして、ＤＣＴ係数を一次系列に並べ替える。さらに、同図(c)に示されているように、ビットプレーン表現に変換する。その後、同図(d)に示されているように、各ビットプレーンの二値情報シンボルを二値ゼロランレングス符号化処理により符号化して（ＲＵＮ、ＥＯＰ）符号語を作成する。ここに、（ｘ，０）（ｘ＝０，１，２，・・・）符号語は、１までの０の個数がｘ個であることを示し、（ｘ、１）は最後の１の符号語（ＥＯＰ）を示す。
【００３５】
上記の符号化処理手順により、復号された場合に品質に寄与する度合いの高い符号語から１パスで順次各符号語が拡張符号化ストリームに格納される。すなわち、同図３(d)では（１，１）（０，０）（０，０）（１，０）（０，１）（０，０）（１，０）（２，０）・・・の順である。
【００３６】
このように、復号された場合に品質に寄与する度合いが高いものから１パスの順で各符号語が符号化ストリームに格納される階層符号化技術では、復号される符号語の符号量Ｒと符号化歪みＤを測定することができる。従って、符号語単位で符号量Ｒに対する符号化歪みＤを知ることができる特徴がある。
【００３７】
ここで、符号化歪みＤは、復号処理をその符号後で打ち切った場合の復号画像と元の原画像との差異を示し、符号語がより多く復号されるにつれて符号化歪みＤは減少する。例えば、ＦＧＳ符号化技術の例では、客観的に画像品質を定義する場合は、符号化歪みＤに、原画像との平均二乗誤差ＭＳＥ(Mean Squared Error)を用いることができる。
【００３８】
本発明では、復号映像の品質を最大限に高める映像伝送を行うために、復号される符号語の符号量Ｒと符号化歪Ｄの関係であるレート歪み特性ＲＤを、各オブジェクト映像Ｏｂｊについて測定する。
【００３９】
すなわち、オブジェクト映像Ｏｂｊの符号化をｊ番目の符号語で打ち切った場合の総符号量をＲｊとし、またその時の、復号オブジェクト画像と原オブジェクト画像との差異をＤｊとしたとき、オブジェクト映像Ｏｂｊの階層符号化処理の際に、１つの符号語が作成される度に符号量Ｒｊと符号化歪Ｄｊを測定する。
【００４０】
これを図４に示すように横軸を符号量Ｒとし、縦軸を符号化歪みＤとするグラフにプロットする。これを各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍに対して行い、それぞれのレート歪み特性ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍを得る。
【００４１】
このレート歪み特性ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍのグラフは、符号量Ｒの増加に従って符号化歪みＤが単調に減少する組み合わせを選びグラフにプロットする。符号化部１２は、以上のようにして、各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍに対して基本符号化ストリームＢＯｂｊ １、ＢＯｂｊ ２、・・・、ＢＯｂｊ Ｍおよび拡張符号化ストリームＥＯｂｊ １、ＥＯｂｊ ２、・・・、ＥＯｂｊ Ｍを生成し、さらにレート歪み特性ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍを生成する。
【００４２】
階層化部１３
（オブジェクト・品質・時間）のそれぞれについての階層化の実現方法はそれぞれ次の通りである。
【００４３】
(1)オブジェクト
各オブジェクトで１つの階層を作成する。すなわち、オブジェクトについては、ちょうどオブジェクト映像の個数と同じ数だけ、階層化が可能である。
【００４４】
(2)品質
拡張符号化ストリームをさらに細分階層化することができる。そのために、
レート歪み特性ＲＤＯｂｊを使用し、ある与えられた符号量を超えないようにかつ複数の復号オブジェクト映像を統合した復号映像の品質が最大となるように、オブジェクト間の符号量の配分を決定する。
【００４５】
各オブジェクトに割り当てられた符号量に基づいて、拡張符号化ストリームをカットする。以降、拡張符号化ストリームをＫ層に階層化するとして説明を進める。
【００４６】
(3)時間
時間に関しては３種類の階層が生成される。例えば、Ｉ、Ｐ、Ｂのフレームタイプ別にそれぞれ別階層とする。
【００４７】
階層化部１３は、前記したように、符号化データを（オブジェクト・品質・時間）に関して、それぞれ、（Ｍ・Ｋ・３）種類に階層化する。すなわち、符号化ユニットは、合計Ｍ×Ｋ×３種類に階層化された符号化データである。この際、品質に関する階層化には、レート歪み特性を用いる。
【００４８】
以下に、レート歪み特性を利用した品質に関する階層化について、詳細に説明する。
図５は、前記階層化部１３の中のレート歪み特性を利用した品質に関する階層化部１３ａの構成例を示すブロック図である。階層化部１３ａは、符号量配分部と階層化部（以後、符号量配分・階層化部６１と呼ぶ）からなり、該符号量配分・階層化部６１には、符号化部１２で生成された拡張符号化ストリームＥＯｂｊ（＝ＥＯｂｊ １、ＥＯｂｊ ２、・・・、ＥＯｂｊ Ｍ）、レート歪み特性ＲＤＯｂｊ（＝ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍ）および拡張符号化ストリームをさらに品質に関して複数階層に階層化するための設定符号量（以下、Ｋ階層に細分階層化するための設定符号量）Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）が入力される。
【００４９】
符号量配分・階層化部６１は、各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍに割り当てられる符号量の合計が、フレーム画面全体で拡張符号化ストリームに割り当てられる設定符号量Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）を超さないように、レート歪み特性ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍおよび拡張符号化ストリームＥＯｂｊ １、ＥＯｂｊ ２、・・・、ＥＯｂｊ ＭをさらにＫ階層に細分階層化し、分割１番目の拡張符号化ストリームＥ［１］（＝Ｅ［１］Ｏｂｊ １、Ｅ［１］Ｏｂｊ ２、・・・、Ｅ［１］Ｏｂｊ Ｍ）、分割２番目の拡張符号化ストリームＥ［２］（＝Ｅ［２］Ｏｂｊ １、Ｅ［２］Ｏｂｊ ２、・・・、Ｅ［２］Ｏｂｊ Ｍ）、・・・、分割Ｋ番目の拡張符号化ストリームＥ［Ｋ］（＝Ｅ［Ｋ］Ｏｂｊ １、Ｅ［Ｋ］Ｏｂｊ ２、・・・、Ｅ［Ｋ］ＯｂｊＭ）を出力する。
【００５０】
これらＫ層に階層化された拡張符号化ストリームＥ［１］、Ｅ［２］、・・・、Ｅ［Ｋ］は、基本符号化ストリームＢ（＝ＢＯｂｊ １、ＢＯｂｊ ２、・・・、ＢＯｂｊ Ｍ）と共に、送信部１４へ出力される。
【００５１】
符号量配分・階層化部６１は、以下に詳細に説明されるように、映像受信者との間の複数伝送路１９、すなわち伝送路１、伝送路２、・・・、伝送路Ｎを伝送可能な符号量の範囲内で、復号映像の品質を最大限に高める符号量配分を決定する。具体的には、レート歪み特性ＲＤ（＝ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍ）および拡張階層の設定符号量Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）を用いて、例えば以下で示すアルゴリズムにより各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍへ割り当てる符号量を算出する。
【００５２】
（処理１）復号オブジェクト映像Ｏｂｊ’ １、Ｏｂｊ’ ２、・・・、Ｏｂｊ’ Ｍの品質を最大限に高めるためには、各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍのレート歪み特性ＲＤＯｂｊ（＝ＲＤＯｂｊ １、ＲＤＯｂｊ ２、・・・、ＲＤＯｂｊ Ｍ）を使用して、次の評価関数Ｆを最小化するＲを下記の式（１）で決定する必要がある。
【００５３】
【数１】
2006279550.tif 000003
【００５４】
ここで、ｓＯｂｊはオブジェクト映像Ｏｂｊのｓ番目の符号語のインデックス番号を示すものである。すなわち、ＲＯｂｊ［ｓＯｂｊ］はｓ番目の符号語で打ち切って、そこまで採用した場合の符号量を、またＤＯｂｊ［ｓＯｂｊ］は符号化歪みを意味する。
【００５５】
λは定数であり、ある定数λに対して、上記評価関数Ｆを最小にする符号量Ｒ（λ）（＝ＲＯｂｊ １［ｓＯｂｊ １（λ）］、ＲＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＲＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）と符号化歪みＤ（λ）（＝ＤＯｂｊ １［ｓＯｂｊ １（λ）］、ＤＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＤＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）の組み合わせが一意に決定される。
【００５６】
定数λは、レート歪み特性曲線における接線の傾きｄＤＯｂｊ［ｓＯｂｊ（λ）］／ｄＲＯｂｊ［ｓＯｂｊ（λ）］に相当する。ある値のλに対して、評価関数Ｆを最小にすることは、全てのオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍについての、レート歪み特性の曲線に対して、同じ傾きλを持つ接線を求めることと同値である。
【００５７】
全てのオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍについての符号化歪み特性の曲線に対して、同じ傾きλを持つ接線を求めたとき、接点における符号語がｓＯｂｊ（λ）番目の符号語だったと仮定すると、そのときの符号量Ｒ（λ）（＝ＲＯｂｊ１［ｓＯｂｊ １（λ）］、ＲＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＲＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）と符号化歪みＤ（λ）（＝ＤＯｂｊ １［ｓＯｂｊ １（λ）］、ＤＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＤＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）が評価関数Ｆを最小にする組み合わせとなる。
【００５８】
このようにして、全てのオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍについて、ある値のλに対して評価関数Ｆを最小にする符号量Ｒ（λ）（＝ＲＯｂｊ１［ｓＯｂｊ １（λ）］、ＲＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＲＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）と符号化歪みＤ（λ）（＝ＤＯｂｊ １［ｓＯｂｊ １（λ）］、ＤＯｂｊ ２［ｓＯｂｊ ２（λ）］、・・・、ＤＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ）］）の組み合わせが求められる。
【００５９】
（処理２）λは複数個の候補が求まるため、次に各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍに割り当てられる符号量の合計が、フレーム画面全体で拡張符号化ストリームに割り当てられる設定符号量Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）を超さないように、次に示す制約条件を課して、所望の設定符号量Ｔ（＝Ｔ［１］、Ｔ［２］・・・、Ｔ［Ｋ］）を超さない定数λ［１］、λ［２］、・・・、λ［Ｋ］の値を選び出す。
【００６０】
各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍの分割１番目の拡張符号化ストリームＥ［１］（＝Ｅ［１］Ｏｂｊ １、Ｅ［１］Ｏｂｊ ２、・・・、Ｅ［１］Ｏｂｊ Ｍ）へ割り当てられる符号量Ｒ（λ［１］）（＝ＲＯｂｊ１［ｓＯｂｊ １（λ［１］）］、ＲＯｂｊ ２［ｓＯｂｊ ２（λ［１］）］、・・・、ＲＯｂｊ Ｍ［ｓＯｂｊ Ｍ（λ［１］）］）の総量をＲ［１］とすると、下記の式（２）を満たし、かつ拡張階層全体の符号量が設定符号量にできる限り近いように、定数λ［１］を決定する。
【００６１】
【数２】
2006279550.tif 000004
【００６２】
このとき、定数λに対応するｓ（λ）番目の符号語で拡張符号化ストリームを打ち切ると、復号オブジェクト映像Ｏｂｊ’ １、Ｏｂｊ’ ２、・・・、Ｏｂｊ’ Ｍ全体の映像品質を最大にすることができる。
【００６３】
上記のアルゴリズムを図式化すると、図６および図７に記されているように表すことができる。
【００６４】
ステップＳ１は、前記レート歪み情報から前記λの候補点を求める。この処理は、前記処理１に相当する。ステップＳ２では、階層を表す置き数ｊを１とし、ステップＳ３では、前記制約条件を課して、設定符号量Ｔ［１］からそれに対応する接線の傾きλ［１］を決定する。ステップＳ４では、ｊ＜Ｋが成立するか否かの判断がなされ、ｊがＫより小さければステップＳ５に進んでｊに１が加算され、ステップＳ３で前記制約条件を課して、設定符号量Ｔ［２］からそれに対応する接線の傾きλ［２］を決定する。以上の処理がステップＳ４の判断が否定になるまで繰り返される。該ステップＳ４の判断が否定になった時には、前記制約条件を課して求められた接線の傾きλ［１］〜λ［Ｋ］が得られる。
【００６５】
ステップＳ６では、λ［１］、λ［２］、・・・、λ［Ｋ］に対応する符号化パスの終端位置ＳＯｂｊ１（λ［１］）、ＳＯｂｊ２（λ［１］）、・・・、ＳＯｂｊＭ（λ［１］、ＳＯｂｊ１（λ［２］）、ＳＯｂｊ２（λ［２］）、・・・、ＳＯｂｊＭ（λ［２］、・・・、ＳＯｂｊ１（λ［Ｋ］）、ＳＯｂｊ２（λ［Ｋ］）、・・・、ＳＯｂｊＭ（λ［Ｋ］で区切って、前記拡張符号化ストリームＥＯｂｊ １、ＥＯｂｊ ２、・・・、ＥＯｂｊ Ｍを階層化する。前記ステップＳ２〜Ｓ６の処理は、前記処理２に相当する。
【００６６】
以上の処理により得られるオブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍの拡張階層符号化ストリームを図式化すると、図８に示すようになる。すなわち、設定符号量Ｔ［１］に対して各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍの分割１番目の拡張符号化ストリームＥ［１］（＝Ｅ［１］Ｏｂｊ １、Ｅ［１］Ｏｂｊ ２、・・・、Ｅ［１］Ｏｂｊ Ｍ）が割り当てられ、設定符号量Ｔ［２］に対して各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍの分割２番目の拡張符号化ストリームＥ［２］（＝Ｅ［２］Ｏｂｊ １、Ｅ［２］Ｏｂｊ ２、・・・、Ｅ［２］Ｏｂｊ Ｍ）が割り当てられる。また、設定符号量Ｔ［Ｋ］に対して各オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・、Ｏｂｊ Ｍの分割Ｋ番目の拡張符号化ストリームＥ［Ｋ］（＝Ｅ［Ｋ］Ｏｂｊ １、Ｅ［Ｋ］Ｏｂｊ ２、・・・、Ｅ［Ｋ］Ｏｂｊ Ｍ）が割り当てられる。なお、Ｂは、基本符号化ストリームを示す。
【００６７】
図９(a)、(b)は、オブジェクト映像が２つの場合の符号量配分処理の概念を示す説明図である。同図(a)に示すように、オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２についての符号化歪み特性ＲＤＯｂｊ １、ＲＤＯｂｊ ２に対して、同じ傾きλを取る接線を求め、その接点における符号量ＲＯｂｊ １［ｓＯｂｊ １（λ）］およびＲＯｂｊ ２［ｓＯｂｊ １（λ）］を求める。定数λを変化させて、総符号量ＲＯｂｊ １［ｓＯｂｊ １（λ）］＋ＲＯｂｊ ２［ｓＯｂｊ ２（λ）］が設定符号量Ｔ［１］より小さく、かつそれに近くなるようにし、そのときの符号量ＲＯｂｊ １［ｓＯｂｊ １（λ）］およびＲＯｂｊ ２［ｓＯｂｊ ２（λ）］を求める。それが、同図(b)に示すように、ｓＯｂｊ １（λ［１］）およびｓＯｂｊ ２（λ［１］）だったとする。
【００６８】
品質に関して拡張符号化ストリームを階層化し、符号化ユニットを作成する際に、ストリームカッター６３(1)は、オブジェクト映像Ｏｂｊ １の拡張符号化ストリームＥＯｂｊ １をｓＯｂｊ １（λ［１］）番目の符号後で打ち切って、Ｅ［１］Ｏｂｊ １を得る。また、ストリームカッター６３(2)は、オブジェクト映像ＥＯｂｊ ２の拡張符号化ストリームＥＯｂｊ ２をｓＯｂｊ ２（λ［１］）番目の符号後で打ち切って、Ｅ［１］Ｏｂｊ ２を得る。このようにして、分割１番目の拡張符号化ストリームＥ［１］（＝Ｅ［１］Ｏｂｊ １、Ｅ［１］Ｏｂｊ ２）が求まる。
【００６９】
以上のことをまとめると、符号化ユニットすなわち階層化された符号化データは、図１０に示したように、オブジェクトに関しては、自動車、道路、並木の３オブジェクトに、品質に関しては、基本階層と拡張階層に、かつ該拡張階層は設定符号量によりＫ階層に、また時間に関しては、Ｉ，ＰおよびＢピクチャの３階層に分割されたデータから形成されることになる。
【００７０】
次に、階層化部１３は、上記の符号化ユニットに、人間の視覚特性を考慮した優先度を付与する。この優先度の付与について、図１１を参照して説明する。
【００７１】
図１１はテニスの試合を記録したテスト映像Stefanを、（１）選手（２）ボール（３）背景観客の３つのオブジェクト映像に分割したものである。品質に関しては、拡張階層の階層化は行わずに単一階層Ｋ＝１とし、基本と拡張の２階層のみとした。時間に関してはＩ・Ｐ・Ｂの３階層に分割した。
【００７２】
したがって、（オブジェクト・品質・時間）に関して、３×２×２＝１８個の符号化ユニットが作成される。人間の視覚特性を考慮して符号化ユニットに優先度をつけると、一例として図１１の符号化ユニット(1)〜(18)のような優先度が付けられる。
【００７３】
この優先度は、互いに直交する３軸の中の上方向の軸を品質、横方向の軸を時間、奥行き方向の軸をオブジェクトとして表したものであり、該３軸の原点に近い階層ほど、視覚特性の観点から優先度が高くなる。該視覚特性の観点から、オブジェクトについては、選手＞ボール＞背景観客、時間に関しては、Ｉ＞Ｐ＞Ｂ、品質については、基本＞拡張とすると、優先度が高い符号化ユニット(1)は（選手、基本階層、Ｉ）、(2)は（選手、基本階層、Ｐ）、(3)は（ボール、基本階層、Ｉ）、(4)は（選手、基本階層、Ｂ）、・・・・、(18)は（背景観客、拡張階層、Ｂ）となる。
【００７４】
送信部１４
送信部１４は、優先度の高い符号化ユニットから順番に、伝送路１、伝送路２、・・・、伝送路Ｎのそれぞれに符号化ユニットを振り分け、伝送路に送信する。この際、伝送路のインデックス番号は、利用ユーザ数が多い伝送路の順に昇順であるとする。
【００７５】
また、ＭＰＥＧ−２ ＴＳのシンタックスを利用し、時間をパケットヘッダに記述してパケット化してから送信する。伝送路１９の帯域幅Ｃ１、Ｃ２、・・・、ＣＮのそれぞれを越えないように、それぞれの伝送路を介して送信する符号化ユニットの組合せを優先度順に決定し、送信する。
【００７６】
図１１のテスト映像Stefanにおいて、例えば単一の伝送路１のみを有し、符号化ユニット(1)しか受信できなかったユーザは、選手オブジェクトを低品質（基本階調のみ）でコマ送り（Ｉフレームしか得られないため）のように再生することになる。また、複数の伝送路を有し、符号化ユニット(1)〜(9)まで受信できたユーザは、選手・ボール・背景観客全てを含み、Ｉ・Ｐ・Ｂピクチャからなる滑らかなフレームレートで低品質（基本階調のみ）の映像を再生できる。
さらに、より多くの伝送路を有し、符号化ユニット(1)〜(18)まで受信できたユーザは、選手・ボール・背景観客全てを含みＩ・Ｐ・Ｂピクチャからなる滑らかなフレームレートで高品質（基本階調・拡張階層）の映像を再生できる。
【００７７】
受信部１５
受信部１５は、ＭＰＥＧ−２ ＴＳ形式のパケットを受信し、パケットヘッダに記述された時間情報を見て、符号化ユニットの同期を取る。また、パケット化されたデータを再合成し、符号化ユニットの形式に戻す。
【００７８】
統合部１６
統合部１６は、品質に関して複数に階層化された符号化ユニットを統合し、品質に関してして階層化されていない拡張符号化ストリームを得る。
【００７９】
復号部１７
図１２は復号部１７の構成例を示すブロック図である。図１２は、復号オブジェクト映像Ｏｂｊ’ １、Ｏｂｊ’ ２、・・・、Ｏｂｊ’ Ｍのうちの１つを処理するための構成である。複数の復号オブジェクト映像Ｏｂｊ’ １、Ｏｂｊ’ ２、・・・、Ｏｂｊ’ Ｍは、このような構成を複数設けて並列的に、あるいは１つの構成を時分割で使用して復号される。以下では図１２の構成がオブジェクト映像Ｏｂｊ’を処理するものとして説明する。
【００８０】
基本符号化ストリームＢ’は、ＶＬＤ（可変長復号）部８１で可変長復号され、量子化済みＤＣＴ係数が出力される。同時に動きベクトルＭＶが出力される。量子化済みＤＣＴ係数は、逆量子化部８２で逆量子化され、逆ＤＣＴ部８３で誤差画像に逆変換される。加算器８４は、誤差画像と動き補償予測部８５からの予測画像とが加算され、基本階層の復号オブジェクト画像を出力する。この基本階層の復号オブジェクト画像は、加算器９０に出力されると共に、フレームメモリ８６に蓄積される。フレームメモリ８６に蓄積された復号画像は、動き補償予測部８５に与えられる。
【００８１】
拡張符号化ストリームＥ’は、可変長復号部８７で可変長復号され、ビットプレーン復号部８８で残差画像のＤＣＴ係数に復号される。この残差画像のＤＣＴ係数は、逆ＤＣＴ部８９で残差画像に逆変換される。加算器９０は、この残差画像と基本階層の復号オブジェクト画像とを加算し、復号オブジェクト画像Ｏｂｊ’Ｉｍｇを出力する。復号オブジェクト画像Ｏｂｊ’Ｉｍｇはフレーム１枚ずつ順次出力され、復号オブジェクト映像が得られる。
【００８２】
オブジェクト統合部１８
複数の復号オブジェクト映像Ｏｂｊ １、Ｏｂｊ ２、・・・Ｏｂｊ Ｍについて、オブジェクト以外の部分が例えば輝度レベル「０」と定義されていた場合、それ以外の輝度レベルを持つ領域だけを統合して、復号映像を得ることができる。
【００８３】
以上の説明から明らかなように、本発明によれば、より多くの伝送路をもつユーザは、より高い品質の映像を視聴することができるようになる。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る映像伝送装置の基本構成を示すブロック図である。
【図２】図１の符号化部の構成例を示すブロック図である。
【図３】ＦＧＳ符号化技術の拡張階層の符号化処理手順の説明図である。
【図４】レート歪み特性の説明図である。
【図５】図１の階層化部の品質に関する階層化処理の構成例を示すブロック図である。
【図６】符号量配分の処理を示すフローチャートである。
【図７】階層化の処理を示すフローチャートである。
【図８】品質に関する階層化処理の説明図である。
【図９】オブジェクト映像間の符号量配分処理の概念を示す説明図である。
【図１０】符号化ユニットの説明図である。
【図１１】符号化ユニットに、人間の視覚特性を考慮した優先度を付与する処理例の説明図である。
【図１２】図１の復号部（ＭＰＥＧ−４ベースのＦＧＳ符号化技術を利用）の構成例を示すブロック図である。
【符号の説明】
【００８５】
１１・・・オブジェクト化部、１２・・・符号化部、１３・・・階層化部、１４・・・送信部、１５・・・受信部、１６・・・統合部、１７・・・復号部、１８・・・オブジェクト統合部、１９・・・伝送路、４３・・・ビットプレーン符号化部、６１・・・符号量配分・階層化部。
【図１】
2006279550.tif 000005
【図２】
2006279550.tif 000006
【図３】
2006279550.tif 000007
【図４】
2006279550.tif 000008
【図５】
2006279550.tif 000009
【図６】
2006279550.tif 000010
【図７】
2006279550.tif 000011
【図８】
2006279550.tif 000012
【図９】
2006279550.tif 000013
【図１０】
2006279550.tif 000014
【図１１】
2006279550.tif 000015
【図１２】
2006279550.tif 000016