(57)【特許請求の範囲】
【請求項１】
入力映像信号の部分映像を直交変換し、第一の直交変換係数を得る第一の直交変換ステップと、
前記入力映像信号の部分映像を縮小する映像信号縮小ステップと、
前記映像信号縮小ステップで得られた縮小映像信号を直交変換して、第二の直交変換係数を得る第二の直交変換ステップと、
前記第二の直交変換係数の低周波部分又は全部を選択し、前記第一の直交変換係数の対応する部分に置換することで、第三の直交変換係数を生成する直交変換係数合成ステップと、
からなる映像符号化方法。
【請求項２】
映像信号を入力する映像信号入力手段と、
前記映像信号の部分映像に直交変換を施し、第一の直交変換係数を得る第一の直交変換手段と、
前記映像信号の部分映像の解像度を減少させた縮小映像信号を生成する縮小映像生成手段と、
前記縮小映像信号に直交変換を施し、第二の直交変換係数を得る第二の直交変換手段と、前記第一の直交変換係数の低周波部分を、第二の直交変換係数の低周波部分又は全部で置換して第三の直交変換係数を生成する係数合成手段と、
前記係数合成手段により生成された第三の直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された係数を可変長符号化する可変長符号化手段と、
前記可変長符号化手段により生成された符号列に映像以外の符号を付加する構造符号化手段と
を備えた映像符号化装置。
【請求項３】
入力映像信号の部分映像を直交変換し、第一の直交変換係数を得る第一の直交変換ステップと、
前記第一の直交変換係数に、周波数領域で画像解像度の間引きを行なう係数変換処理を施すことにより、第二の直交変換係数を得る第二の直交変換ステップと、
第一の直交変換ステップによって得られた第一の直交変換係数の低周波部分を、第二の直交変換係数の低周波部分又は全部で置換して第三の直交変換係数を生成する直交変換係数合成ステップと、
からなる映像符号化方法。
【請求項４】
映像信号を入力する映像信号入力手段と、
前記映像信号の部分映像に直交変換を施し、第一の直交変換係数を得る第一の直交変換手段と、
前記第一の直交変換係数に、周波数領域で画像解像度の間引きを行なう係数変形処理を施すことにより、第二の直交変換係数を得る第二の直交変換手段と、
前記第一の直交変換係数の低周波部分を、第二の直交変換係数の低周波部分又は全部で置換して第三の直交変換係数を生成する係数合成手段と、
前記係数合成手段により生成された第三の直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された係数を可変長符号化する可変長符号化手段と、
前記可変長符号化手段により生成された符号列に映像以外の符号を付加する構造符号化手段と
を備えた映像符号化装置。
【請求項５】
前記第一の直交変換係数を前記第二の直交変換係数に置換する場合に、
前記第二の直交変換係数を可変長符号化する走査順に並べて複数の集合に分割し、前記分割された第二の直交変換係数の集合毎に、対応する前記第一の直交変換係数と置換することを特徴とする、請求項１又は３に記載の映像符号化方法。
【請求項６】
係数合成手段が、前記第二の直交変換係数を可変長符号化する走査順に並べて複数の集合に分割し、対応する第二の直交変換係数の低周波部分と置換することを特徴とする、請求項２又は４に記載の映像符号化装置。
【請求項７】
少なくとも１つの直交変換ブロックに対応する直交変換係数の中に複数の解像度の映像に対応する直交変換係数を含む可変長符号からなる圧縮映像信号を入力するステップと、
前記入力された圧縮映像信号から高解像度の直交変換係数の直交変換係数を削除するステップと、
前記圧縮映像信号のヘッダ情報を、前記直交変換ブロックの直流成分の平均値と低解像度の直交変換係数と低解像度の直交変換係数の終端を示す可変長符号とより構成される低解像度用ヘッダ情報に付け替え、前記複数解像度映像信号のうち少なくとも低解像度の圧縮映像信号を生成するステップと、
前記生成された低解像度の圧縮信号を含む複数の解像度の圧縮映像信号を出力するステップとを含む解像度変換方法。
【請求項８】
少なくとも１つの直交変換ブロックに対応する直交変換係数の中に複数の解像度の映像に対応する直交変換係数を含む可変長符号からなる圧縮映像信号を入力する入力手段と、
前記入力された圧縮映像信号から高解像度の直交変換係数の直交変換係数を削除し、前記圧縮映像信号のヘッダ情報を、前記直交変換ブロックの直流成分の平均値と低解像度の直交変換係数と低解像度の直交変換係数の終端を示す可変長符号とより構成される低解像度用ヘッダ情報に付け替え、前記複数解像度映像信号のうち少なくとも低解像度の圧縮映像信号を生成する符号変換手段とを具備し、
前記生成された低解像度の圧縮信号を含む複数の解像度の圧縮映像信号を出力することを特徴とする、解像度変換装置。
【請求項９】
請求項２、４、６のいずれかに記載の映像符号化装置にて生成された圧縮映像信号により、同一の内容で複数の空間解像度をもつ圧縮映像信号を提供し、
請求項８記載の解像度変換装置にて、前記複数の空間解像度から選択された解像度の圧縮映像信号を再生することを特徴とする、映像情報提供システム。
【請求項１０】
映像生成部と、解像度変換部と、映像受信部と、ネットワークとから構成され、
前記ネットワークは、前記映像生成部と前記解像度変換部と前記映像受信部とに接続して圧縮映像信号あるいは制御信号を伝送し、
前記映像生成部は、映像源を提供する映像提供装置と、前記映像提供装置から映像を取得し圧縮映像信号を生成する映像符号化装置と、前記映像符号化装置が生成した前記圧縮映像信号を前記解像度変換部に送信する映像送信装置とを備え、
前記解像度変換部は、前記映像受信部から送られるユーザの要求を受け付けて処理し前記解像度変換部のすべての装置を制御する要求処理装置と、
前記映像生成部から送信された圧縮映像信号を受信する映像受信装置と、前記映像受信装置が受信した圧縮映像信号を前記要求処理装置に要求された解像度の圧縮映像信号に変換する前記映像符号化装置と、
前記映像符号化装置により変換された圧縮映像信号を前記映像受信部に送信する映像送信装置とを備え、
前記映像受信部は、ユーザからの要求を受け付け、ユーザが選択した解像度を前記解像度変換部に要求し、請求項８記載の解像度変換装置より送信された圧縮映像信号を受信してデコードし、表示する映像受信再生装置を備え、
前記映像符号化装置が、請求項２、４、６のいずれかに記載の映像符号化装置である映像情報提供システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル映像信号を圧縮する映像圧縮装置とその方式に関し、特に一つの圧縮信号から複数の解像度の映像信号を取り出し可能な、映像圧縮符号化方式に関する。
【０００２】
【従来の技術】
デジタル映像信号を圧縮するためのフォーマットは数多く存在し、その中のＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）は最も普及しているフォーマットの一つである。近年、コンピュータ上でＭＰＥＧフォーマットの映像信号を符号化・復号化することが容易になり、ビデオ・オン・デマンドシステムなど、必要なＭＰＥＧフォーマットの映像をネットワークを介して伝送し、再生するコンピュータシステムも多く実用化されている。
【０００３】
このようなネットワークを用いる映像伝送システムにおいては、映像を伝送するネットワークの転送速度や、映像を受信し再生する端末の性能により、利用する圧縮映像のデータ量を変化させる必要が生じる。たとえば１００メガビット毎秒のローカルエリアネットワークを映像伝送に使用する場合は１０メガビット毎秒の圧縮映像をリアルタイムに伝送することも可能となるが、１２８キロビット毎秒のデジタル公衆回線では１００キロビット毎秒程度の映像信号を送ることしかできず、両者のデータ量には１００倍の違いがある。
【０００４】
このように、データ量が異なる同じ内容の映像信号を生成するため、ＭＰＥＧではスケーラビリティという方式が規格化されている．
ＭＰＥＧにおけるスケーラビリティは、時間方向、空間方向、画質（信号対雑音比）において、最低必要な低精度の情報から、順次複数精度の情報に分けて符号化しておき、伝送・再生時に、必要な精度までの情報を伝送・再生する方式である。
【０００５】
しかし、ＭＰＥＧのスケーラビリティに対応したＭＰＥＧデコーダは非常に数少なく、現在普及しているほとんどのデコーダでは再生ができないため、汎用性に問題があった。
【０００６】
また、スケーラビリティを用いないＭＰＥＧ（以降一般のＭＰＥＧ）に準拠した圧縮映像を、２種類の空間解像度で容易に生成する技術に、特開平４−３５８４８５号公報がある。この技術は、入力映像の画像サイズを縦・横とも２分の１に縮小した低解像度の映像を、一般のＭＰＥＧフォーマットで符号化し、この符号化された映像をデコードして入力映像の画像サイズに拡大した映像と、入力映像との差分の信号を、新たに一般のＭＰＥＧフォーマットなどで符号化するものである。この技術によって符号化された映像信号から一般のＭＰＥＧストリームを生成する場合、低解像度の映像は既に符号化されている低解像度用のストリームをそのまま利用することが可能である。しかし、高解像度の映像を生成する場合は、低解像度のストリームと高解像度用のストリームをそれぞれ一旦デコードし、デコードされた低解像度画像を拡大して、デコードされた高解像度画像と加算し、再び一般のＭＰＥＧにエンコードするという処理が必要になり、多大な処理量を要するという問題があった。
【０００７】
【発明が解決しようとする課題】
本発明は、上記の問題を解決することを目的とする。すなわち、スケーラビリティを用いない、複数の空間解像度のＭＰＥＧ信号を、少ない処理量で生成可能な映像圧縮信号を生成することを課題とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本発明は第一に、
入力画像に対し直交変換を用いて圧縮符号化する際に、前記入力画像と、前記入力画像を縮小した縮小入力画像とに対し、ブロック単位の直交変換を施して直交変換係数を生成し、前記入力画像に対する直交変換係数の低周波部分を前記縮小入力画像に対する直交変換係数と入れ替えた直交変換係数を圧縮符号化に用いるものであり、
また、上記方式のうち、縮小入力画像に対する直交変換係数を、入力画像に対する直交変換係数より生成する係数変形処理（直交変換された基軸領域での演算により、縮小入力画像に対する直交変換係数を生成）するものである。
【０００９】
また、制御手段と、複数の解像度の入力画像に対する直交変換係数を含む圧縮映像信号を入力する入力手段と、入力された圧縮映像信号から低解像度の圧縮映像信号を生成する符号変換手段と、複数の解像度の圧縮映像信号を個々に出力する出力する出力部とを備え、
前記符号変換手段が、前記入力手段により入力された圧縮映像信号の可変長符号の高解像部の削除および低解像度の直交変換係数の終端を示す可変長符号の追加をすることにより前記低解像度の圧縮映像信号を生成するものである。
【００１０】
これにより、従来のようなデコード、差分（階層化された解像度情報）調整、エンコードといった演算量の膨大な処理をすることなく、一つの圧縮信号から複数の解像度の映像信号を取り出し可能な、映像圧縮符号化方式を提供できる。
【００１１】
第二に、
入力画像と縮小入力画像がブロック単位に直交変換され、前記直交変換によって生成さ
れた直交変換係数のうち、前記入力画像の直交変換係数の低周波部分を前記縮小入力画像の直交変換係数の低周波部分と入れ替えた直交変換係数を可変長符号化した複数解像度圧縮映像信号から、前記縮小入力画像を再生するための圧縮映像信号を生成する際に、前記複数解像度圧縮映像信号に含まれる高解像度の直交変換係数成分を削除することにより、前記縮小入力画像を再生するための圧縮映像信号を生成するものであり、
これにより、第一の効果に加え、より多くの低解像度に相当する直交変換係数を合成しても高解像度の復号映像に影響を少なく抑えることができる。
【００１２】
第三に、
複数の解像度をもつ圧縮映像信号の要求、生成、解析がネットワーク上で分散されて行われる場合、前記第一、第二の発明による装置がネットワーク上へその圧縮映像信号を送出できることにより、
送信側からは例えば１ストリーム分のデータ量を送るだけで（ネットワーク付加をも増大させることなく）複数の解像度を同時に提供することができる。
【００１３】
【発明の実施の形態】
以下、本発明の各実施の形態について図面を用いながら説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００１４】
（第１の実施の形態）
第１の実施の形態では、複数の解像度のＭＰＥＧストリームを高速に取り出すことが可能な映像圧縮信号を生成する映像符号化装置と、映像符号化装置によって生成された圧縮信号から複数の解像度のＭＰＥＧストリームを高速に取り出す解像度変換装置について説明する。なお、本装置はフレーム間圧縮は行わず、フレーム内圧縮のみを行う（。また変換対象として、主にイントラフレームに関して行うものとする）。
【００１５】
最初に、複数の解像度のＭＰＥＧストリームを高速に取り出すことが可能な映像圧縮信号を生成する映像符号化装置について説明する．
本装置の構成を、図１を用いて説明する．
図１は本装置の機能ブロック図である。図１に示すように、本装置は全体制御部１０と、入力部１００と、符号化部２００と、出力部３００とから構成されている。
【００１６】
全体制御部１０は、本装置全体、すなわち入力部１００と符号化部２００と出力部３００とを制御する．
入力部１００は、非圧縮のデジタル映像信号を入力する入力手段１０１と、入力手段１０１から入力されたデジタル映像信号を一時的に格納する入力映像バッファ１０２とを備える．
出力部３００は、符号化部２００により生成されたＭＰＥＧ規格の圧縮信号を出力する出力手段３０１を備える。
【００１７】
符号化部２００は、符号化部２００にある各手段の動作を制御する符号化制御手段２０１と、
入力映像バッファ１０２からの映像信号にブロック単位にＤＣＴを施す直交変換手段２０２と、
入力映像バッファからの映像信号の解像度を縦横共１／２に縮小する映像縮小手段２０３と、映像縮小手段２０３により縮小された映像信号にブロック単位にＤＣＴを施す直交変換手段２０４と、
直交変換手段２０２および直交変換手段２０４により生成されたＤＣＴ係数を合成して一つのＤＣＴ係数にする係数合成手段２０５と、
係数合成手段２０５により生成されたＤＣＴ係数を量子化する量子化手段２０６と、
量子化手段２０６により量子化された係数をスキャンして可変長符号化する可変長符号化手段２０７と、
可変長符号化手段２０７により生成された符号にＭＰＥＧ規格に必要な各種ヘッダなどの情報を付加してＭＰＥＧ規格の圧縮信号を生成する構造符号化手段２０８と、を備える．
ここで、直交変換手段２０２と直交変換手段２０４とは、入力する映像信号の解像度が異なる点を除き、同一の機能を有するものである。
【００１８】
次に、本装置の動作について説明する．
図２は本装置の全体の動作の流れを示すフローチャートである。図２に示す通り、本装置は次の流れで処理を行う。
【００１９】
ステップ１１００：入力すべき未処理の映像が存在すれば、
ステップ１２００：入力手段１０１が１フレーム分の非圧縮映像信号を入力し、
ステップ１３００：映像縮小手段２０３が、入力した非圧縮映像の縦・横の解像度を半分にして入力映像を縮小し、
ステップ１４００：直交変換手段２０２が入力手段１０１より取得した入力非圧縮映像を、直交変換手段２０４が映像縮小手段２０３より取得した縮小映像を、それぞれ直交変換し、ＤＣＴ係数を生成する．
ステップ１５００：次に、係数合成手段２０５が、直交変換手段２０２と直交変換手段２０４により生成されたＤＣＴ係数を合成し、ステップ１６００：量子化手段２０６が、係数合成手段２０５により合成されたＤＣＴ係数を量子化し、量子化係数を生成する。
【００２０】
ステップ１７００：そして可変長符号化手段２０７が、量子化手段２０６により生成された量子化係数を可変長符号化し、
ステップ１８００：構造符号化手段２０８が、可変長符号に必要な情報をヘッダとして付加して、最終的なＭＰＥＧストリームを生成し、
ステップ１９００：出力手段３０１が、構造符号化手段２０８により生成されたＭＰＥＧストリームを出力し、再び次のフレームに対し、最初から処理を続ける。（ステップ１１００に戻る）。
【００２１】
ここで、係数合成処理（ステップ１５００）について、図を用いて詳しく説明する．
図３は、原画像の輝度信号と縮小画像の輝度信号、およびそれらのＤＣＴ係数と、係数合成処理により合成されたＤＣＴ係数との関係を示した図である．
入力手段１０１より入力された非圧縮の映像信号（原画像）における１マクロブロック分の領域、すなわち縦１６画素、横１６画素の領域は、映像縮小手段２０３により縮小された映像（縮小映像）の１ＤＣＴブロック分の領域、すなわち縦８画素、横８画素の領域と同じ内容の映像を含んでいる。
【００２２】
係数合成処理は、同じ内容の映像を含む、原画像の１マクロブロック分のＤＣＴブロックのいずれか一つのＤＣＴブロック（図３では左上のブロック）の低周波部分のＤＣＴ係数を、対応する縮小画像のＤＣＴブロックの低周波部分のＤＣＴ係数と入れ替えることで行う。図３（Ｃ）において色の濃いますの部分が入れ替えられたことになる。
【００２３】
ここでＤＣＴブロックの低周波部分とは、ＤＣＴ係数を量子化後、可変長符号化する際のスキャン順に、直流成分を除く次の交流成分から任意個数の係数の集まりを指すものとする．
また、色差信号については、１マクロブロックに１つのＤＣＴブロックのみ存在するため、原画像の４マクロブロック分の色差信号が縮小画像の１マクロブロック分の色差信号に対応する点が異なるだけで、係数合成処理は輝度信号と同様に行う。
【００２４】
さらに具体例を図４、図５に示し、説明する。図４、図５に示す例では、低周波部分として、９個のＤＣＴ係数を用いている．
図４は（Ａ）合成前の原画像、（Ｂ）合成前の縮小画像、（Ｃ）合成後の１ＤＣＴブロックを示している。それぞれのブロック内の１ますが、１つのＤＣＴ係数を表している。これらのＤＣＴ係数を、可変長符号化時のスキャン順に並べたものが、図５となる。
【００２５】
このように合成されたＤＣＴ係数は、一般の逆ＤＣＴ処理で画像情報に復元することができるが、復元される画像は、原画像や縮小画像とは異なるものとなる。合成に用いる低周波部分の係数の数が多い場合、復元される画像はより縮小画像に近い画像となり、低周波部分の係数の数が少ない場合、復元される画像はより原画像に近い画像となる。ただし、合成されたＤＣＴ係数は、直流成分に原画像のＤＣＴブロックの直流成分を用いているため、原画像の性質を多く残した画像になる。
【００２６】
本実施の形態では、４つのＤＣＴブロックにつき１つのＤＣＴブロックに、係数合成処理を施すが、係数合成処理を施すブロックは、例えば対象となる４つのＤＣＴブロックのうち符号化順で最後のブロックにするなど、順番を固定しておくものとする。また、係数合成処理で係数を操作する低周波部分のＤＣＴ係数の個数は、あらかじめ固定しておくものとする。
【００２７】
以上説明した合成処理を含む本映像符号化装置が出力するＭＰＥＧストリームはＭＰＥＧ規格に準拠しているため、一般のＭＰＥＧデコーダでデコードが可能である。デコードされた映像は、大部分が原画像そのものの映像であるが、輝度情報、色差情報共、４ＤＣＴブロック中１ＤＣＴブロックに、原画像だけでなく、縮小画像の情報を含んだものが存在する。
【００２８】
なお、本実施の形態では、低解像度用のＤＣＴ係数を生成するために、入力画像を縮小してからＤＣＴを施したが、図６に示す構成の装置を用いれば、係数変形手段２０９が高解像度用のＤＣＴ係数に係数変形処理を施すことにより、直接低解像度のＤＣＴ係数を求めることが可能である。ここで、係数変形処理とは、ＤＣＴ領域で画像解像度の間引きを行なう処理である。
【００２９】
つまり、この処理により、縦・横２ブロックずつ隣接した４つのＤＣＴブロックから、直接１つの低解像度用ＤＣＴブロックが生成される。このストリームを用いれば、次に説明する解像度変換装置により、高速に複数の解像度のＭＰＥＧストリームを生成することが可能となる。
【００３０】
また、本装置の要する処理量は、一般のＭＰＥＧエンコーダの処理量と比較して入力画像の縮小と縮小入力画像に対するＤＣＴの分の演算が追加されるだけで、大きく演算量が増加することがない。
【００３１】
次に、本映像符号化装置により生成されたＭＰＥＧストリームより、複数の解像度のＭＰＥＧストリームを高速に取り出す解像度変換装置について説明する．本装置の構成を、図７に示す。図７は本装置の機能ブロック図である。図７に示すように、本装置は本装置全体を制御する制御手段４１０と、先に説明した映像符号化装置により生成されたＭＰＥＧストリームを入力する入力手段４２０と、入力されたＭＰＥＧストリームから低解像度のＭＰＥＧストリームを生成する符号変換手段４３０と、複数の解像度のＭＰＥＧストリームを出力する出力部４４０とから構成されている。
【００３２】
次に、本装置の動作について説明する。図８は本装置の全体の動作の流れを示すフローチャートである。図８に示す通り、本装置は次の流れで処理を行う．
ステップ２１００：入力手段４２０が、映像符号化装置により生成されたＭＰＥＧストリームを入力し、
ステップ２２００：符号変換手段４３０が、入力されたＭＰＥＧストリームに対して符号変換処理を施して、縦・横の解像度が２分の１となるＭＰＥＧストリームを生成し、
ステップ２３００：最後に出力手段４４０が、入力手段４２０より入力したＭＰＥＧストリームを高解像度のＭＰＥＧストリームとして、また符号変換手段４３０によって生成されたＭＰＥＧストリームを低解像度のＭＰＥＧストリームとして出力する。
【００３３】
ここで、本装置の符号変換処理（ステップ２２００）について、詳しく説明する。本実施の形態で、図３から図５を用いて説明したように、本実施の形態の映像符号化装置が生成するＭＰＥＧストリームには、４つのＤＣＴブロック（輝度信号の場合は１マクロブロック中のＤＣＴブロック）のうち１つのＤＣＴブロックに、低解像度の映像のＤＣＴ係数の情報が含まれている。本装置の符号変換処理で行われる主な処理は、この低解像度のＤＣＴ係数の情報のみを取り出して、ＭＰＥＧストリームを再構成することである。
【００３４】
符号変換処理の流れを図９に示す。図９に示すとおり、本装置は次の流れで符号変換処理を行う．
ステップ２２１０：入力ストリームに未処理の部分があれば、
ステップ２２２０：入力ストリームの一部を入力する．
ステップ２２３０：入力された部分がＭＰＥＧのヘッダ情報ならば、
ステップ２２３１：入力されたヘッダ情報に対応した、低解像度用のヘッダ情報を生成する．
例えば、入力された情報がマクロブロック層やスライス層などの、高解像度のストリームと低解像度のストリームとで共用する情報ならば、低解像度用のヘッダ情報として入力された情報を用いる。また、ピクチャ層の情報など、低解像度のストリームと高解像度のストリームとで値が異なる情報ならば、値を低解像度用に入れ替えて、ヘッダ情報を生成する。
【００３５】
ステップ２２３２：そして、生成されたヘッダ情報を出力ストリームとして出力する．
ステップ２２４０：入力された部分がＤＣＴブロックの係数である場合、そのＤＣＴブロックに低解像度映像用の情報が含まれていなければ、
ステップ２２４１：直流成分の係数の値を取得して、入力ストリームより新しい部分を入力する．（ステップ２２１０から処理を続ける。）
ステップ２２５０：ＤＣＴブロックに低解像度映像用の情報が含まれていれば、そのＤＣＴブロックに含まれる低解像度映像の部分に対応した４つの高解像度用のＤＣＴブロックの直流成分の平均を求めて、低解像度用ブロックの直流成分の値とする．
ステップ２２６０：そして、低解像度映像用の情報の最後にＥＯＢ（Ｅｎｄ                Ｏｆ  Ｂｌｏｃｋ）符号を追加し、
ステップ２２６０：その後に続く、高解像度映像用の情報を削除し、出力ストリームとして出力する。
【００３６】
図１０は、（Ａ）入力されるストリームの一部と、（Ｂ）その部分から生成された低解像度用ストリームとの関係を示した図である。図１０に示した通り、低解像度用ストリームは低周波部分のみのＤＣＴ係数を持っており、その外の高周波部分は，手前にＥＯＢが挿入されるため、すべて値が０となる。そのためこの低周波用ストリームを復号した時に得られる映像は、削除された高周波成分、すなわち急激な変化がない映像になるが、高解像度用の情報を含まず、低解像度用の情報のみで構成されている。
【００３７】
以上説明した処理により、高解像度のＭＰＥＧストリームから低解像度のＭＰＥＧストリームを生成することができることになる。
従来は、高解像度の情報と低解像度の情報とはＤＣＴ係数が異なるため、高解像度のＭＰＥＧストリームから低解像度のＭＰＥＧストリームを生成するには、一度完全にデコードし、その後画像サイズを縮小してから再度ＭＰＥＧにエンコードし直す必要があった．
一方、本実施の形態によれば、高解像度のＭＰＥＧストリームに対して、ヘッダ情報の付け替えと、ＤＣＴブロック単位でのＥＯＢの付加、不要な符号の削除のみの処理で、低解像度ＭＰＥＧストリームを生成できる。そのため、ＤＣＴ、逆ＤＣＴ、可変長符号化、可変長復号などの演算量の多い処理を行なわずに済み、解像度の変換を高速に行なうことができ、その実用的効果は大きい。
【００３８】
（第２の実施の形態）
第２の実施の形態では、複数の解像度のＭＰＥＧストリームを高速に取り出すことが可能な映像圧縮信号を生成する映像符号化装置と、映像符号化装置によって生成された圧縮信号から複数の解像度のＭＰＥＧストリームを高速に取り出す解像度変換装置について説明する。
【００３９】
本実施の形態の装置と第１の実施の形態の装置との相違点は、映像符号化装置が係数合成処理によって低解像度用のＤＣＴ係数を、すべての高解像度用のＤＣＴ係数に分散して合成する点である。また、解像度変換装置も、この映像符号化装置が生成するＭＰＥＧストリームに対応した符号変換処理を行なう点のみが、第１の実施の形態と異なる。
【００４０】
まず、映像符号化装置について説明する。本装置の構成は、第１の実施の形態において図１で示した映像符号化装置の構成と同じである。また、本装置の大きな処理の流れは、第１の実施の形態において図２で示した処理の流れと同じである。本装置は係数合成処理（ステップ１５００）が、第１の実施の形態と異なる。本装置の係数合成処理を、図を用いて説明する。
【００４１】
図１１は、原画像の輝度信号と縮小画像の輝度信号、およびそれらのＤＣＴ係数と、係数合成処理により合成されたＤＣＴ係数との関係を示した図である。
図１１に示すとおり、第1の実施の形態とは異なり、合成後のＤＣＴブロックは、4つのブロックすべてのＤＣＴ係数の中に、低解像度のＤＣＴ係数が含まれている。また、個々のＤＣＴブロックに含まれる低解像度用ＤＣＴ係数の個数は、第1の実施の形態の合成後ＤＣＴブロックに比べ、少なくすることができる。そのため、合成後のＤＣＴブロックを用いた高解像度用のＭＰＥＧストリームをデコードした場合、第1の実施の形態に比べ、より原画像に近い映像が復元される。
なお、本映像符号化装置も、図６の構成とすることで、ＤＣＴ領域で直接低解像度用ＤＣＴ係数を生成することができる。
【００４２】
次に、解像度変換装置について説明する。本装置の構成は、第１の実施の形態で図７に示した同様である。また、全体の処理の流れも、図８に示した流れと同様である．
本装置は、符号変換処理２２００が、第１の実施の形態と異なる。図１２に、本装置の符号変換処理の流れを示す。図１２に示すとおり、本装置は次の流れで符号変換処理を行なう。
【００４３】
ステップ２２１０：入力ストリームに未処理の部分があれば、
ステップ２２２０：入力ストリームの一部を入力する．
ステップ２２３０：入力された部分がＭＰＥＧのヘッダ情報ならば、
ステップ２２３１：入力されたヘッダ情報に対応した、低解像度用のヘッダ情報を生成する。
【００４４】
例えば、入力された情報がマクロブロック層やスライス層などの、高解像度のストリームと低解像度のストリームとで共用する情報ならば、低解像度用のヘッダ情報として入力された情報を用いる。また、ピクチャ層の情報など、低解像度のストリームと高解像度のストリームとで値が異なる情報ならば、値を低解像度用に入れ替えて、ヘッダ情報を生成する．
ステップ２２３２：そして、生成されたヘッダ情報を出力ストリームとして出力する．
ステップ２２４０：入力された部分がＤＣＴブロックの係数である場合、そのＤＣＴブロックの直流成分の係数の値を取得し、
ステップ２２５０：そのＤＣＴブロックに含まれる低解像度用ＤＣＴ係数をあらわす部分の符号を取得する．
ステップ２２６０：そして、低解像度用のＤＣＴ係数を構成するために必要な４ブロックの情報が取得できていなければ、入力ストリームより新たな部分を入力し、処理を続ける。（ステップ２２１０から処理を続ける。）
ステップ２２７０：４ブロックの情報がすでに取得できていれば、すでに取得した４つの直流成分の係数値の平均を求め、低解像度用の直流成分の係数値とし、
ステップ２２８０：すでに取得した低解像度用のＤＣＴ係数を表す符号を、符号中のＤＣＴ係数がスキャン順に並ぶように接続し、直流成分の係数値とともに低解像度用ＭＰＥＧストリームとして出力し、入力ストリームより新たな部分を入力する（ステップ２２１０から処理を続ける。）。
【００４５】
以上の説明で明らかなように、本実施の形態によれば、第１の実施の形態と同様に、ＤＣＴや可変長符号化などの演算量の多い処理を行なうことなく、低解像度用のＭＰＥＧストリームを高速に生成することができる。
【００４６】
さらに低解像度用のＤＣＴ係数の情報が、４つのＤＣＴブロックに分散して含まれるため、第１の実施の形態に比べ、より多くの低解像度用ＤＣＴ係数を合成しても、高解像度用ＭＰＥＧストリームの復号映像に与える影響を少なく抑える事ができ、その実用的効果は大きい。
【００４７】
（第３の実施の形態）
第３の実施の形態では、ネットワークを介して伝送されているＭＰＥＧストリームの映像を、ユーザが解像度を選択して受信することができる、解像度可変映像提供システムについて説明する。
【００４８】
まず、本システムの構成について説明する．
図１３は、本システムの構成を示すブロック図である。図１３に示すとおり、本システムは、映像生成部１０００と、解像度変換部３０００と、映像受信部４０００とが、ネットワーク２０００を介して接続され構成されている。
【００４９】
映像生成部１０００は、本システムで利用する映像の、基となるＭＰＥＧストリームを生成し、送信する機能を有し、映像源を提供するビデオ機器１１００と、ビデオ機器１１００から映像を取得し、複数解像度のＭＰＥＧストリームの生成が容易なＭＰＥＧストリームを生成する映像符号化装置１２００と、映像符号化装置が生成したＭＰＥＧストリームを解像度変換部３０００に送信する映像送信装置１３００とを備える。
【００５０】
解像度変換部３０００は、映像受信部４０００から送られるユーザの要求を受け付けて処理し、解像度変換部のすべての装置を制御する要求処理装置３１００と、映像生成部１０００から送信されたＭＰＥＧストリームを受信する映像受信装置３２００と、映像受信装置３２００が受信したＭＰＥＧストリームを、要求処理装置３１００から指示された解像度のＭＰＥＧストリームに変換する解像度変換装置３３００と、解像度変換装置３３００により変換されたＭＰＥＧストリームを映像受信部４０００に送信する映像送信装置３４００とを備える。
【００５１】
映像受信部４０００は、ユーザからの要求を受けつけ、選択した解像度を解像度変換部３０００に要求し、解像度変換部３０００より送信されたＭＰＥＧストリームを受信してデコードし、表示する映像受信再生装置４１００を備える。
【００５２】
本システムにおいて、映像符号化装置１２００と解像度変換装置３３００は、第１ないし第２の実施の形態で説明した映像符号化装置と解像度変換装置とを用いるものとする。ただし、第１ないし第２の実施の形態で説明した解像度変換装置は、高解像度のＭＰＥＧストリームと低解像度のＭＰＥＧストリームとを同時に出力するが、本システムで用いる解像度変換装置３３００は、要求処理装置３１００の指示により、高解像度あるいは低解像度いずれか１つのＭＰＥＧストリームを出力することができるものとする。
【００５３】
次に、本システムの動作を説明する．
図１４は、本システムでの映像の生成から再生までの処理の流れを示す、フローチャートである。図１４に示すとおり、本システムは次の流れで映像提供を行なう。
【００５４】
ステップ５１００：最初に、映像生成部１０００でビデオ機器１１００が発生させた映像信号を映像符号化装置１２００が取り込み、
ステップ５２００：ＭＰＥＧストリームを生成する．
ステップ５３００：映像送信装置１３００は、映像符号化装置１２００が生成したＭＰＥＧストリームを、解像度変換部３０００に送信する．
ステップ５４００：一方、映像受信再生部４０００でユーザが映像の再生を要求し、希望する解像度を選択すると、ユーザの要求を、映像受信再生装置４１００が解像度変換部３０００に対して送信し、
ステップ５５００：解像度変換部３０００で、要求処理装置３１００が、映像受信再生部４０００より送信された要求を受信し、解像度変換部３０００の各装置に動作を指示する．
ステップ５６００：最初に映像受信装置３２００が、指示された映像を映像生成部１０００より受信し、解像度変換装置３３００に渡す．
ステップ５７００：解像度変換装置３３００は、映像受信装置３２００から渡された映像のＭＰＥＧストリームを要求処理装置３１００に指示された解像度のＭＰＥＧストリームに変換し、映像送信装置３４００に渡す．
ステップ５８００：映像送信装置３４００は、要求処理装置に指示された映像受信再生部４０００にたいして、解像度変換装置３３００より渡されたＭＰＥＧストリームを送信する．
ステップ５９００：映像受信再生装置４１００は、解像度変換部３０００より送信されたＭＰＥＧストリームを受信し、デコードして表示する。
【００５５】
以上の処理により、複数の解像度の映像提供を行なう。
【００５６】
本実施の形態によれば、受信再生装置が複数あった場合で、同じ映像に対して、複数の解像度での要求が発生した場合でも、映像生成部が生成するＭＰＥＧストリームは１つのストリームで済み、映像生成部の映像の符号化・送信に要する処理量を増大させることなく、さらに映像生成部から解像度変換部への映像送信に要するネットワークの負荷をも増大させることなく、複数の解像度の映像を提供することができ、その実用的効果は大きい。
【００５７】
【発明の効果】
以上のように、本発明は第一に、
入力画像に対し直交変換を用いて圧縮符号化する際に、前記入力画像と、前記入力画像を縮小した縮小入力画像とに対し、ブロック単位の直交変換を施して直交変換係数を生成し、前記入力画像に対する直交変換係数の低周波部分を前記縮小入力画像に対する直交変換係数と入れ替えた直交変換係数を圧縮符号化に用いるものであり、
また、上記方式のうち、縮小入力画像に対する直交変換係数を、入力画像に対する直交変換係数より生成する係数変形処理（直交変換された基軸領域での演算により、縮小入力画像に対する直交変換係数を生成）するものである。
【００５８】
また、制御手段と、複数の解像度の入力画像に対する直交変換係数を含む圧縮映像信号を入力する入力手段と、入力された圧縮映像信号から低解像度の圧縮映像信号を生成する符号変換手段と、複数の解像度の圧縮映像信号を個々に出力する出力する出力部とを備え、
前記符号変換手段が、前記入力手段により入力された圧縮映像信号の可変長符号の高解像部の削除および低解像度の直交変換係数の終端を示す可変長符号の追加をすることにより前記低解像度の圧縮映像信号を生成するものである。
【００５９】
これにより、従来のようなデコード、差分（階層化された解像度情報）調整、エンコードといった演算量の膨大な処理をすることなく、一つの圧縮信号から複数の解像度の映像信号を取り出し可能な、映像圧縮符号化方式を提供できる。
【００６０】
第二に、
入力画像と縮小入力画像がブロック単位に直交変換され、前記直交変換によって生成された直交変換係数のうち、前記入力画像の直交変換係数の低周波部分を前記縮小入力画像の直交変換係数の低周波部分と入れ替えた直交変換係数を可変長符号化した複数解像度圧縮映像信号から、前記縮小入力画像を再生するための圧縮映像信号を生成する際に、前記複数解像度圧縮映像信号に含まれる高解像度の直交変換係数成分を削除することにより、前記縮小入力画像を再生するための圧縮映像信号を生成するものであり、
これにより、第一の効果に加え、より多くの低解像度に相当する直交変換係数を合成しても高解像度の復号映像に影響を少なく抑えることができる。
【００６１】
第三に、
複数の解像度をもつ圧縮映像信号の要求、生成、解析がネットワーク上で分散されて行われる場合、前記第一、第二の発明による装置がネットワーク上へその圧縮映像信号を送出できることにより、
送信側からは例えば１ストリーム分のデータ量を送るだけで（ネットワーク付加をも増大させることなく）複数の解像度を同時に提供することができる。
【図面の簡単な説明】
【図１】映像符号化装置のブロック図
【図２】映像符号化装置の全体の処理を示すフローチャート
【図３】係数合成処理により生成されるＤＣＴ係数の概念図
【図４】係数合成処理により生成されるＤＣＴブロックの詳細図
【図５】係数合成処理により生成される係数に対する可変長符号の概念図
【図６】係数変換手段により縮小画像のＤＣＴ係数を生成する映像符号化装置のブロック図
【図７】解像度変換装置のブロック図
【図８】解像度変換装置の全体の処理を示すフローチャート
【図９】符号変換処理を示すフローチャート
【図１０】符号変換処理によって生成されるストリームの概念図
【図１１】低解像度のＤＣＴ係数を分散して格納する係数合成処理の概念図
【図１２】低解像度のＤＣＴ係数が分散して格納されているストリームに対する解像度変換装置の処理を示すフローチャート
【図１３】映像情報提供システムのブロック図
【図１４】映像情報提供システムの処理を示すフローチャート
【符号の説明】
１０  全体制御部
１００  入力部
１０１  入力手段
１０２  入力映像バッファ
２００  符号化部
２０１  符号化制御手段
２０２  直交変換手段
２０３  映像縮小手段
２０４  直交変換手段
２０５  係数合成手段
２０６  量子化手段
２０７  可変長符号化手段
２０８  構造符号化手段
２０９  係数変形手段
３００  出力部
３０１  出力手段
４１０  制御手段
４２０  入力手段
４３０  符号変換手段
４４０  出力手段
１０００  映像生成部
１１００  ビデオ機器
１２００  映像符号化装置
１３００  映像送信装置
２０００  ネットワーク
３０００  解像度編幹部
３１００  要求書理想地
３２００  映像受信装置
３３００  解像度変換装置
３４００  映像送信装置
４０００  映像受信部
４１００  映像受信再生装置
【図１】
0003617358.tif 000002
【図２】
0003617358.tif 000003
【図３】
0003617358.tif 000004
【図４】
0003617358.tif 000005
【図５】
0003617358.tif 000006
【図６】
0003617358.tif 000007
【図７】
0003617358.tif 000008
【図８】
0003617358.tif 000009
【図９】
0003617358.tif 000010
【図１０】
0003617358.tif 000011
【図１１】
0003617358.tif 000012
【図１２】
0003617358.tif 000013
【図１３】
0003617358.tif 000014
【図１４】
0003617358.tif 000015