(57)【特許請求の範囲】
【請求項１】
ビデオ情報を捕捉し圧縮する方法であって、
（ａ）３６Ｈｚ、７２Ｈｚおよび７５Ｈｚの１つから選択された初期フレームレートで複数のフレームのビデオ映像を捕捉する工程と、
（ｂ）捕捉ビデオ映像を、圧縮データストリームを形成するために圧縮する工程と、を含み、
該圧縮データストリームは、
（１）元の空間解像度より低い空間解像度と、24Hz,36Hzおよび37.5Hzの１つから選択された基本フレームレートを持つ基本レイヤであって、入力映像から基本フレームレートでフレームを選択し、選択されたフレームを、より低い空間解像度となるように空間的にフィルターすることによって生成される基本レイヤと、
（２）
１）オプションとして、基本レイヤの空間解像度と等しい空間解像度と、基本レイヤと結合された場合に、最終的なフレームレートとして60Hz,72Hzおよび75Hzのうちの１つから選択されたフレームレートを持つ時間増大レイヤであって、基本レイヤとしては選択されなかったフレームの空間フィルタリングによって生成される時間増大レイヤと、
２）オプションとして、元の空間解像度と等しい空間解像度と、24Hz,36Hzおよび37.5Hzの１つから選択されたフレームレートをもつ高解像度増大レイヤであって、基本レイヤを圧縮解除し、圧縮解除された基本レイヤを拡大し、その圧縮解除され拡大された基本レイヤを元の映像から差し引いて生成される高解像度増大レイヤと、
３）オプションとして、元の空間解像度と等しい空間解像度と、最終的なフレームレートとして60Hz,72Hzおよび75Hzの１つから選択されたフレームレートをもち、前記時間増大レイヤを復号し拡大した復号時間増大レイヤから、前記時間増大レイヤの生成に使用された元のフレームを差し引いて生成される高解像度時間増大レイヤとを含む、ことを特徴とする方法。
【請求項２】
前記圧縮データストリームのビットレートが19メガビット／秒未満である請求項１に記載の方法。
【請求項３】
前記圧縮データストリームはＭＰＥＧ-2圧縮を用いて圧縮されている請求項１に記載の方法。
【請求項４】
前記基本レイヤはＭＰＥＧ-2圧縮Ｐフレームのみを用いて圧縮されている請求項３に記載の方法。
【請求項５】
前記時間増大レイヤはＭＰＥＧ-2圧縮Ｂフレームのみを用いて圧縮されている請求項３に記載の方法。
【請求項６】
前記高解像度増大レイヤはＭＰＥＧ-2圧縮Ｐフレームのみを用いて圧縮されている請求項３に記載の方法。
【請求項７】
前記高解像度時間増大レイヤはＭＰＥＧ-2圧縮Ｂフレームのみを用いて圧縮されている請求項３に記載の方法。
【請求項８】
2-1-2プルダウンレートにより前記圧縮されたデータストリームの基本レイヤから60Ｈzのディスプレイ用フレームを取り出す工程をさらに含む請求項１に記載の方法。
【請求項９】
前記基本レイヤの解像度は、640×480画素、720×486画素、704×480画素、680×512画素、および1024×512画素の１つから選択されたものである請求項１に記載の方法。
【請求項１０】
前記高解像度増大レイヤは、各方向で前記基本レイヤの２倍の解像度をもつ請求項１に記載の方法。
【請求項１１】
前記高解像度増大レイヤは、前記基本レイヤの中心領域のみで前記基本レイヤの解像度を大きくするために前記基本レイヤと組み合わせ可能とされる請求項１に記載の方法。
【請求項１２】
36Hz、72Hzおよび75Hzの１つから選択された初期フレームレートにおいて複数のフレームで捕捉されたビデオ情報を圧縮し、圧縮データストリームに捕捉されたビデオフレームを符号化し出力する符号器を含む装置であって、
前記圧縮データストリームは、
（ａ）元の空間解像度より低い空間解像度と、24Hz,36Hzおよび37.5Hzの１つから選択されたフレームレートを持つ基本レイヤと、
（ｂ）
（１）オプションとして、基本レイヤの空間解像度と等しい空間解像度と、基本レイヤと組み合わされた場合に、最終的なフレームレートを達成するために60Hz,72Hzおよび75Hzの１つから選択される時間増大レイヤであって、基本レイヤとしては選択されなかったフレームの空間フィルタリングによって生成される時間増大レイヤと、
（２）オプションとして、元の空間解像度と等しい空間解像度と、24Hz,36Hzおよび37.5Hzの１つから選択されたフレームレートをもつ高解像度増大レイヤであって、前記基本レイヤを圧縮解除し、圧縮解除された基本レイヤを拡大し、その圧縮解除され拡大された基本レイヤを元の映像から差し引いて生成される高解像度増大レイヤと、
（３）オプションとして、元の空間解像度と等しい空間解像度と、60Hz、72Hzおよび75Hzの１つから選択されたフレームレートをもち、前記時間増大レイヤを復号し拡大した復号時間増大レイヤから、前記時間増大レイヤの生成に使用された元のフレームを差し引いて生成される高解像度時間増大レイヤを含む、ことを特徴とする前記装置。
【発明の詳細な説明】
発明の背景
１．  発明の分野
本発明は電子通信システムに関し、具体的には、圧縮画像フレームの時間レートと解像度が階層化された最新式電子テレビシステムに関する。
２．  関連技術の説明
米国では現在ＴＶ送信用にＮＴＳＣ標準方式が使用されている。しかし、ＮＴＳＣ標準を最新式ＴＶ標準と置換するような提案がなされている。たとえば、本論の時点では、先進テレビジョンサービスの諮問委員会（ＡＣＡＴＳ）により、米国は24Ｈz、30Ｈz、60Ｈzおよび60Ｈzインタレースのレートのデジタル標準精度および先進テレビジョン形式を採用することが提案されている。こうしたレートが、60Ｈz（または59.94Ｈz）の従来のＮＴＳＣテレビジョン表示レートを継続するよう（したがって、互換性のあるよう）意図されていることは明らかである。さらに、「３−２プルダウン」が、時間レートが毎秒24フレーム（fps）の映画を示すときに60Ｈzディスプレイでの表示用であることも明らかである。しかし、ＡＣＡＴＳの提案には選択可能な形式のメニュが示されているが、各形式は単一の解像度およびフレームレートの符号化や復号化を実行するだけである。上記の形式の表示レートや移動レートは互いに統一的に関連づけられていないので、１方から他方への変換は困難である。
さらに、現行のＡＣＡＴＳ提案には、コンピュータディスプレイとの互換性という重要な機能が示されていない。こうした提案された映像動きレートは、今世紀の初期まで遡る履歴レートに基づいている。「白紙」にすると、こうしたレートが選択されるとは考えられない。コンピュータ産業では、ディスプレイには過去１０年間にわたって任意のレートが利用可能であり、70ないし80Ｈzの範囲のレートが最適であることが判明しており、中でも72と75Ｈzが最もよく使われているレートである。残念ながら、ＡＣＡＴＳにより提案された30および60Ｈzのレートは、72または75Ｈzと有益に共同利用ができず、その結果時間性能が劣化することになる。
さらに、当業者により示唆されていることであるが、解像度が約1000の走査線でフレームレートが高いことが必要とされているので、フレームインタレースが必要であるが、従来の６ＭＨz放送テレビチャンネルの利用可能な18-19mbits/秒内にこうした画像を圧縮することはできないと考えられている。
望ましい標準および高精細解像度すべてを内部に含む単一信号形式が採用されれば一層望ましくなるであろう。しかし、従来の6ＭＨz放送テレビチャンネルという帯域制限内でそのようにするには、フレームレート（時間）および解像度（空間）の両方の圧縮（または「スケーラビリティ」）を必要とする。こうしたスケーラビリティを実行するよう特に意図された方法はＭＰＥＧ-2標準である。残念ながら、ＭＰＥＧ-2標準内で特定された時間および空間のスケーラビリティ機能は、米国の先進テレビの必要性をみたすほど十分には効率的ではない。したがって、米国の先進テレビに対するＡＣＡＴＳの提案では、時間（フレームレート）および空間（解像度）階層化の効率が悪いので、形式は不連続とならざる得ない。
本発明はＡＣＡＴＳの提案の上記および他の問題を克服する。
発明の要約
本発明は、フレームレートが高い上に高品質な状態で1000の走査線の解像度を越える画像圧縮を確実に達成する画像圧縮方法および装置を提供する。さらに、本発明は、従来のテレビ放送チャンネルで利用可能な帯域幅内で上記の解像度かつ高フレームレートを維持して時間および解像度のスケーラビリティを達成する。本発明の技術は、先進テレビのＡＣＡＴＳにより提案されている圧縮レートの２倍以上を効率良く達成する。
初期または基本フレーミングレート72fpsで映像材料を捕捉するのが好ましい。次いで、ＭＰＥＧ-2データストリームが生成される。このデータストリームは、
（１）好ましくはＭＰＥＧ-2 Ｐフレームによってのみ符号化され、解像度が低く（例えば、1024×512画素）フレームレートが低い（24または36Ｈz）ビットストリームを含む基本レイヤと、
（２）ＭＰＥＧ-2 Ｂフレームによってのみ符号化され、解像度が低く（例えば、1024×512画素）フレームレートが低い（72Ｈz）ビットストリームを含むオプションの基本解像度および時間増大レイヤと、
（３）好ましくはＭＰＥＧ-2 Ｐフレームによってのみ符号化され、解像度が高く（例えば、2k×1k画素）フレームレートが低い（24または36Ｈz）ビットストリームを含むオプションの基本時間および高解像度増大レイヤと、
（４）ＭＰＥＧ-2 Ｂフレームによってのみ符号化され、解像度が高く（例えば、2k×1k画素）フレームレートが低い（72Ｈz）ビットストリームを含むオプションの高解像度および時間増大レイヤと、を含む。
本発明は基本技術属性を多々備えており、ＡＣＡＴＳ提案に対して実質的な改良を加えて、多くの解像度やフレームレートを単一の階層化解像度およびフレームレートと置き換え、6ＭＨzのテレビチャンネル内でフレームレートを高く維持しながら（72Ｈz）２メガ画素映像に対して1000走査線以上の解像度を達成するためにインタレースを実施する必要がなく、72fpsの基本フレームレートを用いてコンピュータディスプレイと互換性を保持し、先進テレビに対する現行の非階層化ＡＣＡＴＳ形式の提案よりも堅牢である。というのは、「強勢の多い」映像材料に遭遇したときに利用可能なビットすべてが解像度の低い基本レイヤに割り当てられるからである。
本発明の好ましい実施例の詳細は添付図面と以下の記載に詳述されている。本発明の細部が理解されると、さらに多くの技術革新や変更を加えることができるのは当業者には明らかであろう。
【図面の簡単な説明】
図１は、60Ｈzで表示される24fpsおよび36fps材料のプルダウンレートを示すタイミング図である。
図２は、第１の好ましいＭＰＥＧ-2符号化パターンである。
図３は、第２の好ましいＭＰＥＧ-2符号化パターンである。
図４は、本発明の好ましい実施例による時間レイヤ復号化を示す構成図である。
図５は、36Ｈzと72Ｈzフレームの両方を出力可能な変換器への60Ｈzのインタレース入力を示す構成図である。
図６は、24または36Ｈzで基本ＭＰＥＧ-2レイヤの「主テンプレート」を示す図である。
図７は、ＭＰＥＧ-2を利用する階層化解像度スケーラビリティを用いて基本解像度テンプレートの拡大を示す図である。
図８は、好ましい階層化解像度符号化処理を示す図である。
図９は、好ましい階層化解像度復号化処理を示す図である。
図１０は、本発明による復号器の解像度および時間スケーラビリティオプションの組合せを示す構成図である。
各図面における同じ参照番号および名称は同じ要素を示す。
本発明の詳細な説明
本記載を通して、図示の好ましい実施例および例示は、本発明の制限よりも模範例と考えるのが望ましい。
時間レート族の目標
従来技術の問題を考慮した後で、本発明を遂行する際に、将来のデジタルテレビシステムの時間的な特徴を規定するために以下に示す目標が定められる。
＊毎秒24フレームのフィルムという解像度の高い遺産を最適に表示すること。
＊スポーツなどの素早く動く映像を滑らかに動き捕捉すること。
＊従来のアナログＮＴＳＣディスプレイならびに72または75Ｈzで動作するコンピュータ互換性ディスプレイにおいてスポーツや同様の映像を滑らかに動くよう表示すること。
＊ニュースや生中継ドラマなどそれほど動きの速くない映像を適切であるが効率よく動き捕捉すること。
＊従来のＮＴＳＣディスプレイに変換器ボックスを介してあらゆる新しい種類のディジタル映像を適切に表示すること。
＊コンピュータ互換性ディスプレイにあらゆる新しい種類の映像を高品質で表示すること。
＊60Ｈzのデジタル標準または高解像度ディスプレイが市販されても、こうしたディスプレイで適切かつ高品質に表示すること。
60Ｈzおよび72/75Ｈzディスプレイは24Ｈzの映画レート以外のいかなるレートでも基本的には互換性がないので、72/75または60が表示レートとして除かれている場合には最適の状況となる。72または75ＨzはN.I.I.（National Information Infrastructure:全米情報基盤）やコンピュータアプリケーションプログラムに必要なレートなので、基本的に時代遅れなものとして60Ｈzのレートを除くのは先見の明となるであろう。しかし、放送およびテレビ機器業界内には多くの関係者が競合しており、新しいデジタルテレビ基盤は60Ｈz（および30Ｈz）に基づくというべきという強い要望がある。これは、テレビ業界、放送業界およびコンピュータ業界間で白熱した論争を生み出している。
さらに、インタレース式60Ｈz形式に関する放送業界およびテレビ業界の関係者による主張は、コンピュータ表示要件との間ですき間が拡がっている。非インタレース式ディスプレイはデジタルテレビシステムのコンピュータへの適用に必要なので、インタレース式信号が表示されるときにはインタレース解除器が必要となる。インタレース解除器のコストや品質について論争がある、というのはこうしたインタレース解除器はこうした受信装置すべてに必要となるからである。インタレース解除に加えてフレームレート変換によりコストがさらにかかり、品質に悪影響を及ぼす。例えば、ＮＴＳＣ対ＰＡＬ変換器は高値止まりであり、しかも、変換性能は、多くの一般的な種類の場面に対して依拠する関係にない。インタレースは複雑で問題のある主題なので、時間レートの問題や論点に取り組もうとすれば、本発明は、インタレースのないデジタルテレビ標準の状況で説明しなければならない。
最適時間レートの選択
問題の克服：72または75Ｈzのディスプレイは、その表示レート（72または75Ｈz）に等しい動きレートでカメラまたはシミュレートされた映像が作成されると、最適な表示が実現することになる。また、逆も同じである。同様に、60Ｈzディスプレイでの最適な動きの忠実性は、60Ｈzのカメラまたはシミュレートされた映像から生み出される。60Ｈzディスプレイで72Ｈzまたは75Ｈzの生成レートを使用すると、それぞれ12Ｈzまたは15Ｈzのうなり周波数となる。このうなりは動き分析により除去できるが、動き分析は高価で不正確であり、しばしば視覚上のアーティファクトや時間上のエイリアシングを生み出すことになる。動き分析を行わないと、うなり周波数は知覚表示レートを上回り、12または15Ｈzのうねりは24Ｈzをも下回る精度の動きを引き起こすことになる。したがって、24Ｈzは、60Ｈzと72Ｈzの間の自然時間公分母を形成する。75Ｈzは60Ｈzよりやや高く15Ｈzのうねり持ち、その動きは24Ｈzほど滑らかではなく、75Ｈzと24Ｈzの間には、24Ｈzのレートが25Ｈzまで増加されない限り、整合的な関係はない。（ヨーロッパの50Ｈzの国では、映画はしばしば4％早い速度の25Ｈzで上映されており、これにより75Ｈzディスプレイで映画が表示可能になる。）
各受信装置で動き分析を行わないと、72または75Ｈzディスプレイでの60Ｈzの動きおよび60Ｈzディスプレイでの75または72Ｈzの動きは24Ｈzの映像ほど滑らかではない。したがって、72/75Ｈzの動きも60Ｈzの動きも、72または75Ｈzおよび60Ｈzディスプレイを含む統一されていないディスプレイの集合にはふさわしくない。
３−２プルダウン：テレシネ（映画対ビデオ）変換処理中はビデオ効果と共に「３−２プルダウン」を使用するので、最適なフレームレートを選択する際にさらに困難な問題が発生する。こうした変換中には、３−２プルダウンパターンは第１フレーム（またはフィールド）を３回繰り返し、次のフレームを２回繰り返し、次のフレームを３回繰り返し、次のフレームを２回繰り返す。このようにして24fpsの映画を60Ｈz（実際は、ＮＴＳＣカラーで59.94Ｈz）でテレビに示す。すなわち、映画の１秒で１２個の２フレーム対それぞれが５回表示され、毎秒60回映像が現れる。３−２プルダウンパターンは図１に示してある。
概算によると、ビデオの全映画の半分以上では、59.94Ｈzビデオフィールドレートを24fpsの映画に調整した個所が現れる。こうした調整には、「パンおよび走査」、カラー補正、およびタイトルのスクロールなどがある。さらに、フレームを落としたり、場面の開始端と終端をクリップして予定された所与の放送内に当てはめることにより時間調整される映画が多くある。59.94Ｈzと24Ｈzの両動きがあるため、こうした動作では３−２プルダウン処理を反転するのは困難である。このため、ＭＰＥＧ-2標準により映画を圧縮するのが極めて困難になる。幸運なことには、この問題は従来のＮＴＳＣ解像度材料に制限されている、というのは３−２プルダウンを用いた解像度のより高いデジタルフィルムについてのそれほど重要なライブラリーがないからである。
移動のぶれ：24Ｈzより高い共通時間レートを発見する論点をさらに掘り下げるために、移動映像を捕捉する際の移動のぶれを述べるのが有益である。カメラのセンサと映画フィルムは、各フレームの持続時間のある区間で移動映像を感知するように開かれている。映画カメラやビデオカメラでは、この露光の持続時間を調整できる。映画のカメラはフィルムを進めるのに時間間隔を必要とし、360度の内約210度すなわち58％デューティサイクルのみを開くように通常制限されている。ＣＣＤセンサを備えたビデオカメラでは、フレーム時間のある部分はセンサから映像を「読み取る」のにしばしば必要となる。このため、フレーム時間は10％ないし50％で変化する。センサの中には、読取り時間中に光を遮断するために電子シャッタを使用しなければならない。したがって、ＣＣＤセンサの「デューティーサイクル」は通常50％ないし90％で変化して、カメラに応じて調整可能である。必要ならデューティーサイクルをさらに低下させるために光シャッタを時に応じて調整することができる。しかし、映画でもビデオでも、最も一般的なセンサのデューティーサイクルの持続時間は50％である。
好ましいレート：この論点を銘記したうえで、60，72または75Ｈzで捕捉された映像列から複数のフレームの中のいくつかのフレームだけを使用することを考えることができる。２，３，４フレームなどの中の１フレームを利用すると、表１に示す部分レートを誘導できる。
0004225518.tif 000002
15Ｈzのレートは60と75Ｈzの間の統一レートである。12Ｈzのレートは60と72Ｈzの間の統一レートである。しかし、24Ｈzより高いレートを希望すると、こうしたレートが除かれてしまう。24Ｈzは共通ではないが、３−２プルダウンの使用は、60Ｈzディスプレイでの表示用に業界によって受け入れられるようになった。したがって、候補レートは30，36，37.5Ｈzのみである。30Ｈzでは75Ｈzで7.5Ｈzのうねりが現れ、72Ｈzで６Ｈzのうねりが現れるので、それは候補としては有益ではない。
36と37.5Ｈzの共通レートは、60および72/75Ｈzのディスプレイで表示するときに24Ｈzの材料より滑らかな動きの主要な候補となる。これらのレートはどちらも24Ｈzより約50％早いし滑らかである。37.5Ｈzのレートは60または72Ｈzと共に使用するのにはふさわしくないので、除かなければならず、36Ｈzだけが望ましい時間レート特性をもつものとして残る。（37.5Ｈzの動きレートは、テレビの60Ｈzの表示レートが４％移動して62.5Ｈzになると使用可能になる。60Ｈzの背後の利点を考えると、62.5Ｈzは可能性が低いと思われる。新しいテレビシステムに極めて古い59.94Ｈzのレートを提案する人々さえいる。しかし、こうした変化を行うと、本発明の他の実施例が37.5Ｈzのレートに適用可能になる。）
24，36，60および72Ｈzのレートは時間レート族の候補として残されている。72および60Ｈzのレートは分配レートには使用不可能である。というのは上記のように、これらの２つのレート間で変換を行うときには24Ｈzが分配レートとして使用される場合ほど動きは滑らかではないからである。仮説では、24Ｈzより速いレートが求められている。したがって、36Ｈzは、60および72/75Ｈzのディスプレイと使用される基本統一動き捕捉および映像分配レートの主候補である。
上記のように、24Ｈz材料に対する３−２プルダウンパターンは第３フレーム（またはフィールド）を３回、次のフレームを２回、次のフレームを３回、次のフレームを２回．．．と繰り返す。36Ｈzを使用するときには、各パターンは２−１−２パターンで繰り返されるのが最適である。これは表２に示され、図１に図式化される。
0004225518.tif 000003
36Ｈzと60Ｈzの間の関係は真に36Ｈzの材料にのみ当てはまる。60Ｈz材料は、インタレース式の場合には、36Ｈzに「記憶」可能であるが、36Ｈzは、動き分析と再構成なしには適切に60Ｈzから作成することはできない。しかし、動き捕捉の新しいレートを求めていると、36Ｈzは24Ｈzよりも60Ｈzではやや滑らかな動きをもたらし、72Ｈzのディスプレイでは一層滑らかな映像の動きをもたらす。したがって、36Ｈzは、60および72Ｈzのディスプレイと共に使用した場合には基本統一動き捕捉および映像分配レートの最適レートであり、こうしたディスプレイに表示された24Ｈz材料よりも動きが滑らかになる。
36Ｈzは上記の目標に合致するが、それが唯一つの適切な捕捉レートではない。36Ｈzは60Ｈzから簡単に抽出できないので、60Ｈzは適切な捕捉レートを提供しない。しかし、72Ｈzは捕捉に使用でき、１フレームおきに36Ｈz分配の基礎として使用される。72Ｈz材料の１フレームおきにフレームを使用した場合の動きのぶれは、36Ｈzの捕捉での動きのぶれの半分となる。72Ｈzからの３フレームおきのフレームに現れる動きのぶれの検査では、24Ｈzでのスタッカートストロボは好ましくないことが判明している。しかし、36Ｈzのディスプレイでの72Ｈzからの１フレームおきのフレームの利用は、36Ｈzの本来の捕捉と比較すると目には好ましい。
したがって、36Ｈzは72Ｈzでの捕捉により72Ｈzのディスプレイで滑らかな動きを提供する可能性があるが、72Ｈzの本来の捕捉材料の交互のフレームを使用して36Ｈzの分配レートを達成し、２−１−２プルダウンを使用して60Ｈzの映像を誘導することにより60Ｈzのディスプレイでは24Ｈzの材料よりも動きは良好になる。
要約すると、表３は、本発明による捕捉および分配の好ましい最適時間レートを示している。
0004225518.tif 000004
36Ｈzの分配レートを達成するために72Ｈzのカメラから交互のフレームを利用する技術は動きぶれデューティーサイクルが増大すると有益になることにも注意すべきである。72Ｈzでの通常50％デューティーサイクルは、36Ｈzで25％のデューティーサイクルを生み出し、許容範囲となり、60Ｈzおよび72Ｈzのディスプレイで24Ｈzに対してかなり改良される。しかし、デューティーサイクルが75ないし90％の範囲まで増加する場合には、36Ｈzのサンプルは一層一般的な50％デューティーサイクルに近づき始めることになる。デューティーサイクルの増加は、消去時間の短い「補助記憶」ＣＣＤ設計を用いて高いデューティーサイクルを生み出すことにより実行される。２重ＣＣＤ複合設計を含む他の方法を利用することもできる。
修正型ＭＰＥＧ-2圧縮
効率的な記憶および分配のために、36Ｈzの好ましい時間レートをもつデジタルソース材料を圧縮するのが望ましい。本発明用の圧縮の好ましい形式は、ＭＰＥＧ-2標準の新規な変形形式を用いて実施される。
ＭＰＥＧ-2基本：ＭＰＥＧ-2は、より簡潔な符号化データの形に映像列を表す効率的な方法を備えたビデオシンタクスを定義する国際ビデオ圧縮標準である。符号化ビットの言語は「シンタクス」である。例えば、２，３のトークンが64個のサンプルから成るブロック全体を表す。ＭＰＥＧは、符号化ビットが簡潔な表現から映像列の元の「生の」形式にマップされる復号（再構成）処理も記載している。例えば、符号化ビットストリームのフラグが、以下に示すビットが離散余弦変換（ＤＣＴ）アルゴリズムまたは予測アルゴリズムで復号可能かどうかを合図する。復号処理を含むアルゴリズムはＭＰＥＧにより定義された語義により規制される。このシンタクスは、空間冗長、時間冗長、均一動き、空間マスクなどの共通ビデオ特徴を活用するように適用可能である。実際、ＭＰＥＧ-2はプログラミング言語ならびにデータ形式を定義する。ＭＰＥＧ-2復号器は到来するデータストリームを分析し復号可能でなければならないが、データストリームがＭＰＥＧ-2シンタクスで解釈される限り、多様なデータ構造と圧縮技術が使用可能である。本発明は、ＭＰＥＧ-2標準を使用する時間および解像度スケールする新しい手段および方法を工夫することによりこの柔軟性を利用する。
ＭＰＥＧ-2はフレーム内およびフレーム間圧縮方法を使用する。大半のビデオ場面では、前景で動きが発生し、後景は比較的安定している。後景は移動するが、場面の大部分は冗長である。ＭＰＥＧ-2は、Ｉ（Intra--内）フレームと呼ばれる参照フレームを作成することによりその圧縮を開始する。Ｉフレームは、他のフレームを参照することなく圧縮されるので、ビデオ情報のフレーム全体を含む。Ｉフレームはランダムアクセス用のデータビットストリームへの入力点を備えているが、それ程大きく圧縮できない。通常は、Ｉフレームを表すデータが10ないし15フレーム毎にビットストリームに配置される。その後は、参照Ｉフレーム間のフレームのほんの一部しか挟むＩフレームとは異なっていないので、差のみが捕捉されて、圧縮され記憶される。２つの種類のフレームがこうした差−Ｐ（予測）フレームとＢ（双方向内挿）フレームに使用される。
Ｐフレームは過去のフレーム（Ｉフレームまたは前のＰフレーム）を参照して全体的に符号化され、一般には、未来のＰフレームの参照として使用される。Ｐフレームはかなりの量の圧縮を受け入れる。Ｂフレーム映像は最高レベルに圧縮されているが、符号化のためには一般には過去と未来の参照を必要とする。双方向フレームは参照フレームには決して使用されない。
Ｐフレーム内のマクロブロックは、フレーム内符号化技術により個別に符号化することもできる。Ｂフレーム内のマクロブロックは、フレーム内符号化、前方予測符号化、後方予測符号化、または前後方予測符号化両方、または双方向内挿予測符号化技術により個別に符号化することもできる。マクロブロックとは、Ｐフレーム用に１つの動きベクトルおよびＢフレームに１つまたは２つの動きベクトルを備えた４つの8×8ＤＣＴブロックから成る16×16画素のグループである。
符号化の後で、ＭＰＥＧデータビットストリームはＩ，ＰおよびＢフレームの列を含む。１列はＩ，ＰおよびＢフレームの任意のパターンの大半から構成される（それらのパターンの配置にはわずかな語義上の制限が加えられる。）しかし、通常の産業界の実施では、固定パターンを備えている（たとえば、IBBPBBPBBPBBPBB）。
本発明の重要な部分として、ＭＰＥＧ-2データストリームが作成され、基本レイヤと、少なくとも１つのオプションの時間増大レイヤと、オプションの解像度増大レイヤとを含む。こうしたレイヤのそれぞれを以下に詳細に説明する。
時間スケーラビリティ
基本レイヤ：基本レイヤは36Ｈzのソース材料を保持するのに使用される。好ましい実施例では、２つのＭＰＥＧ-2フレーム列（IBIBIBPまたはIPPPPPP）の１つが基本レイヤに使用可能である。後者のパターンの方が好ましい。というのは復号器はＰフレームを復号するのにしか必要ではなく、24Ｈzの映画がＢフレームなしで復号化される場合には必要なメモリ帯域を抑えることができる。
72Ｈzの時間増大レイヤ：ＭＰＥＧ-2圧縮を使用するときには、Ｐフレーム距離が同等なら36Ｈzの基本レイヤのＭＰＥＧ-2列内に複数のＢフレームとして36Ｈz時間増大レイヤを埋め込むことができる。このため、単一データストリームは36Ｈzおよび72Ｈzのディスプレイをどちらもサポート可能である。たとえば、両レイヤは復号化されてコンピュータモニタ用の72Ｈzの信号を生成するが、基本レイヤだけが復号化され変換されて、テレビ用の60Ｈzの信号を生成する。
好ましい実施例では、IPBBBPBBBPBBBPまたはIPBPBPBPBのＭＰＥＧ-2符号化パターンの両方により、時間増大Ｂフレームだけを含む個々のストリームに交互にフレームを配置すれば36Ｈzから72Ｈzとすることができる。こうした符号化パターンは図２と図３それぞれに示されている。図３の２フレームＰ間隔符号パターンには、Ｐフレームを復号化するためには36Ｈzの復号器が必要なだけであり、24Ｈzの映画がＢフレームなしで復号化される場合には必要なメモリ帯域幅が減少するという利点が付加される。
高解像度の映像による実験は、図３の２フレームＰ間隔が大半の映像の種類に最適であることを示唆している。すなわち、図３の構成は、明らかに、現代の72Ｈzコンピュータ互換ディスプレイに優れた結果をもたらしながら、60Ｈzおよび70Ｈzの両方をサポートする最適の時間構造を提供できる。この構成により２つのデジタルストリーム−−基本レイヤに対する36Ｈzのストリームと増大レイヤＢフレームに対する36Ｈzのストリーム−−が72Ｈzを達成することができる。これは図４に示されている。図４は、36Ｈz基本レイヤＭＰＥＧ-2復号器５０が単純にＰフレームを復号して36Ｈz出力を生成することを示す構成図である。次いで、この36Ｈz出力は60Ｈzまたは72Ｈzディスプレイに容易に変換可能である。選択的に装備できる第２復号器５２が単純にＢフレームを復号して第２の36Ｈz出力を生成する。この第２の36Ｈz出力は基本レイヤ復号器５０の36Ｈz出力と結合されて、72Ｈzの出力となる（結合方法は以下に記載される）。他の実施例では、１つの高速ＭＰＥＧ-2復号器５０は基本レイヤ用のＰフレームと増大レイヤ用のＢフレームの両方を復号可能となる。
最適主形式：約１１メガ画素／秒で動作するＭＰＥＧ-2復号チップを製造している会社が大半である。ＭＰＥＧ-2標準は、解像度およびフレームレートのいくつかの「プロファイル」を定義した。こうしたプロファイルは60Ｈz、非矩形画素およびインタレースなどのコンピュータ非互換性形式パラメータの方への偏りが強いが、多くのチップ製造メーカが「主プロファイル、主レベル」で動作する復号器チップを開発しているようである。このプロファイルは、最高25Ｈzで最高720画素の任意の水平方向解像度および最高576走査線の任意の垂直解像度ならびに最高30Ｈzで最高480走査線の任意のフレームレートと定義される。約１．５メガビット／秒から約１０メガビット／秒にわたる広範なデータレートも指定される。しかし、チップの視点からは、主論点は、画素が復号されるレートである。主レベルで主輪郭画素レートは約１０．５メガ画素／秒である。
チップ製造業間には差があるが、高速サポートメモリがあると、大半のＭＰＥＧ-2復号器チップは最高１３メガ画素／秒で動作する。２０メガ画素／秒以上もの速度で動作する復号器チップもある。ＣＰＵチップは所与のコストで毎年50％以上改良されており、ＭＰＥＧ-2復号器チップの画素レートには近いうちに柔軟な変動が期待できる。
表４は望ましい解像度とフレームレートとそれらの対応画素レートを示している。
0004225518.tif 000005
上記の書式すべては、少なくとも12.6メガ画素／秒を生成可能なＭＰＥＧ-2復号器チップを用いて利用可能である。36Ｈz形式で極めて望ましい640×480はほとんどすべての現在のチップにより達成可能である、というのはそのレートは11.1メガ画素／秒のためである。拡大画面1024×512映像は1.5:1圧縮により680×512に圧縮可能であり、12.5メガ画素／秒が取り扱える場合には36Ｈzでサポートできる。1024×512の極めて望ましい矩形画素拡大画面テンプレートは、ＭＰＥＧ-2復号器チップが約18.9メガ画素／秒を処理可能な場合には、36Ｈzを達成可能である。24Ｈzおよび36Ｈz材料がＰフレームでのみ符号化される場合には、これは一層現実的になる。Ｂフレームは72Ｈz時間増大レイヤ復号器でしか必要ではない。Ｐフレームだけを使用する復号器はそれほどメモリやメモリ帯域幅を必要としないので、19メガ画素／秒の目標に到達しやすくなる。
1024×512の解像度テンプレートは、24fpsの2.35:1および1.85:1縦横比映画でよく使用されることになるであろう。この材料は11.8メガ画素／秒しか必要としない。これは、大半の従来主レベル−主プロファイル復号器の範囲内に当てはまる。
こうした形式すべてを24または36Ｈzの基本レイヤ用の「主テンプレート」において図６に示す。したがって、本発明は、従来技術と比べて多様な縦横比や時間解像度に適用する固有の方法を備えている。（主テンプレートはさらに以下で説明される。）
72Ｈzを生成するＢフレームの時間増大レイヤは、上記で特定した２倍の画素レートをもつチップ用いるか、または復号器メモリへの追加アクセスに平行して第２チップを用いて復号可能である。本発明によると、増大および基本レイヤデータストリームを併合して１つおきのＢフレームを挿入するために少なくとも２つの方法がある。第１に、ＭＰＥＧ-2のトランスポートレイヤを用いて、併合を目に見えるように復号器チップに対して実行できる。２つのＰＩＤ（プログラムID）のＭＰＥＧ-2トランスポートパケットは、基本レイヤと増大レイヤを含むものとして認識でき、それらのストリーム内容はどちらも２重レート可能復号器チップまたは通常のレート復号器の適切に構成された対に簡単に渡せる。第２に、ＭＰＥＧ-2システムからのトランスポートレイヤの代りにＭＰＥＧ-2データストリームの「データ区分化」特色も使用可能である。データ区分化特色により、ＢフレームはＭＰＥＧ-2圧縮データストリーム内の異なるクラスに属するものとしてマークをつけることができるので、時間基本レイヤレートしかサポートしてない36Ｈz復号器により無視されるようフラグが立てられる。
ＭＰＥＧ-2ビデオ圧縮により定義されたように時間スケーラビリティは本発明の単純なＢフレーム区分ほど適切ではない。ＭＰＥＧ-2時間スケーラビリティは前のＰまたはＢフレームから前方だけしか参照されないので、本論で提案されたＢフレーム符号化で利用可能な効率性を逸している。Ｂフレーム符号化は前方および後方に参照される。従って、Ｂフレームを時間増大レイヤとして単純に使用すると、ＭＰＥＧ-2内で定義された時間スケーラビリティを実行する一層単純で効率的な時間スケーラビリティが実現する。にもかかわらず、時間スケーラビリティの機構としてＢフレームを使用すると、ＭＰＥＧ-2に完全に対応する。データ区分化またはＢフレームの交互のＰＩＤを介してこうしたＢフレームを増大レイヤとして識別する２つの方法も完全に対応する。
50/60Ｈz時間増大レイヤ：（36Ｈz信号を符号化する）上記の72Ｈz時間増大レイヤまたはそれの代替レイヤに加えて、（24Ｈz信号を符号化する）60Ｈz時間増大レイヤは36Ｈz基本レイヤと同様に追加可能である。60Ｈz時間増大レイヤは、従来の60Ｈzインタレース式ビデオ材料を符号化するのに特に有益である。
大半の従来の60Ｈzインタレース式材料は、アナログ、Ｄ1またはＤ2形式のＮＴＳＣ用のビデオテープである。日本製ＨＤＴＶ（ＳＭＰＴＥ240/260Ｍ）もわずかにある。さらに、この形式で動作するカメラもある。こうした60Ｈzのインタレース式形式はどんなものでも信号がインタレース解除されフレームレートが変換されるような周知の方式で処理可能である。この処理には、ロボットの視覚と同様な極めて複雑な映像理解技術が含まれている。極めて精巧な技術を用いてでさえ、時間エイリアシングは一般的に、アルゴリズムによる「誤解」となり、しばしばアーティファクトをしばしば生み出す。映像捕捉の通常デューティーサイクルが50％ということは、カメラが時間の半分「見ていない」ことを意味することに注意すべきである。映画の「逆方向ワゴンホイール効果」は、不十分な時間サンプリングを通常に実施することによる時間エイリアシングの例である。こうしたアーティファクトを取り除くには一般に必ず人手による再構成が必要である。したがって、自動的に補正が不可能な場合が常にある。しかし、現技術で利用可能な動き変換の結果は大半の材料で適切なものであろう。
高精度カメラやテープ機１個の値段はこうした変換器の価格と同様であろう。したがって、複数のカメラやテープ機を備えたスタジオでは、こうした変換の価格は穏当である。しかし、こうした処理を適切に実行すれば、現行では、家庭やオフィスの製品の予算を越えている。したがって、インタレースを取り除き、従来の材料のフレームレートを変換する複雑な処理は、創作スタジオで実行するのが好ましい。図５に示すように、カメラ６０または他のソース（非フイルムビデオテープ）６２から、36Ｈz信号（36Ｈz基本レイヤのみ）および72Ｈz信号（36Ｈz基本レイヤプラス時間増大レイヤからの36Ｈz）を出力可能なインタレース解除機能およびフレームレート変換機能を備えた変換器６４への60Ｈzインタレース式信号の入力を示す構成図である。
72Ｈz信号（36Ｈz基本レイヤプラス時間増大レイヤからの36Ｈz）の出力の代替として、この変換処理は、36Ｈz基本レイヤ上に第２ＭＰＥＧ-2 24Ｈz時間増大レイヤを作成するのに適応可能である。これによりインタレースを解除したにもかかわらず元の60Ｈz信号が再生されるであろう。60Ｈz時間増大レイヤＢフレームに対して同様の量子化が使用されると、Ｂフレームが少なくなるので、データレートは72Ｈz時間増大レイヤよりやや小さくなる。
米国に関る材料の大半は低解像度ＮＴＳＣである。現在、大半のＮＴＳＣ信号を見る際には大半の家庭用テレビでは損傷が現れる。さらに、視聴者は、映画をテレビで表示するには3-2プルダウンを使用する際に固有の時間損傷を受け入れるようになっている。ほとんど大半のプライムタイムのテレビ番組は毎秒24フレームの映画フィルムで形成されている。したがって、スポーツ、ニュース、および他のビデオ撮影されたショーだけしかこの方式で処理する必要はない。こうしたショーの36/72Ｈz形式への変換に関連するアーティファクトや損失は、信号の高品質インタレース解除に関連する改良により相殺されつつある。
60Ｈz（または59.94Ｈz）フィールドに固有の動きのぶれは72Ｈzフレームの動きのぶれに極めてよく似ていることに注意すべきである。したがって、基本レイヤや増大レイヤを形成する技術は、動きのぶれに関して72Ｈz創生と同様にあらわれる。したがって、インタレース式60ＨzＮＴＳＣ材料を36Ｈz基本レイヤおよび時間増大レイヤからの24Ｈzに処理され、60Ｈzで表示されるときには、おそらく軽微な改良として以外はその相違に気づく視聴者はほとんどいないであろう。しかし、新しい72Ｈzデジタル非インタレース式テレビを購入する人々は、ＮＴＳＣを見るときには改良を軽微なものと感じ、72Ｈzで捕捉され表示された新しい材料を見るときには改良を重いものと感じるであろう。72Ｈzディスプレイに示された復号化36Ｈz基本レイヤでさえ、高品質デジタルＮＴＳＣと同様にみえ、インタレースアーティファクトをより遅いフレームレートと置換している。
同じ処理は従来のＰＡＬ50Ｈz材料の第２ＭＰＥＧ-2増大レイヤへの変換にも適用可能である。ＰＡＬビデオテープは、こうした変換の前に、48Ｈzに遅速化される。同時撮影中のＰＡＬには50，36および72Ｈzの比較的無関係のレートによる変換が必要である。こうした変換器装置は、現行では、放送信号ソースでしか利用できなく、家庭やオフィスの各受信装置では実用的ではない。
解像度スケーラビリティ
ＭＰＥＧ-2を利用する階層式解像度スケーラビリティを用いて基本解像度テンプレートを増大して、基本レイヤに構築したより高い解像度を達成することができる。増大を使用すれば、基本レイヤの１．５倍や２倍の解像度が達成できる。２重解像度は、３／２、次いで、４／３を用いて２つの−−または２の倍数の−−工程に構築できる。これは図７に示してある。
解像度増大の処理は、独立ＭＰＥＧ-2ストリームとして解像度増大レイヤを生成し、増大レイヤにＭＰＥＧ-2圧縮を適用することにより達成できる。この技術は、極めて非効率であると判明しているＭＰＥＧ-2で定義された「空間スケーラビリティ」とは異なっている。しかし、ＭＰＥＧ-2は効果的な階層化解像度を構成して空間スケーラビリティを実行するツールすべてを含んでいる。本発明の好ましい階層化解像度符号化処理を図８に示す。本発明の好ましい復号化処理を図９に示す。
解像度レイヤ符号化：図８では、元の2k×1k映像８０を従来の方式でフィルターにかけて各方向とも半分の解像度にし、1024×512基本レイヤ８１を作成する。
次いで、基本レイヤ８１は従来のＭＰＥＧ-2アルゴリズムにより圧縮され、送信に適切なＭＰＥＧ-2基本レイヤ８２を生成する。重要なのは、全ＭＰＥＧ-2動き補償がこの圧縮工程中に使用できることである。次いで、同じ信号は従来のＭＰＥＧ-2アルゴリズムを用いて、1024×512映像８３に圧縮解除される。1024×512映像８３は第１の2k×1k拡大映像８４に（たとえば、画素複製または好ましくはスプライン内挿などの一層優れたフィルタにより）拡大される。
ところで、オプションの工程としては、フィルタをかけた1024×512基本レイヤ８１は第２の2k×1k拡大映像８５に拡大される。この第２の2k×1k拡大映像８５は元の2k×1k映像８０から抽出されて、元の高解像度映像８０と元の基本レイヤ映像８１の間の解像度の頂部オクターブを表す映像を生成する。その結果作成された映像にオプションで鮮明度係数または重さを掛け合わせて、元の2k×1k映像８０と第２の2k×1k拡大映像８５の間の差に追加して、中央が重みづけられた2k×1k増大レイヤソース映像８６を生成する。次いで、この増大レイヤソース映像８６は従来のＭＰＥＧ-2アルゴリズムに応じて圧縮され、送信に適切な個々のＭＰＥＧ-2解像度増大レイヤ８７を生成する。重要なことは、全ＭＰＥＧ-2動き補償はこの圧縮工程中に使用可能なことである。
解像度レイヤ復号：図９では、基本レイヤ８２は従来のＭＰＥＧ-2アルゴリズムを用いて1024×512映像９０に圧縮解除される。1024×512映像９０は最初の2k×1k映像９１に拡大される。ところで、解像度増大レイヤ８７は従来のＭＰＥＧ-2アルゴリズムを用いて第２の2k×1k映像９２に圧縮解除される。第１の2k×1k映像９１と第２の2k×1k映像９２を加えて、高解像度2k×1k映像９３を生成する。
ＭＰＥＧ-2の改良：要約すると、増大レイヤは復号基本レイヤを拡大することで作成され、元の映像と復号基本レイヤ間の差を取り、圧縮する。しかし、オプションで、圧縮解像度増大レイヤは、復号の後で基本レイヤに追加されて、復号器でより高い解像度の映像を作成する。本発明の階層化解像度符号化処理はＭＰＥＧ-2空間スケーラビリティとは様々な点で異なっている。
＊増大レイヤ差画像は、Ｉ，ＢおよびＰフレームを用いてそれ自体のＭＰＥＧ-2データストリームとして圧縮される。この差は、ＭＰＥＧ-2空間スケーラビリティが実行不可能な場合に、解像度スケーラビリティは、本論で提案されたように、実行可能である主な理由を表している。ＭＰＥＧ-2内で定義された空間スケーラビリティにより、上レイヤは上レイヤ画像と拡大基本レイヤ間の差として、または実際の画像の動き補償ＭＰＥＧ-2データストリームとして、またはその両方の組合せとして符号化可能である。しかし、こうした符号化のどちらも非効率ではない。基本レイヤとの差はＩフレームの差として考えられ、本発明では、動き補償差画像と比較して非効率である。ＭＰＥＧ-2内で定義された上レイヤ符号化も効率がよくない。というのはこれは上レイヤの完全な符号化と同一なためである。したがって、差画像の動き補償符号化は、本発明におけるように、より効率的である。
＊増大レイヤは独立ＭＰＥＧ-2データストリームなので、基本レイヤおよび増大レイヤを復号化するためにＭＰＥＧ-2システムトランスポートレイヤ（または他の同様のメカニズム）を使用しなければならない。
＊拡大および解像度縮小フィルタ動作はガウスまたはスプライン関数を用いることができる。これらはＭＰＥＧ-2空間スケーラビリティで指定された双一次内挿よりも適切である。
＊映像縦横比は、好ましい実施例における下レイヤと上レイヤの間で一致しなければならない。ＭＰＥＧ-2空間スケーラビリティでは、幅および／または高さの延長が可能である。こうした延長は効率化要件のために好ましい実施例では不可能である。
＊効率化要件および増大レイヤで使用された極端な圧縮量のために、増大レイヤの領域全体は符号化されてない。通常は、増大映像から除かれた領域は縁領域となる。したがって、好ましい実施例では2k×1k増大レイヤソース映像８６は中心が重みづけられている。好ましい実施例では、フェージング機能（線形重みづけなど）を使用して、増大レイヤを映像の中心に向けて「集めて」、縁端から離して、映像の急激な遷移を回避する。さらに、眼が追っていく細部を備えた領域を判定する手動または自動方法を利用して、細部が必要な領域を選択し、余分な細部が必要でない領域を排除する。映像全体は基本レイヤレベルまで細部を含んでいるので、映像全体が現れる。特殊な関心のある領域は増大レイヤで得られる。他の参照がない場合には、上記の中心重みづけ実施例では、フレームの端部または縁を増大映像から排除可能である。符号付き負の整数として使用されたＭＰＥＧ-2パラメータ「lower_layer_prediction_horizontal&vertical offset」は、「horizontal&vertical_subsampling_factor_m&n」値と共に、増大レイヤの総矩形サイズおよび増大基本レイヤ内の配置を指定するために使用できる。
＊鮮明さ係数を増大レイヤに加算して、量子化中に発生する鮮明さの損失を相殺する。このパラメータを利用できるのは元の画像の明るさと鮮明さを回復するためのみであり、映像を増大するためではない。図８に関して上記のように、鮮明さ係数は、元の高解像度映像８０と（拡大後の）元の基本レイヤ映像８１の間の解像度の「高オクターブ」である。この高オクターブ映像は極めてノイズが多く、解像度の高オクターブの鮮明さや細部を含む。この映像の追加領域を拡げすぎると増大レイヤの動き補償符号化が不安定になる。追加すべき量は元の映像のノイズのレベルにより左右される。代表的な重み付け値は0.25である。ノイズの多い映像には、鮮明さは追加されないで、細部を維持する従来のノイズ抑制技術による圧縮の前に増大レイヤの元の映像のノイズを抑制するのが望ましくさえある。
＊時間および解像度スケーラビリティは、基本および解像度増大レイヤの両方で36から72Ｈzに時間増大のＢフレームを利用することで混合される。この方法で、復号性能の４つの実現可能なレベルは、２つのレベルの時間スケーラビリティで利用可能なオプションにより、解像度スケーラビリティの２つのレイヤで可能になる。
こうした差はＭＰＥＧ-2の空間および時間スケーラビリティに対する改良を表す。しかし、これらの差はＭＰＥＧ-2復号器チップには依然として矛盾していない。ただし、図９に示す解像度増大復号処理の増大および追加を実行するために追加論理が復号器に必要となる。こうした追加論理はそれほど有効でないＭＰＥＧ-2空間スケーラビリティにより必要な論理とほぼ同一である。
オプションの解像度増大レイヤの非ＭＰＥＧ-2符号化：ＭＰＥＧ-2とは異なる解像度増大レイヤの圧縮技術を利用することができる。さらに、基本レイヤと同じ解像度増大レイヤの圧縮技術を利用する必要はない。たとえば、動き補償ブロック小波は、差レイヤが符号化されるときに効率良く細部を突き合わせ追跡するために利用可能である。小波が配置される最も効率のよい位置が、差の分量が変化するために、画面の周りに跳んでいる場合でさえ、振幅の低い増大レイヤでは気づかれないであろう。さらに、映像全体をカバーする必要はない。細部に小波を配置する必要があるだけである。小波は映像の細部領域により案内される位置にもたらされる。この配置も端部から離れられる。
多解像度増大レイヤ：本論に記載されているビットレート−−毎秒72フレームでの２メガ画素（2048×1024）が18.5メガビット／秒で符号化されている−−では、基本レイヤ（72ftsでの1024×512）および単一解像度増大レイヤだけしか旨く表示されない。しかし、解像度増大レイヤ符号化の他の改良で利用可能な望ましい改良型効率は、多重解像度増大レイヤを可能にする。たとえば、512×256の基本レイヤは４つのレイヤにより1024×512,1536×768および2048×1024に解像度が増大される。これは、毎秒24フレームの映画フレームレートでの従来のＭＰＥＧ-2符号化により可能になる。毎秒72フレームといった高フレームレートでは、ＭＰＥＧ-2は解像度増大レイヤの符号化を十分に効率化して、現在としては多くのレイヤを表示可能にする。
主形式
2048×1024画素丁度またはおおよそその程度の画素のテンプレートを利用して、様々な公開形式のために単一のデジタル移動映像主形式ソースを作成することができる。図６に示すように、2k×1kテンプレートは、1.85:1および2.35:1の共通広画面縦横比を効率的にサポートする。2k×1kテンプレートは1.33:1および他の縦横比にも適用可能である。
整数（特に２の因数）および単純な分数（3/2や4/3）が解像度階層化では最も効率的な工程のサイズであるが、恣意的なレートを使用して任意の必要な解像度階層化を達成することも可能である。しかし、2048×1024テンプレートまたはその付近のテンプレートを使用すると、高品質デジタル主形式だけでなく、米国のテレビの標準であるＮＴＳＣなど２つの基本レイヤ（1k×512）の因数からの他の便利な解像度も得られる。
4k×2k，4k×3kまたは4k×4kなどのより高い解像度で映画を走査することもできる。オプションの解像度増大を用いると、これらのより高い解像度は、2k×1k付近の中心の主形式解像度から作成可能である。こうした映画の増大レイヤは、映像細部、粒子および他のノイズソース（スキャナのノイズなど）から構成されることになる。このノイズ性のため、上記の極めて高い解像度の増大レイヤの圧縮技術を使用するには、ＭＰＥＧ-2タイプの圧縮の代替圧縮が必要となる。幸運なことに、映像の望ましい細部を維持しながら、こうしたノイズの多い信号を圧縮するのに利用できる他の圧縮技術がある。こうした圧縮技術の１例は、動き補償小波または動き補償フラクタルである。
現行の映画（すなわち、毎秒24フレーム）からの場合には映画のフレームレートでデジタル主形式を作成するのが好ましい。3-2プルダウンとインタレースの両方を共通に使用することは、デジタル映画マスタには不適当である。新しいデジタル電子材料では、60Ｈzインタレースの使用は近未来に終了し、本論で提案されているように、72Ｈzなどコンピュータと一層互換性の高いフレームレートと置換することが希望されている。映像を捕捉するのがどのフレームレートであっても、72Ｈz,60Ｈz,36Ｈz,37.5Ｈz,75Ｈz,50Ｈzまたは他のレートでも、デジタル映像マスタを作成できる。
電子公開形式すべてに対する単一のデジタルソース画像形式としての主形式の概念は従来の実施とは異なっている。ＰＡＬ、ＮＴＳＣ、レターボックス式、パン−アンド−スキャン方式、ＨＤＴＶならびに他のマスタ方式はすべて概してオリジナルの映画とは独立して作成される。主形式を使用すると、映画およびデジタル／電子ショーが１度、マスターテープに移されて、多様な解像度と形式で公開される。
結合解像度および時間増大レイヤ
上記のように、時間および解像度増大レイヤを結合することができる。時間増大はＢフレームを復号することで実行される。解像度増大レイヤは２つの時間レイヤも備えているので、Ｂフレームも含んでいる。
24fpsの映画では、最も効率がよくコストの低い復号器はＰフレームしか使用しないので、メモリならびにメモリ帯域幅の両方を最小に縮小できるとともにＢフレーム復号を取り除くことで復号器を単純化できる。したがって、本発明によると、24fpsでの映画の復号ならびに36fpsでの最新テレビ映像の復号には、Ｂフレーム機能を備えてない復号器が利用できる。次に、72Ｈzでのより高い時間レイヤを生成するためにＢフレームをＰフレーム間で利用でき、図３に示すように、この時間レイヤは第２復号器により復号可能である。この第２復号器はＢフレームを復号しさえすればよいので単純化できる。
こうした階層化は増大解像度レイヤにも適用される。この解像度レイヤは24fpsおよび36fpsレートに対するＰおよびＩフレームしか利用できない。解像度増大レイヤは、解像度増大レイヤ内のＢフレーム復号を追加することで、高解像度の72Ｈzの全時間レートを追加できる。
復号器の結合解像度および時間スケーラビリティオプションを図１０に示す。この例は、本発明の空間時間階層化最新テレビを達成するために約18メガビット／秒データストリームの複数部分の割当ても示している。
図１０では、基本レイヤＭＰＥＧ-2 1024×512画素データストリーム（好ましい実施例のＰフレームだけを含む）が基本解像度復号器１０に適用される。帯域幅はＰフレームに対しては約５メガビット／秒のレートを必要とする。基本解像度復号器１００は24または36fpsで復号可能である。基本解像度復号器１００の出力は低解像度で低フレームレートの映像（24または36Ｈzでの1024×512画素）を含む。
同じデータストリームからのＢフレームを解析して、基本解像度時間増大レイヤ復号器１００に送る。こうしたＢフレームには帯域幅は約3メガビット／秒の速度を必要とする。基本解像度復号器１００の出力は時間増大レイヤ復号器１２に接続される。時間増大レイヤ復号器１０２は36fpsで復号可能である。時間増大レイヤ復号器１０２の結合出力は低解像度で低フレームレートの映像（72Ｈzで1024×512画素）を含む。
図１０におけるように、解像度増大レイヤＭＰＥＧ-2 2k×1k画素データストリーム（好ましい実施例のＰフレームのみを含む）は基本時間高解像度増大レイヤ復号器１０４に送られる。Ｐフレームについては帯域幅は約6メガビット／秒の速度が必要である。基本解像度復号器１００の出力が高解像度増大レイヤ復号器１０４にも接続される。高解像度増大レイヤ復号器１０４は24または36fpsで復号可能である。高解像度増大レイヤ復号器１０４の出力は、高解像度で低フレームレートの映像（24または36Ｈzで2k×1k画素）を含む。
同じデータストリームからのＢフレームは解析され高解像度時間増大レイヤ復号器１０６に送られる。こうしたＢフレームに対しては、帯域幅は約4メガビット／秒の速度が必要である。高解像度増大レイヤ復号器１０４の出力は高解像度時間増大レイヤ復号器１０６に接続されている。時間増大レイヤ復号器１０２の出力は高解像度時間増大レイヤ復号器１０６にも接続されている。高解像度時間増大レイヤ復号器１０６は36fpsで復号可能である。高解像度時間増大レイヤ復号器１０６の結合出力は高解像度で高フレームレートの映像（72Ｈzで2k×1k画素）を含む。
このスケーラビリティ符号化メカニズムにより達成された圧縮レートは極めて高く、圧縮効率が優れていることを示していることに注意すべきである。こうしたレートは、図１０の例からの時間およびスケーラビリティオプションそれぞれに対して表５に示してある。これらのレートは24ビット／画素のソースＲＧＢ画素に基づいている。（従来の4:2:2符号化の16ビット／画素または従来の4:2:0符号化の12ビット／画素を因数分解する場合、圧縮レートは、図示の値についてそれぞれ3/4および1/2となる。）
0004225518.tif 000006
上記の高圧縮レートは２つの要因により可能になる。
１）高い時間統一性の高フレームレート72Ｈz映像
２）高い空間統一性の高解像度2k×1k映像
３）解像度の細部増大を映像の重要な部分（たとえば、中心部）に適用、ただしそれほど重要でない部分（たとえば、フレームの縁部）には不適用
これらの要因は、ＭＰＥＧ-2符号化シンタクスの強度を利用することで本発明の階層状圧縮技術で活用されている。これらの強度には、時間スケーラビリティ用の双方向内挿Ｂフレームが含まれる。ＭＰＥＧ-2シンタクスはさらに基本レイヤおよび増大レイヤの両方の動きベクトルを用いて効率的に動きを表示する。高ノイズおよび急速な映像の変化のしきい値に至るまで、ＭＰＥＧ-2はさらに、ＤＣＴ量子化に関連した動き補償により、増大レイヤ内のノイズの代りに細部を効率的に符号化する。このしきい値以上では、データ帯域幅は最も基本レイヤに割り当てられている。こうしたＭＰＥＧ-2メカニズムは、本発明により使用されたときに一緒に動作して、時間および空間的にスケールする極めて効率的かつ効果的な符号化を実行する。
ＣＣＩＲ601デジタルビデオの５メガビット／秒の符号化と比べると、表５の圧縮レートは一層高くなる。これは、インタレースにより一貫性が喪失するからである。インタレースは、以後のフレームやフィールドを予測する機能ならびに垂直方向に隣接した画素間の相関に悪影響を及ぼす。したがって、本論で説明された圧縮効率の利得の主要部分はインタレースが欠如している。
本発明により達成された高い圧縮レートは、各ＭＰＥＧ-2マクロブロックを符号化するのに利用可能なビットの数の配合から考慮できる。上記のように、マクロブロックは、Ｐフレーム用の１つの動きベクトルおよびＢフレーム用の１つまたは２つの動きベクトルを備えた４つ8×8ＤＣＴブロックの16×16画素グループである。各レイヤに対するマクロブロック当たりに利用可能なビットは表６に示されている。
0004225518.tif 000007
各マクロブロックを符号化するビットの利用可能な数は、基本レイヤよりも増大レイヤで少なくなる。これは適切である。というのは、基本レイヤができるだけ高品質なのが望ましいからである。動きベクトルは約８ビットが必要であり、マクロブロック種別符号および４つの8×8ＤＣＴブロックすべてに対するＤＣおよびＡＣ係数に対して10または25ビットを残しておく。ほんの２，３の「戦略的」ＡＣ係数用の余裕しか残らない。したがって、統計的には、各マクロブロックに利用可能な情報の大半は増大レイヤの前のフレームから到来してなければならない。
ＭＰＥＧ-2空間スケーラビリティはこうした圧縮レートでは非効率である理由が容易に理解される。というのは、増大差映像により表された細部の高オクターブを表すために十分なＤＣおよびＡＣ係数を符号化するのに利用可能な十分なデータ空間は残ってないからである。高オクターブは、主に５番目から８番目の水平および垂直ＡＣ係数で表される。ＤＣＴブロック当たりに利用可能なビットがわずかしかない場合にはこれらの係数には到達できない。
本論に記載されたシステムは、前の増大差フレームからの動き補償予測を利用することでその効率を獲得する。これは明らかに、時間および解像度（空間）階層化符号化において優れた結果をもたらすのに有効である。
滑らかな規模縮小：本論に記載された時間スケーラビリティおよび解像度スケーラビリティ技術は、2k×1kソースを用いて毎秒72フレームで通常に動作する材料で旨く動作する。こうした技術は24fpsで走行する映画準拠材料でも旨く動作する。しかし、高フレームレートでは、ノイズ状の映像が符号化されるとき、または映像ストリーム内に多数のカットがあるとき、増大レイヤは、効果的な符号化に必要なフレーム間の一貫性を喪失する。こうした喪失は容易に検出される、というのは通常のＭＰＥＧ-2符号器／復号器のバッファ満杯／レート制御メカニズムは量子化器を極めて粗い設定値に設定しようとするからである。この状態に遭遇すると、解像度増大レイヤを符号化するのに通常使用されたビットすべてを基本レイヤに割り当てることができる。というのは、強勢の多い材料を符号化するには基本レイヤはできるだけ多くのビットを必要とするからである。たとえば、基本レイヤに対してフレーム当たり約0.5および0.33メガ画素間かつ毎秒72フレームでは、その結果作成される画素レートは24ないし36メガ画素／秒となる。利用可能なビットすべてを基本レイヤに適用すると、18.5メガビット／秒でフレーム当たり約50万ないし67万追加ビットをもたらす。これは、強勢の多い材料でさえも旨く符号化するのに十分な数である。
一層極端な場合では、あらゆるフレームがノイズ状であり、かつ／または２，３フレーム毎に発生するカットがある場合には、基本レイヤの解像度を喪失することなく滑らかに規模縮小することができる。時間増大レイヤを符号化するＢフレームを取り除くことによりこれが実行され、したがって36fpsで基本レイヤのＩおよびＰフレームの利用可能な帯域幅（ビット）すべてを使用することができる。各基本レイヤフレームに利用可能なデータ量は約1.0ないし1.5メガビット／フレーム（基本レイヤの解像度に左右される）に増加する。極めて強勢の多い符号化条件の元では、基本レイヤのかなり高品質の解像度で36fpsのかなり良好な動き表現レートが生み出される。しかし、基本レイヤ量子化器は依然として36fpsで18.5メガビット／秒の元で粗いレベルで動作している。次いで、基本レイヤフレームレートは、（各フレームに1.5ないし4メガビットで利用可能となる）毎秒24，18または12フレームに動的に減少する。これは、最も異常な動画像の種類でさえ処理することができる。こうした環境でフレームレートを変える方法は当技術分野では周知である。
米国の先進テレビへの現在の提案では、滑らかな規模縮小の方法は準備されておらず、したがって、本発明のシステムと同程度には強勢の多い材料では旨く実行できない。
大半のＭＰＥＧ-2符号器では、適応性量子化レベルは出力バッファが満杯になることで制御される。本発明の解像度増大レイヤに関する高圧縮レートでは、このメカニズムは最適には機能しない。最適な映像領域へのデータの割当てを最適化するのに様々な技術が使用可能である。概念上最も単純な技術は、解像度増大レイヤに対する符号化の事前パスを実行して、統計を集めて、維持すべき細部を探索するものである。事前パスの結果は、解像度増大レイヤの細部の維持を最適化するように適応性量子化を設定するのに使用できる。設定値は映像に対して不均一であるように人工的に偏向できる。映像の細部は、主画面領域の割当てに偏向され、フレームの端部でマクロブロックから離される。
増大レイヤ縁を高フレームレートにしておく場合を除いて、こうした調整はどれも不必要である。というのは、従来の復号器はこうした改良なしに旨く機能するからである。しかし、増大レイヤ復号器にほんの僅かに加重をかければこうした改良が利用可能になる。
結論
新しい共通の基本時間レートとして36Ｈzを選択するのが最適と思われる。このフレームレートを使用すると、60Ｈzおよび72Ｈzのディスプレイに対して24Ｈzがかなり改良されることが証明されている。36Ｈzでの映像は、72Ｈz映像捕捉からＩフレーム置きにフレームを利用することで作成可能である。これにより、36Ｈzの基本レイヤ（Ｐフレームの使用が好ましい）および36Ｈz（Ｂフレームを使用）の時間増大レイヤを組み合わせて72Ｈzのディスプレイを達成できる。
72Ｈzの「未来予測」レートは、60ＨzアナログＮＴＳＣディスプレイの遷移をもたらしながら、本発明の方法により悪影響を及ぼされることはない。考慮下の他の受動娯楽のみ（コンピュータ非互換）で使用されている60Ｈz形式が受け入れられる場合には、本発明により他の60Ｈzディスプレイの遷移が可能になる。
解像度スケーラビリティは、解像度増大レイヤの個々のＭＰＥＧ-2映像データストリームを使用して達成可能である。解像度スケーラビリティは、Ｂフレーム方法を利用することができ、基本レイヤ解像度レイヤおよび増大解像度レイヤの両方において時間スケーラビリティを提供する。
本論で説明された発明は、多くの極めて望ましい特色を達成する。解像度および時間スケーラビリティは地域放送で利用可能な約18.5メガビット／秒内の高精度解像度で達成不可能であると米国の先進テレビ処理に関る人により主張された。しかし、本発明はこの利用可能なデータレート内で時間および空間解像度スケーラビリティを達成する。
高フレームレートの２メガ画素を達成するには、利用可能な18.5メガビット／秒データレート内のインタレースを使用しなければならないことも主張されている。しかし、解像度（空間）および時間スケーラビリティを達成すると、毎秒72フレームで２メガ画素がもたらされる。
こうした機能を備えているうえに、先進テレビの現行の提案と特に比較して、本発明は極めて頑丈でもある。これは、極めて強勢の多い映像材料に遭遇するとビットの大半またはすべてを基本レイヤに割り当てることで可能になる。こうした強勢の多い材料は、特性上ノイズ状で、極めて迅速に変化している。こうした環境では、解像度の増大レイヤに関連する細部を見ることはできない。ビットは基本レイヤに適用されるので、再生フレームは、単一で一定のより高い解像度を用いる現在提案されている先進テレビシステムより正確である。
したがって、発明のシステムは、最高の視覚上の効果を示しながら、知覚および符号化効率を最適化する。このシステムは、これまで多くの人に不可能と考えられていた解像度およびフレームレート性能で極めて汚れの少ない映像を提供する。本発明のシステムは、ＡＣＡＴＳにより提案されている先進テレビ形式より性能が優れていると信じられている。この期待された高性能に加えて、本発明は、時間および解像度の階層化についての極めて高価な特色も提供する。
本発明は、ハードウェア、ソフトウェアまたはその両方で実施可能である。しかし、それぞれがプロセッサと、データ記憶システム（揮発性および非揮発性メモリおよび／または記憶要素を含む）、少なくとも１つの入力装置、および少なくとも１つの出力装置を含む複数のプログラム式コンピュータで実行するコンピュータプログラムで本発明を実施するのが好ましい。プログラムコードを入力データに適用して、本論で説明された機能を実行し出力情報を生成する。出力情報は周知の方式で１つまたは複数の出力装置に適用される。
コンピュータシステムと通信するように高レベル処理手順またはオブジェクト指向プログラム言語で各プログラムを実施するのが好ましい。しかし、望まれればアセンブリまたは機械言語でプログラムを実施することができる。いずれにせよ、言語はコンパイルまたは解釈言語で構わない。
こうしたコンピュータプログラムそれぞれを、汎用または特殊目的プログラム式コンピュータにより読取り可能な記憶媒体または装置（たとえば、ＲＯＭまたは磁気ディスク）に記憶され、記憶媒体または装置がコンピュータにより読み取られて本論で説明された処理手順を実行するときにコンピュータを構成し動作させるのが好ましい。本発明のシステムは、コンピュータプログラムと共に構成されたコンピュータ読取り可能媒体として実施することも可能である。ただし、このように構成された記憶媒体はコンピュータを特定かつ事前定義方式に動作させて本論で説明された機能を実行する。
本発明の実施例を多々説明してきた。しかし、当然のことながら本発明の精神と範囲から逸脱しないかぎり様々な修正が可能である。たとえば、好ましい実施例がＭＰＥＧ-2符号化および復号化を使用していると、本発明は、Ｂフレーム、Ｐフレームおよびレイヤの等価物を備えていれば任意の同等の参照でも動作する。さらに、上述の正確な周波数やフレームレートからの逸脱（Ｈz未満）は全体的にはそれほど本発明に影響を及ぼすことはない。したがって、本発明は特定の例示実施例によっては制限されないが、添付請求項の範囲によってのみ制限されることを理解すべきである。
【図１】
0004225518.tif 000008
【図２】
0004225518.tif 000009
【図３】
0004225518.tif 000010
【図４】
0004225518.tif 000011
【図５】
0004225518.tif 000012
【図６】
0004225518.tif 000013
【図７】
0004225518.tif 000014
【図８】
0004225518.tif 000015
【図９】
0004225518.tif 000016
【図１０】
0004225518.tif 000017