(57)【特許請求の範囲】
【請求項１】
ＭＰＥＧ規格に従って符号化された画像のズームの表示をデコーダのディスプレイで行う符号化方法であって、ズームの大きさは水平及び垂直方向の相似比率により決まり、
表示されるべき画像の水平方向及び垂直方向のサイズであって、プロファイル及びレベル情報により定義される水平方向及び垂直方向のサイズを、前記水平及び垂直方向の相似比率でそれぞれ割ることで、ズームを開始すべき最初の表示矩形の水平方向及び垂直方向のサイズを計算する段階と、
前記最初の表示矩形の水平及び垂直サイズを、前記ズームの表示のために前記デコーダで使用するため、ＭＰＥＧビデオデータストリームの「display_horizontal_size」フィールド及び「display_vertical_size」フィールドに記憶する段階と、
を含むことを特徴とする方法。
【請求項２】
ズームされた画像は、１よりも小さい水平方向及び垂直方向の相似比率に対応する縮小の場合には表示された画像におけるその位置により決められ、１よりも大きな水平方向及び垂直方向の相似比率に対応する拡大の場合には表示されるべき符号化された画像の一部により決められ、
水平及び垂直のオフセットを決めるため、符号化された画像の中心に対する前記最初の表示矩形の中心の対応する位置を計算する段階と、
前記ＭＰＥＧビデオデータストリームのframe_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドに前記水平及び垂直のオフセットを定義する情報項目を格納する段階と、
を含むことを特徴とする請求項１記載の方法。
【請求項３】
フィールド中の値の格納に対応するストリームの構文変更は、ズーム機能が所望される画像に対応するＭＰＥＧデータストリームの２つの時間的なコード時点ｔｃ０及びｔｃ１の間で実行される、
ことを特徴とする請求項１記載の方法。
【請求項４】
符号化器から生ずるＭＰＥＧデータストリームのdisplay_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールド、並びに、frame_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドを、夫々、所望のズームの大きさ及び位置の関数として変更するためにＭＰＥＧ符号化器に接続される構文変更器を含む、
ことを特徴とする請求項２記載の符号化方法を行う符号化装置。
【請求項５】
ズーム機能が所望とされる画像に対応するＭＰＥＧデータストリームの２つの時間的なコード時点ｔｃ０及びｔｃ１の間の構文変更を制御するために前記符号化器及び前記構文変更器に接続されるアプリケーション・シンクロナイザを含む、
ことを特徴とする請求項４記載の装置。
【請求項６】
画像のズームの表示のため、ＭＰＥＧデータストリームを復号化する方法であって、
ＭＰＥＧビデオデータストリームのframe_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールド中のデータを読み出す段階と、
前記ＭＰＥＧビデオデータストリームのdisplay_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールド中のデータを読み出す段階と、
display_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールドのデータに従って、ズームを開始すべき最初の表示矩形を計算する段階と、
前記frame_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドから読み出されたデータである、オフセットに関連するデータの関数として、再構成された画像に対して最初の表示矩形を相対的に位置決めする段階と、
表示のため、前記最初の表示矩形のオーバーサンプリング、アンダーサンプリング、フィルタリング又は補間を行う段階と、
を含むことを特徴とする方法。
【発明の詳細な説明】
【０００１】
本発明は、伝送された画像をズームしたものを表示するためのＭＰＥＧ２標準に適合する符号化及び復号化の方法及び処理に関する。画像のズームを行うことは、この画像の一部を拡大又は縮小することを含む。従って、ズームモードで表示するために選択された画像部分の水平方向の寸法及び垂直方向の寸法を変更することを含む。
【０００２】
今日では、双方向性に基づくアプリケーションは、画像を縮小又は拡大した形式で見る可能性を必要とする。例えば、電子番組ガイドは、ＯＳＤ（On Screen Displayの頭文字）形式で補助情報を画面上に表示することを可能とするよう縮小されたサイズの画像を用いる。ソース画像の一部にフォーカスを当てて表示しようとするとき、拡大も必要な場合がある。
【０００３】
提案される方法は、ＭＰＥＧ２標準に従って符号化されたデータストリームを用いる任意の種類の装置、例えば復号化器、ＤＶＤリーダ／レコーダ、インターネットボックス等によって使用されうる。データの伝送は、衛星による伝送、ケーブルによる伝送、地上伝送等でありうる。
【０００４】
ＭＰＥＧ２圧縮は、オブジェクトに基づく処理ではなく、表示される復号化された画像は一般的には符号化されたソース画像の複製である。従って、ズームモードで特定の表示を達成するには、ソース画像をそれが表示されるべき形として、即ちこのソース画像に対してズームを行った後に、符号化する必要がある。従って、例えばスタジオから発せられるビデオシーケンスを与えるソース画像は、ビデオデータの符号化及び伝送の前に処理される。ズーム操作はこのソース画像に対して行われ、ビデオシーケンスの他の画像と同様に符号化されるのは新しい「ズームされた」画像である。このような方法の欠点は、柔軟性がないことから生ずるものである。実行されるべきズームは、符号化の時点で決定されねばならない。これらのズームは、例えば見る人によって選択されるデータ又はパラメータによっては、復号化器のレベルでは、データの受信時にはもはや変更されえない。
【０００５】
本発明は、上述の欠点を軽減することを目的とする。
【０００６】
従って、本発明の主題は、ＭＰＥＧ２標準に従って符号化された画像のズームの表示を可能とし、ズームされた画像は符号化された画像に対するその水平及び垂直の相似比率によって定義される、符号化方法であって、
水平及び垂直相似比率を適用することによりプロファイル及びレベル情報によって決まる目標表示矩形のサイズがそこから得られる最初の表示矩形の水平方向及び垂直方向のサイズを計算する段階と、
最初の表示矩形の水平方向及び垂直方向のサイズをＭＰＥＧ２ビデオデータストリームのdisplay_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールドに格納する段階とを行うことを特徴とする。
【０００７】
変形によれば、ズームされた画像は、縮小の場合には表示された画像におけるその位置によって決められ、拡大の場合には表示されるべき符号化された画像の部分によって決められ、上述の方法は、
水平及び垂直のずれを決めるために符号化された画像の中心に対する最初の表示矩形の中心の対応する位置を計算する段階と、
ＭＰＥＧ２ビデオデータストリームのframe_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドに水平及び垂直のオフセットを定義する情報項目を格納する段階を行うことを特徴とする。
【０００８】
本発明の主題はまた、符号化器から生ずるＭＰＥＧ２データストリームのdisplay_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールド、並びに、frame_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドを、夫々、所望のズームの大きさに従って、及び、位置に従って変更するためにＭＰＥＧ符号化器に接続される構文変更器を含むことを特徴とする上述の符号化方法を行う符号化装置である。
【０００９】
変形例によれば、上述の装置は、ズーム機能が所望とされる画像に対応するＭＰＥＧ２データストリームの２つの時間的なコード時点ｔｃ０及びｔｃ１の間の構文変更を制御するために符号化器に接続され、構文変更器に接続されるアプリケーション・シンクロナイザを含むことを特徴とする。
【００１０】
本発明は、画像のズームに関連する幾つかのパラメータをビデオＭＰＥＧ２標準により符号化されたビデオデータの二値ストリームの構文中に定義されるフィールド中で運ぶという考えに基づく。フィールドは、標準で与えられている拡張部から選択される。従って、符号化器は、ズームに関連するパラメータ、即ち見られるべき画像の寸法、表示された画像中におけるその位置、ズームモードで見られるべき符号化された画像の部分を動的に管理することができ、これは符号化された画像の水平寸法及び垂直寸法といった符号化パラメータを変化させることなく行われる。
【００１１】
ビデオＭＰＥＧ２標準（ＩＳＯ／ＣＥＩ標準１３８１８−２）における符号化されるべき画像及び表示されるべき画像の大きさに関連する種々の既存のフィールドは以下の通りである。
【００１２】
符号化された画像、又は、より正確にいうと表示可能な画像の寸法は、ＭＰＥＧ２データストリーム（ビデオＭＰＥＧ２標準の第6.3.3章）のシーケンスヘッダ及び任意にシーケンス拡張部（ビデオＭＰＥＧ２標準の第6.3.5章）に定義されている。
【００１３】
これらは、horizontal_sizeフィールド、vertical_sizeフィールドと、最初のフィールドが参照するhorizontal_size_valueフィールド、vertical_size_valueフィールド及びhorizontal_size_extensionフィールド、vertical_size_extensionフィールドである。これらのフィールドは、実際に、輝度成分の表示可能な部分の幅をｐｅｌ（ピクセル）で、完全な画像（２フレーム）の輝度成分の表示可能な部分のラインの数に関する高さをｐｅｌで定義する。ビデオを含む画像部分であり、従って必ずしも整数個のマクロブロックを含まない表示可能な画像部分は、符号化された画像の左の縁と上側の縁に揃えられる。
【００１４】
表示される画像の寸法は、それ自体としてsequence_display_extension（ビデオＭＰＥＧ２標準の第6.3.6章）に定義されている。尚、この拡張部は表示手順を定義するものではない。この拡張部の情報は、復号化手順に関係がなく、ＭＰＥＧ２仕様に準拠する復号化器により無視されうる。２つの構造display_horizontal_size及びdisplay_vertical_sizeは一緒に、見られている表示のアクティブな領域であるとみなされうる矩形を定義する。この表示矩形が符号化された２フレーム画像よりも小さい場合、表示手順はこの画像の一部のみを表示することが予想されうる。逆に、表示矩形が符号化された２フレーム画像よりも大きい場合、表示手順は、表示装置の全体ではなく一部のみに再構成された２フレーム画像を表示することが予想されうる。
【００１５】
ＭＰＥＧ２標準は、picture_display_extension構造を想定している（ＩＳＯ／ＣＥＩ文書１３８１８−２の第6.3.12章の主題）。Picture_display_extensionは、上述の「sequence_display_extension」構造によってそのサイズが指定される表示矩形の位置をピクチャ毎にずらすことを可能とする。１つの適用は、画像の再フレーミングに関連する。Frame_centre_horizontal_offsetフィールド及びFrame_centre_vertical_offsetフィールドは、表示矩形の中心に対する再構成された画像の中心の水平方向及び垂直方向のずれを示す。画像中心のずれは、フル画面に対応する矩形ゾーンが定義され再構成画像全体に亘ってパノラマ式に移動されるフル画面再フレーミング処理を行うために役立ちうる。この処理は、特に１６／９形式で符号化された画像を４／３形式で表示される画像とするときに用いられる。４／３形式で決められるゾーンは、元の１６／９形式画像の殆どの関心部分を含みうる。
【００１６】
シーケンスに関して標準で定義されるフィールド（シーケンスヘッダ、シーケンス表示拡張部）は、実際にピクチャ毎に伝送されうる（標準の「コードをトリガする拡張部のための識別コード（identification codes for extension triggering codes）」表6.2の予約値を参照のこと）。
【００１７】
ズームの大きさ
ここで提案する考えは、「display_horizontal_size」フィールド及び「display_vertical_size」フィールドに含まれる情報はズームの大きさを定義しているとみなすことである。
【００１８】
これらのフィールドを用いてＭＰＥＧ２標準によって提案されるような表示矩形又は表示される画像の寸法を定義する代わりに、ズームを出発すべき「最初の表示矩形」又は元の画像の寸法を定義する。この最初の表示矩形は、この矩形に適用されるズームによって、符号化器によるプロファイル及びレベルの選択により定義される目標表示矩形の寸法、即ち画面の寸法、の画像が与えられるような寸法にされる。
【００１９】
従って、目標表示矩形の寸法よりも大きい寸法の最初の表示矩形は画像の縮小に対応し、より小さい寸法の矩形は拡大に対応する。
【００２０】
従って、ズームの大きさは、「display_horizontal_size」フィールド及び「display_vertical_size」フィールドの中で運ばれる最初の表示矩形の大きさに対するレベル及びプロファイル情報から推論される目標表示矩形の大きさの比率を計算することによって得られる。もちろん、「display_horizontal_size」フィールド及び「display_vertical_size」フィールドは、１６／９フォーマットを４／３フォーマットに変換することに関する冗長な情報の送信に使用されてはならない。
【００２１】
上述のフィールドの典型的な使用について、以下に説明し、図１に概略的に示す。
【００２２】
ここで、図中、参照番号１が付された復号化された又は再構成された画像について考え、この画像の寸法は４８０画素×５７６ライン（これは実際にＭＰＥＧ符号化器のレベルにおいて符号化される画像の寸法である）であり、参照番号２が付された目標表示矩形又は画面寸法が７２０画素×５７６ラインであるとする。
【００２３】
以下の表は、「display_horizontal_size」フィールド及び「display_vertical_size」フィールドの中で運ばれる情報に従う様々なズームの大きさを示す。
【００２４】
値h_zoom及びv_zoomは、水平及び垂直の相似性に対応する。ズームの大きさが１よりも小さいということは、符号化された画像の寸法に関して、再構成された画像に対する得られた画像の寸法が１よりも小さいことを意味し、ズームの大きさが１よりも大きいということは符号化された画像の寸法に対する得られた画像の寸法が１よりも大きいことを示す。この値が１であれば、得られた画像は再構成された画像である。
【００２５】
【表１】
0004205427.tif 000002
注１：画像の縮小
注２：画像の拡大
注３：符号化された画像から得られ、符号化された画像の寸法よりも大きい寸法の画像が画面を埋める。
【００２６】
プロファイル及びレベル情報から推論された、また、画像フォーマット情報（１６／９）から推論された目標表示矩形（又は目標表示）は、符号化された画像のサイズよりも大きい。
【００２７】
参照番号３、４、５、６が付された画像は、夫々、以下の値、
h_zoom=v_zoom=0.50
h_zoom=v_zoom=1.00
h_zoom=1.50, v_zoom=1.00
h_zoom=v_zoom=2.00
に対応する。
【００２８】
Display_horizontal_sizeフィールド及びdisplay_vertical_sizeフィールドは１４ビットのフィールドである。１６３８３である最大の１０進値は、本例では、水平方向に７２０／１６３８３の、垂直方向に５７６／１６３８３の最大の縮小に対応する。
【００２９】
ズームされた画像の位置
画像表示拡張構造のframe_centre_horizontal_offsetフィールド及びframe_centre_vertical_offsetフィールドは、ズームされた画像の位置の情報を運ぶために用いられる。同じことは、最初の表示矩形の中心に関する符号化された画像の中心のずれに対応する。
【００３０】
符号化された画像の（実際には表示可能な画像の）中心は、シーケンスヘッダの「horizontal_size」フィールド及び「vertical_size」フィールドによって定義される領域の中心である。
【００３１】
最初の表示矩形の中心は、上述のように「display_horizontal_size」フィールド及び「display_vertical_size」フィールドによって定義される領域の中心である。
【００３２】
図２は、画像縮小の例を示す図であり、符号化された画像１に対応する符号化された画像７がその中にある最初の表示矩形８を表わす。水平及び垂直の矢印は、最初の表示矩形に対する符号化された画像の中心の水平方向及び垂直方向のずれを示す。
【００３３】
ここで、例えば４８０画素×５７６ラインのサイズの復号化又は再構成された画像について考えると、「display_horizontal_size」フィールド及び「display_vertical_size」は、夫々、値１４４０（画素）及び１１５２（ライン）を運び、目標表示矩形のサイズは７２０（画素）×５７６（ライン）である。
【００３４】
h_zoom=720/1440=0.50
v_zoom=576/1152=0.50
最初の表示矩形の左上部分、例えば最初の表示矩形の左上の隅から水平方向に４００画素、垂直方向に３００ラインの距離に、ズームされた画像を配置しようとするとき、ずれ情報は以下の値、
frame_centre_horizontal_offset=(400-1440/2)x16
frame_centre_vertical_offset=(300-1152/2)x16
を有することとなる。これら２つの値は、ＭＰＥＧ標準では負である。値が１６倍されるのは、ずれがｐｅｌの１６分の１の単位で示されるためである。
【００３５】
値４００及び３００は画像の予めズームされた値に対応する。画面上で実際に見られている画像中のズームされた画像の配置を定義しようとするとき、これらの値はズームの大きさについて補正されねばならない。
【００３６】
画像拡大の場合、符号化された画像（７）中の最初の表示矩形８の位置は、見ようとする拡大された符号化された画像のゾーンを定義する。
【００３７】
本発明の格別な実施は、インタラクティブなアプリケーションからのビデオの動的フォーマッティングに関連する。
【００３８】
図３は、かかる実施のための装置の簡単化された図を示す。
【００３９】
様々なビデオソースの画像は、ＭＰＥＧ２ビデオ符号化器９1乃至９nによって受信される。画像は、一定の画像寸法、例えば７２０画素×５７６ラインで符号化される。ビデオ符号化器の一部であってもなくともよいビデオ構文変更回路１０i乃至１０nは、符号化器ｉ乃至ｎのためにＭＰＥＧ２ビデオ構文のフィールドを関連する変更するインタフェースを与える。
【００４０】
アプリケーション１２用のツールボックスは、
例えばOpenTV (R)、Media Highway(R)、Java(R)フォーマットのアプリケーション・インジェクタ、及び、
ビデオを伴うアプリケーションをＭＰＥＧ２基本ストリームの時間コード情報に従ったこのアプリケーションの実行と同期させるアプリケーション・シンクロナイザ、
から構成される。
【００４１】
このツールボックス１２は、様々な符号化器ｉ乃至ｎから生ずる情報を受信し、フィールドを変更するための情報を構文変更回路１０i乃至１０nへ送信する。
【００４２】
これは、プライベートデータをそれらのＰＩＤ（パケット識別子）とともにセクションの形式で送信するために多重化回路１１に接続される。
【００４３】
種々の符号化器９1乃至９nは、場合に応じては、ビデオ構文変更回路１０i乃至１０nを通じて、やはり多重化回路１１に接続され、これは種々の基本ストリーム及びプライベートデータに基づいてトランスポートストリームを与える。
【００４４】
このトランスポートストリームは、ＩＲＤ（Integrated Receiver/Decoder）受信器へ送信されるために用いられる。この受信器（図示せず）は、特に、オーディオ／ビデオデータを復号化するデコーダ及びアプリケーションパッケージを実施するアプリケーションエンジンを含む。また、記録されたデータを続いて使用するためのハードディスク、ＤＶＤ等の単純なディジタル記憶手段であってもよい。
【００４５】
構文変更回路１０は、ＭＰＥＧ２ビデオ構文の基本フィールドを変更し、画像のズームが上述の方法に従って行われることを可能とする。
【００４６】
ビデオストリーム中では、これらのフィールドはアプリケーションの実行の持続時間に対応する時間空間に亘って変更される。受信器レベルでその間にアプリケーションが実施されるべき最初の画像と最後の画像に関する時間コードはアプリケーション（プライベートデータ）によって運ばれる。これは、「開始時間コード」情報（ｔｃ０）及び「終了時間コード」情報（ｔｃ１）であり、従ってアプリケーションの開始及び終了に対応する。受信器において、アプリケーションエンジンは種々のデータストリームのための「時間コード」情報を抽出し、アプリケーションは、所与のストリームについて、ｔｃ０に対応する時間コードの読み出しから終了する時点ｔｃ１までトリガされる。これらの２つの時点の間では、ズームモードで表示が行われる。
【００４７】
アプリケーション・シンクロナイザ１２は、種々の符号化器の時間コードを受信する。これは、構文変更回路により、アプリケーションの始まりに対応する開始時間コード時点とアプリケーションの終わりに対応する終了時間コード時点との間でＭＰＥＧ２ビデオ構文のフィールドを変更し、これらの時点の間にある画像について上述の方法によりビデオ画像のサイズを減少（又は増加）させることを可能とする。
【００４８】
この「開始時間コード」及び「終了時間コード」は、外部データから生じたものでありうる。これは、例えば、ズームを行うことが可能であるようにしようとしこれらの時間コードによって定義される画像シーケンスの識別から得られる。
【００４９】
１つの例では、アプリケーションは、画像に情報を挿入することにより減少した画像の表示をインタラクティブなＯＳＤモードでの表示で補う。このインタラクティブモードは、アプリケーションを中断することにより通常モードへ戻ることを可能とする。
【００５０】
図４は、第１の行に、アプリケーションが実行されているときに時点ｔｃ０とｔｃ１の間で符号化器によって構築される画像１３とアプリケーションの始まりに先行する画像及びアプリケーションの終わりに後続する画像を示す。第２の行には、アプリケーションが実行されているときに復号化器によって表示される画像１４、アプリケーションに先行する画像、及びアプリケーションに後続する画像が示される。
【００５１】
時点ｔｃ０とｔｃ１の間では、アプリケーションは、受信器において実行され、上述のフィールドから読み出されたデータに従って画像のサイズを減少させる。
【００５２】
ＭＰＥＧデコーダは、ＭＰＥＧデコーダが従来技術の方法で復号化するデータストリームを受信する。特に、ズームの大きさ及びズームされた画像の位置に関してフィールドを満たすためズーム操作が可能な画像は、まずその大きさが「horizontal size」フィールド及び「vertical size」フィールドで示される再構成された画像を与えるために復号化される。この再構成された画像は次にオーバーサンプリング又はアンダーサンプリングされ、つぎに表示しようとする大きさの画像の寸法を得るためにズームの大きさに従ってフィルタリングされる。Imagette（縮小）の位置又は見られるべき画像部分の選択（拡大）は、ずれに関連するデータに従って計算される。
【００５３】
典型的な使用は、広告の挿入である。画像寸法は、なんらかのテキストを示すために縮小される。他の例は、番組ガイドに関連する。従来技術では、視聴者は符号化レベルで構築された一連のものから選択を行い、imagetteの選択は他のビデオサービス（基本ビデオストリーム）をザッピングすることによって明らかに示される。
【００５４】
本発明では、例えばＯＳＤディスプレイからの番組の選択により、選択された番組に対応するＭＰＥＧデータストリームのためのアプリケーションの開始がトリガされる。次に、選択されたチャンネルはウィンドウ中に「ライブ」（リアルタイム）で表示される。
【図面の簡単な説明】
【図１】  典型的なフィールドの使用について示す図である。
【図２】  画像縮小の例を示す図である。
【図３】  対話式の適用からのビデオの動的フォーマッティングの実施のための装置を概略的に示す図である。
【図４】  符号化器及び復号化器におけるアプリケーション実行中及びその前後の画像を示す図である。
【図１】
0004205427.tif 000003
【図２】
0004205427.tif 000004
【図３】
0004205427.tif 000005
【図４】
0004205427.tif 000006