(57)【特許請求の範囲】
【請求項１】
情報フレームのコード化方法であって、
前記情報フレームを複数の情報領域に分割するステップであって、少なくとも一つの前記情報領域は少なくとも一つの情報パラメータを含み、該情報パラメータはそのダイナミックレンジを定める上限値及び下限値を境界とした該情報領域内の複数の値と関連付けられている、分割ステップと、
前記少なくとも一つの情報領域の各々に関して、前記少なくとも一つの情報パラメータのそれぞれの最大値及び最小値を決定するステップと、
前記少なくとも一つの情報領域の各々に関して、決定された最大値及び最小値に従って前記少なくとも一つの情報パラメータのそれぞれの前記情報領域内の複数の値を再マップ化するステップと、
各情報領域をコード化してコード化情報ストリームを生成するとともに、該コード化情報ストリーム内のコード化された各情報領域に対応する情報を含むマップ領域識別信号を生成するステップと、
前記コード化情報ストリーム及び前記マップ領域識別信号を転送コード化し、前記マップ領域識別信号を非公開データ部に含ませた送信用の転送ストリームを形成する転送コード化ステップと、
を含むコード化方法。
【請求項２】
前記再マップ化するステップは、前記少なくとも一つの情報パラメータの前記情報領域内の複数の値を前記最大値及び前記最小値によって決定されるレンジに再マップ化して前記少なくとも一つの情報パラメータのそれぞれのダイナミックレンジ及びビット数を減少させる、請求項１に記載のコード化方法。
【請求項３】
前記マップ領域識別信号は、各情報領域に関連付けられた前記最大値及び前記最小値と各情報領域を識別する情報とを含む、請求項１に記載のコード化方法。
【請求項４】
前記転送コード化ステップは、前記コード化情報ストリーム及び前記マップ領域識別信号をそれぞれのパケット識別（ＰＩＤ）値と関連付けるステップを含む、請求項１に記載のコード化方法。
【請求項５】
前記転送コード化ステップは、
パケット化ストリーム中に前記コード化情報ストリームを組み入れるステップと、
前記パケット化ストリームのヘッダー部位に前記マップ領域識別信号を含ませるステップと、
を含む、請求項１に記載のコード化方法。
【請求項６】
前記情報フレームが画像フレームを含み、前記少なくとも一つの情報パラメータが輝度パラメータ及びクロミナンスパラメータの少なくとも一つを含む、請求項１に記載のコード化方法。
【請求項７】
コード化情報ストリーム内の複数のコード化された情報領域によって表されたコード化情報フレームをデコード化する方法であって、
前記複数のコード化された情報領域の少なくとも一つが、該情報領域内の再マップ化された複数の値と関連付けられている少なくとも一つの情報パラメータを含み、
前記方法は、
転送ストリームをデマルチプレクス化して前記コード化情報ストリーム及び該コード化情報ストリーム内のコード化された情報領域に対応する情報を含むマップ領域識別信号を復元するステップであって、前記マップ領域識別信号は前記転送ストリームの非公開データ部から検索される、デマルチプレクス化ステップと、
前記複数のコード化された情報領域の各々をデコード化して対応する複数のデコード化情報領域を生成するステップであって、前記複数のデコード化情報領域がデコード化情報フレームを表す、デコード化ステップと、
前記マップ領域識別信号から、前記再マップ化された複数の値と関連付けられている前記少なくとも一つの情報パラメータの各々に関してそれぞれの最大値及び最小値を抽出するステップと、
前記それぞれの最大値及び最小値に従って、前記少なくとも一つの情報領域の前記再マップ化された複数の値と関連付けられている前記少なくとも一つの情報パラメータの各々を、逆再マップ化するステップと、
を含むデコード化方法。
【請求項８】
前記コード化情報ストリームは、前記再マップ化によって前記少なくとも一つの情報パラメータのダイナミックレンジ及びビット数が減少されたものであり、
前記逆再マップ化するステップは、前記少なくとも一つの情報パラメータのダイナミックレンジ及びビット数を前記再マップ化前の状態に復元する、請求項７に記載のデコード方法。
【請求項９】
前記デマルチプレクス化ステップは、それぞれのパケット識別（ＰＩＤ）値に従って前記コード化情報ストリーム及び前記マップ領域識別信号を検索するステップを含む、請求項７に記載のデコード化方法。
【請求項１０】
前記デマルチプレクス化ステップは、
予め定められたパケット識別（ＰＩＤ）値と関連付けられたパケット化ストリームから、前記コード化情報ストリームを検索するステップと、
前記予め定められたパケット識別（ＰＩＤ）値と関連付けられたパケット化ストリームのヘッダー部位から、前記マップ領域識別信号を検索するステップと、
を含む、請求項７に記載のデコード化方法。
【請求項１１】
前記デコード化情報フレームが画像フレームを含み、前記少なくとも一つの情報パラメータが輝度パラメータ及びクロミナンスパラメータの少なくとも一つを含む、請求項７に記載のデコード化方法。
【請求項１２】
コード化情報ストリーム内の複数のコード化された情報領域によって表されたコード化情報フレームをデコード化する装置であって、
前記複数のコード化された情報領域の少なくとも一つが、該情報領域内の再マップ化された複数の値と関連付けられている少なくとも一つの情報パラメータを含み、
前記装置は、
転送ストリームを処理し、前記コード化情報ストリーム及び該コード化情報ストリーム内のコード化された情報領域に対応する情報を含むマップ領域識別信号を復元する転送デコーダ及びデマルチプレクサと、
前記複数のコード化された情報領域の各々をデコード化し、該複数のコード化された情報領域の各々に対応するとともにデコード化情報フレームを表す複数のデコード化情報領域を生成するデコーダと、
前記マップ領域識別信号から、前記再マップ化された複数の値に関連付けられている前記少なくとも一つの情報パラメータの各々に関するそれぞれの最大値及び最小値を抽出するとともに、抽出したそれぞれの最大値及び最小値に従って、前記少なくとも一つの情報領域の前記再マップ化された複数の値と関連付けられている前記少なくとも一つの情報パラメータの各々を逆再マップ化する逆再マップ化及び逆変倍化ユニットと、
を含み、
前記転送デコーダ及びデマルチプレクサにおいて、前記マップ領域識別信号は前記転送ストリームの非公開データ部から検索される、装置。
【請求項１３】
前記コード化情報ストリームは、前記再マップ化によって前記少なくとも一つの情報パラメータのダイナミックレンジ及びビット数が減少されたものであり、
前記逆再マップ化及び逆変倍化ユニットは、前記少なくとも一つの情報パラメータのダイナミックレンジ及びビット数を前記再マップ化前の状態に復元する、請求項１２に記載の装置。
【発明の詳細な説明】
【０００１】
本出願は、デジタル画像に関する領域に基づく情報の圧密として１９９８年３月３０日に出願された米国特許出願番号09/050,304の部分継続出願であり、ここに取り込んでその全体を援用する。
【０００２】
本発明は広くは情報処理システムに関し、より詳しくは、本発明は、ダイナミック レンジが相対的に低い情報処理システムを介して処理された、例えばビデオ情報信号のような情報信号の相対的に高いダイナミック レンジを保持するための方法及び装置に関する。
【０００３】
【開示の背景】
幾つかの通信システムでは、利用可能なバンド幅を更に効率的に使用するように、伝達されるべき情報が圧縮されている。例えば、ＭＰＥＧ（the Moving Picture Experts Group）は、動画の圧縮及びデジタルデータの配送システムについていくつもの標準を普及させている。第一は、ＭＰＥＧ−１として知られ、ＩＳＯ／ＩＥＣ標準１１１７２に関連しており、ここに取り込んで援用する。第二は、ＭＰＥＧ−２として知られ、ＩＳＯ／ＩＥＣ標準１３８１８に関連しており、ここに取り込んで援用する。圧縮されたデジタル ビデオ システムはアドバンスト テレビジョン システムズ委員会（ＡＴＳＣ）のデジタル テレビジョン標準資料Ａ／５３に説明されており、ここに取り込んで援用する。
【０００４】
上に援用した標準は、固定長または可変長のデジタル通信システムを用いたビデオ、オーディオ及び他の情報の圧縮及び配送に十分に適合した、データの処理及び操作技術を記述している。特に、上に援用した標準、及び他の「ＭＰＥＧ類似」標準及び種々の技術は、具体例として、ビデオ情報をフレーム内コーディング技術（ランレングス コーディング、ハフマン コーディング等のような）及びフレーム間コーディング技術（前方及び後方予測コーディング、動作補償等）を用いて圧縮する。厳密には、ビデオ処理システムの場合、ＭＰＥＧ及びＭＰＥＧ類似のビデオ処理システムは、フレーム内及び／又はフレーム間動作補償コード化を伴うか又は伴わない、ビデオフレームの予測に基づいた圧縮コード化によって特徴付けられる。
【０００５】
静止画（あるいは単一の画像フレーム）においては、画像情報の圧縮を達成するためにいくつものよく知られた標準が利用されている。例えば、ＪＰＥＧ（the Joint Photographic Experts Group）は、静止画の圧縮に関するいくつもの標準を普及させており、最も注目すべきなのは、静止画圧縮の初のマルチパートセット標準であるIS 10918-1（ITU-T T.81）標準である。
【０００６】
デジタル ビデオ処理及びデジタル画像処理の脈絡において、デジタル画像のピクセル強度及ピクセル色深度のような情報は、０と２n-1の間にある２進法の整数としてコード化される。例えば、フィルムのメーカーやテレビジョンのスタジオでは、一般的には１０ビットのピクセル強度及びピクセル色深度を持っているビデオ情報を利用するが、これはゼロと１０２３の間にある輝度値及びクロミナンス値を生成する。ビデオ情報の１０ビットのダイナミック レンジはフィルム上に及びスタジオ内に保存可能であるが、上で援用した標準（及びこれらの標準に適応した通信システム類）は、一般的に、８ビットしかないダイナミック レンジを利用している。この様に、最終的な情報消費者に提供されるフィルム、ビデオあるいは他の情報源の品質は、このような情報を消費者に提供するために使用される情報コード化の方法論及び通信ネットワークのダイナミック レンジの制約によって劣化している。
【０００７】
それ故、ダイナミック レンジが相対的に低い技術によってコード化されかつ転送される、ダイナミック レンジが相対的に高い情報を持っているフィルム、ビデオ及び他の種々の形態のダイナミック レンジを保持するための方法及び装置を提供することが望ましいと思われる。更に、上で援用したＭＰＥＧ類似の標準及び種々の技術の様な、これらの相対的にダイナミック レンジが低い技術に内在する規模の経済性を利用しながら、このようなダイナミック レンジの保持を提供することが望ましいと思われる。
【０００８】
【発明の概要】
本発明は、ダイナミック レンジが相対的に低いコード化及び／又は転送プロセスを施されている、ダイナミック レンジが相対的に高い情報ストリーム、具体例として高解像度ビデオ情報が挙げられるが、そのダイナミック レンジを保持するための方法及び装置を含む。本発明は、ダイナミック レンジが相対的に高い情報ストリームにセグメント化及び再マップ化プロセスを施して、そのときに各セグメントは、利用されるコード化及び／又は転送プロセスに適した、相対的に低いダイナミック レンジに再マップ化される。補助の情報ストリームは、コード化後（すなわちデコード化）あるいは転送後（すなわち受信）のプロセスにおいて、当初の、ダイナミック レンジが相対的に高い情報ストリームが回復されるように、セグメント及び関連付けられた再マップ化情報を含有している。
【０００９】
特に、本発明による情報フレームのコード化方法は：情報フレームを複数の情報領域に分割するステップであって、少なくとも一つの情報領域は、情報パラメータのダイナミック レンジを画成する上限値及び下限値を境界とする、領域内の複数の値と関連付けた少なくとも一つの情報パラメータを含む、分割ステップと；少なくとも一つの情報領域の各々に関して、少なくとも一つの情報パラメータのそれぞれの最大及び最小値を決定するステップと；少なくとも一つの情報領域の各々に関して、かつそれぞれ決定された最大及び最小値に従って、前記少なくとも一つの情報パラメータの、領域内のそれぞれ複数の値を再マップ化するステップと；各情報領域をコード化するステップと、を含む。
【００１０】
本発明の教示は、以下の詳細な説明と添付の図面を共に考慮することにより、容易に理解できる。
【００１１】
図において理解を容易にするために、可能な場合には、複数の図に共通する同一の要素を指すために同一の参照数字を用いている。
【００１２】
【詳細な説明】
以下の説明を考察した後で、当業者は、本発明の教示が、ダイナミック レンジが相対的に高い情報がダイナミック レンジが相対的に低い処理（例えばコード化）の対象とされ、次いで、理想的には、元のダイナミック レンジが高い情報をあるいはそれに近似して再生成するために再処理（例えばデコード化）される任意の情報処理システムにおいて容易に利用できることをはっきりと認識するであろう。
【００１３】
本発明は、主に処理された（例えばＭＰＥＧ類似ビデオ処理）複数の画像若しくは動画の脈絡の中で論じられるが、当業者は、本発明の教示が単一画像あるいは静止画の処理（例えばＪＰＥＧ類似画像処理）に容易に応用できることを理解するであろう。更に普遍的には、本発明の教示は、相対的に高いダイナミック レンジと関連付けられた一つあるいはそれより多い情報パラメータを含む任意の形態の情報に適用可能である。本発明は、例えば処理あるいは転送に対して上記ダイナミック レンジを減少させ、その後で、上記ダイナミック レンジを復元する可能性を提供する。
【００１４】
図１は、レンジ拡大情報ストリームを生成するための前処理関数と、及び具体例としてＭＰＥＧ類似のコード化プロセスがある、８ビットのコード化情報ストリームを生成する８ビットのコード化プロセスとを用いて、具体例としてダイナミック レンジが１０ビットの情報ストリームをコード化する情報分配システム１００を図解する。８ビットのコード化情報ストリーム及びレンジ拡大情報ストリームは、例えば受信機に転送される。受信機においては、８ビットのコード化情報ストリームは、８ビットのデコード化情報ストリームを生成するためのデコード化処理、具体例としてＭＰＥＧ類似のデコード化処理の対象とされる。後処理関数は、８ビットのデコード化情報ストリームのダイナミック レンジを拡大して元の１０ビットのダイナミック レンジを実質的に復元するために、レンジ拡大情報ストリームを利用する。
【００１５】
図１のシステム１００は、具体例としてテレビジョン スタジオのような情報提供者が使用するのに適した情報コーディング部（１０〜３０）、具体例として地上放送チャンネルのような通信チャンネルである情報分配部（３５）、及び具体例として適当なデコード化装置を持つ情報消費者が使用するのに適した情報デコーディング部（４０〜６０）を含む。
【００１６】
情報コーディング部は、具体例としてダイナミック レンジが１０ビットのビデオ信号である、ビデオ源（図示せず）の様な情報源からの相対的にダイナミック レンジが高い情報信号Ｓ１を受け取る、領域マップ化及び変倍化ユニット１０を含んでいる。領域マップ化及び変倍化ユニット１０は、１０ビットのビデオ信号Ｓ１の各絵柄を代表する、フレームを代表する、あるいはフィールドを代表する部位を、それぞれ複数の小絵柄領域、小フレーム領域あるいは小フィールド領域に分割する。領域マップ化及び変倍化ユニット１０の操作は、図２に関連して後で更に詳細に説明する。手短に言えば、複数の領域の各々は、処理される領域内のピクセルで用いられている、具体例としては最高輝度レベル（ＹMAX）及び最低輝度レベル（ＹMIN）を識別するために処理される。各領域内の輝度情報は、次いで、出力において８ビットのベースバンド ビデオ信号Ｓ３を生成するために、元の１０ビットのダイナミック レンジ（即ち０〜１０２３）から、それぞれの領域の識別された最低輝度レベル（ＹMIN）及び最高輝度レベル（ＹMAX）に対応する上限及び下限を持つ８ビットのダイナミック レンジに変倍される（すなわち再マップ化される）。各領域と関連付けられた最大及び最小値、及び領域を識別する情報は結合され、マップ領域識別信号Ｓ４として出力される。例えばダイナミック レンジの圧密を要求しない領域の場合は、マップ領域識別信号は中身の無い集合であろう。
【００１７】
具体例としてＭＰＥＧ類似のビデオ エンコーダ（若しくはＪＰＥＧ類似の画像エンコーダ）であるエンコーダ１５は、領域マップ化及び変倍化ユニット１０から、再マップ化された、８ビットのベースバンド ビデオ（あるいは画像）信号Ｓ３を受け取る。エンコーダ１５は、具体例としてＭＰＥＧ類似のビデオ要素ストリームである、圧縮されたビデオ信号Ｓ５を生成するために、８ビットのベースバンド ビデオ信号をコード化する。
【００１８】
具体例としてＭＰＥＧ類似のオーディオ エンコーダである、オーディオ エンコーダ２０は、オーディオ源（図示せず）からベースバンド オーディオ信号Ｓ２を受けとる。一般的には、ベースバンド オーディオ信号Ｓ２はベースバンド ビデオ信号Ｓ３と時間的に関係付けられている。オーディオ エンコーダ２０は、具体例としてＭＰＥＧ類似のオーディオ要素ストリームである、圧縮されたオーディオ信号Ｓ１６を生成するため、ベースバンド オーディオ信号をコード化する。オーディオ エンコーダ２０、及び後で説明する他のオーディオ機能は、本発明の実施に必須ではないことに注目しなければならない。
【００１９】
サービス マルチプレクサ２５は、マップ領域識別信号Ｓ４、要素ストリームＳ５及びオーディオ要素ストリームＳ１６を、パケット化要素ストリームとして知られるそれぞれの可変長または固定長のパケット構造に包む。パケット化要素ストリーム（ＰＥＳ：packetized elementary stream）は結合されてマルチプレクス化 ＰＥＳ（Ｓ６）を形成する。ＰＥＳ構造は、例えばデコード化の識別及び同期と、ビデオ、オーディオ及び他の情報の提示の機能を提供する。転送エンコーダ３０は、転送ストリームＳ７を生成するため、マルチプレクス化 ＰＥＳ（Ｓ６）のＰＥＳパケットを知られている手法で固定長転送パケットに転換する。
【００２０】
マップ領域識別信号Ｓ４は、例えば種々の通信標準の脈絡の範囲内の複数の手段を介して、最終利用者（例えばデコーダ）に伝達されてよいことに注目すべきである。マップ領域識別信号Ｓ４を組み込んでいる、利用者の非公開データ テーブル及び非公開データあるいはメッセージ記述子は、ＭＰＥＧ及びＡＴＳＣ標準中に説明されている様に、メッセージの全体にわたって指定された位置に置かれるであろう。このようなデータの、及び他のＭＰＥＧ、ＡＴＳＣ、ＤＶＢ及び同様の非公開の、利用者のあるいは補助的なデータの通信フォーマットの使用は、本発明者等によって熟考されている。例えば、マップ領域識別信号Ｓ４は、要素ストリームＳ５内のコード化領域情報に対応する情報を含有しているから、本発明の一態様においては、マップ領域識別信号は、マルチプレクス化要素ストリームＳ５内の非公開データとして含有されている。
【００２１】
マップ領域識別信号Ｓ４は、補助データ ストリーム、ＭＰＥＧ類似データ ストリームあるいは利用者の非公開データあるいはメッセージ ストリームとして伝達されてよい。非公開データは、特定のパケット識別（ＰＩＤ）と関連付けられたデータ ストリーム、もう一つのデータ ストリーム（例えば要素ストリームＳ５を含むパケット化要素ストリーム）の例えばペイロードあるいはヘッダ部位または情報ストリームの他の部位に挿入された非公開あるいは利用者データを含んでよい。転送ストリームの場合は、マップ領域識別信号Ｓ４は、任意に、転送ストリームの非公開部位に組み込まれてもよい。
【００２２】
本発明の一態様では、転送エンコーダは、形成された転送ストリームの非公開データ部分中に、ダイナミック レンジ拡大ストリームを含んでいる。本発明の別の態様では、転送エンコーダは、コード化情報ストリームと関連付けられたダイナミック レンジ拡大ストリームをそれぞれのパケット識別（ＰＩＤ）値と関連付けた。本発明のもう一つ別の態様では、転送エンコーダは、パケット化ストリームの中に、コード化情報ストリームを組み込んだ。これに加えて、転送エンコーダは、コード化情報ストリームを組み込んでいるパケット化ストリームのヘッダー部位内に、関連付けられたダイナミック レンジ拡大ストリームを含んでいる。
【００２３】
情報分配部は、具体例として地上放送、光ファイバー、電気通信あるいは他の公共もしくは非公開データ通信ネットワークがある、通信ネットワーク３５を含む。通信ネットワークは、情報コーディグ部によって生成された転送ストリームＳ７を受信し、通信ネットワークの要求に適合する様に転送ストリームＳ７を変調あるいはコード化し（例えばＭＰＥＧ転送ストリームＳ７を非同期転送モード（ＡＴＭ）フォーマットに変換する）、変調されたあるいはコード化転送ストリームを例えば受信機に送信し、及び、出力転送ストリームＳ８を生成するために変調されたあるいはコード化転送ストリームを復調あるいはデコード化する。
【００２４】
情報デコーディング部は、受信した転送ストリームＳ８をマルチプレクス化ＰＥＳ（Ｓ９）に変換する転送デコーダ４０を含む。マルチプレクス化ＰＥＳ（Ｓ９）は、サービス デマルチプレクサ４５によってデマルチプレクス化されて、それぞれマップ領域識別信号Ｓ４、要素ストリームＳ５及びオーディオ要素ストリームＳ１６に対応する、マップ領域識別信号Ｓ１４、ビデオ要素ストリームＳ１２及びオーディオ要素ストリームＳ１０を生成する。
【００２５】
ビデオ要素ストリームＳ１２は、知られている手法でビデオ デコーダ５５によりデコード化されて、再マップ化された８ビットのベースバンド ビデオ信号Ｓ３に対応する８ビットのベースバンド ビデオ信号Ｓ１３を生成する。オーディオ要素ストリームＳ１０は、知られている手法でオーディオ デコーダ５０によりデコード化されて、ベースバンド オーディオ信号Ｓ２に対応するベースバンド オーディオ出力信号Ｓ１１を生成し、これは、更なる処理のためにオーディオ プロセッサ（図示せず）に結合される。
【００２６】
逆領域マップ化及び逆変倍化ユニット６０は、８ビットのベースバンド ビデオ信号Ｓ１３及びマップ領域識別信号Ｓ１４を受信する。逆領域マップ化及び逆変倍化ユニット６０は、元の１０ビットのダイナミック レンジのビデオ信号Ｓ１に対応する１０ビットのビデオ信号Ｓ１５を生成するために、８ビットのベースバンド ビデオ信号Ｓ１３を、一つの領域から次の領域へと再マップ化する。生成された１０ビットのビデオ信号は、更なる処理のためにビデオ プロセッサ（図示せず）に結合される。逆領域マップ化及び逆変倍化ユニット６０の操作は、図２と関連して、後で更に詳細に説明するであろう。手短に言えば、逆領域マップ化及び逆変倍化ユニット６０は、各絵柄、フレームあるいはフィールド領域と関連付けられた予め識別された最高輝度レベル（ＹMAX）及び最低輝度レベル（ＹMIN）を、及び検索された最大及び最小値を８ビットのベースバンド ビデオ信号Ｓ１３内の特定の領域と関連付けるのに必要なあらゆる識別情報を、マップ領域識別信号Ｓ１４から検索する。各領域と関連付けられた輝度情報は、次いで、識別された、領域と関連付けられた最低輝度レベル（ＹMIN）及び最高輝度レベル（ＹMAX）によって制約された８ビットのダイナミック レンジから、元の１０ビット（すなわち０〜１０２３）のダイナミック レンジへ変倍（すなわち再マップ化）されて、１０ビットのビデオ信号Ｓ１５を生成する。当業者は、情報信号と関連付けられた他の高ダイナミック レンジのパラメータ（例えば、クロミナンス成分、高ダイナミック レンジのオーディオ情報等）もまた、本発明に係る装置及び方法を用いて有利に処理可能であるということを理解するであろう。
【００２７】
先に注目したように、マップ領域識別信号Ｓ４は、例えば種々の通信標準の脈絡の範囲内の複数の手段を介して最終利用者（例えばデコーダ）に通信されてもよい。このように、本発明の一つの態様では、マップ領域識別信号Ｓ４はその転送ストリームの非公開データ部位から回復される。本発明の別の態様では、マップ領域識別信号はそれぞれの識別（ＰＩＤ）値と関連付けられ、かつその値を用いて回復される。本発明のもう一つの態様では、コード化情報ストリームは、予め画成されたパケット識別（ＰＩＤ）値と関連付けられたパケット化ストリームから回復され、一方、マップ領域識別信号は、予め画成されたパケット識別（ＰＩＤ）値と関連付けられたパケット化ストリームのヘッダー部位から検索される。
【００２８】
図２は、情報ストリームのコード化法とデコード化法を結合したフロー ダイアグラムである。方法２００は、複数の論理情報フレームを含む相対的にダイナミック レンジの高い情報ストリームが、例えば領域マップ化及び変倍化ユニット１０によって受信されたときに、ステップ２１０において入る。方法２００はステップ２１５へと進み、ここで、受信した情報ストリームの各論理情報フレームは、具体例としてボックス２０５に図解した判定規準に従って複数の領域に分割される。ボックス２０５は、絵柄、フレーム、フィールド、スライス マクロブロック、ブロック及びピクセルの配置、関連する動作ベクトル等に基づく固定若しくは可変座標領域を含有している。ビデオ情報ストリームの場合は、あらゆる典型的な領域がマクロブロック領域の寸法を含む。
【００２９】
論理情報フレームを複数の領域に分割（ステップ２１５）した後、方法２００はステップ２２０に進み、ここでは、関心がある一つ以上のパラメータの最大及び最小値を、各領域について決定する。ビデオ情報信号の場合は、関心があるパラメータは輝度パラメータ（Ｙ）、色差パラメータ（Ｕ，Ｖ）、動作ベクトル等を含むであろう。
【００３０】
方法２００は、次いで、ステップ２２５に進み、ここで、各領域の各ピクセル中の関心があるパラメータは、それぞれの最大及び最小パラメータ値に拘束されるパラメータ値のレンジに再マップ化される。つまり、ピクセルの関心があるパラメータが輝度パラメータであるとすれば、ある特定領域内の全輝度パラメータは、予めステップ２２０で決定された、その特定領域内の最高輝度値及び最低輝度値によって決定されるレンジに再マップ化される。
【００３１】
論理フレームの領域分割、最大及び最小パラメータの決定及び再マップ化の上に説明したステップは、情報ストリーム及び関連付けられたダイナミック レンジ拡大ストリームを発生させるのに必要なステップを含む。特に、後続の、相対的にダイナミック レンジの低い処理ステップ（例えば下のステップ２３０）に起因する、情報ストリームにもたらされるダイナミック レンジの劣化は、もう一つの、後続の処理ステップ（例えば下のステップ２４０〜２４５）によって大幅に補正されるであろう。この概念は、本発明の理解に重要な意味を持つ。
【００３２】
一つ以上の領域中の関心がある全パラメータを再マップ化（ステップ２２５）した後、方法２００はステップ２３０に進み、ここでは、領域内の情報がコード化されてコード化情報ストリームを生成する。ビデオ情報ストリームの場合は、コード化は先に援用したＭＰＥＧ類似のコード化標準の一つを含んでよい。方法２００は、次いでステップ２３５に進み、ここでは、コード化情報ストリーム、コード化情報ストリームの各領域と関連付けられた最大及び最小データ、及び各領域をそのそれぞれの最大及び最小パラメータ情報に関連付けるのに十分な情報が、例えば受信機に転送される。方法２００は、次いでステップ２４０に進み、ここでは、コード化情報ストリームがデコード化されてデコード化情報ストリームを生成する。
【００３３】
デコード化情報ストリームのダイナミック レンジ、特にデコード化情報ストリーム中の関心があるパラメータのダイナミック レンジは、例えばステップ２３０〜２３５中で採用されるコード化若しくは処理の方法論のダイナミック レンジを超えないであろう、ということに注目することは大切である。従って、ビデオ信号の輝度パラメータが１０ビットのダイナミック レンジである場合、８ビットのダイナミック レンジを利用するＭＰＥＧ類似のコード化及びデコード化方法論は、デコーダ出力では、８ビットのダイナミック レンジの輝度パラメータのみを持つビデオ情報ストリームを生成するであろう。
【００３４】
転送された情報ストリームのデコード化（ステップ２４０）の後、方法２００はステップ２４５に進み、ここで、ダイナミック レンジが８ビットのデコード化情報ストリームは、各領域中の関心がある一つあるいは複数のパラメータと関連付けられたそれぞれの最大及び最小値を用いて、一つの領域から他の領域へと再マップ化される。結果として生ずる相対的にダイナミック レンジの高い情報ストリームは、次いでステップ２５０で利用される。
【００３５】
領域分割及び再マップ化に関連する、上に説明した方法２００の一部は、下において更に詳細に説明されるであろう。更に、本発明と、総体的には情報ストリームとの、及び特にはビデオストリームとの関連も、更に詳細に説明されるであろう。
【００３６】
情報ストリームは、論理的制約に従って一般的には断片化若しくはフレーム化される。各論理断片若しくはフレームは複数の情報要素を含み、各情報要素は、一般的には一つ以上のパラメータに関連付けられる。特に、ビデオ情報ストリームは、絵柄、フレーム若しくはフィールドの観点から一般的に断片化されている。絵柄、フレーム若しくはフィールドは、絵柄要素（ピクセル）として知られる複数の情報エレメントを含む。各ピクセルには輝度情報及びクロミナンス情報のようなパラメータが関連付けられる。ＭＰＥＧ類似のシステムの場合は、ピクセルはブロック若しくはマクロブロックにグループ化される。ピクセル、ブロック及びマクロブロックにも、動作パラメータ及び他のパラメータが関連付けられてもよい。一つのピクセル、ブロック若しくはマクロブロックと関連付けられたパラメータの各々は、そのパラメータを定義している情報のダイナミック レンジが正確である程度まで、正確である。更に、ピクセル輝度のようなあるパラメータのダイナミック レンジの保持は、ブロック動作のような別のパラメータのダイナミック レンジの保持よりももっと重大である。そのような訳で、ダイナミック レンジの制約に起因するあるパラメータの劣化は許容できるかもしれないが、一方別のパラメータは可能な限りの忠実度を以って保持すべきである。
【００３７】
輝度パラメータの場合、非常に明るい区域（すなわち高強度値）及び非常に暗い区域（すなわち低強度領域）を含む画像中で、その画像を表す輝度情報は全て利用されよう。すなわち、画像中のピクセルと関連付けられた輝度パラメータの値は（１０ビットのダイナミック レンジ表記において）ゼロ（黒）から１０２３（白）の間であろう。したがって、具体例として１０ビットのスタジオ画像である、画像を表す輝度情報のダイナミック レンジが、具体例として８ビットのＭＰＥＧコード化操作である、画像を処理するのに使用される情報処理操作のダイナミック レンジを超えた場合、量子化誤差が結果として生ずる処理画像を必然的に劣化させるであろう。しかしながら、画像をもっと小さな領域に断片化することにより、輝度情報の１０ビットのダイナミック レンジの全てが一つの領域中で利用される可能性は減少する。
【００３８】
領域は任意のフレーム内選択基準に従って選択されてよい。例えば、ビデオ情報フレームの場合は、適当な基準は走査線や、ピクセル座標、ブロック、マクロブロック、スライス等で定義される領域を含んでいる。通常、選択される領域がより小さくなる程、情報要素パラメータの全ダイナミック レンジが保持される確率はより大きくなる。
【００３９】
図３Ａは、ピクセル座標技術を用いて複数の領域３０１〜３０７に分割された画像３００の図解である。図３Ａに従った画像の領域区画化を利用する本発明の一態様では、領域位置を識別する印は、例えば領域の角または稜を画成するピクセル座標を含む。
【００４０】
図３Ｂは、行（Ｒ1〜ＲN）及び列（Ｃ1〜ＣN）で定義される複数の単一のマクロブロック領域に分割された画像３００を図解する。図３Ｂで定義された領域は図３Ａで定義された領域よりずっと小さいので、画像を形成している関心があるパラメータのダイナミック レンジが保持される可能性はより大きい。図３Ｂに従った画像の領域区画化を利用する本発明の一態様では、領域位置を識別する印は、行（すなわちスライス）数及び列数で定義されるようなマクロブロックのアドレスを含む。領域を識別するより簡単な方法は、絵柄の出発点からのマクロブロックの数（すなわち最上段左端の、若しくは第一の、マクロブロックから数えたマクロブロックの数）を表すマクロブロック オフセット値で、各領域（すなわちマクロブロック）を識別することを含む。
【００４１】
例えばピクセルの輝度若しくはクロミナンス パラメータの、元のダイナミック レンジから目標とするダイナミック レンジへの単純な線形再マップ化は、数式１で表されるであろう。ここで、ＴＰ＝目標ピクセル、ＯＰ＝元のピクセル、ＴＲ＝目標レンジ、及びＯＲ＝元のレンジである。１０ビットのピクセル（スタジオで使用されるような）を８ビットのピクセル（ＭＰＥＧ類似の処理システムで使用されるような）に再マップ化する場合は、数式１は数式２になる。同様に、８ビットのピクセルを１０ビットのピクセルに戻す再マップ化の場合は、数式１は数式３になる。フロア関数演算子
0004554087.tif 000002
内の数量または結果が最も近い整数値に丸められることに注目すべきである。
【数１】
0004554087.tif 000003
【数２】
0004554087.tif 000004
【数３】
0004554087.tif 000005
【００４２】
数式２を使用して、ＯＰが５２５のときＴＰは１３１になるであろう。数式３を使用して、ＯＰが１３１のときＴＰは５２４になるであろう。１０ビットのダイナミック レンジから８ビットのダイナミック レンジにして、また１０ビットのダイナミック レンジに戻す線形再マップ化は、量子化誤差に起因する情報損失をもたらすことが判る。
【００４３】
上記数式１〜３は、現行の再マップ化関数に内在する量子化誤差を数学的に示している。対照的に、以下に説明する再マップ化数式４及び５は、それぞれ、図１の領域マップ化及び変倍化ユニット１０及び逆領域マップ化及び逆変倍化ユニット６０で使用するのに適した再マップ化数式中での使用に、それぞれ、適している。
【００４４】
本発明の一つの態様では、数式４の模範的な線形再マップ化関数のような、線形再マップ化関数が利用される。ここで、ＴＰ＝目標ピクセル、ＯＰ＝元のピクセル、ＴＲ＝目標レンジ、ＭＡＸ＝最大パラメータ値、ＭＩＮ＝最小パラメータ値である。４００の領域最小値と６００の領域最大値とを有する最小限の１０ビットシステムの場合には、数式４は数式５になる。
【数４】
0004554087.tif 000006
【数５】
0004554087.tif 000007
【００４５】
本発明の脈絡の範囲内において、数式４のような関数は、パラメータの最大値と最小値の間の差が元のダイナミック レンジと目標とするダイナミック レンジの比で定義される範囲を超えない限り、元のピクセルパラメータの相対的に高いダイナミック レンジを保持することができるであろう。すなわち、元のダイナミック レンジが１０ビットで目標ダイナミック レンジが８ビットであり、比が１０２３：２５５（すなわち４：１）である場合は、最大値及び最小値の間の差は元のダイナミック レンジの４分の１より大きくなってはならない。このように、各領域に対するダイナミック レンジの閾値レベルは、パラメータの全体の、元のダイナミック レンジが本発明によって保持されるか否かを決定するように制定される。数式５において最大値（６００）と最小値（４００）の間の差は１０ビットのダイナミック レンジの４分の１（２５６）よりも小さいので、１０ビットのダイナミック レンジの全体は保持される。
【００４６】
数式４及び５は決して本発明の範囲を制限するものと解すべきではないことに注目すべきである。むしろ、数式４及び５は、本発明で使用するのに適している複数の線形関数の単なる一例として示されている。本発明は、非線形関数（ガンマ補正及び圧伸関数の様な）を用いても実施することができるであろう。更に、データの圧密を最適化するため、線形関数と非線形関数を結合して本発明を実施してもよい。選択される線形及び／又は非線形関数は、処理される情報ストリーム、ストリームの情報要素内の関心があるパラメータの一般的な分布、設定された用途に対して許容されるダイナミック レンジの総量、情報ストリームに作用するエンコーダ及び／又はデコーダの処理の制約及び他の基準に依って変わるであろう。
【００４７】
最大値と最小値の差が閾値レベルより下にとどまることを確実にする助けとなるように、領域の寸法を小さくすることが望ましい。しかしながら、領域の寸法を小さくすると、識別され処理されなければならない最大及び最小情報が必然的に増加するが、このオーバーヘッドはこれから実証するように重大ではないであろう。
【００４８】
上に説明した方法は、一つの情報フレーム中の選択された情報要素パラメータのダイナミック レンジを実質的に全部保持するのに有利である。本発明を実践するために必要な余分のビット、例えば一つの絵柄の各領域に対する最大及び最小のピクセル値を使用することに起因するオーバーヘッドの観点から、コストを簡単に論じよう。特に、例えば図１の通信ネットワーク３５によって転送されるべき余分のビット数について論じよう。
【００４９】
ダイナミック レンジが８ビットのプロセスに従って処理されるダイナミック レンジが１０ビットのビデオ情報ストリームの輝度パラメータを保持する場合を考えてみよう。８ビットのピクセル（単色）の１６×１６ブロックのような、小さい寸法領域が選択されたと仮定する。８ビットのピクセルの１６×１６ブロックは、２５６＊８ビット＝２０４８ビットで表される。最小及び最大の、２つの１０ビット値をこのブロックに加えると、ビット数は２０増えて２０６８になる、すなわち約１％増加する。これと引き換えに、ピクセル強度解像力は８ビットより決して悪くならず、おそらく１０ビットの高さであり、強度の深度の解像力は係数４の改良となる。
【００５０】
良く知られた４：４：４：フォーマットに従う１０ビットのディジタル ビデオ ストリームの場合を考えてみよう。この場合、輝度（Ｙ）及び色差（Ｕ，Ｖ）信号のダイナミック レンジは各１０ビットである。もう一度、８ビットのピクセルの１６×１６ブロックのような、小さい寸法領域が選択されたと仮定する。この８ビットのピクセルは２５６＊８＊３ビット＝６１４４ビットで表される。この場合にも６個の１０ビットの値、輝度（Ｙ）及び色差（Ｕ，Ｖ）信号の各々に関する最小値と最大値、をこのブロックに加えると、ビット数は６０増加して６２０４ビットになる、すなわち約１％増加する。これと引き換えに、輝度（Ｙ）及び色差（Ｕ，Ｖ）信号の各々は８ビットより決して悪くならず、おそらく１０ビットの高さであり、それぞれの強度及び色の深度の解像力は係数４の改良となる。
【００５１】
ところで最初の場合に戻ると、もし全ピクセルが１０ビットで表されるべきであるとすると、合計ビット数は２５６＊１０＝２５６０であろう。言い換えると、１０ビット全部で表すと、ここで説明した領域コード化よりも２４％多いビットが要求されるであろう。このように、本方法は対応するビット総数の実質的な増加を伴わないで、ダイナミック レンジの実質的な改良を提供する。更に、ＭＰＥＧ及びＭＰＥＧ類似の圧縮標準、ＪＰＥＧ及びＪＰＥＧ類似の圧縮標準（及び他の知られた技術）の実行のような、大量生産されたエンコーダ／デコーダ チップセットの脈絡の範囲内で本発明を利用すると、本発明は、１０ビット（あるいはより高い）実効ダイナミック レンジを提供して、現存する８ビットのチップセットの経費節約にてこ入れをする。
【００５２】
上で説明した本発明の幾つかの態様は、線形圧密法を用いて希望する結果を達成する。けれども、用途によっては非線形法を用いて情報を処理することが望ましい。例えば、アナログ ビデオ信号は、例えばテレビジョン セットの受像管の非線形性を補償するために、非線形的に処理される（すなわち「ガンマ補正される」）。本発明に従う非線形マップ化法は、基礎を形成する信号のダイナミック レンジを保存したままで、ガンマ補正及び他の関数を実行するために使用できよう。更に、線形及び非線形法を一緒に使用することもできよう。
【００５３】
マップ化関数の非線形処理に適切なもう一つのシナリオは、元のレンジと目標にするレンジが離れすぎているため、上で説明した強度圧密法によってもなお、正確度の損失がある場合に生じる。この場合は、非線形マップ化は、レンジのある部分にわたって元のピクセル値（すなわちダイナミック レンジ）を保持するために使用される。この状況は、図４Ａと図４Ｂについて以下に図解されている。ここでは、具体例としてより下のビット レンジ（例えば０〜１３１）内に位置する情報は、より上のビット レンジ（例えば１３２〜１０２３）内に位置する情報よりも重要であるとみなされている。
【００５４】
図４Ａは、非線形関数の実例であるダイアグラム４を図解する。このダイアグラムは、１０２４ビットの元のダイナミック レンジ４１０Ａと２５５ビットの目標とするダイナミック レンジ４２０Ａを含む。１０２４ビットのダイナミック レンジを持つ信号４３０Ａ、４４０Ａは、２５５ビットのダイナミック レンジ空間中へ２個のセグメントに再マップ化される。第一のセグメント４３０Ａは実質的に線形の伝達関数を利用し、一方第二のセグメント４４０Ａは圧縮された伝達関数を利用する。すなわち、元のマップ中の０〜１３１のレンジは目標マップ中で維持され、一方元のマップ中の１３２〜１０２３のレンジは目標マップの１３２〜２５５のレンジへと圧縮される。
【００５５】
図４Ｂは、図４Ａのコード化関数と関連付けられた非線形デコード化関数の実例であるダイアグラムを図解する。このように、図４Ａに図解された伝達関数を持つ再マップ化関数に従ってコード化された情報信号をデコーダにおいて検索するには、デコーダは、図４Ｂに図解された伝達関数を持つ再マップ化関数を実行する。
【００５６】
図５は、本発明に従ったコード化及びデコード化方法及び装置の高レベル関数ブロック ダイアグラムを図解する。特に、コード化及びデコード化方法及びプロセスは、具体例として、ピクセル源５１０から受信した情報ストリームS１に応答する関数マップ化機５３０を含む。関数マップ化機は、再マップ化情報ストリームＳ３及び関連付けられたマップ情報ストリームＳ４を生成するため、関数制約源５２０が提供する種々の関数の基準ｆcに従って情報ストリームＳ１を再マップ化する。
【００５７】
再マップ化情報ストリームＳ３はエンコーダ５４０へと接続され、これは再マップ化情報ストリームＳ３をコード化して、コード化情報ストリームＳ５を生成する。コード化情報ストリームＳ５とマップ情報ストリームＳ４は、それぞれ、デコーダ５５０及び逆関数マップ化機５６０へ転送される。
【００５８】
デコーダ５５０は、当初の再マップ化情報ストリームに実質的に対応する情報ストリームを検索するため、転送されたかつコード化された情報ストリームをデコード化する。
【００５９】
逆関数マップ化機５６０は、元の情報ストリームに実質的に対応する情報ストリームを生成するため、転送されたマップ情報ストリームＳ４の通りに、検索されたストリームに対して逆関数マップ化操作を遂行する。逆関数マップ化機５６０によって生成された情報ストリームは、特定の用途（例えばガンマ補正等）の促進のために線形及び／又は非線形の修正を含むのが有利であろうことに注目しなければならない。
【００６０】
関数マップ化機５３０及び逆関数マップ化機５６０は、図１に図解された領域マップ化及び変倍化ユニット１０及び逆領域マップ化及び逆変倍化ユニット６０と実質的に同じ手法で操作されうることに注目すべきである。
【００６１】
本発明の一実施態様では、例えば関数マップ化機５３０あるいは領域マップ化及び変倍化ユニット１０によって執行される再マップ化関数は、任意関数に従う再マップ化関数を執行する。例えばピクセルの輝度若しくはクロミナンスパラメータを元のダイナミック レンジから目標ダイナミック レンジに再マップ化する任意関数は、数式６で表されるであろう。ここで、ＴＰ＝目標ピクセル、ＯＰ＝元のピクセル、ＴＲ＝目標レンジ、ＯＲ＝元のレンジ、ＭＡＸ＝最大値、ＭＩＮ＝最小値、及びＦ＝任意関数である。
【数６】
0004554087.tif 000008
【００６２】
関数Ｆは多くの形態をとることができ、かつ多くのやり方で実行されてよいことに注目することが大切である。例えば、関数Ｆは、１）図１〜２に関連して上で説明したような簡単な線形関数、２）入力ビデオ強度レベルを、表示機器の強度応答レベルに対応するように変えるガンマ補正関数、３）任意的な多項式、あるいは４）表型関数（すなわちルックアップ表という形で純粋に説明される関数であり、各入力ビットは、その中に蓄えられた内容を検索するために、表にアドレスをつける）を実行するであろう。
【００６３】
固定化ガンマ補正関数を用いて再マップ化する場合は、以下の形式の関数が実行されよう：
【数７】
0004554087.tif 000009
【００６４】
具体例として放物線（Ｘ2＋Ｘ）である多項式の断片を用いて再マップ化する場合は、その多項式の断片が決してゼロより小さくはならず、かつ目標レンジを超えないと仮定して、以下の形式の関数を実行されるであろう：
【数８】
0004554087.tif 000010
【００６５】
表型関数を用いて再マップ化する場合は、表は値の索引可能な配列を含み、索引値は元のレンジであり、かつ表中の値は目標レンジ中に包含されている。これは、２つのレンジ間のどのような任意のマップ化をも許容する。ガンマ補正のように再マップ化が一方向のみ、というのでなければ（すなわち再マップ化は「マップ化されない」ことを意図しない）、デコーダ５５０若しくは逆領域マップ化及び逆変倍化ユニット６０の逆表は、元の情報値を復元するであろう。
【００６６】
ダイナミック レンジ拡大ストリームとマップ領域識別ストリームの語句が、本発明に従って処理された情報ストリームのダイナミック レンジの少なくともある部位を回復する際に使用するのに適した、補助的な若しくは他のデータを搬送している情報ストリームの説明に、実質的に同じ様式で用いられていることに注目すべきである。
【００６７】
本発明の教示を組み込んだ種々の態様をここに詳細に示しかつ説明したが、それでも、当業者はこれらの教示を組み込んだ、その他多数の変形された態様を容易に工夫することができる。
【図面の簡単な説明】
【図１】  情報分配システムを図解する。
【図２】  コード化方法とデコード化方法を結合した情報ストリームのフロー ダイアグラムである。
【図３Ａ】  ピクセル座標技術を用いて多数の領域に分割された画像を図解する。
【図３Ｂ】  行及び列によって定義された、複数の単独のマクロブロック領域に分割された画像を図解する。
【図４Ａ】  非線形コード化関数を例証するダイアグラムを図解する。
【図４Ｂ】  図４Ａのコード化関数に関連する非線形デコード化関数を例証するダイアグラムを図解する。
【図５】  コード化及びデコード化方法及び装置の高レベル関数ブロック ダイアグラムを図解する。
【符号の説明】
１０〜３０・・・情報コーディング部、１０・・・マップ化及び変倍化ユニット、１５・・・エンコーダ、２０・・・オーディオ エンコーダ、２５・・・サービス マルチプレクサ、３０・・・転送エンコーダ、３５・・・情報分配部、３５・・・通信ネットワーク、４０〜６０・・・情報デコーディング部、４０・・・転送デコーダ、４５・・・サービス デマルチプレクサ、５０・・・オーディオ デコーダ、５５・・・ビデオ デコーダ、６０・・・逆マップ化及び逆変倍化ユニット、１００・・・情報分配システム、３００・・・画像、３０１〜３０７・・・ピクセル座標技術を用いて分割された領域、４１０Ａ・・・１０２４ビットの元のダイナミック レンジ、４２０Ａ・・・２５５ビットの目標とするダイナミック レンジ、４３０Ａ〜４４０Ａ・・・１０２４ビットのダイナミック レンジを持つ信号、Ｓ１・・・相対的にダイナミック レンジが高い情報信号、Ｓ２・・・ベースバンド オーディオ信号、Ｓ３・・・再マップ化情報ストリーム、Ｓ４・・・マップ領域識別信号、Ｓ５・・・コード化情報ストリーム、Ｓ６・・・マルチプレクス化 ＰＥＳ、Ｓ７・・・転送ストリーム、Ｓ８・・・出力転送ストリーム、Ｓ９・・・マルチプレクス化ＰＥＳ、Ｓ１０・・・オーディオ要素ストリーム、Ｓ１１・・・ベースバンド オーディオ出力信号、Ｓ１２・・・ビデオ要素ストリーム、Ｓ１３・・・８ビットのベースバンド ビデオ信号、Ｓ１４・・・マップ領域識別信号、Ｓ１５・・・１０ビットのビデオ信号、Ｓ１６・・・圧縮されたオーディオ信号。
【図１】
0004554087.tif 000011
【図２】
0004554087.tif 000012
【図３Ａ】
0004554087.tif 000013
【図３Ｂ】
0004554087.tif 000014
【図４Ａ】
0004554087.tif 000015
【図４Ｂ】
0004554087.tif 000016
【図５】
0004554087.tif 000017