(57)【要約】      （修正有）【課題】より高い解像度の圧縮ビデオシーケンスを、レガシーＨＤ互換フォーマットに変換する方法および装置を提供する。【解決手段】高ピクチャレートで符号化されたシーケンスを低ピクチャレートシーケンスに変換する新たな方法を導入する。符号化された高フレームレートＨＤシーケンスと、変換されたＨＤシーケンスとが共に、通常はプロファイル識別子やレベル識別子等によって示される、様々な復号能力のデコーダで復号できるようにする。圧縮画像のヘッダのシンタックスを修正することで、レガシーＨＤデコーダとの互換性を達成する。【選択図】図１
2010062871.tif 000002
【特許請求の範囲】
【請求項１】
より高いピクチャレートの圧縮高解像度映像を、レガシー高解像度映像デコーダでの復号と互換性のある、より低いピクチャレートの圧縮映像に変換する方法であって、
非圧縮画像を高ピクチャレートで符号化することによって圧縮ビットストリームを生成する、符号化ステップ（100）と、
前記圧縮ビットストリームを互換性のあるレガシー高解像度フォーマットに変換する変換ステップ（102）とを含む、より高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項２】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定ステップ（300）と、
前記圧縮ビットストリームから非参照用ピクチャを除去する除去ステップ（302）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を予め定められた第1の値に減らす削減ステップ（304）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす第2の削減ステップ(306)とを含む、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項３】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定ステップ（400）と、
前記圧縮ビットストリームから前記非参照用ピクチャを除去する除去ステップ（402）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を予め定められた第1の値に減らす削減ステップ（404）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす第2の削減ステップ（406）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1フラグの値を修正する修正ステップ（408）と、
前記圧縮ビットストリームの全シーケンスヘッダに第2フラグを挿入する挿入ステップ（410）と、
前記圧縮ビデオシーケンスの全スライスヘッダに第3フラグを挿入する第2の挿入ステップ（412）とを含む、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項４】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定ステップ（600）と、
前記復号処理において前記非参照用ピクチャを無視する無視ステップ(602)と、
前記復号処理において前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を無視する第2の無視ステップ（604）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす削減ステップ（606）とを含む、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項５】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定ステップ（700）と、
前記復号処理において前記非参照用ピクチャを無視する無視ステップ(702)と、
前記復号処理において前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を無視する第2の無視ステップ（704）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす削減ステップ（406）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1フラグの値を修正する修正ステップ（408）と、
前記圧縮ビットストリームの全シーケンスヘッダに第2フラグを挿入する挿入ステップ（410）と、
前記圧縮ビデオシーケンスの全スライスヘッダに第3フラグを挿入する第2の挿入ステップ（412）とを含む、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項６】
より高いピクチャレートとは、毎秒60フレームを意味する、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項７】
より高いピクチャレートとは、毎秒50フレームを意味する、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項８】
前記低ピクチャレートとは、毎秒25フレームを意味する、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項９】
前記低ピクチャレートとは、毎秒30フレームを意味する、請求項1に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１０】
前記第1識別子は、前記圧縮ビットストリームを正確に復号するために必要な映像デコーダの能力の限界を特定するために用いられる、請求項1、2、3、4および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１１】
前記予め定められた第1の値は、40である、請求項1、2および3に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１２】
前記予め定められた第1の値は、41である、請求項1、2および3に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１３】
前記第2識別子は、一秒あたりの時間単位を示すために用いられる、請求項1、2、3、4および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１４】
前記第2識別子の値は、60,000から30,000に減らされる、請求項1、2、3、4および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１５】
前記第2識別子の値は、50,000から25,000に減らされる、請求項1、2、3、4および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１６】
前記第1フラグは、符号化ビデオシーケンスの全ての符号化ピクチャがフレーム符号化ブロックのみを有する符号化フレームであるか否かを示すために用いられる、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１７】
前記第1フラグの値が1から0に変更されることによって、符号化ビデオシーケンス内の必ずしも全ての符号化ピクチャが、フレーム符号化ブロックのみからなる符号化フレームであるとは限らないことを示す、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１８】
前記第2フラグは、符号化ビデオシーケンスの何れかの符号化フレーム内で、フレームブロックとフィールドブロックの切替があるか否かを示すために用いられる、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項１９】
前記第2フラグは、符号化ビデオシーケンスの何れの符号化フレーム内でもフレームブロックとフィールドブロックの切替がないことを示すために、値が0の状態で挿入される、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項２０】
前記第3フラグは、前記スライスが符号化フィールドのスライスであるか否かを示すために用いられる、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項２１】
前記第3フラグは、前記スライスが符号化フレームのスライスであることを示すために、値が0の状態で挿入される、請求項1、3および5に記載のより高いピクチャレートの圧縮高解像度映像の変換方法。
【請求項２２】
より高いピクチャレートの圧縮高解像度映像を、レガシー高解像度映像デコーダでの復号と互換性のある、より低いピクチャレートの圧縮映像に変換する装置であって、
非圧縮画像をより高いピクチャレートで符号化することによってビットストリームを生成する、符号化手段（100）と、
前記圧縮ビットストリームを互換性のあるレガシー高解像度フォーマットに変換する変換手段（102）とを有する、より高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２３】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の前記非参照用ピクチャの位置を特定する特定手段（300）と、
前記圧縮ビットストリームから前記非参照用ピクチャを除去する除去手段（302）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を予め定められた第1の値に減らす削減手段（304）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす第2削減手段（306）とを有する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２４】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定手段（400）と、
前記圧縮ビットストリームから非参照用ピクチャを除去する除去手段（402）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を、予め定められた第1の値に減らす削減手段（404）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす第2削減手段（406）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を修正する修正手段（408）と、
前記圧縮ビットストリームの全シーケンスヘッダに第2フラグを挿入する挿入手段（410）と、
前記圧縮ビデオシーケンスの全スライスヘッダに第3フラグを挿入する第2挿入手段（412）とを有する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２５】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定手段（600）と、
前記復号処理において非参照用ピクチャを無視する無視手段(602)と、
前記復号処理において前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を無視する第2無視手段（604）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす削減手段（606）とを有する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２６】
前記圧縮ビットストリームを、互換性のあるレガシー高解像度フォーマットに変換する前記変換処理は、
前記圧縮ビットストリーム内の非参照用ピクチャの位置を特定する特定手段（700）と、
前記復号処理において前記非参照用ピクチャを無視する無視手段(702)と、
前記復号処理において前記圧縮ビットストリームの全シーケンスヘッダ内の第1識別子の値を無視する第2無視手段（704）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第2識別子の値を減らす削減手段（406）と、
前記圧縮ビットストリームの全シーケンスヘッダ内の第1フラグの値を修正する修正手段（408）と、
前記圧縮ビットストリームの全シーケンスヘッダに第2フラグを挿入する挿入手段（410）と、
前記圧縮ビデオシーケンスの全スライスヘッダに第3フラグを挿入する第2挿入手段（412）とを有する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２７】
より高いピクチャレートとは、毎秒60フレームを意味する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２８】
より高いピクチャレートとは、毎秒50フレームを意味する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項２９】
前記低ピクチャレートとは、毎秒25フレームを意味する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３０】
前記低ピクチャレートとは、毎秒30フレームを意味する、請求項22に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３１】
前記第1識別子は、前記圧縮ビットストリームを正確に復号するために必要な映像デコーダの能力の限界を特定するために用いられる、請求項22、23、24、25および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３２】
前記予め定められた第1の値は、40である、請求項22、23および24に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３３】
前記予め定められた第1の値は、41である、請求項22、23および24に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３４】
前記第2識別子は、一秒あたりの時間単位を示すために用いられる、請求項22、23、24、25および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３５】
前記第2識別子の値は、60,000から30,000に減らされる、請求項22、23、24、25および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３６】
前記第2識別子の値は、50,000から25,000に減らされる、請求項22、23、24、25および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３７】
前記第1フラグは、符号化ビデオシーケンスの全ての符号化ピクチャがフレーム符号化ブロックのみを有する符号化フレームであるか否かを示すために用いられる、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３８】
前記第1フラグの値が1から0に変更されることによって、符号化ビデオシーケンス内の必ずしも全ての符号化ピクチャが、フレーム符号化ブロックのみからなる符号化フレームであるとは限らないことを示す、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項３９】
前記第2フラグは、符号化ビデオシーケンスの何れかの符号化フレーム内でフレームブロックとフィールドブロックの切替があるか否かを示すために用いられる、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項４０】
前記第2フラグは、符号化ビデオシーケンスの何れの符号化フレーム内でもフレームブロックとフィールドブロックの切替がないことを示すために、値が0の状態で挿入される、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項４１】
前記第3フラグは、前記スライスが符号化フィールドのスライスであるか否かを示すために用いられる、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【請求項４２】
前記第3フラグは、前記スライスが符号化フレームのスライスであることを示すために、値が0の状態で挿入される、請求項22、24および26に記載のより高いピクチャレートの圧縮高解像度映像の変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆるマルチメディアデータ符号化に用いることができ、具体的には、H.264符号化において用いることができる。
【背景技術】
【０００２】
現在、多くの高解像度フォーマットが入手可能であるが、最も一般的に用いられるのは、720p、1080i、および1080pであり、720pとは、1280×720ピクセル、毎秒50または60フレームのプログレッシブ方式である。1080iとは、1920×1080ピクセル、毎秒50または60フィールドのインタレース方式であり、1080pとは、1920×1080ピクセル、毎秒24、25または30フレームのプログレッシブ方式である。高解像度のストレージに一般に適用されているフォーマットではない1080p-30fpsを除き、これらのフォーマットは、初期展開の高解像度ストレージディスクプレイヤ(例えばブルーレイ・プレイヤ)において対応可能である。しかし、高解像度の家庭用記録装置の中には1080p-30fpsフォーマットでの記録および復号に対応可能なものもある。
【０００３】
近い将来、高解像度記録装置（例えば、家庭用HDカムコーダ）が、従来の1080フォーマットと比較して2倍のデータレートをもつ新たな高解像度フォーマットである1080p-50fps（1920×1080ピクセル、毎秒50フレームのプログレッシブ方式）または、1080p-60fps（1920×1080ピクセル、毎秒60フレームのプログレッシブ方式）に対応可能になると思われるが、初期展開の高解像度ストレージディスクプレイヤでは、高解像度カムコーダを用いて1080p-50fpsまたは1080p-60fpsの新しい高解像度フォーマットで記録した映像を再生することができないであろう。
【０００４】
この課題の解決を試みる従来技術がいくつかある。ピクチャレートの低い映像を、より高いピクチャレートとなるピクチャとは別に符号化する方法を記載する従来技術もある。このような技術はマルチレイヤ映像符号化としてよく知られている。マルチレイヤ映像符号化は、スケーラビリティの何らかの形式に対応可能な映像コーデックにおいて一般に用いられている。また、システムレイヤと呼ばれる付加的レイヤ（例えばMPEG-2トランスポートシステム）に圧縮映像を含め、システムレイヤに異なる識別子（例えばPID）を割り当てて、より低いピクチャレートの圧縮画像と高いピクチャレートの圧縮画像とを区別することを試みる従来技術もある。従来技術では、レガシーHDデコーダは、デコーダが識別子によって認識できないピクチャを無視するであろうと仮定している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術には、映像を2つのレイヤに分ける方法が記載されているが、その方法は、それらを識別子によって映像レイヤまたはトランスポートシステムレイヤに分割し、より高いフレームレートのピクチャを廃棄することにより、より能力の低いデコーダで映像を復号できるようにするものである。
【０００６】
しかし、従来技術の何れも、より高いフレームレートのビデオシーケンスおよびより低いフレームレートに変換されたビデオシーケンスを共に、H.264符号化規格に準拠させ、かつ、その圧縮シーケンスを、これもまたH.264符号化規格に準拠した様々な復号能力のデコーダで復号可能にする為に必要な特定のステップを提示していないという問題点を有する。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、高ピクチャレートで符号化されたシーケンスを低ピクチャレートシーケンスに変換する新たな方法を導入する。本発明の新規な点は、符号化された高フレームレートHDシーケンスと、変換されたHDシーケンスとが共に、通常はプロファイル識別子やレベル識別子等によって示される、様々な復号能力のデコーダで復号できるようにすることである。本新規発明では、圧縮画像のヘッダのシンタックスを修正することで、レガシーHDデコーダとの互換性を達成する。
【発明の効果】
【０００８】
本発明の効果は、高フレームレートHDシーケンスから、符号化規格（例えば、H.264規格）に準拠したより低いフレームレートのHDシーケンスへ高速変換することである。本発明の効果はまた、映像デコーダの実装における複雑さを低減することである。
【発明を実施するための最良の形態】
【０００９】
図1は、本発明の変換処理の流れを示すフローチャートである。図1に示されるように、モジュール100で、まず、高ピクチャレートで画像を符号化し、圧縮ビットストリームを生成する。高ピクチャレートとは例えば、毎秒50フレームまたは毎秒60フレームである。その後、圧縮ビットストリームは、モジュール102で、互換性のあるレガシーHDフォーマットに変換される。互換性のあるレガシーHDフォーマットとは、高ピクチャレートに対応可能ではないレガシーHDデコーダで復号できるHDフォーマットである。変換されたビットストリームは復号され、レガシーHDデコーダによって低ピクチャレートで表示される。
【００１０】
本発明は、高ピクチャレートの圧縮ビットストリームを、レガシーHDデコーダを用いて低ピクチャレートで復号可能にする変換処理を含む。
【００１１】
図2に、本発明の実施の形態1、2、3、および4の画像圧縮処理の流れの一例を示す。まず、モジュール200で非圧縮画像を取得する。その後、モジュール202で、その画像を2つのグループに分類する。具体的には、表示順単位で偶数の番号が付された画像を1つのグループとして、表示順単位で奇数の番号が付された画像をもう1つのグループとして分類する。第1の画像グループは、動き補償処理の参照用画像として用い、第2の画像グループは、動き補償処理の参照用画像として用いない。
【００１２】
モジュール204および206で、第1最大符号化ピクチャバッファ(CPB)サイズおよび第1最大データレートまたはビットレートを、シーケンス内の全画像に対してそれぞれ決定する。そして、モジュール208および210で、第2最大符号化ピクチャバッファ(CPB)サイズおよび第2最大データレートまたはビットレートを、第1画像グループに対してそれぞれ決定する。第1最大符号化ピクチャバッファサイズおよび第1最大ビットレートは例えば、ISO/IEC 14496-10(H.264/AVC)のレベル4.2のレベルリミットによって定義された最大符号化ピクチャバッファサイズおよび最大ビットレートである。第2最大符号化ピクチャバッファサイズおよび第2最大ビットレートは例えば、ISO/IEC 14496-10(H.264/AVC)のレベル番号4.0またはレベル番号4.1のレベルリミットによって定義された最大符号化ピクチャバッファサイズおよび最大ビットレートである。
【００１３】
モジュール212で、第2グループに分類された全ての画像を、非参照用ピクチャに設定する。これは、デコーダにある第2グループの再構成された画像が、他の画像を再構成するために動き補償の参照用として用いられることがないことを意味する。
【００１４】
モジュール214で、圧縮ビデオシーケンスの全シーケンスヘッダ内の識別子を、予め定められた値に設定する。この識別子の機能は、圧縮ビデオシーケンスの復号にデコーダが要する能力の限界値のセットを識別することである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格を用いて符号化された圧縮ビデオシーケンスのシーケンスパラメータセット内のlevel_idcシンタックスである。予め定められた値とは、例えば42である。
【００１５】
モジュール216で、第1グループの画像を圧縮し、その画像のデータサイズを、第2最大符号化ピクチャバッファサイズおよび第2最大ビットレートが規定するバッファ制約に基づいて調整する。モジュール218で、第2グループの画像を圧縮し、その画像のデータサイズを、第1最大符号化ピクチャバッファサイズおよび第1最大ビットレートが規定するバッファ制約に基づいて調整する。バッファ制約には、第1グループ、およびモジュール218における第2グループの、両方の符号化データサイズを考慮することが含まれる。モジュール216および218で、画像の圧縮に用いる圧縮ツールは、例えばISO/IEC 14496-10(H.264/AVC)が定義する圧縮ツールである。
【００１６】
本発明のビットストリーム変換処理の流れを、4つの実施の形態で説明する。
【００１７】
（実施の形態1）
図3は、本発明の実施の形態1に係るビットストリーム変換処理の流れを示すフローチャートである。モジュール300で、まず、圧縮ビデオシーケンス内の非参照用ピクチャの位置を特定し、モジュール302で、非参照用ピクチャを圧縮ビットストリームから除去する。これらの非参照用ピクチャの位置は、ピクチャヘッダまたはスライスヘッダ内の特定の識別子に基づいて特定する。例えば、H.264のシンタックスにおける識別子であるnal_ref_idcは、次のように用いることができる。すなわち、nal_ref_idcは、nal_ref_idcの値が0である場合に、このシンタックスに続くピクチャまたはスライスが非参照用ピクチャまたはスライスであることを示す。
【００１８】
モジュール304で、圧縮シーケンスの全シーケンスパラメータセット内の第1識別子の値を減らす。第1識別子の機能は、圧縮ビデオシーケンスの復号にデコーダが要する能力の限界値のセットを識別することである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格を用いて符号化された圧縮ビデオシーケンスのシーケンスパラメータセット内のlevel_idcシンタックスである。モジュール304においてこの識別子の値を減らすことは、例えば、H.264圧縮シーケンスの全シーケンスパラメータセット内のlevel_idcシンタックスの値を、42から41へ、または40へ減らすことである。映像デコーダの実装において、シーケンスヘッダ内のこの識別子によって、圧縮シーケンスの復号に必要な能力がその映像デコーダの能力よりも高いことが示された場合、その映像デコーダは圧縮シーケンスの復号を受け付けない可能性がある。本発明では、この識別子を修正し、低能力のレガシーHDデコーダであっても、変換されたシーケンスを確実に復号するようにする。
【００１９】
モジュール306で、圧縮シーケンスの全シーケンスヘッダ内の第2識別子の値を減らす。第2識別子の機能は、ビデオシーケンスのタイムスケールを示すことである。第2識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格の全シーケンスパラメータセットの映像ユーザビリティ情報パラメータにおけるタイムスケールのシンタックスである。タイムスケールのシンタックスの値を減らすことは、例えば、値を60,000から30,000へ減らすことである。
【００２０】
（実施の形態2）
図4は、本発明の実施の形態2に係るビットストリーム変換処理の流れを示すフローチャートである。モジュール400で、まず、圧縮ビデオシーケンス内の非参照用ピクチャの位置を特定し、モジュール402で、非参照用ピクチャを圧縮ビットストリームから除去する。これらの非参照用ピクチャの位置は、ピクチャヘッダまたはスライスヘッダ内の特定の識別子に基づいて特定する。例えば、H.264のシンタックスにおける識別子であるnal_ref_idcは、nal_ref_idcの値が0である場合に、このシンタックスに続くピクチャまたはスライスが非参照用ピクチャまたはスライスであることを示すために用いることができる。
【００２１】
モジュール404で、圧縮シーケンスの全シーケンスパラメータセット内の第1識別子の値を減らす。第1識別子の機能は、圧縮ビデオシーケンスの復号にデコーダが要する能力の限界値のセットを識別することである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格を用いて符号化された圧縮ビデオシーケンスのシーケンスパラメータセット内のlevel_idcシンタックスである。モジュール404におけるこの識別子の値を減らすことは、例えば、H.264圧縮シーケンスの全シーケンスパラメータセット内のlevel_idcシンタックスの値を、モジュール404において42から41へ、または40へ減らすことである。映像デコーダの実装において、シーケンスヘッダ内のこの識別子によって、圧縮シーケンスの復号に必要な能力がその映像デコーダの能力よりも高いことが示された場合、その映像デコーダは圧縮シーケンスの復号を受け付けない可能性がある。本発明では、この識別子を修正し、低能力のレガシーHDデコーダであっても、変換されたシーケンスを確実に復号するようにする。
【００２２】
モジュール406で、圧縮シーケンスの全シーケンスヘッダ内の第2識別子の値を減らす。第2識別子の機能は、ビデオシーケンスのタイムスケールを示すことである。第2識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格の全シーケンスパラメータセットの映像ユーザビリティ情報パラメータにおけるタイムスケールのシンタックスである。タイムスケールのシンタックスの値を減らすことは、例えば、値を60,000から30,000へ減らすことである。
【００２３】
モジュール408で、圧縮映像の全シーケンスヘッダ内のフラグの値を修正する。フラグの機能は、符号化ビデオシーケンスの全ての符号化ピクチャが、フレームマクロブロックのみを有する符号化フレームであるか否かを示すことである。そのようなフラグは例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のシーケンスパラメータセット内のframe_mbs_only_flagシンタックスである。例えば、このフラグの値が1から0に変更された場合、符号化ビデオシーケンス内の必ずしも全ての符号化ピクチャが、フレームマクロブロックのみからなる符号化フレームであるとは限らないということを示す。
【００２４】
モジュール410で、ビデオシーケンスの全シーケンスヘッダに追加のフラグを挿入する。このフラグの機能は、符号化ビデオシーケンスの何れかの符号化フレーム内で、フレームブロックとフィールドブロックの切替があるか否かを示すことである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のシーケンスパラメータセット内のmb_adaptive_frame_field_flagシンタックスである。フラグの値は例えば0であり、それは、ビデオシーケンスの何れの符号化フレームでもフレームブロックとフィールドブロックの切替がないことを示す。
【００２５】
最後に、モジュール412で、ビデオシーケンスの全スライスヘッダに追加のフラグを挿入する。フラグの機能は、スライスが符号化フィールドのスライスであるか否かを示すことである。そのようなフラグは例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のスライスヘッダ内のfield_pic_flagシンタックスである。フラグの値は例えば0であり、それは、スライスが符号化フィールドのスライスではなく、符号化フレームのスライスであることを示す。
【００２６】
図5に、本発明の実施の形態1および2の装置の一例を示す。その装置は、記憶部500、ビットストリーム変換部502および第2記憶部504を備える。記憶部500と第2記憶部504が同一の記憶部である装置もある。
【００２７】
高ピクチャレート圧縮ビットストリームD001が記憶部500に格納されている。ビットストリーム変換部502は、記憶部500から圧縮ビットストリームD002を取得し、記憶部504へ変換されたビットストリームD003を出力する。その後、変換されたビットストリームD004を記憶部504から取得し、画像伸長部へ送る。
【００２８】
（実施の形態3）
図6は、本発明の実施の形態3に係るビットストリーム変換処理の流れを示すフローチャートである。モジュール600で、まず、圧縮ビデオシーケンス内の非参照用ピクチャの位置を特定し、モジュール602で、圧縮ビデオシーケンスの復号処理において非参照用ピクチャを無視する。非参照用ピクチャは、レガシー画像伸長部に、これらのピクチャの復号を無視するように信号で伝えることにより、無視することができる。これらの非参照用ピクチャの位置は、ピクチャヘッダまたはスライスヘッダ内の特定の識別子に基づいて特定する。例えば、H.264のシンタックスにおける識別子であるnal_ref_idcは、nal_ref_idcの値が0である場合に、このシンタックスに続くピクチャまたはスライスが非参照用ピクチャまたはスライスであることを示すために用いることができる。
【００２９】
モジュール604で、圧縮シーケンスの全シーケンスパラメータセット内の第1識別子の値もまた、復号処理において無視する。第1識別子の機能は、圧縮ビデオシーケンスの復号にデコーダが要する能力の限界値のセットを識別することである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格を用いて符号化された圧縮ビデオシーケンスのシーケンスパラメータセット内のlevel_idcシンタックスである。映像デコーダの実装において、シーケンスヘッダ内のこの識別子によって、圧縮シーケンスの復号に必要な能力がその映像デコーダの能力よりも高いことが示された場合、その映像デコーダは圧縮シーケンスの復号を受け付けない可能性がある。よって、そのような実装には、復号処理の間はこの識別子を無視する必要がある。
【００３０】
モジュール606で、圧縮シーケンスの全シーケンスヘッダ内の第2識別子の値を減らす。第2識別子の機能は、ビデオシーケンスのタイムスケールを示すことである。第2識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格の全シーケンスパラメータセットの映像ユーザビリティ情報パラメータにおけるタイムスケールのシンタックスである。タイムスケールのシンタックスの値を減らすことは、例えば、値を60,000から30,000へ減らすことである。
【００３１】
図7は、本発明の実施の形態4に係るビットストリーム変換処理の流れを示すフローチャートである。モジュール700で、まず、圧縮ビデオシーケンス内の非参照用ピクチャの位置を特定し、モジュール702で、圧縮ビデオシーケンスの復号処理において非参照用ピクチャを無視する。非参照用ピクチャは、レガシー画像伸長部に、これらのピクチャの復号を無視するように信号で伝えることにより、復号処理において無視することができる。これらの非参照用ピクチャの位置は、ピクチャヘッダまたはスライスヘッダ内の特定の識別子に基づいて特定する。例えば、H.264のシンタックスにおける識別子であるnal_ref_idcは、nal_ref_idcの値が0である場合に、このシンタックスに続くピクチャまたはスライスが非参照用ピクチャまたはスライスであることを示すために用いることができる。
【００３２】
モジュール704で、圧縮シーケンスの全シーケンスパラメータセット内の第1識別子の値もまた、復号処理において無視する。第1識別子の機能は、圧縮ビデオシーケンスの復号にデコーダが要する能力の限界値のセットを識別することである。そのような識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格を用いて符号化された圧縮ビデオシーケンスのシーケンスパラメータセット内のlevel_idcシンタックスである。映像デコーダの実装において、シーケンスヘッダ内のこの識別子によって、圧縮シーケンスの復号に必要な能力がその映像デコーダの能力よりも高いことが示された場合、その映像デコーダは圧縮シーケンスの復号を受け付けない可能性がある。よって、そのような実装には、復号処理の間はこの識別子を無視する必要がある。
【００３３】
モジュール706で、圧縮シーケンスの全シーケンスヘッダ内の第2識別子の値を減らす。第2識別子の機能は、ビデオシーケンスのタイムスケールを示すことである。第2識別子は例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格の全シーケンスパラメータセットの映像ユーザビリティ情報パラメータにおけるタイムスケールのシンタックスである。タイムスケールのシンタックスの値を減らすことは、例えば、値を60,000から30,000へ減らすことである。
【００３４】
モジュール708で、圧縮映像の全シーケンスヘッダ内のフラグの値を修正する。フラグの機能は、符号化ビデオシーケンスの全ての各符号化ピクチャが、フレームマクロブロックのみを有する符号化フレームであるか否かを示すことである。そのようなフラグは例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のシーケンスパラメータセット内のframe_mbs_only_flagシンタックスである。例えば、このフラグの値が1から0に変更された場合、符号化ビデオシーケンス内の必ずしも全ての符号化ピクチャが、フレームマクロブロックのみからなる符号化フレームであるとは限らないということを示す。
【００３５】
モジュール710で、ビデオシーケンスの全シーケンスヘッダに追加のフラグを挿入する。このフラグの機能は、符号化ビデオシーケンスの何れかの符号化フレーム内で、フレームブロックとフィールドブロックの切替があるか否かを示すことである。そのようなフラグは例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のシーケンスパラメータセット内のmb_adaptive_frame_field_flagシンタックスである。フラグの値は例えば0であり、それは、ビデオシーケンスの何れの符号化フレームにおいてもフレームブロックとフィールドブロックの切替がないことを示す。
【００３６】
最後に、モジュール712で、ビデオシーケンスの全スライスヘッダに追加のフラグを挿入する。フラグの機能は、スライスが符号化フィールドのスライスであるか否かを示すことである。そのようなフラグは例えば、ISO/IEC 14496-10(H.264/AVC)符号化規格のスライスヘッダ内のfield_pic_flagシンタックスである。フラグの値は例えば0であり、それは、スライスが符号化フィールドのスライスではなく、符号化フレームのスライスであることを示す。
【００３７】
図8に、本発明の実施の形態1、2、3および4の装置の一例を示す。その装置は、記憶部800、ビットストリーム変換部802およびレガシーHD画像伸長部804を備える。
【００３８】
高ピクチャレート圧縮ビットストリームE001が記憶部800に格納されている。ビットストリーム変換部802は、記憶部800から圧縮ビットストリームE002を取得し、変換されたビットストリームE003を出力し、レガシーHD画像伸長部804へ送る。レガシーHD画像伸長部804は、変換されたビットストリームE003を復号し、再構成された画像E004を出力する。
【００３９】
画像圧縮部800は、非圧縮画像E001を入力として取得し、圧縮ビットストリームE002を記憶部804に出力する。部分画像伸長部802は、記憶部804から圧縮ビットストリームE003を取得し、再構成された画像E004を出力して記憶部804へ戻す。
【図面の簡単な説明】
【００４０】
【図１】図1は、本発明の実施の形態1および2に係る全体の処理の流れの一例を示すフローチャートである。
【図２】図2は、本発明の実施の形態1、2、3、および4に係る画像圧縮処理の流れの一例を示すフローチャートである。
【図３】図3は、本発明の実施の形態1に係るビットストリーム変換処理の流れを示すフローチャートである。
【図４】図4は、本発明の実施の形態2に係るビットストリーム変換処理の流れを示すフローチャートである。
【図５】図5は、本発明の実施の形態1および2に係る装置の一例を示すブロック図である。
【図６】図6は、本発明の実施の形態3に係るビットストリーム変換処理の流れを示すフローチャートである。
【図７】図7は、本発明の実施の形態4に係るビットストリーム変換処理の流れを示すフローチャートである。
【図８】図8は、本発明の実施の形態1、2、3および4に係る装置の一例を示すブロック図である。
【図１】
2010062871.tif 000003
【図２】
2010062871.tif 000004
【図３】
2010062871.tif 000005
【図４】
2010062871.tif 000006
【図５】
2010062871.tif 000007
【図６】
2010062871.tif 000008
【図７】
2010062871.tif 000009
【図８】
2010062871.tif 000010
【外国語明細書】
2010062871.tif 000011
2010062871.tif 000012
2010062871.tif 000013
2010062871.tif 000014
2010062871.tif 000015
2010062871.tif 000016
2010062871.tif 000017
2010062871.tif 000018
2010062871.tif 000019
2010062871.tif 000020
2010062871.tif 000021
2010062871.tif 000022
2010062871.tif 000023
2010062871.tif 000024
【図１】
2010062871.tif 000025
【図２】
2010062871.tif 000026
【図３】
2010062871.tif 000027
【図４】
2010062871.tif 000028
【図５】
2010062871.tif 000029
【図６】
2010062871.tif 000030
【図７】
2010062871.tif 000031
【図８】
2010062871.tif 000032