(57)【要約】【課題】画素ビット長増加とＰＣＭ符号化に基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制する。【解決手段】映像復号装置は、ビットストリームから画素ビット長増加情報を抽出する抽出手段と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段と、エントロピー復号手段および非圧縮復号手段を制御する復号制御手段とを備え、非圧縮復号手段の入力データに対応する画像の画素ビット長は、エントロピー復号手段の入力データに対応する画像の画素ビット長以下であり、非圧縮復号手段の入力データに対応する画像の画素ビット長が、画像ビット長増加情報に基づいて増加される。【選択図】図４
2014239531.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームから画素ビット長増加情報を抽出する抽出手段と、
前記ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段と、
前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段と、
前記エントロピー復号手段および前記非圧縮復号手段を制御する復号制御手段とを備える映像復号装置であって、
前記非圧縮復号手段の入力データに対応する画像の画素ビット長は、前記エントロピー復号手段の入力データに対応する画像の画素ビット長以下であり、
前記非圧縮復号手段の入力データに対応する画像の画素ビット長が、前記画像ビット長増加情報に基づいて増加される
ことを特徴とする映像復号装置。
【請求項２】
ビットストリームから画素ビット長増加情報を抽出し、
前記ビットストリームに含まれる画像の変換データをエントロピー復号し、
前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号し、
前記エントロピー復号と前記非圧縮復号とを制御する映像復号方法であって、
前記非圧縮復号の入力データに対応する画像の画素ビット長は、前記エントロピー復号の入力データに対応する画像の画素ビット長以下であり、
前記非圧縮復号の入力データに対応する画像の画素ビット長が、前記画像ビット長増加情報に基づいて増加される
ことを特徴とする映像復号方法。
【請求項３】
コンピュータに、
ビットストリームから画素ビット長増加情報を抽出する処理と、
前記ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、
前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する処理と、
前記エントロピー復号と前記非圧縮復号とを制御する処理とを実行させるための映像復号プログラムであって、
前記非圧縮復号の入力データに対応する画像の画素ビット長は、前記エントロピー復号の入力データに対応する画像の画素ビット長以下であり、
前記非圧縮復号の入力データに対応する画像の画素ビット長が、前記画像ビット長増加情報に基づいて増加される
ことを特徴とする映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ビット長増加と非圧縮符号化を用いる映像復号装置に関する。
【背景技術】
【０００２】
映像情報を高い効率で伝送したり蓄積することを目的とした映像符号化方式として非特許文献２に記載されたＩＳＯ／ＩＥＣ  １４４９６−１０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）規格の符号化方式がある。また、非特許文献１では、映像符号化に際して、入力画像の画素ビット長を拡張させる（増加させる）ことによって、画面内予測（イントラ予測）や動き補償予測（フレーム間予測）の演算精度を高めて映像符号化の圧縮効率を向上させることが提案されている。
【０００３】
また、特許文献１では、所定の符号化単位で、エントロピー符号化と非圧縮符号化（ＰＣＭ符号化）とを切り替えることによって、映像符号化装置や映像復号装置にある一定の処理時間を保証させることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１３５２５１号公報
【非特許文献】
【０００５】
【非特許文献１】野田玲子、中條健、”画素ビット長拡張による動画像符号化効率改善方式”，情報科学技術フォーラム  2006 J-009，2006年
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−１０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１６は、非特許文献１に記載された技術と特許文献１に記載された技術とを単純に組み合わせて得られる映像符号化装置を示すブロック図である。以下、図１６に示す映像符号化装置を一般的な映像符号化装置と呼ぶ。
【０００７】
図１６を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
【０００８】
図１６に示す映像符号化装置は、画素ビット長増加器１０１、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、およびスイッチ１２２を備える。
【０００９】
図１６に示す映像符号化装置は、フレームをＭＢ（Macro Block ：マクロブロック）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献２に記載されているＡＶＣにおいては、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。
【００１０】
図１７は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各構成要素の動作を説明する。
【００１１】
画素ビット長増加器１０１は、外部から設定される画素ビット長増加情報に基づいて、ブロック分割された入力映像の画素ビット長を増加させる。入力映像の画素ビット長をbit_depth_luma、画素ビット長増加情報（増加する画素ビット長）をincreased_bit_depth_lumaとすると、画素ビット長増加器１０１は、入力映像の各画素値を左にincreased_bit_depth_lumaビットシフトする。よって、画素ビット長増加器１０１の出力データの画素ビット長は、bit_depth_luma+increased_bit_depth_lumaビットとなる。
【００１２】
画素ビット長増加器１０１から出力される画素ビット長増加済み画像は、予測器１０６から供給される予測信号が減じられた後、変換／量子化器１０２に入力される。予測信号には、イントラ予測信号とフレーム間予測信号の２種類がある。それぞれの予測信号を説明する。
【００１３】
イントラ予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。非特許文献２の8.3.1 Intra_４×４ prediction process for luma sample、8.3.2 Intra_８×８ prediction process for luma samples 、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、イントラ予測については、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
【００１４】
図１８（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８は、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図中の丸（○）はイントラ予測に用いる参照画素、つまり、前記現在のピクチャと表示時刻が同一である再構築ピクチャの画素を示す。
【００１５】
Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図１８（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１８（ｃ）における右矢印の下に記載のローパスフィルタ（１／２、１／４、１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１８（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
【００１６】
図１９（ａ）を参照すると、Intra_１６×１６は、１６×１６ブロックサイズのイントラ予測であることが分かる。図１８に示された例と同様に、図１９において、図中の丸（○）はイントラ予測に用いる参照画素、つまり、前記現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図１９（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
【００１７】
以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢと呼ぶ。イントラ予測のブロックサイズをイントラ予測モードと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。
【００１８】
フレーム間予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢと呼ぶ。インターＭＢのブロックサイズとして、例えば、１６×１６、１６×８、 ８×１６、 ８×８、８×４、４×８、４×４を選択することができる。
【００１９】
図２０は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図２０に示す動きベクトルＭＶ＝（ｍｖｘ，ｍｖｙ）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を示す、フレーム間予測の予測パラメータの一つである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいて、バッファ１０５に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。
【００２０】
なお、フレーム間予測のより詳細な説明が、非特許文献２の8.4 Inter prediction processに記載されている。
【００２１】
以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢと呼ぶ。フレーム間予測のブロックサイズをインター予測モードという。また、フレーム間予測の方向をインター予測方向と呼ぶ。
【００２２】
なお、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測と呼ぶ。
【００２３】
変換／量子化器１０２は、予測信号が減じられた画素ビット長増加済み画像（予測誤差画像）を周波数変換する。
【００２４】
さらに、変換／量子化器１０２は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaに応じた量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。通常の量子化ステップ幅をＱsluma とすると、例えば、Ｑs ＝Ｑsluma ＊２increased_bit_depth_lumaとする。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
【００２５】
エントロピー符号化器１０３は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータとは、上述したイントラＭＢ／インターＭＢ、イントラ予測モード、イントラ予測方向、インターＭＢブロックサイズ、および動きベクトルなど、ＭＢの予測に関連した情報である。
【００２６】
逆変換／逆量子化器１０４は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaに応じた量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。
【００２７】
多重化データ選択器１０９は、エントロピー符号化器１０３に対する所定の符号化単位（例えば、マクロブロック）の入力データ量を監視する。所定の符号化単位に対応する処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択するようにスイッチ１２１を制御する。その結果、エントロピー符号化器１０３の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択するようにスイッチ１２２を制御する。その結果、逆変換／量子化器１０４の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
【００２８】
処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、画素ビット長増加器１０１の出力データをＰＣＭ符号化したＰＣＭ符号化器１０７の出力データを選択するようにスイッチ１２１を制御する。その結果、ＰＣＭ符号化器１０７の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データをＰＣＭ復号したＰＣＭ復号器１０８の出力データを選択するようにスイッチ１２２を制御する。その結果、ＰＣＭ復号器１０８の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
【００２９】
バッファ１０５は、スイッチ１２２を介して供給される再構築画像を格納する。1フレーム分の再構築画像を再構築ピクチャと呼ぶ。
【００３０】
多重化器１１０は、画素ビット長増加情報、およびエントロピー符号化器１０３の出力データとＰＣＭ符号化器１０７の出力データを多重化して出力する。
【００３１】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
【００３２】
上述した、一般的な技術を用いた場合に、イントラ予測やフレーム間予測の演算精度を画素ビット長拡張によって高めることと、映像符号化装置や映像復号装置がある一定の処理時間を保証することとを両立できる。
【００３３】
しかし、上述した一般的な技術においては、画素ビット長増加させた画像をＰＣＭ符号化する。すると、ＰＳＮＲ（Peak Signal to Noise Ratio ）改善が得られないにも関わらず、画素ビット長増加分だけＰＣＭ符号化の出力データが増加するという課題がある。例えば、bit_depth_lumaが８ビット、increased_bit_depth_lumaが８ビットである場合、ＰＣＭ符号化の出力データ量は入力画像８ビットの２倍の１６ビットになる。
【００３４】
そこで、本発明は、画素ビット長増加とＰＣＭ符号化に基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制することを目的とする。
【課題を解決するための手段】
【００３５】
本発明による映像復号装置は、ビットストリームから画素ビット長増加情報を抽出する抽出手段と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段と、エントロピー復号手段および非圧縮復号手段を制御する復号制御手段とを備え、非圧縮復号手段の入力データに対応する画像の画素ビット長は、エントロピー復号手段の入力データに対応する画像の画素ビット長以下であり、非圧縮復号手段の入力データに対応する画像の画素ビット長が、画像ビット長増加情報に基づいて増加されることを特徴とする。
【００３６】
本発明による映像復号方法は、ビットストリームから画素ビット長増加情報を抽出し、ビットストリームに含まれる画像の変換データをエントロピー復号し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号し、エントロピー復号と非圧縮復号とを制御し、非圧縮復号の入力データに対応する画像の画素ビット長は、エントロピー復号の入力データに対応する画像の画素ビット長以下であり、非圧縮復号の入力データに対応する画像の画素ビット長が、画像ビット長増加情報に基づいて増加されることを特徴とする。
【００３７】
本発明による映像復号プログラムは、コンピュータに、ビットストリームから画素ビット長増加情報を抽出する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する処理と、エントロピー復号と非圧縮復号とを制御する処理とを実行させ、非圧縮復号の入力データに対応する画像の画素ビット長は、エントロピー復号の入力データに対応する画像の画素ビット長以下であり、非圧縮復号の入力データに対応する画像の画素ビット長が、画像ビット長増加情報に基づいて増加されることを特徴とする。
【発明の効果】
【００３８】
本発明によれば、画素ビット長増加とＰＣＭ符号化に基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制することができる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態の映像符号化装置のブロック図である。
【図２】シーケンスパラメータにおける画素ビット長増加情報を示す説明図である。
【図３】第１の実施形態の映像符号化装置の処理を示すフローチャートである。
【図４】第２の実施形態の映像復号装置のブロック図である。
【図５】第２の実施形態の映像復号装置の処理を示すフローチャートである。
【図６】他の実施形態の映像符号化装置のブロック図である。
【図７】シーケンスパラメータにおける画素ビット長増加情報の他の例を示す説明図である。
【図８】シーケンスパラメータにおける画素ビット長増加情報のさらに他の例を示す説明図である。
【図９】シーケンスパラメータにおける画素ビット長増加情報の別の例を示す説明図である。
【図１０】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１１】本発明による映像符号化装置の主要部を示すブロック図である。
【図１２】本発明による他の映像符号化装置の主要部を示すブロック図である。
【図１３】本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。
【図１４】本発明による映像復号装置の主要部を示すブロック図である。
【図１５】本発明による他の映像復号装置の主要部を示すブロック図である。
【図１６】一般的な映像符号化装置を示すブロック図である。
【図１７】ブロック分割の例を示す説明図である。
【図１８】予測の種類を説明するための説明図である。
【図１９】予測の種類を説明するための説明図である。
【図２０】１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。
【発明を実施するための形態】
【００４０】
実施形態１．
本実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせる手段、画素ビット長増加情報に基づいてＰＣＭ復号の復号画像の画素ビット長を増加させる手段、および画素ビット長増加情報をビットストリームに多重化する手段を備える。
【００４１】
図１に示すように、本実施の形態の映像符号化装置は、図１６に示された一般的な映像符号化装置が備えていた画素ビット長増加器１０１、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、およびスイッチ１２２に加えて、画素ビット長増加情報に基づいてＰＣＭ復号器１０８の復号画像の画素ビット長を増加させるための画素ビット長増加器１１１を備える。
【００４２】
また、図１と図１６とを比較すると、本実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７に供給することが分かる。なお、前記エントロピー符号化の出力データに対応する画像とは、変換／量子化器１０２に供給される画素ビット長増加された入力映像の画像、および、逆変換／逆量子化器１０４から供給される前記画素ビット長増加された入力映像の画像の再構築画像である。また、前記ＰＣＭ符号化の出力データに対応する画像とは、ＰＣＭ符号化器１０７に供給される画素ビット長増加されていない入力映像の画像、および、ＰＣＭ復号器１０８から供給される前記画素ビット長増加されていない入力映像のＰＣＭ復号画像である。
【００４３】
画素ビット長増加器１０１は、外部から設定される画素ビット長増加情報に基づいて、ブロック分割された入力映像の画素ビット長を増加させる。
【００４４】
入力映像の輝度の画素ビット長をbit_depth_luma、輝度の画素ビット長増加情報（増加する画素ビット長）をincreased_bit_depth_lumaとすると、画素ビット長増加器１０１は、入力映像の輝度の各画素値を左にincreased_bit_depth_lumaビットシフトする。よって、画素ビット長増加器１０１の出力データの画素ビット長は、bit_depth_luma+increased_bit_depth_lumaビットとなる。同様に、色差（CbとCrの成分）については、入力映像の色差の画素ビット長をbit_depth_chroma、色差の画素ビット長増加情報をincreased_bit_depth_chromaとすると、画素ビット長増加器１０１は、入力映像の色差の各画素値を左にincreased_bit_depth_lumaビットシフトする。
【００４５】
画素ビット長増加器１０１から出力される画素ビット長増加済み画像は、予測器１０６から供給される予測信号が減じられて、変換／量子化器１０２に入力される。変換／量子化器１０２は、予測信号が減じられた画素ビット長増加済み画像（予測誤差画像）を周波数変換する。
【００４６】
さらに、変換／量子化器１０２は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。通常の輝度の量子化ステップ幅をＱsluma とすると、例えば、Ｑs ＝Ｑsluma ＊２increased_bit_depth_lumaとする。以後、量子化された周波数変換係数を変換量子化値と呼ぶ。
【００４７】
エントロピー符号化器１０３は、予測器１０６から供給される予測パラメータと変換／量子化器１０２から供給される変換量子化値をエントロピー符号化する。予測パラメータとは、イントラＭＢ／インターＭＢ、イントラ予測モード、イントラ予測方向、インターＭＢブロックサイズ、および、動きベクトルなど、マクロブロックの予測に関連した情報である。
【００４８】
逆変換／逆量子化器１０４は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。
【００４９】
ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。ＰＣＭ符号化器１０７の輝度の出力データpcm_sample_luma[i]は、入力映像の輝度の画素ビット長bit_depth_lumaとなる。ただし、ｉ（０≦ｉ≦２５５）は該マクロブロック内のラスタスキャン順でのインデックスである。同様に、ＰＣＭ符号化器１０７の色差の出力データpcm_sample_chroma[i] （ｉ：０≦ｉ≦１２７）は、入力映像の色差の画素ビット長bit_depth_chromaとなる。
【００５０】
ＰＣＭ復号器１０８は、pcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。以下、ＰＣＭ復号を、ＰＣＭデータ読み込みと呼ぶことがある。
【００５１】
画素ビット長増加器１１１は、ＰＣＭデータ読み込みしたpcm_sample_luma[i]を左にincreased_bit_depth_lumaビットシフトする。よって、ＰＣＭ復号器１０８を介して得られた再構築画像は、bit_depth_luma+increased_bit_depth_lumaビットとなって、スイッチ１２２に供給される。同様に、ＰＣＭデータ読み込みしたpcm_sample_chroma[i]は左にincreased_bit_depth_chromaビットシフトされて、スイッチ１２２に供給される。
【００５２】
多重化データ選択器１０９は、エントロピー符号化器１０３に対する所定の符号化単位（例えば、マクロブロック）の入力データ量を監視する。所定の符号化単位に対応する処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択するようにスイッチ１２１を制御する。その結果、エントロピー符号化器１０３の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択するようにスイッチ１２２を制御する。その結果、逆変換／量子化器１０４の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
【００５３】
処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、まず、該マクブロックがＰＣＭのイントラＭＢであることを示す情報をエントロピー符号化器１０３に符号化出力させる。具体的には、非特許文献２の7.3.5 Macroblock layer syntax に従うと、mb_type をI_PCM としてエントロピー符号化出力させる。
【００５４】
続いて、エントロピー符号化器１０３の出力ビットをバイトアラインする。具体的には、非特許文献２の7.3.5 Macroblock layer syntax に従うと、エントロピー符号化器１０３が、所定量のpcm_alignment_zero_bitを多重化器１１０に供給する。また、以後の符号化のために、エントロピー符号化器１０３が符号化エンジンを初期化する。
【００５５】
なお、符号化エンジン初期化の一例が、非特許文献２の9.3.4.1 Initialization process for the arithmetic encoding engine （informative ）に記載されている。
【００５６】
さらに、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データを選択するようにスイッチ１２１を制御する。その結果、ＰＣＭ符号化器１０７の出力データが、スイッチ１２１を介して多重化器１１０に供給される。
【００５７】
最後に、多重化データ選択器１０９は、画素ビット長増加器１１１の出力データを選択するようにスイッチ１２２を制御する。その結果、画素ビット長増加器１１１の出力データが、スイッチ１２２を介してバッファ１０５に供給される。なお、画素ビット長増加器１１１は、ＰＣＭ符号化器１０７の出力データpcm_sample_luma[i]を読み込んだＰＣＭ復号器１０８の出力データpcm_sample_luma[i]を左にincreased_bit_depth_lumaビットシフトしてビット数を増やしている。同様に、画素ビット長増加器１１１は、ＰＣＭ符号化器１０７の出力データpcm_sample_chroma[i]を読み込んだＰＣＭ復号器１０８の出力データpcm_sample_ chroma [i]を左にincreased_bit_depth_chromaビットシフトしてビット数を増やしている。
【００５８】
多重化器１１０は、画素ビット長増加情報、およびエントロピー符号化器１０３の出力データとＰＣＭ符号化器１０７の出力データを多重化して出力する。非特許文献２のSpecification of syntax functions, categories, and descriptorsに従うと、図２に示すリストに記載されているように、シーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続させて、画素ビット長増加情報（increased_bit_depth_lumaおよびincreased_bit_depth_chroma）を多重化することが考えられる。ただし、bit_depth_luma_minus8 は入力映像の輝度の画素ビット長bit_depth_lumaから８を減じた値、bit_depth_chroma_minus8 は入力映像の色差の画素ビット長bit_depth_chromaから８を減じた値、increased_bit_depth_lumaは輝度の増加画素ビット長、そして、increased_bit_depth_chromaは色差の増加画素ビット長である。
【００５９】
なお、図２に示すリストにおける表記（”C”や”Descriptor”）については、例えば、非特許文献２の7.2 Specification of syntax functions, categories, and descriptorsに従うとする。
【００６０】
上述した動作に基づいて、本実施形態の映像符号化装置はビットストリームを生成する。
【００６１】
次に、本発明の特徴である処理時間内でエントロピー符号化することが可能でない場合のエントロピー符号化器１０３、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８および画素ビット長増加器１１１の動作を図３のフローチャートを参照して説明する。
【００６２】
図３に示すように、ステップＳ１０１では、映像符号化装置や映像復号装置にある一定の処理時間を保証させるために、エントロピー符号化器１０３が、mb_typeをI_PCMとしてエントロピー符号化し多重化器１１０に供給する。
【００６３】
ステップＳ１０２では、エントロピー符号化器１０３が、出力ビットをバイトアラインさせるために、pcm_alignment_zero_bitを多重化器１１０に供給する。
【００６４】
ステップＳ１０３では、以降のエントロピー符号化のために、エントロピー符号化器１０３が符号化エンジンを初期化する。
【００６５】
ステップＳ１０４では、ＰＣＭ符号化の出力データを増加させないように、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７がＰＣＭ符号化し多重化器１１０に供給する。
【００６６】
ステップＳ１０５では、ＰＣＭ復号器１０８が、ＰＣＭ符号化の結果pcm_sample_luma[i]およびpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
【００６７】
ステップＳ１０６では、以降のイントラ予測やフレーム間予測の演算精度を高めるために、画素ビット長増加器１１１が、ＰＣＭ復号器１０８がＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]を左にそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaでビットシフトする。
【００６８】
以上のように、所定の符号化単位に対応する処理時間内でエントロピー符号化を行うことが可能でない場合において、エントロピー符号化器１０３およびＰＣＭ符号化器１０７の動作が実行される。
【００６９】
本実施形態の映像符号化装置では、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像がＰＣＭ符号化器１０７に供給される。そのような構成に基づいて、画素ビット長増加と非圧縮符号化とに基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制できる。
【００７０】
また、本実施形態の映像符号化装置は、画素ビット長増加情報に基づいて、ＰＣＭ復号の復号画像の画素ビット長を増加させる画素ビット長増加器１１１を備える。画素ビット長増加器１１１によって、画素ビット長を異ならせることに起因する、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
【００７１】
さらに、本実施形態の映像符号化装置では、多重化器１１０は、映像復号でも同様にＰＣＭ復号の復号画像の画素ビット長を増加させるために、画素ビット長増加情報をビットストリームに多重化する。そのような構成に基づいて、映像符号化装置と映像復号装置の相互運用性を高めることができる。すなわち、映像符号化装置と映像復号装置とが共動して、システムにおけるＰＣＭ符号化の増加を抑制できるとともに、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
【００７２】
実施形態２．
本実施形態の映像復号装置では、エントロピー復号手段とＰＣＭ復号手段のそれぞれの入力データに対応する画像の画素ビット長が互いに異なるビットストリームを復号する。なお、前記エントロピー復号手段の入力データに対応する画像とは、後述する逆変換／逆量子化器２０６から供給される画素ビット長増加された入力映像の画像の再構築画像である。また、前記ＰＣＭ復号手段の入力データに対応する画像とは、後述するＰＣＭ復号器２０３から供給される画素ビット長増加されていない入力映像のＰＣＭ復号画像である。
【００７３】
図４に示すように、本実施の形態の映像復号装置は、多重化解除器２０１、復号制御器２０２、ＰＣＭ復号器２０３、エントロピー復号器２０４、画素ビット長増加器２０５、逆変換／逆量子化器２０６、予測器２０７、バッファ２０８、画素ビット長減少器２０９、スイッチ２２１、およびスイッチ２２２を備える。
【００７４】
多重化解除器２０１は、入力されるビットストリームを多重化解除して、画素ビット長増加情報、およびエントロピー符号化もしくはＰＣＭ符号化された映像ビットストリームを抽出する。非特許文献２のSpecification of syntax functions, categories, and descriptorsに従うと、図２に示すリストに記載されているようにシーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続する、画素ビット長増加情報（increased_bit_depth_lumaおよびincreased_bit_depth_chroma）を抽出する。
【００７５】
エントロピー復号器２０４は、映像ビットストリームをエントロピー復号する。マクロブロックのmb_type がI_PCM （ＰＣＭ符号化）ではない場合には、エントロピー復号器２０４は、該マクロブロックの予測パラメータおよび変換量子化値をエントロピー復号して、逆変換／逆量子化器２０６および予測器２０７に供給する。
【００７６】
逆変換／逆量子化器２０６は、多重化解除によって抽出した画素ビット長増加情報increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅で、輝度および色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０６は、逆量子化した周波数変換係数を逆周波数変換する。
【００７７】
予測器２０７は、エントロピー復号した予測パラメータに基づいて、バッファ２０８に格納された再構築ピクチャの画像を用いて予測信号を生成する。
【００７８】
逆変換／逆量子化器２０６で逆周波数変換された再構築予測誤差画像は、予測器２０７から供給される予測信号が加えられた後、スイッチ２２２に供給される。
【００７９】
復号制御器２０２は、予測信号が加えられた再構築予測誤差画像が再構築画像としてバッファ２０８に供給されるようにスイッチ２２２を切り替える。
【００８０】
マクロブロックのmb_type がＰＣＭ符号化の場合、復号制御器２０２は、多重化解除器２０１に、エントロピー復号途中の映像ビットストリームをバイトアラインさせる。非特許文献２の7.3.5 Macroblock layer syntaxに従うと、多重化解除器２０１に、映像ビットストリームがバイトアラインするまでpcm_alignment_zero_bitを読み出させる。
【００８１】
次に、復号制御器２０２は、エントロピー復号器２０４の復号エンジンを初期化させる。なお、復号エンジン初期化の一例が、非特許文献２の9.3.1.2 Initialization process for the arithmetic decoding engineに記載されている。
【００８２】
続いて、復号制御器２０２は、バイトアラインした映像ビットストリームがＰＣＭ復号器２０３に供給されるようにスイッチ２２１を切り替える。
【００８３】
ＰＣＭ復号器２０３は、バイトアラインした映像ビットストリームからＰＣＭ符号化された輝度データpcm_sample_luma[i]および色差データpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
【００８４】
画素ビット長増加器２０５は、多重化解除によって抽出された画素ビット長増加情報increased_bit_depth_lumaとincreased_bit_depth_chromaに従って、ＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれ左にビットシフトする。非特許文献２の8.3.5 Sample construction process for I_PCM macroblocks の記述に従うと、ＰＣＭ復号輝度画像S'LおよびＰＣＭ復号色差画像S'CbとS'Crは、以下の式（8-154’）および式（8-155’）によって計算される。
【００８５】
for(i = 0; i < 256; i++ )
S'L[ xP + ( i % 16), yP + dy * ( i / 16)) ] = (pcm_sample_luma[ i ]<<increased_bit_depth_luma)                   （8-154'）
【００８６】
for( i = 0; i < MbWidthC * MbHeightC; i++ ) {
S'Cb[ ( xP / SubWidthC ) + ( i % MbWidthC ), ( ( yP + SubHeightC − 1) / SubHeightC ) + dy * ( i / MbWidthC ) ] =
(pcm_sample_chroma[ i ]<< increased_bit_depth_chroma)
S'Cr[ ( xP / SubWidthC ) + ( i % MbWidthC ),( ( yP + SubHeightC − 1 ) / SubHeightC ) + dy * ( i / MbWidthC ) ] =
(pcm_sample_chroma[ i + MbWidthC * MbHeightC ]<< increased_bit_depth_chroma) 
}                           （8-155’）
【００８７】
復号制御器２０２は、画素ビット長を増加させたＰＣＭ復号画像が再構築画像としてバッファ２０８に供給されるようにスイッチ２２２を切り替える。次マクロブロックの復号のために、復号制御器２０２は、多重化解除器２０１の出力データがエントロピー復号器２０４に供給されるようにスイッチ２２１を切り替える。
【００８８】
画素ビット長減少器２０９は、多重化解除によって抽出された画素ビット長増加情報increased_bit_depth_lumaおよびincreased_bit_depth_chromaに従って、バッファ２０８に格納された再構築ピクチャの画素ビット長を減少させて出力する。
【００８９】
上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
【００９０】
次に、発明の特徴であるマクロブロックのmb_type がＰＣＭ符号化の場合での復号制御器２０２、エントロピー復号器２０４、ＰＣＭ復号器２０３および画素ビット長増加器２０５の動作を図５のフローチャートを参照して説明する。
【００９１】
ステップＳ２０１では、多重化解除器２０１は、エントロピー復号途中の映像ビットストリームをバイトアラインさせるため、pcm_alignment_zero_bitを読み取る。
【００９２】
ステップＳ２０２では、以降のエントロピー復号のために、エントロピー復号器２０４が復号エンジンを初期化する。
【００９３】
ステップＳ２０３では、ＰＣＭ復号器２０３が、ＰＣＭ符号化の結果pcm_sample_luma[i]およびpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
【００９４】
ステップＳ２０４では、以降のイントラ予測やフレーム間予測の演算精度を高めるために、画素ビット長増加器２０５が、ＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]を左にそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaでビットシフトする。
【００９５】
以上のように、マクロブロックのmb_type がＰＣＭ符号化の場合において、復号制御器２０２、エントロピー復号器２０４、ＰＣＭ復号器２０３および画素ビット長増加器２０５の動作が実行される。
【００９６】
本実施形態の映像復号装置は、多重化解除によって抽出された画素ビット長増加情報に基づいて、ＰＣＭ復号の復号画像の画素ビット長を増加させる画素ビット長増加器２０５を備える。画素ビット長増加器２０５を備えることによって、エントロピー復号手段とＰＣＭ復号手段のそれぞれの入力に対応する画像の画素ビット長を異ならせることに起因する、イントラ予測やフレーム間予測の演算精度低下を抑制できる。また、映像復号と同一の再構築画像が得られるので、映像符号化装置と映像復号装置の相互運用性を高めることができる。すなわち、映像符号化装置と映像復号装置とが共動して、システムにおけるＰＣＭ符号化の増加を抑制できるとともに、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
【００９７】
図１に示された第１実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７に供給する映像符号化装置であった。
【００９８】
図６は、図１に示された映像符号化装置と同等の効果を奏する他の構成の映像符号化装置を示すブロック図である。
【００９９】
図１に示された映像符号化装置と比較すると、図６に示す映像符号化装置には、画素ビット長減少器１１２が追加されている。すなわち、図６に示す映像符号化装置では、画素ビット長増加した画像を入力する画素ビット長減少器１１２が、画素ビット長増加情報に基づいて画素ビット長減少させた画像をＰＣＭ符号化器１０７に供給する構成となっている。第１の実施形態と同様に、図６に示す映像符号化装置は、ＰＣＭ符号化の出力データの増加を抑制でき、かつ、画素ビット長を異ならせることに起因するイントラ予測やフレーム間予測の演算精度低下を抑制できる。
【０１００】
また、上記の各実施形態では、再構築ピクチャの画素は画素ビット長増加された画素である。しかし、再構築ピクチャを格納するバッファサイズを削減するために、バッファの入出力に上記の画素ビット長増加器および画素ビット長減少器を利用する実施形態も考えられる。そのような実施形態においても、本発明によれば、ＰＣＭ符号化の出力データの増加抑制、及び、前記画素ビット長を互いに異ならせることに起因する、イントラ予測の演算精度低下抑制を両立できる。
【０１０１】
また、上記の各実施形態では、ＰＣＭ復号器と画素ビット長増加器とは独立した機能ブロックであった。しかし、式（8-154’）および式（8-155’）から容易に類推できるように、ＰＣＭ復号器と画素ビット長増加器とを統合して一つの機能ブロックとすることも可能である。
【０１０２】
また、上記の各実施形態では、映像符号化装置は、明示的に画素ビット長増加情報を映像復号装置にシグナリングするために、bit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続して、increased_bit_depth_lumaおよびincreased_bit_depth_chromaをビットストリームに多重化した（図２参照）。しかし、映像符号化装置は、暗黙的に画素ビット長増加情報を映像復号装置にシグナリングするために、画素ビット長増加情報として画素ビット長増加後の画素ビット長情報をそのままビットストリームに多重化することも可能である（ただし、映像符号化装置と映像復号装置において、入力映像の元の画素ビット長を例えば８ビットと想定する。）。
【０１０３】
この場合、映像符号化装置は、シーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 の代わりに、図７に示す画素ビット長増加情報（internal_bit_depth_luma_minus8およびinternal_bit_depth_chroma_minus8）をシーケンスパラメータに多重化する。ただし、internal_bit_depth_luma_minus8 はincreased_bit_depth_lumaの値、internal_bit_depth_chroma_minus8 はincreased_bit_depth_chromaの値である。
【０１０４】
図７に示す画素ビット長増加情報をシーケンスパラメータに多重化する場合、ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ符号化する。ＰＣＭ復号器１０８は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaだけ左にビットシフトする。
【０１０５】
図７に示す画素ビット長増加情報をシーケンスパラメータに多重化する場合に対応する映像復号装置は、画素ビット長増加情報（internal_bit_depth_luma_minus8およびinternal_bit_depth_chroma_minus8）をシーケンスパラメータから多重化解除し、increased_bit_depth_lumaおよびincreased_bit_depth_chromaを以下のように計算する。
【０１０６】
increased_bit_depth_luma = internal_bit_depth_luma_minus8 
increased_bit_depth_chroma = internal_bit_depth_chroma_minus8 
【０１０７】
上記の計算によって、映像復号装置は、映像符号化装置が暗黙的にシグナリングした画素ビット長増加情報を多重化解除できる。
【０１０８】
なお、上述した映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングする場合において、入力映像の元の画素ビット長が８ビットよりも長い場合に無歪みでＰＣＭ符号化できなくなる問題がある。例えば、入力映像の元の画素ビット長が１０ビットである場合に８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] では量子化歪みが発生する。
【０１０９】
入力映像の元の画素ビット長がＮビット（Ｎ＞８）である場合に量子化歪みなしのＰＣＭ符号化をサポートするために、図８に示すように、ＰＣＭのビット長が画素ビット長増加後の画素ビット長であるか否かを示すフラグpcm_sample_bit_depth_is_internal_bit_depth_flag をシーケンスパラメータに追加してもよい。
【０１１０】
pcm_sample_bit_depth_is_internal_bit_depth_flag が０の場合、ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i]  をＰＣＭ符号化する。ＰＣＭ復号器１０８は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_luma（＝internal_bit_depth_luma_minus8）とincreased_bit_depth_chroma（＝internal_bit_depth_chroma_minus8 ）だけ左にビットシフトする。
【０１１１】
pcm_sample_bit_depth_is_internal_bit_depth_flag が１の場合、ＰＣＭ符号化器１０７は、画素ビット長を増加した画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、Ｎビット（internal_bit_depth_luma_minus8＋８ビット）のpcm_sample_luma[i]およびＮビット（internal_bit_depth_chroma_minus8＋８ビット）のpcm_sample_croma[i] をＰＣＭ符号化する。ＰＣＭ復号器１０８は、Ｎビットのpcm_sample_luma[i]およびＮビットのpcm_sample_croma[i]をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i] を０ビットだけ左にビットシフトする（すなわち、左にビットシフトをしない）。
【０１１２】
また、入力映像の元の画素ビット長がＮビット（Ｎ＞８）である場合に量子化歪みなしのＰＣＭ符号化をサポートするために、pcm_sample_bit_depth_is_internal_bit_depth_flag の代わりに、図９に示すように、輝度および色差それぞれのＰＣＭのビット長pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加してもよい。
【０１１３】
pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加する場合、ＰＣＭ符号化器１０７は、pcm_sample_bit_depth_luma_minus8＋８ ビットのpcm_sample_luma[i]およびpcm_sample_bit_depth_chroma_minus8＋８ ビットのpcm_sample_croma[i] をＰＣＭ符号化する。pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加する場合に対応するＰＣＭ復号器１０８は、pcm_sample_bit_depth_luma_minus8＋８ビットのpcm_sample_luma[i]およびpcm_sample_bit_depth_chroma_minus8＋８ビットのpcm_sample_croma[i] をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaビットだけ左にビットシフトする。ただし、increased_bit_depth_lumaおよびincreased_bit_depth_chromaを以下のように計算する。
【０１１４】
increased_bit_depth_luma = internal_bit_depth_luma_minus8 - pcm_sample_bit_depth_luma_minus8
increased_bit_depth_chroma = internal_bit_depth_chroma_minus8 - pcm_sample_bit_depth_chroma_minus8
【０１１５】
上記の計算から明らかなように、increased_bit_depth_lumaが０よりも大きく、かつ、internal_bit_depth_luma_minus8＋８がＮ未満である場合、映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングしたことを意味する。同様に、internal_bit_depth_chroma_minus8＋８がＮ未満である場合、映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングしたことを意味する。
【０１１６】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１１７】
図１０に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１１８】
図１０に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図４，図６のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図４，図６のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０１１９】
図１１は、本発明による映像符号化装置の主要部を示すブロック図である。図１１に示すように、本発明による映像符号化装置は、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させる画素ビット長増加手段１（一例として、図１に示す画素ビット長増加器１０１）と、画素ビット長増加手段１の出力データを変換する変換手段２（一例として、図１に示す変換／量子化器１０２）と、変換手段２の出力データをエントロピー符号化するエントロピー符号化手段３（一例として、図１に示すエントロピー符号化器１０３）と、入力データを非圧縮符号化する非圧縮符号化手段７（一例として、ＰＣＭ符号化器１０７）と、エントロピー符号化手段３と非圧縮符号化手段７のいずれかの出力データを選択する多重化データ選択手段８（一例として、スイッチ１２１）と、画素ビット長増加情報をビットストリームに多重化する多重化手段１０（一例として、多重化器１１０）とを備え、エントロピー符号化手段３と非圧縮符号化手段７のそれぞれの出力データに対応する画像の画素ビット長は、異なっている。
【０１２０】
画素ビット長を互いに異ならせるために、一例として、画素ビット長を増加させる前の入力画像を非圧縮符号化手段７に供給させる手段を備える。そのように構成されている場合には、画素ビット長増加されていない入力画像をそのまま非圧縮符号化（例えば、ＰＣＭ符号化）する。
【０１２１】
図１２は、本発明による他の映像符号化装置の主要部を示すブロック図である。図１２に示すように、本発明による他の映像符号化装置は、図１１に示す構成に加えて、画素ビット長増加情報に基づいて、画素ビット長を減少させる画素ビット長減少手段９（一例として、図６に示す画素ビット長減少器１１２）を備え、非圧縮符号化手段７の入力データは画素ビット長減少手段９の出力データである。
【０１２２】
図１３は、本発明による別の映像符号化装置の主要部を示すブロック図である。図１３に示すように、本発明による別の映像符号化装置は、図１１に示す構成に加えて、画像を予測する予測手段１０（一例として、図１に示す予測器１０６）と、変換手段２の出力データを逆変換する逆変換手段１２（一例として、図１に示す逆変換／逆量子化器１０４）と、非圧縮符号化手段７の出力データを復号する非圧縮復号手段１３（一例として、図１に示すＰＣＭ復号器１０８）とを備え、非圧縮復号手段１３は、少なくとも画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加させる。
【０１２３】
図１４は、本発明による映像復号装置の主要部を示すブロック図である。図１４に示すように、本発明による映像復号装置は、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する多重化解除手段２１（一例として、図４に示す多重化解除器２０１）と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段２４（一例として、図４に示すエントロピー復号器２０４）と、エントロピー復号した画像の変換データを逆変換する逆変換手段２６（一例として、図４に示す逆変換／逆量子化器２０６）と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段２３（一例として、図４に示すＰＣＭ復号器２０３）と、エントロピー復号手段２４および非圧縮復号手段２３を制御する復号制御手段２２（一例として、図４に示す復号制御部２０２）とを備え、エントロピー復号手段２４と非圧縮復号手段２３のそれぞれの入力データに対応する画像の画素ビット長が互いに異なっている。
【０１２４】
図１５は、本発明による他の映像復号装置の主要部を示すブロック図である。図１５に示すように、本発明による他の映像復号装置は、図１４に示す構成に加えて、画像を予測する予測手段２７（一例として、図４に示す予測器２０７）を備えている。
【０１２５】
以上に説明したように、本発明は、画素ビット長増加と非圧縮符号化に基づいた映像符号化において、エントロピー符号化と非圧縮符号化のそれぞれ出力データに対応する画像の画素ビット長を互いに異ならせる手段を提供する。そして、本発明は、イントラ予測やフレーム間予測の演算精度を画素ビット長拡張によって高めることと、ある一定の処理時間を映像符号化装置や映像復号装置に保証することとを両立しながら、画素ビット長増加分だけＰＣＭ符号化の出力データが増加する課題を解決できる。
【０１２６】
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
【０１２７】
（付記１）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮符号化の入力データとして画素ビット長を増加させる前の入力画像を用いる映像符号化方法。
【０１２８】
（付記２）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、画素ビット長を増加させたデータを対象として画素ビット長増加情報に基づいて画素ビット長を減少させ、非圧縮符号化の入力データとして、画素ビット長を減少させたデータを用いる映像符号化方法。
【０１２９】
（付記３）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、変換したデータを逆変換し、非圧縮符号化したデータを復号し、復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる映像符号化方法。
【０１３０】
（付記４）少なくとも画素ビット長増加情報を含むビットストリームを多重化解除し、ビットストリームに含まれる画像の変換データをエントロピー復号し、エントロピー復号した画像の変換データを逆変換し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する映像復号方法であって、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる映像復号方法。
【０１３１】
（付記５）少なくとも画素ビット長増加情報を含むビットストリームを多重化解除し、ビットストリームに含まれる画像の変換データをエントロピー復号し、エントロピー復号した画像の変換データを逆変換し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する映像復号方法であって、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、画像を予測する予測処理を実行する映像復号方法。
【０１３２】
（付記６）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮符号化の入力データとして画素ビット長を増加させる前の入力画像を用いる映像符号化プログラム。
【０１３３】
（付記７）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、画素ビット長を増加させたデータを対象として画素ビット長増加情報に基づいて画素ビット長を減少させる処理をコンピュータに実行させ、非圧縮符号化の入力データとして、画素ビット長を減少させたデータを用いる映像符号化プログラム。
【０１３４】
（付記８）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、コンピュータに、変換したデータを逆変換する処理と、非圧縮符号化したデータを復号する処理とを実行させ、復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる処理をコンピュータに実行させる映像符号化プログラム。
【０１３５】
（付記９）コンピュータに、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、エントロピー復号した画像の変換データを逆変換する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号するする処理とを実行させ、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる処理をコンピュータに実行させる映像復号プログラム。
【０１３６】
（付記１０）コンピュータに、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、エントロピー復号した画像の変換データを逆変換する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号するする処理とを実行させ、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、画像を予測する予測処理をコンピュータに実行させる映像復号プログラム。
【０１３７】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１３８】
この出願は、２０１０年７月１３日に出願された日本特許出願２０１０−１５９０５９および２０１１年２月２５日に出願された日本特許出願２０１１−０４０５３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１３９】
１      画素ビット長増加手段
２      変換手段
３      エントロピー符号化手段
７      非圧縮符号化手段
８      多重化データ選択手段
９      画素ビット長減少手段
１０    多重化手段
１１    予測手段
１２    逆変換手段
１３    非圧縮復号手段
２１    多重化解除手段
２２    復号制御手段
２３    非圧縮復号手段
２４    エントロピー復号手段
２６    逆変換手段
２７    予測手段
１０１  画素ビット長増加器
１０２  変換／量子化器
１０３  エントロピー符号化器
１０４  逆変換／逆量子化器
１０５  バッファ
１０６  予測器
１０７  ＰＣＭ符号化器
１０８  ＰＣＭ復号器
１０９  多重化データ選択器
１１０  多重化器
１１１  画素ビット長増加器
１１２  画素ビット長減少器
１２１  スイッチ
１２２  スイッチ
２０１  多重化解除器
２０２  復号制御部
２０３  ＰＣＭ復号器
２０４  エントロピー復号器
２０５  画素ビット長増加器
２０６  逆変換／逆量子化器
２０７  予測器
２０８  バッファ
２０９  画素ビット長減少器
２２１  スイッチ
２２２  スイッチ
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2014239531.tif 000003
【図２】
2014239531.tif 000004
【図３】
2014239531.tif 000005
【図４】
2014239531.tif 000006
【図５】
2014239531.tif 000007
【図６】
2014239531.tif 000008
【図７】
2014239531.tif 000009
【図８】
2014239531.tif 000010
【図９】
2014239531.tif 000011
【図１０】
2014239531.tif 000012
【図１１】
2014239531.tif 000013
【図１２】
2014239531.tif 000014
【図１３】
2014239531.tif 000015
【図１４】
2014239531.tif 000016
【図１５】
2014239531.tif 000017
【図１６】
2014239531.tif 000018
【図１７】
2014239531.tif 000019
【図１８】
2014239531.tif 000020
【図１９】
2014239531.tif 000021
【図２０】
2014239531.tif 000022