(57)【要約】【課題】高速再生時あるいは逆再生時においてより少ない処理量で復号再生処理を実現する画像符号化装置および画像復号装置を得る。【解決手段】指定された設定倍速Ｎに基づいて、画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画面予測したＰピクチャの何れを参照画像として用いるかを示す被参照情報を符号化する被参照情報符号化部１０４ａと、Ｐピクチャを符号化する際に参照する参照画像の情報を示す参照元情報を符号化する参照元情報符号化部１０４ｂと、Ｉピクチャ符号化およびＰピクチャ符号化した画像のうち、設定倍速の整数倍の画像を蓄積するピクチャバッファ１０８とを備え、設定倍速の整数倍に対応したＰピクチャを符号化する際に、参照元情報を参照してピクチャバッファ１０８に蓄積された画像のうちＩピクチャを参照画像としてＰピクチャ符号化する。【選択図】図１
2012253677.tif 000002
【特許請求の範囲】
【請求項１】
指定された設定倍速に基づいて、画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画像予測したＰピクチャの何れかを参照画像として用いるかを示す被参照情報を符号化する被参照情報符号化部と、
前記Ｐピクチャを符号化する際に参照する参照画像の情報を示す参照元情報を符号化する参照元情報符号化部と、
Ｉピクチャ符号化およびＰピクチャ符号化した画像のうち、前記設定倍速の整数倍の画像を蓄積する画像蓄積部とを備え、
前記設定倍速の整数倍に対応したＰピクチャを符号化する際に、前記参照元情報を参照して前記画像蓄積部に蓄積された画像のうちＩピクチャを参照画像としてＰピクチャ符号化することを特徴とする画像符号化装置。
【請求項２】
符号化における設定倍速、および前記符号化された画像の再生時に指定される再生倍速に基づいて、符号化ストリームを復号するか否か決定する復号決定部と、
画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画面予測したＰピクチャの何れを参照画像として用いるかを示す被参照情報を復号する被参照情報復号部と、
前記Ｐピクチャを復号する際に参照する参照画像の情報を示す参照元情報を復号する参照元情報復号部と、
Ｉピクチャ復号およびＰピクチャ復号した画像を蓄積する画像蓄積部とを備え、
前記復号決定部が前記符号化ストリームを復号すると決定した場合に、前記被参照元情報に記載された画像のうち、前記再生倍速の整数倍に対応した画像および当該画像を復号する際の参照画像をＩピクチャ復号およびＰピクチャ復号することを特徴とする画像復号装置。
【請求項３】
画像の符号化順序を決定する制御部と、
指定された設定倍速に基づいて、画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画像予測したＰピクチャの何れかを参照画像として用いるかを示す被参照情報を符号化する被参照情報符号化部と、
前記Ｐピクチャおよび画像を画像内符号化および両方向画面間予測したＢピクチャを符号化する際に参照する参照画像の情報を示す参照元情報を符号化する参照元情報符号化部と、
Ｉピクチャ符号化、Ｐピクチャ符号化およびＢピクチャ符号化した画像のうち、前記設定倍速の整数倍の画像を蓄積する画像蓄積部とを備え、
前記設定倍速の整数倍に対応したＰピクチャを符号化する際に、前記参照元情報を参照して前記画像蓄積部に蓄積された画像のうちＩピクチャを参照画像としてＰピクチャ符号化することを特徴とする画像符号化装置。
【請求項４】
符号化における設定倍速、および前記符号化された画像の再生時に指定される再生倍速に基づいて、符号化ストリームを復号するか否か決定する復号決定部と、
画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画面予測したＰピクチャの何れを参照画像として用いるかを示す被参照情報を復号する被参照情報復号部と、
前記Ｐピクチャおよび画像を画像内符号化および両方向画面間予測したＢピクチャを復号する際に参照する参照画像の情報を示す参照元情報を復号する参照元情報復号部と、
Ｉピクチャ復号およびＰピクチャ復号した画像を蓄積する画像蓄積部とを備え、
前記復号決定部が前記符号化ストリームを復号すると決定した場合に、前記被参照元情報に記載された画像のうち、前記再生倍速の整数倍に対応した画像および当該画像を復号する際の参照画像をＩピクチャ復号、Ｐピクチャ復号およびＢピクチャ復号することを特徴とする画像復号装置。
【請求項５】
前記設定倍速の整数倍に対応しないＰピクチャを符号化する際に、前記画像蓄積部に蓄積された画像のうち、直前に蓄積された前記設定倍速の整数倍に対応したＩピクチャまたはＰピクチャを参照画像としてＰピクチャ符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
前記設定倍速の整数倍に対応しないＢピクチャを符号化する際に、前記画像蓄積部に蓄積された画像のうち、直前および２つ前に蓄積された前記設定倍速の整数倍に対応したＩピクチャまたはＰピクチャを参照画像としてＢピクチャ符号化することを特徴とする請求項３記載の画像符号化装置。
【請求項７】
前記再生倍速の整数倍に対応した画像を時系列順または逆時系列順に復号することを特徴とする請求項２または請求項４記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データを符号化して符号化ストリームを送出する画像符号化装置、あるいは画像データが符号化された符号化ストリームを復号する画像復号装置に関するものである。
【背景技術】
【０００２】
近年、動画像を圧縮して符号化する技術が広く用いられている。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）と呼ばれる方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙ  Ｄｉｓｋに採用されている方式であるＨ．２６４方式などがある。
【０００３】
特許文献１には、画面内符号化されたピクチャであるＩピクチャと画面間の予測を用いて符号化されたピクチャであるＰピクチャからなる符号化ビットストリームに対して、高速再生時において、処理量の増加や画質劣化を抑制する技術が開示されている。具体的には、画像符号化装置において複数のピクチャデータの符号化構造を示すＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）が、ＩピクチャとＰピクチャのみで構成されるＩＰＰ構造の場合にあらかじめ指定された設定倍速に従って、対応するＰピクチャの参照元を限定し、画像復号装置において復号時に設定倍速に対応するピクチャを復号することで高速再生を実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４１６７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された技術では、あらかじめＧＯＰ構造を設定倍速に従った構造とすることにより、高速再生を実現しているため、設定倍速以外の高速再生や逆再生を行うためには、参照する画像を全て復号する必要があるため、表示するまでに復号に必要となる処理量が増加してしまうという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、高速再生時あるいは逆再生時においてより少ない処理量で復号再生処理を実現する画像符号化装置および画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像符号化装置は、指定された設定倍速に基づいて、画像を全て画像内符号化したＩピクチャまたは画像を画像内符号化および片方向画像予測したＰピクチャの何れかを参照画像として用いるかを示す被参照情報を符号化する被参照情報符号化部と、Ｐピクチャを符号化する際に参照する参照画像の情報を示す参照元情報を符号化する参照元情報符号化部と、Ｉピクチャ符号化およびＰピクチャ符号化した画像のうち、設定倍速の整数倍の画像を蓄積する画像蓄積部とを備え、設定倍速の整数倍に対応したＰピクチャを符号化する際に、参照元情報を参照して画像蓄積部に蓄積された画像のうちＩピクチャを参照画像としてＰピクチャ符号化するものである。
【発明の効果】
【０００８】
この発明によれば、少ない処理量で高速再生を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による画像符号化装置の符号化処理を示すフローチャートである。
【図３】この発明の実施の形態１による画像符号化装置の符号化ストリームを示す説明図である。
【図４】この発明の実施の形態１による画像符号化装置の符号化ストリームを示す説明図である。
【図５】この発明の実施の形態１による画像復号装置の構成を示すブロック図である。
【図６】この発明の実施の形態１による画像復号装置の復号処理を示すフローチャートである。
【図７】この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図である。
【図８】この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図である。
【図９】この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図である。
【図１０】この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図である。
【図１１】この発明の実施の形態２による画像符号化装置の符号化処理を示すフローチャートである。
【図１２】この発明の実施の形態２による画像符号化装置の符号化ストリームを示す説明図である。
【図１３】この発明の実施の形態２による画像符号化装置の符号化ストリームを示す説明図である。
【図１４】この発明の実施の形態２による画像復号装置の符号化ストリームの復号を示す説明図である。
【図１５】この発明の実施の形態２による画像復号装置の符号化ストリームの復号を示す説明図である。
【図１６】この発明の実施の形態２による画像復号装置の符号化ストリームの復号を示す説明図である。
【図１７】この発明の実施の形態２による画像復号装置の符号化ストリームの復号を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。図１において、画像符号化装置１００は、減算部１０１、直交変換部１０２、量子化部１０３、可変長符号化部１０４、逆量子化部１０５、逆直交変換部１０６、加算部１０７、ピクチャバッファ１０８、動き予測部１０９、動き補償部１１０および制御部１１１で構成されている。
減算部１０１は、入力画像信号と動き補償部１１０より出力される予測画像信号より差分信号を算出する。直交変換部１０２は、減算部１０１より出力された差分信号に対して直交変換を行い、変換係数を出力する。量子化部１０３は、直交変換部１０２より出力された変換係数に対して量子化を行い、量子化係数を出力する。
【００１１】
可変長符号化部１０４は、制御部１１１より出力された被参照情報を符号化する被参照情報符号化部１０４ａと、制御部１１１より出力された参照元情報を符号化する参照元情報符号化部１０４ｂとを備える。さらに可変長符号化部１０４は、量子化部１０３より出力された量子化係数と動き予測部１０９より出力された動きベクトルを可変長符号化し、符号化ストリームを出力する。また、可変長符号化部１０４は、Ｉピクチャ符号化およびＰピクチャ符号化を行う。Ｉピクチャ符号化とは画像を全て画面内符号化する符号化であり、Ｐピクチャ符号化とは画像を画面内符号化および片方向画面間予測する符号化である。
【００１２】
逆量子化部１０５は、量子化部１０３より出力された量子化係数に対して逆量子化を行い、変換係数を出力する。逆直交変換部１０６は、逆量子化部１０５より出力された変換係数に対して逆直交変換を行い、差分信号を出力する。加算部１０７は、逆直交変換部１０６より出力された差分信号と動き補償部１１０より出力される予測画像信号を加算し復号画像信号を出力する。ピクチャバッファ１０８は、制御部１１１より出力される被参照信号をもとに加算部１０７より出力される復号画像信号を蓄積する。
【００１３】
動き予測部１０９は、入力画像信号とピクチャバッファ１０８から出力された復号画像信号を比較し画像の動きベクトルを算出する。動き補償部１１０は、動き予測部１０９より出力された動きベクトルとピクチャバッファ１０８から出力された復号画像信号から予測画像信号を出力する。制御部１１１は、あらかじめ指定された設定倍速に従って、高速再生および逆再生が可能な符号化ストリームを生成するために、被参照信号および参照元信号を出力し、ピクチャバッファ１０８に蓄積する復号画像の制御と動き予測部１０９で参照元となる復号画像の制御を行う。
【００１４】
次に、画像符号化装置１００の動作について説明する。図２は、この発明の実施の形態１による画像符号化装置の符号化処理を示すフローチャートである。
まず制御部１１１に設定倍速Ｎが設定されると（ステップＳＴ１）、可変長符号化部１０４は現在のピクチャ番号がステップＳＴ１で設定された設定倍速Ｎの整数倍か否か判定を行う（ステップＳＴ２）。現在のピクチャ番号が設定倍速Ｎの整数倍であった場合（ステップＳＴ２；ＹＥＳ）、さらに入力画像信号をＩピクチャとして符号化するか否か判定を行う（ステップＳＴ３）。入力画像信号をＩピクチャとして符号化する場合（ステップＳＴ３；ＹＥＳ）、入力画像信号に対してＩピクチャ符号化を行い（ステップＳＴ４）、復号画像をピクチャバッファ１０８に蓄積する（ステップＳＴ５）。
【００１５】
一方、入力画像信号をＩピクチャとして符号化しない場合（ステップＳＴ３；ＮＯ）、可変長符号化部１０４は既に符号化されているＩピクチャの復号画像を参照元情報、即ち参照画像としてＰピクチャ符号化を行い（ステップＳＴＳＴ６）、画像をピクチャバッファ１０８に蓄積する（ステップＳＴ５）。
【００１６】
さらに、現在のピクチャ番号が設定倍速Ｎの整数倍でない場合（ステップＳＴ２；ＮＯ）、可変長符号化部１０４はピクチャバッファ１０８に蓄積された画像のうちピクチャ番号が最も大きい画像を参照元情報、即ち参照画像としてＰピクチャ符号化を行う（ステップＳＴ７）。ステップＳＴ７は具体的には、設定倍速Ｎの整数倍のピクチャが符号化されてピクチャバッファ１０８に蓄積された画像のうち直前に蓄積された画像を参照画像としてＰピクチャ符号化を行う。その後、可変長符号化部１０４は、符号化処理を終了するか否か判定を行い（ステップＳＴ８）、終了すると判定した場合（ステップＳＴ８；ＹＥＳ）、フローは終了し、終了しないと判定した場合（ステップＳＴ８；ＮＯ）、ステップＳＴ２の処理に戻り、上述した処理を繰り返す。
【００１７】
図３は、この発明の実施の形態１による画像符号化装置の符号化ストリームを示す説明図であり、設定倍速が２倍速（Ｎ＝２）の場合を例に示している。図３（ａ）は符号化処理を模式的に示した図である。符号化するＩ０，Ｐ１，Ｐ２・・・Ｐ１２の画像において、設定倍速２の整数倍の画像であるＩ０，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ１０，Ｐ１２を符号化し、これら以外の画像であるＰ１，Ｐ３，Ｐ５，Ｐ７，Ｐ９，Ｐ１１はそれぞれＩ０，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ１０を参照して符号化することを示している。
【００１８】
さらに図３（ｂ）は、符号化処理における被参照情報、蓄積ピクチャおよび参照元情報を示している。被参照情報３００は、符号化する画像のピクチャタイプおよびピクチャ番号を示している。例えば、被参照情報３００が「Ｉ０」の場合、ピクチャ番号０の画像をＩピクチャとして符号化し、「Ｐ３」の場合、ピクチャ番号３の画像をＰピクチャとして符号化することを示している。蓄積ピクチャ３０１は、ピクチャバッファ１０８に蓄積されている画像のピクチャタイプおよびピクチャ番号を示している。参照元情報３０２は、符号化する際に参照する画像のピクチャタイプおよびピクチャ番号を示している。
【００１９】
設定倍速である２の倍数の０，２，４，６，８，１０，１２のうち０番の画像はＩピクチャとして符号化を行い、他の画像はＩピクチャを参照元情報３０２としてＰピクチャ符号化を行う。設定倍速である２の倍数以外の画像はピクチャバッファ１０８に蓄積された画像のうち直前に蓄積された画像を参照元情報３０２としてＰピクチャ符号化を行う。
【００２０】
図４は、この発明の実施の形態１による画像符号化装置の符号化ストリームを示す説明図であり、設定倍速が４倍速（Ｎ＝４）の場合を例に示している。図４（ａ）は符号化処理を模式的に示した図である。符号化するＩ０、Ｐ１，Ｐ２・・・Ｐ１２の画像において、設定倍速４の整数倍の画像であるＩ０，Ｐ４，Ｐ８，Ｐ１２を符号化し、これら以外の画像であるＰ１，Ｐ２，Ｐ３はＩ０を参照し、Ｐ５，Ｐ６，Ｐ７はＰ４を参照し，Ｐ９，Ｐ１０，Ｐ１１はＰ８を参照して符号化することを示している。
【００２１】
さらに図４（ｂ）は、図３（ｂ）と同様に被参照情報３００、蓄積ピクチャ３０１および参照元情報３０２を示している。
設定倍速である４の倍数の０，４，８，１２のうち０番はＩピクチャとして符号化を行い、他のピクチャはＩピクチャを参照画像としてＰピクチャ符号化を行う。設定倍速である４の倍数以外の画像はピクチャバッファ１０８に蓄積された画像のうち直前に蓄積された画像を参照元情報３０２としてＰピクチャ符号化を行う。
【００２２】
次に、画像符号化装置１００により符号化された符号化ストリームを復号する画像復号装置２００について説明を行う。図５は、この発明の実施の形態１による画像復号装置の構成を示すブロック図である。
画像復号装置２００は、ストリームバッファ２０１、可変長復号部２０２、逆量子化部２０３、逆直交変換部２０４、加算部２０５、ピクチャバッファ２０６、動き補償部２０７および制御部２０８で構成されている。
【００２３】
ストリームバッファ２０１は、入力される符号化ストリームを蓄積し、制御部２０８から出力される符号化ストリーム制御信号に従って符号化ストリームを出力する。可変長復号部２０２は、ストリームバッファ２０１より出力された符号化ストリームに対して可変長復号を行い、量子化係数および動きベクトルを出力する。さらに、可変長復号部２０２は、符号化ストリームの被参照情報を復号する被参照情報復号部２０２ａと、参照元情報を復号する参照元情報復号部２０２ｂとを備える。逆量子化部２０３は、可変長復号部２０２より出力された量子化係数に対して逆量子化を行い、変換係数を出力する。逆直交変換部２０４は、逆量子化部２０３より出力された変換係数に対して逆直交変換を行い、差分信号を出力する。
【００２４】
加算部２０５は、逆直交変換部２０４より出力された差分信号と動き補償部２０７より出力された予測画像信号を加算し復号画像信号を出力する。ピクチャバッファ２０６は、可変長復号部２０２より出力される被参照情報をもとに加算部２０５より出力される復号画像信号を蓄積、可変長復号部２０２より出力される参照元情報に従って参照画像を出力、また制御部２０８より出力される表示制御信号に従って再生画像を出力する。
【００２５】
動き補償部２０７は、可変長復号部２０２より出力された動きベクトルとピクチャバッファ２０６から出力された復号画像信号から予測画像信号を出力する。制御部２０８は、予め設定された設定倍速および再生時に指定される再生倍速に基づいて、符号化ストリームを復号するか否かを決定する復号決定部２０８ａを備える。制御部２０８は、復号決定部２０８ａの決定に基づいてピクチャバッファ２０６に蓄積する復号画像の制御、動き補償部２０７で参照元となる復号画像の制御およびピクチャバッファ２０６から出力する再生画像の制御を行う。
【００２６】
次に、画像復号装置２００の動作について説明する。図６は、この発明の実施の形態１の画像復号装置の復号処理を示すフローチャートである。
制御部２０８の復号決定部２０８ａは、符号化ストリームの符号化における設定倍速Ｎ、および再生指定倍速Ｍがあらかじめ設定された再生制御情報を取得し、復号すべきピクチャ番号を決定する（ステップＳＴ１１）。ステップＳＴ１１で決定された復号すべきピクチャ番号は符号化ストリーム制御情報としてストリームバッファ２０１に出力される（ステップＳＴ１２）。ストリームバッファ２０１は、ステップＳＴ１２で入力された符号化ストリーム制御情報を参照し、復号すべきピクチャ番号を有する符号化ストリームが存在するか判定を行う（ステップＳＴ１３）。
【００２７】
復号すべきピクチャ番号を有する符号化ストリームが存在しない場合（ステップＳＴ１３；ＮＯ）、ステップＳＴ１３の判定処理を繰り返す。一方、復号すべきピクチャ番号を有する符号化ストリームが存在する場合（ステップＳＴ１３；ＹＥＳ）、ストリームバッファ２０１は復号すべき符号化ストリームを可変長復号部２０２に出力し、可変長復号部２０２は符号化ストリームを可変長復号した際に得られる参照元情報に基づいてピクチャバッファ２０６に蓄積された参照画像を用いてピクチャの復号処理を行う（ステップＳＴ１４）。
【００２８】
さらに可変長復号部２０２は、復号したピクチャが設定倍速Ｎの整数倍か否か判定を行う（ステップＳＴ１５）。復号したピクチャが設定倍速Ｎの整数倍であった場合（ステップＳＴ１５；ＹＥＳ）、復号したピクチャを復号画像としてピクチャバッファ２０６に蓄積する（ステップＳＴ１６）。ピクチャバッファ２０６は、蓄積している復号画像および参照画像のうち、制御部２０８から出力される表示制御情報において指定されたピクチャ番号の復号画像を出力し（ステップＳＴ１７）、外部の表示装置（不図示）などに表示する。
【００２９】
また、復号したピクチャが設定倍速Ｎの整数倍でなかった場合（ステップＳＴ１５；ＮＯ）、蓄積処理を行わず、ステップＳＴ１７の処理に進む。その後、制御部２０８は、復号処理を終了するか否か判定し（ステップＳＴ１８）、終了する場合（ステップＳＴ１８；ＹＥＳ）にはフローを終了する。一方、終了しない場合（ステップＳＴ１８；ＮＯ）、ステップＳＴ１３の処理に戻り、上述した処理を繰り返す。
【００３０】
図７は、この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、再生指定倍速が４倍速（Ｍ＝４）の場合を例に示している。図７（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｐ４，Ｐ８，Ｐ１２を復号することを示している。さらに、Ｐ４，Ｐ８，Ｐ１２の復号においてＩ０を参照して復号することを示している。
【００３１】
さらに図７（ｂ）は、復号化処理における被参照情報、蓄積ピクチャ、参照元情報、および表示ピクチャを示している。被参照情報４００は、復号する画像のピクチャタイプおよびピクチャ番号を示している。例えば被参照情報４００が「Ｉ０」の場合、ピクチャ番号０の画像をＩピクチャとして復号し、「Ｐ３」の場合、ピクチャ番号３の画像をＰピクチャとして復号することを示している。蓄積ピクチャ４０１は、ピクチャバッファ２０６に蓄積されている画像のピクチャタイプおよびピクチャ番号を示している。参照元情報４０２は、復号する際に参照する画像のピクチャタイプおよびピクチャ番号を示している。表示ピクチャ４０３は、外部の表示装置など（不図示）に表示する復号画像のピクチャタイプおよびピクチャ番号を示している。
【００３２】
設定倍速４倍速で符号化されたストリームを、再生指定倍速４倍速で表示する場合、制御部２０８は、再生指定倍速である４の整数倍のピクチャ番号を持つＩ０，Ｐ４，Ｐ８，Ｐ１２を復号するように制御する。設定倍速が４倍速の場合Ｉ０，Ｐ４，Ｐ８，Ｐ１２のみで復号が可能であるため、他のピクチャ番号のストリームを必要とせずに復号することが可能となる。これにより通常の復号処理量に対して処理量が１／４に削減することができ、画像復号装置２００の処理量を増加させることなく４倍再生が可能となる。
【００３３】
図８は、この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、再生指定倍速が３倍速（Ｍ＝３）の場合を例に示している。図８（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２を復号すると共に、Ｐ４，Ｐ８も復号することを示している。さらにＰ３，Ｐ４，Ｐ８，Ｐ１２の復号においてＩ０を参照し、Ｐ６の復号においてＰ４を参照し、Ｐ９の復号においてＰ８を参照することを示している。
【００３４】
さらに図８（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。制御部２０８は、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２を復号するためにＰ６，Ｐ９で参照されるＰ４，Ｐ８を含むＩ０，Ｐ３，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１２を復号するように制御する。また、表示ピクチャ４０３に示すように、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２のみを表示するように制御する。このように、設定倍速と異なる再生倍速が指定された場合であっても、正常に高速再生することができる。
【００３５】
図９は、この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、逆再生指定倍速が１倍速（Ｍ＝１）の場合を例に示している。図９（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）から全ての画像を復号することを示している。さらにＰ４，Ｐ８，Ｐ１２の復号においてＩ０を参照し、Ｐ１，Ｐ２，Ｐ１３の復号においてＩ０を参照し、Ｐ５，Ｐ６，Ｐ７の復号においてＰ４を参照し、Ｐ９，Ｐ１０，Ｐ１１の復号においてＰ８を参照することを示している。
【００３６】
さらに図９（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。
制御部２０８は、設定倍速４で符号化されたストリームを逆再生指定倍速１で復号する場合、全てのピクチャを復号するように制御する。さらにピクチャ番号の大きい順番で表示するように、復号する符号化ストリームの順番を含む符号化ストリーム制御情報および表示制御情報を生成し、ストリームバッファ２０１およびピクチャバッファ２０６に出力する。
具体的には、まず最大のピクチャ番号を有するＰ１２の復号を行うために参照元となるＩ０を復号し、次にＰ１２を復号する。次にＰ１１の復号時に参照元となるＰ８を復号し、Ｐ１１，Ｐ１０，Ｐ９と復号を行う。このように復号することにより、ピクチャバッファ２０６に格納されるピクチャは最大２枚、復号開始から２ピクチャ目の復号が完了した時点で逆再生が可能となる。
【００３７】
図１０は、この発明の実施の形態１による画像復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、逆再生指定倍速が３倍速（Ｍ＝３）の場合を例に示している。図１０（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２を復号すると共に、Ｐ４，Ｐ８も復号することを示している。さらにＰ３，Ｐ４，Ｐ８，Ｐ１２の復号においてＩ０を参照し、Ｐ６の復号においてＰ４を参照し、Ｐ９の復号においてＰ８を参照することを示している。
【００３８】
さらに図１０（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。
制御部２０８は、設定倍速４で符号化されたストリームを逆再生指定倍速３で復号する場合、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２を復号するためにＰ６，Ｐ９で参照されるＰ４，Ｐ８を含むＩ０，Ｐ３，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１２を復号するように制御する。さらにピクチャ番号の大きい順番で表示するように、復号する符号化ストリームの順番を含む符号化ストリーム制御情報および表示制御情報を生成し、ストリームバッファ２０１およびピクチャバッファ２０６に出力する。
具体的には、まず最大のピクチャ番号を有するＰ１２の復号を行うために参照元となるＩ０を復号し、次にＰ１２を復号する。次にＰ９の復号時に参照元となるＰ８を復号し、Ｐ９の復号を行う。このように復号することにより、ピクチャバッファ２０６に格納されるピクチャは最大２枚、復号開始から２ピクチャ目の復号が完了した時点で指定倍速による逆再生が可能となる。
【００３９】
以上のように、この実施の形態１によれば、符号化時に指定される設定倍速Ｎに従って、設定倍速Ｎの整数倍のピクチャ番号を持つＰピクチャは全てＩピクチャを参照するようにし、復号時に設定倍速Ｎと再生指定倍速Ｍに従って復号するピクチャおよび表示する復号画像の制御を行うように構成したので、全てのピクチャが最大でも３回の復号処理で復号可能であるため、高速再生および逆再生時において復号処理に必要な処理量を低減し、かつピクチャバッファに必要となるバッファサイズも低減することができる。
【００４０】
なお、上述した実施の形態１では、設定倍速が４倍速で符号化する場合について説明したが、４倍速に限るものではなく、たとえば２倍速や５倍速といった設定倍速で符号化を行ってもよい。
【００４１】
実施の形態２．
上述した実施の形態１では、画像符号化装置１００において設定倍速Ｎの倍数に該当しないピクチャ番号を有するピクチャは、ピクチャバッファ１０８に蓄積されている画像のうちピクチャ番号が最大の画像を参照画像としてＰピクチャ符号化を行う構成を示したが、この実施の形態２では、設定倍速Ｎの倍数に該当しないピクチャを、画像が画面内符号化および両方向画面間予測されるＢピクチャ符号化を行う構成を示す。Ｂピクチャ符号化は、時系列順で過去となるピクチャと未来となるピクチャの２枚の画像を参照して画面間予測符号化を行う符号化であり、ＩピクチャおよびＰピクチャと比較してより、高い圧縮性能を実現することができる。なお、実施の形態２による画像符号化装置１００の構成は、上述した実施の形態１の図１で示したブロック図と同一であるため、記載および説明を省略する。
【００４２】
図１１は、この発明の実施の形態２による画像符号化装置の符号化処理を示すフローチャートである。なお以下では、実施の形態１による画像符号化装置１００の符号化処理と同一のステップには図２で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず制御部１１１に設定倍速Ｎが設定されると（ステップＳＴ１）、制御部１１１は設定倍速Ｎに従って符号化するピクチャの順序を決定する（ステップＳＴ２１）。可変長符号化部１０４は現在のピクチャ番号がステップＳＴ１で設定された設定倍速Ｎの整数倍か否か判定を行う（ステップＳＴ２）。現在のピクチャ番号が設定倍速Ｎの整数倍であった場合（ステップＳＴ２；ＹＥＳ）、さらに入力画像信号をＩピクチャとして符号化するか否か判定を行う（ステップＳＴ３）。入力画像信号をＩピクチャとして符号化する場合（ステップＳＴ３；ＹＥＳ）、入力画像信号に対してＩピクチャ符号化を行い（ステップＳＴ４）、復号画像をピクチャバッファ１０８に蓄積する（ステップＳＴ５）。
【００４３】
一方、入力画像信号をＩピクチャとして符号化しない場合（ステップＳＴ３；ＮＯ）、可変長符号化部１０４は既に符号化されているＩピクチャの復号画像を参照元情報、すなわち参照画像としてＰピクチャ符号化を行い（ステップＳＴＳＴ６）、復号画像をピクチャバッファ１０８に蓄積する（ステップＳＴ５）。
【００４４】
さらに、現在のピクチャ番号が設定倍速Ｎの整数倍でない場合（ステップＳＴ２；ＮＯ）、可変長符号化部１０４はピクチャバッファ１０８に蓄積された画像のうちピクチャ番号が大きい上位２枚の画像を参照画像としてＢピクチャ符号化を行う（ステップＳＴ２２）。ステップＳＴ２２は具体的には、設定倍速Ｎの整数倍のピクチャが符号化されてピクチャバッファ１０８に蓄積された画像のうち直前および２つ前に蓄積された２枚の画像を参照画像としてＢピクチャ符号化を行う。その後、可変長符号化部１０４は、符号化処理を終了するか否か判定を行い（ステップＳＴ８）、終了すると判定した場合（ステップＳＴ８；ＹＥＳ）、フローを終了する。一方、終了しないと判定した場合（ステップＳＴ８；ＮＯ）、ステップＳＴ２の処理に戻り、上述した処理を繰り返す。
【００４５】
図１２は、この発明の実施の形態２による画像符号化装置の符号化ストリームを示す説明図であり、設定倍速が２倍速（Ｎ＝２）の場合を例に示している。図１２（ａ）は符号化処理を模式的に示した図である。符号化するＩ０，Ｂ１，Ｐ２，Ｂ３，Ｐ４，Ｂ５，Ｐ６，Ｂ７，Ｐ８，Ｂ９，Ｐ１０，Ｂ１１，Ｐ１２の画像において、設定倍速２の整数倍の画像であるＩ０，Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ１０，Ｐ１２を符号化し、これら以外の画像であるＢ１，Ｂ３，Ｂ５，Ｂ７，Ｂ９，Ｂ１１はそれぞれ２枚の画像を参照して符号化することを示している。
【００４６】
さらに図１２（ｂ）は、実施の形態１の図３（ｂ）と同様に被参照情報３００、蓄積ピクチャ３０１および参照元情報３０２を示している。なお、被参照情報３００が「Ｂ１」の場合、ピクチャ番号１のピクチャをＢピクチャとして符号化する旨を示している。
設定倍速である２の倍数の０，２，４，６，８，１０，１２のうち０番の画像はＩピクチャとして符号化を行い、他の画像はＩピクチャを参照画像としてＰピクチャ符号化を行う。設定倍速である２の倍数以外の画像はピクチャバッファ１０８に蓄積された画像のうち直前および２つ前に蓄積された２枚の画像を参照元情報３０２としてＢピクチャ符号化を行う。Ｂピクチャ符号化を行う際には、時系列上で過去の画像だけでなく未来の画像も参照画像として使用するため、例えばＢ１ピクチャを符号化する際には、Ｉ０およびＰ２ピクチャを符号化し、ピクチャバッファ１０８に復号画像を蓄積する必要がある。このためＩ０，Ｐ２，Ｂ１，Ｐ４，Ｂ３，・・・という順序で符号化を行う。
【００４７】
図１３は、この発明の実施の形態２による画像符号化装置の符号化ストリームを示す説明図であり、設定倍速が４倍速（Ｎ＝４）の場合を例に示している。図１３（ａ）は符号化処理を模式的に示した図である。設定倍速４の整数倍の画像であるＩ０，Ｐ４，Ｐ８，Ｐ１２を符号化し、これら以外の画像であるＢ１，Ｂ２，Ｂ３，Ｂ５，Ｂ６，Ｂ７，Ｂ９，Ｂ１０，Ｂ１１はそれぞれ２枚の画像を参照して符号化することを示している。
【００４８】
さらに図１３（ｂ）は、実施の形態１の図３（ｂ）と同様に被参照情報３００、蓄積ピクチャ３０１および参照元情報３０２を示している。
設定倍速である４の倍数である０，４，８，１２のうち０番はＩピクチャとして符号化を行い、他の画像はＩピクチャを参照画像としてＰピクチャ符号化を行う。設定倍速である４の倍数以外の画像はピクチャバッファ１０８に蓄積された画像のうち直前および２つ前に蓄積された２枚の画像を参照元情報３０２としてＢピクチャ符号化を行う。Ｂピクチャ符号化を行う際には、時系列上で過去のピクチャだけでなく未来のピクチャも参照画像として使用するため、例えばＢ１ピクチャを符号化する際には、Ｉ０およびＰ４ピクチャを符号化し、ピクチャバッファ１０８に復号画像を蓄積する必要がある。このためＩ０，Ｐ４，Ｂ１，Ｂ２，Ｂ３，Ｐ８，Ｂ５，Ｂ６，Ｂ７，・・・という順序で符号化を行う。
【００４９】
次に、この発明の実施の形態２による画像符号化装置１００により符号化された符号化ストリームを復号する画像復号装置２００について説明を行う。なお、実施の形態２による画像復号装置２００の構成および動作は、上述した実施の形態１の画像復号装置２００と同一であるため、ブロック図およびフローチャートの記載および説明を省略する。
【００５０】
図１４は、この発明の実施の形態２による画像復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、再生指定倍速が４倍速（Ｍ＝４）の場合を例に示している。図１４（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｐ４，Ｐ８，Ｐ１２を復号することを示している。さらに、Ｐ４，Ｐ８，Ｐ１２の復号においてＩ０を参照して復号することを示している。
【００５１】
さらに図１４（ｂ）は、実施の形態１の図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。なお、被参照情報４００が「Ｂ１」の場合、ピクチャ番号１のピクチャをＢピクチャとして復号する旨を示している。
制御部２０８は、再生指定倍速である４の整数倍のピクチャ番号を持つＩ０，Ｐ４，Ｐ８，Ｐ１２を復号するように制御する。設定倍速が４倍速の場合Ｉ０，Ｐ４，Ｐ８，Ｐ１２のみで復号が可能であるため、他のピクチャ番号のストリームを必要とせずに復号することが可能となる。これにより通常の復号処理量に対して処理量が１／４に削減することができ、画像復号装置２００の処理量を増加させることなく４倍再生が可能となる。
【００５２】
図１５は、この発明の実施の形態２による復号装置の符号化ストリームの復号を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、再生指定倍速が３倍速（Ｍ＝３）の場合を例に示している。図１５（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｂ３，Ｂ６，Ｂ９，Ｐ１２を復号すると共に、Ｐ４，Ｐ８も復号することを示している。さらにＢ３，Ｂ６，Ｂ９の復号において２枚の画像を参照して復号することを示している。
【００５３】
さらに図１５（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。
制御部２０８は、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｂ３，Ｂ６，Ｂ９，Ｐ１２を復号するためにＢ３，Ｂ６，Ｂ９で参照されるＰ４，Ｐ８を含むＩ０，Ｂ３，Ｐ４，Ｂ６，Ｐ８，Ｂ９，Ｐ１２を復号するように制御する。また、表示ピクチャ４０３に示すように、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｂ３，Ｂ６，Ｂ９，Ｐ１２のみを表示するように制御する。上記のように制御することにより、設定倍速と異なる再生倍速が指定された場合であっても、正常に高速再生することができる。
【００５４】
図１６は、この発明の実施の形態２による復号装置の復号処理を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、逆再生指定倍速が１倍速（Ｍ＝１）の場合を例に示している。図１６（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）から全ての画像を復号することを示している。さらにＢ１，Ｂ２，Ｂ３，Ｂ５，Ｂ６，Ｂ７，Ｂ９，Ｂ１０，Ｂ１１の復号において２枚の画像を参照して復号することを示している。
【００５５】
さらに図１６（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。
制御部２０８は、設定倍速４で符号化されたストリームを逆再生指定倍速１で復号する場合、全てのピクチャを復号するように制御する。さらにピクチャ番号の大きい順番で表示するように、復号する符号化ストリームの順番を含む符号化ストリーム制御情報および表示制御情報を生成し、ストリームバッファ２０１およびピクチャバッファ２０６に出力する。
具体的には、まず最大のピクチャ番号を持つＰ１２の復号を行うために参照元となるＩ０を復号し、次にＰ１２を復号する。次にＢ１１の復号時に参照元となるＰ８を復号し、Ｂ１１，Ｂ１０，Ｂ９と復号を行う。このように復号することにより、ピクチャバッファ２０６に格納されるピクチャは最大３枚、復号開始から２ピクチャ目の復号が完了した段階で逆再生が可能となる。
【００５６】
図１７は、この発明の実施の形態２による復号装置の復号処理を示す説明図であり、設定倍速が４倍速（Ｎ＝４）、逆再生指定倍速が３倍速（Ｍ＝３）の場合を例に示している。図１７（ａ）は復号処理を模式的に示した図である。符号化ストリーム（Ｉ０，Ｐ４，Ｐ８，Ｐ１２）からＩ０，Ｂ３，Ｂ６，Ｂ９，Ｐ１２を復号すると共に、Ｐ４，Ｐ８も復号することを示している。さらにＰ４，Ｐ８，Ｐ１２の復号においてＩ０を参照し、Ｂ３，Ｂ６，Ｂ９の復号において２枚の画像を参照して復号することを示している。
【００５７】
さらに図１７（ｂ）は、図７（ｂ）と同様に被参照情報４００、蓄積ピクチャ４０１、参照元情報４０２、および表示ピクチャ４０３を示している。
制御部２０８は、設定倍速４で符号化されたストリームを逆再生指定倍速３で復号する場合、再生指定倍速である３の整数倍のピクチャ番号を持つＩ０，Ｂ３，Ｂ６，Ｂ９，Ｐ１２を復号するためにＢ３，Ｂ９で参照されるＰ４，Ｐ８を含むＩ０，Ｂ３，Ｐ４，Ｂ６，Ｐ８，Ｂ９，Ｐ１２を復号するように制御する。さらにピクチャ番号の大きい順番で表示するように、復号する符号化ストリームの順番を含む符号化ストリーム制御情報および表示制御情報を生成し、ストリームバッファ２０１およびピクチャバッファ２０６に出力する。
具体的には、まず最大のピクチャ番号を持つＰ１２の復号を行うために参照元となるＩ０を復号し、次にＰ１２を復号する。次にＢ９の復号時に参照元となるＰ８を復号し、Ｂ９の復号を行う。このように復号することにより、ピクチャバッファ２０６に格納されるピクチャは最大３枚、復号開始から２ピクチャ目の復号が完了した時点で指定倍速による逆再生が可能となる。
【００５８】
以上のように、この実施の形態２によれば、符号化時に指定される設定倍速Ｎに従って、設定倍速Ｎの整数倍のピクチャ番号を持つＰピクチャは全てＩピクチャを参照するようにし、それ以外のピクチャをＢピクチャ符号化するように構成したので、符号化ストリームの符号量を低減可能で、かつ全てのピクチャが最大でも４回の復号処理で復号可能であるため、高速再生および逆再生時において復号処理に必要な処理量を低減し、ピクチャバッファに必要となるバッファサイズも低減することができる。
【００５９】
なお、上述した実施の形態２では、設定倍速が４倍速で符号化する場合について説明したが、４倍速に限るものではなく、たとえば２倍速や５倍速といった設定倍速で符号化を行ってもよい。
【００６０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６１】
１００  画像符号化装置、１０１  減算部、１０２  直交変換部、１０３  量子化部、１０４  可変長符号化部、１０４ａ  被参照情報符号化部、１０４ｂ  参照元情報符号化部、１０５，２０３  逆量子化部、１０６，２０４  逆直交変換部、１０７，２０５  加算部、１０８，２０６  ピクチャバッファ、１０９  動き予測部、１１０，２０７  動き補償部、１１１，２０８  制御部、２００  画像復号装置、２０８ａ  復号決定部。
【図１】
2012253677.tif 000003
【図２】
2012253677.tif 000004
【図３】
2012253677.tif 000005
【図４】
2012253677.tif 000006
【図５】
2012253677.tif 000007
【図６】
2012253677.tif 000008
【図７】
2012253677.tif 000009
【図８】
2012253677.tif 000010
【図９】
2012253677.tif 000011
【図１０】
2012253677.tif 000012
【図１１】
2012253677.tif 000013
【図１２】
2012253677.tif 000014
【図１３】
2012253677.tif 000015
【図１４】
2012253677.tif 000016
【図１５】
2012253677.tif 000017
【図１６】
2012253677.tif 000018
【図１７】
2012253677.tif 000019