(57)【特許請求の範囲】
【請求項１】
動画像を構成する各ピクチャを、フレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、
各ピクチャに適用する符号化方式を選択する制御手段と、
前記制御手段が選択した符号化方式に基づいて各ピクチャを符号化する符号化手段とを有し、
前記制御手段が、
予め定められた周期に対応する各ピクチャに対しては、前記フレーム内予測符号化方式を選択するかどうかを予め定められた基準に従って判断し、前記フレーム内予測符号化方式を選択すると判断した場合には前記フレーム内予測符号化方式を選択し、前記フレーム内予測符号化方式を選択しないと判断した場合には参照先画像がフレーム内予測符号化ピクチャ又は前記予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限された前記フレーム間予測符号化方式を選択し、
前記予め定められた周期に対応しないピクチャのうち、一部のピクチャについては、参照先画像が前記予め定められた周期に対応する符号化ピクチャに制限された前記フレーム間予測符号化方式を選択し、残りのピクチャについては、前記フレーム内予測符号化方式又は、参照先画像に制限のない前記フレーム間予測符号化方式のいずれかを選択し、
前記符号化手段が、前記予め定められた周期に対応するピクチャのうち、前記参照先画像が制限されたフレーム間予測符号化方式が前記制御手段によって選択されたピクチャに対しては、所定のサーチ速度による高速再生のときに復号化処理される第１の制限付フレーム間予測符号化ピクチャであることを示す情報を付加し、前記予め定められた周期に対応しないピクチャのうちの前記一部のピクチャに対しては、前記所定のサーチ速度よりも速いサーチ速度による高速再生のときに復号化処理される第２の制限付フレーム間予測符号化ピクチャであることを示す情報を付加することを特徴とする符号化装置。
【請求項２】
前記ピクチャを連続する予め定められた数毎にグループとして管理する管理手段を更に有し、
前記制御手段が、
前記予め定められた周期に対応するピクチャに対して前記参照先画像が制限されたフレーム間予測符号化方式を選択する際には、前記参照先画像を、当該ピクチャと同一グループに属し、かつ前記予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限することを特徴とする請求項１記載の符号化装置。
【請求項３】
前記制御手段が、前記予め定められた周期に対応するピクチャに対して前記参照先画像が制限されたフレーム間予測符号化方式を選択する際、前記参照先画像を、当該ピクチャよりも時間的に先行するピクチャとすることを特徴とする請求項１又は２記載の符号化装置。
【請求項４】
前記制御手段が、前記動画像を構成するピクチャのうち、前記予め定められた周期に対応するピクチャのｎピクチャ（ｎは自然数）置きのピクチャの各々に対して予め定めた時間内のピクチャについても、前記予め定められた周期に対応するピクチャと同様の符号化方式の選択を行うことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
【請求項５】
前記符号化手段が符号化したデータに、適用された符号化方式を表す情報を付加して出力する出力手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。
【請求項６】
複数のピクチャが符号化された動画像情報を受信し、復号化する復号化装置であって、
前記符号化された動画像情報は、
各ピクチャの符号化に用いられた符号化方式を表す情報を含み、
予め定められた周期に対応する符号化ピクチャが、フレーム内予測符号化方式で符号化されたフレーム内予測符号化ピクチャと、参照先画像がフレーム内予測符号化ピクチャ又は前記予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第１の制限付フレーム間予測符号化ピクチャとで構成され、
前記予め定められた周期に対応しない符号化ピクチャのうち、一部の符号化ピクチャが、参照先画像が前記予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第２の制限付フレーム間予測符号化ピクチャで構成され、
残りの符号化ピクチャが、前記フレーム内予測符号化ピクチャ又は参照先画像が制限されていないフレーム間予測符号化方式で符号化されたフレーム間予測符号化ピクチャで構成され、
前記復号化装置は、
前記符号化された動画像情報から、前記符号化方式を表す情報を取得する取得手段と、
前記取得手段が取得した前記符号化方式を表す情報に基づいて、前記符号化された動画像情報に含まれる各符号化ピクチャを復号化する復号化手段と、
高速再生の実行指示を検出する検出手段と、
前記検出手段が所定のサーチ速度での高速再生の実行指示を検出した場合には、前記符号化された動画像情報のうち、前記フレーム内予測符号化ピクチャと前記第１の制限付フレーム間予測符号化ピクチャとを前記復号化手段に復号化させ、前記検出手段が前記所定のサーチ速度よりも速いサーチ速度による高速再生の実行指示を検出した場合には、前記フレーム内予測符号化ピクチャ及び前記第１の制限付フレーム間予測符号化ピクチャの一部と、前記第２の制限付フレーム間予測符号化ピクチャとを前記復号化手段に復号化させる復号制御手段を有することを特徴とする復号化装置。
【請求項７】
前記復号制御手段が、
前記検出手段が前記所定のサーチ速度よりも速いサーチ速度による高速再生の実行指示を検出した場合には、サーチ速度に応じて前記フレーム内予測符号化ピクチャ及び前記第１の制限付フレーム間予測符号化ピクチャの一部を選択して前記復号化手段に復号化させることを特徴とする請求項６記載の復号化装置。
【請求項８】
動画像を構成する各ピクチャを、フレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、
制御手段が、各ピクチャに適用する符号化方式を選択する制御ステップと、
符号化手段が、前記制御ステップで選択された符号化方式に基づいて各ピクチャを符号化する符号化ステップとを有し、
前記制御ステップでは、
予め定められた周期に対応する各ピクチャに対しては、前記フレーム内予測符号化方式を選択するかどうかを予め定められた基準に従って判断し、前記フレーム内予測符号化方式を選択すると判断した場合には前記フレーム内予測符号化方式を選択し、前記フレーム内予測符号化方式を選択しないと判断した場合には参照先画像がフレーム内予測符号化ピクチャ又は前記予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限された前記フレーム間予測符号化方式を選択するとともに、
前記予め定められた周期に対応しないピクチャのうち、一部のピクチャについては、参照先画像が前記予め定められた周期に対応する符号化ピクチャに制限された前記フレーム間予測符号化方式を選択し、残りのピクチャについては、前記フレーム内予測符号化方式又は、参照先画像に制限のない前記フレーム間予測符号化方式のいずれかを選択し、
前記符号化ステップでは、前記予め定められた周期に対応するピクチャのうち、前記参照先画像が制限されたフレーム間予測符号化方式が前記制御手段によって選択されたピクチャに対しては、所定のサーチ速度による高速再生のときに復号化処理される第１の制限付フレーム間予測符号化ピクチャであることを示す情報を付加し、前記予め定められた周期に対応しないピクチャのうちの前記一部のピクチャに対しては、前記所定のサーチ速度よりも速いサーチ速度による高速再生のときに復号化処理される第２の制限付フレーム間予測符号化ピクチャであることを示す情報を付加することを特徴とする符号化方法。
【請求項９】
複数のピクチャが符号化された動画像情報を受信し、復号化する復号化方法であって、
前記符号化された動画像情報は、
各ピクチャの符号化に用いられた符号化方式を表す情報を含み、
予め定められた周期に対応する符号化ピクチャが、フレーム内予測符号化方式で符号化されたフレーム内予測符号化ピクチャと、参照先画像がフレーム内予測符号化ピクチャ又は前記予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第１の制限付フレーム間予測符号化ピクチャとで構成され、
前記予め定められた周期に対応しない符号化ピクチャのうち、一部の符号化ピクチャが、参照先画像が前記予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第２の制限付フレーム間予測符号化ピクチャで構成され、
残りの符号化ピクチャが、前記フレーム内予測符号化ピクチャ又は参照先画像が制限されていないフレーム間予測符号化方式で符号化されたフレーム間予測符号化ピクチャで構成され、
前記復号化方法は、
取得手段が、前記符号化された動画像情報から、前記符号化方式を表す情報を取得する取得ステップと、
復号化手段が、前記取得ステップが取得した前記符号化方式を表す情報に基づいて、前記符号化された動画像情報に含まれる各符号化ピクチャを復号化する復号化ステップと、
検出手段が、高速再生の実行指示を検出する検出ステップと、
再生制御手段が、前記検出ステップが所定のサーチ速度での高速再生の実行指示を検出した場合には、前記符号化された動画像情報のうち、前記フレーム内予測符号化ピクチャと前記第１の制限付フレーム間予測符号化ピクチャとを前記復号化ステップで復号化させ、前記検出ステップが前記所定のサーチ速度よりも速いサーチ速度による高速再生の実行指示を検出した場合には、前記フレーム内予測符号化ピクチャ及び前記第１の制限付フレーム間予測符号化ピクチャの一部と、前記第２の制限付フレーム間予測符号化ピクチャとを前記復号化ステップで復号化させる復号制御ステップを有することを特徴とする復号化方法。
【請求項１０】
コンピュータを、請求項１乃至５のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項６又は７記載の復号化装置の各手段として機能させるためのプログラム。
【請求項１２】
請求項１０又は１１に記載のプログラムの少なくとも一方を格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報、特には動画像情報を符号化する技術及び符号化された動画像情報を復号化する技術に関する。
【背景技術】
【０００２】
近年、映像情報に対する高画質化のニーズは高まりつつあり、テレビ放送も従来の７２０×４８０画素のＳＤ（標準画質）から、１９２０×１０８０画素のＨＤ（高画質）に移行しつつある。
【０００３】
高画質化によりデータ量が増大するため、一層高能率な符号化アルゴリズムの開発が望まれている。そして、ＩＴＵ−Ｔ ＳＧ１６やＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１で、フレーム間予測を用いた圧縮符号化方式の標準化作業が進められている。
【０００４】
現状、最も高能率符号化を実現しているといわれる符号化方式に、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ−４ ＰＡＲＴ１０）がある。この符号化方式において新たに導入された技術的な特徴の一つは、フレーム間予測符号化に用いる参照画像を、複数のフレームの中から選択可能である点である。つまり、時間的に離れた画像フレームでも、符号化効率の向上が見込まれるのなら参照画像に採用することが可能となる。
しかしながら、このような柔軟な参照画像の選択を許容したことによる高能率符号化の実現は、特殊再生時の問題を提起する（特許文献１参照）。
【０００５】
従来、動画像情報の符号化に広く用いられているＭＰＥＧ２方式においては、各画像フレームをフレーム内符号化、順方向のフレーム間符号化、双方向のフレーム間符号化のいずれかにより符号化する。そして、符号化フレームを、適用された符号化方式によってＩピクチャ、Ｐピクチャ及びＢピクチャと呼ぶ。
【０００６】
ＭＰＥＧ２方式では、Ｐピクチャの参照画像は直前のＩピクチャ又はＰピクチャに限定されていた。そのため、ＩピクチャとＰピクチャだけを抜き出し、正しく復号化して再生することが可能であり、例えば高速再生を容易に実現することができた。
【０００７】
しかし、Ｈ．２６４方式では、Ｐピクチャが複数の画像を参照画像とできるだけでなく、Ｂピクチャを参照画像とすることも許容している。従って、符号化画像ストリームからＩピクチャとＰピクチャだけを抜き出して再生しようとした場合、Ｂピクチャを参照画像としているＰピクチャは、正常な復号化を行なうことが困難となる。
【０００８】
特許文献１では、高速再生を行なう場合、Ｉピクチャから次のＩピクチャの直前のピクチャまでの間は、Ｉピクチャから少なくとも１枚目のＰピクチャまでの、時間的に連続するフレーム群を復号化する。そして、復号化したフレーム群に含まれるＩピクチャとＰピクチャのみを再生している。
【０００９】
【特許文献１】特開２００４−３２８５１１号公報（段落［０１６６］、図１２及び段落［０１８７］）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
前述のように、Ｈ．２６４方式では、フレーム間符号化時の参照画像を柔軟に選択可能としたために、特殊再生に利用可能なピクチャは原則としてＩピクチャだけとなってしまった。
【００１１】
なお、特許文献１では、ＩピクチャからＰピクチャまでのピクチャを抜き取れば、ＩピクチャとＰピクチャは復号できるように説明されている。しかし、Ｈ．２６４／ＡＶＣ標準では、Ｐピクチャに参照されるＢピクチャが、Ｉピクチャよりもさらに古いピクチャを参照することを許容しているので、Ｐピクチャが復号化できない可能性もある。特許文献１ではこのような場合の対策については開示していない。
【００１２】
特殊再生モード用にＩピクチャを多くして符号化することも考えられるが、そうすると符号化効率が下がり、柔軟な参照関係を許容したことにより高能率符号化を実現するＨ．２６４方式の特徴を活かせなくなる。
【００１３】
本発明はこのような従来技術の問題点に鑑みてなされたものであり、符号化効率の低下を抑制しながら、かつ、特殊再生が容易に行える符号化ピクチャを含めながら、動画像情報を符号化可能な符号化装置及び符号化方法を提供することを目的とする。
また、本発明の別の目的は、本発明に係る符号化装置及び符号化方法により符号化された動画像情報を復号化する復号化装置及び復号化方法を提供することにある。
【課題を解決するための手段】
【００１４】
すなわち、上述の目的は、動画像を構成する各ピクチャを、フレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、各ピクチャに適用する符号化方式を選択する制御手段と、制御手段が選択した符号化方式に基づいて各ピクチャを符号化する符号化手段とを有し、制御手段が、予め定められた周期に対応する各ピクチャに対しては、フレーム内予測符号化方式を選択するかどうかを予め定められた基準に従って判断し、フレーム内予測符号化方式を選択すると判断した場合にはフレーム内予測符号化方式を選択し、フレーム内予測符号化方式を選択しないと判断した場合には参照先画像がフレーム内予測符号化ピクチャ又は予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式を選択し、予め定められた周期に対応しないピクチャのうち、一部のピクチャについては、参照先画像が予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式を選択し、残りのピクチャについては、フレーム内予測符号化方式又は、参照先画像に制限のないフレーム間予測符号化方式のいずれかを選択し、符号化手段が、予め定められた周期に対応するピクチャのうち、参照先画像が制限されたフレーム間予測符号化方式が制御手段によって選択されたピクチャに対しては、所定のサーチ速度による高速再生のときに復号化処理される第１の制限付フレーム間予測符号化ピクチャであることを示す情報を付加し、予め定められた周期に対応しないピクチャのうちの一部のピクチャに対しては、所定のサーチ速度よりも速いサーチ速度による高速再生のときに復号化処理される第２の制限付フレーム間予測符号化ピクチャであることを示す情報を付加することを特徴とする本発明の符号化装置によって達成される。
【００１５】
また、上述の目的は、複数のピクチャが符号化された動画像情報を受信し、復号化する復号化装置であって、符号化された動画像情報は、各ピクチャの符号化に用いられた符号化方式を表す情報を含み、予め定められた周期に対応する符号化ピクチャが、フレーム内予測符号化方式で符号化されたフレーム内予測符号化ピクチャと、参照先画像がフレーム内予測符号化ピクチャ又は予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第１の制限付フレーム間予測符号化ピクチャとで構成され、予め定められた周期に対応しない符号化ピクチャのうち、一部の符号化ピクチャが、参照先画像が予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第２の制限付フレーム間予測符号化ピクチャで構成され、残りの符号化ピクチャが、フレーム内予測符号化ピクチャ又は参照先画像が制限されていないフレーム間予測符号化方式で符号化されたフレーム間予測符号化ピクチャで構成され、復号化装置は、符号化された動画像情報から、符号化方式を表す情報を取得する取得手段と、取得手段が取得した符号化方式を表す情報に基づいて、符号化された動画像情報に含まれる各符号化ピクチャを復号化する復号化手段と、高速再生の実行指示を検出する検出手段と、検出手段が所定のサーチ速度での高速再生の実行指示を検出した場合には、符号化された動画像情報のうち、フレーム内予測符号化ピクチャと第１の制限付フレーム間予測符号化ピクチャとを復号化手段に復号化させ、検出手段が所定のサーチ速度よりも速いサーチ速度による高速再生の実行指示を検出した場合には、フレーム内予測符号化ピクチャ及び第１の制限付フレーム間予測符号化ピクチャの一部と、第２の制限付フレーム間予測符号化ピクチャとを復号化手段に復号化させる復号制御手段を有することを特徴とする本発明の復号化装置によっても達成される。
【００１６】
また、上述の目的は、動画像を構成する各ピクチャを、フレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、制御手段が、各ピクチャに適用する符号化方式を選択する制御ステップと、符号化手段が、制御ステップで選択された符号化方式に基づいて各ピクチャを符号化する符号化ステップとを有し、制御ステップでは、予め定められた周期に対応する各ピクチャに対しては、フレーム内予測符号化方式を選択するかどうかを予め定められた基準に従って判断し、フレーム内予測符号化方式を選択すると判断した場合にはフレーム内予測符号化方式を選択し、フレーム内予測符号化方式を選択しないと判断した場合には参照先画像がフレーム内予測符号化ピクチャ又は予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式を選択するとともに、予め定められた周期に対応しないピクチャのうち、一部のピクチャについては、参照先画像が予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式を選択し、残りのピクチャについては、フレーム内予測符号化方式又は、参照先画像に制限のないフレーム間予測符号化方式のいずれかを選択し、符号化ステップでは、予め定められた周期に対応するピクチャのうち、参照先画像が制限されたフレーム間予測符号化方式が制御手段によって選択されたピクチャに対しては、所定のサーチ速度による高速再生のときに復号化処理される第１の制限付フレーム間予測符号化ピクチャであることを示す情報を付加し、予め定められた周期に対応しないピクチャのうちの一部のピクチャに対しては、所定のサーチ速度よりも速いサーチ速度による高速再生のときに復号化処理される第２の制限付フレーム間予測符号化ピクチャであることを示す情報を付加することを特徴とする本発明の符号化方法によっても達成される。
【００１７】
また、上述の目的は、複数のピクチャが符号化された動画像情報を受信し、復号化する復号化方法であって、符号化された動画像情報は、各ピクチャの符号化に用いられた符号化方式を表す情報を含み、予め定められた周期に対応する符号化ピクチャが、フレーム内予測符号化方式で符号化されたフレーム内予測符号化ピクチャと、参照先画像がフレーム内予測符号化ピクチャ又は予め定められた周期に対応する他のフレーム間予測符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第１の制限付フレーム間予測符号化ピクチャとで構成され、予め定められた周期に対応しない符号化ピクチャのうち、一部の符号化ピクチャが、参照先画像が予め定められた周期に対応する符号化ピクチャに制限されたフレーム間予測符号化方式で符号化された第２の制限付フレーム間予測符号化ピクチャで構成され、残りの符号化ピクチャが、フレーム内予測符号化ピクチャ又は参照先画像が制限されていないフレーム間予測符号化方式で符号化されたフレーム間予測符号化ピクチャで構成され、復号化方法は、取得手段が、符号化された動画像情報から、符号化方式を表す情報を取得する取得ステップと、復号化手段が、取得ステップが取得した符号化方式を表す情報に基づいて、符号化された動画像情報に含まれる各符号化ピクチャを復号化する復号化ステップと、検出手段が、高速再生の実行指示を検出する検出ステップと、再生制御手段が、検出ステップが所定のサーチ速度での高速再生の実行指示を検出した場合には、符号化された動画像情報のうち、フレーム内予測符号化ピクチャと第１の制限付フレーム間予測符号化ピクチャとを復号化ステップで復号化させ、検出ステップが所定のサーチ速度よりも速いサーチ速度による高速再生の実行指示を検出した場合には、フレーム内予測符号化ピクチャ及び第１の制限付フレーム間予測符号化ピクチャの一部と、第２の制限付フレーム間予測符号化ピクチャとを復号化ステップで復号化させる復号制御ステップを有することを特徴とする本発明の復号化方法によっても達成される。
【発明の効果】
【００１８】
このような構成により、本発明によれば、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法及び、対応する復号化装置及び復号化方法が実現できる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明をその好適な実施形態に基づいて説明する。
＜第１の実施形態＞
図２は、本発明の第１の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラ（ＶＣＲ）の構成例を示すブロック図である。
【００２０】
図において、ＵＩ処理部１０は、スイッチ、ボタン、タッチパネル、ダイヤル等を有し、ユーザがビデオカメラに対して動作指示や設定を行なうために用いられる。ＵＩ処理部１０に対する操作は、制御部２０へ伝えられる。
【００２１】
制御部２０は例えばマイクロコンピュータであり、例えば内部ＲＯＭに記憶された制御プログラムを実行して各部の動作を制御することにより、ビデオカメラ全体を制御する。映像入力部１００は、レンズや撮像素子、Ａ／Ｄコンバータ等を有し、被写体映像をディジタルデータに変換して出力する。符号化処理部２００は、映像入力部１００からのデジタル画像データを圧縮符号化する。
【００２２】
記録処理部３００は、符号化処理部２００で圧縮符号化されたデジタル画像データを、所定の記録方式でテープ、ディスク或いは半導体メモリ等の記録媒体４００に記録する。再生処理部５００は、記録媒体４００から符号化画像データを読み出す。復号化処理部６００は、再生処理部５００が読み出した符号化画像データを復号化する。映像出力部７００は、ＬＣＤ等の表示部を有し、復号された画像データや、設定画面等を表示する。
【００２３】
このような構成を有するビデオカメラの記録動作について説明する。
ユーザがＵＩ処理部１０を介して記録開始を指示すると、制御部２０は映像入力部１００、符号化処理部２００、記録処理部３００を制御して記録処理を開始する。記録時、被写体映像は映像入力部１００により撮影され、デジタル画像データとして出力される。画像データは、符号化処理部２００で符号化され、データ量を圧縮された符号化画像データとして出力される。なお、本実施形態においては、後述する特殊再生用ピクチャの処理も符号化処理部２００で行なう。符号化画像データは、記録処理部３００で記録媒体４００に適応した信号処理が施された後、記録媒体４００に記録される。
【００２４】
次に、特殊再生動作に関して説明する。ユーザがＵＩ処理部１０を介して特殊再生の開始を指示すると、制御部２０は再生処理部５００、復号化処理部６００及び映像出力部７００を制御して特殊再生処理を開始する。
【００２５】
再生処理部５００は、記録媒体４００に記録された符号化画像データの中から、後述する特殊再生ピクチャの符号化画像データを読み出し、復号化処理に適した信号処理を施す。読み出された特殊再生ピクチャの符号化画像データは、復号化処理部６００で画像データとして復号される。復号された画像データは逐次映像出力部７００で出力され、特殊再生表示が実現される。
【００２６】
（符号化処理）
次に、本実施形態の符号化処理部２００の構成及び動作について説明する。
図３は、本実施形態の符号化処理部２００の構成例を示すブロック図である。
図において、映像入力部１００が出力するデジタル画像データは、画像入力部２１０を介して供給される。減算器２１２は、入力画像データから、後述する予測画像情報を減算する。変換部（ＤＣＴ）２１４は、減算器２１２の出力する、画像の差分データ（予測誤差データ）に対して４×４の整数直交変換を適用する。
【００２７】
量子化部（Ｑ）２１６は、変換部２１４の出力する変換係数を、所定の量子化スケールで量子化する。エントロピー符号化部（ＥＣ）２１８は、量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮する。
【００２８】
逆量子化部（Ｉ−Ｑ）２３０は量子化された変換係数に対して逆量子化処理を施す。逆変換部（Ｉ−ＤＣＴ）２３２は、逆量子化された変換係数に逆整数直交変換を行ない、画像の差分データに戻す。加算器２３４は、復元された画像の差分データに、後述する予測画像データを加算する。
【００２９】
第１フレームメモリ（ＦＭ）２３６は、後述する予測画像データにより復元された画像データ（局所復号画像データ）を保持する。イントラ予測符号化部（Ｉｎｔｒａ）２４０は、第１フレームメモリ２３６に保持された画像データを所定のブロック単位に分割し、各ブロックの画像データをブロック周辺の画素から予測し、予測画像データを生成する。スイッチ部２６０は、ピクチャ制御部２８０の制御に従い、イントラ予測符号化部２４０と後述するインター予測符号化部２５６の一方の出力を予測画像データとして出力する。
【００３０】
デブロッキングフィルタ（ＤＢＦ）２５０は、後述する予測画像データにより復元された画像データに対し、符号化単位ブロックの境界おける不連続性（所謂ブロックノイズ）を補正する。第２フレームメモリ２５２は、ブロック境界補正処理が行われた復元画像データを、後述する予測画像データの参照画像として利用するために保持する。
【００３１】
インター予測符号化部２５６は、画像入力部２１０から入力される現在の画像データと、第２フレームメモリ２５２に保持される参照画像とから動き情報を求め、現在の画像データの予測画像データを生成する。ピクチャ制御部２８０は、ピクチャ（フレーム）毎に、適用する予測符号化方法を決定する。
【００３２】
次に、符号化動作について説明する。
画像入力部２１０から入力された画像データは、減算器２１２で予測画像データを減算され、予測画像データとの差分データが得られる。差分データは、変換部２１４でＤＣＴ等の整数直交変換が施され、周波数成分データに変換される。各周波数成分に対応する変換係数は、量子化部２１６で所定のステップ幅で量子化される。量子化された変換係数データはエントロピー符号化部２１８で圧縮符号化される。さらに、エントロピー符号化部２１８では、後述する予測符号化ピクチャに関する情報も含め、多重化されて圧縮符号化される。
【００３３】
次に、予測画像データの処理について説明する。予測画像データは、入力された予測符号化対象画像内を参照するイントラ予測符号化方式による生成方法と、入力された予測符号化対象画像以外を参照するインター予測符号化方式による生成方法がある。
【００３４】
まず、イントラ符号化予測方式による予測画像情報の生成方法について説明する。
量子化部２１６で量子化された変換係数を逆量子化部２３０で逆量子化し、変換係数を復元する。復元された変換係数は、さらに逆整数直交変換部２３２で逆整数直交変換を行なうことで、入力画像データと予測画像データとの差分データとして復元される。復元された差分データに対し、加算器２３４で後述する予測画像データを加算することにより、入力画像の復元画像データ（局所復号画像データ）が得られる。
【００３５】
この復元画像データを第１フレームメモリ２３６に記憶する。そして、この復元画像データに対し、イントラ予測符号化部２４０を用いてイントラ予測符号化を行なう。具体的には、復元画像データを所定サイズのブロック単位に分割し、各ブロック内の復元画像データを、ブロックの周辺画素値から予測する。予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、イントラ予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ａを選択させる。
このイントラ予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。
【００３６】
次に、インター予測符号化方式による予測画像データ生成方法について説明する。
加算器２３４で復元画像データを得るまでは上述した通りであるため、説明を省略する。加算器２３４で得られた復元画像データは、後述するブロック単位の境界におけるデータの不連続性（ブロックひずみ）を排除するために、デブロッキングフィルタ部２５０に送られる。デブロッキングフィルタ部２５０では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。ただし、デブロッキングフィルタはオプションであり、復元画像データにおけるブロックひずみが十分に少ないと判断されるときは、フィルタ処理を行わなくてもよい。
【００３７】
フィルタ処理された復元画像データは、第２フレームメモリ２５２に記憶する。なお、第２フレームメモリ２５２は複数フレーム（ピクチャ）分の復元画像データを保持可能な容量を有する。
【００３８】
インター予測符号化部２５６では、画像入力部２１０から供給される予測符号化対象の入力画像と、第２フレームメモリ２５２に記憶された複数の復元画像データとの相関をブロック単位で求める。そして、符号化対象ブロックと、復元画像データ中のブロックのうち相関が最も高いブロックとの相対位置関係を動き情報として検出する。さらに、この動き情報と、復元画像データに基づく予測画像データとを生成する。
【００３９】
生成されたインター予測符号化方式による予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、インター予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ｂを選択させる。
このインター予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。
【００４０】
制御部２８０は、予測符号化方式を選択する所定の方法によって、イントラ予測符号化方式（Ｉ）の場合は、スイッチ２６０ｃを２６０ａに、インター予測符号化方式（Ｐ，Ｂ）の場合は、スイッチ２６０ｃを２６０ｂに接続する。
【００４１】
さらに、制御部２８０は、インター予測符号化方式の場合は、インター予測符号化部２５６に対して、前方予測インター予測符号化方式（前方予測方式：Ｐ）か双方向予測インター符号化方式（双方向予測方式：Ｂ）かの指示をピクチャ単位に生成する。
【００４２】
前方予測方式とは、予測符号化に用いる参照画像データを、表示順で符号化対象ピクチャより前の１枚の画像から復元された復元画像データに制限するインター予測符号化方式である。一方、双方向予測方式は、このような表示順に関する制限がなく、最大２枚の画像から復元された復元画像データを参照して、予測符号化することが可能である。
制御部２８０においてピクチャ単位で選択された予測符号化方式（Ｉ，Ｐ，Ｂ）は、エントロピー符号化部２１８に送られ、符号化データに多重化される。
【００４３】
本実施形態においては、説明の簡略化のため、予測符号化方式をピクチャ単位で選択するものとしているが、画素ブロック単位で異なる予測符号化方式を適用することも可能である。例えば、Ｐピクチャを構成する画素ブロックに対しては、イントラ予測方式か前方予測方式が、Ｂピクチャを構成する画素ブロックに対してはイントラ予測方式、前方予測方式および双方向予測方式のいずれかを選択することができる。
【００４４】
このような符号化方式の対応付けにより、ＩピクチャはＩピクチャの符号化データのみから復号が可能となり、ＰピクチャはＰピクチャの符号化データと１枚の参照画像の符号化データがあれば、復号可能となる。
【００４５】
以下、本実施形態における、予測符号化方式の選択方法に関して説明する。
図５は、図２の符号化処理部２００に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。
【００４６】
図５において、Ｉ、Ｐ、Ｂは前述したイントラ予測符号化ピクチャ（Ｉピクチャ）、前方予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）をそれぞれ表し、図の左側のピクチャから順に図２の符号化処理部２００に入力される。入力順は復号化された後の表示順に等しい。
【００４７】
本実施形態においては、Ｉピクチャが１５ピクチャ間隔で設定されている。Ｉピクチャを最低１枚含む複数の符号化ピクチャ群を、グループオブピクチャ（ＧＯＰ）と呼び、別に管理する。図５において、Ｂ０〜Ｐ１４の１５枚のピクチャからなるピクチャ群１０００がひとつのＧＯＰである。
【００４８】
前述したように、Ｉピクチャは、Ｉピクチャの符号化データのみを用いて復号することが可能である。従って、各ＧＯＰでＩピクチャの位置を管理しておけば、符号化データの中からＩピクチャの符号化データを取り出し復号することが可能であり、本実施形態では１５ピクチャ間隔での復号表示が可能となる。各ＧＯＰから抜き出して復号したＩピクチャを通常のフレームレートで表示すれば、１５倍速相当の特殊再生表示を実現することができる。
【００４９】
また、図５において、Ｉ、Ｐ、Ｂに続く数字０〜１４は、ＧＯＰ単位での、図２の符号化処理部２００に入力する順を示している。
さらに、図中の矢印は、インター予測符号化ピクチャ（ＰピクチャあるいはＢピクチャ）が用いる参照画像データを示している。すなわち、本例において、ピクチャＰ５は、前ＧＯＰのピクチャＰ１４を参照している。ピクチャＰ１１は、ピクチャＰ５を参照している。ピクチャＰ８は、ピクチャＩ２を参照している。ピクチャＰ１４は、ピクチャＰ８を参照している。一方、ピクチャＢ０はピクチャＰ１４とＢ１を参照している。ピクチャＢ１はピクチャＰ１４とＩ２を参照している。
【００５０】
このように、Ｈ．２６４方式では、Ｐピクチャが直近でないＩピクチャやＰピクチャを参照することも可能であり、さらには、図示していないがＢピクチャの参照も許容されている。また、Ｂピクチャが他のＢピクチャを参照したり、直近のＩピクチャやＰピクチャよりも時間的に離れたピクチャを参照することも許容されている。このような、柔軟な参照ピクチャの選択を許容することで、最も相関の高いピクチャを参照画像として選択することが可能となり、結果として、高能率な符号化を可能としている。
【００５１】
しかしながら、図５のように自由な参照を許容すると、上述したように、特殊再生時、特には高速再生する場合に弊害が発生する。図５においては１ＧＯＰが１５ピクチャで構成されているので、１５倍速の再生表示は各ＧＯＰに含まれるＩピクチャのみを復号することにより可能である。しかし、例えば６倍速表示を行う場合には、Ｐピクチャの復号も必要となる。
【００５２】
次に、本実施形態における制御部２８０が符号化予測方式を選択する原理について、図６を用いて説明する。
図６において、２０００及び２００１はＧＯＰ、２１００及び２１０１はＩピクチャ、２２００〜２２０３と２３００〜２３０３はＰピクチャを表している。
【００５３】
ここで、Ｐピクチャ２２００は直近のＰピクチャ２３００を飛び越して同一ＧＯＰ２０００内のＩピクチャ２１００を参照している。また、Ｐピクチャ２２０１は直近のＰピクチャ２３０１を飛び越して同一ＧＯＰ２０００内のＰピクチャ２２００を参照している。さらに、Ｐピクチャ２２０２は同一ＧＯＰ２００１内の直近のＩピクチャ２１０１を参照している。また、Ｐピクチャ２２０３は直近のＰピクチャ２３０２を飛び越して同一ＧＯＰ２００１内のＰピクチャ２２０２を参照している。
【００５４】
本実施形態によれば、Ｉピクチャ２１００およびＰピクチャ２２００〜２２０３は、６ピクチャ毎の等間隔に配置されている。また、これらのピクチャを復号するには、上記ピクチャ２１００と２２００〜２２０３に、あとＩピクチャ２１０１を復号すれば全て復号できる参照関係を維持している。本実施形態の場合、６枚毎（５枚おき）に復号可能なピクチャが存在するので、これらのピクチャを抜き出して通常のフレームレートで表示すれば、６倍速再生表示が可能となる。
【００５５】
このように、本実施形態では、高速再生表示に使用する前方予測符号化ピクチャの参照画像を、同一ＧＯＰ内のＩピクチャ、あるいは再生速度に応じた数のピクチャを隔てた前方のＰピクチャに制限する。これにより、Ｉピクチャと、参照先が制限されたＰピクチャで構成される等間隔のピクチャの復号を、同一ＧＯＰ内のＩピクチャあるいは等間隔にあるＰピクチャの符号化データだけで実現することが可能になる。
【００５６】
換言すれば、所望の再生速度が実現できるように、Ｉピクチャと特殊再生用のＰピクチャ（参照画像を制限されたＰピクチャ）を等間隔で配置することで、任意の再生速度を実現することが可能となる。
【００５７】
次に、図１のフローチャートを用い、本実施形態における符号化処理部２００における符号化方式の選択動作について説明する。
まず、符号化時に各ピクチャの符号化方式の選択が開始される。符号化対象ピクチャが符号化処理部２００に入力されると（Ｓ２４０１）、入力されたピクチャに対して、イントラ符号化方式を適用するかどうかを、所定の方法で判断する（Ｓ２４０２）。イントラ符号化方式を適用しなければ、Ｈ．２６４方式で行われる通常の方法で、符号化方式を選択する（Ｓ２４０３）。一般的には、入力される最初の２枚のピクチャに対しては双方向予測符号化方式が選択、決定される。
【００５８】
一方、イントラ符号化方式が選択された場合（Ｓ２４０２）、カウンタ（変数ｋ）を１に初期設定し、入力されたピクチャに対してイントラ符号化処理を行う（Ｓ２４１０）。次のピクチャが符号化処理部に入力されると（Ｓ２４１１）、カウンタ値ｋが６になっているか否かを判断する（Ｓ２４１３）。ｋ＝６でなければ、カウンタ値を１インクリメントして（Ｓ２４１４）、通常行われる所定の方法で符号化方式を選択する（Ｓ２４１５）。選択された符号化方式で符号化処理を行ったあと、符号化処理の終了が指示されているかどうか判断し（Ｓ２４１６）、終了指示がなければ、引き続きピクチャが符号化処理部２００に入力される（Ｓ２４１１）。終了指示があれば、符号化処理も終了し、符号化方式の選択も終了する。
【００５９】
一方、Ｓ２４１３において、カウンタ値ｋ＝６である場合、まず、カウンタ値ｋを１にリセットし（Ｓ２４２０）、Ｓ２４０２と同様にしてＩピクチャとするかどうかを判断する（Ｓ２４２１）。Ｉピクチャとすると判断された場合には、イントラ符号化方式を選択し（Ｓ２４２２）、Ｓ２４１６へ進む。
【００６０】
Ｓ２４２１でＩピクチャとしないと判断された場合、参照先を制限した前方予測符号化方式を選択する（Ｓ２４２３）。すなわち、図６で説明したように、同一ＧＯＰ内にある、Ｉピクチャあるいは同様の参照先制限の元に符号化されたＰピクチャ（制限されたＰピクチャ）を参照画像として用いた前方予測符号化方式を選択する。
なお、制限されたＰピクチャの符号化画像データには、制限されたＰピクチャであることをメタデータとして多重化する。
【００６１】
次に、制限されたＰピクチャの再生方法に関して、図４を用いて説明する。
図４は、図２の復号化処理部６００の構成例を示すブロック図である。
再生処理部５００からの符号化データは、データ入力部６１０から入力される。また、システム全体の制御部（図２の２０）からの復号化処理の指示は、制御入力部６１１を介して入力される。エントロピー復号化処理部６１２は、エントロピー符号化された符号化データに対して復号化処理を行ってデータ伸長する。エントロピー復号化処理部６１２では、符号化データに多重化された動き情報等のメタデータも生成する。
【００６２】
逆量子化処理部（Ｉ−Ｑ）６１４は、エントロピー復号化処理されたデジタルデータに対し、所定の量子化スケールで逆量子化して整数変換係数を算出する。逆整数変換部（Ｉ−ＤＣＴ）６１６は、算出された整数変換係数に対して逆整数変換を施し、画像データを復元する。加算器６１８は復元された画像データに対し、後述する予測画像データを加算する。
【００６３】
スイッチ部６３５は予測方式制御部６８０により制御され、加算器６１８の出力（復号された画像データ）を、第３フレームメモリ（ＦＭ）６３６又はデブロッキングフィルタ部（ＤＢＦ）６５０のいずれかへ出力する。第３フレームメモリ６３６は、スイッチ部６３５から供給される、復号された画像データを保持する。イントラ予測復号化部６４０は、第３フレームメモリ６３６に保持された画像データを用いて、復号化処理されるブロックの周辺画素からブロック内の画像データを予測する。スイッチ部６６０は、予測方式制御部６８０により制御され、イントラ予測復号化部６４０又はインター予測復号化部６５６のいずれかの出力を加算器６１８へ出力する。
【００６４】
デブロッキングフィルタ部６５０は、復号された画像データに対してブロック境界の不連続性を補正する。第４フレームメモリ６５２は、ブロック境界補正処理が行われた局所復号画像データを参照画像として保持する。
【００６５】
インター予測復号化部６５６は、第４フレームメモリに保持された複数の参照画像と、エントロピー復号化処理で生成された動き情報等のメタデータを用いて、予測画像データを生成する。
予測方式制御部６８０は、エントロピー復号化処理部６１２で生成された動き情報等の予測符号化に関するメタデータに従って、ピクチャ単位で予測復号化処理方法を制御する。
【００６６】
図４を参照して、本実施形態における特殊再生処理について説明する。ここでは、特殊再生の例として、上述の符号化処理で生成した符号化データを用いた６倍速再生処理を説明する。
【００６７】
データ入力部６１０から入力された符号化データは、エントロピー復号化処理部６１２でエントロピー復号され、画像データと、符号化データに多重化されたメタデータとに分けられる。メタデータは、動き情報や符号化方式に関する情報を示すデータである。６倍速再生処理を行う場合、メタデータを参照して、Ｉピクチャあるいは参照先が制限されたＰピクチャの画像データのみを復号化する。
【００６８】
まず、逆量子化部６１４で、エントロピー復号化された画像データを所定の量子化スケールで逆量子化し、整数変換係数を生成する。この整数変換係数に対して逆整数変換部６１６で逆整数変換を施すことで、画素データが復元される。復元された画素データは後述する予測画像データを加算器６１８で加算して、最終的な復号結果である画像データを生成する。この復号画像データは、出力部６２０から出力される。
【００６９】
また、復号された画像データは、その後の復号化処理で用いられる参照画像データとしてスイッチ部６３５に送られる。一方、エントロピー復号化処理部６１２で生成された予測符号化方式に関するメタデータは、予測方式制御部６８０に送られる。予測方式制御部６８０では、制御入力部６１１を介してシステム全体の制御部２０から特殊再生の指示を受けているかどうかと、メタデータとに基づいて、スイッチ部６３５を制御する。
【００７０】
即ち、特殊再生指示（この場合は６倍速再生指示）がある場合は、メタデータを参照してＩピクチャまたは参照先が制限されたＰピクチャのみを選別し、Ｉピクチャの場合はスイッチ６３５ｃと６３５ａを接続し、参照先が制限されたＰピクチャの場合はスイッチ６３５ｃと６３５ｂを接続する。これにより、Ｉピクチャの復号画像は第３フレームメモリ６３６に格納され、イントラ予測復号化部６４０が、周辺の復号された画像データから、イントラ予測復号化された予測画像データを生成し、スイッチ部６６０に送る。Ｉピクチャの場合、予測方式制御部６８０の指示によりスイッチ６６０ａと６６０ｃが接続され、予測画像データが加算器６１８に送られる。
【００７１】
一方、参照先が制限されたＰピクチャの場合、復号された画像データはブロック境界補正をデブロッキングフィルタ部６５０で処理された後、第４フレームメモリ６５２に保持される。保持された画像データは、参照先が制限された他のＰピクチャの参照画像として保持され、このデータと、エントロピー復号化処理部６１２で生成された予測符号化に関するメタデータとから、インター予測復号化部６５６が予測画像データを生成する。予測画像データは、スイッチ部６６０に送られる。スイッチ部６６０では、予測方式制御部６８０によりスイッチ６６０ｂと６６０ｃが接続され、予測画像データは加算器６１８に送られて画像データの復号化処理に使われる。
【００７２】
このように、本実施形態によれば、特殊再生の指示がなされた場合、復号化処理部６００はＩピクチャあるいは参照先が制限されたＰピクチャのみを復号することが可能となり、特殊再生をスムーズに行うことができる。
【００７３】
また、特殊再生に用いるＩピクチャあるいは参照先が制限されたＰピクチャは、所定ピクチャ数毎かつ等間隔に含まれるように符号化することで、所定数倍速の特殊再生を容易に実現することが可能となる。
【００７４】
なお、本実施形態では特殊再生の例として６倍速再生を実現する場合を説明したが、復号化したピクチャを更に間引いて再生することにより、１２倍速、１８倍速、２４倍速等の高速生成が可能であることはいうまでもない。また、Ｉピクチャと参照先が制限されたＰピクチャの出現頻度を増加させて符号化を行えば、２倍速〜５倍速（及びその倍数速）の再生も実現可能であることは容易に理解されよう。さらに、Ｉピクチャのみを抜き出して再生する従来の特殊再生方法も利用することが可能である。
【００７５】
さらに、本実施形態では、特殊再生用ピクチャの出現頻度は、ＧＯＰを構成するピクチャの数とは独立して設定可能なので、特殊再生用ピクチャの出現頻度を柔軟に設定することが可能である。
【００７６】
さらに、本実施形態において、特殊再生用ピクチャをＩピクチャより符号化効率の高いＰピクチャを主に用いて実現しているので、符号化効率の低下を抑制しながら容易な特殊再生を可能としている。
【００７７】
本実施形態においては、参照先を同一ＧＯＰ内のＩピクチャ又は参照先が制限された他のＰピクチャに制限したＰピクチャを特殊再生用のＰピクチャとしている。しかし、このような参照関係を満たしさえすれば、他の符号化方式のピクチャを用いてもよい。例えば、参照画像関係が所定枚数で完結しているランダムアクセス可能なインター符号化予測ピクチャを特殊再生用ピクチャとしてもよい。
【００７８】
＜第２の実施形態＞
次に、第２の実施形態について説明する。
本実施形態も第１の実施形態で説明したビデオカメラに適用可能であるため、第１の実施形態で説明した内容については省略する。
【００７９】
図７は、本実施形態に係るビデオカメラが行う符号化方式の選択例を示す図である。図において、２５００〜２５０５はＧＯＰとして管理されるピクチャ群、２６００〜２６０５はＩピクチャ、２７００〜２７１１と２８００〜２８１１はそれぞれＰピクチャを表している。
【００８０】
ここで、Ｐピクチャ２８００及び２７００は、同一ＧＯＰ２５００内のＩピクチャ２６００を参照している。次に、Ｐピクチャ２７０１は同一ＧＯＰ２５００内のＰピクチャ２７００を参照し、Ｐピクチャ２７０２は同一ＧＯＰ２５０１内のＩピクチャ２６０１を参照している。さらに、Ｐピクチャ２７０３は同一ＧＯＰ２５０１内のＰピクチャ２７０２を参照し、Ｐピクチャ２８０３は同一ＧＯＰ２５０１内のＰピクチャ２７０３を参照し、Ｐピクチャ２７０３の３ピクチャ後にＩピクチャ２６０２がある。
【００８１】
また、Ｐピクチャ２７０４は同一ＧＯＰ２５０２内のＩピクチャ２６０２を参照し、Ｐピクチャ２８０５、２７０５は、同一ＧＯＰ２５０２内のＰピクチャ２７０４を参照している。さらに、Ｐピクチャ２７０６は同一ＧＯＰ２５０３内のＩピクチャ２６０３を参照し、Ｐピクチャ２８０６，２７０７は同一ＧＯＰ２５０３内のＰピクチャ２７０６を参照している。以降、Ｐピクチャ２８０８、２７０８、２７０９、２７１０、２７１１，２８１１は同様のパターンで参照関係が制限されている。
【００８２】
本実施形態においては、Ｐピクチャ２７００〜２７１１の参照先の制限は第１の実施形態と同じである。これを第１の制限符号化方式とするならば、Ｐピクチャ２８００、２８０３、２８０５、２８０６、２８０８、２８１１が新たな制限を加えた第２の制限符号化方式となる。
【００８３】
本実施形態によれば、Ｉピクチャ２６００、２６０２、２６０４およびＰピクチャ２７００〜２７１１は、６ピクチャ毎（５ピクチャおき）の等間隔で配置されている。これらのピクチャを復号するには、自身の他に、あとＩピクチャ２６０１、２６０３、２６０５を復号すればよい。
【００８４】
従って、Ｉピクチャと、第１の制限符号化方式が適用されたＰピクチャを抜き出すことで、抜き出したピクチャの全てを復号化することができる。その結果、全ピクチャを６枚毎に復号可能となるので、復号結果を通常のフレームレートで表示すれば、６倍速再生表示が可能である。これは、第１の実施形態と同じである。
【００８５】
本実施形態の場合、第１の制限符号化方式を適用したＰピクチャ（第１の制限付きＰピクチャ）に加えて、Ｐピクチャ２８００、２８０３、２８０５、２８０６、２８０８、２８１１に第２の制限符号化方式を適用している。
【００８６】
第２の制限符号化方式を適用したＰピクチャ（第２の制限付きＰピクチャ）もまた、同一ＧＯＰ内のＩピクチャ又は第１の制限付きＰピクチャのみを参照するように制限されている。これにより、Ｉピクチャ、第１及び第２の制限付きＰピクチャだけで参照関係が完結している。つまり、残りのピクチャ群とは独立して復号することが可能である。
【００８７】
ここで、１０倍速超の特殊再生を考える。例えば、６倍速よりも２倍高速な１２倍速再生を考えたとき、最も単純な実現方法は、６枚毎に含まれるＩピクチャあるいは第１の制限付きＰピクチャを１枚おき、つまり１２ピクチャあたり１枚の画像データを通常レートで再生表示する方法である。
【００８８】
しかし、１１枚置きのピクチャは相関が高くない場合があり、この場合にはコマ落ちした動画像の表示もしくは静止画の羅列表示といった不自然な印象をユーザに与えてしまう。そこで、本実施形態では、１２枚おきに表示する特殊再生用ピクチャの間に、表示される特殊再生用ピクチャと相関の強い画像をさらに表示する。これにより、視覚的な不自然さを抑制し、動画的な滑らかな画像の切り替わりを印象づけることができる。
【００８９】
本実施形態においては、第１の実施形態で説明した、参照先画像を制限した特殊再生用Ｐピクチャ（以下、第１の制限付Ｐピクチャという）に加え、第２の制限付Ｐピクチャを設けることにより、上述の高速再生時の視覚特性改善を実現する。
【００９０】
つまり、予め定めた再生速度を超える高速再生の場合（ここでは、１２倍速以上の場合とする）は、例えば以下のピクチャを順次再生表示する。
復号化処理  Ｉピクチャ２６００、
復号化処理  第２の制限付Ｐピクチャ２８００、
復号化処理  第１の制限付Ｐピクチャ２７０１、
復号化処理  Ｉピクチャ２６０１、
復号化処理  第１の制限付Ｐピクチャ２７０３、
復号化処理  第２の制限付Ｐピクチャ２８０３、
復号化処理  第１の制限付Ｐピクチャ２７０４、
復号化処理  第２の制限付Ｐピクチャ２８０５、
復号化処理  第１の制限付Ｐピクチャ２７０６、
復号化処理  第２の制限付Ｐピクチャ２８０６、
復号化処理  Ｉピクチャ２６０４、
復号化処理  第２の制限付Ｐピクチャ２８０８、
復号化処理  第１の制限付Ｐピクチャ２７０９、
復号化処理  Ｉピクチャ２６０５、
復号化処理  第１の制限付Ｐピクチャ２７１１、
復号化処理  第２の制限付Ｐピクチャ２８１１、
：
【００９１】
この例では、１２枚おきに表示する特殊再生用ピクチャ（２６００、２７０１、２７０３、２７０４、２７０６、２６０４、２７０９、２７１１）の１つおきに、３ピクチャ後のピクチャ（２８００、２６０１、２８０３、２８０５、２８０６、２８０８、２６０５、２８１１）を特殊再生用ピクチャと相関の強いピクチャとして追加表示している。
【００９２】
これにより、１２ピクチャ離れたピクチャの相関の低さによる視覚的な不自然さを低減し、動画らしく滑らかな表示を行うことが可能となる。なお、このように、表示するピクチャ数を増加させるので、実際は１２枚おきではあるが６倍速再生のピクチャ更新速度になっている。しかしながら、本実施形態は、相関の低いピクチャの高速サーチ時の視覚的な改善を主眼としたもので、１２倍速という数値そのものはあまり意味を持たない。つまり、相関の低い高速ピクチャのサーチ速度が２４倍速であれば、実際の更新速度は挿入枚数分だけ低下するため、１２倍速になる。しかし、体感的なサーチ速度が半分に低下するわけではないし、視覚的特性の改善の効果により、実用的な高速再生を提供することが可能である。本実施形態では、説明の簡便さから１２倍速で説明したため、６倍速の画面更新率と変わらない説明にはなっているが、これは内容を把握しやすくするという本発明の目的からは、実用上あまり問題とならないことを説明しておく。仮に、６倍速サーチから１２倍速サーチに変わって、表示時間が変わらないということに違和感を覚えるユーザがいる場合には、６倍速の次の高速サーチ速度を２４倍速にすればよい。また、１２倍速を抽出したピクチャの片方のフィールドだけを表示し1/60秒でフレームを更新しても、この違和感は解消される。
【００９３】
このように、本実施形態では、２つの制限付符号化方式を用いる。第１の制限付符号化方式は、高速再生に使用する前方予測ピクチャ（Ｐピクチャ）の参照先を、同一ＧＯＰ内のＩピクチャあるいは、第１の制限付符号化方式が適用された他のＰピクチャに制限する。また、第２の制限付符号化方式は、高速再生に用いられるピクチャと相関の強い前方予測ピクチャの参照先を、同一ＧＯＰ内のＩピクチャ、あるいは第１の制限付符号化方式が適用された他のＰピクチャに制限する。
【００９４】
なお、本実施形態では、第２の制限付符号化方式を適用するピクチャを、高速再生に用いられるピクチャの次に現れるＩピクチャ又はＰピクチャとした。図７に示すようなＩ，Ｐ，Ｂピクチャの並びであれば、高速再生に用いられるピクチャの３ピクチャ後のピクチャとなる。
【００９５】
これにより、Ｉピクチャと第１および第２の制限付Ｐピクチャで構成されるピクチャの復号を、同一ＧＯＰ内のＩピクチャあるいは第１および第２の制限付Ｐピクチャの符号化データだけで実現できることになる。
【００９６】
次に、図８のフローチャートを用い、本実施形態における符号化処理部における符号化方式の選択動作について説明する。
まず、符号化時に各ピクチャの符号化方式の選択が開始される。符号化対象ピクチャが符号化処理部２００に入力されると（Ｓ２９０１）、入力されたピクチャに対して、イントラ符号化方式を適用するかどうかを、所定の方法で判断する（Ｓ２９０２）。イントラ符号化方式を適用しなければ、Ｈ．２６４方式で行われる通常の方法で、符号化方式を選択する（Ｓ２９０３）。一般的には、入力される最初の２枚のピクチャに対しては双方向予測符号化方式が選択、決定される。
【００９７】
一方、入力されたピクチャがイントラ符号化方式を適用した場合（Ｓ２９０２）、第１のカウンタｋ＝１、第２のカウンタｌ＝０、第２の制限付符号化フラグｆｒａｇ＝１に初期設定し、入力されたピクチャに対してイントラ符号化処理を行う（Ｓ２９１０）。
【００９８】
次のピクチャが符号化処理部２００に入力されると（Ｓ２９１１）、第１のカウンタ値ｋが６になっているか否かを判断する（Ｓ２９１３）。ｋ＝６でなければ、第２の制限付符号化フラグｆｒａｇ＝１かつ、ＩあるいはＰピクチャであるかどうかを判断する（Ｓ２９１４）。通常、Ｉピクチャの次はＢピクチャとなるので、条件を満たさず、第１のカウンタ値ｋを１インクリメントして（Ｓ２９１５）、通常行われる所定の方法で符号化方式を選択する（Ｓ２９１６）。
【００９９】
選択された符号化方式で符号化処理を行ったあと、符号化処理の終了が指示されているかどうか判断し（Ｓ２９１７）、終了指示がなければ、引き続きピクチャが符号化処理部２００に入力される（Ｓ２９１１）。終了指示があれば、符号化処理も終了し、符号化方式の選択も終了する（Ｓ２９５０）。
【０１００】
引き続き入力されるピクチャの処理において、第１のカウンタｋが６でなく（Ｓ２９１３）、第２の制限付符号化フラグｆｒａｇ＝１かつ、ＩあるいはＰピクチャである場合（Ｓ２９１４，Ｙｅｓ）、Ｓ２９４０へ進む。例えば、例えばＢピクチャ２枚の後に続くＰピクチャが入力された場合、このような処理となる。まず、第１のカウンタ値ｋを１インクリメントし、第２の制限付符号化フラグｆｌａｇ＝０に戻す（Ｓ２９４０）。そして、第２の制限付符号化方式を選択される（Ｓ２９４１）。
【０１０１】
これにより、等間隔（ここでは６ピクチャ毎）に配置された、第１の制限付符号化方式を選択されたピクチャの１つおきに、直近のＰあるいはＩピクチャが第２の制限付符号化方式を選択される。ここで、第２の制限付符号化方式が選択されても、Ｉピクチャの場合は特別な処理をすることはなく、通常のイントラ予測符号化を行う。一方、Ｐピクチャの場合は、参照先を、同一ＧＯＰ内のＩピクチャあるいは第１の制限付Ｐピクチャに制限したインター予測符号化を行う。なお、Ｐピクチャについては、第２の制限付符号化ピクチャであることをメタデータとして管理し、ストリームに重畳する。
【０１０２】
ところで、第１のカウンタｋ＝６になっている場合（Ｓ２９１３）は、まず、第１のカウンタｋを１にリセットし、第２のカウンタｌを１インクリメントする（Ｓ２９２０）。次に、第２のカウンタｌの値の２の剰余が０であるかどうかを判断し（Ｓ２９２１）、０の場合は、第２の制限付符号化フラグｆｌａｇを１にセットする（Ｓ２９３０）。これにより、等間隔に設定された第１の制限付ピクチャ（Ｐ又はＩピクチャ）に対して、１つおきに第２の制限付ピクチャを設定するフラグをセットすることになる。この処理（Ｓ２９３０）の後あるいは、第２のカウンタｌの２の剰余が１の場合（Ｓ２９２１）には、Ｓ２９０２と同様にしてＩピクチャとするかどうかを判断する（Ｓ２９２３）。Ｉピクチャとすると判断された場合には、イントラ符号化方式を選択し（Ｓ２９２４）、Ｓ２９１７へ進む。
【０１０３】
Ｓ２９２３でＩピクチャとしないと判断された場合、第１の制限付符号化方式を選択する（Ｓ２９２２）。すなわち、図６で説明したように、同一ＧＯＰ内にある、Ｉピクチャあるいは同様の参照先制限の元に符号化されたＰピクチャ（制限されたＰピクチャ）を参照画像として用いた前方予測符号化方式を選択する。なお、第１の制限付符号化方式で符号化された符号化画像データには、第１の制限付符号化方式が適用されたピクチャであることをメタデータとして管理し、ストリームに重畳する。
【０１０４】
本実施形態において生成される符号化データストリームの再生方法は、図４を用いて説明した第１の実施形態と基本的に同様の手順で行うことができるため、説明は割愛する。第１の実施形態と異なるのは、制御入力部６１１から入力される高速再生指示の再生速度に応じて、復号化及び表示を行うピクチャを切り替える点にある。
【０１０５】
すなわち、本実施形態では、６倍速再生の指示が制御入力部６１１からあった場合には、第１の実施形態で説明した通りの高速再生表示処理を行う。一方、予め定めた速度以上の高速再生（ここでは１２倍速再生）の指示が入力された場合、エントロピー復号化処理部６１２が生成するメタデータに基づき、Ｉピクチャ、第１の制限付Ｐピクチャに加え、第２の制限付Ｐピクチャも復号化対象とする。そして、図７を用いて説明したように、１２ピクチャ毎の等間隔のピクチャと、第２の制限付Ｐピクチャを表示する。
【０１０６】
本実施形態では、高速再生時に表示するピクチャの間隔が大きくなり、表示画像間の相関が低下することによる視覚特性の悪化を抑制するため、第２の制限付ピクチャを用いている。上述の説明では、６倍速再生では第２の制限付ピクチャを再生せず、１２倍速再生の場合に第２の制限付ピクチャを再生することとしたが、これらの再生速度は適宜定めることができる。
【０１０７】
さらに、本実施形態では、第２の制限付符号化方式を適用するピクチャをＰピクチャに限定して説明した。しかし、第１の制限付ピクチャに挟まれたＢピクチャの参照先を同一ＧＯＰ内の第１制限付ピクチャに制限することによっても、同様の効果が得られる。
【０１０８】
さらに、本実施形態では、特殊再生用ピクチャの出現頻度は、ＧＯＰを構成するピクチャの数とは独立して設定可能なので、特殊再生用ピクチャの出現頻度を柔軟に設定することが可能である。
【０１０９】
さらに、本実施形態において、特殊再生用ピクチャをＩピクチャより符号化効率の高いＰピクチャを主に用いて実現しているので、符号化効率の低下を抑制しながら容易な特殊再生を可能としている。
【０１１０】
また、第１の実施形態と同様、本実施形態においても、参照先を同一ＧＯＰ内のＩピクチャ又は参照先が制限された他のＰピクチャに制限したＰピクチャを特殊再生用のＰピクチャとしている。しかし、このような参照関係を満たしさえすれば、他の符号化方式のピクチャを用いてもよい。例えば、参照画像関係が所定枚数で完結しているランダムアクセス可能なインター符号化予測ピクチャを特殊再生用ピクチャとしてもよい。
【０１１１】
（他の実施形態）
上述の実施形態では、インター予測方式を利用したビデオカメラに本発明を適用した場合について説明した。しかし、本発明は、インター予測方式を利用したビデオプレーヤやビデオレコーダなど、他の機器においても同様に適用可能である。そして、本発明を適用することにより、符号化効率の低下を抑制しながら、特殊再生を容易に行うことが可能となる。
【０１１２】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
【０１１３】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１１４】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１１５】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１６】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１１７】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１１８】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１１９】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１２０】
【図１】本発明の第１の実施形態に係る符号化処理部における符号化方式の選択動作を説明するフローチャートである。
【図２】本発明の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラの構成例を示すブロック図である。
【図３】本発明の実施形態に係る符号化処理部の構成例を示すブロック図である。
【図４】本発明の実施形態に係る復号化処理部の構成例を示すブロック図である。
【図５】図２の符号化処理部に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。
【図６】本発明の第１の実施形態における符号化予測方式の選択方法を説明する図である。
【図７】本発明の第２の実施形態における符号化予測方式の選択方法を説明する図である。
【図８】本発明の第１の実施形態に係る符号化処理部における符号化方式の選択動作を説明するフローチャートである。
【図１】
0004810298.tif 000002
【図２】
0004810298.tif 000003
【図３】
0004810298.tif 000004
【図４】
0004810298.tif 000005
【図５】
0004810298.tif 000006
【図６】
0004810298.tif 000007
【図７】
0004810298.tif 000008
【図８】
0004810298.tif 000009