(57)【要約】【課題】  インター予測の精度を向上させる。【解決手段】  符号化したピクチャが、ＩピクチャまたはＰピクチャであった場合には、参照リスト（List 0）と、参照リスト（List 1）との双方を更新するのに対し、符号化したピクチャが、Ｂピクチャであった場合は、参照リスト（List 1）のみを更新するようにすることにより、Ｐピクチャで使用する参照リスト（List 0）には、Ｂピクチャを加えず、Ｂピクチャでのみ使用する参照リスト（List 1）にＢピクチャを加えるようにして、Ｂピクチャを符号化する際の、インター予測の予測対象のピクチャを増やし、インター予測の精度を向上させることができるようにする。【選択図】  図３
2006324906.tif 000002
【特許請求の範囲】
【請求項１】
異なるフレームの複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う符号化ステップと、
前記符号化ステップにより符号化が行われたピクチャを前記参照ピクチャとして管理するピクチャ管理ステップとを有し、
前記画像データは、動き補償予測を行わないＩピクチャ、前方向予測を行うＰピクチャ、及び双方向予測を行うＢピクチャを含むものであり、
前記参照ピクチャは、前記符号化を行うピクチャが、前記Ｐピクチャ又は前記Ｂピクチャである場合に参照される第１の参照ピクチャと、前記符号化を行うピクチャが、前記Ｂピクチャである場合にのみ参照される第２の参照ピクチャとを有し、
前記ピクチャ管理ステップは、前記Ｂピクチャの符号化が行われた後、そのＢピクチャを、前記第２の参照ピクチャとしてのみ管理することを特徴とする画像符号化方法。
【請求項２】
前記ピクチャ管理ステップは、前記Ｐピクチャの符号化が行われた場合には、そのＰピクチャを、前記第１及び第２の参照ピクチャとして、第１及び第２の参照リストに加え、前記Ｂピクチャの符号化が行われた場合には、そのＢピクチャを、前記第２の参照ピクチャとして、前記第２の参照リストのみに加え、
前記Ｐピクチャは、前記第１の参照リスト内にある第１の参照ピクチャを用いた動き補償予測を行うものであり、
前記Ｂピクチャは、前記第１の参照リスト内にある第１の参照ピクチャ、及び第２のリストにある第２の参照ピクチャを用いた動き補償予測を行うものであることを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
異なるフレームの複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う符号化手段と、
前記符号化手段により符号化が行われたピクチャを前記参照ピクチャとして管理するピクチャ管理手段とを有し、
前記画像データは、動き補償予測を行わないＩピクチャ、前方向予測を行うＰピクチャ、及び双方向予測を行うＢピクチャを含むものであり、
前記参照ピクチャは、前記符号化を行うピクチャが、前記Ｐピクチャ又は前記Ｂピクチャである場合に参照される第１の参照ピクチャと、前記符号化を行うピクチャが、前記Ｂピクチャである場合にのみ参照される第２の参照ピクチャとを有し、
前記ピクチャ管理手段は、前記Ｂピクチャの符号化が行われた後、そのＢピクチャを、前記第２の参照ピクチャとしてのみ管理することを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、及び画像符号化装置に関し、特に、画像データを圧縮するために用いて好適なものである。
【背景技術】
【０００２】
従来から、画像データを圧縮して記録する様々な方式が提案されている。そして、新たにMPEG4 part-10:AVC（ISO/IEC 14496-10、別名H.264）方式が提案されている。（以下、この方式H.264方式と呼ぶ）。なお、H.264の詳細については非特許文献１に詳述されている通りである。
【０００３】
ここで、H.264方式のインター予測について、図５から図１０を用いて詳細に説明する。
H.264方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを２つ（「List 0」及び「List 1」）用意する。各リストには最大５枚の参照ピクチャを割り当てられるようにしている。
【０００４】
Ｐピクチャでは「List 0」のみを使用して、主に前方向予測を行う。Ｂピクチャでは「List 0」及び「List 1」を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、「List 0」には主に前方向予測のためのピクチャが割り当てられ、「List 1」には主に後方向予測のためのピクチャが収められる。
【０００５】
図５に、符号化の際に使用される参照リストの例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合を、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレームである場合で説明する。図５において、５０１は、表示順に並べた画像データを示す。画像データ５０１の四角の中にはピクチャの種類と表示順を示す番号を記入してある。例えば、ピクチャＩ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。ピクチャＰ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。ピクチャＢ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。
【０００６】
符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図５では、符号化を行う順序は、「Ｉ１５、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０、・・・」となる。
また、図５において、５０２は、参照リスト（List 0）を示す。この参照リスト（List 0）５０２には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャＰ２１（表示順が２１番目のＰピクチャ）でインター予測を行う場合、参照リスト（List 0）５０２内の既に符号化が終わって復号化されたピクチャを参照する。図５に示す例では、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８が参照リスト５０２に収められている。
【０００７】
インター予測では、マクロブロック毎に、この参照リスト（List 0）５０２中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト（List 0）５０２内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。
ピクチャＰ２１の符号化が終わると、こんどは新たにピクチャＰ２１が復号化され参照リスト（List 0）５０２に追加される。参照リスト（List 0）５０２から、最も古い参照ピクチャ（ここではピクチャＰ０６）が除去される。この後符号化は、ピクチャＢ１９、Ｂ２０と行われ、ピクチャＰ２４へと続く。このときの参照リスト（List 0）５０２の様子を図６に示す。
【０００８】
このようにして参照リストが更新される際の従来の画像符号化装置の動作を図７のフローチャートを参照しながら説明する。
図７において、符号化が開始すると、各ピクチャに対して符号化処理を行って、各ピクチャを符号化する（ステップＳ７０１）。
次に、符号化したピクチャが、最終ピクチャかどうかを判断し（ステップＳ７０３）、最終ピクチャであれば、符号化を終了する。一方、符号化したピクチャが最終ピクチャでなければ、参照リスト（List 0）の更新（ステップＳ７０３）及び参照リスト(List 1)の更新（ステップＳ７０４）を行う。参照リスト（List 0、List 1）の更新が終了したら、次のピクチャの符号化処理（ステップＳ７０２）に移る。
【０００９】
図８に、参照リストの変化の様子をピクチャ毎に示す。
図８では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト（List 0及びList 1）の内容を示している。図８に示す様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リスト（List 0及びList 1）が更新され、参照リスト（List 0及びList 1）中の最も古いピクチャが除去される。この例では、参照リスト（List 1）は１つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。
【００１０】
図８に示したものの場合、参照リストの更新は、ＩピクチャまたはＰピクチャの符号化後に行われ、Ｂピクチャの符号化後に、参照リストの更新は行われない。すなわち、Ｂピクチャを参照リストに追加することはない。
【００１１】
一方、H.264方式では、Ｂピクチャを参照リストに追加することが許容されている。図９に、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す。この場合、全てのピクチャで参照リストの更新が行われ、いずれのピクチャについても、参照リスト（List 0、List 1）の更新を行っている。
【００１２】
尚、H264方式のＢピクチャのインター予測については、従来のＭＰＥＧ２方式と比べて、予測の時間軸方向の自由度が拡大されている。すなわち、図１０に示す様に、表示順序で、従来と同じ未来及び過去（Forward、Backward）だけでなく、過去のみ（Forward、Forward）または未来のみ（Backward、Backward）から２枚のピクチャを参照できる。
【００１３】
【非特許文献１】ISO/IEC 14496-10,"Advanced Video Coding"
【発明の開示】
【発明が解決しようとする課題】
【００１４】
H.264の規格では、複数のピクチャを参照することで、Ｐピクチャと、Ｂピクチャの予測精度の向上を図っており、Ｂピクチャについては、予測方向にも自由度を増やしている。しかしながら、Ｂピクチャで可能な後方予測で、予測対象が時間的に離れたピクチャとなると、その間画像データをバッファする必要が生じ、復号時の遅延量が増えてしまう。このため、実用上は図８を用いて説明した様に、Ｐピクチャ１枚分程度の後方予測が現実的であった。
【００１５】
この結果、Ｂピクチャで参照するピクチャ数は、参照リスト（List 0）から５枚、参照リスト（List 1）から１枚であり、これら２つの参照リスト（List 0、List 1）で重複するピクチャも考慮すると、実質的に５枚にとどまってしまう。このため、Ｂピクチャの予測は、必ずしも十分な精度が得られていなかった。
【００１６】
また、図９を用いて説明した様に、Ｂピクチャを参照リスト（List 0、List 1）に加える場合、全てのピクチャで参照リスト（List 0、List 1）を更新すると、参照リスト（List 0、List 1）内のＢピクチャが多くなる。通常、Ｂピクチャは圧縮による劣化を許容する場合が多く、インター予測の精度は必ずしも高くない。そのため、参照リスト（List 0、List 1）内のピクチャにＢピクチャが多いと、十分なインター予測を行いづらい。
【００１７】
例えば、図９に示したものの場合、ピクチャＰ２４が参照するピクチャは、参照リスト（List 0）内のピクチャであるため、ピクチャＢ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０となる。このように、参照するＰピクチャは１枚に過ぎないのに対し、参照するＢピクチャが４枚となり、十分な予測が行いづらくなる。
【００１８】
本発明は、前述の問題点に鑑みてなされたものであり、インター予測の精度を向上させることを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像符号化方法は、異なるフレームの複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う符号化ステップと、前記符号化ステップにより符号化が行われたピクチャを前記参照ピクチャとして管理するピクチャ管理ステップとを有し、前記画像データは、動き補償予測を行わないＩピクチャ、前方向予測を行うＰピクチャ、及び双方向予測を行うＢピクチャを含むものであり、前記参照ピクチャは、前記符号化を行うピクチャが、前記Ｐピクチャ又は前記Ｂピクチャである場合に参照される第１の参照ピクチャと、前記符号化を行うピクチャが、前記Ｂピクチャである場合にのみ参照される第２の参照ピクチャとを有し、前記ピクチャ管理ステップは、前記Ｂピクチャの符号化が行われた後、そのＢピクチャを、前記第２の参照ピクチャとしてのみ管理することを特徴とする。
【００２０】
本発明の画像符号化装置は、異なるフレームの複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う符号化手段と、前記符号化手段により符号化が行われたピクチャを前記参照ピクチャとして管理するピクチャ管理手段とを有し、前記画像データは、動き補償予測を行わないＩピクチャ、前方向予測を行うＰピクチャ、及び双方向予測を行うＢピクチャを含むものであり、前記参照ピクチャは、前記符号化を行うピクチャが、前記Ｐピクチャ又は前記Ｂピクチャである場合に参照される第１の参照ピクチャと、前記符号化を行うピクチャが、前記Ｂピクチャである場合にのみ参照される第２の参照ピクチャとを有し、前記ピクチャ管理手段は、前記Ｂピクチャの符号化が行われた後、そのＢピクチャを、前記第２の参照ピクチャとしてのみ管理することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、符号化したＢピクチャを、Ｐピクチャを符号化する場合に参照される参照ピクチャとせず、Ｂピクチャを符号化する場合にのみ参照される参照ピクチャとするようにしてので、インター予測の予測対象のピクチャを従来よりも増やすことが可能になる。これにより、インター予測の精度を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
次に、図面を参照しながら、本発明の実施形態について説明する。
図１は、本実施形態の画像符号化装置の構成の一例を示したブロック図である。
図１において、入力された画像データは、マクロブロックに分けられ、減算部１０１に送られる。減算部１０１は、画像データと予測値との差分を求めて、整数DCT変換部１０２に出力する。整数DCT変換部１０２は、入力したデータを整数DCT変換して量子化部１０３に出力する。量子化部１０３は、入力したデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部１１５に送られる。もう一方は、逆量子化部１０４で逆量子化された後、逆整数DCT変換部１０５で逆整数DCT変換される。逆整数DCT変換されたデータは、加算部１０６で予測値が加えられる。これにより、画像が復元される。
【００２３】
復元された画像の一方は、イントラ予測のためのフレームメモリ１０７に送られる。他方は、デブロッキングフィルター１０９でデブロッキングフィルター処理が行われた後、インター予測のためのフレームメモリ１１０に送られる。イントラ予測のためのフレームメモリ１０７内の画像は、イントラ予測部１０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。
【００２４】
インター予測のためのフレームメモリ１１０内の画像は、複数のピクチャで構成される。これら複数のピクチャは、「list 0」と「list 1」の２つの参照リストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部１１１でのインター予測で使用される。インター予測がなされた後に、メモリーコントローラー１１３によって、参照リスト内のピクチャが更新される。インター予測部１１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部１１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。
【００２５】
イントラ予測とインター予測の結果、最適な予測が選択部１１４で選択される。また、前記動きベクトルが、エントロピー符号化部１１５に送られ、前記差分画像データと共に符号化される。こうして出力ビットストリームが形成される。
【００２６】
本実施形態では、以上のようにして符号化したＢピクチャを、２つの参照リスト「list 0」、「list 1」のうち、Ｂピクチャのみで使用する参照リスト「List 1」に加えるようにしている。
【００２７】
ここで、図２のフローチャートを参照しながら、Ｂピクチャを参照リストに加える際の画像符号化装置の動作の一例を説明する。
符号化が開始すると、各ピクチャに対して符号化処理を行う（ステップＳ２０１）。
次に、符号化したピクチャが、最終ピクチャかどうかを判断し（ステップＳ２０２）、最終ピクチャであれば、符号化を終了する。
【００２８】
一方、符号化したピクチャが最終ピクチャでなければ、参照リストの更新の判断（ステップＳ２０３、Ｓ２０４）に移る。まず、符号化したピクチャが、Ｂピクチャであるかどうか、すなわちＩピクチャまたはＰピクチャであるかどうかを判断する（ステップＳ２０３）。この判断の結果、ＩピクチャまたはＰピクチャであった場合、参照リスト（List 0）の更新(ステップＳ２０４)と、参照リスト（List 1）の更新（ステップＳ２０５）とを行う。
【００２９】
一方、符号化したピクチャが、Ｂピクチャであった場合は、参照リスト（List 1）の更新（ステップＳ２０５）のみを行う。
以上のようにして参照リストの更新が終了したら、次のピクチャの符号化処理（ステップＳ２０２）に移る。
【００３０】
以上のように、本実施形態では、ＩピクチャまたはＰピクチャの符号化後は、参照リスト（List 0）及び参照リスト（List 1）について参照リストの更新を行い、符号化したＩピクチャまたはＰピクチャをリストに追加し、古いピクチャを削除する。一方、Ｂピクチャの符号化後は、参照リスト（List 1）についてのみ参照リストの更新を行い、符号化したＢピクチャをリストに追加し、古いピクチャを削除する。すなわち、本実施形態では、Ｐピクチャで使用する参照リスト（List 0）には、Ｂピクチャを加えず、Ｂピクチャでのみ使用する参照リスト（List 1）にＢピクチャを加えるようにして、Ｂピクチャを符号化する際の、インター予測の予測対象のピクチャを増やし、インター予測の精度を向上させることができるようにしている。
【００３１】
次に、図３を用いて、参照ピクチャが更新される様子の具体例を説明する。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレームである場合で説明する。
図３において、まず、ピクチャＰ２１の符号化を行う場合、参照リスト（List 0）の内部には、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８があり、これらのピクチャが符号化の際に参照される。一方、参照リスト（List 1）にはピクチャＢ１３、Ｂ１４、Ｐ１８、Ｂ１６、Ｂ１７がある（Ｐピクチャの符号化では使用しない）。
【００３２】
ピクチャＰ２１の符号化が終わると、参照ピクチャが更新される。具体的には、最も古いピクチャＰ０６が削除され、ピクチャＰ２１が新たに加えられた結果、参照リスト（List 0）の内部は、ピクチャＰ０９、Ｐ１２、Ｉ１５、Ｐ１８、Ｐ２１に更新される。また、参照リスト（List 1）の内部は、最も古いピクチャＢ１３が削除され、ピクチャＰ２１が新たに加えられた結果、ピクチャＢ１４、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１に更新される。
【００３３】
次に、この参照リストの状態で、ピクチャＢ１９の符号化を行う。ピクチャＢ１９は、Ｂピクチャであるから、ピクチャＢ１９の符号化が終了した際、参照リスト（List 1）についてのみ更新を行う。すなわち、参照リスト（List 0）の内部は、そのままであるのに対し、参照リスト（List 1）の内部は、最も古いピクチャＢ１４が削除されて、ピクチャＢ１９が新たに加えられた結果、ピクチャＰ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９に更新される。同様に、ピクチャＢ２０の符号化を行う。ピクチャＢ２０は、Ｂピクチャであるから、ピクチャＢ２０の符号化が終了した際、参照リスト（List 1）のみを更新する。すなわち、参照リスト(List 0)の内部は、ピクチャＰ０９、Ｐ１２、Ｉ１５、Ｐ１８、Ｐ２１のままであるのに対し、参照リスト（List 1）の内部は更新され、ピクチャＢ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０となる。以下、ピクチャＰ２４、Ｂ２２、Ｂ２３、・・・の符号化と参照リストの更新とを順次行う。
【００３４】
本実施形態では、例えばピクチャＢ１９を符号化する際に使用する参照リスト（List 0）には、ピクチャＰ０９、Ｐ１２、Ｉ１５、Ｐ１８、Ｐ２１が含まれており、参照リスト（List 1）には、ピクチャＢ１４、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１が含まれている。従って、重複しているピクチャＰ２１を除いたとしても、インター予測で参照するピクチャは９枚ある。これは、通常考えられる図１０に示した従来技術と比べると、Ｂピクチャの符号化の際に、インター予測の対象となるピクチャの数が多くなっている。このため、より精度の高いインター予測を行うことができ、結果として良好な画像圧縮が行える。
【００３５】
図４に、前述した実施形態の画像符号化装置が適用されるビデオカメラの内部構成の一例を示す。
図４において、動画撮影記録時、レンズ１４０１を通してＣＣＤ１４０２で撮像された画像信号は、Ａ／Ｄ１４０３でデジタルデータとされカメラ処理部１４０４で輝度や色の補正等が行われる。カメラ処理部１４０４から出力されたデータは、動画エンコード・デコード処理部（画像処理部）１４０５で動画像データのエンコード処理が行われ、記録再生制御部（ＲＥＣ／ＰＢ）１４０６によって記録媒体１４０７に記録される。ここで、エンコード方法は、例えば、前述したMPEG4 part-10:AVC（ISO/IEC 14496-10、別名H.264）方式が挙げられる。このように、図４に示した例では、前述した実施形態の画像符号化装置は、動画エンコード・デコード処理部（画像処理部）１４０５に設けられる。また、記録媒体１４０７は、例えば磁気テープやディスクである。またエンコードした動画データを、デジタルインターフェース（Ｉ／Ｆ）１４１５を通して外部に出力する事も出来る。
【００３６】
デジタルインターフェース１４１５は、IEEE1394やＵＳＢ（Universal Serial Bus）である。動画エンコード・デコード処理部１４０５でエンコードされる前のデータは表示部１４０８（例えばＬＣＤ表示パネル）へも送られる。ユーザーは、表示部１４０８に表示された画像を見ながら撮影画角や構図を決める。ＣＰＵ１４０９は各処理ブロックの制御を司っている。またＣＰＵ１４０９には操作指示入力部１６０１が接続され、操作指示入力部１６０１には動画撮影用のトリガボタン１６０２及び静止画撮影用のシャッターボタン１６０３が設けられている。ユーザーは、動画撮影用のトリガボタン１６０２を押す事で動画撮影記録の開始・停止を行う。この動画撮影用のトリガボタン１６０２は撮影記録中押し続けている必要は無く、一度押すと記録動作が開始され、もう一度押すと記録動作が停止する。動画撮影用のトリガボタン１６０２の操作に応じて、動画撮影記録が実行されると、動画エンコード・デコード処理部（画像処理部）１４０５でエンコード動作も実行される。この間、上記実施形態で説明したような画像符号化装置の動作が実行可能となる。また、再生時は、記録された動画データが記録再生制御部１４０６によって記録媒体１４０７から読み出され、動画エンコード・デコード処理１４０５でエンコード時のインター予測における参照関係等の情報を用いつつデコードが行われて、表示部１４０８等でデコードされた表示画像を表示可能となる。
【００３７】
また、ユーザーは、静止画撮影用のシャッターボタン１６０３を押す事によって撮影した静止画をメモリカード１４１２に記録する事が出来る。カメラ処理部１４０４から出力されたデータは、動画エンコード・デコード処理部１４０５と共に静止画エンコード・デコード処理部１４１３にも入力される。静止画エンコード・デコード処理部１４１３では静止画データのエンコード処理やサムネイルの生成が行われる。エンコード方法は例えばJPEG等である。
【００３８】
エンコードされた静止画データはカード制御部１４１４によってメモリカード１４１２に記録される。再生時は記録された静止画データがカード制御部１４１４によってメモリカード１４１２から読み出され、静止画エンコード・デコード処理１４１３でサムネイル画像のデコードや本画像のデコードが行われる。サムネイル画像をデコードするか本画像をデコードするかはＣＰＵ１４０９によって指示される。また、エンコードした静止画データを、デジタルインターフェース１４１５を通して外部に出力する事も出来る。デジタルインターフェースはIEEE1394やＵＳＢである。
【００３９】
ユーザーが動画撮影用のトリガボタン１６０２を押して動画撮影記録を開始した後、動画撮影記録中に好みのシーンで静止画の撮影も行いたいと思ったら、動画撮影記録を停止する事無く静止画撮影用のシャッターボタン１６０３を押して撮影した静止画データをメモリカード１４１２に記録することができる。
【００４０】
（本発明の他の実施形態）
前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
また、前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００４１】
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態を示し、画像符号化装置の構成の一例を示す図である。
【図２】本発明の実施形態を示し、Ｂピクチャを参照リストに加える際の画像符号化装置の動作の一例を説明するフローチャートである。
【図３】本発明の実施形態を示し、参照ピクチャが更新される様子の具体例を示す図である。
【図４】本発明の実施形態を示し、画像符号化装置が適用されるビデオカメラの内部構成の一例を示す図である。
【図５】従来の技術を示し、ピクチャＰ２１の符号化を符号化する際の参照リストの例を示す図である。
【図６】従来の技術を示し、ピクチャＰ２４の符号化を符号化する際の参照リストの例を示す図である。
【図７】従来の技術を示し、参照リストが更新される際の従来の画像符号化装置の動作を説明するフローチャートである。
【図８】従来の技術を示し、参照リストの変化の様子をピクチャ毎に示す図である。
【図９】従来の技術を示し、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す図である。
【図１０】従来の技術を示し、H264方式のＢピクチャのインター予測における参照ピクチャを概念的に示す図である。
【符号の説明】
【００４５】
１０２  整数DCT変換部
１０３  量子化部
１０４  逆量子化部
１０５  逆整数DCT変換部
１０９  デブロッキングフィルター
１１０  フレームメモリ
１１１  インター予測部
１１２  動き検出部
１１３  メモリーコントローラー
１１５  エントロピー符号化部
１１４  選択部
【図１】
2006324906.tif 000003
【図２】
2006324906.tif 000004
【図３】
2006324906.tif 000005
【図４】
2006324906.tif 000006
【図５】
2006324906.tif 000007
【図６】
2006324906.tif 000008
【図７】
2006324906.tif 000009
【図８】
2006324906.tif 000010
【図９】
2006324906.tif 000011
【図１０】
2006324906.tif 000012