(57)【要約】【課題】  順次走査のピクチャを、その垂直解像度を損なわないように表示する。【解決手段】  画像符号化装置１０１では、ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかの判定結果が、走査フラグにセットされ、ピクチャの表示方式を表す情報が、表示方式指示情報にセットされ、それらが多重化された符号化データが出力される。画像復号装置１０２では、符号化データの走査フラグと表示方式指示情報に基づき、ピクチャが認識される。ピクチャが、飛び越し走査のピクチャである場合、そのピクチャをフィールド補間することにより、フレームピクチャが生成されて出力される。また、ピクチャが、順次走査のピクチャである場合、そのピクチャが、フレームピクチャとして、表示方式指示情報に対応した回数だけ繰り返し出力される。本発明は、例えば、画像をH.264/AVCに準拠して符号化／復号する場合に適用できる。【選択図】図６
2005354361.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャを符号化する符号化装置において、
前記ピクチャを符号化する符号化手段と、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定手段と、
前記ピクチャ判定手段における判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセット手段と、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セット手段と、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記符号化手段は、2-3プルダウンされた画像から得られるピクチャを、MPEG4  AVC/H.264の規格にしたがって符号化する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記表示方式指示情報は、H.264/AVCの規格に規定されているpic_structである
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記走査フラグは、H.264/AVCの規格に規定されているct_typeである
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記走査フラグは、H.264/AVCの規格に規定されているclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記走査フラグは、H.264/AVCの規格に規定されている、１がセットされたclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項４に記載の符号化装置。
【請求項７】
前記走査フラグは、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報である
ことを特徴とする請求項１に記載の符号化装置。
【請求項８】
ピクチャを符号化する符号化方法において、
前記ピクチャを符号化する符号化ステップと、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、
前記ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップと
を含むことを特徴とする符号化方法。
【請求項９】
ピクチャを符号化する符号化処理を、コンピュータに行わせるプログラムにおいて、
前記ピクチャを符号化する符号化ステップと、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、
前記ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップと
を含むことを特徴とするプログラム。
【請求項１０】
ピクチャを符号化する符号化処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体において、
前記ピクチャを符号化する符号化ステップと、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、
前記ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項１１】
ピクチャを符号化した符号化データが記録されているデータ記録媒体において、
前記ピクチャの符号化結果と、
前記ピクチャごとの走査方式を表す走査フラグと、
前記ピクチャごとの表示方式を指示する表示方式指示情報と
が多重化された前記符号化データが記録されている
ことを特徴とするデータ記録媒体。
【請求項１２】
ピクチャを符号化した符号化データのデータ構造において、
前記ピクチャの符号化結果と、
前記ピクチャごとの走査方式を表す走査フラグと、
前記ピクチャごとの表示方式を指示する表示方式指示情報と
が多重化されている
ことを特徴とするデータ構造。
【請求項１３】
ピクチャを符号化した符号化データを復号する復号装置において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号手段と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、
前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段と
を備えることを特徴とする復号装置。
【請求項１４】
前記符号化データは、2-3プルダウンされた画像から得られるピクチャを、H.264/AVCの規格にしたがって符号化することにより得られたものである
ことを特徴とする請求項１３に記載の復号装置。
【請求項１５】
前記表示方式指示情報は、H.264/AVCの規格に規定されているpic_structである
ことを特徴とする請求項１３に記載の復号装置。
【請求項１６】
前記走査フラグは、H.264/AVCの規格に規定されているct_typeである
ことを特徴とする請求項１３に記載の復号装置。
【請求項１７】
前記走査フラグは、H.264/AVCの規格に規定されているclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項１６に記載の復号装置。
【請求項１８】
前記走査フラグは、H.264/AVCの規格に規定されている、１がセットされたclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項１６に記載の復号装置。
【請求項１９】
前記走査フラグは、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報である
ことを特徴とする請求項１３に記載の復号装置。
【請求項２０】
前記認識手段は、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示している場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、フレームを表示すること、トップフィールド、ボトムフィールド、トップフィールをその順で表示すること、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示している場合、前記ピクチャが、順次走査のピクチャであると認識し、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示すること、またはボトムフィールドを表示してトップフィールドを表示することを指示している場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
ことを特徴とする請求項１３に記載の復号装置。
【請求項２１】
ピクチャを符号化した符号化データを復号する復号方法において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号ステップと、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、
前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップと
を含むことを特徴とする復号方法。
【請求項２２】
ピクチャを符号化した符号化データを復号する復号処理を、コンピュータに行わせるプログラムにおいて、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号ステップと、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、
前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップと
を含むことを特徴とするプログラム。
【請求項２３】
ピクチャを符号化した符号化データを復号する復号処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号ステップと、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、
前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項２４】
ピクチャを符号化した符号化データを再生する再生装置において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号手段と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、
前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段と
を備えることを特徴とする再生装置。
【請求項２５】
前記符号化データは、2-3プルダウンされた画像から得られるピクチャを、H.264/AVCの規格にしたがって符号化することにより得られたものである
ことを特徴とする請求項２４に記載の再生装置。
【請求項２６】
前記表示方式指示情報は、H.264/AVCの規格に規定されているpic_structである
ことを特徴とする請求項２４に記載の再生装置。
【請求項２７】
前記走査フラグは、H.264/AVCの規格に規定されているct_typeである
ことを特徴とする請求項２４に記載の再生装置。
【請求項２８】
前記走査フラグは、H.264/AVCの規格に規定されているclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項２７に記載の再生装置。
【請求項２９】
前記走査フラグは、H.264/AVCの規格に規定されている、１がセットされたclock_timestamp_flag[0]の中のct_typeである
ことを特徴とする請求項２７に記載の再生装置。
【請求項３０】
前記走査フラグは、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報である
ことを特徴とする請求項２４に記載の再生装置。
【請求項３１】
前記認識手段は、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示している場合、前記ピクチャが、飛び越し走査のピクチャであると認識し、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、フレームを表示すること、トップフィールド、ボトムフィールド、トップフィールをその順で表示すること、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示している場合、前記ピクチャが、順次走査のピクチャであると認識し、
前記ピクチャの表示方式指示情報が、前記ピクチャによって、トップフィールドを表示してボトムフィールドを表示すること、またはボトムフィールドを表示してトップフィールドを表示することを指示している場合、前記走査フラグに基づき、前記ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する
ことを特徴とする請求項２４に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および符号化方法、復号装置および復号方法、プログラムおよびプログラム記録媒体、データ記録媒体およびデータ構造、並びに再生装置に関し、特に、例えば、順次走査のピクチャを、その垂直解像度を損なわないように表示することができるようにする符号化装置および符号化方法、復号装置および復号方法、プログラムおよびプログラム記録媒体、データ記録媒体およびデータ構造、並びに再生装置に関する。
【背景技術】
【０００２】
近年、画像信号を、ディジタルデータで扱い、効率の高い情報の伝送、蓄積を目的として、画像特有の冗長性を利用し、離散コサイン変換等の直交変換と動き補償とにより、画像信号を圧縮／復号するMPEG(Moving Picture Experts Group)などの規格に準拠した画像処理装置が、情報配信を行う放送局などと、情報受信を行う一般家庭などとの双方において普及しつつある。
【０００３】
かかる画像処理装置の普及に伴い、その画像処理装置で扱うことができるコンテンツの充実も図られつつあり、そのようなコンテンツとしては、例えば、映画のコンテンツがある。
【０００４】
映画は、フィルム（映画フィルム）にとられた連続した写真であるから、これを、例えば、テレビジョン放送の番組などとして、放送局から放送し、あるいは、ビデオパッケージにして販売などするためには、テレビジョン放送用の電気信号である画像信号（ビデオ信号）に変換しなければならない。即ち、光学的に映し出されるフィルム上の画像を電気的にとり込み、画像の表示レートの変換その他の処理を行わなければならない。このような技術は、一般に、テレシネと呼ばれる。
【０００５】
通常、画像信号と映画フィルムとでは、１秒あたりに表示されるフレームの数（コマ数）、即ち、表示レートが異なる。現在、多くの映画フィルムでは、１秒間に２４フレームのピクチャが表示されるのに対して、例えば、NTSC(National Television System Committee)方式では、１秒間に３０フレームのピクチャが表示される。従って、テレシネでは、このような表示レートの変換が、その主な処理の１つとして行われる。この表示レートの変換は、2-3プルダウンと呼ばれる。
【０００６】
なお、正確には、NTSC方式の画像信号の表示レートは、29.97Hzであり、映画フィルの表示レートは、23.976Hzである。
【０００７】
ここで、フレームのピクチャは、図１に示すように、フィールドと呼ばれるピクチャに分けることができる。例えば、フレームの奇数ラインの画素（画素値）を集めたものはトップフィールドと、また偶数ラインの画素を集めたものはボトムフィールドと、それぞれ呼ばれる。
【０００８】
また、ピクチャには、その走査方式が飛び越し走査のピクチャと、順次走査のピクチャとがある。飛び越し走査のピクチャと、順次走査のピクチャとでは、画素がサンプルされた時刻が異なる。即ち、飛び越し走査のピクチャでは、１フレーム内の偶数ラインと奇数ラインとでサンプル時刻がずれており、その結果、トップフィールドとボトムフィールドとのサンプル時刻が異なる。一方、順次走査のピクチャでは、トップフィールドとボトムフィールドとのサンプル時刻が同一である。
【０００９】
映画フィルムのピクチャは、順次走査のピクチャであり、フレーム単位で表示される。NTSC方式のピクチャは、飛び越し走査のピクチャであり、フィールド単位で表示される。即ち、順次走査では、フレームの走査が順次行われ、その結果、フレームのピクチャが表示される。また、飛び越し走査では、フレームの走査が飛び越しで行われ、即ち、フレームの走査が、そのフレームを構成するトップフィールドとボトムフィールドとについて交互に行われ、その結果、フレームを構成するトップフィールドのピクチャとボトムフィールドのピクチャとが交互に表示される。
【００１０】
このため、テレシネでは、24Hzの映画フィルムのフレームのピクチャが、2-3プルダウンによって、６０Hz（正確には、59.94Hz）のフィールドからなる30HzのNTSC方式のフレームのピクチャに変換される。
【００１１】
即ち、2-3プルダウンでは、まず最初に、24Hzの映画フィルムのフレームが、図１に示したように、トップフィールドとボトムフィールドに分割される。そして、そのトップフィールドとボトムフィールドとが、30HzのNTSC方式のフレームを構成するフィールドに、適宜割り当てられる。
【００１２】
具体的には、例えば、24Hzの映画フィルムの４フレームを、時系列に、Ａ，Ｂ，Ｃ，Ｄと表し、また、例えば、フレームＡを分割して得られるトップフィールドをＡ（１）と、ボトムフィールドをＡ（２）というように表すとすると、２−３プルダウンでは、例えば、図２に示すように、トップフィールドＡ（１）とボトムフィールドＡ（２）とで、最初の30HzのNTSC方式のフレームが構成され、トップフィールドＢ（１）とボトムフィールドＢ（２）とで、２番目の30HzのNTSC方式のフレームが構成される。さらに、トップフィールドＢ（１）とボトムフィールドＣ（２）とで、３番目の30HzのNTSC方式のフレームが構成され、トップフィールドＣ（１）とボトムフィールドＤ（２）とで、４番目の30HzのNTSC方式のフレームが構成される。そして、トップフィールドＤ（１）とボトムフィールドＤ（２）とで、５番目の30HzのNTSC方式のフレームが構成される。
【００１３】
2-3プルダウンでは、以上のように、24Hzの映画フィルムのフレームＢを構成するフィールドＢ（１）が、２番目の30HzのNTSC方式のフレームのトップフィールドと、その２フィールド先のトップフィールド（３番目のフレームのトップフィールド）との両方に割り当てられるとともに、24Hzの映画フィルムのフレームＤを構成するフィールドＤ（２）が、４番目の30HzのNTSC方式のフレームのボトムフィールドと、その２フィールド先のボトムフィールド（５番目のフレームのボトムフィールド）との両方に割り当てられることで、24Hzの映画フィルムのフレームが、４フレーム単位で、５フレーム単位の30HzのNTSC方式のフレームに変換されていく。
【００１４】
従って、2-3プルダウンでは、映画フィルムの１フレームが、NTSC方式の２フィールドに変換され、映画フィルムの次の１フレームが、NTSC方式の次の３フィールドに変換され、映画フィルムのさらに次の１フレームが、NTSC方式のさらに次の２フィールドに変換され、以下、同様にして、映画フィルムの各フレームが、NTSC方式の２フィールドと３フィールドとに交互に変換されていく。
【００１５】
ところで、近年、当初テレビ会議用の画像符号化を目的として、 H.264またはMPEG AVC(Advanced Video Coding)(ITU-T Q6/16またはISO/IEC 14496-10)（以下、適宜、H.264/AVCと記載する）という標準の規格化が行われた。H.264/AVCでは、MPEG2やMPEG4といった従来の符号化（復号）方式と同様に、直交変換と動き補償とにより、画像信号を圧縮／復号する。さらに、H.264/AVCは、そのような従来の符号化方式に比べ、符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【００１６】
図３は、映画フィルムのピクチャの2-3プルダウンによって得られるNTSC方式のピクチャを、H.264/AVCの規格に準拠して圧縮符号化する画像符号化装置の一例の構成を示している。
【００１７】
2-3プルダウンによって得られたNTSC方式のピクチャ（の画像信号）は、フィールド単位で、A/D変換装置１に供給され、A/D変換装置１は、そこに供給されるピクチャをA/D(Analog/Digital)変換することにより、ディジタル信号に変換して、2-3検出装置２に供給する。2-3検出装置２は、A/D変換装置１からのピクチャの、２つのフィールドどうしの差分であるフィールド間差分情報等を用いて、2-3韻律の検出を行う。
【００１８】
即ち、上述したように、2-3プルダウンでは、映画フィルムの各フレームが、NTSC方式の２フィールドと３フィールドに交互に変換されるので、NTSC方式のピクチャのシーケンスは、映画フィルムの順次走査の１フレームから得られた２フィールドの組と、映画フィルムの順次走査の１フレームから得られた３フィールドの組とが交互に繰り返される、いわば2-3韻律を有する。2-3検出装置２では、この２フィールドの組と３フィールドの組の検出（2-3韻律の検出）が行われる。
【００１９】
さらに、2-3検出装置２は、フィールド間差分情報や2-3韻律の検出結果に基づき、NTSC方式の各フィールドのピクチャが、順次走査または飛び越し走査のうちのいずれの走査方式のピクチャであるかを判定する。ここで、図３の画像符号化装置に供給されるピクチャが、ある映画フィルムのピクチャの2-3プルダウンによって得られたものであるとすると、2-3検出装置２では、映画フィルムの１フレームから得られた２フィールドのピクチャの組、または３フィールドのピクチャの組が、順次走査のピクチャであると判定される。
【００２０】
そして、2-3検出装置２は、順次走査のピクチャであると判定された２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、即ち、いまの場合、2-3プルダウンされる前の24Hzの映画フィルムのフレームのピクチャを構成し、画面並べ替えバッファ３に供給する。
【００２１】
なお、2-3検出装置２において、例えば、あるフレームを構成する２フィールドが、飛び越し走査のピクチャであると判定された場合、その２フィールドのピクチャは、それぞれフィールドのピクチャとして、または、その２フィールドで構成される１フレームのピクチャとして、画面並べ替えバッファ３に供給される。
【００２２】
飛び越し走査のピクチャ（であると判定された）２フィールドが、フィールドまたはフレームのうちのいずれのピクチャとされるかは、例えば、フィールドまたはフレームのうちのいずれのピクチャとして符号化した方が符号化効率が高いかによって決まる。即ち、フィールドのピクチャとして符号化した方が符号化効率が高い場合には、飛び越し走査のピクチャは、フィールドのピクチャとされ、フレームのピクチャとして符号化した方が符号化効率が高い場合には、飛び越し走査のピクチャは、フレームのピクチャとされる。
【００２３】
画面並べ替えバッファ３は、2-3検出装置２からのピクチャを一時記憶し、その記憶したピクチャを、あらかじめ決まっている符号化順にしたがって並べ替え、符号化対象の注目ピクチャとして、マクロブロック単位で、加算器４に供給する。
【００２４】
注目ピクチャが、イントラ符号化されるイントラ符号化ピクチャである場合には、加算器４は、その注目ピクチャを、そのまま、直交変換装置５に供給する。
【００２５】
また、注目ピクチャが、インター符号化されるインター符号化ピクチャである場合には、加算器４は、注目ピクチャから、動き予測／補償装置１２から供給される予測画像を減算し、直交変換装置５に供給する。
【００２６】
即ち、動き予測／補償装置１２は、画面並べ替えバッファ３に記憶されたピクチャの動きベクトルを検出するとともに、フレームメモリ１１から、既に符号化されて復号された、注目ピクチャの参照画像となるピクチャを読み出し、その参照画像に対して、動きベクトルに基づく動き補償を施すことで、最適な予測モード（符号化効率が最も高い予測モード）による、注目ピクチャの予測画像を生成する。そして、動き予測／補償装置１２は、その予測画像を、加算器４に供給し、加算器４は、このようにして動き予測／補償装置１２から供給される予測画像を、注目ピクチャから減算して、直交変換装置５に供給する。
【００２７】
直交変換装置５は、加算器４から供給される注目ピクチャ、または注目ピクチャから予測画像を減算した減算結果である差分画像（ピクチャ）に対して、例えば、離散コサイン変換等の直交変換を施し、その結果得られる変換係数を、量子化装置６に供給する。
【００２８】
量子化装置６は、後述するレート制御装置１３からの制御にしたがった量子化ステップで、直交変換装置５からの変換係数を量子化し、その結果得られる量子化係数を、可逆符号化装置７と逆量子化装置９に供給する。
【００２９】
可逆符号化装置７は、量子化装置６からの量子化係数、さらには、図示していないが、動き予測／補償装置１２で検出された動きベクトルなどに対して、例えば、可変長符号化や算術符号化等の可逆符号化を施して多重化し、その結果得られる符号化データ（ストリーム）を、蓄積バッファ８に供給する。
【００３０】
なお、可逆符号化装置７において、動きベクトルなどは、符号化データの、いわゆるヘッダ部分に挿入（多重化）される。
【００３１】
蓄積バッファ８は、可逆符号化装置７からの符号化データを一時記憶し、所定のレートで出力する。蓄積バッファ８が出力する符号化データは、例えば、DVD(Digital Versatile Disc)等に記録等される。ここでDVDについては、例えば、非特許文献１に記載されている。
【００３２】
また、蓄積バッファ８の符号化データの記憶量（蓄積量）は、レート制御装置１３に供給されるようになっており、レート制御装置１３は、蓄積バッファ８の記憶量に基づき、蓄積バッファ８がオーバフローまたはアンダフローしないように、量子化装置６の量子化ステップをフィードバック制御する。
【００３３】
一方、逆量子化装置９は、量子化装置６から供給される変換係数を、量子化装置６における量子化ステップと同一の量子化ステップで逆量子化し、その結果得られる変換係数を、逆直交変換装置１０に供給する。逆直交変換装置１０は、逆量子化装置９からの変換係数に逆直交変換処理を施し、これにより、元のイントラ符号化ピクチャを復号、または元のインター符号化ピクチャから予測画像を減算した差分画像を復号して、フレームメモリ１１に供給する。
【００３４】
フレームメモリ１１は、イントラ符号化ピクチャを復号したものを記憶する。また、フレームメモリ１１においては、差分画像を復号したものに対して、その差分画像を得るのにインター符号化ピクチャから減算した予測画像を、動き予測／補償装置１１から得て加算することにより、インター符号化ピクチャを復号して記憶する。
【００３５】
動き予測／補償装置１２では、以上のようにしてフレームメモリ１１に記憶されたピクチャを参照画像として、予測画像が生成される。
【００３６】
次に、図４は、図３の画像符号化装置で得られた符号化データを復号する画像復号装置の一例の構成を示している。
【００３７】
符号化データは、蓄積バッファ２１に供給され、一時記憶される。可逆復号装置２２は、蓄積バッファ２１に記憶された符号化データを、適宜読み出し、その符号化データに含まれる情報を、適宜分離して、例えば、可変長復号や算術復号等する。さらに、可逆復号装置２２は、可変長復号や算出復号等によって得られる量子化係数と動きベクトル等のうちの量子化係数を、逆量子化装置２３に供給するとともに、動きベクトルを、動き予測／補償装置２７に供給する。
【００３８】
逆量子化装置２３は、可逆復号装置２２からの量子化係数を逆量子化することにより、変換係数を得て、逆直交変換装置２４に供給する。逆直交変換装置２４は、逆量子化装置２３からの変換係数に対して、逆離散コサイン変換等の逆直交変換処理を施し、その結果得られるイントラ符号化ピクチャの復号画像、またはインター符号化ピクチャの差分画像の復号結果を、マクロブロック単位で、加算器２５に供給する。
【００３９】
加算器２５は、逆直交変換装置２４の出力が、イントラ符号化ピクチャの復号画像である場合には、その復号画像であるピクチャを、フレームメモリ２６と画面並べ替えバッファ２８に供給する。また、加算器２５は、逆直交変換装置２４の出力が、インター符号化ピクチャの差分画像の復号結果である場合には、その復号結果に対して、動き予測／補償装置２７から供給される予測画像を加算することにより、インター符号化ピクチャを復号し、その結果得られる復号画像であるピクチャを、フレームメモリ２６と画面並べ替えバッファ２８に供給する。
【００４０】
フレームメモリ２６は、加算器２５からの復号画像（ピクチャ）を、参照画像として記憶し、動き予測／補償装置２７は、フレームメモリ２６に記憶された参照画像に対して、可逆復号装置２２から供給される動きベクトルにしたがった動き補償を施すことで、予測画像を生成して、加算器２５に供給する。
【００４１】
一方、画面並べ替えバッファ２８は、加算器２５からの復号画像であるピクチャを、一時記憶し、そのピクチャの並びを、表示順に並べ替える。さらに、ここでは、画面並べ替えバッファ２８に記憶されたピクチャは、24Hzの映画フィルムのピクチャになっているので、画面並べ替えバッファ２８は、その24Hzの映画フィルムのピクチャを、H.264/AVCの符号化データに多重化されている（含まれている）、後述するpic_structにしたがって、2-3プルダウンで得られるのと同一の30HzのNTSC方式のピクチャにして、D/A(Digital/Analog)変換装置２９に供給する。
【００４２】
D/A変換装置２９では、画面並べ替えバッファ２８からのピクチャ（の画像信号）が、ディジタル信号からアナログ信号にD/A変換され、図示せぬディスプレイに供給されて表示される。
【００４３】
ところで、図１の画像符号化装置には、上述したように、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャが、符号化対象として供給される。
【００４４】
いま、画像符号化装置に供給されるピクチャが、例えば、図５の上から１番目に示す24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、図５の上から２番目に示すような、2-3韻律の保たれた30HzのNTSC方式のピクチャであれば、2-3検出装置２（図３）では、そのピクチャは、基本的には、すべて、順次走査のピクチャであると判定される。
【００４５】
ここで、図５において（後述する図１３乃至図１５、図２２、および図２３においても同様）、長方形は、フレームまたはフィールドのピクチャを表す。また、横線がない長方形は、フレームのピクチャを表し、横線がある長方形は、フィールドのピクチャを表す。
【００４６】
しかしながら、図５の上から２番目に示した、2-3韻律の保たれた30HzのNTSC方式のピクチャがカット編集されるなどして、図５の上から３番目に示すように、2-3韻律が不規則なシーケンスのピクチャとされ、画像符号化装置に供給された場合、2-3検出装置２において、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複した判定がされるピクチャが生じる。
【００４７】
即ち、図５では、上から１番目に示す24Hzの映画フィルムの各フレームのピクチャが、上から２番目に示すように、30HzのNTSC方式のピクチャの３フィールド、２フィールド、３フィールド、・・・に変換されている。さらに、その上から２番目に示す30HzのNTSC方式のピクチャの、先頭から３番目と４番目のフィールドがカットされ、上から３番目に示す30HzのNTSC方式のピクチャとされている。
【００４８】
この場合、上から３番目に示す30HzのNTSC方式のピクチャ（フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャ）の１番目と２番目のフィールドは、いずれも、映画フィルムの１番目のフレームから得られたものであるから、順次走査のピクチャと判定される。また、上から３番目に示す30HzのNTSC方式のピクチャの３番目と４番目のフィールドは、それぞれ、映画フィルムの３番目と４番目のフレームから得られたものであるから、飛び越し走査のピクチャと判定される。さらに、上から３番目に示す30HzのNTSC方式のピクチャの４乃至６番目のフィールドは、いずれも、映画フィルムの３番目のフレームから得られたものであるから、順次走査のピクチャと判定される。
【００４９】
以上のように、上から３番目に示す30HzのNTSC方式のピクチャの４番目のフィールドは、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定される。
【００５０】
このような重複判定の原因となる2-3韻律の不規則性は、編集の他、例えば、映画フィルムのピクチャを2-3プルダウンするときに行われるフィルムロールの切り替えによる2-3韻律のリセット、2-3プルダウンの対象となる映画フィルムのピクチャに含まれるノイズに起因する2-3韻律の誤検出などによっても生じる。
【００５１】
【非特許文献１】DVD Specifications for Read-Only Disc Part 3; Version 1.1 Dcecmber 1997
【発明の開示】
【発明が解決しようとする課題】
【００５２】
ところで、H.264/AVCでは、復号側において、符号化の対象となった元のピクチャが、順次走査または飛び越し走査のうちのいずれのピクチャであるかを識別するシンタクス(syntax)（構文）の指定方法が規定されておらず、符号化されたピクチャに、そのピクチャの走査方式が、飛び越し走査または順次走査のいずれであるかを示す識別情報が付随していないため、ピクチャ毎に、そのピクチャが、飛び越し走査のピクチャであるか、順次走査のピクチャであるかを判定する術がなかった。このため、ピクチャが、順次走査のピクチャであっても、復号側において、飛び越し走査されるフィールドとして出力されることがあり、この場合、１フィールド分の垂直解像度が失われる問題を有する。
【００５３】
本発明は、このような状況に鑑みてなされたものであり、順次走査のピクチャを、その垂直解像度を損なわないように表示することができるようにするものである。
【課題を解決するための手段】
【００５４】
本発明の符号化装置は、ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定手段と、ピクチャ判定手段における判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセット手段と、ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セット手段と、ピクチャの符号化結果と、ピクチャごとの走査フラグおよび表示方式指示情報とを多重化して出力する多重化手段とを備えることを特徴とする。
【００５５】
本発明の符号化方法は、ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、ピクチャの符号化結果と、ピクチャごとの走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップとを含むことを特徴とする。
【００５６】
本発明の第１のプログラムは、ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、ピクチャの符号化結果と、ピクチャごとの走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップとを含むことを特徴とする。
【００５７】
本発明の第１のプログラム記録媒体に記録されているプログラムは、ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップと、ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップと、ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップと、ピクチャの符号化結果と、ピクチャごとの走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップとを含むことを特徴とする。
【００５８】
本発明のデータ記録媒体は、ピクチャごとの走査方式を表す走査フラグと、ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データが記録されていることを特徴とする。
【００５９】
本発明のデータ構造は、ピクチャごとの走査方式を表す走査フラグと、ピクチャごとの表示方式を指示する表示方式指示情報とが多重化されていることを特徴とする。
【００６０】
本発明の復号装置は、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データを復号する復号手段と、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、フレームピクチャ出力手段において出力されるフレームピクチャを、表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段とを備えることを特徴とする。
【００６１】
本発明の復号方法は、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データを復号する復号ステップと、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、フレームピクチャ出力ステップにおいて出力されるフレームピクチャを、表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップとを含むことを特徴とする。
【００６２】
本発明の第２のプログラムは、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データを復号する復号ステップと、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、フレームピクチャ出力ステップにおいて出力されるフレームピクチャを、表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップとを含むことを特徴とする。
【００６３】
本発明の第２のプログラム記録媒体に記録されているプログラムは、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データを復号する復号ステップと、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップと、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップと、フレームピクチャ出力ステップにおいて出力されるフレームピクチャを、表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップとを含むことを特徴とする。
【００６４】
本発明の再生装置は、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データを復号する復号手段と、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段と、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段と、フレームピクチャ出力手段において出力されるフレームピクチャを、表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段とを備えることを特徴とする。
【００６５】
本発明の符号化装置および符号化方法、並びに第１のプログラムおよび第１のプログラム記録媒体においては、ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかが判定され、その判定結果が、ピクチャの走査方式を表す走査フラグにセットされる。また、ピクチャの表示方式を表す情報が、ピクチャの表示方式を指示する表示方式指示情報にセットされ、ピクチャの符号化結果と、ピクチャごとの走査フラグおよび表示方式指示情報とが多重化されて出力される。
【００６６】
本発明のデータ記録媒体およびデータ構造においては、ピクチャごとの走査方式を表す走査フラグと、ピクチャごとの表示方式を指示する表示方式指示情報とが多重化されている。
【００６７】
本発明の復号装置および復号方法、並びに第２のプログラムおよび第２のプログラム記録媒体においては、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データが復号される。そして、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかが認識され、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャが生成されて出力される。また、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャが、フレームピクチャとして出力される。さらに、フレームピクチャが、表示方式指示情報に対応した回数だけ繰り返し出力される。
【００６８】
本発明の再生装置においては、ピクチャの符号化結果と、ピクチャごとの走査方式を表す走査フラグ、およびピクチャごとの表示方式を指示する表示方式指示情報とが多重化された符号化データが復号される。そして、ピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかが認識され、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャが生成されて出力される。また、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャが、フレームピクチャとして出力される。さらに、フレームピクチャが、表示方式指示情報に対応した回数だけ繰り返し出力される。
【発明の効果】
【００６９】
本発明によれば、順次走査のピクチャを、その垂直解像度を損なわないように表示することが可能となる。
【発明を実施するための最良の形態】
【００７０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００７１】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００７２】
請求項１に記載の符号化装置は、
ピクチャを符号化する符号化装置（例えば、図９の画像符号化装置１０１）において、
前記ピクチャを符号化する符号化手段（例えば、図９の加算器４、直交変換装置５、量子化装置６、可逆符号化装置７、逆量子化装置９、逆直交変換装置１０、フレームメモリ１１、および動き予測／補償装置１２）と、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定手段（例えば、図１０のステップＳ１１の処理を行う図９のpic_struct並びに飛び越し走査／順次走査識別装置１１１）と、
前記ピクチャ判定手段における判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセット手段（例えば、図１０のステップＳ１２またはＳ１５の処理を行う図９のpic_struct並びに飛び越し走査／順次走査識別装置１１１）と、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セット手段（例えば、図１０のステップＳ１３，Ｓ１７またはＳ１８の処理を行う図９のpic_struct並びに飛び越し走査／順次走査識別装置１１１）と、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化手段（例えば、図９の可逆符号化装置７）と
を備えることを特徴とする。
【００７３】
請求項８に記載の符号化方法は、
ピクチャを符号化する符号化方法において、
前記ピクチャを符号化する符号化ステップ（例えば、図１０のステップＳ１）と、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップ（例えば、図１０のステップＳ１１）と、
前記ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップ（例えば、図１０のステップＳ１２またはＳ１５）と、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップ（例えば、図１０のステップＳ１３，Ｓ１７、またはＳ１８）と、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップ（例えば、図１０のステップＳ１４）と
を含むことを特徴とする。
【００７４】
請求項９に記載のプログラムおよび請求項１０に記載のプログラム記録媒体に記録されているプログラムは、
前記ピクチャを符号化する符号化ステップ（例えば、図１０のステップＳ１）と、
前記ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定するピクチャ判定ステップ（例えば、図１０のステップＳ１１）と、
前記ピクチャ判定ステップにおける判定結果を、ピクチャの走査方式を表す走査フラグにセットするフラグセットステップ（例えば、図１０のステップＳ１２またはＳ１５）と、
前記ピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットする情報セットステップ（例えば、図１０のステップＳ１３，Ｓ１７、またはＳ１８）と、
前記ピクチャの符号化結果と、前記ピクチャごとの前記走査フラグおよび表示方式指示情報とを多重化して出力する多重化ステップ（例えば、図１０のステップＳ１４）と
を含むことを特徴とする。
【００７５】
請求項１３に記載の復号装置は、
ピクチャを符号化した符号化データを復号する復号装置（例えば、図１１の画像復号装置１０２）において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号手段（例えば、図１１の可逆復号装置２２、逆量子化装置２３、逆直交変換装置２４、加算器２５、フレームメモリ２６、および動き予測／補償装置２７）と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段（例えば、図１２のステップＳ３３またはＳ３７の処理を行う図１１のI/P変換装置１２２）と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段（例えば、図１２のステップＳ３４またはＳ３８の処理を行う図１１のI/P変換装置１２２）と、
前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段（例えば、図１１の表示画像出力バッファ１２３）と
を備えることを特徴とする。
【００７６】
請求項２１に記載の復号方法は、
ピクチャを符号化した符号化データを復号する復号方法において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号ステップ（例えば、図１２のステップＳ２１）と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップ（例えば、図１２のステップＳ３３またはＳ３７）と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップ（例えば、図１２のステップＳ３４またはＳ３８）と、
前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップ（例えば、図１２のステップＳ３５）と
を含むことを特徴とする。
【００７７】
請求項２２に記載のプログラムおよび請求項２３に記載のプログラム記録媒体に記録されているプログラムは、
ピクチャを符号化した符号化データを復号する復号処理をコンピュータに行わせるプログラムにおいて、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号ステップ（例えば、図１２のステップＳ２１）と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識ステップ（例えば、図１２のステップＳ３３またはＳ３７）と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力ステップ（例えば、図１２のステップＳ３４またはＳ３８）と、
前記フレームピクチャ出力ステップにおいて出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力ステップ（例えば、図１２のステップＳ３５）と
を含むことを特徴とする。
【００７８】
請求項２４に記載の再生装置は、
ピクチャを符号化した符号化データを再生する再生装置（例えば、図１１の画像復号装置（再生装置）１０２）において、
前記ピクチャの符号化結果と、前記ピクチャごとの走査方式を表す走査フラグ、および前記ピクチャごとの表示方式を指示する表示方式指示情報とが多重化された前記符号化データを復号する復号手段（例えば、図１１の可逆復号装置２２、逆量子化装置２３、逆直交変換装置２４、加算器２５、フレームメモリ２６、および動き予測／補償装置２７）と、
前記ピクチャの前記走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する認識手段（例えば、図１２のステップＳ３３またはＳ３７の処理を行う図１１のI/P変換装置１２２）と、
前記ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成して出力し、前記ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして出力するフレームピクチャ出力手段（例えば、図１２のステップＳ３４またはＳ３８の処理を行う図１１のI/P変換装置１２２）と、
前記フレームピクチャ出力手段において出力される前記フレームピクチャを、前記表示方式指示情報に対応した回数だけ繰り返し出力する繰り返し出力手段（例えば、図１１の表示画像出力バッファ１２３）と
を備えることを特徴とする。
【００７９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００８０】
図６は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
【００８１】
図６の画像処理システムは、画像符号化装置１０１、画像復号装置（再生装置）１０２、およびディスプレイ１０３から構成されている。
【００８２】
画像符号化装置１０１には、例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30HzのNTSC方式のピクチャが供給されるようになっており、画像符号化装置１０１は、例えば、基本的には、H.264/AVCの規格に準拠して、そこに供給される30HzのNTSC方式のピクチャを符号化し、その結果得られる符号化データを出力する。
【００８３】
即ち、画像符号化装置１０１は、そこに供給されるピクチャを、H.264/AVCの規格に準拠して符号化する。また、画像符号化装置１０１は、符号化対象のピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定し、その判定結果を、ピクチャの走査方式を表す走査フラグにセットする。さらに、画像符号化装置１０１は、符号化対象のピクチャの表示方式を表す情報を、ピクチャの表示方式を指示する表示方式指示情報にセットし、ピクチャの符号化結果と、ピクチャのごと走査フラグおよび表示方式指示情報とを多重化して、符号化データとして出力する。
【００８４】
画像符号化装置１０１が出力する符号化データは、例えば、光ディスクや、光磁気ディスク、磁気ディスク（ハードディスクを含む）、半導体メモリなどの記録媒体１０４に供給されて記録され、あるいは、インターネットや、電話回線、有線LAN(Local Area Network)、CATV(Cable Television)、または衛星回線や、地上波、無線LANなどの有線または無線の伝送媒体１０５を介して送信される。
【００８５】
画像復号装置１０２は、記録媒体１０４から読み出され、あるいは伝送媒体１０５を介して送信されてくる符号化データを受信して再生する。即ち、画像復号装置１０２は、、その符号化データを、例えば、基本的には、H.264/AVCの規格に準拠して復号する。さらに、画像復号装置１０２は、符号化データを復号することにより得られる復号画像を、後段のディスプレイ１０３に対応した画像に変換し、ディスプレイ１０３に供給する。
【００８６】
即ち、ディスプレイ１０３が、例えば、順次走査により、NTSC方式のフィールドの表示レート（フィールドレート）と同一の60Hz（正確には、59.94Hz）の表示レート（リフレッシュレート）で、画像を表示するディスプレイである場合、画像復号装置１０２は、復号画像を、60Hzの順次走査のフレームの画像（ピクチャ）に変換し、ディスプレイ１０３に供給する。
【００８７】
具体的には、画像復号装置１０２は、復号画像であるピクチャの走査フラグと表示方式指示情報とに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する。さらに、画像復号装置１０２は、ピクチャが、飛び越し走査のピクチャであると認識した場合、そのピクチャをフィールド補間することにより、フレームのピクチャ（フレームピクチャ）を生成する。また、画像復号装置１０２は、ピクチャが、順次走査のピクチャであると認識した場合、そのピクチャを、そのままフレームピクチャとする。そして、画像復号装置１０２は、フレームピクチャを、必要に応じて、表示方式指示情報に対応した回数だけ繰り返し出力することにより、60Hzの順次走査のフレームの画像（ピクチャ）を、ディスプレイ１０３に供給する。
【００８８】
これにより、ディスプレイ１０３では、60Hzの順次走査の画像（ピクチャ）が表示される。
【００８９】
次に、図６の画像符号化装置１０１と画像復号装置１０２の詳細について説明するが、その前に、H.264/AVCで規定されている幾つかのシンタクスについて説明する。
【００９０】
H.264/AVC(ISO/IEC 14496-10)では、pic_structとct_typeについて、以下のように記述されている。
【００９１】
pic_struct indicates whether a picture should be displayed as a frame or one or more fields, according to Table D-1. Frame doubling (pic_struct equal to 7) indicates that the frame should be displayed two times consecutively, and frame tripling (pic_struct equal to 8) indicates that the frame should be displayed three times consecutively.
NOTE - Frame doubling can facilitate the display, for example, of 25p video on a 50p display and 29.97p video on a 59.94p display. Using frame doubling and frame tripling in combination on every other frame can facilitate the display of 23.98p video on a 59.94p display.
NumClockTS is determined by pic_struct as specified in Table D-1.  There are up to NumClockTS sets of clockTimestamp information for a picture, as specified by clock_timestamp_flag[i] for each set.  The sets of clockTimestamp information apply to the field(s) or the frame(s) associated with the picture by pic_struct.  
The contents of the clockTimestamp syntax elements indicate a time of origin, capture, or alternative ideal display.  This indicated time is computed as
clockTimestamp = ( ( hH * 60 + mM ) * 60 + sS ) * time_scale + 
nFrames * ( num_units_in_tick * ( 1 + nuit_field_based_flag ) ) + tOffset,                                                                (D-1)
in units of clock ticks of a clock with clock frequency equal to time_scale Hz, relative to some unspecified point in time for which clockTimestamp is equal to 0.  Output order and DPB output timing are not affected by the value of clockTimestamp.  When two or more frames with pic_struct equal to 0 are consecutive in output order and have equal values of clockTimestamp, the indication is that the frames represent the same content and that the last such frame in output order is the preferred representation.
NOTE - clockTimestamp time indications may aid display on devices with refresh rates other than those well-matched to DPB output times.
clock_timestamp_flag[i] equal to 1 indicates that a number of clockTimestamp syntax elements are present and follow immediately.  clock_timestamp_flag[i] equal to 0 indicates that the associated clockTimestamp syntax elements are not present. When NumClockTS is greater than 1 and clock_timestamp_flag[i] is equal to 1 for more than one value of i, the value of clockTimestamp shall be non-decreasing with increasing value of i. 
ct_type indicates the scan type (interlaced or progressive) of the source material as follows:
Two fields of a coded frame may have different values of ct_type.  
When clockTimestamp is equal for two fields of opposite parity that are consecutive in output order, both with ct_type equal to 0 (progressive) or ct_type equal to 2 (unknown), the two fields are indicated to have come from the same original progressive frame.  Two consecutive fields in output order shall have different values of clockTimestamp when the value of ct_type for either field is 1 (interlaced).
【００９２】
ここで、図７に、H.264/AVCにおいて記述されているpic_structのテーブルを、図８に、ct_typeのテーブルを示す。
【００９３】
図７のpic_structのテーブルは、上述のH.264/AVCの記述におけるTable D-1であり、図８のct_typeのテーブルは、上述のH.264/AVCのct_typeの記述において記述されているテーブルである。
【００９４】
上述のH.264/AVCの記述によれば、pic_structは、ピクチャをどのように表示するかの表示方式を指示する情報であり、このpic_structが、画像符号化装置１０１（図６）において、表示方式指示情報として使用される。
【００９５】
図７のpic_structのテーブルによれば、ピクチャによって、１フレームを表示することを指示する場合には、そのピクチャのpic_structには、図７の最も左のValueの欄に示されているように、0がセットされる。同様に、ピクチャによって、トップフィールドまたはボトムフィールドを表示することを指示する場合には、そのピクチャのpic_structには、それぞれ1または2がセットされる。さらに、ピクチャによって、トップフィールドとボトムフィールドをその順で表示することを指示する場合には、そのピクチャのpic_structには、3がセットされ、ボトムフィールドとトップフィールドをその順で表示することを指示する場合には、pic_structには、4がセットされる。また、ピクチャによって、トップフィールド、ボトムフィールド、繰り返しトップフィールドをその順で表示することを指示する場合には、そのピクチャのpic_structには、5がセットされ、ボトムフィールド、トップフィールド、繰り返しボトムフィールドをその順で表示することを指示する場合には、pic_structには、6がセットされる。さらに、ピクチャによって、１フレームを２回繰り返しまたは３回繰り返し表示することを指示する場合には、そのピクチャのpic_structには、それぞれ7または8がセットされる。
【００９６】
従って、H.264/AVCでは、ピクチャがフィールドピクチャ(field picture)である場合には、そのピクチャのpic_structの値は、1または2のいずれかに制約される。また、ピクチャがフレームピクチャ(frame picture)である場合には、そのピクチャのpic_structの値は、0，3乃至8のいずれかに制約される。
【００９７】
一方、上述のH.264/AVCの記述によれば、ct-typeは、clockTimestampの算出に用いられる情報である。また、ct-typeは、H.264/AVCで規定されているclock_timestamp_flag[i]のエレメント(element)の１つである。clock_timestamp_flag[i]は、0または1のいずれかに設定され、clock_timestamp_flag[i]が0である場合、そのclock_timestamp_flag[i]には、エレメントが存在せず、clock_timestamp_flag[i]が1である場合、そのclock_timestamp_flag[i]には、エレメントが存在する。
【００９８】
ここで、clock_timestamp_flag[i]の引数iは、０乃至NumClockTSの範囲の整数値をとる。H.264/AVCにおいて、NumClockTSは、図７の最右欄に示すように、pic_structがとる値に応じて決められている。
【００９９】
図６の画像符号化装置１０１では、1がセットされたclock_timestamp_flag[0]のエレメント中のct_typeが、clockTimestampの算出ではなく、ピクチャの走査方式が、飛び越し走査または順次走査のうちのいずれであるかを表す走査フラグとして使用される。
【０１００】
図９は、以上のように、pic_structを表示方式指示情報として使用するとともに、ct_typeを走査フラグとして使用する図６の画像符号化装置１０１の構成例を示している。
【０１０１】
なお、図９において、図３の画像符号化装置における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図９の画像符号化装置１０１は、pic_struct並びに飛び越し走査／順次走査識別装置１１１（以下、適宜、単に、識別装置１１１という）が新たに設けられている他は、図３の画像符号化装置と基本的に同様に構成されている。
【０１０２】
識別装置１１１には、2-3検出装置２から、2-3韻律の検出結果やフィールド間差分情報が供給されるようになっている。識別装置１１１は、2-3検出装置２からの2-3韻律の検出結果やフィールド間差分情報に基づき、画面並べ替えバッファ３から加算器４に出力される符号化対象のピクチャである注目ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを、2-3検出装置２と同様にして判定する。そして、識別装置１１１は、その判定結果を、走査フラグとしてのct_typeにセットし、可逆符号化装置７に供給する。
【０１０３】
ここで、識別装置１１１では、注目ピクチャの走査方式が、例えば、2-3検出装置２と同様にして判定される。従って、識別装置１１１の判定結果と、2-3検出装置２の判定結果とは、同一になるので、識別装置１１１では、注目ピクチャの走査方式を判定せずに、2-3検出装置２の判定結果を利用するようにしても良い。
【０１０４】
識別装置１１１は、さらに、注目ピクチャの表示方式を表す値（図７のValueの欄の値）を、pic_structにセットする。
【０１０５】
ここで、H.264/AVCでは、上述したように、ピクチャがフィールドピクチャである場合はpic_structの値は、１または２のいずれかに制約され、ピクチャがフレームピクチャである場合は、pic_structの値は、０，３乃至８のいずれかに制約される。
【０１０６】
識別装置１１１は、かかる制約の下、注目ピクチャの表示方式を表す値を、pic_structにセットする。
【０１０７】
具体的には、識別装置１１１は、注目ピクチャが飛び越し走査のピクチャであると判定した場合、注目ピクチャの表示方式に応じて、その注目ピクチャによって、トップフィールドを表示することを指示する１か、ボトムフィールドを表示することを指示する２か、トップフィールドとボトムフィールドとをその順で表示することを指示する３か、またはボトムフィールドとトップフィールドとをその順で表示することを指示する４を、pic_structにセットする。即ち、この場合、飛び越し走査のピクチャである注目ピクチャがフィールドピクチャであれば、１または２のうちのいずれかが、pic_structにセットされ、注目ピクチャがフレームピクチャであれば、３または４のうちのいずれかが、pic_structにセットされる。
【０１０８】
また、識別装置１１１は、注目ピクチャが順次走査のピクチャであると判定した場合、注目ピクチャの表示方式に応じて、その注目ピクチャによって、フレームを表示することを指示する０か、トップフィールドとボトムフィールドとをその順で表示することを指示する３か、ボトムフィールドとトップフィールドとをその順で表示することを指示する４か、トップフィールド、ボトムフィールド、トップフィールドをその順で表示することを指示する5か、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6をセットする。
【０１０９】
識別装置１１１は、以上のように、注目ピクチャのpic_structに、その注目ピクチャの表示方式を表す値をセットし、可逆符号化装置７に供給する。
【０１１０】
なお、ここでは、ピクチャによって、２フレームまたは３フレームを表示することをそれぞれ指示する7または8（図７）は、pic_structにセットされないものとする。但し、H.264/AVCで規定されているfixed_frame_rate_flagが１であり、符号化対象のピクチャのシーケンスが固定フレームレートを満たす場合において、順次走査のピクチャを繰り返し表示することを指定するときには、pic_structには、７または８をセットすることができる。
【０１１１】
次に、図１０のフローチャートを参照して、図９の画像符号化装置１０１の処理について説明する。
【０１１２】
画像符号化装置１０１では、ステップＳ１において、画面並べ替えバッファ３から加算器４に出力されるピクチャが、順次、注目ピクチャとされ、その注目ピクチャが、図３の画像符号化装置における場合と同様にして符号化されていく。
【０１１３】
ここで、図３で説明したように、2-3検出装置２は、A/D変換装置１からの２フィールドのピクチャの組または３フィールドのピクチャの組が、順次走査のピクチャであると判定した場合、その２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、画面並べ替えバッファ３に供給する。また、2-3検出装置２は、あるフレームを構成する２フィールドが、飛び越し走査のピクチャであると判定した場合、その２フィールドのピクチャは、符号化効率に応じて、それぞれ、フィールドピクチャとして、または、その２フィールドで構成される１フレームのフレームピクチャとして、画面並べ替えバッファ３に供給する。従って、2-3検出装置２から画面並べ替えバッファ３に供給され、さらに、画面並べ替えバッファ３から加算器４に供給されるピクチャのレートは、20Hz（３フィールドのピクチャの組から１フレームの順次走査のピクチャが構成される場合）から30Hzの範囲の値となる。
【０１１４】
画像符号化装置１０１では、ステップＳ１の符号化の処理と並行して、ステップＳ１１において、識別装置１１１が、2-3検出装置２から供給される2-3韻律の検出結果やフィールド間差分情報に基づき、画面並べ替えバッファ３から加算器４に出力される符号化対象のピクチャである注目ピクチャが、飛び越し走査または順次走査のうちのいずれの走査方式のピクチャであるかを判定する。
【０１１５】
ステップＳ１１において、注目ピクチャが順次走査のピクチャであると判定された場合、ステップＳ１２に進み、識別装置１１１は、走査フラグとしての、注目ピクチャのct_typeに、「順次走査」を表す値（例えば、０）をセットし、可逆符号化装置７に供給して、ステップＳ１３に進む。
【０１１６】
ステップＳ１３では、識別装置１１１は、順次走査のピクチャであると判定した注目ピクチャのpic_structに、０，３乃至６のうちの、注目ピクチャの表示方式に応じた値をセットし、可逆符号化装置７に供給して、ステップＳ１４に進む。
【０１１７】
ステップＳ１４では、可逆符号化装置７は、注目ピクチャの符号化結果と、識別装置１１１からの注目ピクチャのct_typeおよびpic_structを多重化し、その多重化結果としての符号化データを、蓄積バッファ８を介して出力する。そして、ステップＳ１４からＳ１１に戻り、次の符号化対象のピクチャを注目ピクチャとして、その注目ピクチャについて、以下、同様の処理が行われる。
【０１１８】
ここで、可逆符号化装置７は、ステップＳ１４において、少なくとも、注目ピクチャのclock_timestamp_flag[0]に1をセットし、そのclock_timestamp_flag[0]のエレメントとして、識別装置１１１からの、注目ピクチャのct_typeを多重化する。
【０１１９】
なお、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]（kは、１以上の整数値）については、H.264/AVCに準拠した情報をセットしても良いし、また、clock_timestamp_flag[k]=0として、何らの情報もセットしなくても良い。
【０１２０】
一方、ステップＳ１１において、注目ピクチャが飛び越し走査のピクチャであると判定された場合、ステップＳ１５に進み、識別装置１１１は、走査フラグとしての、注目ピクチャのct_typeに、「飛び越し走査」を表す値（例えば、１）をセットし、可逆符号化装置７に供給して、ステップＳ１６に進む。
【０１２１】
ステップＳ１６では、識別装置１１１は、注目ピクチャが、フィールドピクチャまたはフレームピクチャのいずれであるかを判定する。
【０１２２】
ステップＳ１６において、注目ピクチャがフィールドピクチャであると判定された場合、ステップＳ１７に進み、識別装置１１１は、フィールドピクチャであり、かつ飛び越し走査のピクチャであると判定された注目ピクチャのpic_structに、１または２のうちの、注目ピクチャの表示方式に応じた値をセットする。さらに、ステップＳ１７では、識別装置１１１は、注目ピクチャのpic_structを、可逆符号化装置７に供給して、ステップＳ１４に進み、以下、上述した場合と同様の処理が行われる。
【０１２３】
また、ステップＳ１６において、注目ピクチャがフレームピクチャであると判定された場合、ステップＳ１８に進み、識別装置１１１は、フレームピクチャであり、かつ飛び越し走査のピクチャであると判定された注目ピクチャのpic_structに、３または４のうちの、注目ピクチャの表示方式に応じた値をセットする。さらに、ステップＳ１８では、識別装置１１１は、注目ピクチャのpic_structを、可逆符号化装置７に供給して、ステップＳ１４に進み、以下、上述した場合と同様の処理が行われる。
【０１２４】
以上のようにして、画像符号化装置１０１では、注目ピクチャの走査方式の判定結果がct_typeにセットされ、その注目ピクチャの符号化結果と、ct_typeおよびpic_structとが多重化された符号化データが出力される。
【０１２５】
次に、図１１は、図６の画像復号装置１０２の構成例を示している。なお、図１１において、図４の画像復号装置における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１の画像復号装置１０２は、画面並べ替えバッファ２８に代えて、画面並べ替えバッファ１２１が設けられており、さらに、その画面並べ替えバッファ１２１と、D/A変換装置２９との間に、I/P変換装置１２２、表示画像出力バッファ１２３、および画枠サイズ変換装置１２４が新たに設けられている他は、図４の画像復号装置と同様に構成されている。
【０１２６】
画面並べ替えバッファ１２１は、加算器２５から供給される復号画像（ピクチャ）を一時記憶し、表示順に並び替えて、I/P変換装置１２２に出力する。
【０１２７】
ここで、図４の画像復号装置における画面並べ替えバッファ２８は、前述したように、表示順に並べ替えられた24Hzの映画フィルムのピクチャを、pic_structにしたがって、30HzのNTSC方式のピクチャにして出力するが、画面並べ替えバッファ１２１は、単に、加算器２５から供給されるピクチャを、表示順で、I/P変換装置１２２に出力する。画面並べ替えバッファ１２１からI/P変換装置１２２に出力されるピクチャのレートは、図９の画像符号化装置１０１において、2-3検出装置２から画面並べ替えバッファ３に供給され、さらに、画面並べ替えバッファ３から加算器４に供給されるピクチャのレートと同様に、20Hzから30Hzの範囲の値となる。
【０１２８】
I/P変換装置１２２には、上述したように、画面並べ替えバッファ１２１からピクチャ（復号画像）が供給される他、可逆復号装置２２から、画面並べ替えバッファ１２１からの各ピクチャのct_typeとpic_structが供給されるようになっている。
【０１２９】
I/P(Interlace/Progressive)変換装置１２２は、画面並べ替えバッファ１２１から供給されるピクチャを、順次、注目ピクチャとして、可逆復号装置２２から供給される注目ピクチャのct_typeとpic_structに基づき、注目ピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識する。さらに、I/P変換装置１２２は、注目ピクチャが、飛び越し走査のピクチャであると認識した場合、その注目ピクチャをフィールド補間することにより、フレームピクチャを生成して、表示画像出力バッファ１２３に出力して記憶させる。また、I/P変換装置１２２は、注目ピクチャが、順次走査のピクチャであると認識した場合、その注目ピクチャを、そのまま、フレームピクチャとして、表示画像出力バッファ１２３に出力する。
【０１３０】
さらに、I/P変換装置１２２は、注目ピクチャのpic_structに応じて、表示画像出力バッファ１２３に記憶されたフレームピクチャの出力回数（表示画像出力バッファ１２３に記憶されたフレームピクチャの読み出し回数）を制御する。
【０１３１】
表示画像出力バッファ１２３は、I/P変換装置１２２から供給されるフレームピクチャを記憶する。また、表示画像出力バッファ１２３は、そこに記憶したフレームピクチャを、I/P変換装置１２２の制御にしたがって１回だけ、または複数回繰り返し読み出し、画枠サイズ変換装置１２４に供給する。
【０１３２】
画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを、ディスプレイ１０３（図６）の表示画面に対応した画枠サイズに変換し、D/A変換装置２９に供給する。
【０１３３】
次に、図１２のフローチャートを参照して、図１１の画像復号装置１０２の処理について説明する。
【０１３４】
画像復号装置１０２では、ステップＳ２１において、そこに供給される符号化データが、図４の画像復号装置における場合と同様にして復号され、その結果得られる復号画像（ピクチャ）が、画面並べ替えバッファ１２１に、順次記憶されていく。この画面並べ替えバッファ１２１に記憶されたピクチャは、画面並べ替えバッファ１２１において表示順に並べ替えられ、順次、I/P変換装置１２２に出力されていく。
【０１３５】
ここで、可逆復号装置２２は、ステップＳ２１の復号の処理において、図４の画像復号装置における場合と同様の処理を行う他、符号化データから、各ピクチャのct_typeとpic_structを分離し、I/P変換装置１２２に供給する。
【０１３６】
なお、可逆復号装置２２は、符号化データに多重化されている、１になっているclock_timestamp_flag[i]、即ち、本実施の形態では、clock_timestamp_flag[0]を解析することにより、そのエレメントとなっているct_typeを得て、I/P変換装置１２２に供給する。また、可逆復号装置２２では、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]（kは、１以上の整数値）は、解析しても良いし、しなくても良い。但し、可逆復号装置２２は、clock_timestamp_flag[0]以外のclock_timestamp_flag[k]を解析し、ct_typeを得た場合であっても、そのct_typeを無視する。
【０１３７】
画像復号装置１０２では、ステップＳ２１の復号の処理と並行して、ステップＳ３１において、I/P変換装置１２２が、画面並べ替えバッファ１２１からのピクチャを、注目ピクチャとして、可逆復号装置２２から供給される各ピクチャのct_typeとpic_structから、注目ピクチャのct_typeとpic_structを取得し、ステップＳ３２に進む。
【０１３８】
ステップＳ３２では、I/P変換装置１２２は、注目ピクチャのpic_structの値を判定する。
【０１３９】
ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、フレームを表示することを指示する０か、トップフィールド、ボトムフィールド、トップフィールドをその順で表示することを指示する5か、またはボトムフィールド、トップフィールド、ボトムフィールドをその順で表示することを指示する6であると判定された場合、ステップＳ３３に進み、I/P変換装置１２２は、注目ピクチャが、順次走査のピクチャであると認識し、ステップＳ３４に進む。
【０１４０】
ステップＳ３４では、I/P変換装置１２２は、順次走査のピクチャである注目ピクチャを、そのままフレームピクチャとして、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３５に進む。
【０１４１】
ステップＳ３５では、I/P変換装置１２２は、注目ピクチャのpic_structに対応した回数だけ、直前のステップＳ３４で記憶したフレームピクチャを繰り返し読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがった回数だけ繰り返し読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
【０１４２】
即ち、いまの場合、注目ピクチャのpic_structは、０，５、または６のうちのいずれかであり、注目ピクチャのpic_structが０である場合、表示画像出力バッファ１２３に記憶されたフレームピクチャは１回だけ読み出され、画枠サイズ変換装置１２４に供給される。また、注目ピクチャのpic_structが５または６である場合、いずれの場合も、表示画像出力バッファ１２３に記憶されたフレームピクチャは３回だけ繰り返し読み出され、画枠サイズ変換装置１２４に供給される。
【０１４３】
なお、符号化データには、図９の画像符号化装置１０１において符号化されたNTSC方式のピクチャのフィールドレートのレート情報が含まれており、表示画像出力バッファ１２３から画枠サイズ変換装置１２４へのフレームピクチャの出力は、レート情報が表すレートで行われる。従って、ここでは、NTSC方式のフィールドレート、即ち、ディスプレイ１０３の表示レートでもある60Hzで、表示画像出力バッファ１２３から画枠サイズ変換装置１２４へのフレームピクチャの出力が行われる。
【０１４４】
ステップＳ３５の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
【０１４５】
一方、ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、トップフィールドまたはボトムフィールドを表示することをそれぞれ指示する1または2であると判定された場合、ステップＳ３７に進み、I/P変換装置１２２は、注目ピクチャが、飛び越し走査のピクチャであると認識し、ステップＳ３８に進む。
【０１４６】
ステップＳ３８では、I/P変換装置１２２は、飛び越し走査のピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３９に進む。
【０１４７】
即ち、いまの場合、注目ピクチャのpic_structは、１または２のうちのいずれかであり、従って、飛び越し走査のピクチャである注目ピクチャは、フィールドピクチャである。I/P変換装置１２２は、フィールドピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し（いわゆる、インタレース→プログレッシブ変換を行い）、表示画像出力バッファ１２３に供給して記憶させる。なお、フィールド補間の方法は、特に限定されるものではない。
【０１４８】
ステップＳ３９では、I/P変換装置１２２は、直前のステップＳ３８で記憶したフレームピクチャを１回だけ読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがって１回だけ読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
【０１４９】
ステップＳ３９の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
【０１５０】
一方、ステップＳ３２において、注目ピクチャのpic_structが、その注目ピクチャによって、トップフィールドとボトムフィールドをその順で表示することを指示する３か、またはボトムフィールドとトップフィールドをその順で表示することを指示する4であると判定された場合、ステップＳ４０に進み、I/P変換装置１２２は、注目ピクチャのct_type（走査フラグ）に基づき、注目ピクチャが、順次走査または飛び越し走査のうちのいずれのピクチャであるかを判定する。
【０１５１】
ステップＳ４０において、注目ピクチャが順次走査のピクチャであると判定された場合、即ち、注目ピクチャのct_typeが「順次走査」を表している場合、ステップＳ３３に進み、I/P変換装置１２２は、上述したように、注目ピクチャが、順次走査のピクチャであると認識し、ステップＳ３４に進む。
【０１５２】
ステップＳ３４では、I/P変換装置１２２は、順次走査のピクチャである注目ピクチャを、そのままフレームピクチャとして、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３５に進む。
【０１５３】
ステップＳ３５では、I/P変換装置１２２は、注目ピクチャのpic_structに対応した回数だけ、直前のステップＳ３４で記憶したフレームピクチャを繰り返し読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶されたフレームピクチャが、I/P変換装置１２２の制御にしたがった回数だけ繰り返し読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
【０１５４】
即ち、いまの場合、注目ピクチャのpic_structは、３または４のうちのいずれかであり、いずれの値であっても、表示画像出力バッファ１２３に記憶されたフレームピクチャは２回だけ繰り返し読み出され、画枠サイズ変換装置１２４に供給される。
【０１５５】
ステップＳ３５の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、次の注目ピクチャについて、以下、同様の処理が行われる。
【０１５６】
一方、ステップＳ４０において、注目ピクチャが飛び越し走査のピクチャであると判定された場合、即ち、注目ピクチャのct_typeが「飛び越し走査」を表している場合、ステップＳ３７に進み、I/P変換装置１２２は、上述したように、注目ピクチャが、飛び越し走査のピクチャであると認識し、ステップＳ３８に進む。
【０１５７】
ステップＳ３８では、I/P変換装置１２２は、飛び越し走査のピクチャである注目ピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に供給して記憶させ、ステップＳ３９に進む。
【０１５８】
即ち、いまの場合、注目ピクチャのpic_structは、３または４のうちのいずれかであるので、飛び越し走査のピクチャである注目ピクチャはフレームピクチャであり、かかる飛び越し走査のフレームピクチャによれば、本来、トップフィールドとボトムフィールドとがその順で表示され、またはボトムフィールドとトップフィールドとがその順で表示される。一方、本実施の形態では、ディスプレイ１０３（図６）は、順次走査のピクチャを表示するディスプレイである。
【０１５９】
そこで、I/P変換装置１２２は、フレームピクチャである注目ピクチャのトップフィールドとボトムフィールドそれぞれをフィールド補間することにより、フレームピクチャを生成する。そして、I/P変換装置１２２は、注目ピクチャのpic_structが３である場合には、トップフィールドから生成したフレームピクチャと、ボトムフィールドから生成したフレームピクチャを、その順で、表示画像出力バッファ１２３に供給して記憶させる。また、I/P変換装置１２２は、注目ピクチャのpic_structが４である場合には、ボトムフィールドから生成したフレームピクチャと、トップフィールドから生成したフレームピクチャを、その順で、表示画像出力バッファ１２３に供給して記憶させる。
【０１６０】
ステップＳ３９では、I/P変換装置１２２は、直前のステップＳ３８で記憶した２つのフレームピクチャそれぞれを１回だけ読み出すように、表示画像出力バッファ１２３を制御し、これにより、表示画像出力バッファ１２３に記憶された２つのフレームピクチャが、I/P変換装置１２２の制御にしたがって１回ずつ、その記憶順に読み出され、表示画像出力バッファ１２３から画枠サイズ変換装置１２４に供給（出力）される。
【０１６１】
ステップＳ３９の処理後は、ステップＳ３６に進み、画枠サイズ変換装置１２４は、表示画像出力バッファ１２３からのフレームピクチャの画枠サイズを変換し、D/A変換装置２９を介して、ディスプレイ１０３（図６）に供給して表示させる。そして、ステップＳ３６からＳ３１に戻り、画面並べ替えバッファ１２１からI/P変換装置１２２に対して次に供給されるピクチャが注目ピクチャとされ、その注目ピクチャについて、以下、同様の処理が行われる。
【０１６２】
以上のように、画像復号装置１０２では、I/P変換装置１２２において、ピクチャのct_typeとpic_structとに基づき、そのピクチャが、飛び越し走査または順次走査のうちのいずれのピクチャであるかを認識し、ピクチャが、飛び越し走査のピクチャであると認識された場合、そのピクチャをフィールド補間することにより、フレームピクチャを生成し、表示画像出力バッファ１２３に出力して記憶させ、ピクチャが、順次走査のピクチャであると認識された場合、そのピクチャを、フレームピクチャとして、表示画像出力バッファ１２３に出力して記憶させる。さらに、画像復号装置１０２では、表示画像出力バッファ１２３に記憶されたフレームピクチャが、pic_structに対応した回数だけ繰り返し出力される。
【０１６３】
従って、順次走査のピクチャのpic_structが３または４である場合に、その順次走査のピクチャが、トップフィールドとボトムフィールドとに分離され、飛び越し走査されるフィールドとして出力されることにより、１フィールド分の垂直解像度が失われることを防止することができる。
【０１６４】
ここで、H.264/AVCにおけるpic_structの０乃至８の定義（図７）のうちの、３と４は、飛び越し走査のディスプレイにおいて、フィールドの時間位相差表示を行うことを意識したものであり、順次走査のディスプレイにおいて、どのように表示を行うかは特定されていない。
【０１６５】
これに対して、画像復号装置１０２においては、pic_structが３または４の飛び越し走査のフレームピクチャについては、そのトップフィールドとボトムフィールドそれぞれからフレームピクチャが生成され、その２つのフレームピクチャそれぞれが、１回だけ、ディスプレイ１０３に供給される。また、pic_structが３または４の順次走査のフレームピクチャについては、そのフレームピクチャが２回繰り返して、ディスプレイ１０３に供給される。従って、順次走査のディスプレイであるディスプレイ１０３においては、画像復号装置１０２から上述のようにして供給されるフレームピクチャを表示することができる。
【０１６６】
なお、図１１の画像復号装置１０２において、画枠サイズ変換装置１２４による画枠サイズの変換の処理は、I/P変換装置１２２において行うことが可能である。この場合、画枠サイズ変換装置１２４を設けずに、画像復号装置１０２を構成することができ、さらに、処理の簡素化を図ることができる。
【０１６７】
次に、図１３を参照して、図９の画像符号化装置１０１と、図１１の画像復号装置１０２の処理について、さらに説明する。
【０１６８】
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャが、図１３の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
【０１６９】
ここで、図１３の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
【０１７０】
図１３の上から１番目のNTSC方式のフィールドピクチャにおいては、その第２フィールドと第３フィールドとの間でカット編集が行われており、さらに、その第４フィールドと第５フィールドとの間でもカット編集が行われている。
【０１７１】
いま、図９の画像符号化装置１０１の2-3検出装置２（および識別装置１１１）において、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第５乃至第７フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されたものとする。
【０１７２】
画像符号化装置１０１では、順次走査のピクチャは、フレームピクチャとして符号化され、飛び越し走査のピクチャは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化される。
【０１７３】
従って、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１３の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第５乃至第７フィールドも、図１３の上から２番目に示すように、１つのフレームピクチャとして符号化される。
【０１７４】
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第５乃至第７フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
【０１７５】
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
【０１７６】
さらに、識別装置１１１では、第５乃至第７フィールドを１フレームとしたフレームピクチャによって、第５乃至第７フィールドの３フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの５または６にセットされる。
【０１７７】
一方、飛び越し走査のピクチャである第３および第４フィールドは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化されるが、いま、例えば、フィールドピクチャの符号化効率の方が高いものとすると、図１３の上から２番目に示すように、フィールドピクチャとして符号化される。
【０１７８】
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャと、第４フィールドのフィールドピクチャの走査フラグとしてのct_typeに、いずれも、「飛び越し走査」がセットされる。
【０１７９】
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。同様に、第４フィールドのフィールドピクチャによっても、第４フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
【０１８０】
この場合、図１１の画像復号装置１０２では、図１３の上から３番目に示すように、ピクチャが復号される。
【０１８１】
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「順次走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０１８２】
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
【０１８３】
第４フィールドのフィールドピクチャについても、第３フィールドのフィールドピクチャと同様に、pic_structに１または２がセットされているので、画像復号装置１０２では、第４フィールドのフィールドピクチャをフィールド補間することによって得られるフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
【０１８４】
そして、第５乃至第７フィールドを１フレームとしたフレームピクチャについては、pic_structに５または６がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第５乃至第７フィールドを１フレームとした順次走査のフレームピクチャが、５または６がセットされているpic_structに対応して３回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０１８５】
なお、飛び越し走査のピクチャである第３および第４フィールドについて、フレームピクチャまたはフィールドピクチャのうちの、例えば、フレームピクチャとして符号化を行った方が符号化効率が高い場合には、画像符号化装置１０１では、第３および第４フィールドからなるフレームピクチャが符号化される。
【０１８６】
この場合、画像符号化装置１０１の識別装置１１１では、第３および第４フィールドからなるフレームピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
【０１８７】
また、識別装置１１１では、第３および第４フィールドからなるフレームピクチャによって、第３フィールドと第４フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる（図１３の上から２番目）。
【０１８８】
この場合、図１１の画像復号装置１０２では、第３および第４フィールドからなるフレームピクチャは、次のように復号される。即ち、第３および第４フィールドからなるフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「飛び越し走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３および第４フィールドからなるフレームピクチャのトップフィールドとボトムフィールドのそれぞれをフィールド補間することによって２つのフレームピクチャが生成される。そして、その２つフレームピクチャが、それぞれ１回だけ、ディスプレイ１０３に出力されて表示される。
【０１８９】
以上により、ディスプレイ１０３では、フレームレートが６０Hzのピクチャが順次走査により表示される。
【０１９０】
なお、図５で説明したように、2-3検出装置２では（従って、識別装置１１１でも）、あるピクチャが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されることがあり得る。この場合、画像符号化装置１０１では、飛び越し走査のピクチャであるという判定結果と、順次走査のピクチャであるという判定結果のうちのいずれかを優先させるようにすることができる。
【０１９１】
即ち、図１４は、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定された場合に、飛び越し走査のピクチャであるという判定結果を優先させるときの画像符号化装置１０１と画像復号装置１０２の処理を説明する図である。
【０１９２】
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが６０Hz）のNTSC方式のピクチャが、図１４の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
【０１９３】
ここで、図１３における場合と同様に、図１４の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
【０１９４】
いま、画像符号化装置１０１の2-3検出装置２（および識別装置１１１）において、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されたものとする。
【０１９５】
この場合、第４フィールドが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されている。図１４の実施の形態では、重複判定された場合に、飛び越し走査のピクチャであるという判定結果が優先され、結局、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第５および第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定される。
【０１９６】
画像符号化装置１０１では、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１４の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第５および第６フィールドも、図１４の上から２番目に示すように、１つのフレームピクチャとして符号化される。
【０１９７】
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第５および第６フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
【０１９８】
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
【０１９９】
さらに、識別装置１１１では、第５および第６フィールドを１フレームとしたフレームピクチャによって、第５および第６フィールドの２フィールドを表示する必要があるため、そのpic_structも、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
【０２００】
一方、飛び越し走査のピクチャである第３および第４フィールドは、フレームピクチャまたはフィールドピクチャのうちの、符号化効率が高い方のピクチャとして符号化されるが、いま、例えば、フィールドピクチャの符号化効率の方が高いものとすると、図１４の上から２番目に示すように、フィールドピクチャとして符号化される。
【０２０１】
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャと、第４フィールドのフィールドピクチャの走査フラグとしてのct_typeに、いずれも、「飛び越し走査」がセットされる。
【０２０２】
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。同様に、第４フィールドのフィールドピクチャによっても、第４フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
【０２０３】
この場合、図１１の画像復号装置１０２では、図１４の上から３番目に示すように、ピクチャが復号される。
【０２０４】
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているが、ct_typeに「順次走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０２０５】
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
【０２０６】
第４フィールドのピクチャについても、同様に、pic_structに１または２がセットされているので、画像復号装置１０２では、第４フィールドのフィールドピクチャをフィールド補間することによって得られるフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
【０２０７】
そして、第５および第６フィールドを１フレームとしたフレームピクチャについては、pic_structに３または４がセットされているので、画像復号装置１０２では、第１および第２フィールドを１フレームとしたフレームピクチャと同様に、第５および第６フィールドを１フレームとした順次走査のフレームピクチャが、３または４がセットされているpic_structに対応して２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０２０８】
以上により、ディスプレイ１０３では、フレームレートが６０Hzのピクチャが順次走査により表示される。
【０２０９】
なお、飛び越し走査のピクチャである第３および第４フィールドについて、フレームピクチャまたはフィールドピクチャのうちの、例えば、フレームピクチャとして符号化を行った方が符号化効率が高い場合には、画像符号化装置１０１では、第３および第４フィールドからなるフレームピクチャが符号化される。
【０２１０】
この場合、画像符号化装置１０１の識別装置１１１では、第３および第４フィールドからなるフレームピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
【０２１１】
また、識別装置１１１では、第３および第４フィールドからなるフレームピクチャによって、第３フィールドと第４フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる（図１４の上から２番目）。
【０２１２】
この場合、第３および第４フィールドからなるフレームピクチャのpic_structに３または４がセットされているが、ct_typeに「飛び越し走査」がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３および第４フィールドからなるフレームピクチャのトップフィールドとボトムフィールドのそれぞれをフィールド補間することによって２つのフレームピクチャが生成される。そして、その２つフレームピクチャが、それぞれ１回だけ、ディスプレイ１０３に出力されて表示される。
【０２１３】
次に、図１５は、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定された場合に、順次走査のピクチャであるという判定結果を優先させるときの画像符号化装置１０１と画像復号装置１０２の処理を説明する図である。
【０２１４】
例えば、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャが、図１５の上から１番目に示すように編集され、符号化対象として、画像符号化装置１０１に供給されたとする。
【０２１５】
ここで、図１３および図１４と同様に、図１５の上から１番目のNTSC方式のピクチャであるフィールドピクチャのうちの左からｍ番目を、第ｍフィールドという。
【０２１６】
図１５の上から１番目のNTSC方式のフィールドピクチャは、図１４の上から１番目に示したフィールドピクチャと同一のものとなっており、従って、画像符号化装置１０１の2-3検出装置２（および識別装置１１１）では、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドおよび第４フォールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定されている。即ち、第４フィールドが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定されている。
【０２１７】
図１５の実施の形態では、重複判定された場合に、順次走査のピクチャであるという判定結果が優先され、結局、第１フィールドおよび第２フィールドが、１フレームの順次走査のピクチャであると、第３フィールドが、飛び越し走査のピクチャであると、第４乃至第６フィールドが、１フレームの順次走査のピクチャであると、それぞれ判定される。
【０２１８】
画像符号化装置１０１では、順次走査のピクチャである第１フィールドおよび第２フィールドは、図１５の上から２番目に示すように、１つのフレームピクチャとして符号化される。同様に、順次走査のピクチャである第４乃至第６フィールドも、図１５の上から２番目に示すように、１つのフレームピクチャとして符号化される。
【０２１９】
そして、画像符号化装置１０１の識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャと、第４乃至第６フィールドを１フレームとしたフレームピクチャの走査フラグとしてのct_typeに、いずれも、「順次走査」がセットされる。
【０２２０】
また、識別装置１１１では、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャによって、第１フィールドと第２フィールドの２フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの３または４にセットされる。
【０２２１】
さらに、識別装置１１１では、第４乃至第６フィールドを１フレームとしたフレームピクチャによって、第４乃至第６フィールドの３フィールドを表示する必要があるため、そのpic_structは、フレームピクチャのpic_structにセットされうる０，３乃至６（図７）のうちの５または６にセットされる。
【０２２２】
一方、飛び越し走査のピクチャである第３フィールドは、フレームピクチャを構成する他のフィールドが存在しないため、図１５の上から２番目に示すように、フィールドピクチャとして符号化される。
【０２２３】
そして、画像符号化装置１０１の識別装置１１１では、第３フィールドのフィールドピクチャの走査フラグとしてのct_typeに、「飛び越し走査」がセットされる。
【０２２４】
また、識別装置１１１では、第３フィールドのフィールドピクチャによって、第３フィールドの１フィールドを表示する必要があるため、そのpic_structは、フィールドピクチャのpic_structにセットされうる１または２（図７）にセットされる。
【０２２５】
この場合、画像復号装置１０２では、図１５の上から３番目に示すように、ピクチャが復号される。
【０２２６】
即ち、第１フィールドおよび第２フィールドを１フレームとしたフレームピクチャについては、図１４における場合と同様に、第１フィールドおよび第２フィールドを１フレームとした順次走査のフレームピクチャが、２回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０２２７】
また、第３フィールドのフィールドピクチャについては、pic_structに１または２がセットされているので、画像復号装置１０２では、図１２のフローチャートで説明したように、第３フィールドのフィールドピクチャをフィールド補間することによってフレームピクチャが生成される。そして、そのフレームピクチャが、１回だけ、ディスプレイ１０３に出力されて表示される。
【０２２８】
そして、第４乃至第６フィールドを１フレームとしたフレームピクチャについては、pic_structに５または６がセットされているので、画像復号装置１０２では、第４乃至第６フィールドを１フレームとした順次走査のフレームピクチャが、５または６がセットされているpic_structに対応して３回だけ繰り返し出力され、ディスプレイ１０３（図６）に表示される。
【０２２９】
次に、上述した実施の形態では、走査フラグとして、１がセットされたclock_timestamp_flag[0]の中のct_typeを使用することとしたが、その他、走査フラグとしては、例えば、H.264/AVCの規格に規定されているuser data SEIの中のユーザ定義された情報を使用することができる。
【０２３０】
即ち、H.264/AVCでは、ユーザが任意に定義したシンタクスを挿入することができるuser data SEIと呼ばれるシンタクスが用意されている。user data SEIには、user data registered by ITU-T Recommendation T.35 SEIと、user data unregistered SEIと呼ばれる２種類のシンタクスが定義されている。図１６に、user data registered by ITU-T Recommendation T.35 SEIのシンタクスを、図１７に、user data unregistered SEIのシンタクスを、それぞれ示す。
【０２３１】
ここで、H.264/AVCでは、user data registered by ITU-T Recommendation T.35 SEIについて、以下のように記述されている。
【０２３２】
User data registered by ITU-T Recommendation T.35 SEI message semantics
This message contains user data registered as specified by ITU-T Recommendation T.35, the contents of which are not specified by this Recommendation | International Standard.
itu_t_t35_country_code shall be a byte having a value specified as a country code by ITU-T Recommendation T.35 Annex A.
itu_t_t35_country_code_extension_byte shall be a byte having a value specified as a country code by ITU-T Recommendation T.35 Annex B.
itu_t_t35_payload_byte shall be a byte containing data registered as specified by ITU-T Recommendation T.35.
The ITU-T T.35 terminal provider code and terminal provider oriented code shall be contained in the first one or more bytes of the itu_t_t35_payload_byte, in the format specified by the Administration that issued the terminal provider code. Any remaining itu_t_t35_payload_byte data shall be data having syntax and semantics as specified by the entity identified by the ITU-T T.35 country code and terminal provider code.
【０２３３】
また、H.264/AVCでは、user data unregistered SEIについて、以下のように記述されている。
【０２３４】
User data unregistered SEI message semantics
This message contains unregistered user data identified by a UUID, the contents of which are not specified by this Recommendation | International Standard.
UUID_iso_iec_11578 shall have a value specified as a UUID according to the procedures of ISO/IEC 11578:1996 Annex A.
user_data_payload_byte shall be a byte containing data having syntax and semantics as specified by the UUID generator.
【０２３５】
図１６に示したuser data registered by ITU-T Recommendation T.35 SEIには、そのitu_t_35_payload_byteのエレメントとして、ユーザ定義の情報を、ピクチャごとに挿入することができるので、そのユーザ定義の情報として、走査フラグを挿入することができる。なお、itu_t_35_payload_byteに走査フラグを挿入する場合には、ITU-T T.35に基づいた端末（プロバイダ）の登録が必要となる。
【０２３６】
また、図１７に示したuser data unregistered SEIには、そのuser_data_payload_byteのエレメントとして、ユーザ定義の情報を、ピクチャごとに挿入することができるので、そのユーザ定義の情報として、走査フラグを挿入することができる。なお、user_data_payload_byteに走査フラグを挿入する場合には、UUIDを指定し、user data SEIの識別を可能にするが必要がある。
【０２３７】
図１８は、itu_t_35_payload_byteまたはuser_data_payloadのエレメントとして、走査フラグを挿入する場合の、そのエレメントのシンタクスの例を示している。
【０２３８】
図１８において、scan_information()は、ユーザ定義の、itu_t_35_payload_byteまたはuser_data_payloadのエレメントであり、走査フラグとしての１ビットのprog_inter_flagと、予約(reserved)の１５ビットのreserved_for_future_useとから構成される。走査フラグとしてのprog_inter_flagには、「順次走査」を表す値としての、例えば０か、または「飛び越し走査」を表す値としての、例えば１が、識別装置１１１においてセットされる。
【０２３９】
なお、走査フラグとして使用するシンタクスは、上述したct_typeや、user data registered by ITU-T Recommendation T.35 SEI，user data unregistered SEIに限定されるものではない。さらに、画像符号化装置１０１では、走査フラグは、符号化データに埋め込む他、符号化データに付随する形式で、記録媒体１０４に記録し、あるいは、伝送媒体１０５を介して送信することができる。
【０２４０】
ところで、図６の画像処理システムでは、画像符号化装置１０１において、フレームレートが24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャを符号化対象として、符号化を行い、その結果得られる符号化データを、画像復号装置１０２で、60Hzの順次走査のピクチャに復号し、その60Hzの順次走査のピクチャを、60Hzの順次走査で表示を行うディスプレイ１０３で表示するようになっている。
【０２４１】
画像符号化装置１０１において、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャを符号化対象としたのは、現在、映画コンテンツについては、24Hzの映画フィルムのピクチャを2-3プルダウンすることによって得られる30HzのNTSC方式のピクチャが流通することが一般的であるためであるが、今後は、24Hzの映画フィルムのピクチャが、2-3プルダウンされることなく、そのまま流通することが予想される。
【０２４２】
この場合、画像符号化装置１０１では、24Hzの映画フィルムのピクチャが入力され、そのピクチャを符号化対象として符号化が行われることになり、画像復号装置１０２では、画像符号化装置１０１において得られる符号化データが、24Hzの映画フィルムのピクチャに復号される。
【０２４３】
一方、ディスプレイ１０３は、60Hzの順次走査で表示を行うから、画像復号装置１０２での復号により得られる24Hzの映画フィルムのピクチャは、そのままでは、ディスプレイ１０３に表示することができない。
【０２４４】
また、H.264/AVCでは、映画フィルムのピクチャなどの24Hzの順次走査のピクチャを、60Hzの順次走査のディスプレイ１０３で表示する場合の、ピクチャの表示間隔を定める術がない。
【０２４５】
そこで、図１９は、24Hzの順次走査のピクチャを符号化対象として符号化、復号を行い、その復号によって得られる24Hzの順次走査のピクチャを、60Hzの順次走査で表示する画像処理システムの構成例を示している。
【０２４６】
なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４７】
画像符号化装置２０１には、例えば、24Hzの順次走査のピクチャが供給されるようになっており、画像符号化装置２０１は、例えば、基本的には、H.264/AVCの規格に準拠して、そこに供給される24Hzの順次走査のピクチャを符号化し、その結果得られる符号化データを出力する。
【０２４８】
画像符号化装置２０１が出力する符号化データは、例えば、記録媒体１０４に供給されて記録され、あるいは、伝送媒体１０５を介して送信される。
【０２４９】
画像復号装置２０２は、記録媒体１０４から再生され、あるいは伝送媒体１０５を介して送信されてくる符号化データを受信し、その符号化データを、例えば、基本的には、H.264/AVCの規格に準拠して、24Hzの順次走査のピクチャに復号する。さらに、画像復号装置２０２は、24Hzの順次走査のピクチャの、後段のディスプレイ１０３に対する出力回数を制御することで、60Hzの順次走査のピクチャを、ディスプレイ１０３に供給する。
【０２５０】
これにより、60Hzの順次走査のディスプレイ１０３において、画像復号装置２０２から供給される60Hzの順次走査のピクチャが表示される。
【０２５１】
次に、図２０は、図１９の画像符号化装置２０１の構成例を示している。なお、図中、図３または図９における場合と対応する部分については、同一の符号を付してある。
【０２５２】
画像符号化装置２０１は、2-3検出装置２が設けられていない他は、基本的に、図３の画像符号化装置と同様に構成されている。そして、画像符号化装置２０１には、24Hzの順次走査のピクチャが供給されるようになっており、画像符号化装置２０１では、その24Hzの順次走査のピクチャが、図３における場合と同様にして符号化される。
【０２５３】
次に、図２１は、図１９の画像復号装置２０２の構成例を示している。なお、図中、図４または図１１における場合と対応する部分については、同一の符号を付してある。
【０２５４】
画像復号装置２０２は、画面並べ替えバッファ２８に代えて、図１１の画面並べ替えバッファ１２１が設けられており、さらに、表示画像出力バッファ２１１および出力制御部２１２が新たに設けられている他は、基本的に、図４の画像復号装置と同様に構成されている。
【０２５５】
表示画像出力バッファ２１１は、画面並べ替えバッファ１２１から供給されるピクチャを一時記憶する。ここで、図１９の画像符号化装置２０１では、24Hzの順次走査のピクチャを符号化対象として符号化が行われる。従って、図２１の画像復号装置２０２において、加算器２５から画面並べ替えバッファ１２１に供給されて記憶されるのは、画像符号化装置２０１で符号化対象となった24Hzの順次走査のピクチャであり、表示画像出力バッファ２１１は、その24Hzの順次走査のピクチャを一時記憶する。
【０２５６】
そして、表示画像出力バッファ２１１は、そこに記憶したピクチャを、出力制御部２１２の制御にしたがった回数だけ読み出し、D/A変換装置２９を介してディスプレイ１０３（図１９）に供給する。
【０２５７】
即ち、出力制御部２１２は、加算器２５から画面並べ替えバッファ１２１に供給される、復号されたピクチャのフレームレート、即ち、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数（表示画像出力バッファ２１１からの読み出し回数）を制御する。
【０２５８】
これにより、表示画像出力バッファ２１１からは、ディスプレイ１０３の表示レートに一致するフレームレートの順次走査のピクチャが出力され、D/A変換装置２９を介してディスプレイ１０３に供給される。
【０２５９】
ここで、符号化対象のピクチャのフレームレートのフレームレート情報は、例えば、画像符号化装置２０１において、符号化データに多重化されるようになっており、画像復号装置２０２の出力制御部２１２は、そのフレームレート情報から、符号化対象のピクチャのフレームレートを認識するようになっている。また、ディスプレイ１０３の表示レートの情報は、例えば、ディスプレイ１０３から出力制御部２１２に供給されるようになっている。
【０２６０】
次に、図２２を参照して、出力制御部２１２による表示画像出力バッファ２１１の制御について、さらに説明する。
【０２６１】
上述したように、出力制御部２１２は、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数を制御する。
【０２６２】
即ち、ここでは、符号化対象のピクチャのフレームレートは24Hzであり、順次走査のディスプレイ１０３の表示レートは60Hzである。この場合、出力制御部２１２は、図２２に示すように、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、あるピクチャは２回繰り返し出力し、次のピクチャは３回繰り返し出力し、さらに、次のピクチャは２回繰り返し出力し、以下、同様に、２回繰り返しの出力と３回繰り返しの出力とを、交互に繰り返すように、表示画像出力バッファ２１１を制御する。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、60Hzとなる。
【０２６３】
なお、符号化対象のピクチャのフレームレートは24Hzでなくてもよく、また、順次走査のディスプレイ１０３の表示レートも60Hzでなくてもよい。
【０２６４】
例えば、符号化対象のピクチャのフレームレートが24Hzであり、順次走査のディスプレイ１０３の表示レートが30Hzである場合、出力制御部２１２は、符号化対象のピクチャのフレームレートと、順次走査のディスプレイ１０３の表示レートとに応じて、表示画像出力バッファ２１１に記憶されたピクチャの出力回数を、例えば、図２３に示すように制御する。
【０２６５】
即ち、出力制御部２１２は、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、連続する４つのピクチャごとに、１番目から３番目のピクチャは１回だけ出力し、４番目のピクチャは２回繰り返し出力することを繰り返すように、表示画像出力バッファ２１１を制御する。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、30Hzとなる。
【０２６６】
なお、図２３では、連続する４つのピクチャのうちの、１番目から３番目のピクチャを１回だけ出力し、４番目のピクチャを２回繰り返し出力するようにしたが、ピクチャの出力パターンは、これに限定されるものではなく、要は、連続する４つのピクチャのうちの任意の３つのピクチャを１回だけ出力し、他の１つのピクチャを２回繰り返し出力するようにすればよい。
【０２６７】
また、符号化対象のピクチャのフレームレートが24Hzであり、順次走査のディスプレイ１０３の表示レートが30Hzの整数倍である30×A[Hz]である場合には（Ａは１以上の整数）、出力制御部２１２において、表示画像出力バッファ２１１に記憶された24Hzのピクチャの、連続する４つのピクチャごとに、その４つのピクチャのうちの任意の３つのピクチャをA回だけ出力し、他の１つのピクチャを２×A回繰り返し出力することを繰り返すように、表示画像出力バッファ２１１を制御することができる。これにより、表示画像出力バッファ２１１から読み出される順次走査のピクチャのフレームレートは、30×A[Hz]となる。
【０２６８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２６９】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２７０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０２７１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２７２】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０２７３】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０２７４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２７５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２７６】
なお、本実施の形態では、符号化対象のピクチャとして、フレームレートが30Hz（フィールドレートが60Hz）のNTSC方式のピクチャや、24Hzの順次走査のピクチャを採用することとしたが、符号化対象のピクチャは、他のフレームレート（フィールドレート）のピクチャを採用することが可能である。
【０２７７】
また、本実施の形態では、ディスプレイ１０３として、表示レートが30Hzや60Hzの順次走査のディスプレイを採用することとしたが、ディスプレイ１０３としては、他の表示レートのディスプレイを採用することが可能である。
【０２７８】
さらに、本実施の形態では、基本的には、H.264/AVCに準拠した符号化と復号を行うようにしたが、本発明は、H.264/AVC以外の、例えば、MPEGやH.26x等のように、離散コサイン変換やカルーネン・レーベ変換等の直交変換と、動き補償とを利用して、画像の符号化／復号を行う装置その他に適用可能である。
【０２７９】
また、図１２では、pic_structの判定後に、走査フラグであるct_typeを判定するようにしたが、先に、ct_typeを判定し、その後、pic_structを判定するようにすることも可能である。
【図面の簡単な説明】
【０２８０】
【図１】映画フィルムのピクチャと、NTSC方式のピクチャとを説明する図である。
【図２】2-3プルダウンを説明する図である。
【図３】従来の画像符号化装置の一例の構成を示すブロック図である。
【図４】従来の画像復号装置の一例の構成を示すブロック図である。
【図５】符号化対象のピクチャが、飛び越し走査のピクチャでもあり、順次走査のピクチャでもあると重複判定される場合を説明する図である。
【図６】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図７】H.264/AVCに規定されているpic_structのテーブルを示す図である。
【図８】H.264/AVCに規定されているct_typeのテーブルを示す図である。
【図９】画像符号化装置１０１の構成例を示すブロック図である。
【図１０】画像符号化装置１０１の処理を説明するフローチャートである。
【図１１】画像復号装置１０２の構成例を示すブロック図である。
【図１２】画像復号装置１０２の処理を説明するフローチャートである。
【図１３】画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。
【図１４】画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。
【図１５】画像符号化装置１０１と画像復号装置１０２の処理を説明するための図である。
【図１６】H.264/AVCに規定されているuser data registered by ITU-T Recommendation T.35 SEIのシンタクスを示す図である。
【図１７】H.264/AVCに規定されているuser data unregistered SEIのシンタクスを示す図である。
【図１８】scan_information()のシンタクスを示す図である。
【図１９】24Hzの順次走査のピクチャを符号化対象として符号化、復号を行い、60Hzの順次走査で表示を行う画像処理システムの構成例を示すブロック図である。
【図２０】画像符号化装置２０１の構成例を示すブロック図である。
【図２１】画像復号装置２０２の構成例を示すブロック図である。
【図２２】出力制御部２１２による表示画像出力バッファ２１１の制御を説明するための図である。
【図２３】出力制御部２１２による表示画像出力バッファ２１１の制御を説明するための図である。
【図２４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２８１】
１  A/D変換装置，  ２  2-3検出装置，  ３  画面並べ替えバッファ，  ４  加算器，  ５  直交変換装置，  ６  量子化装置，  ７  可逆符号化装置，  ８  蓄積バッファ，  ９  逆量子化装置，  １０  逆直交変換装置，  １１  フレームメモリ，  １２  動き予測／補償装置，  １３  レート制御装置，  ２１  蓄積バッファ，  ２２  可逆復号装置，  ２３  逆量子化装置，  ２４  逆直交変換装置，  ２５  加算器，  ２６  フレームメモリ，  ２７  動き予測／補償装置，  ２９  D/A変換装置，  １０１  画像符号化装置，  １０２  画像復号装置，  １０３  ディスプレイ，  １０４  記録媒体，  １０５  伝送媒体，  １１１  pic_struct並びに飛び越し走査／順次走査識別装置，  １２１  画面並べ替えバッファ，  １２２  I/P変換装置，  １２３  表示画像出力バッファ，  １２４  画枠サイズ変換装置，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2005354361.tif 000003
【図２】
2005354361.tif 000004
【図３】
2005354361.tif 000005
【図４】
2005354361.tif 000006
【図５】
2005354361.tif 000007
【図６】
2005354361.tif 000008
【図７】
2005354361.tif 000009
【図８】
2005354361.tif 000010
【図９】
2005354361.tif 000011
【図１０】
2005354361.tif 000012
【図１１】
2005354361.tif 000013
【図１２】
2005354361.tif 000014
【図１３】
2005354361.tif 000015
【図１４】
2005354361.tif 000016
【図１５】
2005354361.tif 000017
【図１６】
2005354361.tif 000018
【図１７】
2005354361.tif 000019
【図１８】
2005354361.tif 000020
【図１９】
2005354361.tif 000021
【図２０】
2005354361.tif 000022
【図２１】
2005354361.tif 000023
【図２２】
2005354361.tif 000024
【図２３】
2005354361.tif 000025
【図２４】
2005354361.tif 000026