(57)【要約】【課題】画像表示装置にフレーム補間機能を実装するとき、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる画像符号化装置を得る。【解決手段】動き探索部３は、画像表示装置でフレーム補間実施有りの場合は画像相関を重視した動き探索を実施し、画像表示装置でフレーム補間実施無しの場合は符号化効率を重視した動き探索を実施する。符号化部１４は、フレーム補間実施有無の情報を含んだ符号化ストリームを生成する。【選択図】図１
2012105177.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間の動き探索を行う動き探索部と、前記動き探索を行った結果に基づいて符号化ストリームを出力する符号化部とを備えた画像符号化装置において、
前記出力された符号化ストリームを復号して表示する画像表示装置におけるフレーム補間実施難易度を判定し、当該実施難易度に応じて前記画像表示装置でのフレーム補間の実施有無を切り替えるフレーム補間難易度判定部を備え、
前記動き探索部は、前記画像表示装置でフレーム補間実施有りの場合は画像相関を重視した動き探索を実施し、前記画像表示装置でフレーム補間実施無しの場合は符号化効率を重視した動き探索を実施し、
前記符号化部は、フレーム補間実施有無の情報を含んだ符号化ストリームを生成することを特徴とする画像符号化装置。
【請求項２】
フレーム補間難易度判定部は、シーンチェンジの検出有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
フレーム補間難易度判定部は、量子化パラメータの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
フレーム補間難易度判定部は、画面間予測における符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
フレーム補間難易度判定部は、動きベクトルの分散度が所定の閾値を超えたか否かに基づいて画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項６】
フレーム補間難易度判定部は、時間ダイレクトモードにおける符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づいて画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項７】
フレーム補間難易度判定部は、ディゾルブ検出有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項８】
フレーム補間難易度判定部は、重み付き予測の実施有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えることを特徴とする請求項１記載の画像符号化装置。
【請求項９】
動き探索部は、ピクチャ構造がフィールド構造の場合に、片方のフィールドでは画像相関を重視した動き探索を実施し、もう片方のフィールドでは符号化効率を重視した動き探索を実施することを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像符号化装置。
【請求項１０】
ピクチャ構造判定部を備え、当該ピクチャ構造判定部は、画像表示装置でフレーム補間実施有りの場合はピクチャ構造をフィールド構造に固定することを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像符号化装置。
【請求項１１】
ピクチャタイプ判定部を備え、当該ピクチャタイプ判定部は、画像表示装置でフレーム補間実施有りの場合、Ｉピクチャ挿入を片フィールドに限定し、当該片フィールドとペアになるもう一方の片フィールドを非Ｉピクチャとすることを特徴とする請求項１０記載の画像符号化装置。
【請求項１２】
イントラ・インター判定部を備え、当該イントラ・インター判定部は、画像表示装置でフレーム補間実施有りの場合に非Ｉピクチャではインター予測モードに固定することを特徴とする請求項１から請求項１１のうちのいずれか１項記載の画像符号化装置。
【請求項１３】
動き探索ブロックサイズ判定部を備え、当該動き探索ブロックサイズ判定部は、画像表示装置でフレーム補間実施有りの場合は、動き探索ブロックサイズを前記画像表示装置の補間画像生成における動きベクトル取得単位に等しいかまたは近い動き探索ブロックサイズに固定することを特徴とする請求項１から請求項１２のうちのいずれか１項記載の画像符号化装置。
【請求項１４】
符号化部は、画像表示装置でフレーム補間実施有りの場合は、動きベクトルデータを一の位が最下位桁になるように右シフトして符号化することを特徴とする請求項１から１３のいずれか１項に記載の画像符号化装置。
【請求項１５】
請求項１から請求項１４のうちのいずれか１項記載の画像符号化装置から出力された符号化ストリームを復号して画像を表示する画像表示装置であって、
前記符号化ストリームを復号し、フレーム補間実施有無情報を取得する復号化部と、
前記フレーム補間実施有無情報に基づいて、フレーム補間の実施の有無を決定する補間画像生成部とを備えたことを特徴とする画像表示装置。
【請求項１６】
請求項１４記載の画像符号化装置から出力された符号化ストリームを復号して画像を表示する画像表示装置であって、
前記符号化ストリームを復号し、フレーム補間実施有無情報を取得し、当該フレーム補間実施有無情報がフレーム補間実施有りの場合、前記符号化ストリームを復号して得られた動きベクトルを所定のビット数左シフトして動きベクトルを補正する復号化部と、
前記フレーム補間実施有無情報に基づいて、フレーム補間の実施の有無を決定すると共に、フレーム補間を実施する場合は、前記補正された動きベクトルに基づいて補間画像を生成する補間画像生成部とを備えたことを特徴とする画像表示装置。
【請求項１７】
復号化部は、符号化ストリームを復号して動きベクトルを得て、当該動きベクトルに基づき補間画像生成部に必要な動きベクトルを生成する動きベクトル取得部に出力することを特徴とする請求項１５または請求項１６記載の画像表示装置。
【請求項１８】
復号化部は、符号化ストリームから動き探索ブロックサイズを得ると共に、
前記復号化部で得られた動きベクトルと前記動き探索ブロックサイズの情報に基づいて、動きベクトル取得単位領域に対する動きベクトルを生成する動きベクトル取得部を備えたことを特徴とする請求項１７記載の画像表示装置。
【請求項１９】
動きベクトル取得部は、動き探索ブロックサイズと補間画像生成部における動きベクトル取得単位が異なる場合に、復号化部で得られた動きベクトルを補正することによって、補間画像生成部で必要な各動きベクトル取得単位領域に対する動きベクトルを生成することを特徴とする請求項１８記載の画像表示装置。
【請求項２０】
動きベクトル取得部は、生成した動きベクトルを補間画像生成部に出力することを特徴とする請求項１７から請求項１９のうちのいずれか１項記載の画像表示装置。
【請求項２１】
復号化部は、符号化ストリームを復号してピクチャ構造を得て、動きベクトル取得部に出力し、動きベクトル取得部は、前記ピクチャ構造に基づき、画像相関を重視した動き探索を行った方のフィールドにおける動き探索ブロックの動きベクトルを用いて補間画像生成部に必要な動きベクトルを出力することを特徴とする請求項１９または請求項２０記載の画像表示装置。
【請求項２２】
動きベクトル格納部を設け、動きベクトル取得部は、フィールド構造時、片方のフィールドでは補間画像生成部に必要な動きベクトルを前記動きベクトル格納部に格納し、もう片方のフィールドでは補間画像生成部に必要な動きベクトルを前記動きベクトル格納部から取り出して前記補間画像生成部に出力することを特徴とする請求項２１記載の画像表示装置。
【請求項２３】
補間画像生成部は、フレーム補間実施有無情報が、フレーム補間実施有りの場合、画像符号化装置における画像相関を重視した動き探索により得られた動きベクトルを用い、表示フレームレートに従ってフレーム補間を実施し、前記フレーム補間実施有無情報が、フレーム補間実施無しの場合、表示フレームレートを満たすように前フレームのリピート表示または黒画面挿入を実施することを特徴とする請求項１５から請求項２２のうちのいずれか１項記載の画像表示装置。
【請求項２４】
ＤＣＴ量子化を行うＤＣＴ量子化部を備え、フレーム補間難易度判定部は、画像表示装置でフレーム補間実施有りの場合に当該フレーム補間の実施難易度に応じて符号化フレームを間引く割合を設定し、動き探索部は、符号化対象フレームが間引き対象の場合に動きベクトルをゼロベクトルとし、前記ＤＣＴ量子化部は、符号化対象フレームが間引き対象の場合にＤＣＴ係数を全て０とし、符号化部は、間引き情報を含んだストリームを生成することを特徴とする請求項１から請求項１４のうちのいずれか１項記載の画像符号化装置。
【請求項２５】
復号化部は、請求項２４に記載の画像符号化装置が生成したストリームを復号して得られた間引き情報を補間画像生成部に出力することを特徴とする請求項１５から請求項２３のうちのいずれか１項記載の画像表示装置。
【請求項２６】
補間画像生成部は、復号化部から出力された間引き情報に基づき、復号化対象フレームが間引き対象である場合に、前記復号化対象フレームを補間生成することを特徴とする請求項２５記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化画像データを生成する画像符号化装置と、圧縮符号化画像データを復号し、復号して取得した画像情報から圧縮符号化画像データ中に無いフレームを補間生成して表示フレームレートを増加させる（以下、これをフレーム補間という）ことが可能な画像表示装置に関する。
【背景技術】
【０００２】
近年の液晶テレビといった画像表示装置には、映像の表示フレームレートを擬似的に増やすことで物体の動きを滑らかに表示する機能が搭載されているものがある。また、携帯電話やカーナビゲーション等のワンセグ受信機器においても同様の機能が搭載されており、フレームレートが低いことにより生じる動きのぎこちなさを軽減している。その際に用いられる技術がフレーム補間である。
【０００３】
通常のフレーム補間手段では、前後のフレームを用い、所定の単位で画像相関に基づく動き探索を実施することで動きベクトルを取得し、取得した動きベクトルに基づいて補間画素を推定することで、補間画像を生成し、表示フレームレートを擬似的に増加させている。
【０００４】
従来、このようなフレーム補間を行うものとして、例えば、特許文献１〜３に示すものがあった。特許文献１には、画像符号化復号化共用の装置を用い、復号化時にフレーム補間を行うときは符号化用の動き探索部を用いてフレーム補間に適した動きベクトルを探索し直すという方法が開示されている。また、特許文献２には、画像表示装置で圧縮符号化画像データ中の動きベクトルの信頼度を判定し、信頼性の高い動きベクトルを補間画像生成に用いる方法が開示されている。さらに、特許文献３には、画像符号化装置で高フレームレートの映像を取得できるという前提のもとで、高フレームレートで探索したフレーム補間用の動きベクトルを符号化し、低フレームレートの圧縮符号化画像データとは別に伝送する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８９９６号公報
【特許文献２】国際公開第０８／１２０３３０号パンフレット
【特許文献３】特開２０１０−１２４３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像符号化装置により生成された圧縮符号化画像データ中の動きベクトルは、符号化効率の面で最適な動きベクトルであり、画像間の相関の面で最適な動きベクトルとは限らないため、物体の本来の動きを表しているかどうかという点で、信頼性が高いとはいえない。そのため、画像表示装置において、圧縮符号化画像データ中の動きベクトルをフレーム補間に利用すると正しい補間画像が生成されない可能性があるという問題があった。
【０００７】
また、特許文献１に示されたものでは、復号化専用の装置においては、動きベクトルを探索し直すための動き探索部の実装によるハードウェア規模が増大するといった問題があった。また、特許文献２に示されたような方法では、フレーム内に高信頼度の動きベクトルが得られないブロックがバースト的に発生する場合には、補間画像を生成することができないという問題があった。さらに、特許文献３に示されたような方法では、フレーム補間用の動きベクトルの符号量が多くなる場合には、伝送ビットレートが増大するという問題があった。
【０００８】
一方、画像表示装置において通常のフレーム補間手段において取得できる動きベクトルと同程度の信頼性を有する動きベクトルが何らかの手段によって取得できたとしても、フレーム補間が困難な画像では補間ミスが起こる可能性を否定できない。そのため、補間ミスが起こると、誤った補間画素が視覚上邪魔になり画質印象が低下するという、フレーム補間自体の課題もあった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、画像表示装置にフレーム補間機能を実装するとき、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる画像符号化装置及び画像表示装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像符号化装置は、フレーム間の動き探索を行う動き探索部と、動き探索を行った結果に基づいて符号化ストリームを出力する符号化部とを備えた画像符号化装置において、出力された符号化ストリームを復号して表示する画像表示装置におけるフレーム補間実施難易度を判定し、その実施難易度に応じて画像表示装置でのフレーム補間の実施有無を切り替えるフレーム補間難易度判定部を備え、動き探索部は、画像表示装置でフレーム補間実施有りの場合は画像相関を重視した動き探索を実施し、画像表示装置でフレーム補間実施無しの場合は符号化効率を重視した動き探索を実施し、符号化部は、フレーム補間実施有無の情報を含んだ符号化ストリームを生成するようにしたものである。
【発明の効果】
【００１１】
この発明の画像符号化装置は、画像表示装置でフレーム補間実施有りの場合は画像相関を重視した動き探索を実施し、画像表示装置でフレーム補間実施無しの場合は符号化効率を重視した動き探索を実施するようにしたので、画像表示装置にフレーム補間機能を実装するとき、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる画像符号化装置を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像表示装置を示す構成図である。
【図３】この発明の実施の形態１によるフレーム補間難易度判定部の動作の流れを示すフローチャートである。
【図４】この発明の実施の形態１による動き探索部の動作の流れを示すフローチャートである。
【図５】この発明の実施の形態１によるピクチャ構造判定部の動作の流れを示すフローチャートである。
【図６】この発明の実施の形態１によるピクチャタイプ判定部の動作の流れを示すフローチャートである。
【図７】この発明の実施の形態１によるイントラ・インター判定部の動作の流れを示すフローチャートである。
【図８】この発明の実施の形態１による動き探索ブロックサイズ判定部の動作の流れを示すフローチャートである。
【図９】この発明の実施の形態１による符号化部の動作の流れを示すフローチャートである。
【図１０】この発明の実施の形態１による復号化部の動作の流れを示すフローチャートである。
【図１１】この発明の実施の形態１による動きベクトル取得部の動作の流れを示すフローチャートである。
【図１２】この発明の実施の形態１による補間画像生成部の動作の流れを示すフローチャートである。
【図１３】この発明の実施の形態２による画像符号化装置を示す構成図である。
【図１４】この発明の実施の形態２による画像表示装置を示す構成図である。
【図１５】この発明の実施の形態２による符号化部の動作の流れを示すフローチャートである。
【図１６】この発明の実施の形態２による復号化部の動作の流れを示すフローチャートである。
【図１７】この発明の実施の形態３による画像符号化装置を示す構成図である。
【図１８】この発明の実施の形態３による画像表示装置を示す構成図である。
【図１９】この発明の実施の形態３によるフレーム補間難易度判定部の動作の流れを示すフローチャートである。
【図２０】この発明の実施の形態３による動き探索部の動作の流れを示すフローチャートである。
【図２１】この発明の実施の形態３によるＤＣＴ量子化部の動作の流れを示すフローチャートである。
【図２２】この発明の実施の形態３による符号化部の動作の流れを示すフローチャートである。
【図２３】この発明の実施の形態３による復号化部の動作の流れを示すフローチャートである。
【図２４】この発明の実施の形態３による補間画像生成部の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置を示す構成図である。
図１に示す画像符号化装置は、入力画像フレームメモリ１、フレーム補間難易度判定部２、動き探索部３、ピクチャ構造判定部４、ピクチャタイプ判定部５、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、減算器８、ＤＣＴ量子化部９、逆量子化逆ＤＣＴ部１０、イントラ予測部１１、動き補償部１２、参照画像メモリ１３、符号化部１４、切換スイッチ１５，１６，１７を備えている。
【００１４】
入力画像フレームメモリ１は、画像符号化装置への入力画像を格納するメモリである。フレーム補間難易度判定部２は、画像符号化装置への入力画像に対して、後述の画像表示装置におけるフレーム補間の実施難易度に応じて、画像表示装置でフレーム補間を実施するか否かを判定し、フレーム補間実施フラグＦＣＦ１を、動き探索部３、ピクチャ構造判定部４、ピクチャタイプ判定部５、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部１４に出力する機能部である。
【００１５】
動き探索部３は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮの場合は、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＴｏｐフィールドであれば入力画像フレームメモリに格納された参照フレームに対してフレーム補間に適した動き探索を実施し、一方、フレーム補間実施フラグＦＣＦ１がＯＦＦまたはピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＴｏｐフィールドでない場合は、入力画像フレームメモリ１に格納された参照フレームに対して符号化効率を重視した動き探索を実施する機能部であり、動き探索により取得した動きベクトルＭＶ１及び参照ピクチャ番号ＲＰ１を動き補償部１２に出力する。
【００１６】
ピクチャ構造判定部４は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮの場合にはフィールド構造に固定し、フレーム補間実施フラグＦＣＦ１がＯＦＦの場合には入力画像に対してピクチャ構造判定を実施してピクチャ構造を指定する機能部であり、ピクチャ構造ＰＳ１を、動き探索部３、動き探索ブロックサイズ判定部７、符号化部１４に出力する。
【００１７】
ピクチャタイプ判定部５は、ＧＯＰ構造により定まるフレームピクチャタイプがＩピクチャ、かつフレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮ、かつピクチャ構造判定部４から出力されたピクチャ構造がＢｏｔｔｏｍフィールドの場合はＰピクチャを、それ以外の場合はＧＯＰ構造により定まるフレームピクチャタイプをピクチャタイプＰＴ１としてイントラ・インター判定部６、符号化部１４に出力する機能部である。
【００１８】
イントラ・インター判定部６は、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１がＩピクチャである場合にはイントラ予測モードを指定し、Ｉピクチャでない場合には、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグがＯＮであればインター予測モードを指定し、ＯＦＦであれば入力画像に対してイントラ・インター判定を実施して予測モードを指定する機能部であり、指定した予測モードＰＭ１を切換スイッチ１５、切換スイッチ１６、切換スイッチ１７、符号化部１４に出力する。
【００１９】
動き探索ブロックサイズ判定部７は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかつピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＴｏｐフィールドの場合には、後述の画像表示装置が備える補間画像生成部２４の動きベクトル取得単位に等しい（又は近い）動き探索ブロックサイズを指定し、ＯＦＦの場合には入力画像に対して動き探索ブロックサイズ判定を実施して動き探索ブロックサイズを指定する機能部であり、指定した動き探索ブロックサイズＢＳ１を動き探索部３、動き補償部１２、符号化部１４に出力する。
【００２０】
減算器８は、入力画像フレームメモリ１に格納された入力画像と切換スイッチ１５から出力された予測画像との差分を求め、その差分画像をＤＣＴ量子化部９に出力する構成部である。
【００２１】
ＤＣＴ量子化部９は、減算器８から出力された差分画像に対してＤＣＴ（離散コサイン変換）、量子化を実施することにより得られたＤＣＴ係数ＣＯＥＦ１を逆量子化逆ＤＣＴ部１０、符号化部１４に出力する機能部である。
【００２２】
逆量子化逆ＤＣＴ部１０は、ＤＣＴ量子化部９から出力されたＤＣＴ係数に対して逆量子化、逆ＤＣＴを実施して取得した差分画像を切換スイッチ１６に出力する機能部である。切換スイッチ１６は、逆量子化逆ＤＣＴ部１０から出力された差分画像をイントラ予測部１１又は動き補償部１２へ出力するスイッチである。
【００２３】
イントラ予測部１１は、参照画像メモリ１３に格納された参照画像を使用してイントラ予測による予測画像を生成する機能部であり、その予測画像を切換スイッチ１５に出力する。また、イントラ予測部１１は、切換スイッチ１６から出力された差分画像と生成した前記予測画像を加算することで将来の符号化に用いる新たな参照画像を生成し、その参照画像を参照画像メモリ１３に格納する。さらに、イントラ予測部１１はイントラ予測情報を切換スイッチ１７に出力する。
【００２４】
動き補償部１２は、参照画像メモリ１３に格納された参照画像のうち、動きベクトルＭＶ１及び参照ピクチャ番号ＲＰ１により指定される参照画像を使用して動き補償処理を実施することで予測画像を生成する機能部であり、その予測画像を切換スイッチ１５に出力する。また、動き補償部１２は、切換スイッチ１６から出力された差分画像と前記生成した予測画像を加算することで将来の符号化に用いる新たな参照画像を生成し、その参照画像を参照画像メモリ１３に格納する。さらに、動き補償部１２は、インター予測情報を切換スイッチ１７に出力する。
【００２５】
参照画像メモリ１３は、イントラ予測部１１及び動き補償部１２における予測画像の生成に使用する参照画像を格納するメモリである。切換スイッチ１５は、イントラ予測部１１から出力された予測画像又は動き補償部１２から出力された予測画像を選択して減算器８に出力するスイッチである。切換スイッチ１７は、イントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を選択し、符号化部１４に出力するスイッチである。
【００２６】
符号化部１４は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部９から出力されたＤＣＴ係数ＣＯＥＦ１、切換スイッチ１７から出力されたイントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を基に符号化してストリームを生成し、そのストリームを出力する機能部である。
【００２７】
図２は、この発明の実施の形態１による画像表示装置を示す構成図である。
画像表示装置は、復号化部２１、動きベクトル取得部２２、動きベクトル格納部２３、補間画像生成部２４、出力画像フレームメモリ２５を備えている。
【００２８】
復号化部２１は、入力ストリームを復号する機能部であり、入力ストリームから取得したフレーム補間実施フラグＦＣＦ２を補間画像生成部２４に出力する。また、復号化部２１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を動きベクトル取得部２２に出力する。さらに、入力ストリームを復号して取得したシンタックス情報を基に復号画像ＤＩＭＧ２を生成し、その復号画像ＤＩＭＧ２を出力画像フレームメモリ２５に出力する。
【００２９】
動きベクトル取得部２２は、復号化部２１から出力されたピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を基に、補間画像生成部２４で利用する各々の動きベクトル取得単位領域に対する動きベクトルＭＶ２１を生成するか、或いは動きベクトル格納部２３から補間画像生成部２４で利用する各々の動きベクトル取得単位領域に対する動きベクトルＭＶ２１を取り出す機能部であり、動きベクトルＭＶ２１を補間画像生成部２４に出力する。
【００３０】
動きベクトル格納部２３は、動きベクトル取得部２２から出力された動きベクトルＭＶ２１を格納する機能部である。補間画像生成部２４は、復号化部２１から出力されたフレーム補間実施フラグＦＣＦ２がＯＮの場合に、動きベクトル取得部から出力された動きベクトルを基に、補間画像を生成し、その補間画像を出力画像フレームメモリ２５に出力する機能部である。出力画像フレームメモリ２５は、出力画像フレームを格納するメモリである。
【００３１】
次に、実施の形態１の動作について説明する。
画像符号化装置における減算器８、ＤＣＴ量子化部９、逆量子化逆ＤＣＴ部１０、イントラ予測部１１、動き補償部１２、切換スイッチ１５、切換スイッチ１６、切換スイッチ１７の処理内容は、一般的な画像符号化装置に実装されているものと同様であるため、これらの動作についての詳細な説明は省略する。
【００３２】
以下、図３から図８のフローチャートを参照しながら、図１に示す画像符号化装置における各処理部の動作を説明する。
図３は、フレーム補間難易度判定部２による動作の流れを示すフローチャートである。
まず、フレーム補間難易度判定部２は、入力画像フレームに対してシーンチェンジが検出されたか否かを判定する（ステップＳＴ１１）。入力画像フレームに対してシーンチェンジが検出されなかった場合（ステップＳＴ１１：ＮＯ）、フレーム補間難易度判定部２は、入力画像に対してフレーム補間の実施難易度を判定し、その難易度によって画像表示装置においてフレーム補間を実施するか否かを判定する（ステップＳＴ１２）
【００３３】
画像表示装置においてフレーム補間を実施する場合（ステップＳＴ１２：ＹＥＳ）、フレーム補間難易度判定部２は、フレーム補間実施フラグをＯＮとして動き探索部３、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部１４に出力する（ステップＳＴ１３）。一方、画像表示装置においてフレーム補間を実施しない場合（ステップＳＴ１２：ＮＯ）、又は入力画像フレームに対してシーンチェンジが検出された場合（ステップＳＴ１１：ＹＥＳ）、フレーム補間難易度判定部２は、フレーム補間実施フラグをＯＦＦとして、動き探索部３、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部１４に出力する（ステップＳＴ１４）。
【００３４】
以下、フレーム補間の実施難易度判定の具体例を説明する。
（１）量子化パラメータの平均値や最大値が所定の閾値を超えた場合に、画像表示装置においてフレーム補間を実施しないと判定する。即ち、量子化パラメータの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替える。閾値は、ビットレートやピクチャタイプに応じて切り替えてもよい。また、量子化パラメータの平均値や最大値を求める単位は、ピクチャに限定されない。
【００３５】
（２）画面間予測における符号化コストの平均値や最大値が所定の閾値を超えた場合に、画像表示装置においてフレーム補間を実施しないと判定する。即ち、画面間予測における符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替える。符号化コストの平均値や最大値を求める単位は、ピクチャに限定されない。
【００３６】
（３）動きベクトルの分散度が所定の閾値を超えた場合に、画像表示装置においてフレーム補間を実施しないと判定する。符号化コストの平均値や最大値を求める単位は、ピクチャに限定されない。
【００３７】
（４）時間ダイレクトモードにおける符号化コストの平均値や最大値が所定の閾値を超えた場合に、画像表示装置においてフレーム補間を実施しないと判定する。即ち、時間ダイレクトモードにおける符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づいて画像表示装置でのフレーム補間の実施有無を切り替える。符号化コストの平均値や最大値を求める単位は、ピクチャに限定されない。
【００３８】
（５）入力画像にディゾルブが検出された場合に、画像表示装置においてフレーム補間を実施しないと判定する。
【００３９】
（６）重み付き予測を実施する場合に、画像表示装置においてフレーム補間を実施しないと判定する。
【００４０】
図４は、動き探索部３による動作の流れを示すフローチャートである。
まず、動き探索部３は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを識別する（ステップＳＴ２１）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ２１：ＹＥＳ）、動き探索部３は、ピクチャ構造ＰＳ１がＴｏｐフィールドか否かを判定する（ステップＳＴ２２）。ピクチャ構造ＰＳ１がＴｏｐフィールドの場合（ステップＳＴ２２：ＹＥＳ）、動き探索部３は、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１に従い、画像間の相関を重視した動き探索を実施する（ステップＳＴ２３）。ステップＳＴ２３では、例えば、ＳＡＤ、ＳＳＤ、ＭＳＥなどを評価関数とし、その評価関数が最小となる動きベクトルを探索する。一方、フレーム補間実施フラグＦＣＦ１がＯＦＦの場合（ステップＳＴ２１：ＮＯ）、またはピクチャ構造ＰＳ１がＴｏｐフィールドでない場合（ステップＳＴ２２：ＮＯ）、動き探索部３は、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１に従い、符号化効率を重視した動き探索を実施する（ステップＳＴ２４）。ステップＳＴ２４では、例えば、ＣＯＳＴ＝λ×Ｒ＋ＳＡＤ（Ｒ：動きベクトルの情報量）のような評価関数を定義し、その評価関数が最小となる動きベクトルを探索する。その後、動き探索部３は、ステップＳＴ２３またはステップＳＴ２４で取得した動きベクトルＭＶ１、参照ピクチャ番号ＲＰ１を動き補償部１２に出力する（ステップＳＴ２５）。
【００４１】
動き探索部３の動作において、ＴｏｐフィールドとＢｏｔｔｏｍフィールドを逆にしてもよい。すなわち、ステップＳＴ２２においてＹＥＳの場合にステップＳＴ２４に、ＮＯの場合にステップＳＴ２３に移行するよう構成してもよい。なお、これ以降で説明するそれぞれの機能部の動作についても同様である。
【００４２】
図５は、ピクチャ構造判定部４による動作の流れを示すフローチャートである。
まず、ピクチャ構造判定部４は、フレーム補間実施フラグがＯＮかＯＦＦかを識別する（ステップＳＴ３１）。フレーム補間実施フラグがＯＮの場合（ステップＳＴ３１：ＹＥＳ）、ピクチャ構造判定部４は、入力画像フレームに対応する符号化フレームはフィールド構造に固定し、符号化ピクチャがＴｏｐフィールドとＢｏｔｔｏｍフィールドのどちらであるかをピクチャ構造ＰＳ１としてピクチャタイプ判定部５、動き探索部３、符号化部１４に出力する（ステップＳＴ３２）。一方、フレーム補間実施フラグがＯＦＦの場合（ステップＳＴ３１：ＮＯ）、ピクチャ構造判定部４は、入力画像フレームに対してピクチャ構造判定を実施し、判定結果がＴｏｐフィールド、Ｂｏｔｔｏｍフィールド、Ｆｒａｍｅのどれであるかをピクチャ構造ＰＳ１としてピクチャタイプ判定部５、動き探索部３、符号化部１４に出力する（ステップＳＴ３３）。
【００４３】
図６は、ピクチャタイプ判定部５による動作の流れを示すフローチャートである。
まず、ピクチャタイプ判定部５は、入力されたピクチャタイプがＩピクチャであるか否かを判定する（ステップＳＴ４１）。入力されたピクチャタイプがＩピクチャである場合（ステップＳＴ４１：ＹＥＳ）、ピクチャタイプ判定部５は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを識別する（ステップＳＴ４２）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ４２：ＹＥＳ）、ピクチャタイプ判定部５は、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＢｏｔｔｏｍフィールドであるか否かを判定する（ステップＳＴ４３）
【００４４】
ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＢｏｔｔｏｍフィールドである場合（ステップＳＴ４３：ＹＥＳ）、ピクチャタイプ判定部５は、ピクチャタイプＰＴ１をＰピクチャとしてイントラ・インター判定部６に出力する（ステップＳＴ４４）。
【００４５】
入力されたピクチャタイプがＩピクチャでない（ステップＳＴ４１：ＮＯ）、又はフレーム補間実施フラグＦＣＦ１がＯＦＦ（ステップＳＴ４２：ＮＯ）、又はピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＢｏｔｔｏｍフィールドでない（ステップＳＴ４３：ＮＯ）場合、入力されたピクチャタイプをピクチャタイプＰＴ１としてイントラ・インター判定部６に出力する（ステップＳＴ４５）。
【００４６】
図７は、イントラ・インター判定部６による動作の流れを示すフローチャートである。
まず、イントラ・インター判定部６は、ピクチャタイプ判定部から出力されたピクチャタイプがＩピクチャか否かを判定する（ステップＳＴ５１）。ピクチャタイプがＩピクチャである場合（ステップＳＴ５１：ＹＥＳ）、イントラ・インター判定部６は、イントラ予測を予測モードＰＭ１として切換スイッチ１５、切換スイッチ１６、切換スイッチ１７に出力する（ステップＳＴ５２）。一方、ピクチャタイプがＩピクチャでない場合（ステップＳＴ５１：ＮＯ）、イントラ・インター判定部６は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを識別する（ステップＳＴ５３）。
【００４７】
フレーム補間実施フラグがＯＮの場合（ステップＳＴ５３：ＹＥＳ）、イントラ・インター判定部６は、インター予測を予測モードＰＭ１として切換スイッチ１５、切換スイッチ１６、切換スイッチ１７に出力する（ステップＳＴ５４）。一方、フレーム補間実施フラグがＯＦＦの場合（ステップＳＴ５３：ＮＯ）、イントラ・インター判定部６は、入力画像に対してイントラ・インター判定を実施し、判定結果の予測モードＰＭ１として切換スイッチ１５、切換スイッチ１６、切換スイッチ１７に出力する（スイッチＳＴ５５）。
【００４８】
図８は、動き探索ブロックサイズ判定部７による動作の流れを示すフローチャートである。
まず、動き探索ブロックサイズ判定部７は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを識別する（ステップＳＴ６１）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ６１：ＹＥＳ）、ピクチャ構造がＴｏｐフィールドか否かを判定する（ステップＳＴ６２）。ピクチャ構造がＴｏｐフィールドの場合（ステップＳＴ６２：ＹＥＳ）、動き探索ブロックサイズ判定部７は、所定の動き探索ブロックサイズを動き探索部３と動き補償部１２、符号化部１４に出力する（ステップＳＴ６３）一方、フレーム補間実施フラグＦＣＦ１がＯＦＦ（ステップＳＴ６１：ＮＯ）、又はピクチャ構造がＴｏｐフィールドでない（ステップＳＴ６２：ＮＯ）場合、動き探索ブロックサイズ判定部７は、入力画像に対して動き探索ブロックサイズ判定を実施し、判定結果の動き探索ブロックサイズを動き探索部３と動き補償部１２、符号化部１４に出力する（ステップＳＴ６４）。
【００４９】
図９は、符号化部１４による動作の流れを示すフローチャートである。
符号化部１４は、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部９から出力されたＤＣＴ係数ＣＯＥＦ１、切換スイッチ１７から出力されたイントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を基に符号化し、圧縮符号化画像データを生成する（ステップＳＴ７１）。
【００５０】
次に、符号化部１４は、フレーム補間実施フラグがＯＮかＯＦＦかを識別する（ステップＳＴ７２）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ７２：ＹＥＳ）、符号化部１４は、ステップＳＴ７１で生成した圧縮符号化画像データを基に、「フレーム補間実施フラグがＯＮである」ことを示す情報を含んだストリームを生成し、そのストリームを出力する（ステップＳＴ７３）一方、フレーム補間実施フラグＦＣＦ１がＯＦＦの場合（ステップＳＴ７２：ＮＯ）、符号化部１４は、ステップＳＴ７１で生成した圧縮符号化画像データを基に、「フレーム補間実施フラグがＯＦＦである」ことを示す情報を含んだストリームを生成し、そのストリームを出力する（ステップＳＴ７４）。
【００５１】
上記のステップＳＴ７３、ステップＳＴ７４において、フレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを示す情報は、ストリームに多重しても、圧縮符号化画像データ中における、数値を変えてもエラーにならないシンタックスのビット値によって表してもよい。
【００５２】
以下、図１０、図１１のフローチャートを参照しながら、図２に示す画像表示装置における各処理部の動作を説明する。
図１０は、復号化部２１による動作の流れを示すフローチャートである。
復号化部２１は、入力ストリームからフレーム補間実施フラグＦＣＦ２がＯＮかＯＦＦかを示す情報を取得し、フレーム補間実施フラグを補間画像生成部２４に出力する（ステップＳＴ８１）。復号化部２１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を動きベクトル取得部２２に出力する（ステップＳＴ８２）。復号化部２１は、入力ストリームを復号して取得したシンタックス情報を基に復号画像を生成し、その復号画像を出力画像フレームメモリ２５に出力する（ステップＳＴ８３）。
【００５３】
図１１は、動きベクトル取得部２２による動作の流れを示すフローチャートである。
動きベクトル取得部２２は、復号化部２１から出力されたピクチャ構造ＰＳ２がＴｏｐフィールドであるか否かを判定する（ステップＳＴ９１）。ピクチャ構造ＰＳ２がＴｏｐフィールドである場合（ステップＳＴ９１：ＹＥＳ）、動きベクトル取得部２２は、動き探索ブロックサイズＢＳ２が補間画像生成部２４の動きベクトル取得単位であるか否かを判定する（ステップＳＴ９２）。
【００５４】
動き探索ブロックサイズＢＳ２が補間画像生成部２４の動きベクトル取得単位である場合（ステップＳＴ９２：ＹＥＳ）、復号化部２１から出力された動きベクトルＭＶ２０を動きベクトル取得単位領域に対する動きベクトルＭＶ２１として、補間画像生成部２４に出力する（ステップＳＴ９３）。動き探索ブロックサイズＢＳ２が補間画像生成部２４の動きベクトル取得単位でない場合（ステップＳＴ９２：ＮＯ）、動きベクトル取得部２２は、各々の動きベクトル取得単位領域に対する動きベクトルを生成し、その動きベクトルを動きベクトル取得単位領域に対する動きベクトルＭＶ２１として、補間画像生成部２４に出力する（ステップＳＴ９４）。
【００５５】
ステップＳＴ９４において、動きベクトル取得単位が動き探索ブロックサイズより大きいときは、動きベクトル取得単位領域にその全体又は一部が含まれる動き探索ブロックの動きベクトルの平均値あるいは中間値を用いるか、或いはそれらの動き探索ブロックのうちの最左上ブロックの動きベクトルを用いる。また、動きベクトル取得単位が動き探索ブロックサイズより小さいときは、動きベクトル取得単位領域の全体又は一部を含む動き探索ブロックの動きベクトルの平均値あるいは中間値を用いるか、或いはそれらの動き探索ブロックのうちの最左上ブロックの動きベクトルを用いる。なお、ステップＳＴ９４においては、動きベクトルＭＶ２１としてこれ以外のものを用いてもよい。
【００５６】
その後、動きベクトル取得部２２は、各々の動きベクトル取得単位領域に対する動きベクトルＭＶ２１を動きベクトル格納部２３に格納する（ステップＳＴ９５）。
【００５７】
一方、ピクチャ構造ＰＳ２がＴｏｐフィールドでない場合（ステップＳＴ９１：ＮＯ）、動きベクトル取得部２２は、ピクチャ構造ＰＳ２がＢｏｔｔｏｍフィールドであるか否かを判定する（ステップＳＴ９６）。ピクチャ構造ＰＳ２がＢｏｔｔｏｍフィールドである場合（ステップＳＴ９６：ＹＥＳ）、動きベクトル取得部２２は、動きベクトル格納部２３から各々の動きベクトル取得単位領域に対する動きベクトルを取り出し、その動きベクトルを動きベクトル取得単位領域に対する動きベクトルＭＶ２１として、補間画像生成部２４に出力する（ステップＳＴ９７）。
【００５８】
図１２は、補間画像生成部２４による動作の流れを示すフローチャートである。
補間画像生成部２４は、復号化部２１から出力されたフレーム補間実施フラグＦＣＦ１がＯＮか否かを判定する（ステップＳＴ１０１）。
【００５９】
フレーム補間実施フラグがＯＮの場合（ステップＳＴ１０１：ＹＥＳ）、画像表示装置の表示フレームレートに従ってフレーム補間を実施し、補間画像を出力画像フレームメモリ２５に出力する（ステップＳＴ１０２）。フレーム補間実施フラグがＯＦＦの場合（ステップＳＴ１０１：ＮＯ）、画像表示装置の表示フレームレートを満たすように、前フレームと同一画像または黒画面を補間画像として出力画像フレームメモリ２５に出力する（ステップＳＴ１０３）。
【００６０】
このように実施の形態１では、画像符号化装置において、画像表示装置におけるフレーム補間の実施難易度に応じて画像表示装置におけるフレーム補間の実施有無を切り替え、画像表示装置においてフレーム補間を実施する場合には、通常のフレーム補間手段における動き探索と同様に画像間の相関を重視した動き探索を実施する。その結果、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を画像表示装置に実装することなく、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６１】
以上説明したように、実施の形態１の画像符号化装置によれば、フレーム間の動き探索を行う動き探索部と、動き探索を行った結果に基づいて符号化ストリームを出力する符号化部とを備えた画像符号化装置において、出力された符号化ストリームを復号して表示する画像表示装置におけるフレーム補間実施難易度を判定し、その実施難易度に応じて画像表示装置でのフレーム補間の実施有無を切り替えるフレーム補間難易度判定部を備え、動き探索部は、画像表示装置でフレーム補間実施有りの場合は画像相関を重視した動き探索を実施し、画像表示装置でフレーム補間実施無しの場合は符号化効率を重視した動き探索を実施し、符号化部は、フレーム補間実施有無の情報を含んだ符号化ストリームを生成するようにしたので、画像表示装置側で、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装する必要がなく、高品質な補間画像を生成できる効果がある。
【００６２】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、シーンチェンジの検出有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６３】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、量子化パラメータの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６４】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、画面間予測における符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づき画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６５】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、動きベクトルの分散度が所定の閾値を超えたか否かに基づいて画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６６】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、時間ダイレクトモードにおける符号化コストの平均値及び最大値のうち少なくともいずれかの値に基づいて画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６７】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、ディゾルブ検出有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６８】
また、実施の形態１の画像符号化装置によれば、フレーム補間難易度判定部は、重み付き予測の実施有無に応じて画像表示装置でのフレーム補間の実施有無を切り替えるようにしたので、画像表示装置でのフレーム補間実施有りと判定したとき、画像表示装置において高品質な補間画像を生成できる効果がある。
【００６９】
また、実施の形態１の画像符号化装置によれば、動き探索部は、ピクチャ構造がフィールド構造の場合に、片方のフィールドでは画像相関を重視した動き探索を実施し、もう片方のフィールドでは符号化効率を重視した動き探索を実施するようにしたので、画像表示装置においてフレーム補間実施有りのときにフレーム全体で画像相関を重視した動き探索を行う場合と比較して、符号化効率の低下を抑えられる効果がある。
【００７０】
また、実施の形態１の画像符号化装置によれば、ピクチャ構造判定部を備え、ピクチャ構造判定部は、画像表示装置でフレーム補間実施有りの場合はピクチャ構造をフィールド構造に固定するようにしたので、画像表示装置においてフレーム補間実施有りのとき、片方のフィールドで画像相関を重視した動き探索を行ない、もう片方のフィールドで符号化効率を重視した動き探索を行なうことで、フレーム全体で画像相関を重視した動き探索を行う場合と比較して、符号化効率の低下を抑えられる効果がある。
【００７１】
また、実施の形態１の画像符号化装置によれば、ピクチャタイプ判定部を備え、ピクチャタイプ判定部は、画像表示装置でフレーム補間実施有りの場合、Ｉピクチャ挿入を片フィールドに限定し、片フィールドとペアになるもう一方の片フィールドを非Ｉピクチャとするようにしたので、画像表示装置において、フレーム補間実施有りの場合に復号化部において各フレームで少なくとも一方のフィールドから動きベクトルを得られ、補間画像生成部におけるフレーム補間の精度が向上する効果がある。
【００７２】
また、実施の形態１の画像符号化装置によれば、イントラ・インター判定部を備え、イントラ・インター判定部は、画像表示装置でフレーム補間実施有りの場合に非Ｉピクチャではインター予測モードに固定するようにしたので、画像表示装置において、フレーム補間実施有りの場合に復号化部において非Ｉピクチャではピクチャ内の全ブロックの動きベクトルを得られ、補間画像生成部におけるフレーム補間の精度が向上する効果がある。
【００７３】
また、実施の形態１の画像符号化装置によれば、動き探索ブロックサイズ判定部を備え、動き探索ブロックサイズ判定部は、画像表示装置でフレーム補間実施有りの場合は、動き探索ブロックサイズを画像表示装置の補間画像生成における動きベクトル取得単位に等しいかまたは近い動き探索ブロックサイズに固定するようにしたので、画像表示装置において補間画像生成部がフレーム補間を実施する際に高精度な動きベクトルを得られる効果がある。
【００７４】
また、実施の形態１の画像表示装置によれば、実施の形態１の画像符号化装置から出力された符号化ストリームを復号して画像を表示する画像表示装置であって、符号化ストリームを復号し、フレーム補間実施有無情報を取得する復号化部と、フレーム補間実施有無情報に基づいて、フレーム補間の実施の有無を決定する補間画像生成部とを備えたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００７５】
また、実施の形態１の画像表示装置によれば、復号化部は、符号化ストリームを復号して動きベクトルを得て、その動きベクトルに基づき補間画像生成部に必要な動きベクトルを生成する動きベクトル取得部に出力するようにしたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００７６】
また、実施の形態１の画像表示装置によれば、復号化部は、符号化ストリームから動き探索ブロックサイズを得ると共に、復号化部で得られた動きベクトルと動き探索ブロックサイズの情報に基づいて、動きベクトル取得単位領域に対する動きベクトルを生成する動きベクトル取得部を備えたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００７７】
また、実施の形態１の画像表示装置によれば、動きベクトル取得部は、動き探索ブロックサイズと補間画像生成部における動きベクトル取得単位が異なる場合に、復号化部で得られた動きベクトルを補正することによって、補間画像生成部で必要な各動きベクトル取得単位領域に対する動きベクトルを生成するようにしたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００７８】
また、実施の形態１の画像表示装置によれば、動きベクトル取得部は、生成した動きベクトルを補間画像生成部に出力するようにしたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００７９】
また、実施の形態１の画像表示装置によれば、復号化部は、符号化ストリームを復号してピクチャ構造を得て、動きベクトル取得部に出力し、動きベクトル取得部は、ピクチャ構造に基づき、画像相関を重視した動き探索を行った方のフィールドにおける動き探索ブロックの動きベクトルを用いて補間画像生成部に必要な動きベクトルを出力するようにしたので、前述の画像符号化装置において、画像表示装置でフレーム補間実施有りと判定したとき、片方のフィールドで画像相関を重視した動き探索を行い、もう片方のフィールドで符号化効率を重視した動き探索を行うことで、フレーム全体で画像相関を重視した動き探索を行う場合と比較して、符号化効率の低下を抑えつつ、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００８０】
また、実施の形態１の画像表示装置によれば、動きベクトル格納部を設け、動きベクトル取得部は、フィールド構造時、片方のフィールドでは補間画像生成部に必要な動きベクトルを動きベクトル格納部に格納し、もう片方のフィールドでは補間画像生成部に必要な動きベクトルを動きベクトル格納部から取り出して補間画像生成部に出力するようにしたので、前述の画像符号化装置において、画像表示装置でフレーム補間実施有りと判定したとき、片方のフィールドで画像相関を重視した動き探索を行い、もう片方のフィールドで符号化効率を重視した動き探索を行うことで、フレーム全体で画像相関を重視した動き探索を行う場合と比較して、符号化効率の低下を抑えつつ、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００８１】
また、実施の形態１の画像表示装置によれば、補間画像生成部は、フレーム補間実施有無情報が、フレーム補間実施有りの場合、前述の画像符号化装置における画像相関を重視した動き探索により得られた動きベクトルを用い、表示フレームレートに従ってフレーム補間を実施し、フレーム補間実施有無情報が、フレーム補間実施無しの場合、表示フレームレートを満たすように前フレームのリピート表示または黒画面挿入を実施するようにしたので、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく、高品質な補間画像を生成できる効果がある。
【００８２】
実施の形態２．
図１３は、この発明の実施の形態２による画像符号化装置を示す構成図である。なお、図１３において、実施の形態１と同一の動作を行う構成部については説明を省略する。
【００８３】
実施の形態２における符号化部３４は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部９から出力されたＤＣＴ係数ＣＯＥＦ１、切換スイッチ１７から出力されたイントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を基に符号化してストリームを生成し、その際、フレーム補間実施フラグがＯＮかつピクチャ構造がＴｏｐフィールドの場合はインター予測情報中の動きベクトルのデータを整数精度に丸め、一の位が最下位桁になるように右シフト（シフトビット数をＮとする）する構成部であり、生成したストリームを出力する。
【００８４】
図１４は、この発明の実施の形態２による画像表示装置を示す構成図である。なお、図１４において、実施の形態１と同一の動作をする構成部については説明を省略する。
【００８５】
復号化部４１は、入力ストリームを復号する構成部であり、入力ストリームから取得したフレーム補間実施フラグＦＣＦ２を補間画像生成部２４に出力する。また、復号化部４１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を動きベクトル取得部２２に出力する。その際出力される動きベクトルＭＶ２０は、入力ストリームを復号して取得した動きベクトルデータをＮビット左シフトしたものである。さらに、入力ストリームを復号して取得したシンタックス情報を基に復号画像ＤＩＭＧ２を生成し、その復号画像ＤＩＭＧ１を出力画像フレームメモリ２５に出力する。
【００８６】
以下、図１３に示す画像符号化装置、図１４に示す画像表示装置における各処理部の動作を説明する。ただし、実施の形態１と同一の処理をする構成部については説明を省略する。
図１５は、符号化部３４による動作の流れを示すフローチャートである。
まず、予測モードＰＭ１がインターか否かを判定する（ステップＳＴ１１１）。予測モードＰＭ１がインターの場合（ステップＳＴ１１１：ＹＥＳ）、符号化部３４は、インター予測情報ＩＴＲＩ１中の動きベクトルのデータを一の位が最下位桁になるように右シフト（シフトビット数をＮとする）し、インター予測情報ＩＴＲＩ１を擬似インター予測情報ＩＴＲＩ１１に加工する（ステップＳＴ１１２）。
【００８７】
符号化部３４は、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部９から出力されたＤＣＴ係数ＣＯＥＦ１、イントラ予測情報ＩＴＡＩ１又は擬似インター予測情報ＩＴＲＩ１１を基に符号化し、圧縮符号化画像データを生成する（ステップＳＴ１１３）。
【００８８】
符号化部３４は、フレーム補間実施フラグがＯＮかＯＦＦかを識別する（ステップＳＴ１１４）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ１１４：ＹＥＳ）、符号化部３４は、ステップＳＴ７１で生成した圧縮符号化画像データを基に、「フレーム補間実施フラグがＯＮである」ことを示す情報を含んだストリームを生成し、そのストリームを出力する（ステップＳＴ１１５）
【００８９】
フレーム補間実施フラグＦＣＦ１がＯＦＦの場合（ステップＳＴ１１４：ＮＯ）、符号化部３４は、ステップＳＴ７１で生成した圧縮符号化画像データを基に、「フレーム補間実施フラグがＯＦＦである」ことを示す情報を含んだストリームを生成し、そのストリームを出力する（ステップＳＴ１１６）。
【００９０】
ステップＳＴ１１５、ステップＳＴ１１６において、フレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを示す情報は、ストリームに多重しても、圧縮符号化画像データ中における、数値を変えてもエラーにならないシンタックスのビット値によって表してもよい。
【００９１】
次に、図１４に示された画像表示装置の動作について説明する。
図１６は、復号化部４１による動作の流れを示すフローチャートである。
復号化部４１は、入力ストリームからフレーム補間実施フラグＦＣＦ２がＯＮかＯＦＦかを示す情報を取得し、フレーム補間実施フラグを補間画像生成部２４に出力する（ステップＳＴ１２１）。
【００９２】
復号化部は、入力ストリームを復号して取得した動きベクトルデータをＮビット左シフトし、動きベクトルＭＶ２０を得る（ステップＳＴ１２２）。復号化部４１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、ステップＳＴ１２２で得た動きベクトルＭＶ２０を動きベクトル取得部２２に出力する（ステップＳＴ１２３）。復号化部４１は、入力ストリームを復号して取得したシンタックス情報とステップＳＴ１２２で得た動きベクトルを基に復号画像を生成し、その復号画像を出力画像フレームメモリに出力する（ステップＳＴ１２４）。
【００９３】
このように実施の形態２では、画像符号化装置において、画像表示装置におけるフレーム補間の実施難易度に応じて前記画像表示装置におけるフレーム補間の実施有無を切り替え、画像表示装置においてフレーム補間を実施する場合には、通常のフレーム補間手段における動き探索と同様に画像間の相関を重視した動き探索を実施する。さらに、符号化時の動きベクトルを整数精度に限定し、小数部分のデータをストリームに含めないように符号化する。その結果、画像表示装置に実装する補間画像生成部が整数精度の動きベクトルに基づいてフレーム補間を実施する場合には、符号化効率を重視しない動き探索を実施することによる符号化効率の低下を抑えつつ、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を画像表示装置に実装することなく、画像表示装置において高品質な補間画像を生成できる効果がある。
【００９４】
以上説明したように、実施の形態２の画像符号化装置によれば、符号化部は、画像表示装置でフレーム補間実施有りの場合は、動きベクトルデータを一の位が最下位桁になるように右シフトして符号化するようにしたので、画像表示装置に実装する補間画像生成部が整数精度の動きベクトルに基づいてフレーム補間を実施する場合には、符号化効率を重視しない動き探索を実施することによる符号化効率の低下を抑えることができる。
【００９５】
また、実施の形態２の画像表示装置によれば、実施の形態２の画像符号化装置から出力された符号化ストリームを復号して画像を表示する画像表示装置であって、符号化ストリームを復号し、フレーム補間実施有無情報を取得し、フレーム補間実施有無情報がフレーム補間実施有りの場合、符号化ストリームを復号して得られた動きベクトルを所定のビット数左シフトして動きベクトルを補正する復号化部と、フレーム補間実施有無情報に基づいて、フレーム補間の実施の有無を決定すると共に、フレーム補間を実施する場合は、前記補正された動きベクトルに基づいて補間画像を生成する補間画像生成部とを備えたので、補間画像生成部が整数精度の動きベクトルに基づいてフレーム補間を実施する場合には、符号化効率を重視しない動き探索を実施することによる符号化効率の低下を抑えることができる。
【００９６】
実施の形態３．
図１７は、この発明の実施の形態３による画像符号化装置を示す構成図である。なお、図１７において、実施の形態１または実施の形態２と同一部分については同一符号を付してその説明を省略する。
【００９７】
フレーム補間難易度判定部５２は、画像符号化装置への入力画像に対して、後述の画像表示装置におけるフレーム補間の実施難易度に応じて、画像表示装置においてフレーム補間を実施するか否かを判定し、フレーム補間実施フラグＦＣＦ１を、動き探索部５３、ピクチャ構造判定部４、ピクチャタイプ判定部５、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部６４に出力し、さらに、画像表示装置においてフレーム補間を実施する場合に、フレーム補間の実施難易度に応じて間引きカウンタＤＣ５を設定し、その間引きカウンタを動き探索部５３、ＤＣＴ量子化部５９、符号化部６４に出力する機能部である。
【００９８】
動き探索部５３は、フレーム補間難易度判定部５２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮの場合には、間引きカウンタが０かつピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１がＴｏｐフィールドであれば入力画像フレームメモリ１に格納された参照フレームに対して画像相関を重視した動き探索を実施し、間引きカウンタが正ならばゼロベクトルを動き探索結果とし、それ以外の場合には、入力画像フレームメモリ１に格納された参照フレームに対して符号化効率を重視した動き探索を実施する機能部であり、動き探索により取得した動きベクトルＭＶ５及び参照ピクチャ番号ＲＰ１を動き補償部１２に出力する。
【００９９】
ＤＣＴ量子化部５９は、減算器８から出力された差分画像に対してＤＣＴ、量子化を実施してＤＣＴ係数を得る機能部であり、フレーム補間難易度判定部５２から出力された間引きカウンタＤＣ５が正の場合には、ＤＣＴ係数ＣＯＥＦ５を全て０とし、フレーム補間難易度判定部から出力された間引きカウンタＤＣ５が０の場合には、ＤＣＴ、量子化により得られたＤＣＴ係数をＤＣＴ係数ＣＯＥＦ５として逆量子化逆ＤＣＴ部１０と符号化部６４に出力する機能部である。
【０１００】
符号化部６４は、フレーム補間難易度判定部５２から出力されたフレーム補間実施フラグＦＣＦ１、間引きカウンタＤＣ５、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部９から出力されたＤＣＴ係数ＣＯＥＦ１、切換スイッチ１７から出力されたイントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を基に符号化してストリームを生成し、そのストリームを出力する構成部である。
【０１０１】
図１８は、この発明の実施の形態３による画像表示装置を示す構成図である。なお、図１８において、実施の形態１または実施の形態２の画像表示装置と同一部分には同一符号を付してその説明を省略する。
【０１０２】
復号化部７１は、入力ストリームを復号する機能部であり、入力ストリームから取得したフレーム補間実施フラグＦＣＦ２、間引きカウンタＤＣ７を補間画像生成部７４に出力する。また、入力ストリームから取得した間引きカウンタＤＣ７が０の場合、復号化部７１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を動きベクトル取得部２２に出力し、さらに、入力ストリームを復号して取得したシンタックス情報を基に復号画像ＤＩＭＧ２を生成し、その復号画像ＤＩＭＧ２を出力画像フレームメモリ２５に出力する。
【０１０３】
補間画像生成部７４は、復号化部７１から出力された間引きカウンタＤＣ７が正の場合に、復号化対象フレームを補間生成し、さらに、復号化部７１から出力されたフレーム補間実施フラグＦＣＦ１がＯＮの場合に、動きベクトル取得部から出力された動きベクトルを基に、補間画像を生成し、その補間画像を出力画像フレームメモリ２５に出力する機能部である。
【０１０４】
以下、図１７に示す画像符号化装置と図１８に示す画像表示装置における各処理部の動作を説明する。ただし、実施の形態１と同一の処理を行う構成部分については説明を省略する。
図１９は、フレーム補間難易度判定部５２による動作の流れを示すフローチャートである。
まず、フレーム補間難易度判定部５２は、入力画像フレームに対してシーンチェンジが検出されたか否かを判定する（ステップＳＴ２１１）。入力画像フレームに対してシーンチェンジが検出されなかった場合（ステップＳＴ２１１：ＮＯ）、フレーム補間難易度判定部５２は、間引きカウンタＤＣ５が正であるか否かを判定する（ステップＳＴ２１２）。間引きカウンタＤＣ７が正である場合（ステップＳＴ２１２：ＹＥＳ）、フレーム補間難易度判定部５２は、フレーム補間実施フラグをＯＮとして動き探索部５３、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部６４に、間引きカウンタＤＣ５を動き探索部５３、ＤＣＴ量子化部５９、符号化部６４に出力する（ステップＳＴ２１３）。その後、フレーム補間難易度判定部５２は、間引きカウンタＤＣ５をデクリメントする（ステップＳＴ２１４）。
【０１０５】
間引きカウンタＤＣが０である場合（ステップＳＴ２１２：ＮＯ）、フレーム補間難易度判定部５２は、入力画像に対してフレーム補間の実施難易度を判定し、その難易度によって画像表示装置においてフレーム補間を実施するか否かを判定する（ステップＳＴ２１５）。画像表示装置においてフレーム補間を実施する場合（ステップＳＴ２１５：ＹＥＳ）、フレーム補間難易度判定部５２は、フレーム補間実施フラグをＯＮとして動き探索部５３、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部６４に出力し、また、間引きカウンタＤＣ５を動き探索部５３、ＤＣＴ量子化部５９、符号化部６４に出力する（ステップＳＴ２１６）。その後、フレーム補間難易度判定部５２は、ステップＳＴ２１５で判定したフレーム補間の実施難易度に応じて、間引きカウンタＤＣ５を所定の非負整数に設定する（ステップＳＴ２１７）。
【０１０６】
一方、画像表示装置においてフレーム補間を実施しない場合（ステップＳＴ２１５：ＮＯ）、又は入力画像フレームに対してシーンチェンジが検出された場合（ステップＳＴ２１１：ＹＥＳ）、フレーム補間難易度判定部５２は、フレーム補間実施フラグをＯＦＦとして動き探索部３、イントラ・インター判定部６、動き探索ブロックサイズ判定部７、符号化部６４に出力し、また、間引きカウンタＤＣ５を動き探索部５３、ＤＣＴ量子化部５９、符号化部６４に出力する（ステップＳＴ２１８）。
【０１０７】
図２０は、動き探索部５３による動作の流れを示すフローチャートである。
まず、動き探索部５３は、フレーム補間難易度判定部５２から出力された間引きカウンタＤＣ５が正か否かを判定する（ステップＳＴ２２１）。間引きカウンタＤＣ５が正の場合（ステップＳＴ２２１：ＹＥＳ）、ゼロベクトルとした動きベクトルＭＶ５、参照ピクチャ番号ＲＰ１を動き補償部１２に出力する（ステップＳＴ２２２）。間引きカウンタＤＣ５が０の場合（ステップＳＴ２２１：ＮＯ）、動き探索部５３は、フレーム補間難易度判定部２から出力されたフレーム補間実施フラグＦＣＦ１がＯＮかＯＦＦかを識別する（ステップＳＴ２２３）。フレーム補間実施フラグＦＣＦ１がＯＮの場合（ステップＳＴ２２３：ＹＥＳ）、動き探索部３は、ピクチャ構造ＰＳ１がＴｏｐフィールドか否かを判定する（ステップＳＴ２２４）。
【０１０８】
ピクチャ構造ＰＳ１がＴｏｐフィールドの場合（ステップＳＴ２２４：ＹＥＳ）、動き探索部５３は、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１に従い、画像間の相関を重視した動き探索を実施する（ステップＳＴ２２５）。ステップＳＴ２２５では、例えば、ＳＡＤ、ＳＳＤ、ＭＳＥなどを評価関数とし、その評価関数が最小となる動きベクトルを探索する。一方、フレーム補間実施フラグＦＣＦ１がＯＦＦの場合（ステップＳＴ２２３：ＮＯ）、またはピクチャ構造ＰＳ１がＴｏｐフィールドでない場合（ステップＳＴ２２４：ＮＯ）、動き探索部５３は、動き探索ブロックサイズ判定部７から出力された動き探索ブロックサイズＢＳ１に従い、符号化効率を重視した動き探索を実施する（ステップＳＴ２２６）。
【０１０９】
ステップＳＴ２２６では、例えば、ＣＯＳＴ＝λ×Ｒ＋ＳＡＤ（Ｒ：動きベクトルの情報量）のような評価関数を定義し、その評価関数が最小となる動きベクトルを探索する。その後、動き探索部５３は、ステップＳＴ２２６で取得した動きベクトルＭＶ５、参照ピクチャ番号ＲＰ１を動き補償部１２に出力する（ステップＳＴ２２７）。
【０１１０】
図２１は、ＤＣＴ量子化部５９による動作の流れを示すフローチャートである。
まず、ＤＣＴ量子化部５９は、フレーム補間難易度判定部５２から出力された間引きカウンタＤＣ５が正か否かを判定する（ステップＳＴ２３１）。間引きカウンタＤＣ５が正の場合（ステップＳＴ２３１：ＹＥＳ）、ＤＣＴ量子化部５９は、ＤＣＴ係数ＣＯＥＦ５を全て０として逆量子化逆ＤＣＴ部１０、符号化部６４に出力する（ステップＳＴ２３２）。一方、間引きカウンタＤＣ５が０の場合（ステップＳＴ２３１：ＮＯ）、ＤＣＴ量子化部５９は、減算器８から出力された差分画像に対してＤＣＴ、量子化を実施し、ＤＣＴ係数を得る（ステップＳＴ２３３）。その後、ＤＣＴ量子化部５９は、ステップＳＴ２３３で得られたＤＣＴ係数をＤＣＴ係数ＣＯＥＦ５として逆量子化逆ＤＣＴ部１０、符号化部６４に出力する（ステップＳＴ２３４）。
【０１１１】
図２２は、符号化部６４による動作の流れを示すフローチャートである。
符号化部６４は、ピクチャ構造判定部４から出力されたピクチャ構造ＰＳ１、ピクチャタイプ判定部５から出力されたピクチャタイプＰＴ１、イントラ・インター判定部６から出力された予測モードＰＭ１、動き探索ブロックサイズ判定部から出力された動き探索ブロックサイズＢＳ１、ＤＣＴ量子化部５９から出力されたＤＣＴ係数ＣＯＥＦ５、切換スイッチ１７から出力されたイントラ予測情報ＩＴＡＩ１又はインター予測情報ＩＴＲＩ１を基に符号化し、圧縮符号化画像データを生成する（ステップＳＴ２４１）。符号化部６４は、ステップＳＴ２４１で生成した圧縮符号化画像データを基に、フレーム補間実施フラグＦＣＦ１、間引きカウンタＤＣ５に関する情報を含んだストリームを生成し、そのストリームを出力する（ステップＳＴ２４２）
【０１１２】
次に、画像表示装置の動作について説明する。
図２３は、復号化部７１による動作の流れを示すフローチャートである。
復号化部７１は、入力ストリームからフレーム補間実施フラグＦＣＦ１、間引きカウンタＤＣ５に関する情報を取得し、フレーム補間実施フラグＦＣＦ２、間引きカウンタＤＣ７を補間画像生成部７４に出力する（ステップＳＴ２５１）。復号化部７１は、間引きカウンタＤＣ７が０であるか否かを判定する（ステップＳＴ２５２）。間引きカウンタＤＣ７が０である場合（ステップＳＴ２５２：ＹＥＳ）、復号化部７１は、入力ストリームを復号して取得したピクチャ構造ＰＳ２、動き探索ブロックサイズＢＳ２、動きベクトルＭＶ２０を動きベクトル取得部２２に出力する（ステップＳＴ２５３）。その後、復号化部７１は、入力ストリームを復号して取得したシンタックス情報を基に復号画像を生成し、その復号画像を出力画像フレームメモリ２５に出力する（ステップＳＴ２５４）。
【０１１３】
図２４は、補間画像生成部７４による動作の流れを示すフローチャートである。
まず、補間画像生成部７４は、間引きカウンタＤＣ７が正であるか否かを判定する（ステップＳＴ２６１）。間引きカウンタＤＣ７が正の場合（ステップＳＴ２６１：ＹＥＳ）、補間画像生成部７４は、復号化対象フレームの補間画像を生成し、その補間画像を出力画像フレームメモリに出力する（ステップＳＴ２６２）。補間画像生成部７４は、復号化部７１から出力されたフレーム補間実施フラグＦＣＦ２がＯＮか否かを判定する（ステップＳＴ２６３）。フレーム補間実施フラグＦＣＦ２がＯＮの場合（ステップＳＴ２６３：ＹＥＳ）、画像表示装置の表示フレームレートに従ってフレーム補間を実施し、補間画像を出力画像フレームメモリ２５に出力する（ステップＳＴ２６４）。フレーム補間実施フラグがＦＣＦ２がＯＦＦの場合（ステップＳＴ２６３：ＮＯ）、画像表示装置の表示フレームレートを満たすように、前フレームと同一画像または黒画面を補間画像として出力画像フレームメモリ２５に出力する（ステップＳＴ２６５）。
【０１１４】
このように実施の形態３では、画像符号化装置において、画像表示装置におけるフレーム補間の実施難易度に応じて画像表示装置におけるフレーム補間の実施有無を切り替え、画像表示装置においてフレーム補間を実施する場合、フレーム補間の難易度が低いときには、所定の割合で符号化フレームを間引き、間引き対象の符号化フレームでは動きベクトルをゼロベクトル、ＤＣＴ係数を全て０とし、間引き対象ではない符号化フレームでは通常のフレーム補間手段における動き探索と同様に画像間の相関を重視した動き探索を実施する。その結果、フレーム補間難易度が低い場合に、伝送や蓄積に要する情報量を削減しつつ、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を画像表示装置に実装することなく、画像表示装置において高品質な補間画像を生成することができる。
【０１１５】
以上説明したように、実施の形態３の画像符号化装置によれば、ＤＣＴ量子化を行うＤＣＴ量子化部を備え、フレーム補間難易度判定部は、画像表示装置でフレーム補間実施有りの場合にフレーム補間の実施難易度に応じて符号化フレームを間引く割合を設定し、動き探索部は、符号化対象フレームが間引き対象の場合に動きベクトルをゼロベクトルとし、ＤＣＴ量子化部は、符号化対象フレームが間引き対象の場合にＤＣＴ係数を全て０とし、符号化部は、間引き情報を含んだストリームを生成するようにしたので、フレーム補間難易度が低い場合に、伝送や蓄積に要する情報量を削減することができ、また、画像表所装置側で、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく高品質な補間画像を生成することができる。
【０１１６】
また、実施の形態３の画像表示装置によれば、復号化部は、実施の形態３の画像符号化装置が生成したストリームを復号して得られた間引き情報を補間画像生成部に出力するようにしたので、フレーム補間難易度が低い場合に、伝送や蓄積に要する情報量を削減することができ、また、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく高品質な補間画像を生成することができる。
【０１１７】
また、実施の形態３の画像表示装置によれば、補間画像生成部は、復号化部から出力された間引き情報に基づき、復号化対象フレームが間引き対象である場合に、復号化対象フレームを補間生成するようにしたので、フレーム補間難易度が低い場合に、伝送や蓄積に要する情報量を削減することができ、また、物体の本来の動きという点で信頼性が高い動きベクトルをフレーム補間用に取得するための動き探索を実装することなく高品質な補間画像を生成することができる。
【０１１８】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１１９】
１  入力画像フレームメモリ、２  フレーム補間難易度判定部、３  動き探索部、４  ピクチャ構造判定部、５  ピクチャタイプ判定部、６  イントラ・インター判定部、７  動き探索ブロックサイズ判定部、８  減算器、９  ＤＣＴ量子化部、１０  逆量子化逆ＤＣＴ部、１１  イントラ予測部、１２  動き補償部、１３  参照画像メモリ、１４  符号化部、２１  復号化部、２２  動きベクトル取得部、２３  動きベクトル格納部、２４  補間画像生成部、２５  出力画像フレームメモリ、３４  符号化部、４１  復号化部、５２  フレーム補間難易度判定部、５３  動き探索部、５９  ＤＣＴ量子化部、６４  符号化部、７１  復号化部、７４  補間画像生成部。
【図１】
2012105177.tif 000003
【図２】
2012105177.tif 000004
【図３】
2012105177.tif 000005
【図４】
2012105177.tif 000006
【図５】
2012105177.tif 000007
【図６】
2012105177.tif 000008
【図７】
2012105177.tif 000009
【図８】
2012105177.tif 000010
【図９】
2012105177.tif 000011
【図１０】
2012105177.tif 000012
【図１１】
2012105177.tif 000013
【図１２】
2012105177.tif 000014
【図１３】
2012105177.tif 000015
【図１４】
2012105177.tif 000016
【図１５】
2012105177.tif 000017
【図１６】
2012105177.tif 000018
【図１７】
2012105177.tif 000019
【図１８】
2012105177.tif 000020
【図１９】
2012105177.tif 000021
【図２０】
2012105177.tif 000022
【図２１】
2012105177.tif 000023
【図２２】
2012105177.tif 000024
【図２３】
2012105177.tif 000025
【図２４】
2012105177.tif 000026