(57)【要約】【課題】本発明は、映像方式変換における処理を簡略化でき、装置コストを低減できる映像方式変換方法及びその装置を提供することを目的とする。【解決手段】画面を小領域に分割したブロックに対してフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化された符号化データストリームから復号化された復号画像の映像方式変換を行う映像方式変換方法において、符号化データストリームに含まれるＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行うことにより、映像方式変換における画像の特徴を分析するための動き検出処理を省略することができ、装置コストを低減できる。【選択図】　　　　図１
2004104171.tif 000002
【特許請求の範囲】
【請求項１】
画面を小領域に分割したブロックに対してフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化された符号化データストリームから復号化された復号画像の映像方式変換を行う映像方式変換方法において、
前記符号化データストリームに含まれるＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行う
ことを特徴とする映像方式変換方法。
【請求項２】
画面を小領域に分割したブロックに対してフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化された符号化データストリームから復号化された復号画像の映像方式変換を行う映像方式変換装置において、
前記符号化データストリームに含まれる各画素のＤＣＴタイプを抽出する抽出手段と、
復号画像の各画素について、当該画素のＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行って変換画像信号を出力する変換手段を
有することを特徴とする映像方式変換装置。
【請求項３】
請求項２記載の映像方式変換装置において、
前記変換手段は、当該画素のＤＣＴタイプがフィールドＤＣＴの場合はフィールド内補間を行い、フレームＤＣＴの場合はフィールド間補間を行うことを特徴とする映像方式変換装置。
【請求項４】
画面を小領域に分割したブロックに対してフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化された符号化データストリームから復号化された復号画像の映像方式変換を行う映像方式変換装置において、
前記符号化データストリームに含まれるＤＣＴタイプを抽出する抽出手段と、復号画像の各画素について、当該画素に隣接する範囲でフィールドＤＣＴで符号化されていた画素数と当該画素に隣接する範囲でフレームＤＣＴで符号化されていた画素数とに応じて加重平均の比率を決定する比率決定手段と、
復号画像の各画素について、フィールド内補間値及びフィールド間補間値を前記加重平均の比率を用いて加重平均し、変換画像信号として出力する加重平均手段を
有することを特徴とする映像方式変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像方式変換方法及びその装置に関し、特に、フィールド適応ＤＣＴまたはフレーム適応ＤＣＴを用いた符号化方式の復号化画像を符号化ストリームの情報を用いて映像方式変換する映像方式変換方法及びその装置に関する。
【０００２】
【従来の技術】
従来から、１秒当たり２４コマの映画素材の画像を１秒当たり３０フレームのテレビジョン画像に変換したり、また、インターレース画像をプログレッシブ（ノンインターレース）画像に変換する映像方式変換が行われている。更に、符号化された画像を復号し、元の画像の映像方式と異なる映像方式に変換して表示することも行われている。
【０００３】
図３は、従来の映像方式変換方法の一例を説明するためのブロック図を示す。同図中、符号化データストリームはＭＰＥＧ−２等のフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化されたものである。この符号化データストリームは復号化部１０に供給されて復号化される。復号化部１０の出力する復号画像は映像方式変換部１２に供給される。映像方式変換部１２は、復号画像に対して動き検出などを行って画像を分析し、画素ごとにフィールド内補間とフィールド間補間を切り替えて映像方式変換を行い、得られた新たな映像方式の信号を出力する。
【０００４】
また、この他に、符号化データストリームの情報を用いて映像方式変換を行うプログレッシブ出力ＤＶＤプレーヤがある。このものは、固定的にフレームＤＣＴで符号化された映画素材等の符号化データを復号化する際に、すべての画素をフィールド間補間により映像方式変換して例えば４８０ｐ（１画面を４８０ラインのプログレッシブ表示を意味する）の画像にアップコンバートする技術が用いられている。
【０００５】
【発明が解決しようとする課題】
従来の映像方式変換方法では、復号画像信号に対して、動き検出を行って画像の特徴を分析しフィールド内補間とフィールド間補間を切り換えて映像方式変換を行っており、動き検出処理が必須であるために装置コストが高くなるという問題があった。
【０００６】
本発明は、上記の点に鑑みなされたもので、映像方式変換における処理を簡略化でき、装置コストを低減できる映像方式変換方法及びその装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１，２に記載の発明は、符号化データストリームに含まれるＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行うことにより、
映像方式変換における画像の特徴を分析するための動き検出処理を省略することができ、装置コストを低減できる。
【０００８】
請求項２に記載の発明は、符号化データストリームに含まれる各画素のＤＣＴタイプを抽出する抽出手段と、復号画像の各画素について、当該画素のＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行って変換画像信号を出力する変換手段を有し、請求項３に記載の発明では、変換手段は、当該画素のＤＣＴタイプがフィールドＤＣＴの場合はフィールド内補間を行い、フレームＤＣＴの場合はフィールド間補間を行うことにより、
映像方式変換における画像の特徴を分析するための動き検出処理を省略することができる。
【０００９】
請求項４に記載の発明は、符号化データストリームに含まれるＤＣＴタイプを抽出する抽出手段と、復号画像の各画素について、当該画素に隣接する範囲でフィールドＤＣＴで符号化されていた画素数と当該画素に隣接する範囲でフレームＤＣＴで符号化されていた画素数とに応じて加重平均の比率を決定する比率決定手段と、復号画像の各画素について、フィールド内補間値及びフィールド間補間値を前記加重平均の比率を用いて加重平均し、変換画像信号として出力する加重平均手段を有することにより、
復号画像のＤＣＴタイプが互いに異なるブロックの境界において、補間処理の違いから映像方式変換後の画像でブロック歪が生じることを防止できる。
【００１０】
【発明の実施の形態】
本発明の原理について説明する。ＭＰＥＧ−２符号化は、画面を小領域に分割したブロックに対してフィールドＤＣＴとフレームＤＣＴを適応的に切り換えて符号化するフィールド／フレーム適応ＤＣＴが行われ、符号化データストリームには各ブロックのＤＣＴタイプが情報として記されている。
【００１１】
その切り換え判定方法は、ＤＣＴ係数垂直方向高域成分と相関の高いと思われる垂直方向隣接画素間差分値のブロック内二乗和を基にして、フレーム内で垂直方向に隣接した画素間差分値の二乗和がフィールド内で垂直方向に隣接した画素間差分値の二乗和より大きくなると、フィールド毎にＤＣＴを施した方が変換効率が高くなるとしてフィールドＤＣＴを選択しており、映像方式変換における動き検出と類似している。
【００１２】
そこで、符号化データストリームに記されているＤＣＴタイプの情報をフィールド内補間またはフィールド間補間処理の判定または両方の結果の加重平均に用いることで、映像方式変換における動き検出処理を簡略化する。
【００１３】
図１は、本発明の映像方式変換方法の第１実施例を説明するブロック図を示す。同図中、端子２０に入来する符号化データストリームには画面を小領域に分割したブロックのＤＣＴタイプが情報として記されている。
【００１４】
この符号化データストリームは復号化部２２及びＤＣＴタイプ抽出部２４に供給される。復号化部２２は、符号化データを復号化して復号画像を映像方式変換部２６に供給する。ＤＣＴタイプ抽出部２４は、符号化データストリームからＤＣＴタイプを抽出して映像方式変換部２６に供給する。
【００１５】
映像方式変換部２６は、復号画像の各画素について、当該画素のＤＣＴタイプがフィールドＤＣＴであればフィールド内補間を用い、フレームＤＣＴであればフィールド間補間を用いて映像方式変換を行い、変換画像信号を出力する。
【００１６】
図２は、本発明の映像方式変換方法の第２実施例を説明するブロック図を示す。同図中、図１と同一部分には同一符号を付す。図２において、端子２０に入来する符号化データストリームには画面を小領域に分割したブロックのＤＣＴタイプが情報として記されている。
【００１７】
この符号化データストリームは復号化部２２及びＤＣＴタイプ抽出部２４に供給される。復号化部２２は、符号化データを復号化して復号画像を映像方式変換部２８に供給する。ＤＣＴタイプ抽出部２４は、符号化データストリームからＤＣＴタイプを抽出して比率決定部３０に供給する。
【００１８】
比率決定部３０は、復号画像の各画素における加重平均の比率を、当該画素に隣接する範囲の画素で用いられた各ＤＣＴタイプの比率から求める。つまり、復号画像の（ｘ，ｙ）に位置する画素ｆ（ｘ，ｙ）について、ｘ−ｋ〜ｘ＋ｋ，ｙ−ｌ〜ｙ＋ｌ（ｋ，ｌは整数）の範囲におけるフィールドＤＣＴで符号化されていた画素数をｍ（ｘ，ｙ）、フレームＤＣＴで符号化されていた画素数をｎ（ｘ，ｙ）とし、このｍ（ｘ，ｙ）：ｎ（ｘ，ｙ）からフィールド内補間およびフィールド間補間の加重平均の比率Ｍ（ｘ，ｙ），Ｎ（ｘ，ｙ）を求めて、映像方式変換部２８に供給する。
【００１９】
映像方式変換部２８は、上記加重平均の比率Ｍ（ｘ，ｙ），Ｎ（ｘ，ｙ）を用いてフィールド内補間値とフィールド間補間値の加重平均を行って、変換画像信号を出力する。これにより、復号画像のＤＣＴタイプが互いに異なるブロックの境界において、補間処理の違いから映像方式変換後の画像でブロック歪が生じることを防止できる。
【００２０】
ここで、ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２ビデオ）に従って符号化された１９２０画素×１０８０ライン／５９．９４ｉ（１秒に５９．９４画面のインターレース表示）の符号化データストリームを、１９２０画素×１０８０ライン／５９．９４ｐ（１秒に５９．９４画面のプログレッシブ表示）の映像方式に変換する場合について説明する。この符号化データストリームはトップフィールドファーストで符号化されているものとする。
【００２１】
１９２０画素×１０８０ライン／５９．９４ｉの１フレームについて、一番左の画素をｘ＝０、一番上のラインをｙ＝０として、画素をｆ（ｘ，ｙ）で表す。ｙが偶数のラインをファーストフィールド、ｙが奇数のラインをセカンドフィールドとする。
【００２２】
映像方式変換部２８は、比率決定部３０から加重平均の比率Ｍ０（ｘ，ｙ），Ｍ１（ｘ，ｙ），Ｎ０（ｘ，ｙ），Ｎ１（ｘ，ｙ）を供給され、（１），（２）式の演算を行って、５９．９４ｉの１フレーム（２フィールド）の各画素ｆ〈ｘ，ｙ）から、５９．９４ｐの２フレームの各画素Ｆ０（ｘ，ｙ），Ｆ１（ｘ，ｙ）を求める。なお、Ｆ０（ｘ，ｙ）とＦ１（ｘ，ｙ）は、前者が時間的に前、後者が時間的に後である。
【００２３】
Ｆ０（ｘ，ｙ）＝（Ｍ０（ｘ，ｙ）×Ｆ０＿ｆｉｅｌｄ（ｘ，ｙ）
＋Ｎ０（ｘ，ｙ）×Ｆ０＿ｆｒａｍｅ（ｘ，ｙ））／（Ｍ０（ｘ，ｙ）＋Ｎ０（ｘ，ｙ））　　　　　　…（１）
Ｆ１（ｘ，ｙ）＝（Ｍ１（ｘ，ｙ）×Ｆｌ＿ｆｉｅｌｄ（ｘ，ｙ）
＋Ｎ１（ｘ，ｙ）×Ｆ１＿ｆｒａｍｅ（ｘ，ｙ））／（Ｍ１（ｘ，ｙ）＋Ｎ１（ｘ，ｙ））　　　　　　…（２）
ただし、
Ｍ０（ｘ，ｙ）＝ｍ（ｘ，ｙ）×２　　　　　　　　　　ｙが偶数の場合
Ｍ０（ｘ，ｙ）＝ｍ（ｘ，ｙ−１）＋ｍ（ｘ，ｙ＋１）　ｙが奇数の場合
Ｍ１（ｘ，ｙ）＝ｍ（ｘ，ｙ−１）＋ｍ（ｘ，ｙ＋１）　ｙが偶数の場合
Ｍ１（ｘ，ｙ）＝ｍ（ｘ，ｙ）×２　　　　　　　　　　ｙが奇数の場合
Ｎ０（ｘ，ｙ）＝ｎ（ｘ，ｙ）×２　　　　　　　　　　ｙが偶数の場合
Ｎ０（ｘ，ｙ）＝ｎ（ｘ，ｙ−１）＋ｎ（ｘ，ｙ＋１）　ｙが奇数の場合
Ｎ１（ｘ，ｙ）＝ｎ（ｘ，ｙ−１）＋ｎ（ｘ，ｙ＋１）　ｙが偶数の場合
Ｎ１（ｘ，ｙ）＝ｎ（ｘ，ｙ）×２　　　　　　　　　　ｙが奇数の場合
フィールド内補間およびフィールド間補間処理は次のように行う。
フィールド内補間処理
2004104171.tif 000003
フィールド間補間処理
Ｆ０＿ｆｒａｍｅ（ｘ，ｙ）＝ｆ（ｘ，ｙ）　　　　　　ｙが偶数の場合
Ｆ０＿ｆｒａｍｅ（ｘ，ｙ）＝ｆ〈ｘ，ｙ）　　　　　　ｙが奇数の場合
Ｆ１＿ｆｒａｍｅ（ｘ，ｙ）＝ｆ（ｘ，ｙ）　　　　　　ｙが偶数の場合
Ｆ１＿Ｆｒａｍｅ（ｘ，ｙ）＝ｆ〈ｘ，ｙ）　　　　　　ｙが奇数の場合
このようにして、映像方式変換における画像の特徴を分析する処理つまり動き検出処理を省略することができ、装置コストを低減することが可能となる。
【００２４】
なお、ＤＣＴタイプ抽出部２４が請求項記載の抽出手段に対応し、映像方式変換部２６が変換手段に対応し、比率決定部３０が比率決定手段に対応し、映像方式変換部２８が加重平均手段に対応する。
【００２５】
【発明の効果】
上述の如く、請求項１，２に記載の発明は、符号化データストリームに含まれるＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行うことにより、映像方式変換における画像の特徴を分析するための動き検出処理を省略することができ、装置コストを低減できる。
【００２６】
請求項２に記載の発明は、符号化データストリームに含まれる各画素のＤＣＴタイプを抽出する抽出手段と、復号画像の各画素について、当該画素のＤＣＴタイプに応じてフィールド内補間またはフィールド間補間を行って変換画像信号を出力する変換手段を有し、請求項３に記載の発明では、変換手段は、当該画素のＤＣＴタイプがフィールドＤＣＴの場合はフィールド内補間を行い、フレームＤＣＴの場合はフィールド間補間を行うことにより、映像方式変換における画像の特徴を分析するための動き検出処理を省略することができる。
【００２７】
請求項４に記載の発明は、符号化データストリームに含まれるＤＣＴタイプを抽出する抽出手段と、復号画像の各画素について、当該画素に隣接する範囲でフィールドＤＣＴで符号化されていた画素数と当該画素に隣接する範囲でフレームＤＣＴで符号化されていた画素数とに応じて加重平均の比率を決定する比率決定手段と、復号画像の各画素について、フィールド内補間値及びフィールド間補間値を前記加重平均の比率を用いて加重平均し、変換画像信号として出力する加重平均手段を有することにより、復号画像のＤＣＴタイプが互いに異なるブロックの境界において、補間処理の違いから映像方式変換後の画像でブロック歪が生じることを防止できる。
【図面の簡単な説明】
【図１】本発明の映像方式変換方法の第１実施例を説明するブロック図である。
【図２】
本発明の映像方式変換方法の第２実施例を説明するブロック図である。
【図３】従来の映像方式変換方法の一例を説明するためのブロック図である。
【符号の説明】
２０　端子
２２　復号化部
２４　ＤＣＴタイプ抽出部
２６，２８　映像方式変換部
３０　比率決定部
【図１】
2004104171.tif 000004
【図２】
2004104171.tif 000005
【図３】
2004104171.tif 000006