(57)【要約】ＭＰＥＧ復号回路２０は、符号化画像データが入力され、動き情報に基づいて復号画像データを生成し、生成された復号画像データを動き適応型画像処理部３４に出力する。また、ＭＰＥＧ復号回路２０は、動き情報を時間軸補正回路３１に供給する。時間軸補正回路３１は、当該動き情報を、その動き情報を使用した復号画像データがＭＰＥＧ復号回路２０から動き適応型画像処理部３４に供給されるタイミングに合わせて、動き適応型画像処理部３４に供給する。動き適応型画像処理部３４は、動き情報に基づいて処理中の画像データが動画か静止画かを判定し、それぞれに適した画像処理を選択して実行する。
2004112378.tif 000002
【特許請求の範囲】
【請求項１】
符号化に使用された動き情報を含む符号化画像データが入力されるテレビジョン受像機において、
前記動き情報に基づいて前記符号化画像データを復号し、復号画像データを出力する復号手段と、
前記復号画像データに対して動きに適応した画像処理を施す画像処理手段と、
前記復号画像データが前記画像処理手段に供給されるタイミングに同期するように、前記復号画像データの生成に関連した動き情報を前記画像処理手段に供給する時間軸補正手段とを有し、
前記画像処理手段は、前記時間軸補正手段から供給された動き情報に適応した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項２】
請求の範囲１に記載のテレビジョン受像機において、
前記符号化画像データが基準となる画像に対する差分データを含み、
前記復号手段は、前記動き情報を使用して生成された過去または未来の画像データと前記差分データを加算することによって前記復号画像データを生成する構成とされたテレビジョン受像機。
【請求項３】
請求の範囲１に記載のテレビジョン受像機において、
前記動き情報は、複数画素からなるマクロブロック毎に検出された動きベクトルであり、
前記画像処理手段は、前記マクロブロック毎に前記動きベクトルを参照して動きに適応した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項４】
請求の範囲１に記載のテレビジョン受像機において、
前記画像処理手段は、前記時間軸補正手段から供給された動き情報が所定の値を超えた場合は、前記画像データに対し動画に適した画像処理を行い、前記供給された動き情報が前記所定の値以下である場合は、前記画像データに対し静止画に適した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項５】
請求の範囲１に記載のテレビジョン受像機において、
前記画像処理手段は、前記供給された動き情報が前記所定の値以下である場合にのみ、連続するフレームの画像データをある割合で加算する構成とされたノイズリダクション回路であることを特徴とするテレビジョン受像機。
【請求項６】
請求の範囲１に記載のテレビジョン受像機において、
動き情報を含まない画像データが入力され、前記画像データの動き情報を検出し、当該検出された動き情報を前記画像処理手段に供給する動き検出手段と、
前記復号手段の出力画像データと、前記動き情報を含まない画像データのいずれかを前記画像処理手段に供給する切換手段とを更に有し、
前記画像処理手段は、前記画像データが入力される場合は、前記動き検出手段によって検出された動き情報に応じて、前記動き情報に適応した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項７】
請求の範囲１に記載のテレビジョン受像機において、
前記符号化画像データがＭＰＥＧ２方式のエレメンタリストリームであるテレビジョン受像機。
【請求項８】
符号化に使用された動き情報を含む符号化画像データが入力される画像処理方法において、
前記動き情報に基づいて前記符号化画像データを復号し、復号画像データを出力する復号ステップと、
前記復号画像データに対して動きに適応した画像処理を施す画像処理ステップと、
前記復号画像データが前記画像処理ステップに供給されるタイミングに同期するように、前記復号画像データの生成に関連した動き情報を前記画像処理ステップに供給する時間軸補正ステップとを有し、
前記画像処理ステップは、前記時間軸補正ステップから供給された動き情報に適応した画像処理を行うことを特徴とする画像処理方法。
【請求項９】
請求の範囲８に記載の画像処理方法において、
前記符号化画像データが基準となる画像に対する差分データを含み、
前記復号ステップは、前記動き情報を使用して生成された過去または未来の画像データと前記差分データを加算することによって前記復号画像データを生成する構成とされた画像処理方法。
【請求項１０】
請求の範囲８に記載の画像処理方法において、
前記動き情報は、複数画素からなるマクロブロック毎に検出された動きベクトルであり、
前記画像処理ステップは、前記マクロブロック毎に前記動きベクトルを参照して動きに適応した画像処理を行うことを特徴とする画像処理方法。
【請求項１１】
請求の範囲８に記載の画像処理方法において、
前記画像処理ステップは、前記時間軸補正ステップから供給された動き情報が所定の値を超えた場合は、前記画像データに対し動画に適した画像処理を行い、前記供給された動き情報が前記所定の値以下である場合は、前記画像データに対し静止画に適した画像処理を行うことを特徴とする画像処理方法。
【請求項１２】
請求の範囲８に記載の画像処理方法において、
前記画像処理ステップは、前記供給された動き情報が前記所定の値以下である場合にのみ、連続するフレームの画像データをある割合で加算するノイズリダクションであることを特徴とする画像処理方法。
【請求項１３】
請求の範囲８に記載の画像処理方法において、
動き情報を含まない画像データが入力され、前記画像データの動き情報を検出し、当該検出された動き情報を前記画像処理ステップに供給する動き検出ステップと、
前記復号ステップの出力画像データと、前記動き情報を含まない画像データのいずれかを前記画像処理ステップに供給する切換ステップとを更に有し、
前記画像処理ステップは、前記画像データが入力される場合は、前記動き検出ステップによって検出された動き情報に応じて、前記動き情報に適応した画像処理を行うことを特徴とする画像処理方法。
【請求項１４】
請求の範囲８に記載の画像処理方法において、
前記符号化画像データがＭＰＥＧ２方式のエレメンタリストリームである画像処理方法。
【発明の詳細な説明】
【技術分野】  この発明は、動画像データを受信して表示するテレビジョン受像機に関し、特に、符号化されたディジタル動画像データを受信し復号する復号回路を備えたテレビジョン受像機および画像処理方法に関する。
【背景技術】  近年、ディジタルテレビジョン放送やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等の普及によって、高品質な映像データおよび音声データがより身近なものになってきている。こうした媒体の普及に伴って、高品質の映像データおよび音声データを受信し、テレビジョンモニタおよびスピーカに出力するテレビジョン受像機が開発されている。上記ディジタルテレビジョン放送やＤＶＤからの映像・音声データは、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−２）のようなディジタル動画像符号化方式によって符号化されたデータ形式で提供される。
ＭＰＥＧ−２では、符号化の際に、フィールド（またはフレーム）内で動く物体等の映像を検出した後、その動きを予測したフィールドと現フィールドとの差を抽出してＰピクチャやＢピクチャを出力し、同時にその動きを動き情報（動きベクトル情報）として出力する。ＭＰＥＧッ２符号化データの復号は、このような差分データである上記Ｐピクチャ・Ｂピクチャと動き情報を使用することによって行われる。差分データと動き情報を使用することにより、復号後の画像品質を劣化させることなく、符号化データのサイズをより一層コンパクトなものにすることができる。
また、従来のテレビジョン受像機には、通常、上述したＭＰＥＧ−２符号化データ等を復号化したビデオ信号が入力信号として供給される。この種のテレビジョン受像機は、ビデオ信号を直接入力しているので、ＭＰＥＧ−２符号化データを復号するための回路を有する必要がなく、簡単な回路で構成することができる。一方、当該テレビジョン受像機において、画像の動きに応じた補正処理や雑音低減（ＮＲ（ノイズリダクション））処理を行おうとする場合は、受信した上記ビデオ信号から、フィールド（またはフレーム）画像間の動きの検出を行い、再度、動き情報を取得する必要がある。
ビデオ信号を受信した後で、そのビデオ信号を元に動き情報の検出を行い、その動き情報の検出結果に応じて、フレームＮＲ処理を行うか、フィールドＮＲ処理を行うかを切り換える映像信号処理装置が特開２００２−５１２３４号公報で提案されている。
しかしながら、従来のテレビジョン受像機では、上述のように、ビデオ信号を受信するため、画像間の動き情報を得るためには、ビデオ信号による各画像について動き検出処理を行う必要がある。従って、ＭＰＥＧ−２の符号化の際に動き情報が生成されるにもかかわらず、これらの情報を活用できていない。また、実際のノイズリダクション処理等では、入力したビデオ信号から動き情報を検出し、その動き情報から対象のフィールド（フレーム）が動画であるか静止画であるかを判別するので、その判別の精度には限界がある。
また、動き検出のための回路も必要となり、全体として大きな回路規模となってしまうという問題もある。
更に、動画であるか静止画であるかを、全てのパターンに対して完璧に判別することは非常に困難であるため、動きのパターンによっては判別回路の誤動作を招き、それによって動画像の再生品質が劣化するという問題もある。
例えば、動画、静止画の別を判断して、静止画のときだけ連続するフレームの情報をある割合で加算していくタイプの雑音低減処理回路では、微妙に動く画像が入力された場合に、動画静止画の別を判断する回路が、一連の入力画像の動きの量が少ないために、上記入力画像を静止画であると判断してしまうと、画の輪郭がぼけたり、画像が尾を引くなどの現象が発生する。
一方、このような現象の発生を抑止するために、動画と静止画を判別する際に用いるしきい値を動画側に偏らせると、多くの画像が動画と判別されてしまい、十分な雑音低減処理が行えなくなる。
第６図は、従来の動画静止画の判別回路における誤作動の例を示している。第６図Ａは、入力ストリームを概念的に示すものであり、斜線で表された中央の物体が矢印方向に微妙に動いているものである。これは、本来、動画と判断されるべきストリームであるが、動きの量が小さいために、ここでは静止画と判断されたとする。
第６図Ｂは、入力ストリームが静止画と判断されたために、雑音低減処理において、連続する数フレームが所定の割合で加算される様子を概念的に表している。第６図Ｃは、上記連続する数フレームが所定の割合で加算された結果の画像を示している。各フレームに表示された物体は、実際には微妙に動いているため、これらのフレームを加算した結果、第６図Ｃに示すように、入力ストリームは、輪郭がぼけ、物体の画像が尾を引いたような状態で表示される。
従って、この発明の目的は、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化で得られる動き情報をそのまま利用することによって、入力ストリームが動画か静止画かを判別し、その結果に応じて異なる画像処理を施すテレビジョン受像機および画像処理方法を提供することにある。
また、この発明の目的は、動き情報をＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データから取り込むことで、動き検出回路を省略したテレビジョン受像機および画像処理方法を提供することにある。
更に、この発明の目的は、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データを入力して、その中に含まれる動き情報をそのまま利用する場合と、動き情報を含まない動画像データを入力して、そのデータから動き情報を検出し、当該検出された動き情報を利用する場合とを切り換え、それぞれの動き情報の内容に応じて画像処理を行うテレビジョン受像機および画像処理方法を提供することにある。
【発明の開示】
この発明の第１の態様は、符号化に使用された動き情報を含む符号化画像データが入力されるテレビジョン受像機において、
動き情報に基づいて符号化画像データを復号し、復号画像データを出力する復号手段と、
復号画像データに対して動きに適応した画像処理を施す画像処理手段と、
復号画像データが画像処理手段に供給されるタイミングに同期するように、復号画像データの生成に関連した動き情報を画像処理手段に供給する時間軸補正手段とを有し、
画像処理手段は、時間軸補正手段から供給された動き情報に適応した画像処理を行うことを特徴とするテレビジョン受像機である。
この発明の第２の態様は、符号化に使用された動き情報を含む符号化画像データが入力される画像処理方法において、
動き情報に基づいて符号化画像データを復号し、復号画像データを出力する復号ステップと、
復号画像データに対して動きに適応した画像処理を施す画像処理ステップと、
復号画像データが画像処理ステップに供給されるタイミングに同期するように、復号画像データの生成に関連した動き情報を画像処理ステップに供給する時間軸補正ステップとを有し、
画像処理ステップは、時間軸補正ステップから供給された動き情報に適応した画像処理を行うことを特徴とする画像処理方法である。
この発明によれば、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化で得られる動き情報をそのまま利用することによって、入力ストリームが動画か静止画かを判別し、その結果に応じて異なる画像処理が施される。この結果、高精度の動画静止画判別が可能となる。また、動き情報がＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データから取り込まれるので、動き検出回路を省略して簡単な回路構成とすることができる。
また、この発明によれば、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データを入力して、その中に含まれる動き情報をそのまま利用する場合と、動き情報を含まない動画像データを入力して、そのデータから動き情報を検出し、当該検出された動き情報を利用する場合とを切り換えることができる。
【図面の簡単な説明】  第１図は、この発明の実施の形態に係るテレビジョン受像機の構成を示すブロック図である。
第２図は、第１図に示すテレビジョン受像機のデコーダの構成を示すブロック図である。
第３図は、この発明の実施の形態に係るテレビジョン受像機において動き情報の判定に基づいた画像処理を行うプロセスのフローチャートである。
第４図は、この発明の実施の形態に係るテレビジョン受像機の動き検出処理を説明するための入力画素とメモリ画素を表す略線図である。
第５図は、この発明の実施の形態に係るテレビジョン受像機の動き検出処理を説明するための第１フィールドと第２フィールドを表す略線図である。
第６図は、従来のテレビジョン受像機において得られた動き情報を用いてノイズリダクション処理を行った結果を示す略線図である。
【符号の説明】
１      テレビジョン受像機
４      デコーダ
２０      ＭＰＥＧ復号回路
３１      時間軸補正回路
３２      動き検出部
３３      スイッチ
３４      動き適応型画像処理部
Ｓ１０      動き情報と符号化モードを受信する
Ｓ１１      時間軸補正処理を実行する
Ｓ１２      動き情報＞所定の値
Ｓ１３      動画に適した処理を実行する
Ｓ１４      静止画に適した処理を実行する
【発明を実施するための最良の形態】  以下、この発明の実施の形態について、図面を用いて説明する。動画像を構成する各画像は、一般的に、１回の画面表示を１回の走査で行う（ノンインタレース方式）場合に各走査に用いられる画像である「フレーム」と、２回の走査で行う（インタレース方式）場合に各走査に用いられる画像である「フィールド」に大別される。ここでは、フィールドを扱う例について説明するが、この発明は、フィールドを扱う場合に限定されるものではない。フレームまたはその他の画面表示を行うために使用されるあらゆる画像について適用可能である。
また、後で説明するＭＰＥＧ復号回路、動き適応型画像処理部、時間軸補正回路、動き検出部、およびスイッチは、それぞれ復号手段、画像処理手段、時間軸補正手段、動き検出手段、および切換手段に対応する。更に、動画像データは、ＭＰＥＧ−２のような動き情報を含む符号化データと、ビデオ信号のような動き情報を含まないデータの両方を含み、画像データは、動画像における１つの表示画面を構成するデータ（例えば、フィールドやフレームのデータ）を意味する。
第１図は、この発明の実施の形態に係るテレビジョン受像機１の構成要素を示すブロック図である。テレビジョン受像機１は、チューナ２、復調部３、デコーダ４、表示部５、および音声出力部６を備える。さらにテレビジョン受像機１は、操作部７および制御部８を備える。
チューナ２は、アンテナ９からテレビジョン放送信号を受信し、増幅、周波数変換、およびフィルタリング等を行った後、ＩＦ（Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｒｅｑｕｅｎｃｙ）信号として復調部３に出力する。通常の地上波アナログ放送を受信する場合に加え、例えば、地上波ディジタル放送を受信する場合であれば、チューナ２は、アンテナ９を介してＩＳＤＢ−ＴのＯＦＤＭ信号をＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）信号として受信する。地上波ディジタル放送における各プログラムコンテンツは、例えば、ＭＰＥＧ−２のＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：エレメンタリーストリーム）を利用している。ここでは、本実施の形態について、ＭＰＥＧ−２のＥＳからテレビジョン放送の再生を行う場合について説明する。
復調部３は、通常の地上波アナログ放送を復調するだけでなく、受信した地上波ディジタル放送の信号を復調して、ＭＰＥＧ−２のＥＳ（以下、ＥＳデータと称する）を抽出する。そのために復調部３は、上記受信信号にＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）演算、デインタリーブ、デマッピング、およびビタビ復号およびＲＳ（Ｒｅｅｄ  Ｓｏｌｏｍｏｎ）復号等を利用した誤り訂正、デマルチプレクスなどの各処理を施す。
復調部３によって復調されたデータは、デコーダ４に供給され、そこで、復号処理が行われる。ＥＳデータ内には、ＢピクチャとＰピクチャに関して、マクロブロック毎の動き情報が含まれる。この発明では、当該動き情報をそのまま利用してＭＰＥＧ復号後の各フィールドが動画であるか静止画であるかを判断し、その判断に応じて、それぞれに適した画像処理を行うものである。このような画像処理として代表的なものは、ノイズリダクション処理である。
デコーダ４での処理により、ＥＳデータは、映像についてはビデオ信号、音声については音声信号にそれぞれデコードされ、対応する出力装置に出力される。即ち、ビデオ信号（ＭＰＥＧビデオデータ）については表示部５に、音声信号（ＭＰＥＧオーディオデータ）については音声出力部６に出力される。
表示部５は、例えば、ＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ：高詳細テレビジョン）に対応可能なテレビジョンモニタである。また、音声出力部６は、例えば、テレビジョン受像機１に内蔵されたステレオスピーカである。
操作部７は、ユーザーの操作に基づきテレビジョン受像機１を操作するための信号を制御部８に供給する。例えば、チャンネルボタンの操作により、通常の地上波アナログ放送または地上波デジタル放送の所望のチャンネルを選択し、その選択されたチャンネル情報を制御部８に供給する。
制御部８は、システムコントローラであり、テレビジョン受像機１全体のシステムを制御する。例えば、操作部７より供給されたチャンネル情報に基づき、そのチャンネル情報に対応する放送波を選択するようにチューナ２を制御する。また、制御部８は、受信した放送波に対応した復調およびデコード処理を行うように復調部３およびデコーダ４を制御する。
次に、第２図を参照して、この発明のデコーダ４の構成を説明する。第２図は、デコーダ４の構成例を示すブロック図である。デコーダ４は、ＭＰＥＧ復号回路２０とテレビジョン画像処理回路３０を含み、第１図に示された復調部３からのＥＳデータのビットストリームを受信し、最終的にビデオ信号を出力する。デコーダ４は、上述のように、音声信号も出力するが、ここでは説明を簡単にするために、当該音声信号に関する処理についての説明は省略する。
また、本実施の形態では、ＥＳデータを扱う場合について説明しているが、ビデオ信号のような、動き情報を含まない動画像データ（データストリーム）を受信する可能性もある。そのような場合には、当該データストリームは、直接、テレビジョン画像処理回路３０の動き検出部３２に供給され、そこで動き情報の検出が行われる。元来はＥＳデータであっても、既に復号化されてビデオ信号としてデコーダ４に供給される場合は、動き検出部３２が当該データを受信する。
ＭＰＥＧ−２に代表されるディジタル動画像符号化方式における符号化処理では、まず動き補償によって動画像信号の時間的な冗長度が削減される。更に、直交変換の１つであるＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を行い、この結果得られるＤＣＴ係数を量子化して空間的な冗長度が削減される。この後、この量子化ＤＣＴ係数を可変長符号化することによって更なる圧縮が行われ、最終的にＥＳデータが生成される。
このようにして符号化されたＥＳデータの復号処理は、上記符号化処理と逆の手順で行われる。即ち、当該符号化データに対して可変長符号化を行って量子化ＤＣＴ係数を生成し、これに逆量子化、ＩＤＣＴ（逆離散コサイン変換）、および動き補償が順次行われて動画像を構成する各フィールドが再生される。可変長符号化では、量子化ＤＣＴ係数の他に、動き情報と符号化モードが出力される。次に、このようなＥＳデータの復号処理が、デコーダ４においてどのように行われるかを説明する。
ＥＳデータの復号処理は、デコーダ４のＭＰＥＧ復号回路２０で行われるが、当該処理は、従来のＭＰＥＧ復号処理と基本的に同様のものである。最初に、復調部３から供給されたＥＳデータはバッファ２１に記憶され、順次後続の処理に提供される。可変長復号部２２は、当該データを可変長復号化して、量子化ＤＣＴ係数、動き情報、および符号化モード（Ｂピクチャ、Ｐピクチャといった、ピクチャを区別するためのタイプを含む）に分離し、量子化ＤＣＴ係数を逆量子化部２４に供給し、動き情報と符号化モードを動き予測部２６に供給する。
逆量子化部２４は、可変長復号部２２から量子化ＤＣＴ係数を受信すると、それらを逆量子化してＤＣＴ係数を求め、ＩＤＣＴ（Ｉｎｖｅｒｓｅ  ＤＣＴ）部２５に供給する。ＩＤＣＴ部２５は、逆量子化部２４で求められたＤＣＴ係数からＩピクチャ、Ｐピクチャ、Ｂピクチャの各ピクチャデータを求める。
Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ：イントラ符号化画像）は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。
Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。
Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前（過去）の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろ（未来）の既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
従って、マクロブロックタイプとしては、フレーム内符号化（Ｉｎｔｒａ）マクロブロックと、過去から未来を予測する順方向（Ｆｏｒｗａｒｄ）フレーム間予測マクロブロックと、未来から過去を予測する逆方向（Ｂａｃｋｗａｒｄ）フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
再生時には、まずＩピクチャが復号され、このＩピクチャを基にＰピクチャやＢピクチャが復号される。例えば、復号画像が過去参照画像および未来参照画像としてフレームメモリに蓄えられ、順方向フレーム間予測マクロブロックの場合であれば、過去参照画像に対して動きベクトルによって動き補償した画像と逆ＤＣＴで得られた差分データとを加算して復号画像データを得るようになされている。逆方向フレーム間予測マクロブロックの場合であれば、未来参照画像に対して動きベクトルによって動き補償した画像と逆ＤＣＴで得られた差分データとを加算して復号画像データを得るようになされる。
こうして求められた各ピクチャデータは、フレームバッファ２７に記憶される。動き予測部２６は、可変長復号部２２から受信した動き情報と符号化モードに基づき、ＩピクチャおよびＰピクチャ、またはＩピクチャ、Ｐピクチャ、およびＢピクチャを用いて、フィールドの画像データを生成・出力する。
こうしてＭＰＥＧ復号回路２０によって生成された画像データは、テレビジョン画像処理回路３０のスイッチ３３を経由して動き適応型画像処理部３４に供給される。一方、可変長復号部２２から供給される動き情報と符号化モードが、テレビジョン画像処理回路３０の時間軸補正回路３１に供給される。時間軸補正回路３１はそこで、受信した符号化モードにより、生成されたフィールドの画像データがＩピクチャ、Ｂピクチャ、およびＰピクチャのうち、どのタイプのピクチャに対応するものであるかを判定し、画像データが予測符号化画像（ＢピクチャまたはＰピクチャ）に対応する場合に、その画像データが動き適応型画像処理部３４に供給されるタイミングに合わせて、そのピクチャに対応する動き情報を動き適応型画像処理部３４に供給する。
動き適応型画像処理部３４は、マクロブロック毎に動きベクトルまたは画像処理部３４の信号処理に合わせて動きベクトルから形成された動き情報に適応して画像処理を行う構成とされている。
テレビジョン画像処理回路３０の動き検出部３２は、動き情報を含まない動画像データ（データストリーム）を受信した場合に、各フィールド画像からフィールド間の差（動き）を検出する。スイッチ３３は、制御部８からの制御信号に基づき、ＥＳデータのような動き情報を有する動画像データの入力と、動き情報を含まない動画像データの入力とを切り換えて動き適応型画像処理部３４に供給する。
従って、動き適応型画像処理部３４は、ＥＳデータのような動き情報を有する動画像データを（ＭＰＥＧ復号回路２０から）入力した場合は、対応する動き情報を時間軸補正回路３１から受け取って処理を行う。一方、動き情報を含まない動画像データを（動き検出部３２から）入力した場合は、対応する動き情報を、それを検出した動き検出部３２から受け取って処理を行う。
ここで、第３図を参照して、ＥＳデータから復号化された画像データ（フィールド画像）を処理する場合の、時間軸補正回路３１と動き適応型画像処理部３４の動作について説明する。時間軸補正回路３１は、最初に、ステップＳ１０で、ＭＰＥＧ復号回路２０の可変長復号部２２から、動き情報と符号化モードを受信する。これによって、時間軸補正回路３１は、動き適応型画像処理部３４に対してどのピクチャタイプに対応する復号化された画像データがどのようなタイミングで供給されるかということ、および、各ピクチャ（ＢピクチャとＰピクチャ）の動き情報の内容を把握する。
次に、時間軸補正回路３１は、ステップＳ１１で、上記復号化された各画像データが、動き適応型画像処理部３４に入力されるタイミングを計算し、そのタイミングに合わせて、その画像データに対応するピクチャの動き情報を動き適応型画像処理部３４に供給する（当該タイミング調整を時間軸補正処理と称する）。
動き適応型画像処理部３４は、上記動き情報を受け取ると、ステップＳ１２で、動き情報の値が所定の値より大きいか否かを判定する。動き情報が所定の値より大きい場合（ステップＳ１２のＹＥＳ）は、入力したフィールド画像の内容が、前のフィールド画像から変化していることを示している。この場合は、ステップＳ１３に進み、そこで当該フィールドに対して動画に適した処理が行われる。逆に、動き情報が所定の値以下である場合（ステップＳ１２のＮＯ）は、入力したフィールド画像と前のフィールド画像との間で変化がなかったことを表す。この場合は、ステップＳ１４に進んで、静止画に適した処理が実行される。
上述した、動画に適した処理、静止画に適した処理とは、例えば、ノイズリダクション処理の例では、静止画のときだけ連続するフレームの画像をある割合で加算する処理がなされる。また、上述の動き情報の値の判定は、マクロブロック毎に行われ、判定結果がフィールド単位の判定結果に変換され、フィールド単位の処理が行われる。しかしながら、マクロブロック単位または、複数のマクロブロックからなる領域単位で処理を行うようにしても良い。
次に、第４図および第５図を参照して、第２図に示した、テレビジョン画像処理回路３０の動き検出部３２の動作について説明する。本実施の形態では、動き検出にブロックマッチングの手法を用いる。第４図に示すように、ブロックマッチングの単位ブロックは、４ライン×１６ピクセルの領域（例えば、第４図の斜線の領域４１）である。単位ブロックが、このような横長の形状をしているのは、当該マッチングがフィールド間マッチングであること、および対象が横方向に動く場合が多いと考えられるからである。なお、フィールド間マッチングでは、１ラインの画像で構成される対象の動きを正しく検知することはできない。
ブロックマッチングは、入力画素（４ライン×１６ピクセル、第４図の斜線の領域４１）としてのサーチブロックと、フィールドメモリのメモリ画素（１１ライン×３１ピクセル、第４図の領域４０）としての被サーチブロックを使って行われる。従って、サーチ範囲は、サーチブロックの上方４ライン、下方に３ライン、左に８ピクセル、右に７ピクセルである。なお、第４図では、斜線で示された４ライン×１６ピクセルの領域４１が、ベクトル（０，０）の位置である（ちょうど１フィールド遅延しているデータの位置）。
次に、ベクトルの検出手順の概略について説明する。
（１）入力画素およびメモリの出力に対して、１対３、または３対１の垂直フィルタを適用することによって重心を合わせ、ブロックマッチングの精度を上げる。
（２）被サーチ範囲内（第４図の領域４０）で、単位ブロック毎に入力画素とメモリ画素との差分値を求め、その差分値の和を取る。
（３）差分値の和を、１２８ブロック分（縦８ブロックラ横１６ブロック）算出し、その総和の平均値を算出する。
（４）求めた平均値とレジスタで設定されるしきい値を比較し、しきい値以下なら、ベクトル検出は有効と判定される。
（５）ベクトル検出が有効と判定されたら、サーチ範囲内で最小の値となったブロックの位置をマッチングが取れたブロック位置とする。ただし、適用されるベクトルはブロック単位ではなく、そのブロック内の１ライン単位である（次の単位ブロックとメモリのサーチ画像は１ラインずれて発生する）。
（６）最小の値となったブロック位置のメモリデータと入力データの差分を取り、ノイズを検出する。
（７）ベクトル検出が無効と判定された場合は、ベクトル（０，０）の値を使用する。
第５図に示すように、適用されるベクトルの単位（ライン）は、第１フィールドと、その次の第２フィールドで異なるものとなる。
上述の手順により動き検出部３２が求めた動きベクトルを動き情報として動き適応型画像処理部３４に供給する。また、制御部８からの制御信号に基づき、スイッチ３３を介して動き情報を含まない動画像データがフィールド画像として動き適応型画像処理部３４に入力される。
以下、第３図のステップＳ１２以降の動作と同じである。すなわち、動き適応型画像処理部３４は、上記動き情報を受け取ると、動き情報の値が所定の値より大きいか否かを判定する。動き情報が所定の値より大きい場合は、入力したフィールド画像の内容が、前のフィールド画像から変化していることを示している。この場合は、当該フィールドに対して動画に適した処理が行われる。逆に、動き情報が所定の値以下である場合は、入力したフィールド画像と前のフィールド画像との間で変化がなかったことを表す。この場合は静止画に適した処理が実行される。
本実施の形態においては、ここまで主に、ＭＰＥＧ−２の動画像データを入力する態様について説明してきたが、この発明を、ＭＰＥＧ−２に関するものと限定すべきではない。この発明は、動き補償のための動き情報を含むかぎり、どのような動画像データに対しても適用可能である。
この発明によれば、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化で得られる動き情報をそのまま利用することによって、入力ストリームが動画か静止画かを判別し、その結果に応じて異なる画像処理を施すようにすることができる。
また、この発明によれば、動き情報をＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データから取り込むことで、動き検出回路を省略することができ、結果的に単純な回路構成のテレビジョン受像機を実現できる。
更に、この発明によれば、ＭＰＥＧ−２等のディジタル動画像符号化方式による符号化データを入力して、その中に含まれる動き情報をそのまま利用する場合と、動き情報を含まない動画像データを入力して、そのデータから動き情報を検出し、当該検出された動き情報を利用する場合とを切り換え、それぞれの動き情報の内容に応じて画像処理を行うようにすることができる。
【図１】
2004112378.tif 000003
【図２】
2004112378.tif 000004
【図３】
2004112378.tif 000005
【図４】
2004112378.tif 000006
2004112378.tif 000007
2004112378.tif 000008
【手続補正書】
【提出日】平成16年11月22日(2004.11.22)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（補正）符号化に使用された動き情報を含む符号化画像データ及び前記動き情報を含まない動画像データが入力されるテレビジョン受像機において、
前記動き情報に基づいて前記符号化画像データを復号し、復号画像データを出力する復号手段と、
供給された前記復号画像データまたは前記動画像データに所定の画像処理を施し表示部に出力する画像処理手段と、
前記復号画像データが前記画像処理手段に供給されるタイミングに同期するように、前記復号画像データの生成に関連した動き情報を前記画像処理手段に供給する時間軸補正手段とを備え、
前記画像処理手段は、前記復号画像データが供給された場合に、前記時間軸補正手段から供給された動き情報に適応した画像処理を当該復号画像データに対して行うことを特徴とするテレビジョン受像機。
【請求項２】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記動き情報を含まない前記動画像データが入力され当該画像データの動き情報を検出し、当該検出された動き情報を前記画像処理手段に供給する動き検出手段をさらに備え、
前記画像処理手段は、前記動画像データが供給された場合は前記動き検出手段によって検出された動き情報に適応した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項３】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記画像処理手段は、供給された前記復号画像データに対して、前記時間軸補正手段から供給された動き情報に基づき、連続するフレームの画像データをある割合で加算する処理を行うノイズリダクション回路であることを特徴とするテレビジョン受像機。
【請求項４】
（補正）請求の範囲２に記載のテレビジョン受像機において、
前記画像処理手段は、前記時間軸補正手段または前記動き検出手段から供給された動き情報が所定の値以下である場合に、供給された連続するフレームの画像データをある割合で加算する処理を行うノイズリダクション回路であることを特徴とするテレビジョン受像機。
【請求項５】
（補正）請求の範囲２に記載のテレビジョン受像機において、
前記符号化画像データとして復調される放送信号を受信したチャンネル、並びに前記動画像データとして復調される放送信号を受信したチャンネルを選択する操作部と、
前記復号画像データまたは前記非符号化画像データのいずれかを前記画像処理手段に供給する切換手段とを有し、
前記操作部により選択されたチャンネル情報に基づき前記切換手段の切換を制御する制御部とをさらに備える
ことを特徴とするテレビジョン受像機。
【請求項６】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記符号化画像データが基準となる画像に対する差分データを含み、
前記復号手段は、前記動き情報を使用して生成された過去または未来の画像データと前記差分データを加算することによって前記復号画像データを生成する構成とされたテレビジョン受像機。
【請求項７】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記動き情報は、複数画素からなるマクロブロック毎に検出された動きベクトルであり、
前記画像処理手段は、前記マクロブロック毎に前記動きペクトルを参照して動きに適応した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項８】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記画像処理手段は、前記時間軸補正手段から供給された動き情報が所定の値を超えた場合は、前記画像データに対し動画に適した画像処理を行い、前記供給された動き情報が前記所定の値以下である場合は、前記画像データに対し静止画に適した画像処理を行うことを特徴とするテレビジョン受像機。
【請求項９】
（補正）請求の範囲１に記載のテレビジョン受像機において、
前記符号化画像データがＭＰＥＧ２方式のエレメンタリストリームであり、
前記時間軸補正手段は、前記復号手段から前記動き情報と共に供給される前記符号化画像データのタイプを示す符号化モード情報により、前記復号画像データが前記画像処理手段に供給されるタイミングに同期するように前記動き情報を前記画像処理手段に供給することを特徴とするテレビジョン受像機。
【請求項１０】
（補正）符号化に使用された動き情報を含む符号化画像データ及び前記動き情報を含まない動画像データが入力され画像処理手段により所定の画像処理を行う画像処理方法において、
前記動き情報に基づいて前記符号化画像データを復号する復号ステップと、
前記復号画像データが前記画像処理手段に供給されるタイミングに同期するように、前記復号画像データの生成に関連した動き情報を前記画像処理手段に供給する時間軸補正ステップと、
供給された前記復号画像データまたは前記動画像データに所定の画像処理を施す画像処理ステップとを備え、
前記画像処理ステップにおいて、前記復号画像データが供給された場合は、前記時間軸補正ステップにおいて所定のタイミングで前記画像処理手段に供給された動き情報に適応した画像処理を当該復号画像データに対して行うことを特徴とする画像処理方法。
【請求項１１】
（補正）請求の範囲１０に記載の画像処理方法において、
前記動き情報を含まない前記動画像データが入力され当該画像データの動き情報を検出する検出ステップをさらに備え、
前記画像処理ステップにおいて、前記動画像データが供給された場合は、前記動き検出ステップにおいて検出され前記画像処理手段に供給された動き情報に適応した画像処理を行うことを特徴とする画像処理方法。
【請求項１２】
（補正）請求の範囲１０に記載の画像処理方法において、
前記画像処理ステップにおいて、供給された前記復号画像データに対して、前記時間軸補正ステップから供給された動き情報に基づき、連続するフレームの画像データをある割合で加算するノイズリダクション処理を行うことを特徴とする画像処理方法。
【請求項１３】
（補正）請求の範囲１１に記載の画像処理方法において、
前記画像処理ステップにおいて、前記画像処理手段に供給された動き情報が所定の値以下である場合に、供給された連続するフレームの画像データをある割合で加算するノイズリダクション処理を行うことを特徴とする画像処理方法。
【請求項１４】
（補正）請求の範囲１０に記載のテレビジョン受像機において、
前記符号化画像データがＭＰＥＧ２方式のエレメンタリストリームであり、
前記時間軸補正ステップにおいて、前記復号ステップにより前記動き情報と共に供給される前記符号化画像データのタイプを示す符号化モード情報により、前記復号画像データが前記画像処理手段に供給されるタイミングに同期するように前記動き情報を前記画像処理手段に供給することを特徴とする画像処理方法。
【国際調査報告】
2004112378.tif 000009
2004112378.tif 000010
2004112378.tif 000011
2004112378.tif 000012