(57)【要約】【課題】ディジタル画像の再生装置において、復号済み画像に対して行うフリッカ低減、プログレッシブ変換、画像拡大などの後処理を、フィルタ回路の追加なしに行う。【解決手段】動き補償回路を利用し、動き補償回路において、復号済み画像を対象として、例えば半画素分ずらした２種の動きベクトルＶ１（０，０．５）、Ｖ２（０，１．５）を用いて、画像ブロックを動き補償する。これにより、フリッカ低減フィルタ後の画像信号を得ることができる。従って、専用のフリッカ低減フィルタが不要になる。【選択図】図４
2006128799.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記憶する画像メモリと、
前記画像メモリに記憶された画像データを参照画像として、この参照画像に含まれる画像ブロックの各々について、所定の動きベクトルに基づいて動き補償する動き補償手段と、
コントローラとを備え、
前記コントローラは、前記動き補償手段による動き補償によって得られた画像データが、フリッカ低減フィルタ、プログレッシブ変換フィルタ、又は画像拡大フィルタを含む後処理フィルタで処理された画像データとなるように、参照画像として前記画像メモリに記憶された画像データを設定すると共に、所定の動きベクトルを設定して前記動き補償手段に指示し、
前記動き補償手段は、前記コントローラで設定された参照画像に含まれる画像ブロックの各々について、前記コントローラで設定された所定の動きベクトルに基づいて動き補償する
ことを特徴とするディジタル画像の再生装置。
【請求項２】
前記請求項１記載のディジタル画像の再生装置において、
前記コントローラは、
フリッカ低減フィルタを構成するよう、前記画像メモリに記憶された画像データを第１の参照画像及び第２の参照画像として設定すると共に、第１の動きベクトルとして水平成分が０で且つ垂直成分が（ｍ／２＋ｎ）画素分（ｍは奇数、ｎは整数）の値を設定し、第２の動きベクトルとして水平成分が０で且つ垂直成分が（ｍ／２＋ｎ＋１）画素分の値を設定し、
前記動き補償手段は、
前記第１の参照画像を前記第１の動きベクトルで動き補償すると共に、前記第２の参照画像を前記第２の動きベクトルで動き補償して、出力画像データを得る
ことを特徴とするディジタル画像の再生装置。
【請求項３】
前記請求項１記載のディジタル画像の再生装置において、
前記コントローラは、
プログレッシブ変換フィルタを構成するよう、前記画像メモリに記憶された画像データを参照画像として設定すると共に、動きベクトルとして水平成分が０で且つ垂直成分が０．５画素分の値を設定し、
前記動き補償手段は、
前記参照画像を前記動きベクトルで動き補償して、第２の画像データを得て、前記画像メモリに記憶された画像データである第１の画像データと、前記第２の画像データとをライン毎に交互に出力して、出力画像データを得る
ことを特徴とするディジタル画像の再生装置。
【請求項４】
前記請求項１記載のディジタル画像の再生装置において、
前記コントローラは、
画像拡大フィルタを構成するよう、前記画像メモリに記憶された画像データを参照画像として設定すると共に、第１の動きベクトルとして水平成分が０で且つ垂直成分が０．５画素分の値を設定し、第２の動きベクトルとして水平成分が０．５画素分で且つ垂直成分が０画素分の値を設定し、第３の動きベクトルとして水平成分が０．５画素分で且つ垂直成分が０．５画素分の値を設定し、
前記動き補償手段は、
前記参照画像を前記第１の動きベクトルで動き補償して第２の画像データを得ると共に、前記参照画像を前記第２の動きベクトルで動き補償して第３の画像データを得、更に前記参照画像を前記第３の動きベクトルで動き補償して第４の画像データを得て、
前記画像メモリに記憶された画像データである第１の画像データと前記第３の画像データとを画素毎に交互に出力して第１の出力データを得ると共に、前記第２の画像データと前記第４の画像データとを画素毎に交互に出力して第２の出力データを得て、前記第１の出力データと第２の出力データとをライン毎に交互に出力して、出力画像データを得る
ことを特徴とするディジタル画像の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたディジタル画像を復号化して再生する際に用いるディジタル画像の再生装置に関する。
【背景技術】
【０００２】
近年、ディジタル技術の本格的な実用化の時代を迎え、画像を記録再生装置、パソコン、ホームサーバーといった装置で記録／再生したり、インターネットを始めとする通信網を用いて遠距離間を伝送することが可能になってきた。また、携帯電話などのディジタル移動体通信機器においても、その場で画像を撮影し、即座に他者へその画像を送る手段が提供されている。更に、放送の分野においても、テレビジョンを初めとする動画像に対して、ディジタル技術を用いた伝送及び符号化方式が採用されている。
【０００３】
ディジタル信号の画像信号や音声信号は、アナログ信号のまま処理する場合と比較して、柔軟で高度な処理形態が実現できるので、高品質化、高機能化及び高信頼性化が実現できるなどの特長を有し、実用に供せられている。
【０００４】
従来のディジタル画像の再生方法として、例えば、特許文献１では、符号化されたディジタルストリームを復号化した後に、その復号後の画像データに対してフィルタリングを行って、目障りなノイズを削減したり、フリッカを低減したりするなど、復号後の画像データに対して後処理を行う再生方法を採用している。
【０００５】
以下、図１１から図１５を参照しながら、従来の画像の再生装置について説明する。
【０００６】
図１１は、従来の画像の再生装置のブロック図である。同図において、８００はストリームの入力端子、８１０は画像復号化回路、８２０は差分復号化回路、８３０は動き補償回路、８４０及び８７０は画像メモリ、８４５はスイッチ、８５０はコントローラ、８６０、８６５は加算器、８８０は３次元フィルタ、８８５は２次元フィルタ、８９０は画像の出力端子である。
【０００７】
入力端子８００に与えられた画像のストリームは、先ず、後続の画像復号化回路８１０で復号化され、復元された画像が３次元フィルタ８８０と２次元フィルタ８８５とに出力される。画像復号化回路８１０での復号化方法は、一例として、国際標準規格である通称ＭＰＥＧ２（Moving Picture Experts Group Phase２）と呼ばれる「インフォメーション・テクノロジー  ジェネリック・コーディング・オブ・ムービング・ピクチャーズ・アンド・アソシエーティッド・オーディオ・インフォメーション」（”Information technology - - Generic coding of moving pictures and associated audio information”）であるＩＳＯ／ＩＥＣ １３８１８−２規格に記載の方法に準じた方法が用いられる。
【０００８】
画像復号化回路８１０では、先ず、差分復号化回路８２０にて、入力されたストリームより可変長復号処理（ＶＬＣ）を行って得たＤＣＴ係数情報と、量子化スケール情報とを乗算することにより、逆量子化処理（ＩＱ）を行って、伝送された差分画像を回復する。
【０００９】
この差分画像は、画像メモリ８４０に格納された復号済み画像を、動き補償回路８３０で動き補償して作成した予測画像と加算器８６０で加算し、再び画像メモリ８４０に格納する。
【００１０】
次に、動き補償処理の説明のために、ＭＰＥＧ２規格での画像の符号化方法について概要を説明する。図１４に示すように、一続きの画像群は、そのフレームのデータのみで完全に復号可能なＩフレーム（Intra-coded frame）、他の１枚のフレーム（Ｉ又はＰフレーム）を用いて復号するＰフレーム（Predictive-coded frame）、他の最大２枚のフレーム（Ｉ又はＰフレーム）を用いて復号するＢフレーム（Bi-directionally predictive-coded frame）の３種類から成り、通常、規則正しいパターンで割り当てられる。図１４の場合、復号化の順は、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５の順となる。ここで、Ｉ０などの記号は、最初のＩなどの記号がフレームの種別、０などの数字が表示順のフレーム番号を各々便宜上表したものである。
【００１１】
Ｐ及びＢフレームは、その符号化の際に、参照画像上で似た値を持つ画像ブロックを見つけ、その位置から現在符号化している画像ブロックの位置への偏移量（動きベクトル）と、その画像ブロックからの差分の情報とを、セットで画像ブロック毎に伝送する。これにより、画像ブロックの画素値群をそのまま伝送する場合に比べて、全体のビット量を削減することが可能となる。このテクニックを用いた符号化方法は、動き予測符号化と呼ばれ、動きベクトルを用いて参照画像から画像ブロックを切り出して求める処理を動き補償と呼び、ＭＰＥＧ方式の基本的な特徴を成している。
【００１２】
次に、動き補償処理の一例を図１３に示す。ここでは、Ｂフレームにおける双方向予測の例を示す。図１３において、既に復号済みの画像の１つである参照画像１を動きベクトルＶ１で切り出してきた画像ブロックＲ１と、別な復号済みの参照画像２を動きベクトルＶ２で切り出してきた画像ブロックＲ２とを画素毎に平均した画像ブロックを生成する。符号化時には、この画像ブロックと入力画像との差分を符号化し、その符号化差分信号は、双方向予測が用いられたことを示す符号及び動きベクトルＶ１、Ｖ２と共に伝送される。
【００１３】
次に、図１１に戻って説明を続ける。上述した通り、画像メモリ８４０には各フレームＩ、Ｐ、Ｂの画像データが格納される。コントローラ８５０は、画像復号化回路８１０を統括するコントローラであって、各フレームＩ、Ｐ、Ｂが所定の画像メモリ（フレームメモリ）に格納されるように格納先を決定したり、動き補償処理の際にどの画像メモリが用いられるかという参照元を決定したり、復号済み画像を本来の出力時間順に出力するようにスイッチ８４５を制御する。
【００１４】
次に、画像メモリ８４０とその使い方について説明する。復号化処理で扱う画像は、図１５（ａ）に示すように、輝度信号Ｙと、２つの色差信号Ｃｂ、Ｃｒとで表される４：２：０画像である。輝度信号Ｙは、ＮＴＳＣ方式の標準テレビジョンの場合には、横７２０画素、縦４８０ライン分の画素当り８ビットのデータから成り、色差信号Ｃｂ／Ｃｒは、各々、輝度信号Ｙの縦横の両方向共の半分のサンプル数となっている。これらを格納する画像メモリの典型例は、図１５（ｂ）に示すように、画像メモリ上に連続して輝度信号Ｙと、２つの色差信号Ｃｂ、Ｃｒとの３領域に分かれている。画像メモリ上では、画像の奇数ラインのデータと偶数ラインのデータとが交互に並んでいるように配置されている。また画像ブロックは、輝度信号Ｙでは横１６画素、縦１６ライン分であり、色差信号Ｃｂ及びＣｒでは、横８画素、縦８ライン分の大きさである。
【００１５】
ここで、元の画面上で同じ位置に相当する輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの画像ブロックは、一組として上位の画像ブロック群をなし、これをマクロブロックと呼んでいる。実際には、画像メモリは、図１２に示すように３画面分あり、Ｉ又はＰフレーム用には、フレームメモリＦＭ０、ＦＭ１の２面が、Ｂフレーム用にはフレームメモリＦＭ２の１面が割り当てられ、それらに画像データが格納される。
【００１６】
Ｉ又はＰフレームを復号する場合は、フレームメモリＦＭ０又はＦＭ１の何れか一方に復号画像を格納するが、Ｉ又はＰフレームを復号する毎に他方のフレーメモリに格納する。すなわち、最初、フレームメモリＦＭ０に格納したのであれば、次はフレームメモリＦＭ１、その次はフレームメモリＦＭ０のように格納して行く。Ｂフレームを復号する場合は、前後のＩ又はＰフレームを参照して復号する可能性があるので、２つのフレームメモリＦＭ０、ＦＭ１を参照して復号することになる。
【００１７】
以上のようにして、ＭＰＥＧ２の画像を再生するために、復号化の途中で得られた画像データ（Ｉ、Ｐフレーム）を一旦フレームメモリに格納しておき、Ｂフレームでは、それらの画像データを参照して復号化することにより、動画像の再生を実現している。
【００１８】
このようにして得られた動画像には、低ビットレートでの符号化の場合には、符号化のプロセスで生じた量子化ノイズやブロックノイズが顕著に混じる場合がある。また、高ビットレートでの符号化の場合であっても、元画像に元々含まれていたノイズ成分や、急峻な垂直エッジが忠実に再現された結果、ノイズやラインフリッカが残存して、目障りな画像となることがある。
【００１９】
そこで、図１１に示した従来例では、復号化回路８１０の出力に対して、時間方向の平滑化を行ってＳＮ比やフリッカ妨害の改善を行う３次元フィルタ８８０や、マクロブロックの境界画素を検出してその検出箇所を平滑化してブロックノイズ低減を図る２次元フィルタ８８５を配置して、再生画像のノイズやフリッカを低減している。
【特許文献１】特開平１０−６１７４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、図１１に示した従来の構成では、画像の復号処理時に作成して得られた復号画像に対して、フリッカの低減を行う場合や、復号画像に対して順次走査変換を行うプログレッシブ変換処理、更には、復号画像に対して縦横方向に画像を拡大する場合などのように、得られた復号画像に対して後処理を行う場合には、各々、フリッカ低減フィルタ、プログレッシブ変換フィルタ、画像拡大フィルタなどの専用のフィルタ回路が必要となって、装置が高価格になるという課題がある。
【００２１】
本発明の目的は、ディジタル画像の再生装置において、後処理用の専用のフィルタ回路を設けることなく、フリッカ低減や、プログレッシブ変換処理、又は画像拡大処理を行うことにある。
【課題を解決するための手段】
【００２２】
前記の目的を達成するため、本発明では、動き補償回路を利用して、この動き補償回路により、フリッカ低減フィルタ後の画像信号や、プログレッシブ変換処理後の画像信号、又は拡大された画像信号を得ることとする。
【００２３】
具体的に、請求項１記載の発明のディジタル画像の再生装置は、画像データを記憶する画像メモリと、前記画像メモリに記憶された画像データを参照画像として、この参照画像に含まれる画像ブロックの各々について、所定の動きベクトルに基づいて動き補償する動き補償手段と、コントローラとを備え、前記コントローラは、前記動き補償手段による動き補償によって得られた画像データが、フリッカ低減フィルタ、プログレッシブ変換フィルタ、又は画像拡大フィルタを含む後処理フィルタで処理された画像データとなるように、参照画像として前記画像メモリに記憶された画像データを設定すると共に、所定の動きベクトルを設定して前記動き補償手段に指示し、前記動き補償手段は、前記コントローラで設定された参照画像に含まれる画像ブロックの各々について、前記コントローラで設定された所定の動きベクトルに基づいて動き補償することを特徴とする。
【００２４】
請求項２記載の発明は、前記請求項１記載のディジタル画像の再生装置において、前記コントローラは、フリッカ低減フィルタを構成するよう、前記画像メモリに記憶された画像データを第１の参照画像及び第２の参照画像として設定すると共に、第１の動きベクトルとして水平成分が０で且つ垂直成分が（ｍ／２＋ｎ）画素分（ｍは奇数、ｎは整数）の値を設定し、第２の動きベクトルとして水平成分が０で且つ垂直成分が（ｍ／２＋ｎ＋１）画素分の値を設定し、前記動き補償手段は、前記第１の参照画像を前記第１の動きベクトルで動き補償すると共に、前記第２の参照画像を前記第２の動きベクトルで動き補償して、出力画像データを得ることを特徴とする。
【００２５】
請求項３記載の発明は、前記請求項１記載のディジタル画像の再生装置において、前記コントローラは、プログレッシブ変換フィルタを構成するよう、前記画像メモリに記憶された画像データを参照画像として設定すると共に、動きベクトルとして水平成分が０で且つ垂直成分が０．５画素分の値を設定し、前記動き補償手段は、前記参照画像を前記動きベクトルで動き補償して、第２の画像データを得て、前記画像メモリに記憶された画像データである第１の画像データと、前記第２の画像データとをライン毎に交互に出力して、出力画像データを得ることを特徴とする。
【００２６】
請求項４記載の発明は、前記請求項１記載のディジタル画像の再生装置において、前記コントローラは、画像拡大フィルタを構成するよう、前記画像メモリに記憶された画像データを参照画像として設定すると共に、第１の動きベクトルとして水平成分が０で且つ垂直成分が０．５画素分の値を設定し、第２の動きベクトルとして水平成分が０．５画素分で且つ垂直成分が０画素分の値を設定し、第３の動きベクトルとして水平成分が０．５画素分で且つ垂直成分が０．５画素分の値を設定し、前記動き補償手段は、前記参照画像を前記第１の動きベクトルで動き補償して第２の画像データを得ると共に、前記参照画像を前記第２の動きベクトルで動き補償して第３の画像データを得、更に前記参照画像を前記第３の動きベクトルで動き補償して第４の画像データを得て、前記画像メモリに記憶された画像データである第１の画像データと前記第３の画像データとを画素毎に交互に出力して第１の出力データを得ると共に、前記第２の画像データと前記第４の画像データとを画素毎に交互に出力して第２の出力データを得て、前記第１の出力データと第２の出力データとをライン毎に交互に出力して、出力画像データを得ることを特徴とする。
【００２７】
以上により、請求項１〜４記載の発明では、コントローラで所定の動きベクトルを設定して、動き補償手段が、参照画像に含まれる各画像ブロックについて、各々、前記動きベクトルに基づいて動き補償することにより、その動き補償後に得られた画像データがフリッカ低減フィルタ処理、プログレッシブ変換処理、又は画像拡大処理後の画像データとなるので、後処理用の専用フィルタ回路が不要になる。
【発明の効果】
【００２８】
以上説明したように、請求項１〜４記載の発明のディジタル画像の再生装置によれば、画像の復号処理時に作成して得られた復号画像に対して、動き補償回路を利用してフリッカ低減フィルタ処理、プログレッシブ変換処理、又は画像拡大処理などの後処理を行った後の画像信号を得ることができるので、後処理用の専用フィルタ回路を不要にでき、装置を低価格にできる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について図面を用いて説明する。
【００３０】
（実施形態１）
図１は、本発明の第１の実施形態におけるディジタル画像の再生装置の構成を示す。本実施形態では、後処理として、フリッカ低減フィルタを実装する場合を示す。
【００３１】
図１において、１００はストリームの入力端子、１１０は画像復号化回路、１２０は差分復号化回路、１３０は動き補償回路（動き補償回路）、１４０は画像メモリ、１４５はスイッチ、１５０はコントローラ、１６０は加算器、１９０は画像の出力端子である。
【００３２】
入力端子１００に与えられた画像のストリームは、先ず、画像復号化回路１１０で画像が復号化される。この復号化方法は、一例としてＭＰＥＧ２に準じた方法を用いる。前記画像復号化回路１１０では、先ず、差分復号化回路１２０にて、入力されたストリームより可変長復号処理（ＶＬＣ）を行って得たＤＣＴ係数情報と、量子化スケール情報とを乗算することにより逆量子化処理（ＩＱ）を行って、現在復号中の現画像と復号済み画像との差分を回復する。復号化された画像データは、画像メモリ１４０に格納される。
【００３３】
画像メモリの１４０の内容を図２に示す。同図では、画像メモリは、一例として４面のフレームメモリＦＭ０、ＦＭ１、ＦＭ２、ＦＭ−Ａを含み、そのうち３面は、ＭＰＥＧの復号処理に用いられる。即ち、Ｉ又はＰフレームが格納されるフレームメモリＦＭ０、ＦＭ１と、Ｂフレームが格納されるフレームメモリＦＭ２から成り、それらの使用法は図１２で説明したのと同様である。残りの１面のフレームメモリＦＭ−Ａは、フリッカ低減フィルタ処理に用いる。
【００３４】
以下、フレームメモリＦＭ−Ａを用いたフリッカ低減フィルタの処理動作を説明する。
【００３５】
先ず、最初に、フレームメモリＦＭ−Ａの制御方法について説明する。ＭＰＥＧ復号された画像データは、一旦、画像メモリ１４０に格納されるが、これらはコントローラ１５０によって制御される。即ち、画像メモリ１４０には各フレームＩ、Ｐ、Ｂの画像データが格納される。コントローラ１５０は、画像復号化回路１１０を統括するコントローラであって、各フレームＩ、Ｐ、Ｂが所定のフレームメモリに格納されるように格納先を決定したり、動き補償処理の際にどのフレームメモリが用いられるか参照元を決定したり、処理済み画像を本来の出力時間順に出力するようにスイッチ１４５を切換制御する。
【００３６】
次回に出力される予定の画像が、例えば、既に完成してフレームメモリＦＭ１に格納されたＰフレーム画像であった場合について説明すると、コントローラ１５０は、動き補償回路１３０に対して、参照画像としてこのフレームメモリＦＭ１の画像データを指定する。動き補償回路１３０には、元来、ＭＰＥＧ復号のために、図１４の画像Ｂ１のような双方向予測する場合を考慮して、どのフレームメモリの画像データを参照するかを指定するレジスタが最大２つあり、これらを図３に示すように参照画像レジスタと呼ぶ。本例では、参照画像レジスタには、その両方にフレームメモリＦＭ１の存在するアドレスを指定する。
【００３７】
また、動き補償回路１３０には、作成して得られた画像をどのフレームメモリに格納するかを指定するレジスタが１つあり、これを生成画像レジスタと呼ぶ。本例では、生成画像レジスタとして、フレームメモリＦＭ−Ａの存在するアドレスを指定する。動き補償回路１３０には、更に、図３に示したように、画面上のどの位置のマクロブロックを生成しようとしているかを指定するマクロブロック位置レジスタと、動き補償の際に用いる動きベクトルを指定する動きベクトルレジスタと、動き補償の動作モードを指定する動き補償モードレジスタとが存在する。具体的には、マクロブロック位置レジスタは、横１６画素、縦１６ラインを単位とした場合のユニット数で指定する。動きベクトルは、ＭＰＥＧのハーフペル予測に対応するために、１画素を２、０．５画素を１とする単位で指定する。動き補償モードレジスタは、一例としては、ＭＰＥＧ規格で定められた各種予測モード（フレーム予測、フィールド予測、デュアルプライム予測、１６ｘ８予測モード）や、予測方向（前方予測のみ、後方予測のみ、双方向予測）を指定するレジスタである。
【００３８】
次に、コントローラ１５０が、フレームメモリＦＭ−Ａと動き補償回路１３０をどのように制御するかを説明する。
【００３９】
処理はマクロブロック単位で行う。コントローラ１５０は、動き補償回路１３０のマクロブロック位置レジスタに対して、一例として、図１５（ｂ）で破線矢印のように画面上で左から右へ、上から下へたどる順番に位置を指定する。２つの参照画像レジスタには、上述したように、復号済み画像のフレームメモリの先頭アドレスを指定する。本例では、フレームメモリＦＭ１を指定する。
【００４０】
その後、図４に示すように、第１の動きベクトルＶ１として、横０画素、縦０．５画素の動きベクトルを指定し、第２の動きベクトルＶ２として、横０画素、縦１．５画素の動きベクトルを指定する。更に、動き補償モードレジスタに、フレーム予測且つ双方向予測モードを設定する。以上の設定により、コントローラ１５０は、動き補償回路１３０を１マクロブロック毎に動作させ、その１マクロブロックの動作が終了すると、次のマクロブロックを処理する。これを１フレーム分繰り返す。
【００４１】
次に、前記のような動きベクトル及び予測モードの設定によって、フリッカ低減フィルタが構成できることを、図５を用いて説明する。
【００４２】
図５において、先ず、ｐ［ｋ］をｋライン目の画素値、ｐ’［ｋ］を動きベクトルＶ１又はＶ２で動き補償した後の画素値とし、ｐ’’［ｋ］を動きベクトルＶ１とＶ２で動き補償した後の画素値とする。また、Ｖ＝（ｘ，ｙ）は、動きベクトルＶの成分が横ｘ画素、縦ｙ画素であることを表す。尚、動き補償処理は、本来は２次元で行われるものであるため、正確には縦、横の両方向について記述するのが完全であるが、縦方向の説明を横方向についても同様に適用することで容易に類推できるので、縦方向のみの説明で代用して説明する。
【００４３】
図５（ａ）に示すように、Ｖ１＝（０，０．５）及びＶ２＝（０，１．５）が与えられる。Ｖ１＝（０，０．５）が与えられた場合、動きベクトルＶ１で動き補償される画素の値ｐ’［ｋ］は、図５（ｂ）のように、隣接するラインｋ、ｋ＋１の値の平均となる。同様に、Ｖ２＝（０，１．５）与えられた場合、動きベクトルＶ２で動き補償される画素の値ｐ’［ｋ＋１］は、ラインｋ＋１とラインｋ＋２の値の平均となる。動きベクトルＶ１、Ｖ２の場合において、添え字が１違うのは、動きベクトルの垂直成分が１だけ違うことに起因する。
【００４４】
動きベクトルＶ１及びＶ２で得られた画素値を平均化すると、図５（ｃ）のようになる。この演算は、係数が（１，２，１）型のＦＩＲ型フィルタと同型となり、図５（ｄ）に示すローパスフィルタが構成できたことになる。
【００４５】
輝度信号Ｙに対してライン方向のローパスフィルタを適用すると、画像の垂直エッジが滑らかになる結果、出力画像の偶数ラインと奇数ラインとの輝度差が減少し、インターレース画像を受像するＣＲＴ等で発生するフリッカ妨害を低減することができる。
【００４６】
以上では、ＭＰＥＧ復号後の画像がフレームメモリＦＭ１に格納されていることを前提としたが、ＭＰＥＧ復号動作の進行に従って復号済み画像が格納されているフレームメモリが変化する毎に、参照画像レジスタにその場所を順次指定することにより、リアルタイムの復号処理を行うことができる。
【００４７】
尚、以上では、第１の動きベクトルＶ１＝（０，０．５）、 第２の動きベクトルＶ２＝（０，１．５）としたが、本発明は、これに限定するものではなく、Ｖ１＝（０，０．５）、 Ｖ２＝（０，−０．５）（図５（ａ）参照）としても良く、一般的には、Ｖ１＝（０，ｍ／２＋ｎ）、 Ｖ２＝（０，ｍ／２＋ｎ＋１） （ｍは奇数の整数、ｎは整数）のように、垂直成分が１画素違う構成であれば、同様な効果を奏することができる。
【００４８】
また、前記のようにして得られた画像について、同様な処理を繰り返すことにより、（１，３，３，１）、 （１，４，６，４，１）…というパスカルの三角形を係数値に持つフィルタを構成することも可能である。
【００４９】
このように、復号済み画像を元に動き補償回路１３０に対して、水平成分が０で且つ垂直成分が０．５画素となる動きベクトル、及び水平成分が０で且つ垂直成分が１．５画素となる動きベクトルを与えることにより、フレームメモリＦＭ−Ａ上に、フリッカ低減フィルタ後の画像を得ることができるので、特段のフリッカ低減フィルタ回路を不要にでき、装置の低価格化を図ることができる。
【００５０】
（実施形態２）
次に、本発明の第２の実施形態を説明する。本実施形態では、後処理としてプログレッシブ変換フィルタを実装する場合を説明する。
【００５１】
図６は、本発明の第２の実施形態におけるディジタル画像の再生装置の構成を示す。同図において、１００はストリームの入力端子、１１０は画像復号化回路、１２０は差分復号化回路、１３０は動き補償回路、１４０ａは画像メモリ、１４５はスイッチ、１５０ａはコントローラ、１６０は加算器、１９０は画像の出力端子である。前記第１の実施形態と異なる点は、画像メモリ１４０ａに対するコントローラ１５０ａの動作が異なる点である。それ以外の符号は図１と同様であるので、それらの説明は省略する。
【００５２】
以下、画像メモリ１４０ａを用いたプログレッシブ変換フィルタの動作を説明する。先ず、最初に、画像メモリ１４０ａの制御方法について説明する。
【００５３】
コントローラ１５０ａがＭＰＥＧ復号された画像データを画像メモリ１４０ａのフレームメモリＦＭ０、ＦＭ１、ＦＭ２に格納するよう制御するのは、前記第１の実施形態と同様である。
【００５４】
次回に出力される予定の画像が、例えば既に完成してフレームメモリＦＭ１に格納されたＰフレーム画像であった場合を説明すると、コントローラ１５０ａは、動き補償回路１３０に対して、参照画像としてこのフレームメモリＦＭ１を指定する。動き補償回路１３０の前方予測用の参照画像レジスタには、そのフレームメモリＦＭ１の存在するアドレスを指定する。
【００５５】
次に、コントローラ１５０ａがフレームメモリＦＭ−Ａ及び動き補償回路１３０をどのように制御するかを説明する。
【００５６】
処理はやはりマクロブロック単位で行う。コントローラ１５０ａは、動き補償回路１３０のマクロブロック位置レジスタに対して、一例として、図１５（ｂ）で破線矢印のように画面上で左から右へ、上から下へたどる順番に位置を指定するのは、第１の実施形態と同様である。但し、１回目は参照画像レジスタにフレームメモリＦＭ１の先頭位置（図８（ａ）のＡ点参照）を指定し、生成画像レジスタに、フレームメモリＦＭ−Ａの先頭位置（図８（ｂ）のＡ点参照）を指定する。
【００５７】
そして、動きベクトルＶ１として、横０画素で且つ縦０．５画素の動きベクトルを指定し、更に、動き補償モードレジスタにフィールド予測且つ前方予測モードを設定する。
【００５８】
以上の設定により、コントローラ１５０ａは、動き補償回路１３０を１マクロブロック毎に動作させ、その１マクロブロックの動作が終了すると、次のマクロブロックを処理する。これを１フィールド分繰り返す。その次は、２回目として、参照画像レジスタにフレームメモリＦＭ１の先頭位置から１ライン下の点（図８（ａ）のＢ点参照）を指定し、生成画像レジスタも同様にフレームメモリＦＭ−Ａの先頭位置から１ライン下の点（図８（ｂ）のＢ点参照）を指定する。後は１回目と同様に１フィールド分を繰り返す。
【００５９】
次に、前記のような動きベクトルと予測モードを設定することにより、プログレッシブ変換フィルタが構成できることを示す。
【００６０】
フィルタ処理の対象となる画素が、１回目では図８（ａ）に示す×印の画素となり、２回目では△印の画素となる。動きベクトルＶ１として、上述したようにＶ１＝（０，０．５）を与えることは、上下のラインの画素を平均化するに相当し、図８（ａ）の×印の画素から図８（ｂ）の×印の画素が生成され、図８（ａ）の△印の画素から図８（ｂ）の△印の画素が生成されることになる。このように、フレームメモリＦＭ１に存在した画像から、補間画像が生成されてフレームメモリＦＭ−Ａに得られる。
【００６１】
前記生成された画像は、１フィールド時間内に、順次、参照画像の第１ライン目の×画素、生成画像の第１ライン目の×画素、参照画像の第３ライン目の×画素、生成画像の第３ライン目の×画素、…というように交互に出力され、次の１フィールド時間内には、順次、参照画像の第２ライン目の△画素、生成画像の第２ライン目の△画素、参照画像の第４ライン目の△画素、生成画像の第４ライン目の△画素…の順に出力されて、これ等の１フレーム分の参照画像ＦＭ１と生成画像ＦＭ−Ａとを合わせて２フレーム分の画像出力を得ることができる。即ち、参照画像の２フィールド画像からフィールドの各ラインを補間して得た画像が、元の２倍のフレームレートでフレーム画像として生成でき、プログレッシブ変換処理が行えることになる。
【００６２】
尚、本実施形態では、ＭＰＥＧ復号後の画像がフレームメモリＦＭ１に格納されていることを前提としたが、ＭＰＥＧ復号動作の進行に従って、復号済み画像が格納されているフレームメモリが変化する毎に参照画像レジスタにその場所を順次指定することにより、リアルタイムの復号を行うことができる。
【００６３】
このように、復号済み画像を元に、動き補償回路１３０に対して、水平成分が０で且つ垂直成分が０．５画素となる動きベクトルを与えることにより、フレームメモリＦＭ−Ａ上に、プログレッシブ変換後の画像を得ることができるので、特段のプログレッシブ変換フィルタ回路を不要にでき、装置の低価格化を図ることができる。
【００６４】
（実施形態３）
次に、本発明の第３の実施形態を説明する。本実施形態では、後処理として画像拡大フィルタを実装する場合を説明する。
【００６５】
図９は、本発明の第３の実施形態におけるディジタル画像の再生装置の構成を示す。同図において、１００はストリームの入力端子、１１０は画像復号化回路、１２０は差分復号化回路、１３０は動き補償回路、１４０ｂは画像メモリ、１４５はスイッチ、１５０ｂはコントローラ、１６０は加算器、１９０は画像の出力端子である。
【００６６】
前記第１の実施形態と異なる点は、画像メモリ１４０ｂに対するコントローラ１５０ｂの動作が異なる点のみである。それ以外の符号は図１と同様であるので、それらの説明は省略する。
【００６７】
以下、画像メモリ１４０ｂを用いた画像拡大フィルタの動作を説明する。先ず、最初に、画像メモリ１４０ｂの制御方法について説明する。
【００６８】
本実施形態では、図１０（ａ）に示すように、画像拡大フィルタ用に、３個のフレームメモリＦＭ−Ａ、ＦＭ−Ｂ、ＦＭ−Ｃが備えられる。
【００６９】
コントローラ１５０ｂがＭＰＥＧ復号された画像データを画像メモリ１４０ｂの３個のフレームメモリＦＭ０、ＦＭ１、ＦＭ２に格納するよう制御するのは、前記第１の実施形態と同様である。
【００７０】
次回に出力される予定の画像が、例えば、既に完成してフレームメモリＦＭ１に格納されたＰフレーム画像であったとすると、コントローラ１５０ｂは、動き補償回路１３０に対して、参照画像としてこのフレームメモリＦＭ１を指定する。また、動き補償回路１３０の前方予測用の参照画像レジスタには、そのフレームメモリＦＭ１の存在するアドレスを指定する。
【００７１】
次に、コントローラ１５０ｂがフレームメモリＦＭ−Ａと動き補償回路１３０を如何に制御するかを説明する。処理はやはりマクロブロック単位で行う。
【００７２】
コントローラ１５０ｂは、動き補償回路１３０のマクロブロック位置レジスタに対して、一例として図１５（ｂ）で破線矢印のように画面上で左から右へ、上から下へたどる順番に位置を指定するのは、前記第１の実施形態と同様である。但し、参照画像レジスタとしては、前記フレームメモリＦＭ１の先頭位置を指定し、動き補償モードとしては、フレーム予測且つ前方予測モードとする。
【００７３】
以上の設定により、コントローラ１５０ｃは、動き補償回路１３０を１マクロブロック毎に動作させ、そのマクロブロックの動作が終了すると、その次のマクロブロックを処理する。これを１フレーム分繰り返す。
【００７４】
前記各マクロブロックの処理において、拡大画像は３回に分けて生成される。先ず、１回目は、図１０（ｂ）に示すように、動きベクトルＶａ＝（０．５，０）で画像ブロックを動き補償して、第３の画像データとして、フレームメモリＦＭ−Ａに格納する。２回目は、図１０（ｃ）に示すように、動きベクトルＶｂ＝（０，０．５）で動き補償して、第２の画像データとして、フレームメモリＦＭ−Ｂに格納する。３回目は、図１０（ｄ）に示すように、動きベクトルＶｃ＝（０．５，０．５）で動き補償して、第４の画像データとして、フレームメモリＦＭ−Ｃに格納する。
【００７５】
ここで、動きベクトルＶａ、Ｖｂ、Ｖｃは、各々、オリジナルの画像（フレームメモリＦＭ１に格納された第１の画像データ）に対して、横方向に補間した画素、縦方向に補間した画素、縦横の両方向に補間した画素から成る画像を得るための動きベクトルである。従って、元のフレームメモリＦＭ１の画像と合わせると、４倍拡大された画像を得ることができることになる。
【００７６】
このようにして得られたフレームメモリＦＭ１、ＦＭ−Ａ、ＦＭ−Ｂ、ＦＭ−Ｃの各画像は、１フレーム時間内に、フレームメモリＦＭ１の画素とフレームメモリＦＭ−Ａの画素とを交互に第１ライン分を出力し、フレームメモリＦＭ−Ｂの画素とフレームメモリＦＭ−Ｃの画素とを交互に第１ライン分を出力し、その後、フレームメモリＦＭ１の画素とフレームメモリＦＭ−Ａの画素とを交互に第２ライン分を出力し、フレームメモリＦＭ−Ｂの画素とフレームメモリＦＭ−Ｃの画素とを交互に第２ライン分を出力するというように出力することにより、４倍に拡大された画像を出力することができる。実際には、フレームメモリＦＭ１の全ての画像を拡大して出力することはないので、所望の画像部分に対してのみ、前記のような拡大画像の作成を行って出力すれば良い。
【００７７】
尚、以上の説明では、ＭＰＥＧ復号後の画像がフレームメモリＦＭ１に格納されていることを前提としたが、ＭＰＥＧ復号動作の進行に従って、復号済み画像が格納されているフレームメモリが変化する毎に、参照画像レジスタにその場所を順次指定することにより、リアルタイムの復号を行うことができる。
【００７８】
このように、復号済み画像を元に、動き補償回路１３０に対して、水平成分が０．５画素で且つ垂直成分が０となる動きベクトル、水平成分が０で且つ垂直成分が０．５画素となる動きベクトル、水平成分が０．５画素で且つ垂直成分が０．５画素となる動きベクトルを与えることにより、各々のフレームメモリＦＭ−Ａ、ＦＭ−Ｂ、ＦＭ−Ｃ上に画像拡大後の画像を得ることができる。従って、画像拡大用の特段のフィルタ回路を必要とせず、装置の低価格化を図ることができる。
【００７９】
尚、以上の全ての実施形態では、ＭＰＥＧ復号した画像に適用した場合を説明したが、本発明は、ＭＰＥＧに限定されるものではなく、例えば、ＪＰＥＧやＨ．２６３などのある特定のアルゴリズムにて符号化されたビットストリームを復号する再生装置についても同様に適用できる。特に、ＪＰＥＧで符号化された静止画や、ＭＰＥＧ規格を応用したＤＶＤ規格や、Ｖｉｄｅｏ ＣＤ規格におけるスライドショー画像の再生にも適用可能である。
【産業上の利用可能性】
【００８０】
以上説明したように、本発明は、動き補償回路を利用して、フリッカ低減フィルタ処理、プログレッシブ変換処理、並又は画像拡大処理などの後処理を行った後の画像信号を得て、低価格にできるので、符号化されたディジタル画像を復号化して再生する際に用いるディジタル画像の再生装置等として有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施形態に係るディジタル画像の再生装置の全体構成を示すブロック図である。
【図２】同再生装置に備える画像メモリの構成を示す図である。
【図３】同再生装置に備える動き補償回路に備えるレジスタの種類を示す図である。
【図４】同動き補償回路の動作説明図である。
【図５】同実施形態におけるフリッカ低減フィルタの説明図である。
【図６】本発明の第２の実施形態に係るディジタル画像の再生装置の全体構成を示すブロック図である。
【図７】同再生装置に備える画像メモリの構成を示す図である。
【図８】プログレッシブ変換フィルタによる画像メモリの使い方を示す図である。
【図９】本発明の第３の実施形態に係るディジタル画像の再生装置の全体構成を示すブロック図である。
【図１０】画像拡大フィルタによる画像メモリの使い方を示す図である。
【図１１】従来のディジタル画像の再生装置の全体構成を示すブロック図である。
【図１２】同再生装置に備える画像メモリの構成を示す図である。
【図１３】動き補償処理を説明する図である。
【図１４】ＭＰＥＧ２規格の説明図である。
【図１５】従来のディジタル画像の再生装置における画像データの構成に関する説明図である。
【符号の説明】
【００８２】
１００                      入力端子
１１０                      復号化手段
１２０                      差分復号化回路（差分復号化手段）
１３０                      動き補償回路（動き補償手段）
１４０、１４０ａ、１４０ｂ  画像メモリ
１５０、１５０ａ、１５０ｂ  コントローラ
１６０                      加算器
１４５                      スイッチ
１９０                      出力端子
【図１】
2006128799.tif 000003
【図２】
2006128799.tif 000004
【図３】
2006128799.tif 000005
【図４】
2006128799.tif 000006
【図５】
2006128799.tif 000007
【図６】
2006128799.tif 000008
【図７】
2006128799.tif 000009
【図８】
2006128799.tif 000010
【図９】
2006128799.tif 000011
【図１０】
2006128799.tif 000012
【図１１】
2006128799.tif 000013
【図１２】
2006128799.tif 000014
【図１３】
2006128799.tif 000015
【図１４】
2006128799.tif 000016
【図１５】
2006128799.tif 000017