(57)【要約】【課題】ＪＰＥＧ２０００符号化方式により動画像を符号化する場合に発生するフリッカを除去し、かつ、出力画像の不自然さを回避できる画像符号化装置、並びに画像復号化方法を提供することを目的とする。【解決手段】復号化された画像に対し、エッジ検出手段１０３にてエッジを検出し、このエッジ検出結果を画像メモリ１０４に保存し、保存されたエッジ情報から２値情報生成手段１０５にてエッジが存在する領域を抽出する。演算手段１０６では、エッジ領域に対しては処理を行わず、エッジ領域以外の領域での画素値の時間的変化を統計処理し、はずれ値を検出して除外した後、本発明の画像復号化装置の出力画像とする。【選択図】  図１
2004350009.tif 000002
【特許請求の範囲】
【請求項１】
復号化結果である画像の特徴を検出する分析手段と、
復号化対象の画像を含む所定数の前記画像に対して、前記分析手段が検出した特徴により、各画素毎の２値情報を生成する２値情報生成手段と、
前記所定数の前記画像と、前記２値情報より、出力画像を算出する演算手段とを備え、
前記演算手段の出力を装置の出力画像とすることを特徴とする画像復号化装置。
【請求項２】
分析手段は、入力される画像のエッジ情報を抽出し、前記エッジ情報より各画素毎のエッジらしさを表す多値情報からなるエッジ画像を生成し、
２値情報生成手段は、所定数の前記エッジ画像に対して、各画素毎に同じ画素位置での画素値を取り出して所定の演算を行い、これに閾値処理を施して、前記所定数の画像の各画素毎の２値情報を生成することを特徴とする、
請求項１に記載の画像復号化装置。
【請求項３】
演算手段は画素毎に演算を行い、２値情報があらかじめ定められた値である場合は、復号化対象の画像における前記２値情報と同じ画素位置の画素値を出力することを特徴とする
請求項１に記載の画像復号化装置。
【請求項４】
所定数の画像において、同じ画素位置にある画素値の中で、統計的性質上他の画素値と異なる画素値をはずれ値とし、２値情報はエッジの有無を示すと共に、前記２値情報がエッジなしを示している場合、演算手段は、復号化対象の画像において前記２値情報と同じ画素位置での画素値が前記はずれ値の場合、前記はずれ値を除いて出力を算出し、前記はずれ値でない場合、前記２値情報と同じ画素位置での画素値を出力とすることを特徴とする、
請求項２に記載の画像復号化装置。
【請求項５】
復号化結果である画像の特徴を検出する分析ステップと、
復号化対象の画像を含む所定数の前記画像に対して、前記分析ステップが検出した特徴により、各画素毎の２値情報を生成する２値情報生成ステップと、
前記所定数の前記画像と、前記２値情報により、出力画像を算出する演算ステップとを備え、
前記演算ステップの出力を装置の出力画像とすることを特徴とする画像復号化方法。
【請求項６】
分析ステップは、入力される画像のエッジ情報を抽出し、前記エッジ情報より各画素毎のエッジらしさを表す多値情報からなるエッジ画像を生成し、
２値情報生成ステップは、所定数の前記エッジ画像に対して、各画素毎に同じ画素位置での画素値を取り出して所定の演算を行い、これに閾値処理を施して、前記所定数の画像の各画素毎の２値情報を生成することを特徴とする、
請求項５に記載の画像復号化方法。
【請求項７】
演算ステップは画素毎に演算を行い、２値情報があらかじめ定められた値である場合は、復号化対象の画像における前記２値情報と同じ画素位置での画素値を出力することを特徴とする
請求項５に記載の画像復号化方法。
【請求項８】
所定数の画像において、同じ画素位置にある画素値の中で、統計的性質上他の画素値と異なる画素値をはずれ値とし、２値情報はエッジの有無を示すと共に、前記２値情報がエッジなしを示している場合、演算ステップは、復号化対象の画像における前記２値情報と同じ画素位置での画素値が前記はずれ値の場合、前記はずれ値を除いて出力を算出し、前記はずれ値でない場合、前記２値情報と同じ画素位置での画素値を出力とすることを特徴とする、
請求項６に記載の画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、サブバンド分割を用いて符号化された符号化データを復号化して映像を表示する画像復号化装置、および方法に関するものであって、特に、ＩＳＯ／ＩＥＣにて標準化された、通称ＪＰＥＧ  ２０００  （ＩＳＯ／ＩＥＣ  １５４４４−１）、およびこれの動画像適用であるＭｏｔｉｏｎ  ＪＰＥＧ  ２０００  （ＩＳＯ／ＩＥＣ  １５４４４−３）に関するものである。
【０００２】
【従来の技術】
ＪＰＥＧ２０００はＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）  に比べて、低いビットレートにて、より画質の差が顕著になるものであって、低いビットレートにてＪＰＥＧ２０００を動画像に適用したいとの要求は大きい。しかしながら、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００においては、ＪＰＥＧ２０００にて符号化された画像を動画像として表示した時に知覚されるちらつき、すなわちｆｌｉｃｋｅｒｉｎｇ  ａｒｔｉｆａｃｔ（以下フリッカと呼ぶ）として知られる問題がある。このフリッカはその一般的な特性として、静止画として見た場合には特に問題のない画像であるにもかかわらず、動画像として見た場合にのみ問題が顕在化するものであって、このフリッカを消すことができれば、ＪＰＥＧより低いビットレートで、同等画質もしくはより高画質の画像符号化方法を提供することができる。
【０００３】
このフリッカの解決方法として、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００には、ｆｒｅｑｕｅｎｃｙ  ｗｅｉｇｈｔｉｎｇの推奨テーブル値が記載されている。
【０００４】
また、フリッカの原因となるノイズ、特に画像エッジ近傍のノイズを軽減する技術を提案しているものもある（例えば、特許文献１参照）。
【０００５】
さらに、画像のエッジ部分での処理を抑制し、画像のエッジでない部分についてのみポスト処理を行う画像復号化装置を提案しているものもある（例えば、特許文献２参照）。
【０００６】
【特許文献１】
特開平６−３１９１２６号公報
【特許文献２】
特開平９−２００７５９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前記推奨テーブル値はビットレートが０．２５〜０．５０  ｂｐｐ  （ｂｉｔ／ｐｉｘｅｌ）での値であって、これより低いビットレートでは効果がなく、フリッカが残るという課題を有していた。
【０００８】
本発明は、フリッカの除去、特により低いビットレートでも効果のあるフリッカ除去方法、および画像復号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記従来の課題を解決するために、本発明の画像復号化装置は、復号化結果である画像に対し、画像の特徴を検出する分析手段と、複数の前記画像に対する分析手段の出力結果に対応した、各画素ごとの２値情報を生成する２値情報生成手段と、各画素ごとの２値情報と、これと対応する位置の画素値を、複数の前記画像から取り出すための画像メモリと、複数の前記画像から取り出した２値情報と画素値との演算結果を出力する演算手段とを備え、演算手段の出力を装置の出力画像とする。
【００１０】
本構成により、連続する復号画像での各画素ごとに、選択的にはずれ値を除去することができ、その結果フリッカ（ちらつき）の主原因である画素値の時間的変化を除去できる。しかも、はずれ値を除去処理する対象からエッジ部分を選択して除外しているので、不自然な映像が出力されるのを防止することができる。
【００１１】
【発明の実施の形態】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態）
図１は、本発明の実施の形態における画像復号化装置のブロック図である。
【００１３】
図１において、画像復号化手段１０１は前述のＭｏｔｉｏｎ  ＪＰＥＧ２０００画像符号化方式、もしくはＷａｖｅｌｅｔ変換やビットプレーン符号化などを用いた画像符号化方式での復号化手段を用いる。画像メモリ１０２は所定枚数、例えば５枚分の画像を蓄積できるメモリであって、画像復号化手段１０１の出力のうち、復号化対象の画像とその前後各２枚、合計５枚の画像を記録する。画像メモリ１０２には、ＦＩＦＯ、リングバッファなどがあり、当業者には周知の技術である。画像の特徴を検出する分析手段の一例であるエッジ検出手段１０３は、ソーベルフィルタやラプラシアンフィルタなどが周知であり、Ｃａｎｎｙのエッジ検出器（Ｃａｎｎｙ，Ｊ．，  ”Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ”，  ＩＥＥＥ  Ｔｒａｎｓ．  ｏｆ  Ｐａｔ．Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｌ．  Ｖｏｌ．  ＰＡＭＩ−８，  Ｎｏ．６，  Ｎｏｖ．，  １９８６）を用いてもよい。画像メモリ１０４は画像メモリ１０２と同枚数の画像を蓄積できるメモリであり、この場合画像メモリ１０２と同様に、復号化対象の画像とその前後各２枚、合計５枚の画像を記録する。Ｃａｎｎｙのエッジ検出器で処理した場合の処理結果を図３に示す。図３において、入力画像３０１に対するエッジ検出結果を３０２に示す。ここで、画像復号化装置１０１が出力する復号画像としてカラー画像を扱う場合、画像メモリ１０２はカラー画像に必要な容量、例えば１画素あたり２４ｂｉｔを持つ。また、この場合、エッジ検出手段１０３は輝度成分を入力としてエッジ検出を行うようにしてもよく、この時の画像メモリ１０４は、１画素あたり８ビットの容量で十分である。
【００１４】
２値情報生成手段１０５では、まず画像メモリ１０４に記録された複数の画像から、対応する画素位置（ｘ，ｙ）の値を取り出し、例えばこれら値の重み付き平均Ａ（ｘ，ｙ）を求める。すなわち、（数１）の演算を行う。
【００１５】
【数１】
2004350009.tif 000003
【００１６】
ここで、ｐ（ｋ；  ｘ，ｙ）は画像メモリ１０４に記録された画像の位置（ｘ，ｙ）での画素値である。ｋは、記録された画像を指定するための番号であって、ｋ＝１は最近１番目に記録した画像、ｋ＝２は２番目に記録した画像である。なお、重みＷｉは、すべて同じ値Ｗｉ＝０．２でもよい。また、中央を荷重してｗ１＝０．１、ｗ２＝０．２、ｗ３＝０．４、ｗ４＝０．２、ｗ５＝０．１  としてもよい。
【００１７】
さらに、Ａ（ｘ，ｙ）  に対し、例えば（数２）のような閾値処理を行って、２値画像Ｂ（ｘ，ｙ）  を求め、２値情報生成手段１０５はこれを出力する。
【００１８】
【数２】
2004350009.tif 000004
【００１９】
Ｂ（ｘ，ｙ）の一例を図３の３０３に示す。これは入力画像３０１の場合の出力結果であって、画面左上に選手が画面に入ってくるシーンである。この画面左上に入ってくる選手の画像部分には動きがあるため、すなわちエッジ成分が多いため、図３の３０３の左上に、エッジ成分がかたまりとして検出されている。
【００２０】
演算手段１０６は、画像メモリ１０２に蓄積されている画像に対して、各画素ごとに、２値情報生成手段１０５より出力されるＢ（ｘ，ｙ）を用いて、例えば（数３）の演算を行ない、その演算結果の値であるＺ（ｘ，ｙ）を出力する。
【００２１】
【数３】
2004350009.tif 000005
【００２２】
この場合、演算手段１０６は、２値情報生成手段１０５の出力Ｂ（ｘ，ｙ）が１の場合、５枚記録した画像のうちの３番目の画像の画素値Ｐ（３；  ｘ，ｙ）、すなわち、復号化対象の画像の画素値を出力する。また、Ｂ（ｘ，ｙ）  が０の場合は、５つの画素値  Ｐ（ｋ；  ｘ，ｙ）を入力とする関数ｆ（  ）の演算結果を出力する。
【００２３】
ここで関数ｆ（  ）は、５つの画素値の統計的性質から３番目の画素値がはずれ値であるかどうかを判定し、はずれ値である場合には、はずれ値を除いた４つの画素値の平均値となり、また、はずれ値でない場合には、３番目の画素値Ｐ（３；  ｘ，ｙ）、すなわち、復号化対象の画素値となる。なお、ここでいうはずれ値とは、統計的性質上他のデータと異なるデータであることを意味し、例えば、図２において、４つのデータがほぼ破線上に沿う値であるのに対し、３番目のデータが破線上からはずれた値になっているが、この３番目データをはずれ値と判定している。
【００２４】
このはずれ値の判定は、簡易的には平均値、もしくは中央値からのずれがしきい値以上の時にはずれ値と判定する、などの方法がある。また、文献（Ｒｏｕｓｓｅｅｕｗ，Ｐ．Ｊ．，  ”Ｒｏｂｕｓｔ  Ｒｅｇｒｅｓｓｉｏｎ  ａｎｄ  Ｏｕｔｌｉｅｒ  Ｄｅｔｅｃｔｉｏｎ”，  ＪＯＨＮ  ＷＩＬＥＹ  ＆  ＳＯＮＳ）の６節などにもその方法が記載されている。
【００２５】
かかる構成によれば、２値情報生成手段１０５の出力（図３の３０３）、Ｂ（ｘ，ｙ）が０であって、かつ、復号化画像の画素値Ｐ（ｋ；  ｘ，ｙ）に対し、３番目の画像の画素値Ｐ（３；ｘ，ｙ）がはずれ値である場合のみ、演算手段１０６ははずれ値を除いた平均値を出力する。このようにはずれ値を平均値で置き替えることでフリッカを除去することができる。また、エッジ部分（Ｂ（ｘ，ｙ）＝１の時）では、３番目の画像の画素値をそのまま出力することで、エッジ部分での置き替えによる不自然な画像が生じるのを回避することができる。このようにすると、エッジ部分についてはフリッカを除去できないが、エッジ部分でのフリッカは主観的に知覚しにくいので、このような処理を行っても画質的に不都合は生じない。
【００２６】
なお、演算手段１０６での上記説明では、ｆ（  ）の出力として平均値を用いたが、それ以外に、中央値や、はずれ値を除いたロバスト推定値などを用いるようにしてもよい。
【００２７】
また、本実施の形態では、復号化された画像としてフレームを想定したが、フレームの代わりにフィールド単位での処理としてもよい。この場合、フィールド間で正確に対応する画素は存在しないが、近傍の画素で代用するようにしてもよい。また、線型補間、双一次補間などで、対応する画素値を求めて用いるようにしてもよい。
【００２８】
さらに、本実施の形態では、装置に関する実施の形態について説明をしたが、本発明の画像復号化装置の構成手段に相当する、分析ステップ、２値情報生成ステップ、画像メモリステップ、及び演算ステップを有する画像復号化方法によっても、同様の効果が得られることは明らかである。
【００２９】
【発明の効果】
以上のように、本発明の画像復号化装置および方法によれば、エッジ部分はそのままで、それ以外の画素についてはずれ値を除去することにより、エッジ部分での画素値置き替えによる不自然な画像が生じるのを回避しつつ、復号画像のフリッカを除去することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像復号化装置のブロック図
【図２】本発明の実施の形態において、はずれ値を説明するための概略図
【図３】本発明の実施の形態における画像復号化装置の構成要素の働きを説明するための図
【符号の説明】
１０１  画像復号化手段
１０２  画像メモリ
１０３  エッジ検出手段
１０４  画像メモリ
１０５  ２値情報生成手段
１０６  演算手段
【図１】
2004350009.tif 000006
【図２】
2004350009.tif 000007
【図３】
2004350009.tif 000008