(57)【要約】  解凍されたビデオ画像において規則的に発生する可視欠陥を除去する方法及び装置を提供する。まず、解凍されたビデオ信号を受信する。これをフレーム毎にフィルタ処理し、欠陥に関するデータを抽出する。このようにして抽出されたデータを、欠陥を識別するように訓練されたニューラルネットワーク・プロセッサにおいて処理し、ビデオ信号における前記欠陥の位置を識別するデータを生成する。そして、ビデオ信号を修正して、該識別された欠陥の影響を小さくする。【選択図】図３
2008512914.tif 000002
【特許請求の範囲】
【請求項１】
解凍されたビデオ画像において規則的に発生する可視欠陥を除去する方法であって、
解凍されたビデオ信号を受信するステップと、
フレーム毎にビデオ信号をフィルタ処理して欠陥に関するデータを抽出するステップと、
このようにして抽出されたデータを、欠陥を識別するように訓練されたニューラルネットワーク・プロセッサにおいて処理し、ビデオ信号における前記欠陥の位置を識別するデータを生成するステップと、
ビデオ信号を修正して、該識別された欠陥の影響を小さくするステップと、
を含むことを特徴とする可視欠陥を除去する方法。
【請求項２】
上記欠陥が多数のビデオ信号の複数フレームにわたり識別される請求項１記載の方法。
【請求項３】
上記欠陥が繰り返し識別される請求項１又は２記載の方法。
【請求項４】
上記修正ステップは、欠陥の影響を小さくするためにフィルタ処理を行うことを含む請求項１、２又は３記載の方法。
【請求項５】
上記フィルタ処理を行うステップは、欠陥に対して平滑化フィルタを適用することを含む請求項４記載の方法。
【請求項６】
解凍されたビデオ画像において規則的に発生する可視欠陥を除去する装置であって、
解凍されたビデオ信号を受信する手段と、
フレーム毎にビデオ信号をフィルタ処理して欠陥に関するデータを抽出する手段と、
欠陥を識別し、ビデオ信号における欠陥の位置に関するデータを生成するように訓練されたニューラルネットワーク・プロセッサと、
該識別された欠陥の影響を小さくするためにビデオ信号を修正する手段と、
を含むことを特徴とする可視欠陥を除去する装置。
【請求項７】
上記欠陥が多くのビデオ信号フレームにわたり識別される請求項６記載の装置。
【請求項８】
上記欠陥が繰り返し識別される請求項６又は７記載の装置。
【請求項９】
上記修正手段は、欠陥の影響を小さくするためにフィルタ処理を行う手段を含む請求項７、８又は９記載の装置。
【請求項１０】
上記フィルタ処理を行う手段は、平滑化フィルタを含む請求項５記載の装置。
【請求項１１】
解凍されたビデオ画像において規則的に発生する可視欠陥を識別する方法であって、
解凍されたビデオ信号を受信するステップと、
フレーム毎にビデオ信号をフィルタ処理して欠陥に関するデータを抽出するステップと、
欠陥を識別するようにニューラルネットワーク・プロセッサを訓練するステップと、
欠陥の位置を識別するようにニューラルネットワーク・プロセッサを訓練するステップと、
ニューラルネットワーク・プロセッサを使用して欠陥の位置を識別するステップと、
ビデオ信号を修正して該識別された欠陥の影響を小さくするステップと、
を含むことを特徴とする可視欠陥を識別する方法。
【請求項１２】
解凍されたビデオ画像において規則的に発生する可視欠陥を識別する装置であって、
解凍されたビデオ信号を受信する手段と、
フレーム毎にビデオ信号をフィルタ処理して欠陥に関するデータを抽出する手段と、
欠陥を識別するようにニューラルネットワーク・プロセッサを訓練する手段と、
前記ニューラルネットワーク・プロセッサを用いてビデオ信号における欠陥の位置に関するデータを生成する手段と、
ビデオ信号を修正して該識別された欠陥の影響を小さくする手段と、
を含むことを特徴とする可視欠陥を識別する装置。
【請求項１３】
本明細書及び図面において実質的に説明された、解凍されたビデオ画像において規則的に発生する可視欠陥を除去する方法。
【請求項１４】
図３を参照して本明細書に実質的に説明された、解凍されたビデオ画像において規則的に発生する可視欠陥を除去する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロック毎に動作するＭＰＥＧを用いた圧縮とその後の解凍によって引き起こされるブロック性欠陥（artefacts）のような、ビデオ画像における可視欠陥を除去する方法及び装置に関する。
【背景技術】
【０００２】
圧縮・解凍スキームがビデオ画像に用いられる場合には、いくらかのデータ損失が生じることは避けられない。ほとんどの圧縮・解凍スキーム、例えばＭＰＥＧは、ブロック毎に作用する。隣接するブロックの画像データは異なるので、圧縮・解凍の間に失われるデータの要素はブロック毎に異なるものとなる。解凍後にその画像を見る場合には、それは画像において可視的なブロック性欠陥につながることがある。データの圧縮・解凍により生じる隣接ブロック間におけるデータ調整に関するこの不整合は、ビデオ画像のどのような特性にも、例えば他のビデオデータを定義するＲＧＢ値その他の方法にもあてはまる。
【０００３】
もし画像における該ブロックの位置が分かれば、ブロックの各特性についてブロック変遷の前後にわたって平滑化フィルタを適用して、圧縮・解凍スキームから生じるブロック欠陥を排除することの助けとすることができる。これにより、ブロック欠陥が可視的になる程度を減少させることができる。
【０００４】
圧縮・解凍スキームの間に、ブロックアレイの幾つかのスケーリング（scaling）又はシフティング（shifting）が分からない信号から欠陥を除去しようと試みる場合には、問題が生じる。例えば、典型的には、衛星テレビ信号及びデジタルテレビ信号は何らかの形態のセット・トップ・ボックスを用いてデコードされる。セット・トップ・ボックスの多くは、ブロックアレイに対してシフティング又はスケーリングを行う。シフティング又はスケーリングは、画像が映し出される受像機には分かっていない。このシフティング又はスケーリングのために、ビデオストリームに対して前に行われた処理について、最終的な推定ができない。
【０００５】
圧縮・解凍により生じるブロック欠陥に加えて、ブロック性構造（blocky structure）を検知するように設計されたシステムを混乱させる可能性のある他の信号が存在する。これらの信号はノイズと見なされ、３つの主なグループに分けられる。
ａ）非常に細かいシーンから生じるノイズ
ｂ）レンガ、金属格子等を伴った背景といった実画像に実際に存在するブロックから生じるノイズ
ｃ）フィルタの適用により信号に生じる規則的なノイズ
【０００６】
第一のノイズグループはランダムな種類のものであるので、潜在的には問題になる可能性が少ない。第二のノイズグループは、データの何らかの分析において、紛らわしいブロックパターンの源となる可能性を秘めている。第三のグループは、前にどのような画像処理がなされたか分からないので、存在するかもしれないし、存在しないかもしれない。最悪の場合のシナリオは、規則的な格子に前段階でローパスフィルタを用いた場合であろう。第三の種類のノイズは、ビデオ圧縮によるブロックと同じぐらい重要である。
【発明の開示】
【０００７】
本発明の好ましい実施例は、一連のフレームにわたるビデオ信号の特性を分析し、これらフレームにおけるデータが、ブロック性構造のような規則的に発生する構造のいずれかを含むか否かを判定することにより、ビデオ画像におけるブロック性構造のような規則的に発生する欠陥を検知するための方法及び装置を提供するものである。ブロック性構造が検出されると、ビデオ画像に対して修正を行って、これらのブロック性欠陥の影響を減少させる。
【０００８】
ブロック性構造は、ニューラルネットワークを用いて検出されることが好ましい。
【０００９】
欠陥は、多数のビデオデータのフレームにわたって検出されることが好ましい。
【００１０】
欠陥は、繰り返し検出されることが好ましい。
【発明を実施するための最良の形態】
【００１１】
本発明の好ましい実施形態を、添付図面を参照して例により以下に詳細に説明する。
【００１２】
図１において、放送用ハードウエア２、ユーザのために設けられるセット・トップ・ボックスその他のデコーダ、及びセット・トップ・ボックスによりデコードされる信号を表示するために用いられるテレビ受像機６のような受像機の３つの構成要素がある。
【００１３】
放送用ハードウエアはＭＰＥＧのようなＤＣＴブロック非可逆圧縮を用いて圧縮部１０において圧縮される入力ビデオストリーム８を受信する。この圧縮された信号は、セット・トップ・ボックスにおいて、ユニット１２により解凍され、テレビ受像機６に信号を送るためにデジタル・アナログ変換が行われる前に、ユニット１４によりある程度の再スケーリング（rescaling）を行うことができる。デジタル・アナログ変換はＤ／Ａコンバータ１６により行われる。
【００１４】
受像機６においては、ブロック性構造の有無についての画像分析を容易にするために、まずアナログ・デジタル変換が逆コンバータ１８により行われる。次いで、デブロッカ（deblocker）２０が画像におけるブロック状の構造を検知し、ビデオストリームを可視化する際に該ブロック状の構造に対して適切な修正フィルタ処理を適用する。
【００１５】
セット・トップ・ボックスが、再スケーリングユニット１４の後に出力部を備えていれば、受像機６のＡ／Ｄコンバータを省略することができる。その場合には、テレビ受像機には、２つの入力信号、１つはシステムにおけるブロック性構造を判定するのに用いるデジタル入力信号、そしてもう１つはブロック性構造の修正に適用されるアナログ信号があることになる。
【００１６】
デブロッカ２０は、ブロック性欠陥を見つけるために画像の行及び列に沿ってデータを分析する。分析の前にはフレーム全体にわたって２次元微分フィルタを適用することが好ましい。その目的は、後の処理のために重要な特徴のみを抽出する試みとして、フレームのデータの形状をより一般化することにある。１次元微分フィルタについてみると下記のような式となる。
微分フィルタ＝絶対値(データ(i+1)−データ(i))
ここで「ｉ」は画素の位置、「データ」はビデオ画像の所与の特性についての該画素の位置におけるデータである。
【００１７】
図２は、３つのビデオ構成信号Ｒ、Ｇ、Ｂについて、画像のラインに沿って作用するこのフィルタの効果の一般的な形を示す。左の３つのグラフの横軸は、１つのラインに沿った距離を表わし、縦軸は構成信号のレベルを表わす。このように、画像にブロック性構造がある場合には、ブロック境界におけるＲ、Ｇ、Ｂ値の各々に変遷があることが分かる。微分フィルタをこれらの値に適用し、次いで、その絶対値を加え合わせると右のグラフの出力スパイクＳが得られる。スパイクは、ラインに沿ったブロック境界の位置を表わす。同様のデータが画像の列についても得られる。
【００１８】
このように、ブロックの格子構造は微分フィルタによって一組のスパイクデータに変換される。格子が８×８画素であれば、それは縦横とも一組の８画素毎のスパイクとなるであろう。
【００１９】
このデータが画像全体について得られたとき、該データは、規則的な格子を表わすか否かを検知するために処理される。上述したように、画像にノイズがあると、付加的なスパイクが生じることになる。その場合には、どのスパイクがブロック性構造に関係するか、どのスパイクが他の画像特性に関係するかを判別することができるシステムを使用することが必要になる。本発明者らは、ニューラルネットワークのパターン認識システムを用いることが、画像において規則的に再発生するノイズによって特に引き起こされる問題を解決するための最良の方法であると認識した。
【００２０】
一組の８画素毎のスパイクについて、ニューラルネットワークはこの構造が８×８画素の格子の部類に属すると認識する。次いで、ニューラルネットワークは、格子ステップ（スパイク間の間隔）を８値として出力する。格子が検知されると、高い値をもつ複数のスパイクの位置により格子の水平方向及び垂直方向の間隔（shift）が得られる。
【００２１】
図３は、本発明の実施例における動作の概略を示す。図３において、各フレームのデータはフレームストア部３０を通る。次いで、同様の処理が垂直の行及び水平の列の画素に対して適用される。各行又は各列に沿って一対の画素が選択され、３２においてストアされ、該一対の画素に対して微分フィルタ３４が適用される。これは上述の形態の微分フィルタである。そして、各微分フィルタの出力に対して絶対値フィルタ３６が適用され、該絶対値フィルタの出力が対応する水平及び垂直蓄積器３８に加えられる。これらの目的は、フレーム内の画素位置について微分フィルタの出力をストアすることにある。このようにしてすべてのフレームが分析され、水平及び垂直蓄積器がフレームについてのすべてのデータをストアすると、該データはニューラルネットワークＣＰＵ４０に入力される。
【００２２】
ニューラルネットワークＣＰＵは、最初のフレームが処理された後に受け取ったデータの分析を始める。ニューラルネットワークＣＰＵは、図２に示される形態のラインに沿って、かつ、列を下向きに、スパイクパターンを探索する。もちろん、ニューラルネットワークは、学習行動によって動作する。したがって、ニューラルネットワークＣＰＵは、最初は解凍によって引き起こされるブロック性構造を識別することはできないかもしれない。そのような場合には、ニューラルネットワークＣＰＵは、表示されるビデオ信号に対して何らの修正もできない。多くのフレームを経て、解凍及びスケーリングによって引き起こされるスパイクがニューラルネットワークＣＰＵに次第に明らかになり、それによって、受像機に表示されるビデオ信号に対する平滑化フィルタの適用という形での修正が可能となる。
【００２３】
４２においてスパイクパターンが検知されると、ニューラルネットワークＣＰＵは、検知した格子の垂直及び水平オフセット並びに検知した垂直及び水平スケーリングに関するデータを平滑化フィルタ４４に出力する。次いで、該フィルタは、ブロックの交差部において、表示のためにビデオストリームに適用される。このフィルタは、ブロック変遷部における隣接画素間にわたってビデオ構成信号値を平滑化する単純なものである。２画素のみに作用する最も単純な形態に代えて、より複雑なフィルタを用いてもよい。より複雑なシステムにおいては、隣接した画素として２つより多い画素を用いることができる。
【００２４】
ＭＰＥＧシステムにおいては、ブロックサイズは典型的には８×８画素である。
【００２５】
受像機とデブロッカを始動するとき、ニューラルネットワークＣＰＵがブロック性構造を検出し始めるまでには少し時間が必要であり、それゆえ表示されるビデオ信号に平滑化フィルタが適用されるまでにも少し時間が必要であることが分かるであろう。システムが定常状態になると格子の検出が始まる。
【００２６】
表示される画像に他の格子状構造が存在すると、ニューラルネットワークＣＰＵは、それらをセット・トップ・ボックス４における解凍及び再スケーリングによって引き起こされるブロック性構造よりも重要なものであると検知する可能性がある。そのような状況にうまく対処する（connect for）ために、デブロッカが検知したブロック性構造を無視し、別のブロック性構造を探索するようにするためのユーザ入力をデブロッカに設けてもよい。
【００２７】
ビデオ信号のフレームからのデータは繰り返し収集される。ニューラルネットワーク回路はデータバッファを含む。該データバッファの記憶容量が限界に近づいたときには、すべてのデータ値を半減して、付加的な（additional）データが読み込まれるようにする。最新のデータ又は古いデータのいずれかに待ち時間が与えられることはない。すべてのデータについて同じ待ち時間である。
【００２８】
ニューラルネットワークは識別しようとしている特定のブロック性構造を認識するようにまず訓練される。この訓練は、ブロック性構造を識別しようと試みるときに与えられると思われるパターンに対応するデータパターンを最初に与えることにより行われる。ニューラルネットワークにパターンを示すことを何度も繰り返すと、訓練のために示されたパターンとまったく同一のものでなくとも、ニューラルネットワークは自身でパターンを認識できるようになる。システムが始動するごとにこの訓練手順が開始され、訓練パターンがデブロック回路と結合された別の記憶手段にストアされるようにすることが好ましい。このニューラルネットワークの訓練手順により、ニューラルネットワークが処理や出力を行うるために設定する自由パラメータについて２つの最適値が見出される。これらのパラメータは訓練の過程で最適値に収束する。訓練された場合には、ニューラルネットワークは、ブロック性構造を識別することができるようになり、したがって修正を行うことができる。
【００２９】
ニューラルネットワークが期待通りに行動しない場合、又は検知しようとしているパターンに何らかの変化があった場合には、訓練又は調整シーケンスを再実行する必要がある。修正パターンを検知すべき場合には、それを訓練セットに含める必要がある。したがって、デブロッカが異なるブロックサイズの解凍信号におけるブロック性構造を検知しなければならない場合は、そのための訓練シーケンスを与えて実行する必要がある。それらは手動で入力することができる。その場合には、ニューラルネットワーク自体のトポロジを変える必要はない。
【００３０】
本発明の好ましい実施例においては、２層パーセプトロンを用いる。これは、３２ユニットの入力層、２３１ユニットの中間層、並びに７ユニットの出力層からなる。この形態のニューラルネットワークはよく知られている。その基本構造を図４に示す。このようなニューラルネットワークはよく知られており、広く研究されてきた。ニューラルネットワークの詳細な動作は本発明にとって重要でない。
【００３１】
このように、本発明を具体化する演算処理機構には２つの主な段階があることが分かるであろう。まず、識別しようとしている格子状の構造の型についてニューラルネットワークを訓練しなければならない。その後、格子がフレーム毎にニューラルネットワークに与えられる。ニューラルネットワークはそのデータを分析し、それにより適切なパターンを識別し、オフセット及びスケーリングデータを出力する。そして、これらのデータが、好ましくはブロック変遷の前後にわたって平滑化フィルタを適用することにより画像データを修正するために用いられる。
【図面の簡単な説明】
【００３２】
【図１】欠陥が規則的に発生する可能性のあるビデオデータの圧縮・解凍システムのブロック図を示す。
【図２】３つのビデオ構成信号における欠陥の影響及び該欠陥から導かれるデータを図示する。
【図３】本発明の実施例による、一連のフレームにわたって各フレームを分析するシステムのブロック図を示す。
【図４】本発明の実施例において用いられる可能性のある種類のニューラルネットワークの概略を示す。
【図１】
2008512914.tif 000003
【図２】
2008512914.tif 000004
【図３】
2008512914.tif 000005
【図４】
2008512914.tif 000006
【国際調査報告】
2008512914.tif 000007
2008512914.tif 000008
2008512914.tif 000009