(57)【要約】【課題】  映像データのノイズ除去及び画質改善等の画像処理を、ＣＰＵの処理能力を効率よく使用してソフトウエア処理にて実現し、高画質な映像データを提供する。【解決手段】  蓄積メディア１００から、圧縮された映像データ及びファイル情報を含む映像ファイルが読み出される。処理量決定部１３１は、前記ファイル情報から前記映像データのデコード処理に要する処理量を判断する。デコード部１３２は前記ファイル情報に基づいて映像データをデコードする。処理量決定部１３１は、前記処理量に基づいて、演算部１３の処理内容を決定する。各演算処理部１３２３〜１３５は、決定された処理内容に応じて、デコードされた映像データに対して演算処理を施す。【選択図】    図３
2006157730.tif 000002
【特許請求の範囲】
【請求項１】
蓄積メディアから、圧縮された映像データ及びファイル情報を含む映像ファイルを読み出す読み出し手段と、
前記ファイル情報から前記映像データのデコード処理に要する処理量を判断する判断手段と、
前記読み出し手段により読み出された映像データをデコードするデコード手段と、
前記デコード手段によりデコードされた映像データに対して演算処理を施す演算手段と、
前記判断手段により判断された前記処理量に基づいて、前記演算手段の処理内容を決定する決定手段と、
を具備することを特徴とする映像データ演算装置。
【請求項２】
前記演算手段は、
前記デコード手段によりデコードされた映像データに対してノイズ除去処理を施すノイズ除去手段と、
前記ノイズ除去手段によりノイズ除去された映像データに対して画質改善処理を施す画質改善手段と、
を具備することを特徴とする請求項１記載の映像データ演算装置。
【請求項３】
前記決定手段は、前記デコード処理に要する処理量に基づいて、前記ノイズ除去手段の処理量及び画質改善手段の処理量を決定することを特徴とする請求項２記載の映像データ演算装置。
【請求項４】
前記決定手段は、前記デコード処理に要する処理量が小さいほど前記ノイズ除去手段の処理量を増加することを特徴とする請求項３記載の映像データ演算装置。
【請求項５】
前記決定手段は、前記デコード処理に要する処理量が大きいほど前記画質改善手段の処理量を増加することを特徴とする請求項３記載の映像データ演算装置。
【請求項６】
前記決定手段は、前記デコード処理に要する処理量が所定量より小さい場合、前記ノイズ除去手段の処理を前記画質改善手段より優先して実行させることを特徴とする請求項３記載の映像データ演算装置。
【請求項７】
前記ノイズ除去手段は、圧縮により生じたブロック歪及びモスキートノイズを含むノイズを除去する手段、及び画素間で相関がない成分をノイズとして除去する手段を含むことを特徴とする請求項３記載の映像データ演算装置。
【請求項８】
前記判断手段が前記映像データのデコード処理に要する処理量を判断するための情報には、前記映像データの転送レートが含まれることを特徴とする請求項１記載の映像データ演算装置。
【請求項９】
前記判断手段が前記映像データのデコード処理に要する処理量を判断するための情報には、前記映像のフレームサイズが含まれることを特徴とする請求項１記載の映像データ演算装置。
【請求項１０】
蓄積メディアから、圧縮された映像データ及びファイル情報を含む映像ファイルを読み出すステップと、
前記ファイル情報から前記映像データのデコード処理に要する処理量を判断するステップと、
前記読み出された映像データをデコードするステップと、
前記デコードされた映像データに対して演算処理を施すステップと、
前記判断された前記処理量に基づいて、前記演算処理の処理内容を決定するステップと、
を具備することを特徴とする映像データ演算方法。
【請求項１１】
前記演算処理を施すステップは、
前記デコードされた映像データに対してノイズ除去処理を施すステップと、
前記ノイズ除去された映像データに対して画質改善処理を施すステップと、
を具備することを特徴とする請求項１０記載の方法。
【請求項１２】
前記決定するステップは、前記デコード処理に要する処理量に基づいて、前記ノイズ除去処理の処理量及び画質改善処理の処理量を決定することを特徴とする請求項１１記載の方法。
【請求項１３】
前記決定するステップは、前記デコード処理に要する処理量が小さいほど前記ノイズ除去処理の処理量を増加することを特徴とする請求項１２記載の方法。
【請求項１４】
前記決定するステップは、前記デコード処理に要する処理量が大きいほど前記画質改善処理の処理量を増加することを特徴とする請求項１２記載の方法。
【請求項１５】
前記ノイズ除去処理を施すステップは、圧縮により生じたブロック歪及びモスキートノイズを含むノイズを除去するステップ、及び画素間で相関がない成分をノイズとして除去するステップを含むことを特徴とする請求項１２記載の方法。
【請求項１６】
前記判断するステップにおける前記映像データのデコード処理に要する処理量を判断するための情報には、前記映像データの転送レートが含まれることを特徴とする請求項１０記載の方法。
【請求項１７】
前記判断するステップにおける前記映像データのデコード処理に要する処理量を判断するための情報には、前記映像データのフレームサイズが含まれることを特徴とする請求項１０記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データに対するノイズ除去及び画質改善等の演算処理をソフトウエア処理を用いて行う映像データ演算装置に関する。
【背景技術】
【０００２】
ＤＶＤやハードディスク等の記憶メディアに記憶された圧縮された映像データをデコード及び再生するＤＶＤプレーヤー等の光ディスク装置では、デコードされた映像データに対するノイズ低減及び画質改善等の画像処理はハードウエアを用いて行われる。下記特許文献には、光ディスク装置に適用されるノイズ低減回路の構成が開示されている。このようにハードウエアを用いて画像処理を行う場合、処理速度が高速となるため、画像の駒落ち等の現象はほとんど発生しない。
【特許文献１】米国特許第６，４６６，６２５号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＰＣ(personal computer)等の情報処理装置では、映像データに対するノイズ低減及び画質改善等の画像処理はソフトウエア処理にて実現している。ソフトウエア処理の場合は、ＣＰＵ能力により同時に演算できる処理が限定される。低速レートでデコードされた比較的画質の低い映像データに対して、複雑な（高機能な）ノイズ低減処理及び画質改善を行うことにより、画質は向上する。しかし、高速レートでデコードされた比較的画質の良い映像データに対して、複雑なノイズ低減処理及び画質改善を行うと、映像の駒落ち等の不具合が発生することがある。
【０００４】
本発明は、映像データのノイズ除去及び画質改善等の画像処理を、ＣＰＵの処理能力を効率よく使用してソフトウエア処理にて実現し、高画質な映像データを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の１実施形態に係る映像データ演算装置は、蓄積メディアから、圧縮された映像データ及びファイル情報を含む映像ファイルを読み出す読み出し手段と、前記ファイル情報から前記映像データのデコード処理に要する処理量を判断する判断手段と、前記読み出し手段により読み出された映像データをデコードするデコード手段と、前記デコード手段によりデコードされた映像データに対して演算処理を施す演算処理手段と、前記判断手段により判断された前記処理量に基づいて、前記演算処理手段の処理内容を決定する決定手段とを具備する。
【０００６】
映像ファイルをソフト的に再生する際に、対象となる録画ファイルの転送レートやフレームサイズによって、そのデコード処理のＣＰＵ処理時間（処理量）が決定する。ＣＰＵ処理時間が比較的少ないと判断された場合に、多いと判断した場合に比べ、デコード後のポスト処理として、より複雑な（高機能な）演算処理が行われる。
【発明の効果】
【０００７】
それぞれの映像ファイルに適した演算処理を優先して行うことができるので、ＣＰＵの処理能力を効率よく使用して画像品質を向上することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【０００９】
図１は本発明に係る映像データ演算装置１の１実施形態を示すブロック図である。この映像データ演算装置１は例えばＰＣなどの情報処理を用いて構成することができる。  
映像データ演算装置１は、ディスクドライブ１０、ＩＣＨ(I/O Controller Hub)１１、キャプチャーユニット１２、演算部１３、表示装置１７を含む。ディスクドライブ１０はハードディスクあるいはＤＶＤ等の蓄積メディア１００に対して情報の記録／再生を行う。キャプチャーユニット１２はチューナーあるいはＶＴＲ等の外部装置からアナログ映像信号を入力し、Ａ／Ｄ変換してデジタル映像データを映像データ演算装置１に取り込む。ＩＣＨ(I/O Controller Hub)１１はキャプチャーユニット１２及びディスクドライブ１０等のＩ／Ｏ装置とのインターフェースを行う。演算部１３はＩＣＨ１１により得られた映像データに対してデコード処理、ノイズ除去などの演算をソフトウエア処理にて実現する。表示部１１は演算部１３により処理された映像データに基づいて映像を表示する。
【００１０】
演算部１３は、この演算処理装置１を総合的に制御する制御部１５、本発明によるプログラム及び演算処理対象の映像データ等を格納するメインメモリ１６、メインメモリ１６に対するデータのリード／ライトを制御するＭＣＨ(Memory Controller Hub)を含む。制御部１５はＣＰＵ等から構成され、後述の処理量決定部１３１を含む。表示部１７は、ＰＤＰ（プラズマディスプレイ）又はＬＣＤ（液晶パネルディスプレイ）のようなデジタル映像表示装置２０、ＭＣＨ１４からのデコードされた映像データを、表示装置２０の表示に適したデータにＶＲＡＭ１８を使用して変換するグラフィックスアクセラレータ１９を含む。
【００１１】
図２は映像データ演算装置１の全体的な動作を示すフローチャートである。各ステップは制御部１５の制御の基に実行される。
【００１２】
先ず制御部１５はステップＳＴ１１のように、ディスクドライブ１０から蓄積メディア１００に格納されている圧縮（エンコード）された映像データを読み出し、ＩＣＨ（Ｉ／Ｏ  Ｃｎｔｒｏｌｌｅｒ  Ｈｕｂ）１１及びＭＣＨ（Ｍｅｍｏｒｙ  ｃｏｎｔｒｏｌｌｅｒ  Ｈｕｂ）１４を介して該映像データをメモリ１６に格納する。
【００１３】
次にステップＳＴ１２のように、制御部１５はメモリ１６に格納された圧縮データをデコードする。圧縮データには映像のフレームサイズ、転送レートなどの情報が付加されている。それら情報を基に制御部１５は、圧縮データをデコードし、デコードされたデータを再度メモリ１６に格納する。
【００１４】
ステップＳＴ１３のように、制御部１５はデコードされた映像データから、圧縮によって発生したブロック歪、モスキートノイズ（リンギングノイズ）を除去するポスト演算処理を行う。更にステップＳＴ１４のように、映像データに残っているノイズ（非相関高域成分）の除去（ＮＲ処理）及び画質改善処理を行う。
【００１５】
そしてステップＳＴ１５のように、制御部１５は以上のようにして処理された１映像フレームのデータをグラフィックスアクセラレータ１９に送る。この後、グラフィックスアクセラレータ１９は１フレームのデータを、ＬＣＤ等の表示装置２０の表示に適したデータに変換する。表示装置２０はグラフィックスアクセラレータ１９により変換された映像データに基づいて、映像を表示する。
【００１６】
次に演算部１３について詳細に説明する。演算部１３はソフトウエア処理にて実現される。図３は演算部１３のソフトウエア構成を示す機能ブロック図である。演算部１３は処理量決定部１３１、デコード部１３２、ブロック歪／モスキートノイズ除去部１３３及びＮＲ(Noise Reduction)処理部１３４、画質改善処理部１３５を含む。
【００１７】
デコード部１３２は圧縮された映像データをデコードする。圧縮された映像データは映像ファイルとして蓄積メディア１００に記録されている。映像ファイルは圧縮された映像データの他に、映像フレームサイズ及びデコード時の転送レート等のファイル情報を含む。デコード部１３２はこのファイル情報に基づいて、圧縮された映像データをデコードする。
【００１８】
ブロック歪／モスキートノイズ除去部１３３は、デコード部１３２によりデコードされた映像データに含まれるブロック歪及びモスキートノイズを除去する。
【００１９】
ブロック歪及びブロック歪対応フィルタについて以下説明する。映像の圧縮は８×８画素のブロック単位で行われる。このように圧縮された映像データを再生した場合、ブロック間で明るさなどが異なって表示され、升目状に模様が見えることがある。この模様がブロック歪である。ブロック歪対応フィルタとしては、ブロック間の画素レベル差を調べ、レベル差がある場合には、そのレベル差をなだらかにするようなフィルタ（ＬＰＦ）が使用される。
【００２０】
ただし、単純にフィルタをかけると本来の絵柄情報が劣化するので、周辺に絵柄情報があるかを判断し、フィルタのかけ方（範囲）を変える。また、ブロック歪なのか絵柄のエッジなのかを判断するため、周辺の情報も調べる。これらの処理をどの程度詳しく（精度よく）行うかで、処理後の絵柄画像の品質が違ってくる。どの程度詳しく行うかは、演算部１３の他の処理の演算処理量との兼ね合いで決定される。この判断は、後述するように処理量決定部１３１により行われる。
【００２１】
次にモスキートノイズ（リンギングノイズ）及びモスキートノイズ対応フィルタについて説明する。モスキートノイズとは文字やエッジの周辺に発生するノイズであって、時間の経過と共に動くものをモスキートノイズ、動かないものをリンギングノイズという。このようなノイズは、圧縮により高域成分が失われることにより発生するノイズである。
【００２２】
モスキートノイズ対応フィルタとしては、画像のエッジ周辺部に対し、画素値変化をなだらかにするフィルタが適用される。ただし、絵柄自体に高域の信号が含まれている場合は画質が劣化するので、かけ方（範囲など）を変更する。この場合も、如何に絵柄情報を詳細に判断するかで、処理後の絵柄画像の品質が違ってくる。どの程度詳しく行うかは、前述したように演算部１３の他の処理の演算処理量との兼ね合いで決定される。
【００２３】
次に、ＮＲ処理部１３４について説明する。ＮＲ処理部１３４は、ブロック歪／モスキートノイズ除去部１３３が除去対象とするノイズ以外のノイズを除去する。ＮＲ処理部１３４が除去対象とするノイズは、絵柄信号に伴うノイズ以外のものである。上記のブロック歪やモスキートノイズは、圧縮処理によって発生したノイズであって、ＮＲ処理部１３４が除去対象とするノイズとは異なる。
【００２４】
ＮＲ処理部１３４は、画素間での相関がない成分をノイズと判断して除去する。ＮＲ処理部１３４は、３次元ＮＲなどのように、フィールド、フレーム、ライン相関を見てノイズと判断した成分（高域成分）を除去する。
【００２５】
次に画質改善処理部１３５について説明する。画質改善処理部１３５は、一般にＴＶ等で行われているような高画質化処理をソフトウエアで実現する。画質改善は、シャープネス処理、動き適用型ＩＰ変換、黒白伸張などにより行われる。
【００２６】
図４は互いに異なる圧縮レートで圧縮された映像ファイルに対して行われる各種処理の演算処理量（以下単に処理量という）の割合を示す図である。
【００２７】
本発明では、演算部１３で行う処理内容を、圧縮映像データをデコードする際の転送レート及び（又は）映像フレームサイズに応じて、図４に示すように変えて処理する。演算部１３の単位時間あたりの演算処理能力（最大処理量）は、図４（ａ）のように限られている。映像品位向上の為に、このように限られた演算能力を、どの演算処理にどの程度割り振るかは、フレームサイズや転送レートに応じて適切に判断される。適切と判断された演算処理は優先して行なわれる。
【００２８】
圧縮映像データをデコードする場合、そのフレームサイズや転送レートの情報は前述したようにファイル情報から分かり、処理時間は処理するデータ量に比例し、このデータ量はフレームサイズや転送レートに比例する。つまり、フレームサイズや転送レートが小さければ、デコードする際の処理量は小さい。従って、デコード部１３２の処理量は上記フレームサイズ又は転送レートにより表すことができる。
【００２９】
一般に圧縮時の圧縮レートが小さい（データ量の減少率が大きい）ほど、デコード（伸張）された映像の品位は悪くなる傾向がある。従って、圧縮レートが小さい映像に対しては、品位の悪い映像をきれいに表示するような演算処理が選択される。このような処理では映像信号成分とノイズ成分とを正確に分離して処理することが重要である。そのためには処理量を増やす必要がある。たとえば図５のような映像が低転送レートでデコードされ表示部に表示された場合、エッジ部分にモスキートノイズが発生し、画素レベルが平坦な部分ではブロック歪（ノイズ）が目立つことになる。従って、これらの部分を精度良く検出し、映像信号部分への影響をできる限り抑えて、効果的なノイズ除去を行う必要がある。図４（ｄ）は、このように低転送レート（低画質）でデコードされた映像ファイルＣに適用される演算部１３による処理の処理量の割り当てを示す。この例では、ブロック歪除去、モスキートノイズ除去及びＮＲ処理が優先して適用されている。なお、ブロック歪／モスキートノイズ除去部１３３、ＮＲ処理部１３４、画質改善処理部１３５の処理量は、例えば単位時間あたりの処理ステップ数により表すことができる。
【００３０】
逆に画質が良い（高転送レート）映像に対する処理の場合、これらノイズの発生が少ないため、映像とノイズの切り分けは低画質映像に対する処理に比べ、簡単な演算で済ませることができる。従って、演算部１３の処理能力すなわちＣＰＵ演算能力を輪郭強調などの画質改善処理に多く割り当てることが可能になる。図４（ｃ）はこのように、画質改善処理がＮＲ処理より優先して適用される映像ファイルＢの処理量の割り当てを示す。
【００３１】
図６は処理量決定部１３１の動作を示すフローチャートである。
【００３２】
前述したように、圧縮された映像データを含む映像ファイルのデコード処理は、該映像ファイルに含まれるファイル情報に従って行われる。ステップＳＴ２１のように処理量決定部１３１は、ファイル情報に含まれるフレームサイズ（水平画素数、垂直画素数）、及び（又は）転送レートの情報から、デコード処理に要する処理量を判断しておく。以下、説明を簡単にするため、デコード処理に要する処理量を、単に転送レートのみに基づいて決定する場合を説明する。
【００３３】
標準画質モードにおける圧縮設定は、フレームサイズ：７２０×４８０（画素）、転送レート：４Ｍｂｐｓが一般的である。従って、ステップＳＴ２２のように処理量決定部１３１は、この転送レートに基づいて各処理部１３３〜１３５の処理量を決定する。転送レートＲｔが４Ｍｂｐｓより大きい場合は、図４（ｃ）の映像ファイルＢのように、高画質化を目的として画質改善処理部１３５の処理が優先して行われる（ステップＳＴ２３）。つまり映像ファイルＢは、画質改善処理に関して、４Ｍｂｐｓ以下の映像ファイルより大きな処理量（高度な演算処理）が設定されている。
【００３４】
上記フレームサイズ（７２０×４８０）の半分のフレームサイズ（３５２×４８０）の映像データの転送レートは一般に２Ｍｂｐｓより小さい。従って転送レートＲｔが２Ｍｂｐｓより小さい場合（ステップＳＴ２４でＹＥＳの場合）、圧縮処理が原因で発生するブロック歪及びモスキートノイズ、及びその他のノイズが増加する。従って、処理量決定部１３１は、図４（ｄ）の映像ファイルＣのように、ブロック歪／モスキートノイズ除去部１３３及びＮＲ処理部１３４の処理を優先する（ステップＳＴ２５）。つまり映像ファイルＣは、ブロック歪除去、モスキートノイズ除去及びＮＲ処理に関して、２Ｍｂｐｓ以上の映像ファイルより大きな処理量（高度な演算処理）が設定されている。
【００３５】
映像データの転送レートＲｔが４Ｍｂｐｓ以下で、２Ｍｂｐｓ以上の場合（ステップＳＴ２４でＮＯの場合）、ブロック歪及びモスキートノイズは、映像ファイルＢより発生しやすく、映像ファイルＣより発生しにくい。従って処理量決定部１３１は、図４（ｂ）の映像ファイルＡのように、ブロック歪／モスキートノイズ除去部１３３、ＮＲ処理部１３４の処理、及び画質改善処理部１３５の処理を行う。このように処理量決定部１３１は、判断した処理量に基づいて演算部１３の処理内容を変更する。
【００３６】
以上説明したように本発明では、複数の演算処理部１３３〜１３５における処理量が映像ファイルのデコードに必要な処理量に応じて決定されるので、ＣＰＵの処理能力を効率よく使用して、高品位な映像を提供することができる。
【００３７】
また、それぞれの映像ファイルについて常に同じ演算処理をする場合、処理が間に合わずに映像の駒落ちなどが発生する可能性がある。しかし本発明では複数の演算処理部１３３〜１３５における処理量が適宜決定されるので、効果的な処理を行い、高品位な映像を提供することができる。
【００３８】
更に、圧縮転送レートや画像サイズに応じて、ポスト処理（ブロック歪／モスキートノイズ除去）、ＮＲ処理、あるいは画質改善処理を選択的に行うので、効率よく高品位な映像を提供することができる。
【００３９】
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を実施することができる。そのような変形例も本発明に含まれるものである。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る映像データ演算装置１の１実施形態を示すブロック図である。
【図２】映像データ演算装置１の全体的な動作を示すフローチャートである。
【図３】演算部１３のソフトウエア構成を示す機能ブロック図である。
【図４】互いに異なる圧縮レートで圧縮された映像ファイルに対して行われる各種処理の処理量の割合を示す図である。
【図５】低転送レートでデコードされ表示部に表示された映像の一例を示す図である。
【図６】処理量決定部１３１の動作を示すフローチャートである。
【符号の説明】
【００４１】
１…映像データ演算装置、１０…ディスクドライブ、１１…ＩＣＨ、１２…キャプチャーユニット、１３…演算部、１４…ＭＣＨ、１５…制御部、１６…メインメモリ、１７…表示部、１８…ＶＲＡＭ、１９…グラフィックスアクセラレータ、２０表示装置
【図１】
2006157730.tif 000003
【図２】
2006157730.tif 000004
【図３】
2006157730.tif 000005
【図４】
2006157730.tif 000006
【図５】
2006157730.tif 000007
【図６】
2006157730.tif 000008