(57)【要約】【課題】簡易かつメモリ使用量の少ない処理で、符号化情報を用いずに復号画像のみを用いてモスキートノイズの発生位置や強度を検出し、その検出結果に基づいて効果的にノイズを除去することができる画像処理装置を提供する。【解決手段】画像処理装置１は、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量Ｆrcを少なくとも含む複数のローカル特徴量を生成するローカル特徴量生成部１０と、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値Ｅを算出する評価値生成部２０と、ノイズ評価値Ｅに基づいて混合率Ｒを生成する混合率生成部３０と、復号画像の平滑化画像を生成するフィルタ処理部４０と、復号画像と平滑化画像とを混合率Ｒに基づいて混合し、出力画像を生成する画像混合処理部５０とを備える。【選択図】図３
2017130709.tif 000002
【特許請求の範囲】
【請求項１】
復号画像の局所領域の中心画素が前記局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成するローカル特徴量生成部と、
前記複数のローカル特徴量を重み付け統合して前記復号画像の画素毎のノイズ評価値を算出する評価値生成部と、
前記ノイズ評価値に基づいて混合率を生成する混合率生成部と、
前記復号画像の平滑化画像を生成するフィルタ処理部と、
前記復号画像と前記平滑化画像とを前記混合率に基づいて混合し、出力画像を生成する画像混合処理部と
を備える画像処理装置。
【請求項２】
前記ローカル特徴量生成部は、前記複数のローカル特徴量を、基本特徴量である前記局所領域内の画素値の分散値、画素値の標準偏差値又は隣接画素差分絶対値の少なくとも一つに基づいてそれぞれ算出する
請求項１記載の画像処理装置。
【請求項３】
前記ローカル特徴量生成部は、前記相対的フラット画素数特徴量を生成するときに、
前記中心画素との空間位置、輝度値又は画素値の分散値の類似度が所定値以上である前記局所領域中の画素の前記基本特徴量の平均値と、前記個々の周辺画素の前記基本特徴量とを比較する
請求項２記載の画像処理装置。
【請求項４】
前記複数のローカル特徴量は、前記局所領域内のエッジ画素の前記基本特徴量の平均値であるエッジ強度特徴量又は前記局所領域のエッジ画素数特徴量の少なくとも一つを更に含む
請求項２又は請求項３記載の画像処理装置。
【請求項５】
前記複数のローカル特徴量は、前記基本特徴量が、０よりも大きい下限値と、上限値との間に入る微小変動画素に係る特徴量を更に含む
請求項２乃至請求項４のいずれか１項記載の画像処理装置。
【請求項６】
前記復号画像よりも時間的に前の復号画像の前記ローカル特徴量に基づいて、グローバル特徴量を生成するグローバル特徴量生成部を更に備え、
前記グローバル特徴量は、テクスチャであることを示すテクスチャ特徴量、画像のノイズ量を示すノイズシーン特徴量又は静止した文字領域であることを示すサブタイトル特徴量の少なくとも一つを含み、
前記評価値生成部は、前記複数のローカル特徴量と前記グローバル特徴量とを統合して、前記ノイズ評価値を算出する
請求項１乃至請求項５のいずれか１項記載の画像処理装置。
【請求項７】
復号画像の局所領域の中心画素が前記局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成するステップと、
前記複数のローカル特徴量を重み付け統合して前記復号画像の画素毎のノイズ評価値を算出するステップと、
前記ノイズ評価値に基づいて混合率を生成するステップと、
前記復号画像の平滑化画像を生成するステップと、
前記復号画像と前記平滑化画像とを前記混合率に基づいて混合し、出力画像を生成するステップと
を有する画像処理方法。
【請求項８】
コンピュータに、
復号画像の局所領域の中心画素が前記局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成する手順と、
前記複数のローカル特徴量を重み付け統合して前記復号画像の画素毎のノイズ評価値を算出する手順と、
前記ノイズ評価値に基づいて混合率を生成する手順と、
前記復号画像の平滑化画像を生成する手順と、
前記復号画像と前記平滑化画像とを前記混合率に基づいて混合し、出力画像を生成する手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
フルＨＤ（１９２０×１０８０画素）や４Ｋ（３８４０×２１６０画素）などの高解像度映像のデータ量は膨大であり、放送、インターネット配信、記録メディアへの蓄積などを実現するために、画質をできるだけ保持したままでデータ量を削減する圧縮符号化技術が必要不可欠となっている。
【０００３】
非可逆圧縮符号化は、圧縮率を大きくする、すなわち、データ量を大幅に削減するほどノイズなどの画質劣化が増大する。このため、テレビやスマートフォンなどの表示機器では、受信した映像に対しノイズを除去するための補正処理を適用することにより高画質化を行うのが一般的である。
【０００４】
特に、ＪＰＥＧやＭＰＥＧ−２では、モスキートノイズと呼ばれるエッジ周辺に蚊が飛ぶように見える高周波ノイズが発生する。そこで、画像処理によってモスキートノイズを除去する技術が古くから研究されてきた。
【０００５】
モスキートノイズは高周波成分のノイズであり、バイラテラルフィルタ、イプシロンフィルタなどのローパスフィルタによって画像の平滑化を行い、ノイズを除去する方法が一般的である。しかしながら、画像全体に対して一様に平滑化を行うと、ノイズだけでなくテクスチャなど重要な画像構造も同時に失われてしまうという副作用が生じる。そこで、予めモスキートノイズが発生している領域を検出し、その領域のみに平滑化処理を行う方法が数多く提案されている。
【０００６】
例えば、特許文献１には、エッジ検出によりエッジ画素を特定してエッジ画素周辺にエッジマップを生成し、フラット検出によりフラット画素を特定してフラット画素周辺にフラットマップを生成し、注目画素のエッジマップとフラットマップと２次微分値とを乗算したものをモスキートノイズレベルとしてノイズを検出し、検出した領域に対してエッジ保存平滑化フィルタを適用することが記載されている。
【０００７】
また、符号化された映像データを受信機側で復号したときに得られる符号化情報（ピクチャタイプ、変換係数、量子化パラメータ、動きベクトルなど）を利用し、モスキートノイズの発生箇所や強度を特定する技術もある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２０１２−５０２５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に係る技術は、エッジの強度や複雑さに依存するノイズの視認性を考慮しておらず、また、フラットマップが必須となっているため、エッジが複雑に入り組んだ文字の間などフラットが検出できない領域のノイズは除去することができないという問題がある。
【００１０】
また、符号化情報を利用して、モスキートノイズの発生箇所や強度を特定する技術は、受信機と表示機器とが異なる場合（例えば、ＳＴＢで受信・復号した映像信号をＨＤＭＩ（登録商標）ケーブルでテレビに転送して表示する場合など）に、表示機器側で符号化情報を利用できないという問題がある。
【００１１】
このため、符号化情報を用いずに復号画像のみを用いてモスキートノイズの発生位置や強度を検出し、その検出結果に基づいて効果的にノイズを除去する技術が求められている。
【００１２】
また、上記ノイズ除去を画像処理プロセッサなどのハードウェアで実現する場合、演算量やメモリ使用量が増加すると回路規模が増加し、製品コストの増加につながることから、できるだけ簡易かつメモリ使用量の少ない処理でノイズを検出・除去する方法が求められている。
【００１３】
本発明は、このような問題を解決するためになされたものであり、簡易かつメモリ使用量の少ない処理で、符号化情報を用いずに復号画像のみを用いてモスキートノイズの発生位置や強度を検出し、その検出結果に基づいて効果的にノイズを除去することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成するローカル特徴量生成部と、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値を算出する評価値生成部と、ノイズ評価値に基づいて混合率を生成する混合率生成部と、復号画像の平滑化画像を生成するフィルタ処理部と、復号画像と平滑化画像とを混合率に基づいて混合し、出力画像を生成する画像混合処理部とを備えるものである。
【００１５】
また、本発明に係る画像処理方法は、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成するステップと、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値を算出するステップと、ノイズ評価値に基づいて混合率を生成するステップと、復号画像の平滑化画像を生成するステップと、復号画像と平滑化画像とを混合率に基づいて混合し、出力画像を生成するステップとを有するものである。
【００１６】
また、本発明に係る画像処理プログラムは、コンピュータに、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量を少なくとも含む複数のローカル特徴量を生成する手順と、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値を算出する手順と、ノイズ評価値に基づいて混合率を生成する手順と、復号画像の平滑化画像を生成する手順と、復号画像と平滑化画像とを混合率に基づいて混合し、出力画像を生成する手順とを実行させるためのものである。
【発明の効果】
【００１７】
本発明により、簡易かつメモリ使用量の少ない処理で、符号化情報を用いずに復号画像のみを用いてモスキートノイズの発生位置や強度を検出し、その検出結果に基づいて効果的にノイズを除去する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る画像処理の概要を説明するための図である。
【図２】実施の形態１に係る画像処理の復号画像及び出力画像の例である。
【図３】実施の形態１に係る画像処理装置１の概略構成を示す図である。
【図４】実施の形態１に係るローカル特徴量生成部１０の構成を示す図である。
【図５】実施の形態１に係る第１ローカル特徴量生成部１１の構成を示す図である。
【図６】実施の形態１に係る方向インデクスｋを説明するための図である。
【図７】実施の形態１に係る第１ローカル特徴量をそれぞれ画像化したものの例である。
【図８】実施の形態１に係るマスク値Ｂmaskの例である。
【図９】実施の形態１に係る第２ローカル特徴量生成部１２の構成を示す図である
【図１０】実施の形態１に係る第２ローカル特徴量をそれぞれ画像化したものの例である。
【図１１】実施の形態１に係る重み関数の例である。
【図１２】実施の形態１に係るノイズ評価値Ｅを画像化したものの例である。
【図１３】実施の形態１に係る混合率Ｒに関する重み関数の例である。
【図１４】実施の形態１に係る混合率Ｒを画像化したものの例である。
【図１５】実施の形態１に係るバイラテラルフィルタによるフィルタ処理の例である。
【図１６】実施の形態１に係る画像処理装置１による出力画像の例である。
【図１７】実施の形態２に係る画像処理装置２０１の概略構成を示す図である。
【図１８】実施の形態２に係るグローバル特徴量生成部２６０の構成を示す図である。
【図１９】実施の形態２に係る重み関数ｗtxの例である。
【図２０】実施の形態３に係る画像処理装置３０１の一部分の概略構成を示す図である。
【図２１】実施の形態３に係る重み関数ｗnsの例である。
【図２２】実施の形態４に係る画像処理装置４０１の一部分の概略構成を示す図である。
【図２３】実施の形態４に係る静止エッジ画素値Ｂstillの算出手順を示すフローチャートである。
【図２４】実施の形態４に係るサブタイトル出現位置の例である。
【図２５】実施の形態４に係るサブタイトル特徴量Ｆstに関する重み関数ｗstの例である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して各実施の形態に係る画像処理装置、画像処理方法又は画像処理プログラムについて説明する。
なお、本明細書で説明する「画像」には、「静止画像」及び「動画像（映像）」が含まれる。
【００２０】
（実施の形態１）
まず、本実施の形態１に係る、モスキートノイズを検出し除去する画像処理について、その概要を説明する。
【００２１】
図１は、本実施の形態１に係る画像処理の概要を説明するための図である。
入力画像は、デジタルカメラやデジタルビデオカメラなどの撮像機器により取得した圧縮前のデジタル画像データである。送信側では、入力画像を伝送又は蓄積するために、所望のデータ量に収まるように圧縮符号化し、送信又は蓄積する。
【００２２】
受信側では、圧縮符号化された画像データを受信し、復号して復号画像を生成する。デジタルテレビは、通常、復号装置を内部に備えており、受信・復号して表示するまでの処理を全て機器内で行うことが可能である。一方、セットトップボックス（ＳＴＢ）やハードディスクレコーダー（ＨＤＤ）などから映像信号のみをＨＤＭＩケーブルなどを介して取得して表示することもある。
【００２３】
本実施の形態１に係る画像処理では、復号画像を取得してから出力画像を表示するまでの処理を表示機器内部で行うものとする。また、取得した復号画像に対して表示機器内部の画像処理装置でモスキートノイズを検出して除去し、補正した画像を出力画像として表示する。
【００２４】
本実施の形態１に係る画像処理では、復号画像は、輝度成分（Ｙ）と２つの色差成分（Ｃｂ，Ｃｒ）との３つの成分から成るＹＣｂＣｒ表色系で表されるものとし、各成分の１画素は８ビット（０以上２５５以下の整数値）で表現されるものとする。
【００２５】
図２は、本実施の形態１に係る画像処理の復号画像及び出力画像の例である。
復号画像では、圧縮符号化により、エッジ周辺（例えば、番組テロップのような文字の周辺）にモヤモヤと蚊が飛ぶように見えるモスキートノイズが発生している。これに対し、出力画像では当該モスキートノイズが除去されて、クリアな画像が得られている。
【００２６】
図３は、本実施の形態１に係る画像処理装置１の概略構成を示す図である。
画像処理装置１は、復号画像を入力し、補正して、出力画像を出力する。このために、画像処理装置１は、ローカル特徴量生成部１０、評価値生成部２０、混合率生成部３０、フィルタ処理部４０、画像混合処理部５０などを備えている。
【００２７】
ローカル特徴量生成部１０は、復号画像を入力し、予め決められた範囲内（例えば、１５×１５画素の局所領域）の画素のみを用いて、モスキートノイズの発生可能性及び視認性を特定するための局所的な（ローカルな）画像特徴量である複数のローカル特徴量を生成し、評価値生成部２０に出力する。
【００２８】
評価値生成部２０は、複数のローカル特徴量を取得し、これらを重み付けし、統合することにより、モスキートノイズの発生可能性及び視認性を表すノイズ評価値を一画素毎に算出し、混合率生成部３０に出力する。
【００２９】
混合率生成部３０は、ノイズ評価値を取得し、後述する平滑化画像と復号画像を混合するための混合率を生成し、画像混合処理部５０に出力する。
フィルタ処理部４０は、復号画像を入力し、エッジ保存型平滑化フィルタ（例えば、バイラテラルフィルタ、イプシロンフィルタなど）により復号画像を平滑化し、平滑化画像を画像混合処理部５０に出力する。
【００３０】
画像混合処理部５０は、復号画像、混合率、平滑化画像を入力し、復号画像と平滑化画像とを混合率に従って混合することにより、モスキートノイズを除去した出力画像を生成して出力する。
【００３１】
なお、画像処理装置１が実現する各構成要素は、例えば、コンピュータである画像処理装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。
【００３２】
より具体的には、画像処理装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００３３】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像処理装置１に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００３４】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３５】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像処理装置１に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを画像処理装置１に供給できる。
【００３６】
次に、本実施の形態１に係る画像処理装置１の各構成について、詳細に説明する。
図４は、本実施の形態１に係るローカル特徴量生成部１０の構成を示す図である。
ローカル特徴量生成部１０は、復号画像を入力して、複数のローカル特徴量を出力する。このために、ローカル特徴量生成部１０は、第１ローカル特徴量生成部１１、第２ローカル特徴量生成部１２などを備える。
【００３７】
図５は、本実施の形態１に係る第１ローカル特徴量生成部１１の構成を示す図である。
第１ローカル特徴量生成部１１は、復号画像の輝度値Ｙ（本実施の形態１では輝度成分のみを使用する）を取得し、第１ローカル特徴量であるマスク値Ｂmask、標準偏差値Ｖstdv、エッジ画素値Ｂedge、フラット画素値Ｂflat、隣接画素差分絶対値和Ｖsad1、微小変動画素値Ｂsmall、隣接画素２次差分絶対値和Ｖsad2を出力する。
なお、ここでは、画素値の分散値、標準偏差値Ｖstdv、隣接画素差分絶対値和Ｖsad1又は隣接画素２次差分絶対値和Ｖsad2を基本特徴量と呼んでも良い。
【００３８】
ここで、Ｖは多値、Ｂは２値（０又は１）であることを意味する。出力する単位は、注目画素を中心とした予め指定した大きさの局所領域（例えば、１５×１５画素）とし、局所領域内の一画素に対して一つの値を持つベクトルとして出力する。ソフトウェアで実現する場合には、マスク値Ｂｍａｓｋ以外の特徴量の予め全ての画素に対する値を計算して保存しておき、後述する第２ローカル特徴量で使用する領域のみを読み込んで使用するようにしても良い。
【００３９】
このために、第１ローカル特徴量生成部１１は、標準偏差算出部１１１、エッジ画素生成部１１２、フラット画素生成部１１３、隣接画素差分絶対値和算出部１１４、隣接画素２次差分絶対値和算出部１１５、微小変動画素生成部１１６、局所一様領域マスク生成部１１７などを備える。
【００４０】
以下、第１ローカル特徴量生成部１１の各構成と各特徴量の算出方法とについて説明する。ここでは、復号画像内における注目画素の座標を（ｘ,ｙ）、当該注目画素の輝度値をＹ（ｘ,ｙ）とする。
【００４１】
標準偏差算出部１１１は、次の式（１）に従って標準偏差値Ｖstdvを算出する。
【数１】
2017130709.tif 000003
【００４２】
ここでは、演算コスト削減のために簡易的に絶対値による近似的な標準偏差を用いたが、二乗の平方根による通常の標準偏差を用いても良いし、平方根の計算を削減するために分散値を用いても良い。ただし、標準偏差値Ｖstdvはその算出方法が異なると、値のとりうる範囲が異なるため、算出方法に応じて後述するエッジ画素値Ｂedgeやフラット画素値Ｂflatを算出する際の閾値を調整する必要がある。また、ここでは注目画素を中心とした３×３画素の領域の標準偏差を用いたが、５×５画素や７×７画素などの領域を用いても良い。
【００４３】
エッジ画素生成部１１２は、次の式（２）に従ってエッジ画素値Ｂedgeを算出する。ここで、Ｔedgeは、閾値を示す。
【数２】
2017130709.tif 000004
【００４４】
フラット画素生成部１１３は、次の式（３）に従ってフラット画素値Ｂflatを算出する。ここで、Ｔflatは、閾値を示す。
【数３】
2017130709.tif 000005
【００４５】
隣接画素差分絶対値和算出部１１４は、次の式（４）に従って隣接画素差分絶対値和Ｖsad1を算出する。
【数４】
2017130709.tif 000006
ここでは、方向インデクスｋを用いる。
図６は、本実施の形態１に係る方向インデクスｋを説明するための図である。
【００４６】
隣接画素２次差分絶対値和算出部１１５は、次の式（５）に従って隣接画素２次差分絶対値和Ｖsad2を算出する。ここでも、ｋは方向インデクスを示し、図６に従う。
【数５】
2017130709.tif 000007
【００４７】
微小変動画素生成部１１６は、次の式（６）に従って微小変動画素値Ｂsmallを算出する。ここで、Ｔhigh、Ｔlowはそれぞれ上限・下限の閾値を示す。
【数６】
2017130709.tif 000008
【００４８】
図７は、本実施の形態１に係る第１ローカル特徴量（マスク値Ｂmaskを除く）をそれぞれ画像化したものの例である。左上は参照のための復号画像である。２値データのＢは０を黒、１を白で示し、多値データのＶは、値が０のときを黒として、値が大きくなるに従って白になるようなグレースケールで示している。
【００４９】
局所一様領域マスク生成部１１７は、輝度値Ｙ及び標準偏差値Ｖstdvを用いて、次の式（７）によりマスク値Ｂmaskを算出する。注目画素（ｘ，ｙ）を中心とする１５×１５画素を局所領域とする場合は、局所領域内の注目画素（ｘ，ｙ）以外の画素である周辺画素の座標（ｉ，ｊ）は、それぞれ−７から７の値をとる。
【００５０】
ここで、Ｔmaskはｗmaskに対する閾値を、sは位置を、||ｘ||はユークリッド距離をそれぞれ示す。また、Ｇσは標準偏差σのガウス分布を示し、Ｇσ（ｘ）＝ｅｘｐ（−ｘ／２σ２）で示される。σs、σr、σdは、それぞれのガウス分布の標準偏差を決めるパラメータである。
【数７】
2017130709.tif 000009
図８は、本実施の形態１に係るマスク値Ｂmaskの例である。左の４図は４種類の局所領域画像を示し、中央の４図は各局所領域画像に基づいて算出した重みｗmaskを示し、右の４図は各局所領域画像に基づいて算出したマスク値Ｂmaskを示す。マスク値Ｂmaskが０の画素を黒く塗りつぶしている。
【００５１】
重みｗmaskは、空間位置、輝度値、標準偏差値の３つの次元で注目画素と類似する画素で大きな値となり、これを閾値処理したマスク値Ｂmaskによって、エッジを超えない局所的に一様な領域（以下、「局所一様領域」という。）を選択することが可能となる。
【００５２】
つまり、局所一様領域とは、所定の大きさ（例えば、１５×１５画素など）の局所領域において、局所領域の注目画素（中心画素）との空間位置、輝度値、分散値の類似度が高いほど大きい値となる重みを画素毎に算出し、当該重みが所定の閾値以上である画素で占められる領域のことをいう。
【００５３】
具体的には、図８では、注目画素と類似度が高く、マスク値Ｂmaskが１になっている領域が局所一様領域である。局所一様領域を用いることにより、例えば、次の第２ローカル特徴量生成部１２で算出するフラット画素数特徴量などの各ローカル特徴量の信頼性を向上させることができる。
【００５４】
図９は、本実施の形態１に係る第２ローカル特徴量生成部１２の構成を示す図である。
第２ローカル特徴量生成部１２は、第１ローカル特徴量生成部１１が出力した各特徴量を取得し、エッジ強度特徴量Ｆes、エッジ画素数特徴量Ｆec、相対的フラット画素数特徴量Ｆrc、フラット画素数特徴量Ｆfc、微小変動強度特徴量Ｆms、微小変動画素数特徴量Ｆmc、微小変動分散特徴量Ｆmvを算出して出力する。第２ローカル特徴量生成部１２は、各注目画素に対して各特徴量をそれぞれ１つずつ算出して出力する。
【００５５】
このために、第２ローカル特徴量生成部１２は、エッジ強度特徴量生成部１２１、エッジ画素数特徴量生成部１２２、フラット画素数特徴量生成部１２３、微小変動強度特徴量生成部１２４、微小変動画素数特徴量生成部１２５、微小変動分散特徴量生成部１２６、相対的フラット画素数特徴量生成部１２７などを備える。
【００５６】
以下、第２ローカル特徴量生成部１２の各構成と各特徴量の算出方法とについて説明する。ここでも、復号画像内における注目画素の座標を（ｘ，ｙ）、当該注目画素の輝度値をＹ（ｘ，ｙ）とする。また、局所領域のサイズを１５×１５画素とし、注目画素（ｘ，ｙ）の周辺画素の座標（ｉ，ｊ）は、それぞれ−７から７の値をとるものとする。
【００５７】
エッジ強度特徴量生成部１２１は、次の式（８）に従ってエッジ強度特徴量Ｆesを算出する。
【数８】
2017130709.tif 000010
【００５８】
エッジ画素数特徴量生成部１２２は、次の式（９）に従ってエッジ画素数特徴量Ｆecを算出する。
【数９】
2017130709.tif 000011
【００５９】
フラット画素数特徴量生成部１２３は、次の式（１０）に従ってフラット画素数特徴量Ｆfcを算出する。
【数１０】
2017130709.tif 000012
【００６０】
微小変動強度特徴量生成部１２４は、次の式（１１）に従って微小変動強度特徴量Ｆmsを算出する。
【数１１】
2017130709.tif 000013
【００６１】
微小変動画素数特徴量生成部１２５は、次の式（１２）に従って微小変動画素数特徴量Ｆmcを算出する。
【数１２】
2017130709.tif 000014
【００６２】
微小変動分散特徴量生成部１２６は、次の式（１３）に従って微小変動分散特徴量Ｆmvを算出する。
【数１３】
2017130709.tif 000015
【００６３】
相対的フラット画素数特徴量生成部１２７は、次の式（１４）に従って相対的フラット画素数特徴量Ｆrcを算出する。
【数１４】
2017130709.tif 000016
【００６４】
ここで、閾値Ｔrelfは、相対係数であり、０．０から１．０までの値をとる。相対係数は、局所一様領域の平均標準偏差aveＶstdvが局所領域の各周辺画素の標準偏差Ｖstdvに対してフラットであるとみなす比率を決める値である。
【００６５】
また、相対的フラット画素数特徴量Ｆrcとは、局所一様領域の平均標準偏差aveＶstdvが各周辺画素の標準偏差Ｖstdvに相対係数を乗じた値より小さい場合に注目画素が周辺画素よりもフラットであるとしてカウントした値となる。
【００６６】
局所一様領域の平均標準偏差aveＶstdvの代わりに、注目画素の標準偏差Ｖstdvを用いることもできるが、注目画素に類似する画素で構成される局所一様領域の平均標準偏差aveＶstdvを用いた方が、注目画素に何らかのノイズが乗っているような画像でも、精度良く相対的フラット画素数特徴量Ｆrcを算出することができる。
【００６７】
周辺に字幕などの標準偏差Ｖstdvが大きいエッジを含む領域では、ノイズやテクスチャがあっても、局所一様領域の平均標準偏差aveＶstdvがエッジの標準偏差Ｖstdvよりも十分小さければ相対的フラット画素数特徴量Ｆrcは大きい値となる。
【００６８】
また、周辺に薄い文字のように標準偏差Ｖstdvが小さいエッジを含む領域でも、局所一様領域の平均標準偏差aveＶstdvがエッジの標準偏差Ｖstdvよりも十分小さければ、相対的フラット画素数特徴量Ｆrcは大きい値となる。
【００６９】
相対的フラット画素数特徴量Ｆrcを算出することにより、エッジの強度に対する相対的なノイズ強度の関係に基づいてノイズの視認性を考慮したモスキートノイズ領域を検出することができる。
【００７０】
図１０は、本実施の形態１に係る第２ローカル特徴量をそれぞれ画像化したものの例である。左上は参照のための復号画像である。値が０のときを黒として、値が大きくなるに従って白になるようなグレースケールで示している。
【００７１】
図３に示した評価値生成部２０は、ローカル特徴量生成部１０から取得した複数のローカル特徴量を重み付け統合することにより、ノイズ評価値Ｅを算出する。
ここでは、第２のローカル特徴量のうち、エッジ強度特徴量Ｆes、エッジ画素数特徴量Ｆec、相対的フラット画素数特徴量Ｆrcをローカル主要特徴量と呼び、フラット画素数特徴量Ｆfc、微小変動強度特徴量Ｆms、微小変動画素数特徴量Ｆmc、微小変動分散特徴量Ｆmvをローカル補助特徴量と呼ぶ。
【００７２】
まず、評価値生成部２０は、ノイズ評価値Ｅに初期値Ｅ０を設定する（Ｅ = Ｅ０）。ここでは、ノイズ評価値Ｅが０〜１の範囲をとるものとし、初期値Ｅ０を０．５とする。
【００７３】
次に、評価値生成部２０は、３つのローカル主要特徴量を用いて、次の式（１５）に従って、第１評価値Ｅmを算出する。
【数１５】
2017130709.tif 000017
ここで、ｗ（ ）は重み関数であり、予め設定した重み関数に基づいてローカル主要特徴量を０〜１の範囲の重み係数ｗ（Ｆ（ｘ，ｙ））に変換する。各特徴量の重み関数については後述する。
【００７４】
次に、評価値生成部２０は、４つのローカル補助特徴量を用いて次の式（１６）に従って、第２評価値Ｅsを算出する。
【数１６】
2017130709.tif 000018
【００７５】
最後に、評価値生成部２０は、エッジ上のノイズ評価値Ｅを低く抑えるために、標準偏差Ｖstdvに基づく重み係数ｗstdv（Ｖstdv（ｘ，ｙ））を乗じて最終的なノイズ評価値Ｅを次の式（１７）により算出する。
【数１７】
2017130709.tif 000019
【００７６】
以上の処理により、評価値生成部２０は、複数のローカル特徴量から一画素毎にノイズ評価値Ｅを算出することができる。
【００７７】
図１１は、本実施の形態１に係る重み関数の例である。
ローカル主要特徴量の重み係数は、特徴量が大きくなると重み係数が大きくなるよう設計する。ローカル補助特徴量の重み係数は、特徴量が所定の範囲内で重み係数が大きくなるように、所定の範囲外で重み係数が小さくなるように設計する。標準偏差の重み係数は、標準偏差が大きくなると重み係数が小さくなるように設計する。
【００７８】
図１２は、本実施の形態１に係るノイズ評価値Ｅを画像化したものの例である。
ノイズ評価値Ｅは０．０〜０．７５の値となり、０が黒、０．７５が白となるように画像を正規化して表示している。ノイズ評価値Ｅの最大値が０．７５となるようにしたのは、後述する実施の形態３に係るサブタイトル特徴量を含めたときに当該最大値が１．０となるようにするためである。
【００７９】
混合率生成部３０は、ノイズ評価値Ｅを取得し、後述する画像混合処理部５０で用いる混合率Ｒを生成する。混合率Ｒは次の式（１８）により算出する。
【数１８】
2017130709.tif 000020
【００８０】
ここで、ｗratio（ ）は混合率Ｒに関する重み関数であり、この重み関数に基づいてノイズ評価値Ｅを０．０〜１．０の範囲の混合率Ｒに変換する。この重み関数は、下限値以下で０．０、上限値以上で１．０となり、その間の値が０．０〜１．０の単調増加になるように設定する。
【００８１】
図１３は、本実施の形態１に係る混合率Ｒに関する重み関数の例である。
また、図１４は、本実施の形態１に係る混合率Ｒを画像化したものの例である。左のノイズ評価値Ｅの画像に対して、図１３に示した重み関数を用いて算出した混合率Ｒを画像化したものである。
【００８２】
フィルタ処理部４０は、復号画像を入力し、エッジ保存型平滑化フィルタ（例えば、バイラテラルフィルタ、イプシロンフィルタなど）によって平滑化処理を行い、平滑化画像を出力する。復号画像の輝度値Ｙ、フィルタ処理後の輝度値ｆ［Ｙ］、画像内の注目画素の位置ｐ、位置ｐを中心とした領域内の位置ｑを用いて、バイラテラルフィルタは次の式（１９）で表すことができる。
【数１９】
2017130709.tif 000021
【００８３】
ここで、関数Ｇσは標準偏差σのガウス分布を表すものである。また、重み係数ｗp,qは、位置ｐと位置ｑとのユークリッド距離及び輝度差の絶対値に基づいて定まる。正規化係数Ｗpは、領域Ω内の重みの和が１になるようにするものである。
【００８４】
図１５は、本実施の形態１に係るバイラテラルフィルタによるフィルタ処理の例である。領域（ａ）（ｂ）について、復号画像及び平滑化画像をそれぞれ示している。
領域（ａ）では、フィルタ処理前の復号画像に発生している文字周辺のモスキートノイズが、フィルタ処理後の平滑化画像ではエッジを保存したまま除去できている。一方、領域（ｂ）では、フィルタ処理前の木のテクスチャが、フィルタ処理後に消失してしまっている。つまり、画像全体に平滑化を施した平滑化画像では、ノイズだけでなく、テクスチャなどの重要な画像構造をも消失してしまう。
【００８５】
画像混合処理部５０は、復号画像の輝度値Ｙ、フィルタ処理部で生成した平滑化画像の輝度値ｆ［Ｙ］、混合率生成部で生成した混合率Ｒを取得し、次の式（２０）に従って復号画像と平滑化画像とを混合率Ｒに従って混合することによってノイズを除去した出力画像Ｙｏｕｔを生成・出力する。
【数２０】
2017130709.tif 000022
【００８６】
図１６は、本実施の形態１に係る画像処理装置１による出力画像の例である。領域（ａ）（ｂ）について、復号画像、平滑化画像及び出力画像をそれぞれ示している。
従来技術では、領域（ａ）のような木（テクスチャ）と空（フラット）との境界（エッジ）において、木のテクスチャをノイズと誤検出してしまい、テクスチャを誤って平滑化してしまう問題があった。また、領域（ｂ）の下の文字のような薄い文字周辺のモスキートノイズを検出できない問題があった。また、領域（ｂ）の上の文字のように、文字が密集した間にモスキートノイズが発生している場合に、文字間にフラット領域がないため、モスキートノイズを検出できない問題があった。
【００８７】
本実施の形態１に係る出力画像では、これらの問題を解決して、モスキートノイズを効果的に、少ない副作用で除去できている。
【００８８】
このように、本実施の形態１に係る画像処理装置１又は画像処理方法では、復号画像のみから算出されるエッジ、相対フラット、フラット、微小変動などの複数のローカル特徴量を重み付け統合することでモスキートノイズの発生可能性及び視認性を考慮したノイズ評価値Ｅを一画素毎に算出し、ノイズ評価値Ｅに基づいて平滑化強度を適応的に制御する。
【００８９】
これにより、テクスチャなどノイズ以外の画像構造を保持したまま、エッジが複雑に入り組んだ文字の間や強度が弱いエッジの周辺などの従来技術では検出困難であった状況でもモスキートノイズを検出し、平滑化による過剰なぼけなどの副作用を低減しながら人間が見た目に知覚しやすいモスキートノイズを効果的に適切に除去することができる。
【００９０】
また、複数のローカル特徴量は、複雑なエッジ検出などの前処理を必要とせず、かつ、１５×１５画素などの局所領域画素のみを用いた簡易な処理で算出可能であるため、メモリ使用量も少なくて済み、比較的小さい回路規模のハードウェアで実現可能であり、製品コストを抑えることもできる。
【００９１】
以上、説明したように、本実施の形態１に係る画像処理装置１は、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量Ｆrcを少なくとも含む複数のローカル特徴量を生成するローカル特徴量生成部１０と、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値Ｅを算出する評価値生成部２０と、ノイズ評価値Ｅに基づいて混合率Ｒを生成する混合率生成部３０と、復号画像の平滑化画像を生成するフィルタ処理部４０と、復号画像と平滑化画像とを混合率Ｒに基づいて混合し、出力画像を生成する画像混合処理部５０とを備えるものである。
【００９２】
このような構成により、簡易かつメモリ使用量の少ない処理で、符号化情報を用いずに復号画像のみを用いてモスキートノイズの発生位置や強度を検出し、その検出結果に基づいて効果的にノイズを除去することができる。
【００９３】
また、本実施の形態１に係る画像処理装置１は、ローカル特徴量生成部１０が、複数のローカル特徴量を、基本特徴量である局所領域内の画素値の分散値、画素値の標準偏差値Ｖstdv又は隣接画素差分絶対値Ｖsadの少なくとも一つに基づいてそれぞれ算出することが好ましい。
このような構成により、より簡易かつメモリ使用量の少ない処理で、ノイズを除去することができる
【００９４】
また、本実施の形態１に係る画像処理装置１は、ローカル特徴量生成部１０が、相対的フラット画素数特徴量Ｆrcを生成するときに、中心画素との空間位置、輝度値又は画素値の分散値の類似度が所定値以上である局所領域中の画素の基本特徴量の平均値と、個々の周辺画素の基本特徴量とを比較することが好ましい。
このような構成により、中心画素にノイズが乗っているような復号画像でも、モスキートノイズの発生位置や強度を検出することができる。
【００９５】
また、本実施の形態１に係る画像処理装置１は、複数のローカル特徴量が、局所領域内のエッジ画素の基本特徴量の平均値であるエッジ強度特徴量Ｆes又は局所領域のエッジ画素数特徴量Ｆecの少なくとも一つを更に含むことが好ましい。
このような構成により、モスキートノイズの発生位置や強度をより正確に検出することができる。
【００９６】
また、本実施の形態１に係る画像処理装置１は、複数のローカル特徴量が、基本特徴量が、０よりも大きい下限値と、上限値との間に入る微小変動画素に係る特徴量Ｆms、Ｆmc、Ｆmvを更に含むことが好ましい。
このような構成により、モスキートノイズの発生位置や強度をより正確に検出することができる。
【００９７】
また、本実施の形態１に係る画像処理方法は、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量Ｆrcを少なくとも含む複数のローカル特徴量を生成するステップと、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値Ｅを算出するステップと、ノイズ評価値Ｅに基づいて混合率Ｒを生成するステップと、復号画像の平滑化画像を生成するステップと、復号画像と平滑化画像とを混合率Ｒに基づいて混合し、出力画像を生成するステップとを有するものである。
【００９８】
また、本実施の形態１に係る画像処理プログラムは、コンピュータに、復号画像の局所領域の中心画素が局所領域の個々の周辺画素よりも平坦である場合の周辺画素の数を示す相対的フラット画素数特徴量Ｆrcを少なくとも含む複数のローカル特徴量を生成する手順と、複数のローカル特徴量を重み付け統合して復号画像の画素毎のノイズ評価値Ｅを算出する手順と、ノイズ評価値Ｅに基づいて混合率Ｒを生成する手順と、復号画像の平滑化画像を生成する手順と、復号画像と平滑化画像とを混合率Ｒに基づいて混合し、出力画像を生成する手順とを実行させるためのものである。
【００９９】
（実施の形態２）
実施の形態１に係る画像処理装置又は画像処理方法では、ローカル特徴量を重み付け統合してノイズ評価値Ｅを算出したが、本実施の形態２に係る画像処理装置又は画像処理方法では、ローカル特徴量と後述するグローバル特徴量とを重み付け統合してノイズ評価値Ｅを算出する。
【０１００】
ローカル特徴量は、復号画像における局所領域の輝度値のみを用いて算出するため、静止画像又は動画像の１フレームのみを用いて算出するが、グローバル特徴量は、動画像に対して使用する特徴量であり、時間的に前のフレームのローカル特徴量又はその統計量に基づいて算出する。
ここでは、処理対象のフレームの撮像時刻をtとし、その直前のフレームの撮像時刻をｔ−１とする。
【０１０１】
図１７は、本実施の形態２に係る画像処理装置２０１の概略構成を示す図である。
画像処理装置２０１は、ローカル特徴量生成部２１０、評価値生成部２２０、混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０、グローバル特徴量生成部２６０などを備えている。ローカル特徴量生成部２１０、混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０は実施の形態１に係るものと同様の構成を有し、同様に動作するため、ここではその説明を省略する。
【０１０２】
図１８は、本実施の形態２に係るグローバル特徴量生成部２６０の構成を示す図である。
グローバル特徴量生成部２６０は、色情報（ＹＣｂＣｒ）を含む復号画像と、ローカル特徴量生成部２１０から出力されるエッジ画素数特徴量Ｆec及び微小変動画素数特徴量Ｆmcとを入力し、グローバル特徴量としてのテクスチャ特徴量Ｆtxを生成し、評価値生成部２２０に出力する。
【０１０３】
このため、グローバル特徴量生成部２６０は、色変換部２６１、色クラス分類部２６２、色別テクスチャ確率生成部２６３、遅延器２６４、テクスチャ特徴量生成部２６５などを備える。
【０１０４】
色変換部２６１は、時刻ｔ−１の復号画像を入力すると、ＹＣｂＣｒ表色系からＨＳＶ表色系への一般的な色変換式に従って色相Ｈ及び彩度Ｓを算出し、ＹＣｂＣｒの輝度Ｙを用いて、ＹＣｂＣｒ表色系をＨＳＹ表色系に変換して色クラス分類部２６２に出力する。
【０１０５】
色クラス分類部２６２は、色相Ｈ、彩度Ｓ及び輝度Ｙの値に基づいて各画素を色クラスに分類する。本実施の形態２では、輝度ＹがＴdark ≦ Ｙ ≦ Ｔbrightの範囲内に収まる画素に対して、彩度Ｓの値が閾値Ｔsat以上を有彩色、Ｔsat未満を無彩色とする。また、有彩色は、０〜２５５の８ビットで表現した色相Ｈを定数ＱHで量子化した値をクラス値Ｃとする。同様に、無彩色は、０〜２５５の８ビットで表現した輝度Ｙを定数ＱYで量子化した値をクラス値Ｃとする。
【０１０６】
このように、色を量子化することによって、隣接画素が同じクラスに分類されやすくなり、テクスチャ特徴量Ｆtxの空間的変動を抑制できるとともに、後述するヒストグラムのビン数が少なくなり、ヒストグラムを保存するメモリ容量を削減することができる。
色クラス分類部２６２は、クラス値Ｃを色別テクスチャ確率生成部２６３及びテクスチャ特徴量生成部２６５に出力する。
【０１０７】
色別テクスチャ確率生成部２６３は、エッジ画素数特徴量Ｆec及び微小変動画素数特徴量Ｆmcを用いて各色クラス値Ｃに対するテクスチャ確率Ｐtextureを計算する。
【０１０８】
まず、色別テクスチャ確率生成部２６３は、次の式（２１）に従ってテクスチャ画素値Ｂtextureを算出する。ここで、Ｔec及びＴmcは閾値を示す。
【数２１】
2017130709.tif 000023
【０１０９】
次に、色別テクスチャ確率生成部２６３は、座標（ｘ，ｙ）、色クラス値Ｃの画素のテクスチャ画素値をＢtexture（ｘ，ｙ，Ｃ）とし、テクスチャ確率を求める領域の大きさをＮ×Ｍ画素として、次の式（２２）に従って、色クラス値Ｃ毎にテクスチャ画素値のヒストグラムを作成し、それを領域の大きさで除して、色クラス値Ｃ毎のテクスチャ確率Ｐtextureを算出する。なお、テクスチャ確率Ｐtextureを算出する領域は復号画像全体であっても良いし、画像を所定の大きさのブロックに分割し、ブロック毎にテクスチャ確率Ｐtextureを算出しても良い。
【数２２】
2017130709.tif 000024
【０１１０】
遅延器２６４は、時刻ｔ−１で算出した色別のテクスチャ確率Ｐtextureを、時刻ｔにおけるテクスチャ特徴量生成部２６５で使用するためにバッファに保存する。
一方、時刻ｔの復号画像を入力すると、同様に色変換部２６１においてＨＳＹを生成し、色クラス分類部２６２で画素毎に色クラス値Ｃを算出する。
【０１１１】
テクスチャ特徴量生成部２６５は、時刻ｔの復号画像の注目画素の色クラス値Ｃについて、時刻ｔ−１の復号画像の色クラス値Ｃに対して算出したテクスチャ確率Ｐtexture（Ｃ）を参照し、このテクスチャ確率Ｐtexture（Ｃ）を時刻ｔの復号画像の注目画素のテクスチャ特徴量Ｆtxとして出力する。
【０１１２】
図１７に示した評価値生成部２２０は、ローカル特徴量生成部２１０から取得した複数のローカル特徴量と、グローバル特徴量であるテクスチャ特徴量Ｆtxとを重み付け統合して、ノイズ評価値Ｅを算出する。
【０１１３】
評価値生成部２２０は、式（１６）の第２評価値Ｅｓに対して、次の式（２３）に従ってテクスチャ特徴量Ｆtxを統合し、第３評価値Ｅgを算出する。
【数２３】
2017130709.tif 000025
ここで、ｗtx（ ）は、テクスチャ特徴量Ｆtxに関する重み関数である。
【０１１４】
図１９は、本実施の形態２に係る重み関数ｗtxの例である。
重み関数ｗtxは、特徴量が大きくなると重み係数が大きくなるように設計する。ただし、式（２３）では第２評価値Ｅｓから重み係数ｗtx（Ｆtx（ｘ，ｙ））を減算するため、テクスチャ特徴量Ｆtxが大きくなるほど第３評価値Ｅgは小さくなる。
【０１１５】
最後に、評価値生成部２２０は、式（１７）と同様に、エッジ上のノイズ評価値Ｅを低く抑えるために、標準偏差Ｖstdvに基づく重み係数ｗstdv（Ｖstdv（ｘ，ｙ））を乗じて最終的なノイズ評価値Ｅを次の式（２４）により算出する。
【数２４】
2017130709.tif 000026
【０１１６】
このように、本実施の形態２に係る画像処理装置２０１又は画像処理方法では、複数のローカル特徴量及びテクスチャ特徴量Ｆtxから一画素毎にノイズ評価値Ｅを算出することができる。
【０１１７】
これにより、ローカル特徴量ではノイズとテクスチャとの区別が難しかった領域においてもテクスチャの誤検出を抑制し、誤ってテクスチャを平滑化してしまう副作用を低減することができる。また、テクスチャ確率Ｐtextureは前のフレームを使用して計算するため、実施の形態１に比べて、メモリ使用量の増加を少なく抑えることができる。また、時刻ｔのテクスチャ特徴量Ｆtxは、１画素単位で求めることができ、ラインバッファなどを必要としないため、ハードウェアコストの増加を抑えることができる。
【０１１８】
以上、説明したように、本実施の形態２に係る画像処理装置２０１は、復号画像よりも時間的に前の復号画像のローカル特徴量に基づいて、グローバル特徴量を生成するグローバル特徴量生成部２６０を更に備え、グローバル特徴量は、テクスチャであることを示すテクスチャ特徴量Ｆtxを含み、評価値生成部２２０は、複数のローカル特徴量とグローバル特徴量とを統合して、ノイズ評価値Ｅを算出することが好ましい。
【０１１９】
このような構成により、ローカル特徴量ではノイズとテクスチャとの区別が難しかった領域においてもテクスチャの誤検出を抑制し、誤ってテクスチャを平滑化してしまう副作用を低減することができる。
【０１２０】
（実施の形態３）
実施の形態２に係る画像処理装置又は画像処理方法では、グローバル特徴量としてテクスチャ特徴量Ｆtxを用いたが、本実施の形態３に係る画像処理装置又は画像処理方法では、グローバル特徴量としてノイズシーン特徴量を用いる。
【０１２１】
図２０は、本実施の形態３に係る画像処理装置３０１の一部分の概略構成を示す図である。
画像処理装置３０１は、ローカル特徴量生成部２１０、評価値生成部３２０、混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０、グローバル特徴量生成部３６０などを備えている。混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０は実施の形態２に係るものと同様の構成を有し、同様に動作するため、ここではその図示及び説明を省略する。
【０１２２】
グローバル特徴量生成部３６０は、復号画像と、ローカル特徴量生成部２１０が算出したフラット画素値Ｂflat（式（３）に示したフラット画素値Ｂflatを算出する際の閾値Ｔflatは、ノイズシーン特徴量を算出するために実施の形態１のものとは異なる値を用いても良い）及びフラット画素数特徴量Ｆecとを取得し、ノイズシーン特徴量Ｆscをグローバル特徴量として評価値生成部３２０に出力する。このため、グローバル特徴量生成部３６０は、符号変化算出部３６１、ノイズシーン特徴量生成部３６２、遅延器３６３などを備える。
【０１２３】
符号変化算出部３６１は、時刻ｔ−１の復号画像を入力すると、各画素に対して水平方向の符号変化画素値ＢＸsc、垂直方向の符号変化画素値ＢＹscを算出し、ノイズシーン特徴量生成部３６２に出力する。水平方向の符号変化画素値ＢＸscは、次の式（２５）に従って算出する。
【０１２４】
【数２５】
2017130709.tif 000027
【０１２５】
垂直方向の符号変化画素値ＢＹscも式（２５）と同様に、Ｙ（ｘ，ｙ＋１）、Ｙ（ｘ，ｙ）、Ｙ（ｘ，ｙ−１）の３画素を用いて算出する。
【０１２６】
ノイズシーン特徴量生成部３６２は、ローカル特徴量生成部２１０から取得したフラット画素数特徴量Ｆfc及びフラット画素値Ｂflatと、符号変化画素値ＢＸsc、ＢＹscとに基づいて、次の式（２６）に従ってノイズシーン特徴量Ｆnsを算出し、遅延器３６３に出力する。ここで、Ｎ、Ｍは復号画像の水平・垂直方向の画素数を示し、Ｔfcは閾値を示す。
【数２６】
2017130709.tif 000028
【０１２７】
式（２６）から分かる通り、ノイズシーン特徴量Ｆnsは、画像全体のフラット領域の符号変化量を表す。従って、１つの画像に対して１つのノイズシーン特徴量Ｆnsが算出される。
遅延器３６３は、時刻ｔ−１のフレームで算出したノイズシーン特徴量Ｆnsを、時刻ｔのフレームで使用できるようにする。
【０１２８】
評価値生成部３２０では、１つの画像内の全ての画素に対して同じノイズシーン特徴量Ｆnsを適用する。評価値生成部３２０は、ローカル特徴量生成部２１０から取得した複数のローカル特徴量とグローバル特徴量であるノイズシーン特徴量Ｆnsとを重み付け統合することにより、ノイズ評価値Ｅを算出し、混合率生成部２３０に出力する。
【０１２９】
具体的には、評価値生成部３２０は、実施の形態１における式（１７）を次の式（２７）のように変更し、ノイズ評価値Ｅを算出する。
【数２７】
2017130709.tif 000029
【０１３０】
ここで、ｗns（ ）は、ノイズシーン特徴量Ｆnsに関する重み関数である。
図２１は、本実施の形態３に係る重み関数ｗnsの例である。
重み関数ｗnsは、ノイズシーン特徴量Ｆnsが大きくなると重み係数ｗns（Ｆns）が小さくなるように設計する。
【０１３１】
このように、評価値生成部３２０は、複数のローカル特徴量とノイズシーン特徴量Ｆnsとから一画素毎にノイズ評価値Ｅを算出する。これにより、ローカル特徴量ではモスキートノイズとの区別が難しかったフィルムグレイン、カメラノイズなどを含むシーンにおいても誤検出を抑制することができ、制作者が意図的に付加したノイズなどを平滑化してしまう副作用やカメラノイズを一部の領域だけ平滑化してしまうことによるムラを低減することができる。
【０１３２】
以上、説明したように、本実施の形態３に係る画像処理装置３０１は、復号画像よりも時間的に前の復号画像のローカル特徴量に基づいて、グローバル特徴量を生成するグローバル特徴量生成部３６０を更に備え、グローバル特徴量は画像のノイズ量を示すノイズシーン特徴量Ｆscを含み、評価値生成部は、複数のローカル特徴量とグローバル特徴量とを統合して、ノイズ評価値Ｅを算出することが好ましい。
【０１３３】
このような構成により、ローカル特徴量ではモスキートノイズとの区別が難しかったフィルムグレイン、カメラノイズなどを含むシーンにおいても誤検出を抑制することができる。
【０１３４】
（実施の形態４）
実施の形態２、３に係る画像処理装置又は画像処理方法では、グローバル特徴量としてテクスチャ特徴量、ノイズシーン特徴量をそれぞれ用いたが、本実施の形態４に係る画像処理装置又は画像処理方法では、グローバル特徴量としてサブタイトル特徴量を用いる。
【０１３５】
図２２は、本実施の形態４に係る画像処理装置４０１の一部分の概略構成を示す図である。
画像処理装置４０１は、ローカル特徴量生成部２１０、評価値生成部４２０、混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０、グローバル特徴量生成部４６０などを備えている。混合率生成部２３０、フィルタ処理部２４０、画像混合処理部２５０は実施の形態２に係るものと同様の構成を有し、同様に動作するため、ここではその図示及び説明を省略する。
【０１３６】
グローバル特徴量生成部４６０は、ローカル特徴量生成部２１０で算出されたエッジ画素値Ｂedge及びエッジ強度特徴量Ｆesを取得し、グローバル特徴量としてサブタイトル特徴量Ｆstを算出し、評価値生成部４２０に出力する。このため、グローバル特徴量生成部４６０は、静止エッジ画素生成部４６１、静止エッジ画素数特徴量生成部４６２、サブタイトル特徴量生成部４６３などを備える。
【０１３７】
静止エッジ画素生成部４６１は、ローカル特徴量生成部２１０からエッジ画素値Ｂedgeを取得し、静止エッジ画素値Ｂstillを算出して、静止エッジ画素数特徴量生成部４６２に出力する。静止エッジ画素生成部４６１は、ある画素位置（ｘ，ｙ）において所定のフレーム数連続してエッジ画素値Ｂedge（ｘ，ｙ）が１となったときに、静止エッジ画素値Ｂstill（ｘ，ｙ）を１とする。
【０１３８】
図２３は、本実施の形態４に係る静止エッジ画素値Ｂstillの算出手順を示すフローチャートである。
静止エッジ画素生成部４６１は、復号画像を入力する（ステップＳ１０）と、入力映像の最初のフレーム、すなわち、先頭フレーム（時刻ｔ＝０）であるか判断する（ステップＳ２０）。先頭フレームであるとき（ステップＳ２０のＹｅｓ）は、全ての画素位置のカウント数ｃｎｔ（ｘ，ｙ）を０に初期化して（ステップＳ３０）、次の手順（ステップＳ４０）に進む。また、先頭フレームでないとき（ステップＳ２０のＮｏ）は、そのまま次の手順（ステップＳ４０）に進む。
【０１３９】
次に、静止エッジ画素生成部４６１は、フレーム画像内の全ての画素位置（ｘ，ｙ）に対して、以下の処理（ステップＳ４０〜ステップＳ９０）を行って、静止エッジ画素値Ｂstill（ｘ，ｙ）を算出する。
【０１４０】
まず、エッジ画素値Ｂedge（ｘ，ｙ）が０であるか判断する（ステップＳ４０）。
エッジ画素値Ｂedge（ｘ，ｙ）が０でないとき、すなわち、エッジ画素値Ｂedge（ｘ，ｙ）が１であるとき（ステップＳ４０のＮｏ）は、カウント数ｃｎｔ（ｘ，ｙ）を１増加させる（ステップＳ５０）。
【０１４１】
さらに、カウント数ｃｎｔ（ｘ，ｙ）が所定の閾値Ｔcnt以上であるか判断する（ステップＳ６０）。
カウント数ｃｎｔ（ｘ，ｙ）が所定の閾値Ｔcnt以上であるとき（ステップＳ６０のＹｅｓ）は、静止エッジ画素値Ｂstill（ｘ，ｙ）を１とする（ステップＳ７０）。閾値Ｔcntは、何フレームか連続してエッジが発生しているときに「エッジが静止している」とみなすための値である。
【０１４２】
また、カウント数ｃｎｔ（ｘ，ｙ）が所定の閾値Ｔcnt未満であるとき（ステップＳ６０のＮｏ）は、静止エッジ画素値Ｂstill（ｘ，ｙ）を０とする（ステップＳ８０）。
【０１４３】
一方、エッジ画素値Ｂedge（ｘ，ｙ）が０であるとき（ステップＳ４０のＹｅｓ）は、静止エッジ画素値Ｂstill（ｘ，ｙ）を０とするとともに、カウント数ｃｎｔ（ｘ，ｙ）を０にリセットする（ステップＳ９０）。
【０１４４】
そして、静止エッジ画素生成部４６１は、フレーム画像内の全ての画素位置（ｘ，ｙ）に対して静止エッジ画素値Ｂstill（ｘ，ｙ）を算出した（ステップＳ４０〜ステップＳ９０）後に、静止エッジ画素値Ｂstill（ｘ，ｙ）を静止エッジ画素数特徴量生成部４６２に出力する。
【０１４５】
次に、静止エッジ画素生成部４６１は、最後のフレームか判断する（ステップＳ１１０）。最後のフレームでないとき（ステップＳ１１０のＮｏ）は、ステップＳ１０に戻る。また、最後のフレームであるとき（ステップＳ１１０のＹｅｓ）は、処理を終了する。
このようにして、静止エッジ画素生成部４６１は、時刻ｔにおける静止エッジ画素値Ｂstill（ｘ，ｙ）を算出することができる。
【０１４６】
静止エッジ画素数特徴量生成部４６２は、静止エッジ画素値Ｂstill（ｘ，ｙ）を取得し、次の式（２８）に従って静止エッジ画素数特徴量Ｆse（ｘ，ｙ）を算出し、サブタイトル特徴量生成部４６３に出力する。本実施の形態４では、実施の形態１と同様に、局所領域のサイズを１５×１５画素とし、注目画素（ｘ，ｙ）の周辺画素の座標（ｉ，ｊ）は、−７から７の値をとるものとする。
【数２８】
2017130709.tif 000030
【０１４７】
サブタイトル特徴量生成部４６３は、静止エッジ画素数特徴量Ｆse、エッジ強度特徴量Ｆes、サブタイトル位置特徴量Ｆspの３つの特徴量を用い、次の式（２９）に従ってサブタイトル特徴量Ｆstを算出し、評価値生成部４２０に出力する。
【数２９】
2017130709.tif 000031
【０１４８】
サブタイトル位置特徴量Ｆsp（ｘ，ｙ）は、座標（ｘ，ｙ）におけるサブタイトルの出現しやすさを表す値である。例えば、字幕は画面下に表れ易く、放送局のウォーターマークやスポーツの得点などは画面上部に表れ易い。
【０１４９】
図２４は、本実施の形態４に係るサブタイトル出現位置の例である。一般に、サブタイトルは、画面６の上部又は下部のハッチングを付した領域に出現しやすい。
サブタイトル特徴量生成部４６３は、このハッチング部分の値が高くなるように、サブタイトル位置特徴量Ｆsp（ｘ，ｙ）を予め設定しておく。また、サブタイトル特徴量生成部４６３は、大量の番組データを集めて画素位置（ｘ，ｙ）毎にサブタイトルの発生確率を予め計算し、サブタイトル位置特徴量Ｆsp（ｘ，ｙ）としても良い。
【０１５０】
評価値生成部４２０は、ローカル特徴量生成部２１０から取得した複数のローカル特徴量とグローバル特徴量であるサブタイトル特徴量Ｆspとを重み付け統合することにより、ノイズ評価値Ｅを算出する。
具体的には、次の式（３０）に従ってサブタイトル特徴量Ｆstと式（１６）で算出した第２評価値Ｅsとを統合し、第３評価値Ｅgを算出する。
【数３０】
2017130709.tif 000032
ここで、ｗst（ ）はサブタイトル特徴量Ｆstに関する重み関数である。
【０１５１】
図２５は、本実施の形態４に係るサブタイトル特徴量Ｆstに関する重み関数ｗstの例である。
重み関数ｗstは、サブタイトル特徴量Ｆstが大きくなると重み係数ｗst（Ｆst（ｘ，ｙ））が大きくなるように設定する。
【０１５２】
そして、評価値生成部４２０は、式（１７）と同様に、エッジ上のノイズ評価値Ｅを低く抑えるために、次の式（３１）に従って、標準偏差に基づく重み係数ｗstdv（Ｖstdv（ｘ，ｙ））を乗じてノイズ評価値Ｅを算出する。
【数３１】
2017130709.tif 000033
【０１５３】
このように、評価値生成部４２０は、複数のローカル特徴量とサブタイトル特徴量Ｆstとから一画素毎にノイズ評価値Ｅを算出することができる。これにより、モスキートノイズが目立ちやすい字幕、番組テロップなどでのノイズ評価値Ｅを高め、より視認性を考慮してモスキートノイズを検出することができる。
【０１５４】
以上、説明したように、本実施の形態４に係る画像処理装置４０１は、復号画像よりも時間的に前の復号画像のローカル特徴量に基づいて、グローバル特徴量を生成するグローバル特徴量生成部４６０を更に備え、グローバル特徴量は静止した文字領域であることを示すサブタイトル特徴量Ｆspを含み、評価値生成部４２０は、複数のローカル特徴量とグローバル特徴量とを統合して、ノイズ評価値Ｅを算出することが好ましい。
このような構成により、より視認性を考慮してモスキートノイズを検出することができる。
【０１５５】
なお、上記実施の形態２〜４においては、前フレームのローカル特徴量又はその統計量に基づいて算出したグローバル特徴量を、現フレームのノイズ評価値Ｅを算出するときに使用した。これにより、ハードウェアで逐次ライン処理を行うような場合でも実現可能であり、フレーム遅延などが発生しないという利点がある。
【０１５６】
ただし、リアルタイム処理を必要としない場合、フレーム遅延が許容できる場合、ソフトウェアで実現する場合などにおいては、前フレームではなく現フレームのローカル特徴量又はその統計量に基づいてグローバル特徴量を算出し、当該グローバル特徴量を用いて現フレームのノイズ評価値Ｅを計算する２パス処理を行うこともできる。
【０１５７】
また、実施の形態１〜４に係る複数のローカル特徴量及び複数のグローバル特徴量を全て用いてノイズ評価値Ｅを算出することもできるし、一部の特徴量を用いてノイズ評価値Ｅを算出することもできる。
【０１５８】
各実施の形態に係る画像処理装置又は画像処理方法は、当該技術分野の圧縮符号化により劣化した画像・映像においてモスキートノイズを検出し除去することによって画質を改善する技術に関するものであり、例えば、デジタルテレビなどの表示装置に搭載する画像処理チップ内のモスキートノイズ除去処理に使用することができる。ノイズの誤検出又は検出もれが少なく、ハードウェアコストも低いことから、性能及びコストの面で優れている。
【０１５９】
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
圧縮符号化によって発生したモスキートノイズを復号画像のみを用いて除去するノイズ除去装置において、
復号画像における所定の局所領域内の画素を用いてエッジ、相対的フラット、フラット、微小変動に関する複数のローカル特徴量を生成するローカル特徴量生成部と、
複数のローカル特徴量の重み付け統合処理によって画素毎のノイズ評価値を算出する評価値生成部と、
復号画像に対して平滑化フィルタを適用し平滑化画像を生成するフィルタ処理部と、
ノイズ評価値に基づいて混合率を生成する混合率生成部と、
復号画像と平滑化画像とを混合率に基づいて混合することにより出力画像を生成する画像混合処理部と
を備えるノイズ除去装置。
【０１６０】
（付記２）
圧縮符号化された動画像において復号画像が動画像の１フレームである場合に、
処理対象フレームよりも時間的に前のフレームにおけるローカル特徴量を利用したグローバル特徴量を生成するグローバル特徴量生成部を更に備え、
評価値算出部は、複数のローカル特徴量に加えてグローバル特徴量も用いた重み付け統合処理によってノイズ評価値を算出する
付記１のノイズ除去装置。
【０１６１】
（付記３）
複数のローカル特徴量は、復号画像における局所領域（１５×１５画素など）の画素値に基づいて算出された基本特徴量により算出される
付記１のノイズ除去装置。
（付記４）
基本特徴量は、局所領域内の分散値または標準偏差値である
付記３のノイズ除去装置。
【０１６２】
（付記５）
基本特徴量は、局所領域内の隣接画素差分絶対値である
付記３のノイズ除去装置。
（付記６）
複数のローカル特徴量は、基本特徴量に基づいて算出されるエッジ強度、エッジ画素数、相対的フラット画素数のうち少なくとも一つ以上を含む
付記３のノイズ除去装置。
【０１６３】
（付記７）
複数のローカル特徴量は、基本特徴量に基づいて算出されるフラット画素数、微小変動強度、微小変動分散、微小変動画素数を含む
付記３のノイズ除去装置。
（付記８）
グローバル特徴量は、色に基づいて決められるテクスチャ特徴量を含む
付記２のノイズ除去装置。
【０１６４】
（付記９）
テクスチャ特徴量は、時間的に前のフレームにおける色別微小変動画素ヒストグラムに基づいて算出する
付記８のノイズ除去装置。
（付記１０）
グローバル特徴量は、画像全体のノイズ量を表すノイズシーン特徴量を含む
付記２のノイズ除去装置。
【０１６５】
（付記１１）
ノイズシーン特徴量は、時間的に前のフレームにおける平坦部の輝度差分符号変化数に基づいて算出する
付記１０のノイズ除去装置。
（付記１２）
グローバル特徴量は、静止した文字領域であることを表すサブタイトル特徴量を含む
付記２のノイズ除去装置。
【０１６６】
（付記１３）
サブタイトル特徴量は、時間的に前のフレームにおけるエッジ画素と現フレームのエッジ画素に基づいて算出される静止エッジ画素数と、現フレームのエッジ強度と、領域別文字出現頻度と、から算出する
付記１２のノイズ除去装置。
（付記１４）
ノイズ評価値は、エッジ強度が大きくなるほど、大きな値となる
付記１のノイズ除去装置。
【０１６７】
（付記１５）
ノイズ評価値は、エッジ画素数が大きくなるほど、大きな値となる
付記１のノイズ除去装置。
（付記１６）
ノイズ評価値は、相対的フラット画素数が大きくなるほど、大きな値となる
付記１のノイズ除去装置。
【０１６８】
（付記１７）
ノイズ評価値は、主要局所特徴量がゼロではないという条件下において、フラット画素数がある所定の範囲内の値をとるときに大きな値となる
付記１のノイズ除去装置。
（付記１８）
ノイズ評価値は、主要局所特徴量がゼロではないという条件下において、微小輝度変動強度がある所定の範囲内の値をとるときに大きな値となる
付記１のノイズ除去装置。
【０１６９】
（付記１９）
ノイズ評価値は、主要局所特徴量がゼロではないという条件下において、微小輝度変動分散がある所定の範囲内の値をとるときに大きな値となる
付記１のノイズ除去装置。
（付記２０）
ノイズ評価値は、主要局所特徴量がゼロではないという条件下において、微小輝度変動画素数がある所定の範囲内の値をとるときに大きな値となる
付記１のノイズ除去装置。
【０１７０】
（付記２１）
ノイズ評価値は、テクスチャ特徴量が大きくなるほど、小さな値となる
付記２のノイズ除去装置。
（付記２２）
ノイズ評価値は、ノイズシーン特徴量が大きくなるほど、小さな値となる
付記１０のノイズ除去装置。
【０１７１】
（付記２３）
ノイズ評価値は、サブタイトル特徴量が大きくなるほど、大きな値となる
付記１２のノイズ除去装置。
（付記２４）
ノイズ評価値は、基本特徴量がある一定の閾値を超えた場合に、基本特徴量の値が大きくなるほど、小さな値となる
付記３のノイズ除去装置。
【０１７２】
（付記２５）
エッジ強度は、局所領域内のエッジ画素における基本特徴量の平均値である
付記１４のノイズ除去装置。
（付記２６）
エッジ画素数は、局所領域内におけるエッジ画素の数である
付記１５のノイズ除去装置。
【０１７３】
（付記２７）
相対的フラット画素数は、局所領域内における各画素の基本特徴量に所定のフラット率をかけた値をフラット閾値とし、中心画素の基本特徴量または局所一様領域内の基本特徴量平均値がフラット閾値以下となる画素を数えたものである
付記１６のノイズ除去装置。
（付記２８）
フラット画素数は、局所一様領域内におけるフラット画素の数である
付記１７のノイズ除去装置。
【０１７４】
（付記２９）
微小変動強度は、局所一様領域内の微小変動画素における基本特徴量の平均値である
付記１８のノイズ除去装置。
（付記３０）
微小変動分散は、局所一様領域内の微小変動画素における基本特徴量の分散値である
付記１９のノイズ除去装置。
【０１７５】
（付記３１）
微小変動画素数は、局所一様領域内における微小変動画素の数である
付記２０のノイズ除去装置。
（付記３２）
エッジ画素は、基本特徴量が所定の閾値以上となる画素である
付記２５のノイズ除去装置。
【０１７６】
（付記３３）
フラット画素は、基本特徴量が所定の閾値以下となる画素である
付記２８のノイズ除去装置。
（付記３４）
微小変動画素は、基本特徴量が上限・下限を示す２つの閾値の範囲内に入る画素である
付記２９のノイズ除去装置。
【０１７７】
（付記３５）
局所一様領域は、所定の大きさ（１５×１５画素など）の局所領域内の画素に対して、中心画素との空間位置、輝度値、分散値の類似度が高いほど大きい値となる重みを各画素で算出し、重みが所定の閾値以上となる画素のみを局所一様領域として用いる
付記２８のノイズ除去装置。
【符号の説明】
【０１７８】
１、２０１、３０１、４０１    画像処理装置
１０、２１０    ローカル特徴量生成部
１１    第１ローカル特徴量生成部
１２    第２ローカル特徴量生成部
２０、２２０、３２０、４２０    評価値生成部
３０、２３０    混合率生成部
４０、２４０    フィルタ処理部
５０、２５０    画像混合処理部
１１１    標準偏差算出部
１１４    隣接画素差分絶対値和算出部
１１６    微小変動画素生成部
１２１    エッジ強度特徴量生成部
１２２    エッジ画素数特徴量生成部
１２７    相対的フラット画素数特徴量生成部
２６０、３６０、４６０    グローバル特徴量生成部
２６５    テクスチャ特徴量生成部
３６２    ノイズシーン特徴量生成部
４６３    サブタイトル特徴量生成部
【図１】
2017130709.tif 000034
【図２】
2017130709.tif 000035
【図３】
2017130709.tif 000036
【図４】
2017130709.tif 000037
【図５】
2017130709.tif 000038
【図６】
2017130709.tif 000039
【図７】
2017130709.tif 000040
【図８】
2017130709.tif 000041
【図９】
2017130709.tif 000042
【図１０】
2017130709.tif 000043
【図１１】
2017130709.tif 000044
【図１２】
2017130709.tif 000045
【図１３】
2017130709.tif 000046
【図１４】
2017130709.tif 000047
【図１５】
2017130709.tif 000048
【図１６】
2017130709.tif 000049
【図１７】
2017130709.tif 000050
【図１８】
2017130709.tif 000051
【図１９】
2017130709.tif 000052
【図２０】
2017130709.tif 000053
【図２１】
2017130709.tif 000054
【図２２】
2017130709.tif 000055
【図２３】
2017130709.tif 000056
【図２４】
2017130709.tif 000057
【図２５】
2017130709.tif 000058