(57)【特許請求の範囲】
【請求項１】
入力信号に含まれるフレーム内のノイズの特徴を表す複数の特徴量を抽出する複数の特徴量抽出部と、
前記複数の特徴量抽出部からの出力ごとに前記フレーム内における複数のブロックのノイズ有無の判定を行う複数のノイズ有無識別部と、
前記複数のノイズ有無識別部からの出力に基づいて、前記フレーム内のノイズ有無の判定を行う統合判定処理部と、
を備え、
前記複数の特徴量抽出部は、それぞれ種類の異なる特徴量を抽出し、
前記統合判定処理部は、
前記複数のノイズ有無識別部から出力された判定結果のそれぞれに対して重み付け処理を行う重み付け処理部と、
前記重み付け処理部が行う前記重み付け処理によって得られたノイズスコア値を合計して得られた合計値を出力するノイズスコア算出部と、
前記ノイズスコア算出部から出力された前記合計値に基づいて前記フレーム内のノイズの有無を判定するノイズ有無判定部と、
を有し、
前記重み付け処理部は、前記複数のノイズ有無識別部が判定対象とした前記フレーム内において、前記複数のノイズ有無識別部のそれぞれが前記複数のブロックの中でノイズ有りと判定したブロックの分布密度のそれぞれに基づいて、前記判定結果のそれぞれに対して、ノイズ有りと判定されたブロックの分布密度が高いほど前記ノイズスコア値が高くなるように重み付けを行うノイズ分布密度重み付け処理を行い、
前記ノイズ有無判定部は、前記ノイズスコア算出部から出力された前記合計値が閾値よりも大きい場合に前記フレーム内にノイズが有ると判定する、
ことを特徴とする映像障害検知装置。
【請求項２】
前記フレーム内の画像と、前記フレームの直前のフレーム内の画像との間における画像の変化を検出する動き検出部と、
ノイズ有無識別結果制御部と、
をさらに備え、
前記動き検出部が前記画像の変化がないと判定した場合、前記複数のノイズ有無識別部は、前記ノイズ有無の判定を行わず、
前記ノイズ有無識別結果制御部は、前記動き検出部が前記画像の変化がないと判定した場合、ブロックノイズ無しの情報を前記統合判定処理部に出力する
ことを特徴とする請求項１に記載の映像障害検知装置。
【請求項３】
前記フレーム内の画像と、前記フレームの直前のフレーム内の画像との間における画像の変化を検出する動き検出部をさらに備え、
前記重み付け処理部は、前記動き検出部によって変化が検出された場合、正の値である動き量重み値を決定し、前記動き量重み値と前記分布密度に基づくノイズ分布密度重み値とを用いて重み付け処理を行う
ことを特徴とする請求項１記載の映像障害検知装置。
【請求項４】
前記複数の特徴量抽出部は、
前記フレーム内の空間周波数を、前記複数の特徴量のうちの第１の特徴量として抽出する空間周波数特徴量抽出部、
前記フレーム内のピクセル間の輝度勾配方向に基づく勾配強度を、前記複数の特徴量のうちの第２の特徴量として抽出する輝度勾配方向ヒストグラム特徴量抽出部、及び
前記フレームにおける複数の特徴点を、前記複数の特徴量のうちの第３の特徴量として抽出する９０°頂点個数特徴量抽出部、
のうちの２つ以上の抽出部を有する
ことを特徴とする請求項１から３のいずれか１項に記載の映像障害検知装置。
【請求項５】
前記複数の特徴量抽出部は、前記フレーム内において予め定められたブロック単位で、前記複数の特徴量の抽出を行い、
前記複数のノイズ有無識別部は、前記フレーム内において予め定められたブロック単位で、前記複数の特徴量に基づいて前記フレーム内のノイズパターンを学習し、前記ノイズパターンの学習結果に基づいて前記ノイズ有無の判定を行う
ことを特徴とする請求項１から４のいずれか１項に記載の映像障害検知装置。
【請求項６】
前記複数のノイズ有無識別部の各々は、前記複数の特徴量に基づいて前記フレーム内のノイズパターンの学習を行い、前記ノイズパターンの学習結果に基づいて、前記ノイズ有無の判定を行うことを特徴とする請求項１から４のいずれか１項に記載の映像障害検知装置。
【請求項７】
前記統合判定処理部は、フレーム単位で前記フレーム内のノイズ有無の判定を行う
ことを特徴とする請求項１から６のいずれか１項に記載の映像障害検知装置。
【請求項８】
前記フレームに含まれるブロック内の画像の複雑度を判定するブロック複雑度判定部をさらに備え、
前記重み付け処理部は、前記複数のノイズ有無識別部の各々がノイズ有りと判定したブロックに対して、
前記ブロック複雑度判定部が判定した前記複雑度が大きい値ほど大きい値の画像複雑度重み値を決定し、前記画像複雑度重み値を用いて重み付けを行う画像複雑度重み付け処理、
前記複数の特徴量に各々に対応した識別種別に基づく、予め設定されているブロックノイズ識別処理種別重み値を用いて重み付けを行うノイズ識別種別重み付け処理、及び
前記フレーム内の同一画像領域に対して、前記複数のノイズ有無識別部のそれぞれがノイズ有りと判定した数をノイズ信頼度重みとして重み付けを行うノイズ信頼度重み付け処理、
のうちの１つ以上の重み付け処理を行う
ことを特徴とする請求項３に記載の映像障害検知装置。
【請求項９】
前記フレームに含まれるブロックに画像平滑処理を行い、前記画像平滑処理により得られた画像とノイズ形状を表すテンプレートと用いて、前記フレームに含まれるブロックのノイズの有無を判定し、かつ前記複数のノイズ有無識別部と異なるノイズ有無識別部であるテンプレートマッチング処理部をさらに備える
ことを特徴とする請求項８に記載の映像障害検知装置。
【請求項１０】
入力信号に含まれるフレーム内のノイズの特徴を表す複数の特徴量を抽出するステップと、
前記複数の特徴量を抽出するステップの出力ごとに前記フレーム内における複数のブロックのノイズ有無の判定を行うステップと、
前記ノイズ有無の判定を行うステップの出力に基づいて、前記フレーム内のノイズ有無の判定を行うステップと、を備え、
前記複数の特徴量を抽出するステップは、それぞれ種類の異なる特徴量を抽出し、
前記フレーム内のノイズ有無の判定を行うステップは、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップにおいて前記複数の特徴量を抽出するステップで出力された判定結果のそれぞれに対して重み付け処理を行うステップと、
前記重み付け処理を行うステップで行う前記重み付け処理によって得られたノイズスコア値を合計して得られた合計値を出力するステップと、
前記合計値を出力するステップで出力された前記合計値に基づいて前記フレーム内のノイズの有無を判定するステップを含み、
前記重み付け処理を行うステップは、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップで判定対象とした前記フレーム内において、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップにおいて前記複数の特徴量を抽出するステップの出力ごとに、前記複数のブロックの中でノイズ有りと判定したブロックの分布密度のそれぞれに基づいて、前記判定結果のそれぞれに対して、ノイズ有りと判定されたブロックの分布密度が高いほど前記ノイズスコア値が高くなるように重み付けを行うノイズ分布密度重み付け処理を行い、
前記ノイズの有無を判定するステップは、前記合計値が閾値よりも大きい場合に前記フレーム内にノイズが有ると判定する、
ことを特徴とする映像障害検知方法。
【請求項１１】
入力信号に含まれるフレーム内のノイズの特徴を表す複数の特徴量を抽出するステップと、
前記複数の特徴量を抽出するステップの出力ごとに前記フレーム内における複数のブロックのノイズ有無の判定を行うステップと、
前記ノイズ有無の判定を行うステップの出力に基づいて、前記フレーム内のノイズ有無の判定を行うステップと、を備え、
前記複数の特徴量を抽出するステップは、それぞれ種類の異なる特徴量を抽出し、
前記フレーム内のノイズ有無の判定を行うステップは、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップにおいて前記複数の特徴量を抽出するステップで出力された判定結果のそれぞれに対して重み付け処理を行うステップと、
前記重み付け処理を行うステップで行う前記重み付け処理によって得られたノイズスコア値を合計して得られた合計値を出力するステップと、
前記合計値を出力するステップで出力された前記合計値に基づいて前記フレーム内のノイズの有無を判定するステップを含み、
前記重み付け処理を行うステップは、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップで判定対象とした前記フレーム内において、前記フレーム内のブロックにおけるノイズ有無の判定を行うステップにおいて前記複数の特徴量を抽出するステップの出力ごとに、前記複数のブロックの中でノイズ有りと判定したブロックの分布密度のそれぞれに基づいて、前記判定結果のそれぞれに対して、ノイズ有りと判定されたブロックの分布密度が高いほど前記ノイズスコア値が高くなるように重み付けを行うノイズ分布密度重み付け処理を行い、
前記ノイズの有無を判定するステップは、前記合計値が閾値よりも大きい場合に前記フレーム内にノイズが有ると判定する、
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像障害検知装置に関する。
【背景技術】
【０００２】
一般に、映像出力機器の出力映像の試験においては、目視確認による試験が実施されているが確認作業に時間がかかるため、作業の効率化が求められている。また、自動車などの移動体における予防安全及び自動運転を実現するために、センサーで捉えたセンシング映像の信頼性の向上が求められている。さらに、有線及び無線映像伝送において、伝送路のトラフィックに応じて、映像品質を制御することが求められている。このような要求に応えるため、映像に含まれるノイズを自動検知する技術が提案されている。例えば、特許文献１には、画像に含まれる矩形形状のノイズ、すなわち、ブロックノイズを自動で検知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３５１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、エッジが明瞭な矩形形状のブロックノイズであれば精度良く検知することができるが、エッジが明瞭ではないブロックノイズについては検知できない場合があり、ブロックノイズではない矩形形状の画像をブロックノイズとして誤検知する場合もある。【０００５】
本発明の目的は、映像に含まれるブロックノイズの検知精度を高めることである。
【課題を解決するための手段】
【０００６】
本発明の映像障害検知装置は、入力信号に含まれるフレーム内のノイズの特徴を表す複数の特徴量を抽出する複数の特徴量抽出部と、前記複数の特徴量抽出部からの出力ごとに前記フレーム内における複数のブロックのノイズ有無の判定を行う複数のノイズ有無識別部と、前記複数のノイズ有無識別部からの出力に基づいて、前記フレーム内のノイズ有無の判定を行う統合判定処理部と、を備え、前記複数の特徴量抽出部は、それぞれ種類の異なる特徴量を抽出し、前記統合判定処理部は、前記複数のノイズ有無識別部から出力された判定結果のそれぞれに対して重み付け処理を行う重み付け処理部と、前記重み付け処理部が行う前記重み付け処理によって得られたノイズスコア値を合計して得られた合計値を出力するノイズスコア算出部と、前記ノイズスコア算出部から出力された前記合計値に基づいて前記フレーム内のノイズの有無を判定するノイズ有無判定部と、を有し、前記重み付け処理部は、前記複数のノイズ有無識別部が判定対象とした前記フレーム内において、前記複数のノイズ有無識別部のそれぞれが前記複数のブロックの中でノイズ有りと判定したブロックの分布密度のそれぞれに基づいて、前記判定結果のそれぞれに対して、ノイズ有りと判定されたブロックの分布密度が高いほど前記ノイズスコア値が高くなるように重み付けを行うノイズ分布密度重み付け処理を行い、前記ノイズ有無判定部は、前記ノイズスコア算出部から出力された前記合計値が閾値よりも大きい場合に前記フレーム内にノイズが有ると判定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、映像に含まれるブロックノイズの検知精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１に係る映像障害検知装置の構成を概略的に示すブロック図である。
【図２】統合判定処理部の構成を概略的に示すブロック図である。
【図３】フレーム内における予め定められたｎピクセル×ｎピクセルの微小ピクセルブロックの一例を示す図である。
【図４】空間周波数の周波数成分ごとに配列された複数の微小ピクセルブロックの一例を示す図である。
【図５】微小ピクセルブロックを用いて生成された低周波数成分についての空間周波数特徴量を示す図である。
【図６】セル単位で配列された複数の微小ピクセルブロックを示す図である。
【図７】１セル内の予め定められたブロックごとの輝度勾配方向を示す図である。
【図８】図７に示される輝度勾配方向に基づいて生成された輝度勾配方向ヒストグラムを示す図である。
【図９】セル番号で示される各セルにおける、０°方向の輝度勾配値の合計値及び９０°方向の輝度勾配値の合計値を示す図である。
【図１０】各微小ピクセルブロックにおける各セルの０°方向の輝度勾配値の合計値及び９０°方向の輝度勾配値の合計値を示す図である。
【図１１】９０°頂点個数特徴量抽出部によって行われる特徴量抽出処理の一例を示すフローチャートである。
【図１２】図１１に示されるステップＳ１０１において微小ピクセルブロック内で抽出された特徴点を示す図である。
【図１３】９０°頂点個数特徴量抽出部によって生成される９０°頂点個数特徴量を示す図である。
【図１４】２次元の学習用特徴量を持つサンプルデータの一例を示す図である。
【図１５】微小ピクセルブロックの動きを示す図である。
【図１６】ノイズスコア合計値の算出フローの一例を示す図である。
【図１７】図１６に示されるステップＳ１００２，Ｓ１００５，及びＳ１００８において行われる重み付け処理のフローの一例を示す図である。
【図１８】重み付け処理によってノイズスコア値が付与された微小ピクセルブロックの一例を示す図である。
【図１９】フレーム内のブロックノイズの有無を判定するフローチャートである。
【図２０】本発明の実施の形態２に係る映像障害検知装置の構成を概略的に示すブロック図である。
【図２１】実施の形態２の統合判定処理部の構成を概略的に示すブロック図である。
【図２２】本発明の実施の形態３に係る映像障害検知装置の構成を概略的に示すブロック図である。
【図２３】映像障害検知装置のハードウェア構成の一例を概略的に示すブロック図である。
【図２４】本発明の実施の形態９に係る映像障害検知装置の構成を概略的に示すブロック図である。
【図２５】テンプレートマッチング処理部が実行する処理を示すフローチャートである。
【図２６】（Ａ）から（Ｅ）は、ノイズ形状を表すテンプレートを示す図である。
【図２７】ブロック内最大輝度勾配箇所の具体例を示す図である。
【図２８】実施の形態９の統合判定処理部の構成を概略的に示すブロック図である。
【図２９】シグモイド関数のグラフを示す図である。
【図３０】統合判定処理部におけるブロックノイズ分布密度重みの算出方法を説明する図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
《映像障害検知装置１００の構成》
図１を用いて本発明の実施の形態１に係る映像障害検知装置１００の構成について説明する。
図１は、映像障害検知装置１００の構成を概略的に示すブロック図である。
【００１０】
映像障害検知装置１００は、入力信号Ｄｉに含まれるフレーム内のブロックノイズ（単に「ノイズ」ともいう）の特徴を表す複数の特徴量を抽出する複数の特徴量抽出部（特徴量抽出部１０２，１０３，及び１０４）、ノイズパターンの学習及びブロックノイズの有無（ノイズ有無ともいう）の判定を行う複数のノイズ有無識別部である複数の学習識別部（学習識別部１０６，１０７，及び１０８）、並びに複数の学習識別部からの出力に基づいてフレーム内のノイズ有無の判定を行う統合判定処理部１１１（識別結果判定処理部）から主に構成される。なお、複数の特徴量抽出部は、特徴量抽出部１０２，１０３，及び１０４のうちの２つ以上の抽出部で構成されてもよい。
【００１１】
図１に示される例では、映像障害検知装置１００は、さらに、映像障害検知装置１００に入力された画像信号又は映像信号の画像処理（映像処理）を行う前処理部１０１と、フレーム（画像フレーム）間の動き（フレーム内の画像の変化）を検出する動き検出部１０５と、教師データ生成用のデータが格納されるラベルデータ部１０９と、学習用データ（学習モデル）が格納される学習モデル格納部１１０と、学習識別部１０６，１０７，及び１０８の各々によって判定されたノイズ有無識別結果の出力を制御するノイズ有無識別結果制御部１１２とを有するように構成される。
【００１２】
映像障害検知装置１００は、予め学習処理を行うための学習モードと、通常の運用である識別処理（ノイズ有無判定結果Ｄｏの出力）を行うための識別モードとを有する。例えば、学習モード又は識別モードを選択する信号Ｓｍを映像障害検知装置１００に入力することにより、学習モード又は識別モードの機能が実行される。
【００１３】
映像障害検知装置１００に入力された画像信号又は映像信号は、前処理部１０１を介して、特徴量抽出部１０２，１０３，及び１０４、並びに動き検出部１０５に入力される。特徴量抽出部１０２，１０３，及び１０４は、フレーム内の互いに異なるブロックノイズの特徴を表す特徴量をそれぞれ抽出する。本実施の形態では、映像障害検知装置１００に入力される入力信号Ｄｉを、映像信号（単に「映像」ともいう）として以下に説明する。
【００１４】
特徴量抽出部１０２は、フレーム内の空間周波数を、フレーム内の複数の特徴量のうちの第１の特徴量（空間周波数特徴量）として抽出する。したがって、特徴量抽出部１０２を「空間周波数特徴量抽出部」ともいう。特徴量抽出部１０２は、予め定められたｎピクセル×ｎピクセルの微小ピクセルブロック単位で空間周波数特徴量を示すデータを生成し、学習識別部１０６に向けて出力する。
【００１５】
特徴量抽出部１０３は、フレーム内のピクセル間の輝度勾配方向に基づく勾配強度（輝度勾配強度）を、フレーム内の複数の特徴量のうちの第２の特徴量（輝度勾配方向ヒストグラム特徴量）として抽出する。したがって、特徴量抽出部１０３を「輝度勾配方向ヒストグラム特徴量抽出部」ともいう。特徴量抽出部１０３は、微小ピクセルブロック単位で特徴量を示すデータを生成し、学習識別部１０７に向けて出力する。
【００１６】
特徴量抽出部１０４は、フレームにおける複数の特徴点（ピクセル画像における線の短点、交点、頂点など）を、フレーム内の複数の特徴量のうちの第３の特徴量として抽出する。例えば、特徴量抽出部１０４は、フレームにおける複数の特徴点のうち、ある１つの特徴点（起点）に対して０°方向（水平方向）又は９０°方向（垂直方向）に位置する頂点（図１１に示されるステップＳ１０３の条件を満たす特徴点；９０°頂点という）の個数を９０°頂点個数特徴量として抽出する。したがって、特徴量抽出部１０４を「９０°頂点個数特徴量抽出部」ともいう。特徴量抽出部１０４は、微小ピクセルブロック単位で特徴量を示すデータを生成し、学習識別部１０８に向けて出力する。
【００１７】
特徴量抽出部１０２，１０３，及び１０４における特徴量抽出処理は、複数の画像ピクセル（ｎピクセル×ｎピクセル（ｎは、１よりも大きい整数））からなる矩形形状の微小ピクセルブロック単位（フレーム内において予め定められたブロック単位）で行われる。ただし、特徴量抽出部１０２，１０３，及び１０４における処理では、微小ピクセルブロックの形状（処理単位）は正方形に限られず、長方形の微小ピクセルブロックについて処理を行ってもよい。
【００１８】
特徴量抽出部１０２，１０３，及び１０４の各々における上記処理を、「特徴量抽出処理」という。
【００１９】
動き検出部１０５は、現在処理中のフレーム及び一つ前のフレームに対して、微小ピクセルブロック単位で、同一の微小ピクセルブロック位置（同一微小ピクセルブロック位置）における画像の比較を行い、微小ピクセルブロックの動きの有無を判定する。具体的には、動き検出部１０５は、動き検出部１０５に入力されたフレーム内の画像（微小ピクセルブロック）と、そのフレームの直前のフレーム内の同一微小ピクセルブロック位置の画像（微小ピクセルブロック）との間におけるフレーム間の動き（フレーム内の画像の変化）を検出する。
【００２０】
さらに、動き検出部１０５は、微小ピクセルブロックの動きの有無の判定結果に応じてノイズ有無識別結果制御部１１２及び動作制御部１１３の制御を行う。
【００２１】
動作制御部１１３は、特徴量抽出部１０２，１０３，及び１０４からの出力を学習識別部１０６，１０７，及び１０８に向けて転送するかどうかを制御する。動作制御部１１３は、例えば、スイッチによって出力のオンオフを切り替える。
【００２２】
学習識別部１０６，１０７，及び１０８は、特徴量抽出部１０２，１０３，及び１０４からの出力ごとに、特徴量抽出部１０２，１０３，及び１０４から出力された特徴量を用いて、各特徴量に基づくブロックノイズパターンをそれぞれ学習し、識別する。
【００２３】
学習識別部１０６，１０７，及び１０８における学習処理及び識別処理は、特徴量抽出部１０２，１０３，及び１０４と同様に、複数の画像ピクセル（ｎピクセル×ｎピクセル）からなる矩形形状の微小ピクセルブロック単位（フレーム内において予め定められたブロック単位）で行われる。ただし、学習識別部１０６，１０７，及び１０８における処理では、微小ピクセルブロックの形状（処理単位）は正方形に限られず、長方形の微小ピクセルブロックについて学習処理及び識別処理を行ってもよい。
【００２４】
学習モードにおいて、学習識別部１０６，１０７，及び１０８の各々が、複数の特徴量（例えば、空間周波数、勾配強度、又は特徴点など）に基づいてフレーム内のブロックノイズパターンを学習する処理（ノイズパターンの学習）を「学習処理」という。識別モードにおいて、学習識別部１０６，１０７，及び１０８の各々が、特徴量に基づくブロックノイズパターンを識別する処理（微小ピクセルブロック内のノイズ有無の判定）を「識別処理」という。
【００２５】
識別モードにおいて、学習識別部１０６，１０７，及び１０８は、学習済みの境界面（分離境界面）を学習モデル格納部１１０から読み出す。
【００２６】
識別モードにおいて、学習識別部１０６は、その境界面に基づいて、特徴量抽出部１０２から入力された微小ピクセルブロックの特徴量がブロックノイズ有りかブロックノイズ無しかのどちらのカテゴリに属するかを識別する処理を行い、ブロックノイズの有無を示すノイズ有無識別結果（ブロックノイズ有無識別結果）を出力する。
【００２７】
同様に、識別モードにおいて、学習識別部１０７は、学習済みの境界面に基づいて、特徴量抽出部１０３から入力された微小ピクセルブロックの特徴量がブロックノイズ有りかブロックノイズ無しかのどちらのカテゴリに属するかを識別する処理を行い、ノイズ有無識別結果を出力する。
【００２８】
同様に、識別モードにおいて、学習識別部１０８は、学習済みの境界面に基づいて、特徴量抽出部１０４から入力された微小ピクセルブロックの特徴量がブロックノイズ有りかブロックノイズ無しかのどちらのカテゴリに属するかを識別する処理を行い、ノイズ有無識別結果を出力する。
【００２９】
学習識別部１０６，１０７，及び１０８から出力されるノイズ有無識別結果は、微小ピクセルブロックに対応付けられたノイズスコア（ノイズスコア値）によって表現される。例えば、学習識別部１０６，１０７，及び１０８の各々は、フレーム内にブロックノイズが有る（「ブロックノイズ有り」という）と判定した場合、ノイズ有無識別結果をノイズスコア＝１として出力する。一方、学習識別部１０６，１０７，及び１０８の各々は、フレーム内にブロックノイズが無い（「ブロックノイズ無し」という）と判定した場合、ノイズ有無識別結果をノイズスコア＝０として出力する。
【００３０】
輝度勾配方向ヒストグラム特徴量に基づくノイズ有無識別結果は、ノイズ有無識別結果制御部１１２を通して学習識別部１０７から統合判定処理部１１１に入力される。同様に、９０°頂点個数特徴量に基づくノイズ有無識別結果は、ノイズ有無識別結果制御部１１２を通して学習識別部１０８から統合判定処理部１１１に入力される。同様に、空間周波数特徴量に基づくノイズ有無識別結果は、ノイズ有無識別結果制御部１１２を通して学習識別部１０６から統合判定処理部１１１に入力される。
【００３１】
ノイズ有無識別結果制御部１１２は、動き検出部１０５の検出結果に基づいて、学習識別部１０６，１０７，及び１０８の各々から出力された出力内容（具体的には、ノイズ有無識別結果）を制御する。例えば、動き検出部１０５が、微小ピクセルブロックの動きが無いと判断した場合、ノイズ有無識別結果制御部１１２は、ノイズ有無識別結果をノイズスコア＝０（すなわち、ブロックノイズ無し）として強制的に設定する。
【００３２】
ラベルデータ部１０９（教師データ生成用ラベルデータ部）には、事前（学習モード時）に分析された、微小ピクセルブロック単位でのブロックノイズの有無を示すラベルデータ（教師データ生成用ラベルデータ）が格納されている。ラベルデータ部１０９は、例えば、データを記憶するメモリで構成されている。
【００３３】
学習モデル格納部１１０には、学習用データ（学習モデル）が格納される。学習モデル格納部１１０は、例えば、データを記憶するメモリである。
【００３４】
図２は、統合判定処理部１１１の構成を概略的に示すブロック図である。
統合判定処理部１１１は、ブロックノイズ有りと判定された微小ピクセルブロックのフレーム内における分布密度に基づいてノイズスコアに対する重み付けを行う重み付け処理部４００と、重み付け処理部４００によって得られた値を合計するフレーム内ブロックノイズスコア算出部４０４（単に「ノイズスコア算出部」ともいう）と、フレーム内ブロックノイズスコア算出部４０４からの出力に基づいてフレーム内のブロックノイズの有無を判定するフレーム内ブロックノイズ有無判定部４０５（単に「ノイズ有無判定部」ともいう）とを有する。重み付け処理部４００は、学習識別部１０６，１０７，及び１０８からの出力を用いてそれぞれ重み付け処理を実施するブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３を有する。
【００３５】
統合判定処理部１１１は、学習識別部１０６，１０７，及び１０８の各々から出力された特徴量ごとのノイズ有無の判定結果（ノイズ有無識別結果）に基づいて、フレーム内のノイズ有無の判定を行う。具体的には、統合判定処理部１１１は、学習識別部１０６，１０７，及び１０８の各々によって判定された各ノイズ有無識別結果を統合し、ノイズ有無判定（ノイズ有無判定結果Ｄｏの出力）を行う。
【００３６】
学習識別部１０６，１０７，及び１０８の各々が微小ピクセルブロック単位でブロックノイズの有無を判定する処理を行うのに対して、統合判定処理部１１１は、フレーム単位でフレーム内のブロックノイズの有無を判定する処理を行う。すなわち、統合判定処理部１１１は、学習識別部１０６，１０７，及び１０８の各々からの出力に基づいて、フレーム内のノイズ有無の判定を行い、各フレームにおけるノイズ有無を示すノイズ有無判定結果Ｄｏを出力する。これにより、映像障害検知装置１００に入力された映像の各フレームにおけるノイズ有無判定結果Ｄｏが、自動的に映像障害検知装置１００から出力される。
【００３７】
ブロックノイズ分布密度重み付け処理部４０１は、学習識別部１０６によってブロックノイズ有りと判定された微小ピクセルブロックについて、ブロックノイズ有りと判定された微小ピクセルブロックのフレーム内における分布密度に基づいて、ノイズスコアに対する重み付けを行う。同様に、ブロックノイズ分布密度重み付け処理部４０２は、学習識別部１０７によってブロックノイズ有りと判定された微小ピクセルブロックについて、ブロックノイズ有りと判定された微小ピクセルブロックのフレーム内における分布密度に基づいて、ノイズスコアに対する重み付けを行う。同様に、ブロックノイズ分布密度重み付け処理部４０３は、学習識別部１０８によってブロックノイズ有りと判定された微小ピクセルブロックについて、ブロックノイズ有りと判定された微小ピクセルブロックのフレーム内における分布密度に基づいて、ノイズスコアに対する重み付けを行う。
【００３８】
ブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３で重み付けされた各ノイズスコアは、フレーム内ブロックノイズスコア算出部４０４に入力される。フレーム内ブロックノイズスコア算出部４０４は、重み付けされた各ノイズスコアをフレーム単位で合計する。その合計値（ノイズスコア合計値）は、フレーム内ブロックノイズ有無判定部４０５に入力される。
【００３９】
フレーム内ブロックノイズ有無判定部４０５は、フレーム内ブロックノイズスコア算出部４０４から出力されたノイズスコア合計値が予め決められた閾値よりも大きいか否かを判定し、判定結果（ノイズ有無判定結果Ｄｏ）を出力する。例えば、ノイズスコア合計値が予め決められた閾値よりも大きい場合、判定対象のフレームはブロックノイズ有りと判定される。ノイズスコア合計値が予め決められた閾値以下である場合、判定対象のフレームはブロックノイズ無しと判定される。
【００４０】
フレーム内ブロックノイズ有無判定部４０５で用いられる閾値は、予め決められた固定値でなくてもよい。例えば、入力映像の種類（例えば、場所、時間帯など）を検知するシーン検知部を映像障害検知装置１００に設け、シーン検知部によって検知された入力映像の種類に応じて閾値を変更するようにしてもよい。
【００４１】
《映像障害検知装置１００の動作》
映像障害検知装置１００の動作（映像障害検知方法）を具体的に説明する。
【００４２】
学習モードのとき、学習用映像が入力信号Ｄｉとして映像障害検知装置１００に入力される。ラベルデータ部１０９には、学習用映像の各フレームを構成する微小ピクセルブロックにおけるブロックノイズの有無を事前に目視で分析した結果が、ラベルデータとして格納されている。
【００４３】
学習モードにおいて、各フレームにおける同一の微小ピクセルブロック位置（同一微小ピクセルブロック位置）における、特徴量抽出部１０２からの特徴量（空間周波数特徴量）とラベルデータ部１０９からのラベルデータとは、微小ピクセルブロック番号によって対応付けられ、空間周波数特徴量の教師データとして学習識別部１０６に入力される。学習識別部１０６は、空間周波数特徴量の次元数で表現される多次元空間においてブロックノイズ有りのカテゴリとブロックノイズ無しのカテゴリとを分離する最適な境界面（分離境界面）を学習する。
【００４４】
同様に、学習モードにおいて、同一微小ピクセルブロック位置における、特徴量抽出部１０３からの特徴量（輝度勾配方向ヒストグラム特徴量）とラベルデータ部１０９からのラベルデータとが、微小ピクセルブロック番号によって対応付けられ、輝度勾配方向ヒストグラム特徴量の教師データとして学習識別部１０７に入力される。学習識別部１０７は、輝度勾配方向ヒストグラム特徴量の次元数で表現される多次元空間においてブロックノイズ有りのカテゴリとブロックノイズ無しのカテゴリとを分離する最適な境界面を学習する。
【００４５】
同様に、学習モードにおいて、同一微小ピクセルブロック位置における、特徴量抽出部１０４からの特徴量（９０°頂点個数特徴量）とラベルデータ部１０９からのラベルデータとが、微小ピクセルブロック番号によって対応付けられ、９０°頂点個数特徴量の教師データとして学習識別部１０８に入力される。学習識別部１０８は、９０°頂点個数特徴量の次元数で表現される各多次元空間においてブロックノイズ有りのカテゴリとブロックノイズ無しのカテゴリとを分離する最適な境界面を学習する。
【００４６】
一方、識別モードのとき、ブロックノイズ検知対象である映像が入力信号Ｄｉとして前処理部１０１を経由して特徴量抽出部１０２，１０３，及び１０４、並びに動き検出部１０５に入力される。
【００４７】
〈前処理部１０１の動作〉
映像障害検知装置１００に入力された映像は、前処理部１０１に入力される。前処理部１０１は、映像をフレーム単位の画像データに分割する。さらに、前処理部１０１は、分割された画像データに対して、モノクロ画像化、ノイズ除去のためのフィルタ処理、輪郭線などエッジ部分を抽出したエッジ画像の生成などの前処理を施す。前処理におけるノイズ除去とは、ブロックノイズの除去ではなく、モスキートノイズのようなノイズを除去することである。
【００４８】
〈特徴量抽出部１０２，１０３，及び１０４の動作〉
特徴量抽出部１０２，１０３，及び１０４における特徴量抽出処理について具体的に説明する。
【００４９】
特徴量抽出部１０２（空間周波数特徴量抽出部）は、前処理部１０１でカラー画像からモノクロ画像に変換された画像フレームについて離散フーリエ変換（ＤＦＴ演算）を行う。
【００５０】
図３は、フレーム内における予め定められたｎピクセル×ｎピクセル（ｎは２以上の整数）の微小ピクセルブロック（単に「ブロック」ともいう）の一例を示す図である。
図４は、空間周波数の周波数成分ごとに配列された複数の微小ピクセルブロックの一例を示す図である。
【００５１】
上記のように、特徴量抽出部１０２における特徴量抽出処理は、予め定められたｎピクセル×ｎピクセルの微小ピクセルブロック単位、例えば、６４ピクセル×６４ピクセル単位で行われる。その結果、図４に示されるように、ｎピクセル×ｎピクセルの部分画像（ブロック）が、水平方向のｎ／２個（本実施の形態では、ｎ＝６４）の周波数成分と垂直方向のｎ／２個の周波数成分とに分割され、例えば、図４に示される１つのセルに、その空間周波数の強さを示す空間周波数成分が示される。
【００５２】
図５は、微小ピクセルブロックを用いて生成された低周波数成分についての空間周波数特徴量（空間周波数ヒストグラム特徴量）を示す図である。
【００５３】
特徴量抽出部１０２は、微小ピクセルブロックを水平方向のｎ／２個の周波数成分と垂直方向のｎ／２個の周波数成分とに分割した後、図５に示されるように、水平方向の周波数成分が最低周波数であるｎ／２個の垂直周波数成分の分布状況と、垂直方向の周波数成分が最低周波数であるｎ／２個の水平周波数成分の分布状況とを、微小ピクセルブロック（微小ピクセルブロック番号ｉ：ｉは整数）ごとに１行に並べた６４次元（１行×６４個）の特徴量（空間周波数特徴量）を生成する。これにより、水平方向及び垂直方向の低周波数成分についての空間周波数特徴量が得られる。図５に示される例では、水平成分、垂直成分の順で１行に並べた６４次元の特徴量（空間周波数特徴量）が示されている。
【００５４】
低周波数成分に着目する理由は、ブロックノイズは、空間周波数が低い成分で構成されていることが多い傾向にあると考えられるためである。このようなデータ量を抑えた特徴量を生成することで、学習処理及び識別処理の処理負荷を抑えつつ識別性能を上げることができる。ただし、このような形式の特徴量を用いずに、全ての空間周波数成分を空間周波数特徴量として用いてもよい。
【００５５】
学習モードでは、空間周波数特徴量には、図５に示されるように、ブロックノイズの有無を示すラベルデータが付与され、微小ピクセルブロック番号ｉによって対応付けられる。その空間周波数特徴量は、教師データとして学習識別部１０６に入力される。一方、識別モードでは、空間周波数特徴量にラベルデータが付与されず、空間周波数特徴量は、そのまま学習識別部１０６に入力される。
【００５６】
次に、特徴量抽出部１０３（輝度勾配方向ヒストグラム特徴量抽出部）における特徴量抽出処理を以下に説明する。
【００５７】
特徴量抽出部１０３は、フレーム内のピクセル間の輝度勾配方向に基づく勾配強度を特徴量として抽出する。特徴量抽出部１０３に入力されるフレームは、前処理部１０１において、カラー画像からモノクロ画像に変換され、且つ、ノイズ除去処理が実施されたフレームである。
【００５８】
図６は、セル単位（１セルともいう）で配列された複数の微小ピクセルブロックを示す図である。各セル内の番号は、セル番号ｋ（ｋは整数）である。
図７は、１セル内の予め定められたブロック（図７では、４ピクセル×４ピクセル）ごとの輝度勾配方向を示す図である。
図８は、図７に示される輝度勾配方向に基づいて生成された輝度勾配方向ヒストグラムを示す図である。
図９は、セル番号ｋで示される各セルにおける、０°方向の輝度勾配値の合計値及び９０°方向の輝度勾配値の合計値を示す図である。
図１０は、各微小ピクセルブロック（微小ピクセルブロック番号ｉ）における各セルの０°方向の輝度勾配値の合計値及び９０°方向の輝度勾配値の合計値を示す図である。
【００５９】
特徴量抽出部１０３は、図６に示されるように、ｎピクセル×ｎピクセルの微小ピクセルブロックサイズよりもさらに小さいｍピクセル×ｍピクセル（ｍは、ｎよりも小さい自然数）のセル単位で輝度勾配方向ヒストグラムを生成する。図７に示される例では、１セルは１６ピクセル×１６ピクセルのサイズである。
【００６０】
特徴量抽出部１０３は、輝度勾配方向ヒストグラムを生成する場合、まずピクセル単位（本実施の形態では、４ピクセル）で水平方向の輝度勾配（勾配強度）及び垂直方向の輝度勾配を算出する。すなわち、画素位置（ｉ，ｊ）（ｉ及びｊは整数）における画素の輝度Ｐｉｘｅｌ＿ｉｊに対して、水平方向における輝度の差分ｘｉｊを、水平方向において画素位置（ｉ，ｊ）に隣接する２つの画素（ｉ＋１，ｊ）及び（ｉ−１，ｊ）の輝度Ｐｉｘｅｌ＿（ｉ＋１）ｊ及びＰｉｘｅｌ＿（ｉ−１）ｊを用いて、下記の式（１）から求める。
【００６１】
【数１】
0006762373.tif 000002
【００６２】
同様に、垂直方向における輝度の差分ｙｉｊを、垂直方向において画素位置（ｉ，ｊ）に隣接する２つの画素（ｉ，ｊ＋１）及び（ｉ，ｊ−１）の輝度Ｐｉｘｅｌ＿ｉ（ｊ＋１）及びＰｉｘｅｌ＿ｉ（ｊ−１）を用いて、下記の式（２）から求める。
【００６３】
【数２】
0006762373.tif 000003
【００６４】
さらに、差分ｘｉｊ及び差分ｙｉｊを用いて、ａｒｃｔａｎ（ｘｉｊ／ｙｉｊ）の計算によって輝度勾配方向の角度を求める。その結果、図７に示される輝度勾配方向がピクセル単位（本実施の形態では、４ピクセル×４ピクセル）で算出される。
【００６５】
次に、特徴量抽出部１０３は、１セル内で０°の方向（すなわち、水平方向）の輝度勾配を持つ各ピクセルの輝度勾配値（勾配強度）を合計し、輝度勾配方向ヒストグラムを生成する（図８）。特徴量抽出部１０３は、１セル内で９０°の方向（すなわち、垂直方向）の輝度勾配を持つ各ピクセルの輝度勾配値（勾配強度）を合計し、輝度勾配方向ヒストグラムを生成する（図８）。さらに、特徴量抽出部１０３は、セル番号によって示される各セルにおける、０°方向の輝度勾配値の合計値及び９０°方向の輝度勾配値の合計値を、特徴量として記録する（図９）。
【００６６】
次に、特徴量抽出部１０３は、輝度勾配方向ヒストグラムを微小ピクセルブロック番号ｉによって示される微小ピクセルブロック単位で集め、図１０に示されるように輝度勾配方向ヒストグラム特徴量を生成する。例えば、セルサイズが４×４ピクセルであって、且つ、微小ピクセルブロックサイズが６４×６４ピクセルサイズの場合、６４／４×６４／４×２＝５１２次元の輝度勾配方向ヒストグラム特徴量が生成される。
【００６７】
輝度勾配方向ヒストグラム特徴量を生成する処理において、全ての輝度勾配方向成分を用いずに、０°方向（水平方向）及び９０°方向（垂直方向）の２成分のみを特徴量として用いる理由は、ブロックノイズは、縦方向（垂直方向）と横方向（水平方向）の輝度勾配方向成分で構成されることが多いということに着目したためである。例えば、全ての輝度勾配方向成分を特徴量として用いるときに、ブロックノイズ出現箇所に隣接する背景画像の特徴から、誤ってブロックノイズの特徴を学習してしまうことを排除するためである。さらに、これによりデータ量が減り、学習処理及び識別処理に要する処理時間を短縮することができる。
【００６８】
なお、学習モードでは、輝度勾配方向ヒストグラム特徴量には、図１０に示されるように、ブロックノイズの有無を示すラベルデータが付与され、微小ピクセルブロック番号ｉによって対応付けられる。その輝度勾配方向ヒストグラム特徴量は、教師データとして学習識別部１０７に入力される。一方、識別モードでは、輝度勾配方向ヒストグラム特徴量にラベルデータが付与されず、輝度勾配方向ヒストグラム特徴量は、そのまま学習識別部１０７に入力される。
【００６９】
次に、特徴量抽出部１０４（９０°頂点個数特徴量抽出部）における特徴量抽出処理を以下に説明する。
【００７０】
特徴量抽出部１０４に入力されるフレームは、前処理部１０１において、カラー画像からモノクロ画像に変換され、且つ、ノイズ除去処理が実施されたフレームである。
【００７１】
図１１は、特徴量抽出部１０４（９０°頂点個数特徴量抽出部）によって行われる特徴量抽出処理の一例を示すフローチャートである。
特徴量抽出部１０４における９０°頂点の個数を求める処理内容を図１１に示されるフローチャートを用いて説明する。
【００７２】
ステップＳ１０１では、特徴量抽出部１０４は、フレーム中のｎ×ｎピクセルの微小ピクセルブロック単位で、ピクセル画像における線の短点、交点、頂点などの特徴点を抽出する。
【００７３】
ステップＳ１０１で抽出された全ての特徴点について、ステップＳ１０２からステップＳ１０５までのループ処理が実施される。
【００７４】
具体的には、ステップＳ１０３において、特徴量抽出部１０４は、ステップＳ１０１で抽出された１つの特徴点（起点）に対して、水平方向及び垂直方向に他の特徴点が存在しているか判定する。水平方向に他の特徴点が存在する場合、特徴量抽出部１０４は、その起点から水平方向に位置する特徴点までの水平方向距離（２点間距離）を求め、２点間距離が予め定められた閾値よりも小さいか否かを判定する。同様に、垂直方向に他の特徴点が存在する場合、特徴量抽出部１０４は、その起点から垂直方向に位置する特徴点までの垂直方向距離（２点間距離）を求め、２点間距離が予め定められた閾値よりも小さいか否かを判定する。
【００７５】
ステップＳ１０３における条件を満たす場合、その起点である特徴点は、９０°頂点であると判定する。閾値に基づいて判定を行う理由は、フレーム内の矩形形状の物体（画像）をブロックノイズとして誤って抽出することを低減するためである。
【００７６】
図１２は、図１１に示されるステップＳ１０１において微小ピクセルブロック内で抽出された特徴点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，及びＦを示す図である。
例えば、ステップＳ１０３で用いられる閾値が３２ピクセルに設定されているとき、９０°頂点として抽出されるべき特徴点は点Ａ，Ｂ，Ｃ，及びＤである。これらの点Ａ，Ｂ，Ｃ，及びＤによって構成される矩形形状の領域は、ブロックノイズを構成している例である。
【００７７】
例えば、点Ａを起点とした場合、点Ｆとの水平方向距離Ｈ（Ａ＿Ｆ）は４０ピクセルである。したがって、閾値３２を超えているため、ステップＳ１０３における判定条件（距離条件）を満たさない。
【００７８】
点Ａを起点とした場合、点Ｄ及びＥは、点Ａに対して水平方向又は垂直方向に位置しない。したがって、ステップＳ１０３における判定条件を満たさない。
【００７９】
点Ａを起点とした場合、点Ｂの水平方向距離Ｈ（Ａ＿Ｂ）及び点Ｃの水平方向距離Ｈ（Ａ＿Ｃ）は、それぞれ０ピクセル、１６ピクセルであり、点Ｂの垂直方向距離Ｖ（Ａ＿Ｂ）及び点Ｃの垂直方向距離Ｖ（Ａ＿Ｃ）は、それぞれ１６ピクセル、０ピクセルである。したがって、これらの距離は、閾値３２よりも小さいので、条件を満たしている。さらに、点Ｂは、点Ａに対して垂直方向に位置し、点Ｃは、点Ａに対して水平方向に位置するので、ステップＳ１０３における判定条件を満たす。よって、点Ａは９０°頂点であると判定される。
【００８０】
続いて、処理は、ステップＳ１０４に遷移する。ステップＳ１０４では、特徴量抽出部１０４は、９０°頂点個数のインクリメントを行う。上述の例では、点Ａが９０°頂点であると判定されたので、９０°頂点個数のインクリメントが行われる。
【００８１】
ステップＳ１０４における処理の後、再びステップＳ１０３に戻り、点Ｂを起点に設定してステップＳ１０３の処理を行う。
【００８２】
例えば、点Ｅを起点とした場合、点Ｅの水平方向又は垂直方向に他の特徴点が無いので、点Ｅは９０°頂点ではないと判定される。点Ｆを起点とした場合、点Ｆの垂直方向に他の特徴点が無いので、点Ｆは９０°頂点ではないと判定される。その結果、特徴量抽出部１０４は、点Ｅ及びＦについて、９０°頂点個数のインクリメントを行わない。
【００８３】
図１３は、特徴量抽出部１０４によって生成される９０°頂点個数特徴量を示す図である。
ステップＳ１０１からステップＳ１０５までの処理の結果、微小ピクセルブロックごとに９０°頂点個数が抽出された１次元の特徴量が得られる。図１２に示される例（微小ピクセルブロック番号ｉ）では、９０°頂点個数は４であるので、図１３に示されるように、９０°頂点個数の欄に９０°頂点個数４が示されている。
【００８４】
なお、学習モードでは、９０°頂点個数特徴量には、図１３に示されるように、ブロックノイズの有無を示すラベルデータが付与され、微小ピクセルブロック番号ｉによって対応付けられる。その９０°頂点個数特徴量は、教師データとして学習識別部１０８に入力される。一方、識別モードでは、９０°頂点個数特徴量にラベルデータが付与されず、９０°頂点個数特徴量は、そのまま学習識別部１０８に入力される。
【００８５】
〈学習識別部１０６，１０７，及び１０８の動作〉
学習識別部１０６，１０７，及び１０８の動作を具体的に説明する。
【００８６】
学習識別部１０６，１０７，及び１０８は、例えば、サポートベクタマシンと呼ばれるアルゴリズムで構成される。サポートベクタマシンの動作について以下に説明する。
【００８７】
図１４は、２次元の学習用特徴量１及び２を持つサンプルデータの一例を示す図である。
図１４に示される各サンプルデータには、ブロックノイズ有りのカテゴリ又はブロックノイズ無しのカテゴリが、ラベルデータとして対応付けられている。
【００８８】
学習モードでは、ブロックノイズ有りのカテゴリとブロックノイズ無しのカテゴリとを分離する最適な境界線をどこに引けばよいかを学習し決定する。具体的には、これらの２つのカテゴリを最も大きなマージンで分離する直線である境界線（境界面）を求める。２つのカテゴリに完全に分離できない場合は、多少の誤り及び境界線近くのサンプルの誤りは許容し、大部分のサンプルに大きなマージンが確保されるよう境界線を決定する。境界線を決定する重要なサンプルはサポートベクターだけであるので、大部分のサンプルデータは境界線の決定に全く影響を及ぼさない。学習モードでは、このサポートベクターを求め、識別モードにおいてこれらのサポートベクターから境界線が得られるように、このサポートベクターを学習モデル格納部１１０に格納し、学習処理は完了する。
【００８９】
識別モードでは、学習識別部１０６，１０７，及び１０８は、学習モデル格納部１１０からサポートベクターを読み込み、境界線を求める。さらに、学習識別部１０６，１０７，及び１０８は、特徴量抽出部１０２，１０３，及び１０４の各々から出力された特徴量ごとに、ブロックノイズの有無の判定を行う。すなわち、学習識別部１０６，１０７，及び１０８は、学習モードにおけるノイズパターンの学習結果に基づいて、特徴量抽出部１０２，１０３，及び１０４からそれぞれ出力された特徴量が、境界線のどちら側のカテゴリに分類されるかを識別し、ブロックノイズの有無を判定する。
【００９０】
上記の例では、簡単な例として２次元の特徴量（学習用特徴量１及び２）を用いたサポートベクタマシンの例を説明したが、実際の運用では、多次元の特徴量（例えば、３種類以上の特徴量）を扱い、学習処理によって境界線が決定される。また、上記の例では、線形分離によって境界線を求める処理を説明したが、非線形分離面を求める処理であってもよい。また、サポートベクタマシンによる学習識別器の動作を説明したが、学習識別部１０６，１０７，及び１０８は、ベイズ識別法、Ｋ近傍識別法、Ｋ−ｍｅａｎｓ法、ニューラルネットワーク、又はディープラーニング等のような他のアルゴリズムを用いてもよい。
【００９１】
〈動き検出部１０５の動作〉
動き検出部１０５における処理について具体的に説明する。
図１５は、微小ピクセルブロックの動き（フレーム間の動き）を示す図である。
動き検出部１０５は、現在処理中のフレーム及び一つ前のフレームに対して、微小ピクセルブロック単位で、同一微小ピクセルブロック位置の画像の比較を行う。具体的には、特徴量抽出部１０３で生成された輝度勾配方向ヒストグラムの差分を求める。例えば、差分がゼロであれば、動き検出部１０５は、微小ピクセルブロックの動きが無いと判定し、それ以外は動きが有ると判定する。ただし、輝度勾配方向ヒストグラムの差分が閾値以下であれば動きが無いと判定し、それ以外は動き有りと判定しても良い。
【００９２】
図１５に示される例では、現在処理中の第２のフレームｆ２及び一つ前の第１のフレームｆ１において、微小ピクセルブロックｂ１は動きが無いと判定され、微小ピクセルブロックｂ２は動き（車の移動）が有ると判定される。
【００９３】
本実施の形態では、輝度勾配方向ヒストグラム特徴量の差分での処理を例として説明したが、ピクセルの比較を行ってもよい。
【００９４】
動き検出部１０５は、微小ピクセルブロックの動きが無いと判定した場合、学習識別部１０６，１０７，及び１０８が識別処理を実施しないように動作制御部１１３を制御する。例えば、動き検出部１０５は、微小ピクセルブロックの動きが無いと判定した場合、特徴量抽出部１０２，１０３，及び１０４からの出力（特徴量）が学習識別部１０６，１０７，及び１０８に入力されないように、動作制御部１１３を制御する。この場合、学習識別部１０６，１０７，及び１０８は、識別処理を行わない。一方、ノイズ有無識別結果制御部１１２は、ノイズ有無識別結果をノイズスコア＝０（すなわち、ブロックノイズ無し）として強制的に設定する。これにより、無駄な識別処理を実施することがなくなるので映像障害検知装置１００における処理負荷を軽減することができる。
【００９５】
さらに、動き検出部１０５によって動きが無いと判定された微小ピクセルブロックについては、ノイズ有無識別結果制御部１１２は、学習識別部１０６，１０７，及び１０８からの出力（出力内容）を、ブロックノイズ無し（すなわち、ノイズスコア＝０）とみなして統合判定処理部１１１に出力する。
【００９６】
〈統合判定処理部１１１の動作〉
統合判定処理部１１１における処理について具体的に説明する。
図１６は、ノイズスコア合計値の算出フローの一例を示す図である。
【００９７】
統合判定処理部１１１は、図１６に示される処理に従ってノイズスコア合計値を求める。ノイズスコア合計値の算出方法を以下に説明する。
【００９８】
ステップＳ１００１からステップＳ１００３では、ブロックノイズ分布密度重み付け処理部４０２は、学習識別部１０７から出力されたノイズ有無識別結果に基づく重み付け処理（ステップＳ１００２）を行うためのループ処理を実施する。本実施の形態では、重み付け処理は、ブロックノイズの分布密度（ブロックノイズ分布密度）に応じて値（ノイズスコア値）を付与する処理である。具体的には、ブロックノイズ有りと判定された微小ピクセルブロックの、フレーム内における分布密度に応じてノイズスコア値（自然数）が付与される。
【００９９】
ステップＳ１００２における重み付け処理の一例を説明する。
図１７は、図１６に示されるステップＳ１００２，Ｓ１００５，及びＳ１００８において行われる重み付け処理のフローの一例を示す図である。
【０１００】
ステップＳ１１０１では、ブロックノイズ分布密度重み付け処理部４０２は、フレーム内において、ブロックノイズ有りと判定された微小ピクセルブロックｉに隣接する、ブロックノイズ有りと判定された微小ピクセルブロックの個数ＮｕｍＯｆＢｌｏｃｋ＿ｉをカウントする。
【０１０１】
図１８は、重み付け処理によってノイズスコア値が付与された微小ピクセルブロックの一例を示す図である。
例えば、図１８に示されるフレームｆ１１において、ブロックノイズ有りと判定された微小ピクセルブロックｂ１１（微小ピクセルブロック番号ｉ）に隣接する、ブロックノイズ有りと判定された微小ピクセルブロックは微小ピクセルブロックｂ１２のみである。したがって、微小ピクセルブロックｂ１１について、個数ＮｕｍＯｆＢｌｏｃｋ＿ｉは１である。
【０１０２】
ステップＳ１１０２では、ブロックノイズ分布密度重み付け処理部４０２は、微小ピクセルブロックｉのノイズスコア値をＮｕｍＯｆＢｌｏｃｋ＿ｉ＋１として算出する。例えば、図１８に示されるフレームｆ１１の微小ピクセルブロックｂ１１の個数ＮｕｍＯｆＢｌｏｃｋ＿ｉは１であるので、微小ピクセルブロックｂ１１のノイズスコア値は、１＋１＝２である。
【０１０３】
ステップＳ１１０２において、ブロックノイズ分布密度重み付け処理部４０２は、微小ピクセルブロックｉについてのノイズスコア値の算出を完了したとき、算出された値を、重み付けされたノイズスコア値として微小ピクセルブロックｉに付与する。
【０１０４】
図１８に示される微小ピクセルブロックは、ブロックノイズ有りと判定されたブロックの例である。各微小ピクセルブロック内に示される数値は、ブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３がブロックノイズ分布密度に基づく重み付け処理を実施した結果付与されたノイズスコア値である。ブロックノイズ分布密度がまばらである場合、ノイズスコア値は低く、分布密度が高いほどノイズスコア値が高い。
【０１０５】
ステップＳ１１０１からステップＳ１１０２までの処理を、１つのフレーム内において、ブロックノイズ有りと判定された全ての微小ピクセルブロックに対して実施する（Ｓ１００１からＳ１００３までのループ処理）。
【０１０６】
ステップＳ１００４からステップＳ１００６では、ステップＳ１００１からステップＳ１００３における処理と同様に、ブロックノイズ分布密度重み付け処理部４０１は、学習識別部１０６から出力されたノイズ有無識別結果に基づく重み付け処理（ステップＳ１００５）を行うためのループ処理を実施する。
【０１０７】
ステップＳ１００７からステップＳ１００９では、ステップＳ１００１からステップＳ１００３における処理と同様に、ブロックノイズ分布密度重み付け処理部４０３は、学習識別部１０８から出力されたノイズ有無識別結果に基づく重み付け処理（ステップＳ１００８）を行うためのループ処理を実施する。
【０１０８】
ステップＳ１０１０では、フレーム内ブロックノイズスコア算出部４０４は、ノイズ有無識別結果の種類ごとにフレーム内のノイズスコア値を合計し、これらの合計値をさらに合計することにより、ノイズスコア合計値を求める。本実施の形態では、フレーム内ブロックノイズスコア算出部４０４は、ステップＳ１００１からステップＳ１００３までの処理において付与された全てのノイズスコア値を合計し、ステップＳ１００４からステップＳ１００６までの処理において付与された全てのノイズスコア値を合計し、ステップＳ１００７からステップＳ１００９までの処理において付与された全てのノイズスコア値を合計し、これらの合計値をさらに合計することによりノイズスコア合計値を得る。
【０１０９】
図１８に示される例では、輝度勾配方向ヒストグラム特徴量に基づくノイズスコア値の合計値は２＋２＋１＝５である。したがって、フレーム内ブロックノイズスコア算出部４０４は、学習識別部１０７から出力されたノイズ有無識別結果に基づくノイズスコア値の合計値５を得る。
【０１１０】
同様に、図１８に示される例では、９０°頂点個数特徴量に基づくノイズスコア値の合計値は３であり、空間周波数特徴量に基づくノイズスコア値の合計値は１４である。したがって、ステップＳ１０１０において得られるノイズスコア合計値は５＋３＋１４＝２２である。
【０１１１】
ステップＳ１０１０において得られたノイズスコア合計値は、フレーム内ブロックノイズスコア算出部４０４からフレーム内ブロックノイズ有無判定部４０５に入力され、図１９に示される処理が実施される。
【０１１２】
図１９は、フレーム内のブロックノイズの有無を判定するフローチャートである。
ステップＳ１２０１では、フレーム内ブロックノイズ有無判定部４０５は、各フレームのノイズスコア合計値を閾値と比較する。ノイズスコア合計値が閾値よりも大きい場合、フレーム内ブロックノイズ有無判定部４０５は、フレーム内にブロックノイズが有ると判定する（ステップＳ１２０２）。ノイズスコア合計値が閾値以下である場合、フレーム内ブロックノイズ有無判定部４０５は、フレーム内にブロックノイズが無いと判定する（ステップＳ１２０３）。フレーム内ブロックノイズ有無判定部４０５は、ステップＳ１２０１からステップＳ１２０３における処理に基づいて判定結果を出力する（ステップＳ１２０４）。
【０１１３】
以上の処理によって、映像障害検知装置１００に入力された映像の各フレームにおけるノイズ有無判定結果Ｄｏが、映像障害検知装置１００から出力される。
【０１１４】
以上に説明したように、予め学習モードにおいて、映像障害検知装置１００は、ブロックノイズが発生している学習用映像を用いて、各フレーム内のブロックノイズが発生している微小ピクセルブロックから抽出された各特徴量に、ラベルデータを付与することにより、学習用特徴量を得る。この学習用特徴量は、学習識別部１０６，１０７，及び１０８に入力され、学習識別部１０６，１０７，及び１０８において学習される。
【０１１５】
学習モードにおける動作の後、識別モードにおいて、映像障害検知装置１００は、映像障害検知装置１００に入力された映像（入力信号Ｄｉ）から、各特徴量を抽出し、学習識別部１０６，１０７，及び１０８において微小ピクセルブロックにおけるブロックノイズの有無を判定する。さらに、ノイズ有無識別結果に、ブロックノイズ有りと判定された微小ピクセルブロックの分布密度に応じた重み付けがされ、各フレームにおけるブロックノイズの有無を示すノイズ有無判定結果Ｄｏが映像障害検知装置１００から出力される。
【０１１６】
なお、学習識別部１０６，１０７，及び１０８において、ブロックノイズ有りと判定された微小ピクセルブロックについて、ユーザの目視等によって、ブロックノイズではないと確認された場合、その微小ピクセルブロックについてはブロックノイズ無し（ノイズスコア＝０）を示す学習用ラベルデータを付与し、映像障害検知装置１００に再学習させることが望ましい。
【０１１７】
これとは反対に、学習識別部１０６，１０７，及び１０８において、ブロックノイズ無しと判定された微小ピクセルブロックについて、ユーザの目視等によって、ブロックノイズが有ると確認された場合、その微小ピクセルブロックについてはブロックノイズ有り（ノイズスコア＝１）を示す学習用ラベルデータを付与し、映像障害検知装置１００に再学習させることが望ましい。
【０１１８】
上記の再学習処理を繰り返し行うことにより、映像障害検知装置１００において、ブロックノイズの検知精度（認識率）を高め、誤検知を低減することができる。
【０１１９】
なお、再学習処理において、ラベルデータ作成の効率化を図るため、ユーザが、フレームをパーソナルコンピュータのモニタ上に表示させ、誤検知された微小ピクセルブロックをマウスでクリックすることによりラベルデータを効率よく作成するようにしてもよい。
【０１２０】
例えば、ユーザが、ブロックノイズに含まれる多次元の特徴量を抽出し、各特徴量に対する閾値を決めて、ブロックノイズの有無を判定することは非常に困難である。実施の形態１に係る映像障害検知装置１００によれば、複数の特徴量抽出部１０２，１０３，及び１０４、並びに複数の学習識別部１０６，１０７，及び１０８を有するので、多次元空間においてブロックノイズ有りのカテゴリとブロックノイズ無しのカテゴリとを分離する最適な境界面（分離境界面）を決定することができる。これにより、ノイズ有無識別結果及びノイズ有無判定結果Ｄｏの精度を高めることができる。
【０１２１】
上述のように、誤検知が確認された場合は、再学習処理を繰り返し行うことにより、映像障害検知装置１００において、ブロックノイズの検知精度（認識率）を高め、誤検知を低減することができる。
【０１２２】
さらに、映像障害検知装置１００において、特徴量抽出部１０３（輝度勾配方向ヒストグラム特徴量抽出部）が、０°方向（水平方向）及び９０°方向（垂直方向）の２成分のみを特徴量として抽出するため、ブロックノイズ有無の判定精度を高めることができる。
【０１２３】
さらに、特徴量抽出部１０３は、各セル内で０°又は９０°の方向（すなわち、水平方向又は垂直方向）の輝度勾配を持つピクセルの輝度勾配値を合計し、輝度勾配方向ヒストグラムを生成するので、矩形形状のブロックノイズを特徴量として的確に抽出することができ、ブロックノイズの高い検知性能を得ることができる。これにより、学習識別部１０７において、ブロックノイズの背景画像に含まれる他の角度成分の影響を受けずにブロックノイズの特徴を学習させることができる。その結果、ノイズ有無識別結果及びノイズ有無判定結果Ｄｏの精度を高めることができる。
【０１２４】
一般に、ブロックノイズは、完全な矩形形状であるものばかりではなく、１個、２個、又は３個の９０°頂点によって構成された領域もブロックノイズであることが多い。本実施の形態に係る映像障害検知装置１００では、特徴量抽出部１０４は、完全な矩形形状ではないブロックノイズ（例えば、１個、２個、又は３個の９０°頂点によって構成されたブロックノイズ）を構成する特徴量も精度よく抽出することができるため、ノイズ有無識別結果及びノイズ有無判定結果Ｄｏの精度を高めることができる。
【０１２５】
さらに、本実施の形態では、ブロックノイズは、空間周波数が比較的低い成分で構成されていることに着目し、水平方向及び垂直方向の低周波数成分についての空間周波数特徴量を抽出する特徴量抽出部１０２を用いている。これにより、ブロックノイズ内部のきめ細かい特徴量を抽出することができるので、ノイズ有無識別結果及びノイズ有無判定結果Ｄｏの精度を高めることができる。
【０１２６】
本実施の形態では、学習識別部１０６，１０７，及び１０８からのノイズ有無識別結果が、統合判定処理部１１１にそれぞれ入力される。したがって、ブロックノイズの誤検知又は検知漏れが確認された場合に、どの学習識別部（学習識別部１０６，１０７，又は１０８）において誤検知又は検知漏れが発生したのかを特定しやすくなり、学習が不足している学習識別部を特定しやすくなる。その結果、ブロックノイズの検知精度の低い学習識別部に集中的に学習を行わせることなどにより、ブロックノイズの検知精度を改善させることができる。
【０１２７】
一般に、映像圧縮コーデックの処理単位は、８ピクセル×８ピクセル、又は１６ピクセル×１６ピクセルなどであるため、８ｎピクセル×８ｎピクセル（ｎは自然数）の画像ピクセルを検出することによりブロックノイズ検知率を上げる方法がある。これに対し、本実施の形態では、各特徴量抽出部１０２，１０３，及び１０４において抽出される微小ピクセルブロックのサイズを８ｎピクセル×８ｎピクセルに固定しないようにしている。これにより、映像機器の出力（映像障害検知装置１００に入力される映像）がスケーリングされた映像の場合であっても、ブロックノイズを的確に検知することができるという効果が得られる。
【０１２８】
統合判定処理部１１１は、学習識別部１０６，１０７，及び１０８において微小ピクセルブロック単位で処理されたノイズ有無識別結果を統合し、フレーム内におけるブロックノイズの有無を判定するので、各学習識別部１０６，１０７，及び１０８の差異（例えば、機能的な弱点）を補うことができ、ノイズ有無判定結果Ｄｏの精度を高めることができる。例えば、各学習識別部１０６，１０７，及び１０８が、ブロックノイズの位置を正確に特定できず、正確なブロックノイズの位置の周辺の微小ピクセルブロックが誤検知された場合であっても、統合判定処理部１１１が、学習識別部１０６，１０７，及び１０８からのノイズ有無識別結果を統合し、最終的にブロックノイズの有無を判定するので、映像障害検知装置１００における映像障害検知精度（ブロックノイズ検知精度）を高めることができる。
【０１２９】
一般に、フレーム内において、ブロックノイズが密集して発生している場合、映像を視聴している人間は不快に感じやすい。また、ブロックノイズの多くは、フレーム内において動いている物体（画像）の付近に密集して発生しやすい。本実施の形態では、これらの特徴に着目し、映像障害検知装置１００は、重み付け処理部４００（具体的には、ブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３）を有する。重み付け処理部４００は、これらの特徴を的確に捉えることができるので、映像障害検知装置１００におけるブロックノイズの検知精度を高めることができる。
【０１３０】
さらに、ブロックノイズの多くは、フレーム内において動いている物体の付近に密集して発生しやすいことに着目し、映像障害検知装置１００は、動き検出部１０５及びノイズ有無識別結果制御部１１２を有する。動き検出部１０５及びノイズ有無識別結果制御部１１２は、学習識別部１０６，１０７，及び１０８の各々によって判定されたノイズ有無識別結果を制御するので、フレーム内の矩形形状の背景画像をブロックノイズとして誤検知してしまうことを防ぐことができるとともに、動きのある物体付近に発生するブロックノイズの検知漏れを低減することができる。
【０１３１】
また、動き検出部１０５は、微小ピクセルブロックの動きが無いと判定した場合、学習識別部１０６，１０７，及び１０８が識別処理を実施しないように動作制御部１１３を制御するので、学習識別部１０６，１０７，及び１０８において識別処理が行われない。一方、ノイズ有無識別結果制御部１１２は、ノイズ有無識別結果をノイズスコア＝０（すなわち、ブロックノイズ無し）として強制的に設定する。したがって、無駄な識別処理を実施することがなくなるので、映像障害検知装置１００における全体の処理負荷を軽減することができる。
【０１３２】
実施の形態２．
図２０は、本発明の実施の形態２に係る映像障害検知装置２００の構成を概略的に示すブロック図である。図２０において、図１に示される構成と同じ又は対応する構成には、図１に示される符号と同じ符号が付される。
実施の形態２に係る映像障害検知装置２００は、ノイズ有無識別結果制御部１１２（図１）及び動作制御部１１３（図１）を有していない点が、実施の形態１に係る映像障害検知装置１００と相違する。映像障害検知装置２００では、動き検出部１０５で検出された微小ピクセルブロックの動き量（微小ブロックにおけるフレーム間の画像の変化）が統合判定処理部１１１ａに入力される。
図２１は、実施の形態２の統合判定処理部１１１ａの構成を概略的に示すブロック図である。図２１において、図２に示される構成と同じ又は対応する構成には、図２に示される符号と同じ符号が付される。図２１に示されるように、統合判定処理部１１１ａの重み付け処理部４００ａは、動き量重み付け処理部４０６，４０７，及び４０８を有する点が、図２に示される重み付け処理部４００と相違する。映像障害検知装置２００におけるその他の構成は、実施の形態１に係る映像障害検知装置１００における構成と同じである。
【０１３３】
映像障害検知装置２００では、動き検出部１０５の検出結果、すなわち、微小ピクセルブロックの動き量に応じて、学習識別部１０６，１０７，及び１０８から出力されたノイズ有無識別結果（ノイズスコア）のそれぞれに対して統合判定処理部１１１ａの重み付け処理部４００ａで重み付けを行う。ブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３は、ブロックノイズ分布密度重み（ノイズ分布密度重みともいう）を決定する。すなわち、ブロックノイズ分布密度重み付け処理部４０１，４０２，及び４０３は、ブロックノイズ有りと判定された微小ピクセルブロックのフレーム内における分布密度に基づいて、ブロックノイズ分布密度重みを決定する。なお、ブロックノイズ分布密度重みとは、重み付け処理で用いられる数値である。よって、ブロックノイズ分布密度重みは、ノイズ分布密度重み値と表現する。動き量重み付け処理部４０６，４０７，及び４０８は、動き検出部１０５が検出した動き量に応じた動き量重み値を決定する。例えば、動き量重み付け処理部４０６，４０７，及び４０８は、動き検出部１０５が、現在処理中のフレーム及び一つ前のフレームに対して、微小ピクセルブロック単位で、同一の微小ピクセルブロック位置における画像の比較を行い、微小ピクセルブロックに動きがあった場合、動き量重み値を１とする。動き量重み付け処理部４０６，４０７，及び４０８は、微小ピクセルブロックに動きがなかった場合、動き量重み値を０とする。また、動き量重み値は、微小ピクセルブロックの動き量に応じた値としてもよい。重み付け処理部４００ａは、ブロックノイズ分布密度重み（すなわち、ノイズ分布密度重み値）と動き量重み値とを用いて、各ノイズ有無識別結果に対して重み付け処理を行う。重み付けされた各ノイズ有無識別結果は、実施の形態１の処理内容と同様に、フレーム内ブロックノイズスコア算出部４０４に入力される。フレーム内ブロックノイズスコア算出部４０４は、重み付けされた各ノイズ有無識別結果を用いて、フレーム内ブロックノイズスコア、すなわち、ノイズスコア合計値を算出する。ノイズスコア合計値は、フレーム内ブロックノイズ有無判定部４０５に入力される。フレーム内ブロックノイズ有無判定部４０５は、ノイズスコア合計値を用いて、フレーム内のブロックノイズ有無を判定し、判定結果を出力する。
【０１３４】
実施の形態２に係る映像障害検知装置２００は、実施の形態１に係る映像障害検知装置１００によって得られる効果と同じ効果を有する。
【０１３５】
さらに、実施の形態２に係る映像障害検知装置２００によれば、ブロックノイズの発生率が、フレーム内の動きの大きさに依存している場合に、ブロックノイズの検知精度を高めることができる。
【０１３６】
実施の形態３．
図２２は、本発明の実施の形態３に係る映像障害検知装置３００の構成を概略的に示すブロック図である。図２２において、図１に示される構成と同じ又は対応する構成には、図１に示される符号と同じ符号が付される。
映像障害検知装置３００は、ノイズ有無識別結果制御部１１２（図１）を有しておらず、動作制御部１１３（図１）の代わりに動き特徴量付加部１１７を有する。動き特徴量付加部１１７は、動き検出部１０５によって検出された検出結果に基づくデータ（例えば、微小ピクセルブロックの動き（フレーム内の画像の変化）の有無又は量）を、特徴量抽出部１０２，１０３，及び１０４の各々からの出力に追加する。
【０１３７】
実施の形態３に係る映像障害検知装置３００は、実施の形態１に係る映像障害検知装置１００によって得られる効果と同じ効果を有する。
【０１３８】
実施の形態３に係る映像障害検知装置３００では、学習識別部１０６，１０７，及び１０８は、動き特徴量付加部１１７において追加された新たな情報（動き検出部１０５からの出力）を新たな次元として、新たな特徴量空間において境界面を決定するブロックノイズの有無の判定が行われ、これにより、ブロックノイズの有無が判定される。
【０１３９】
実施の形態４．
実施の形態１から３の映像障害検知装置１００，２００，及び３００において、フレーム内ブロックノイズ有無判定部４０５が算出するノイズスコアを映像障害検知装置の外部に出力するように構成してもよい。これにより、ブロックノイズの発生度合いを数値で表せるので、客観的な同一指標で映像を評価することができ、映像機器の比較評価試験に活用することができる。例えば、デジタル放送受信機の受信性能を評価する際、デジタル放送受信機の映像出力を、実施の形態４に係る映像障害検知装置に入力することで、フリンジエリアなど受信環境悪化時にデジタル放送受信機の映像出力の乱れ具合を数値によって客観的に評価でき、試験者の主観的な評価を排除できる。
【０１４０】
車載用デジタル放送受信機などの移動体向けデジタル放送受信機において、受信状況が悪化した際に、系列局への自動選局又はフルセグとワンセグとの間の自動切換えを行う機能がある。このようなデジタル放送受信機に、上記の映像障害検知装置１００，２００，又は３００を組み込むことができる。この場合、デジタル放送受信機の映像出力が映像障害検知装置１００，２００，又は３００に入力されるように構成する。例えば、ユーザが視聴に耐えられないと感じる映像乱れ具合のときのノイズスコア値（学習モードにおけるノイズスコア値）を、予め映像障害検知装置１００，２００，又は３００に学習させておくことで、ノイズスコア値（識別モードにおけるノイズスコア値）が、閾値（学習モードにおけるノイズスコア値）よりも悪化した際に、系列局又はワンセグサービスに選局を自動的に行うことができる。
【０１４１】
映像障害検知装置１００，２００，又は３００をデジタル放送受信機に組み込まなくても、系列局、ワンセグサービス、又はフルセグサービスへの自動選局を開始する閾値を決めることができる。例えば、デジタル放送受信機の映像出力を、映像障害検知装置１００，２００，又は３００に入力することで、受信状況が悪化した際に復調処理部が出力するパケットエラーレート、ビットエラーレート、受信電力、Ｃ／Ｎ（搬送波対ノイズ比）などの受信ステータス信号値と、受信状況が悪化した際のデコード映像出力に対するノイズスコア値との関係性を近似式で表現することができる。ユーザが視聴に耐えられないと感じる映像乱れ具合のときのノイズスコア値を予め映像障害検知装置１００，２００，又は３００に学習させておくことで、そのノイズスコア値に対応する受信ステータス信号値を求めることができ、その受信ステータス信号値を閾値として、系列局、ワンセグサービス、又はフルセグサービスに自動選局を行うことができる。
【０１４２】
実施の形態５．
映像出力機器において、映像出力機器に実装されるソフトウェアが大規模化してきており、試験工数が増大傾向にある。このような状況において、ソフトウェア開発工程における試験人員の占める割合が増大の一途をたどっている。映像出力機器内のソフトウェアに不具合がある場合、映像出力にブロックノイズ等の異常な出力が生じるケースがある。そのような不具合が無いことを確認するためには、これまで目視確認が必要であった。そこで、試験対象の映像出力機器からの映像出力を、映像障害検知装置１００，２００，又は３００に入力し試験を行う構成とすることで、映像障害を自動検知することができ、試験工数を大幅に低減することができる。さらに、映像出力機器の品質を強化することができる。
【０１４３】
実施の形態６．
近年、カメラでセンシングした映像から障害物又は道路上の白線を検知し、衝突回避、レーン維持走行などを行う先進安全機能が自動車に搭載され普及し始めている。さらに、今後、カメラ映像を用いた自動運転車が普及してくると考えられている。このような機能及び製品は、カメラ映像から如何に物体を認知するかが鍵になっている。自動運転車では、運転者が運転時にカメラの映像を見て映像に異常があるかどうかを判断することを前提としていないので、映像品質の維持が非常に重要である。
【０１４４】
映像品質の低下の原因として、映像伝送ケーブルを接続するハーネスの接触不良、カメラの故障、ケーブル断線などが考えられる。このような場合、ブロックノイズが発生すると考えられる。上記の映像障害検知装置１００，２００，及び３００は、カメラからの映像伝送路と映像の認知を行う認知処理部との間に挿入することができる。これにより、伝送映像の品質に異常が生じていないかチェックすることができ、ブロックノイズ発生時に異常検知をユーザに通知することができる。例えば、映像障害検知装置１００，２００，又は３００が搭載された車において、ブロックノイズを検知した場合、一時的に車を安全な場所に誘導することが可能になる。
【０１４５】
実施の形態７．
近年、さまざまな場所で監視カメラが設置されており、防犯に役立てられている。監視カメラによって撮影されたカメラ映像は、ネットワークを介してセキュリティセンター、ローカルのサーバーなどに蓄積される。このようなネットワーク及び監視カメラに故障が生じると、ブロックノイズが混ざった映像が記録されてしまい映像解析に支障をきたす恐れがある。そこで、このような監視カメラによって撮影された映像を、映像障害検知装置１００，２００，又は３００に入力することで、監視カメラ又は伝送路の障害によってブロックノイズが生じた場合に、ブロックノイズを自動検知でき、管理者に通知することができる。したがって、監視カメラ又は伝送路の障害が発生した場合でも、早期に修理を行うことができるので、監視カメラの機能（セキュリティレベル）を維持することができる。
【０１４６】
監視カメラなどの機器に故障が無くてもネットワークの伝送量が増加するとカメラ映像を伝送可能な帯域が少なくなるため、伝送中におけるデータの消失などを起因とするブロックノイズが発生する。そこで、監視カメラによって撮影された映像を、映像障害検知装置１００，２００，又は３００に入力することで、ブロックノイズの発生を検知することができる。ブロックノイズの発生が検知された場合、映像障害検知装置１００，２００，又は３００から、カメラ映像をネットワークに送信する側に通知を行い、カメラ映像の圧縮率を大きくしたり、解像度を低下させたりすることが可能になる。これにより、データ量を絞る適応レート制御を行うことで、監視カメラを用いたシステムにおけるブロックノイズの発生率を低下させることができ、高い映像品質を保証することができる。
【０１４７】
実施の形態８．
図２３は、映像障害検知装置１００のハードウェア構成の一例を概略的に示すブロック図である。
映像障害検知装置１００の機能は、プログラムによって実現することができる。この場合、映像障害検知装置１００はコンピュータである。実施の形態２に係る映像障害検知装置２００及び実施の形態３に係る映像障害検知装置３００も、図２３に示されるハードウェア構成を用いることができる。
【０１４８】
具体的には、映像障害検知装置１００内の各構成要素の機能は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサ５０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３等によって実現することができる。この場合、ＲＯＭ５０２には映像障害検知装置１００内の各構成要素の機能を実現するためのプログラム等が格納されている。例えば、ＲＡＭ５０３は、ＲＯＭ５０２に格納されたプログラム等をロードする記憶領域として用いられる。プロセッサ５０１は、例えば、ＲＡＭ５０３にプログラムをロードしてプログラムを実行することにより、映像障害検知装置１００内の各構成要素の機能を実現する。
【０１４９】
実施の形態９．
図２４は、本発明の実施の形態９に係る映像障害検知装置５００の構成を概略的に示すブロック図である。図２４において、図１に示される構成と同じ又は対応する構成には、図１に示される符号と同じ符号が付される。映像障害検知装置５００は、画像複雑度に適応したテンプレートマッチング処理部１５１とブロック複雑度判定部１５２とを有する点が、実施の形態１に係る映像障害検知装置１００と相違する。また、映像障害検知装置５００は、実施の形態１におけるノイズ有無識別結果制御部１１２と動作制御部１１３とを有していない。また、実施の形態９では、後述する図２８の統合判定処理部１１１ｂの重み付け処理部４００ｂ及びフレーム内ブロックノイズスコア算出部４０４ａの処理が、実施の形態１の重み付け処理部４００及びフレーム内ブロックノイズスコア算出部４０４の処理と異なる。
テンプレートマッチング処理部１５１は、学習モデルによるブロックノイズの識別を行わずにブロック内のブロックノイズの有無を判定するノイズ有無識別部である。
【０１５０】
映像障害検知装置５００は、ブロックごとにブロックノイズ有無を識別する特徴量抽出部１０２と学習識別部１０６によって識別されるブロックノイズ識別系統、特徴量抽出部１０３と学習識別部１０７によって識別されるブロックノイズ識別系統、特徴量抽出部１０４と学習識別部１０７によって識別されるブロックノイズ識別系統、及びテンプレートマッチング処理部１５１によって識別されるブロックノイズ識別系統の４つのブロックノイズ識別系統を有する。映像障害検知装置５００は、４つのブロックノイズ識別系統の全てを機能させなくてもよい。つまり、映像障害検知装置５００は、４つのブロックノイズ識別系統のうちのいずれか２つ以上の任意のブロックノイズ識別系統を機能させればよい。
【０１５１】
実施の形態９では、映像障害検知装置５００が２つ以上のブロックノイズ識別系統を有する場合を説明する。各ブロックノイズ識別系統は、例えばブロックノイズ検出率が高いが、誤判定率も高いと判定される系統と、これとは逆にブロックノイズ検出率は低いが、誤判定率も低いと判定されるような慎重にブロックノイズを判定する系統とから構成されるように各種閾値などのパラメータを設定して各系統を構成する。
【０１５２】
テンプレートマッチング処理部１５１の動作の概要を説明する。テンプレートマッチング処理部１５１は、解析対象となる画像の複雑度に応じて画像平滑処理を実行する。画像平滑処理は、例えば、ガウスフィルタ処理である。なお、テンプレートマッチング処理部１５１は、ガウスフィルタ処理以外の画像平滑処理を実行してもよい。テンプレートマッチング処理部１５１は、ガウスフィルタ処理後の画像を対象として、後述する図２６（Ａ）から（Ｅ）に示されるブロックノイズの輪郭の図形の特徴を示すテンプレートを用いたテンプレートマッチング処理を実行する。テンプレートマッチング処理部１５１は、テンプレートマッチング処理を実行して、ブロックノイズの有無をブロック単位で判定する。
【０１５３】
テンプレートマッチング処理部１５１の動作の詳細を、フローチャートを用いて説明する。図２５は、テンプレートマッチング処理部１５１が実行する処理を示すフローチャートである。
テンプレートマッチング処理部１５１は、カラー画像からモノクロ画像に変換され、且つ、ノイズ除去処理が実施されたフレームを前処理部１０１から受け付ける。テンプレートマッチング処理部１５１は、ステップＳ２０１からステップＳ２０６までの処理を３回実行する。ただし、テンプレートマッチング処理部１５１は、後述するステップＳ２０５の判定結果によっては、ステップＳ２０１からステップＳ２０６までの処理を３回実行しない場合（すなわち、２回以下の処理で終了する場合）もある。
【０１５４】
テンプレートマッチング処理部１５１は、１回目のループ処理で、ステップＳ２０２のガウスフィルタ処理を実行しない。テンプレートマッチング処理部１５１は、２回目と３回目のループ処理で、ステップＳ２０２のガウスフィルタ処理を実行する。
テンプレートマッチング処理部１５１は、２回目のループ処理で実行するガウスフィルタ処理では、フィルタ強度の弱いガウスフィルタ処理を実行する。例えば、フィルタ強度の弱いガウスフィルタ処理は、フィルタ対象となる矩形画素ブロックの中央画素に、ある係数で重み付けされ、フィルタ対象画素の中で中央画素が一番大きい値で重み付けされてフィルタ対象画素が平滑化される処理である。また、フィルタ強度の弱いガウスフィルタ処理では、当該係数は、大きいほどよりぼやけた画像になるため、小さい値が望ましい。
テンプレートマッチング処理部１５１は、３回目のループ処理で実行するガウスフィルタ処理では、フィルタ強度の強いガウスフィルタ処理を実行する。例えば、フィルタ強度の強いガウスフィルタ処理は、フィルタ強度の弱いガウスフィルタ処理で中央画素の重み付けに用いられた係数よりも大きい値の係数で中央画素が重み付けされ、フィルタ対象画素の中で中央画素が一番大きい値の係数で重み付けされてフィルタ対象画素が平滑化される処理である。
【０１５５】
テンプレートマッチング処理部１５１は、ステップＳ２０３において、フレーム全体に対してエッジ抽出を行い、エッジ画像を生成する。例えば、テンプレートマッチング処理部１５１は、Ｃａｎｎｙフィルタ処理などを用いてエッジ抽出を行い、エッジ画像を生成する。なお、エッジ抽出されるフレームは、１回目のループ処理の場合、前処理部１０１から受け付けたフレームである。また、エッジ抽出されるフレームは、２回目と３回目のループ処理の場合、ステップＳ２０２でガウスフィルタ処理が行われた後のフレームである。
テンプレートマッチング処理部１５１は、エッジ画像を二値化処理する。二値化処理では、ある閾値よりも低い輝度の画素値を０（黒レベル）、当該ある閾値以上の輝度の画素値を２５５（白レベル）にして二値化エッジ画像が生成される。当該ある閾値は、例えば、予め決められた値である。
【０１５６】
テンプレートマッチング処理部１５１は、ステップＳ２０４において、二値化エッジ画像である１フレームの画素値の平均値Ｐｍｅａｎを計算する。
テンプレートマッチング処理部１５１は、ステップＳ２０５及びＳ２０６において、１フレームの画素値の平均値Ｐｍｅａｎが閾値ＴｈＡよりも大きい、かつ、ループ実行回数が３回未満の場合、処理をステップＳ２０１に戻す。テンプレートマッチング処理部１５１は、ステップＳ２０５及びＳ２０６において、１フレームの画素値の平均値Ｐｍｅａｎが閾値ＴｈＡ以下、又はループ実行回数が３回以上の場合、処理をステップＳ２０７に進める。閾値ＴｈＡは、例えば、予め決められた値である。
【０１５７】
テンプレートマッチング処理部１５１は、ステップＳ２０７において、エッジ延長処理を実行する。エッジ延長処理では、二値化エッジ画像である画像フレームにおける縦方向の列ごと、及び横方向の行ごとに、画素値の平均値が算出され、画素値の平均値と閾値ＴｈＢとが比較される。テンプレートマッチング処理部１５１は、画素値の平均値が閾値ＴｈＢ以上である列の全体、又は画素値の平均値が閾値ＴｈＢ以上である行の全体を白レベルの画素値２５５で塗りつぶす。これによって、ある程度の長さ以上の長さを持つ長いエッジが、画像の端から端まで延長される。縦方向のエッジを列方向エッジ、横方向のエッジを行方向エッジとする。閾値ＴｈＢは、例えば、予め決められた値である。
【０１５８】
なお、エッジ延長処理される二値化エッジ画像は、ステップＳ２０１からステップＳ２０６までの１回目のループ処理でステップＳ２０５の判定がＮｏで、ステップＳ２０７が実行される場合、前処理部１０１から受け付けたフレームに基づいて生成された二値化エッジ画像である。エッジ延長処理される二値化エッジ画像は、２回目のループ処理でステップＳ２０５の判定がＮｏで、ステップＳ２０７が実行される場合、フィルタ強度の弱いガウスフィルタ処理が実行されたフレームに基づいて生成された二値化エッジ画像である。エッジ延長処理される二値化エッジ画像は、３回目のループ処理が終了、又は３回目のループ処理でステップＳ２０５の判定がＮｏで、ステップＳ２０７が実行される場合、フィルタ強度の強いガウスフィルタ処理が実行されたフレームに基づいて生成された二値化エッジ画像である。
【０１５９】
テンプレートマッチング処理部１５１は、ステップＳ２０８からステップＳ２１３において、ステップＳ２０７において延長されたエッジ画像内の全ブロックに対してループ処理を行う。
テンプレートマッチング処理部１５１は、ステップＳ２０７において延長された行方向エッジと列方向エッジの交点を含むブロックを１つ選択する。なお、ブロックは、ｎピクセル×ｎピクセルの部分画像である。テンプレートマッチング処理部１５１は、ステップＳ２０９において、選択したブロックに対して図２６（Ａ）から（Ｅ）に示すノイズ形状を表すテンプレートとのマッチング処理（「テンプレートマッチング処理」ともいう）を実行する。
【０１６０】
図２６（Ａ）から（Ｅ）は、ノイズ形状を表すテンプレートを示す図である。テンプレートマッチング処理で使用されるテンプレートは、図２６（Ａ）から（Ｅ）に示される５種類である。テンプレートマッチング処理部１５１は、選択したブロック内の注目画素（行方向エッジと列方向エッジの交点画素）から上、下、右、左へ白レベルである画素数をカウントし、テンプレートの図形との適合率（すなわち、適合度合い）を計算する。テンプレートマッチング処理部１５１は、適合率が閾値を超えていればテンプレートと合致している箇所と判定する。当該閾値は、例えば、予め決められた値である。
【０１６１】
テンプレートマッチング処理部１５１は、ステップＳ２１０及びＳ２１１において、ブロック内でテンプレートと合致した箇所の合計数（「テンプレートマッチング数」ともいう）が閾値ＴｈＣよりも大きければ、ブロックノイズ有りのブロックと判定する。テンプレートマッチング処理部１５１は、ステップＳ２１０及びＳ２１２において、テンプレートマッチング数が閾値ＴｈＣ以下の場合はブロックノイズ無しのブロックと判定する。閾値ＴｈＣは、例えば、予め決められた値である。
【０１６２】
テンプレートマッチング処理部１５１は、ステップＳ２０８からＳ２１３までの処理を繰り返し、ステップＳ２０７において延長された行方向エッジと列方向エッジの交点を含む全ブロックに対してブロックノイズの有無を判定する。もちろん行方向エッジと列方向エッジの交点が無いブロックは、ブロックノイズ無しと判定される。テンプレートマッチング処理部１５１は、全ブロックに対するブロックノイズの有無の判定結果（すなわち、ノイズ有無識別結果）を統合判定処理部１１１ｂに入力する。
【０１６３】
一般にエッジの多い複雑な画像では、ブロックノイズが無い箇所でもエッジが多く検出され、誤検知が多く発生してしまうが、図２５のフローチャートが示す処理によって、画像の複雑さに応じてガウスフィルタの強度を制御することで、誤検知を低減することができる効果が得られる。
【０１６４】
次に、ブロック複雑度判定部１５２の動作について説明する。ブロック複雑度判定部１５２は、カラー画像からモノクロ画像に変換され、且つ、ノイズ除去処理が実施されたフレームを前処理部１０１から受け付ける。ブロック複雑度判定部１５２は、受け付けたフレームに含まれるブロック内の画像の複雑度（すなわち、ブロック複雑度Ｃｏｍｐｌｅｘｉｔｙ  ｒａｔｉｏ）ＣＲを計算し、ブロック複雑度ＣＲを統合判定処理部１１１ｂに入力する。ブロック複雑度は、統合判定処理部１１１ｂが実行する重み付け処理で使用される。
ブロック複雑度ＣＲは、以下のように求められる。ブロック複雑度判定部１５２は、解析対象となるブロックの画像（ｎピクセル×ｎピクセルの部分画像）を二値化処理する。ブロック複雑度判定部１５２は、二値化処理したブロックの画像内の注目画素と水平方向の隣接画素との輝度勾配の強度が最大値（２５５又は−２５５）の箇所をカウントする。カウントによって得られたカウント値が、ブロック内最大輝度勾配箇所数Ｎｅｄｇｅである。
【０１６５】
図２７は、ブロック内最大輝度勾配箇所の具体例を示す図である。図２７は、輝度勾配の強度が最大値の箇所を示している。例えば、箇所５１０は、輝度勾配の強度が最大値の箇所である。図２７の場合、輝度勾配の強度が最大値の箇所は、１６箇所ある。すなわち、ブロック内最大輝度勾配箇所数Ｎｅｄｇｅは、１６である。ブロック複雑度判定部１５２のカウントで得られたカウント値を用いて、ブロック複雑度ＣＲは、以下の式（３）により求められる。
【０１６６】
【数３】
0006762373.tif 000004
【０１６７】
Ｂｌｏｃｋｓｉｚｅは、例えば、図２７にブロックサイズとして示されるブロックの１辺の画素数である。これによって、ブロック複雑度ＣＲは、０から１の範囲内の正規化された値になる。ブロック複雑度ＣＲは、ブロック内の画像に多くのエッジが含まれているほど小さな値になる。ブロック複雑度ＣＲは、統合判定処理部１１１ｂに入力される。
【０１６８】
次に、統合判定処理部１１１ｂの動作について説明する。
図２８は、実施の形態９の統合判定処理部１１１ｂの構成を概略的に示すブロック図である。統合判定処理部１１１ｂは、重み付け処理部４００ｂを用いて、あるブロックＺ（ｑ）（ｑは１以上の整数）に対するブロックノイズスコアを求め、フレーム内ブロックノイズスコア算出部４０４ａを用いてフレーム内ブロックノイズスコアを算出する。フレーム内ブロックノイズ有無判定部４０５は、ブロックノイズスコアに基づいて、フレーム内のブロックノイズの有無を判定する。
重み付け処理部４００ｂは、ブロックノイズ分布密度重み付け処理部４０１ａ，４０２ａ，及び４０３ａと、動き量重み付け処理部４０６ａ，４０７ａ，及び４０８ａと、画像複雑度重み付け処理部４０９，４１０，及び４１１と、ノイズ識別種別重み付け処理部４１２，４１３，及び４１４とで構成される。
【０１６９】
ブロックノイズ分布密度重み付け処理部４０１ａ，４０２ａ，及び４０３ａは、ブロックノイズ分布密度重みＷｄを用いて重み付け処理を実行する。動き量重み付け処理部４０６ａ，４０７ａ，及び４０８ａは、動き重みＷｍを用いて重み付け処理を実行する。画像複雑度重み付け処理部４０９，４１０，及び４１１は、ブロック画像複雑度重みＷｃを用いて重み付け処理を実行する。ノイズ識別種別重み付け処理部４１２，４１３，及び４１４は、ブロックノイズ識別処理種別重みＷｔを用いて重み付け処理を実行する。
なお、ブロックノイズ分布密度重み付け処理部、動き量重み付け処理部、画像複雑度重み付け処理部、及びノイズ識別種別重み付け処理部は、１つの組である。重み付け処理部４００ｂは、ｒ個のノイズ有無識別結果を受け付ける場合、当該組をｒ組有する。ｒは、１以上の整数である。例えば、重み付け処理部４００ｂは、特徴量抽出部１０２と学習識別部１０６によって識別されるブロックノイズ識別系統と、特徴量抽出部１０３と学習識別部１０７によって識別されるブロックノイズ識別系統と、テンプレートマッチング処理部１５１によって識別されるブロックノイズ識別系統のそれぞれからノイズ有無識別結果を受け付ける場合、当該組を３組有する。ただし、ｒ組は、２組であってもよく、４組以上であってもよい。
【０１７０】
重み付け処理部４００ｂの処理について説明する。重み付け処理部４００ｂは、ブロックＺ（ｑ）に対して２以上のブロックノイズ識別系統それぞれが識別したブロックノイズ判定結果（すなわち、ノイズ有無識別結果）に対して、重み付け処理を行ってブロックノイズスコアを算出する。
【０１７１】
詳細には、重み付け処理部４００ｂへの入力は、ブロックＺ（ｑ）に対して２以上のブロックノイズ識別系統のそれぞれが識別したブロックノイズ判定結果（ノイズ有無識別結果）を式（４）のノイズ有無識別結果値Ｓｐ（ｑ）ように数値化したものであり、これに対して重み付け処理を行い、ブロックノイズスコアを算出する。
【０１７２】
【数４】
0006762373.tif 000005
【０１７３】
また、ｐは、１以上の整数であり、重み付け処理部４００ｂが受け付けるノイズ有無識別結果の個数まで変形できる。例えば、重み付け処理部４００ｂが２つのブロックノイズ識別系統からノイズ有無識別結果を受け付けた場合、ノイズ有無識別結果値Ｓ１（ｑ）は、ブロックＺ（ｑ）に対して第１のブロックノイズ識別系統が識別したブロックノイズ判定結果（すなわち、ノイズ有無識別結果）を数値化したものである。また、ノイズ有無識別結果値Ｓ２（ｑ）は、ブロックＺ（ｑ）に対して第２のブロックノイズ識別系統が識別したブロックノイズ判定結果（ノイズ有無識別結果）を数値化したものである。なお、第１のブロックノイズ識別系統及び第２のブロックノイズ識別系統は、映像障害検知装置５００が有する４つのブロックノイズ識別系統のうち、２つのブロックノイズ識別系統である。
重み付け処理部４００ｂは、ｒ個の各ノイズ有無識別結果に対して、ブロックノイズ分布密度重み付け処理部、動き量重み付け処理部、画像複雑度重み付け処理部、ノイズ識別種別重み付け処理部の４種類の重み付け処理部を用いて、数値化されたノイズ有無識別結果に対して重み付けを行う。
【０１７４】
統合判定処理部１１１ｂの動作の概要を説明する。重み付け処理部４００ｂは、ブロックＺ（ｑ）に対するブロックノイズスコアを求める。その後、フレーム内ブロックノイズスコア算出部４０４ａ内のノイズ信頼度重み付け処理部４１５は、各ブロックノイズ識別系統のブロックノイズスコアを合計する。ノイズ信頼度重み付け処理部４１５は、合計で得られたブロックノイズスコアに、ブロックノイズ信頼度重みＷｌを用いて重み付けして、画像フレームに対するブロックノイズスコアを求める。
ブロックノイズ信頼度重みＷｌとは、フレーム内の同一画像領域に対して、ノイズ有無識別部である複数の学習識別部１０６，１０７，及び１０８並びにテンプレートマッチング処理部１５１の各々がノイズ有りと判定した数をノイズ信頼度重みとして重み付けしたものである。フレーム内ブロックノイズ有無判定部４０５は、画像フレームに対するブロックノイズスコアと閾値を比較し、この比較の結果に基づくノイズ有無判定結果を出力する。
【０１７５】
次に、ブロックＺ（ｑ）に対するブロック画像複雑度重みＷｃ（ｑ）について説明する。統合判定処理部１１１ｂに入力されたブロック複雑度ＣＲは、式（５）及び図２９に示されるシグモイド関数を用いてブロック画像複雑度重みＷｃ（ｑ）に変換される。
図２９は、シグモイド関数のグラフを示す図である。縦軸は、ブロック画像複雑度重みＷｃを示す。横軸は、ブロック複雑度ＣＲを示す。図２９では、式（５）のゲインαが１０，２０，及び３０の場合を示している。
【０１７６】
【数５】
0006762373.tif 000006
【０１７７】
αには、例えば、図２９で示した１０，２０，及び３０のいずれかが代入される。ｘは、ブロック複雑度ＣＲである。また、図２９は、αが１０，２０，及び３０の場合を例示したものであり、αが１０，２０，及び３０以外の場合のシグモイド関数を用いて、ブロック画像複雑度重みＷｃ（ｑ）が特定されてもよい。
これによりブロック画像複雑度重みＷｃ（ｑ）が複雑（Ｗｃが最小値）及び複雑でない（Ｗｃが最大値）と判定されるブロック複雑度の値の範囲に、ある程度の幅をもたせることができる。このように、画像複雑度重み付け処理部４０９，４１０，及び４１１は、ブロック複雑度判定部１５２が判定した画像のブロック複雑度に基づいてブロック画像複雑度重みＷｃ（ｑ）を決定する。そして、画像複雑度重み付け処理部４０９，４１０，及び４１１は、ブロック画像複雑度重みＷｃ（ｑ）を用いて、画像複雑度重み付け処理を実行する。なお、ブロック画像複雑度重みＷｃ（ｑ）は、数値である。そのため、ブロック画像複雑度重みＷｃ（ｑ）は、ブロック画像複雑度重み値と表現する。
【０１７８】
次に、動き重みＷｍ（ｑ）について説明する。動き重みＷｍ（ｑ）は、実施の形態１における動き検出部１０５が求めたブロックＺ（ｑ）の動きの有無判定結果を用いて、式（６）のように求められる。
【０１７９】
【数６】
0006762373.tif 000007
【０１８０】
また、動き重みＷｍ（ｑ）は、ブロックＺ（ｑ）の動き量に応じた値としてもよい。このように、動き量重み付け処理部４０６ａ，４０７ａ，及び４０８ａは、ノイズ有りと判定されたブロックに対して、動き検出部１０５が求めた動き量に基づいて動き重みＷｍ（ｑ）を決定する。そして、動き量重み付け処理部４０６ａ，４０７ａ，及び４０８ａは、動き重みＷｍ（ｑ）を用いて動き重み付け処理を実行する。なお、動き重みＷｍ（ｑ）は、数値なので、動き量重み値と表現する。
【０１８１】
次に、ブロックノイズ分布密度重みＷｄ（ｑ）について説明する。ブロックノイズ分布密度重みＷｄ（ｑ）は、ブロックＺ（ｑ）周辺のブロックノイズ有りと判定されたブロックの密度に応じた重みである。ブロックノイズは、密集した状態で出現する確率が高い。そこで、この点に着目し、ブロックノイズ分布密度重みＷｄ（ｑ）は、ブロックＺ（ｑ）とブロックＺ（ｑ）に隣接する８ブロックとでブロックノイズ有りと判定されたブロック数とする。
【０１８２】
図３０は、統合判定処理部１１１ｂにおけるブロックノイズ分布密度重みＷｄの算出方法を説明する図である。図３０では、ブロックＺ（ｑ）に隣接するブロックノイズ有りと判定されたブロックが２箇所あることを示している。また、図３０は、ブロックＺ（ｑ）もブロックノイズ有りと判定されているので、ブロックノイズ分布密度重みＷｄ（ｑ）が３となることを示している。このように、判定されたブロックノイズ分布密度が高い場合にブロックノイズ分布密度重みＷｄ（ｑ）が大きな値をとるようにする。このように、ブロックノイズ分布密度重み付け処理部４０１ａ，４０２ａ，及び４０３ａは、ノイズ有りと判定されたブロックに対して、ブロックのフレーム内における分布密度に基づいてブロックノイズ分布密度重みＷｄ（ｑ）を決定する。そして、ブロックノイズ分布密度重み付け処理部４０１ａ，４０２ａ，及び４０３ａは、ブロックノイズ分布密度重みＷｄ（ｑ）を用いて、ノイズ分布密度重み付け処理を実行する。なお、ブロックノイズ分布密度重みＷｄ（ｑ）は、数値なので、ノイズ分布密度重み値と表現できる。
【０１８３】
ブロックノイズ識別処理種別重みＷｔ（ｑ）は、ブロックノイズ識別系統の識別種別に応じて決められた重みである。識別種別とは、特徴量抽出部１０２と学習識別部１０６、特徴量抽出部１０３と学習識別部１０７、特徴量抽出部１０４と学習識別部１０７、及びテンプレートマッチング処理部１５１の各ブロックノイズ識別系統を区別して言い表したものである。つまり、識別種別とは、フレーム内の互いに異なるブロックノイズの特徴を表す複数の特徴量に対応して区別するためのものである。ブロックノイズの有無を慎重に判定する識別系統（ブロックノイズ検出率は低いが、誤判定率も低いと判定される識別系統）の場合は、その判定結果が正しい確率が高いため大きな重みにする。このように、ノイズ識別種別重み付け処理部４１２，４１３，及び４１４は、ノイズ有りと判定されたブロックに対して、複数の特徴量に各々に対応した識別種別に基づいて重み付けを行うノイズ識別種別重み付け処理を実行する。なお、ブロックノイズ識別処理種別重みＷｔ（ｑ）は、映像障害検知装置５００が有する記憶装置に予め格納されていてもよい。また、ブロックノイズ識別処理種別重みＷｔ（ｑ）は、予め設定されている数値である。そのため、ブロックノイズ識別処理種別重みＷｔ（ｑ）は、ブロックノイズ識別処理種別重み値と表現する。
【０１８４】
ブロックノイズ信頼度重みＷｌは、同一ブロックに対して各ブロックノイズ識別系統がそれぞれブロックノイズと判定した数をブロックノイズ信頼度重みとする。例えば、２系統のブロックノイズ識別系統がブロックＺ（ｑ）に対して、それぞれブロックノイズ有りと判定した場合は、Ｗｌ（ｑ）＝２とする。また、例えば、１系統のブロックノイズ識別系統がブロックＺ（ｑ）に対して、ブロックノイズ有りと判定した場合は、Ｗｌ（ｑ）＝１とする。ノイズ信頼度重み付け処理部４１５がブロックノイズ信頼度重みＷｌを用いて実行する重み付け処理を、ノイズ信頼度重み付け処理とする。ブロックノイズ信頼度重みＷｌ（ｑ）は、数値である。そのため、ブロックノイズ信頼度重みＷｌ（ｑ）は、ブロックノイズ信頼度重み値と表現できる。
【０１８５】
重み付け処理部４００ｂは、ブロックＺ（ｑ）に対する、ブロックノイズスコアＢＮＳ（ｑ）を、式（７）を用いて求める。式（７）は、ノイズ有無識別結果値Ｓｐ（ｑ）に対して、ブロックノイズ分布密度重み付け処理部４０１ａ（又は４０２ａ又は４０３ａ）、動き量重み付け処理部４０６ａ（又は４０７ａ又は４０８ａ）、画像複雑度重み付け処理部４０９（又は４１０又は４１１）、及びノイズ識別種別重み付け処理部４１２（又は４１３又は４１４）が、ブロック画像複雑度重みＷｃ（ｑ）、動き重みＷｍ（ｑ）、ブロックノイズ分布密度重みＷｄ（ｑ）、及びブロックノイズ識別処理種別重みＷｔ（ｐ）をそれぞれ用いて実行する重み付け処理を示す。
【０１８６】
【数７】
0006762373.tif 000008
【０１８７】
ここで、Ｍａｘ（Ｗ）は、Ｗの最大値である。例えば、Ｍａｘ（Ｗｔ（ｐ））は、ブロックノイズ識別処理種別重みＷｔ（ｐ）の最大値である。Ｍａｘ（Ｗｄ（ｑ））は、ブロックノイズ分布密度重みＷｄ（ｑ）の最大値である。Ｍａｘ（Ｗｃ（ｑ））は、ブロック画像複雑度重みＷｃ（ｑ）の最大値である。また、ｒは、１以上の整数であり、重み付け処理部４００ｂが受け付けたノイズ有無識別結果の個数である。
このように、重み付け処理部４００ｂは、ブロックＺ（ｑ）に対してブロックノイズ識別系統ごとに算出された値を合計した合計値（式（７）の分子）と式（７）の分母とを用いて、ブロックノイズスコアＢＮＳ（ｑ）を算出する。
【０１８８】
次に、ノイズ信頼度重み付け処理部４１５は、ブロックノイズ信頼度重みＷｌを用いて重み付けして、画像フレームに対するブロックノイズスコアであるフレームブロックノイズスコアＦＢＮＳを式（８）で求める。
【０１８９】
【数８】
0006762373.tif 000009
【０１９０】
ここで、Ｎは、１フレーム中のブロック個数である。また、Ｍａｘ（Ｗｌ（ｑ））は、ブロックノイズ信頼度重みＷｌ（ｑ）の最大値である。
なお、統合判定処理部１１１ｂは、ノイズ分布密度重み付け処理、動き量重み付け処理、画像複雑度重み付け処理、ノイズ識別種別重み付け処理、ノイズ信頼度重み付け処理の全ての重み付け処理を行ってもよいし、これらの重み付け処理のうちの１つ以上の重み付け処理を行ってもよい。
【０１９１】
最後にフレーム内ブロックノイズ有無判定部４０５は、フレームブロックノイズスコアＦＢＮＳと閾値とを比較し、フレームブロックノイズスコアＦＢＮＳが閾値より大きければ、フレーム内にブロックノイズが存在すると判断する。このように統合判定処理部１１１ｂは、フレームごとに、フレーム内のブロックノイズ有無を判定する。
【０１９２】
以上のように、テンプレートマッチング処理部１５１が、画像複雑度に応じてフィルタ強度を制御するフィルタリング処理を行ったあとで、ブロックノイズ形状のテンプレートマッチング処理を行うようにしたので、複雑な画像でのブロックノイズの誤検知率を低下することができる。
【０１９３】
また、複数の異なる検知能力を有するブロックノイズ識別系統を用いて各ノイズ有無識別結果に対して、統合判定処理部１１１ｂがブロックノイズ分布密度重みＷｄ、動き重みＷｍ、ブロック画像複雑度重みＷｃ、ブロックノイズ識別処理種別重みＷｔ、ブロックノイズ信頼度重みＷｌを用いてフレームブロックノイズスコアＦＢＮＳを算出するようにしたので、ブロックノイズの検知率の向上と、誤検知率の低減をすることができる。
【０１９４】
映像障害検知装置５００は、実施の形態４〜７の映像障害検知装置に適用可能である。映像障害検知装置５００は、図２３に示したハードウェア構成を用いることができる。
【０１９５】
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
【符号の説明】
【０１９６】
１００，２００，３００，５００  映像障害検知装置、  １０１  前処理部、  １０２，１０３，１０４  特徴量抽出部、  １０５  動き検出部、  １０６，１０７，１０８  学習識別部（ノイズ有無識別部）、  １０９  ラベルデータ部、  １１０  学習モデル格納部、  １１１，１１１ａ，１１１ｂ  統合判定処理部、  １１２  ノイズ有無識別結果制御部、  １１３  動作制御部、  １５１  テンプレートマッチング処理部、  １５２  ブロック複雑度判定部、  ４００，４００ａ，４００ｂ  重み付け処理部、  ４０１，４０１ａ，４０２，４０２ａ，４０３，４０３ａ  ブロックノイズ分布密度重み付け処理部、  ４０４，４０４ａ  フレーム内ブロックノイズスコア算出部（ノイズスコア算出部）、  ４０５  フレーム内ブロックノイズ有無判定部（ノイズ有無判定部）、  ４０６，４０６ａ，４０７，４０７ａ，４０８，４０８ａ  動き量重み付け処理部、  ４０９，４１０，４１１  画像複雑度重み付け処理部、  ４１２，４１３，４１４  ノイズ識別種別重み付け処理部、  ４１５  ノイズ信頼度重み付け処理部。
【図１】
0006762373.tif 000010
【図２】
0006762373.tif 000011
【図３】
0006762373.tif 000012
【図４】
0006762373.tif 000013
【図５】
0006762373.tif 000014
【図６】
0006762373.tif 000015
【図７】
0006762373.tif 000016
【図８】
0006762373.tif 000017
【図９】
0006762373.tif 000018
【図１０】
0006762373.tif 000019
【図１１】
0006762373.tif 000020
【図１２】
0006762373.tif 000021
【図１３】
0006762373.tif 000022
【図１４】
0006762373.tif 000023
【図１５】
0006762373.tif 000024
【図１６】
0006762373.tif 000025
【図１７】
0006762373.tif 000026
【図１８】
0006762373.tif 000027
【図１９】
0006762373.tif 000028
【図２０】
0006762373.tif 000029
【図２１】
0006762373.tif 000030
【図２２】
0006762373.tif 000031
【図２３】
0006762373.tif 000032
【図２４】
0006762373.tif 000033
【図２５】
0006762373.tif 000034
【図２６】
0006762373.tif 000035
【図２７】
0006762373.tif 000036
【図２８】
0006762373.tif 000037
【図２９】
0006762373.tif 000038
【図３０】
0006762373.tif 000039