(57)【要約】【課題】映像信号中のノイズと動きの区別を行なう動き検出の精度を向上しノイズ除去効果を高めると同時に誤検出による動き部分の尾引きの発生を低減させる。【解決手段】映像信号とともに送られてくるその映像中の任意の部分（オブジェクト）のオブジェクトの存在する範囲を表す領域情報といった位置情報やオブジェクトの動きベクトル情報や個々のオブジェクトを識別する情報を含むオブジェクト情報を用いて映像信号中のオブジェクトについて連続するフレーム間の位置情報からそのオブジェクトの動きを検出しそして連続するフレーム間の差分に対して上記動き検出の結果を用いて映像信号中のオブジェクトの動きとノイズとを区別することにより精度の高い動き検出が可能になる。そしてこのオブジェクト情報を用いた動き検出の結果により巡回型ノイズリダクション処理における巡回ゲインを制御するようなノイズリダクション装置を構築する。【選択図】図１
2009267901.tif 000002
【特許請求の範囲】
【請求項１】
映像信号と共に送信されるオブジェクト情報からオブジェクトの形状、位置及び動きを示すデータである動き検出用データを抽出するオブジェクト情報処理部と、
前記動き検出用データに基づき、前記映像信号に含まれるオブジェクトの領域と動きを特定し、オブジェクト動き検出結果情報として出力するオブジェクト動き検出処理部と、
前記オブジェクト動き検出結果情報に基づき、前記映像信号のノイズを除去するノイズ除去処理部と、を備えた映像信号処理装置。
【請求項２】
映像信号と共に送信されるオブジェクト情報からオブジェクトの形状、位置及び動きを示すデータである動き検出用データを抽出するオブジェクト情報処理部と、
前記動き検出用データに基づき、前記映像信号に含まれるオブジェクトの領域と動きを特定し、オブジェクト動き検出結果情報として出力するオブジェクト動き検出処理部と、
前記映像信号に基づき、オブジェクトを検出し、前記検出したオブジェクトの動きを検出し動き検出情報として出力する動き検出部と、
前記オブジェクト動き検出部から出力される前記オブジェクト動き検出結果と前記動き検出部から出力される前記動き検出結果を用いて映像信号中の動きを判定し最終動き検出結果を出力する統合動き判定部と、
前記最終動き検出結果に基づき、前記映像信号のノイズを除去するノイズ除去処理部と、を備えた映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号とともに送られてくるオブジェクト情報をノイズ検出に利用することでノイズ除去効果を高めることを特徴とする映像信号処理装置に関する。
【背景技術】
【０００２】
近年のデジタル技術の進歩によりデジタル放送が急速に普及してきた。デジタル放送の特徴として高画質、多チャンネル、データ放送、双方向性などが挙げられユーザはより高画質な映像を楽しむ機会が増えた。しかしながらその高画質化はＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）放送からＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）放送主体になったこと、すなわち画素数の増加による解像度感が向上したことによるものが大きい。一般に映像中にはカメラや伝送に起因するノイズが含まれることが多く、特に近年の大画面化の進行によりこのようなノイズがユーザの目につくことが多くなってきた。従来このようなノイズに対しては映像信号だけからノイズと映像信号中の動いている物体とを区別して、ノイズに対してこれを低減、除去する方法がとられている（特許文献１参照）。
【０００３】
しかしながら従来の方法では映像信号のみからノイズ検出を行なうため映像信号中の動く物体とノイズとの判別が難しく、ノイズ検出処理における誤検出により動き部分に尾引き（残像）が発生するためノイズ除去効果を高めることができない。一方デジタル放送では映像信号、音声信号を符号化し伝送するがその際に映像信号以外に動きベクトル情報が伝送される（特許文献２参照）。また将来的には上記動きベクトル情報のみならず映像の特徴を表した情報を画像データ、音声データとともに伝送しその情報に基づいてコンテンツを生成する方法も考えられている（特許文献３参照）。
【０００４】
しかしながら、これらはその情報に基づいて符号化された元映像を復号化する、あるいはテキストデータや画像データや音声データを合成して（映像）コンテンツを生成するだけでありこのような場合でも元となる映像（画像）信号にカメラなどに起因するノイズが含まれている場合が多いためより高画質な表示を得るためには何らかのノイズ除去手段が必要である。
【特許文献１】特許第３８５６０３１号公報（段落番号［０００９］〜［００１４］）
【特許文献２】特開平９−１９１４６０号公報（段落番号［０００２］〜［００１７］）
【特許文献３】特開２００４−１５５２３号公報（段落番号［０００２］〜［００２４］）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように従来の技術では、映像信号中の動く物体とノイズとの区別が難しいためノイズ除去効果が限定的である。そこで映像信号中に含まれるノイズと動いている物体とを区別する動き検出の精度を向上し、ノイズ除去効果を高めると同時に誤検出による動き部分の尾引き（残像）の発生を低減させることが必要である。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、第１の発明に係る映像信号処理装置では、映像信号と共に送信されるオブジェクト情報からオブジェクトの形状、位置及び動きを示すデータである動き検出用データを抽出するオブジェクト情報処理部と、前記動き検出用データに基づき、前記映像信号に含まれるオブジェクトの領域と動きを特定し、オブジェクト動き検出結果情報として出力するオブジェクト動き検出処理部と、前記オブジェクト動き検出結果情報に基づき、前記映像信号のノイズを除去するノイズ除去処理部とを備える。
【０００７】
第１の発明に係る映像信号処理装置では、映像信号と共に送信されるオブジェクト情報からオブジェクトの形状、位置及び動きを示すデータである動き検出用データを抽出するオブジェクト情報処理部と、前記動き検出用データに基づき、前記映像信号に含まれるオブジェクトの領域と動きを特定し、オブジェクト動き検出結果情報として出力するオブジェクト動き検出処理部と、前記映像信号に基づき、オブジェクトを検出し、前記検出したオブジェクトの動きを検出し動き検出情報として出力する動き検出部と、前記オブジェクト動き検出部から出力される前記オブジェクト動き検出結果と前記動き検出部から出力される前記動き検出結果を用いて映像信号中の動きを判定し最終動き検出結果を出力する統合動き判定部と、前記最終動き検出結果に基づき、前記映像信号のノイズを除去するノイズ除去処理部とを備える。
【発明の効果】
【０００８】
以上のように本発明では、映像信号中の各オブジェクトを特定するためのオブジェクト識別情報やその存在する位置を示す領域座標や輪郭座標や重心座標などの位置情報やオブジェクトの動きの方向や量を表す動きベクトル情報などを含むオブジェクト情報をノイズ除去処理における動き検出に利用する、あるいは映像信号のみから行なう動き検出と組み合わせることにより映像信号のみから動き検出を行なう場合より精度の高い動き検出が可能となりその結果ノイズ除去効果を高めると同時にノイズ除去処理に伴う尾引き（残像）の発生を抑制することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１０】
（実施の形態１）
本発明の一実施の形態における映像信号処理装置についてその構成図を図１に示す。
【００１１】
図１において、１０１はオブジェクト情報であり、オブジェクト識別情報、位置情報、動きベクトル情報などを含む。ここで、オブジェクト識別情報とは、映像入力信号１０６中の任意のオブジェクトに関して各オブジェクトを特定するための情報である。また、位置情報とは、各オブジェクトの存在する位置を示す領域座標や輪郭座標や重心座標と重心座標から前記オブジェクトの存在する範囲を表す距離情報である。また、動きベクトル情報とは、各オブジェクトの動きの方向や量を表す情報である。オブジェクト情報１０１は、映像入力信号１０６とともに入力される。
【００１２】
１０２はオブジェクト情報１０１を処理し所望の情報を取り出すオブジェクト情報処理部である。１０３はオブジェクト情報処理部１０２において前記オブジェクトに関する各種オブジェクト情報の中から取り出されるオブジェクト識別情報や領域座標や輪郭座標や動きベクトルなど動き検出で用いられる動き検出用データである。
【００１３】
１０４は動き検出用データ１０３をもとに前記オブジェクトの動きを特定し動き部分の領域の座標を含むオブジェクト動き検出結果１０５を出力するオブジェクト動き検出部である。１０７はオブジェクト動き検出結果１０５をもとに映像入力信号１０６に含まれるノイズを除去し映像出力信号１０８を出力するノイズ除去処理部である。
【００１４】
以下具体例を挙げてその動作を説明する。オブジェクト情報１０１は、映像入力信号１０６中の任意のオブジェクトに関して、各オブジェクトを特定するためのオブジェクト識別情報や、その存在する位置を示す領域座標や輪郭座標や重心座標と重心座標から前記オブジェクトの存在する範囲を表す距離情報といった位置情報や、前記オブジェクトの動きの方向や量を表す動きベクトル情報などを含み、映像入力信号１０６とともに入力される。このオブジェクト情報１０１は映像入力信号１０６とともに、その送信側（送り手側）で生成されて伝送される。映像入力信号１０６とこのオブジェクト情報１０１は時間ごとに対応したものが入力される。
【００１５】
本発明で必要なのは、各オブジェクトを区別するためのオブジェクト識別情報と、領域座標などのオブジェクトの位置を示す位置情報である。ここではまずそれらの生成方法について説明する。例えばコンピュータグラフィックス（以下ＣＧ）により、ある背景画像の上に任意のオブジェクトを描画（合成）し、そのオブジェクトが時間経過とともに空間方向に動く場合を考える。
【００１６】
図２を例に説明すると、オブジェクトＡを背景画像のｐフレーム目、ｐ＋１フレーム目のある場所へ貼り付ける（合成する）とする。このオブジェクトＡを合成する際には背景画像のどの部分に貼り付けるかの空間座標が必要になる。この座標は描画用オブジェクトＡの大きさや形により決定される。図２のような形状の描画オブジェクトＡを背景画像に貼り付けるとする。その貼り付ける空間座標は背景画像の左上の映像開始点を座標（Ｘ（０），Ｙ（０））としそこから水平方向をＸ方向、垂直方向（ライン方向）をＹ方向として右方向および下方向に座標（画素番号）を割り振っていくと、図２のｐフレーム目の場合には描画オブジェクトＡはＹ（ｎ−３）ライン目の（Ｘ（ｍ），Ｙ（ｎ−３））から始まり１画素のみ進んで終わる。次のラインでは（Ｘ（ｍ−１），Ｙ（ｎ−２））で始まり、Ｘ方向に２画素進んだ（Ｘ（ｍ＋１），Ｙ（ｎ−２））で終わる。さらに次のラインでは（Ｘ（ｍ−２），Ｙ（ｎ−１））で始まり、Ｘ方向に４画素進んだ（Ｘ（ｍ＋２），Ｙ（ｎ−１））で終わる。次のライン以降も図２のように決定される。
【００１７】
またｐ＋１フレーム目では同様に、Ｙ（ｎ’−３）ライン目の（Ｘ（ｍ’），Ｙ（ｎ’−３））から始まり１画素のみ進んで終わる。次のラインでは（Ｘ（ｍ’−１），Ｙ（ｎ’−２））で始まり、Ｘ方向に２画素進んだ（Ｘ（ｍ’＋１），Ｙ（ｎ’−２））で終わる。さらに次のラインでは（Ｘ（ｍ’−２），Ｙ（ｎ’−１））で始まり、Ｘ方向に４画素進んだ（Ｘ（ｍ’＋２），Ｙ（ｎ’−１））で終わる。次のライン以降も図２のように決定される。
【００１８】
このようにフレームごとに描画オブジェクトＡの背景画像に対する貼り付け位置が決まるので、これをそのままオブジェクトＡに対する領域座標（この例では輪郭を示す座標でもある）として利用できる。このときもちろんｐフレーム、ｐ＋１フレーム間でオブジェクトの大きさや形状や角度が変わっても、同様に領域座標は決まる。この領域座標の与え方にはいくつかの方法が考えられる。図２の例のように各ラインのオブジェクトの開始座標と終了座標をそれぞれ与えたり、あるいは各ラインの開始座標とそこから連続する画素数を与える方法（例えば図２の場合、最初のラインでは（Ｘ（ｍ），Ｙ（ｎ−３），１）、次のラインでは（Ｘ（ｍ  −  １），Ｙ（ｎ  −  ２），３）とする）などがある。
【００１９】
またオブジェクトの位置を示す位置情報としては、上記の領域座標以外に、例えばオブジェクトの重心位置とそこからオブジェクトの存在する範囲を示すこともできる。図２のｐフレームの場合、重心座標は（Ｘ（ｍ），Ｙ（ｎ））で、そこから半径３画素の円内がオブジェクトＡという形で与えることも可能である。
【００２０】
本発明で必要なオブジェクト情報としては、この領域座標以外に描画オブジェクトＡを識別するためのオブジェクト識別情報がある。上記のようなＣＧの場合、複数のオブジェクト候補の中からオブジェクトを選んで貼り付けることになるので、ＣＧ処理でオブジェクトを選択するのに用いる符号（名前）をそのままオブジェクト識別情報として用いることができる（例えば図２の例では“Ａ”となる）。
【００２１】
次に上記ＣＧ以外の場合、すなわち通常カメラで撮影された映像信号そのものといった、予め領域座標やオブジェクト識別情報がない場合のオブジェクト情報生成方法について説明する。
【００２２】
図３に映像信号中からオブジェクトを抽出するフローチャートの一例を示す。ここではまず図３の＜空間的抽出＞について説明する。
【００２３】
まず高帯域通過フィルタ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ：  ＨＰＦ）により、映像信号中のオブジェクトの輪郭を抽出する。例えば図４のような場合にＨＰＦを適用すると、＜映像＞のｐフレームおよびｐ＋１フレームに対しては＜輪郭抽出結果＞のような輪郭が得られる。この輪郭抽出結果はオブジェクトの輪郭そのものであるため、これよりオブジェクトを抽出することができる。
【００２４】
例えば映像開始点（映像の左上）の座標を（Ｘ（０），Ｙ（０））とし、そこから水平方向をＸ方向、垂直方向（ライン方向）をＹ方向として右方向および下方向にインクリメントする画素カウンタをそれぞれ設ける。上記ＨＰＦで得られる輪郭抽出結果において、連続的につながった形で分布する輪郭に対してその各画素の画素カウンタの値をとることで、オブジェクトの位置情報が得られることになる。
【００２５】
例えば図５のような＜輪郭抽出結果＞が得られた場合に、その中の連続的につながった形で分布するオブジェクトＡの輪郭に対して、カウンタ値が図５の＜オブジェクトＡの空間座標＞のようになったとする。この場合これがそのままこのオブジェクトＡの位置を示す位置座標となる。
【００２６】
すなわち、Ｙ（ｎ−３）ライン目の（Ｘ（ｍ），Ｙ（ｎ−３））から始まる。次のラインでは（Ｘ（ｍ−１），Ｙ（ｎ−２））とそこからＸ方向に２画素進んだ（Ｘ（ｍ＋１），Ｙ（ｎ−２））と決定される。さらに次のラインでは、（Ｘ（ｍ−２），Ｙ（ｎ−１））とそこからＸ方向に４画素進んだ（Ｘ（ｍ＋２），Ｙ（ｎ−１））というように決定される。
【００２７】
しかしながら輪郭抽出結果は、輪郭が途中で途切れたり複数のオブジェクトが重なって幾重にもつながったりする場合など、上述のように単純にこの輪郭だけからオブジェクトを抽出することができないこともある。そこで図３の＜空間的抽出＞の中に記載されている方向性や、連続する画素数や輪郭の信号レベルや周囲の平均信号レベルや色合いなどから、オブジェクトを抽出する連続性判別を行う。これにより、オブジェクト抽出の精度を向上させることができる。
【００２８】
例えば抽出した輪郭が１、２画素程度途切れている場合には、その周囲の輪郭の方向、輪郭の信号レベルなどから相関をとるなどして連続性を判別し、同一輪郭の可能性が高い場合には途切れた箇所を補間することで、連続的な輪郭を得ることができる。また、オブジェクトの輪郭が途中で大きく途切れている場合には、輪郭（連続線）の両端の画素を直線的に結んだ線をそのオブジェクトの輪郭としたり、画面端でオブジェクトが途切れている場合には画面端の画素を輪郭とみなすことで、連続的な輪郭線とすることができる（図４の＜輪郭抽出結果＞のオブジェクトＣのような場合）。
【００２９】
あるいは抽出対象とするオブジェクトを限定したり、オブジェクトの内側に存在する細かい絵柄などを輪郭抽出から除外するために、輪郭として抽出された連続する画素の数をあるしきい値と比較し、ある一定画素数以上の連続性がないと抽出対象から除外することも可能である。また、ＨＰＦで抽出される輪郭は各オブジェクトや周囲の絵柄などにより、様々な信号レベルのものが存在する可能性があるが、連続する輪郭は隣接画素間で通常比較的同一レベルとなることが多いため複数の輪郭が隣接する場合には、このような性質を利用してある一定範囲内のレベルのものだけを同一輪郭と判別することにより、オブジェクト抽出の精度を向上させることもできる。
【００３０】
またオブジェクトの輪郭近辺の画素に着目すると、その輪郭の内側（オブジェクト内）と外側との間では輝度や色の信号レベル（明るさや色合い）が異なることが多いが、輪郭の内側あるいは外側のみの隣接画素間でみると比較的同一の信号レベルとなることが多い。このため、このような性質を利用して周囲の隣接画素の平均信号レベルや色合いを求めこれらの分布（平均信号レベルや色合いの差）からオブジェクトの輪郭を抽出することも可能である。
【００３１】
このようにＨＰＦから抽出される輪郭に対して上述のような方法を付加することで、より精度の高い輪郭抽出すなわちオブジェクト抽出が可能となる。こうして得られた輪郭に対して、上述のように位置を表す画素カウンタの値を用いることで、オブジェクト情報としての位置情報が得られる。
【００３２】
次に個々のオブジェクトを特定するオブジェクト識別情報の生成について、例を挙げて説明する。上述のように輪郭が抽出された各オブジェクトに対して、連続する輪郭は一つのオブジェクトとして位置情報が抽出される。例えばこのときの処理順序順にオブジェクト識別情報を割り当てる方法が考えられる。図５の例ではひし形のオブジェクトＡから位置情報の抽出を行い、次に三日月形のオブジェクトＢを処理し、最後に左下の三角形のオブジェクトＣを処理するものとし順に“Ａ”“Ｂ”“Ｃ”というオブジェクト識別情報を付与することになる。なお、このときオブジェクト識別情報としては任意の識別子（名前）を与えることが可能である。
【００３３】
このように図３の＜空間的抽出＞でオブジェクトの位置情報やオブジェクトの識別情報の生成が可能となり、これらをオブジェクト情報として元の映像信号とともに伝送する。さらに、オブジェクトの位置情報やオブジェクト識別情報の生成方法として図６のような構成も考えられる。
【００３４】
図６の例では＜空間的抽出＞と＜時間的抽出＞の２つの抽出手段から構成される。これは上述の図３の＜空間的抽出＞のみでオブジェクトの位置情報やオブジェクト識別情報は生成可能だが、時間方向に変化する映像ではオブジェクトが時間とともに移動したり大きさを変えたりすることが多い。このため、図６の＜時間的抽出＞を追加することで前後のフレーム間に存在するオブジェクトが同一のオブジェクトであるかどうか判別することを可能にするものである。
【００３５】
ここで例を挙げて図６で示されるフローチャートの処理について説明する。まず図６の＜空間的抽出＞を行うが、これは上述の図３の＜空間的抽出＞の場合と同じである。ただし、このとき抽出されたオブジェクトはオブジェクト候補とするだけで最終的なオブジェクト情報の生成は行わない。
【００３６】
次に図６の＜時間的抽出＞を行う。まず時間的な映像の変化を抽出するためその前後のフレーム間の差分をとる。例えば、上述図４の場合において、ｐフレームとｐ＋１フレームの差分をとると、図７のようになる。この例の場合、オブジェクトＢとオブジェクトＣはｐフレームとｐ＋１フレームで全く変化がない、すなわち静止しているオブジェクトのためフレーム差分はない。したがって、同一オブジェクトとして上述の＜空間的抽出＞のオブジェクト抽出結果に対して、その位置情報およびオブジェクト識別情報についてそれぞれｐフレームのものをｐ＋１フレームでもそのまま適用し、最終的なオブジェクト情報を生成することができる。
【００３７】
しかしながらオブジェクトＡは移動しているため、フレーム差分としてｐフレームとｐ＋１フレームでの位置にそれぞれ差分が出るが、このフレーム差分や上述の＜空間的抽出＞の結果だけからでは同一のオブジェクトなのか判別ができない。そこでこの差分が発生する部分（図７の場合ひし形の実線で囲まれる部分）について、動きベクトルの検出やパターンマッチングや平均信号レベルや色合いを比較することで、同一オブジェクトかどうか判別を行なう図６の＜時間的抽出＞に記載の同一オブジェクト判別を適用する。
【００３８】
例えば動きベクトルの検出ではフレーム間で差分の出た画素について、これらの画素間の相関関係を計算する。これにより各画素の動きの方向（もっとも相関の強い方向）と量（その相関をとった２つの画素の距離＝移動量）、すなわち動きベクトルが決定される。そして上述の＜空間的抽出＞により抽出されたオブジェクト内の各画素の動きベクトルがほぼ同一であり、かつ次のフレームでの＜空間的抽出＞により抽出されたオブジェクト内の各画素に収束すれば、これらは同一オブジェクトとみなすことができる。あるいは、パターンマッチングでは前後のフレームにおいて、＜空間的抽出＞により抽出された輪郭のパターンが一致する、あるいは予め規定されたパターンに一致する場合に、同一オブジェクトとみなすことも可能である。あるいは、同一オブジェクトはその信号レベルや色合いがフレーム間で比較的同一の値を持つ性質があることから、前後のフレームにおいて＜空間的抽出＞により抽出されたオブジェクト内の平均信号レベル（輝度や色）や色合いが特定の範囲内で一致すれば、同一オブジェクトと判別することが可能である。
【００３９】
このような方法で同一オブジェクトとみなされたオブジェクトは、上述の＜空間的抽出＞のオブジェクト抽出結果に対して、その位置情報についてはｐフレームおよびｐ＋１フレームの抽出結果をそれぞれ採用し、オブジェクト識別情報についてはｐフレームのものをｐ＋１フレームでもそのまま適用することになる。さらに、上述の同一オブジェクト判別において同一オブジェクトと判定されなかったオブジェクトについては、新たにオブジェクト識別情報を付与して、最終的なオブジェクト情報を生成する。またオブジェクトの位置情報の代わりにあるフレームでのオブジェクトに対する動きベクトルを次のフレームの位置情報とすることも可能である。
【００４０】
このように映像信号からオブジェクトを抽出して、その位置情報やオブジェクト識別情報を生成することが可能となるが、これ以外にも人が映像中のオブジェクトを識別し手作業でその位置情報やオブジェクト識別情報を付与して生成するなど、種々の方法が考えられる。このオブジェクトの位置情報やオブジェクト識別情報は、最終的にこれ以外の情報と合わせて図１のオブジェクト情報１０１として、映像入力信号１０６と時間的に対応して伝送される。
【００４１】
次に本発明の特徴であるこのオブジェクト情報１０１を用いて映像信号中のオブジェクトと動きを区別する方法について説明する。図１のオブジェクト情報処理部１０２では、映像入力信号１０６と時間的に対応して伝送されるオブジェクト情報１０１が入力され、各種オブジェクト情報の中からオブジェクト識別情報や領域座標や輪郭座標や動きベクトルなど動き検出に必要な動き検出用データ１０３を取り出す。
【００４２】
例えば図２の＜オブジェクト情報＞を考えると、ｐ＋１フレーム用の動き検出用のデータとしてｐフレーム目とｐ＋１フレーム目のオブジェクト識別情報と各オブジェクトの領域座標（位置情報）を取り出すことになり、ｐフレームでのオブジェクト“Ａ”とその位置情報“（Ｘ（ｍ），Ｙ（ｎ−３）），  （Ｘ（ｍ），Ｙ（ｎ−３）），（Ｘ（ｍ−１），Ｙ（ｎ−２）），  （Ｘ（ｍ＋１），Ｙ（ｎ−２）），  …  ，  （Ｘ（ｍ），Ｙ（ｎ＋３）），  （Ｘ（ｍ），Ｙ（ｎ＋３））”、ｐ＋１フレームでのオブジェクト“Ａ”とその位置情報“（Ｘ（ｍ’），Ｙ（ｎ’−３）），（Ｘ（ｍ’），Ｙ（ｎ’−３）），（Ｘ（ｍ’−１），Ｙ（ｎ’−２）），（Ｘ（ｍ’＋１），Ｙ（ｎ’−２）），…，  （Ｘ（ｍ’），Ｙ（ｎ’＋３）），  （Ｘ（ｍ’），Ｙ（ｎ’＋３））“が動き検出用データ１０３として取り出される（ここで図２の＜映像＞中の三日月と左下の三角形のオブジェクトについては省略する）。そしてオブジェクト動き検出部１０４では、上述の動き検出用データ１０３をもとにオブジェクトの動きを特定し動き部分の領域の座標といったオブジェクト動き検出結果１０５を出力する。
【００４３】
例えば上述図２のｐ＋１フレームでの動き検出を考えると、動き検出用データ１０３からｐ＋１フレームではオブジェクト”Ａ“が存在し、かつ一つ前のｐフレームにも存在することが分かる。そしてｐフレームとｐ＋１フレームでのこのオブジェクト”Ａ“の位置情報を比較すると、これらが完全に一致しない＝動きがあることが分かる。このオブジェクトの位置が完全に一致するかどうかを判別する手段は、ｐフレームとｐ＋１フレームでの位置座標の個数と値が完全に同じであることを確認することにより可能である。
【００４４】
したがってオブジェクト動き検出結果１０５としては、ｐフレームとｐ＋１フレーム両方の位置座標で囲まれる領域を動き部分と判別して、例えば動き部分の領域座標を表すフラグを図１のノイズ除去処理部１０７に送る。このフラグの生成方法として、例えば映像開始点（映像の左上）の座標を（Ｘ（０），Ｙ（０））とし、そこから水平方向をＸ方向、垂直方向（ライン方向）をＹ方向として右方向および下方向にインクリメントする画素カウンタをそれぞれ設け、このカウンタ値と上述のｐフレームとｐ＋１フレームでの位置座標の値とをラインごとに比較し、輪郭で囲まれた領域は動き部分とすることで得ることができる。
【００４５】
図２の例を考えると、オブジェクトＡの動き領域としてｐフレームに起因する領域としてＹ（ｎ−３）ライン目の（Ｘ（ｍ），Ｙ（ｎ−３））から始まり１画素のみと決定される。次のラインでは（Ｘ（ｍ−１），Ｙ（ｎ−２））で始まり、Ｘ方向に２画素進んだ（Ｘ（ｍ＋１），Ｙ（ｎ−２））までの３画素と決定される。さらに次のラインでは（Ｘ（ｍ−２），Ｙ（ｎ−１））で始まりＸ方向に４画素進んだ（Ｘ（ｍ＋２），Ｙ（ｎ−１））までの５画素というように決定される。
【００４６】
またｐ＋１フレームに起因する領域として、同様にＹ（ｎ’−３）ライン目の（Ｘ（ｍ’），Ｙ（ｎ’−３））から始まり１画素のみと決定される。次のラインでは（Ｘ（ｍ’−１），Ｙ（ｎ’−２））で始まりＸ方向に２画素進んだ（Ｘ（ｍ’＋１），Ｙ（ｎ’−２））までの３画素と決定される。さらに次のラインでは（Ｘ（ｍ’−２），Ｙ（ｎ’−１））で始まりＸ方向に４画素進んだ（Ｘ（ｍ’＋２），Ｙ（ｎ’−１））までの５画素というように決定される。結果として図８の＜動き検出結果＞の黒塗りの領域のようになる。
【００４７】
このときｐフレームとｐ＋１フレームのどちらか一方にしか存在しないオブジェクトの場合も、それが存在するフレームの領域を動き検出結果とすることになる。またオブジェクト情報として、重心座標と重心座標からオブジェクトの存在する範囲を表す距離情報が与えられる場合について説明する。この場合も同様に、同一オブジェクトに対してまずｐフレームとｐ＋１フレームの重心座標と、そこからの距離情報を比較し完全に一致する＝静止しているかどうか判別する。そして動きがあると判定された場合には、ｐフレームおよびｐ＋１フレームにおける重心座標とそこからの距離情報にて規定される範囲の各領域を動き部分として検出することが可能である。
【００４８】
また動きベクトルが伝送される場合も、動きベクトルの起点となる領域とその動きベクトルが示す次のフレームでの領域とをあわせた領域がそのオブジェクトの動き領域となる。このような方法により、オブジェクト情報からオブジェクトの動き検出を行うことができる。
【００４９】
次に、このようにして得られる図１のオブジェクト動き検出結果１０５をもとに、ノイズ除去処理部１０７にて映像入力信号１０６に含まれるノイズを除去する方法について説明する。ノイズ除去処理部１０７での処理として、例えばフレーム巡回型のノイズ除去処理を考える。映像入力信号１０６とこれを１フレーム遅延させた信号との差分をとり、この差分に任意の巡回係数（巡回ゲイン）を掛けて映像入力信号に足し込むことで、ノイズを除去する。
【００５０】
従来例の場合、このフレーム差分はノイズ以外に映像入力信号中のオブジェクトの動きに起因する差分も含まれており、このノイズと動きの区別の難しさが問題であった。しかしながら本発明では、上述のオブジェクト動き検出結果１０５を用いることで簡単にノイズとオブジェクトの動きを判別することが可能となる。例えば、上述の映像入力信号のフレーム差分に対して図８の＜動き検出結果＞のような黒塗りの領域がオブジェクト動き検出結果として得られた場合、このオブジェクトの動きと判別されている部分については巡回係数を０にする、あるいはフレーム差分を０にすることによりオブジェクトの動き部分については、ノイズ除去処理（巡回フィルタ処理）を完全に止めることができる。これにより、動き部分への巡回フィルタ処理による残像（尾引き）発生の懸念がなくなるため、本来のノイズに対し巡回係数を大きくすることができ、ノイズ除去効果を大幅に改善することが可能となる。
【００５１】
（実施の形態２）
次に本発明の他の実施の形態における映像信号処理装置について、その詳細を説明する。
【００５２】
図９にその構成図を示す。
【００５３】
図中９０１から９０６までは（実施の形態１）のオブジェクト情報１０１、オブジェクト情報処理部１０２、動き検出用データ１０３、オブジェクト動き検出部１０４、オブジェクト動き検出結果１０５、映像入力信号１０６に対応し、それぞれ同様の動作を行なう。また、図中９０７は映像入力信号９０６から映像信号における任意のオブジェクトの動きを検出し動き検出結果９０８を出力する動き検出部である。９０９はオブジェクト動き検出部９０４から出力されるオブジェクト動き検出結果９０５と動き検出部９０７から出力される動き検出結果９０８を用いて、映像信号中の動きを判定し最終動き検出結果９１０を出力する統合動き判定部である。９１１は最終動き検出結果９１０をもとに映像入力信号９０６に含まれるノイズを除去し映像出力信号９１２を出力するノイズ除去処理部である。
【００５４】
この本実施の形態における映像信号処理装置の特徴は（実施の形態１）における映像信号処理装置において、オブジェクト情報が送られてこないためにオブジェクト動き検出ができない映像信号中のオブジェクトに対して映像信号中から動き検出を行う回路を付与することで、ノイズ除去処理（巡回フィルタ処理）に伴う残像（尾引き）の発生を低減させる、すなわち、オブジェクト情報の生成が困難なオブジェクトに対応するノイズ除去の弊害を低減する、あるいは映像信号中の全てのオブジェクトに対してオブジェクト情報を送信するのではなく、情報送信の対象オブジェクトを限定することでオブジェクト情報の情報量を減らすことを可能にするものである。
【００５５】
以下具体例を挙げてその動作を説明する。
【００５６】
オブジェクト情報９０１からオブジェクト動き検出部９０４にてオブジェクト動き検出を行いオブジェクト動き検出結果９０５を得る動作は（実施の形態１）と同じものであり、オブジェクト情報から映像信号中のオブジェクトの動き領域を表すオブジェクト動き検出結果９０５を得る。動き検出部９０７では、映像入力信号９０６から映像信号中の任意のオブジェクトの動き検出を行う。例えば映像入力信号９０６とこれを１フレーム遅延させた信号との差分をとり、この差分と任意のしきい値とを比較しこの比較結果により、差分が大きいほどオブジェクトの動きであると判定することにより、動き検出が可能となる。そして動き検出結果９０８として統合動き判定部９０９に入力される。
【００５７】
この動き検出結果９０８は、動き／静止の２値以外にもフレーム差分としきい値との大小関係により複数の値をとることも可能である。統合動き判定部９０９では、この動き検出結果９０８と上述のオブジェクト動き検出結果９０５とを用いて、最終的な動き判定を行う。例えば、動き検出結果９０８においてフレーム差分信号が小さく動き領域としての判定が行われていなくても、オブジェクト動き検出結果９０５にてオブジェクトの動き領域と判別されている場合には、動き領域とみなす処理が行われる。すなわちフレーム差分からの動き検出結果に対して、これより確実なオブジェクト動き検出結果の優先度を上げた処理が行われる。
【００５８】
このような処理により、動き判定が行われ最終動き検出結果９１０が出力される。この最終動き検出結果９１０は、上述の動き検出結果９０８と同様に動き／静止の２値以外にもフレーム差分としきい値との大小関係により複数の値をとることも可能であるが、このときオブジェクト動き検出結果９０５に起因する動き部分については、最も動き寄りの値をとることになる。もちろんオブジェクト動き検出の処理次第では、動き度合いによる重み付けをつけることも可能である。
【００５９】
次にこのようにして得られる最終動き検出結果９１０をもとに、ノイズ除去処理部９１１にて映像入力信号９０６に含まれるノイズの除去処理が行われる。ノイズ除去処理部９１１での処理として、例えばフレーム巡回型のノイズ除去処理を考えると、映像入力信号９０６とこれを１フレーム遅延させた信号との差分をとり、この差分に任意の巡回係数（巡回ゲイン）を掛けて映像入力信号に足し込むことでノイズを除去する。従来例の場合、このフレーム差分はノイズ以外に映像入力信号中のオブジェクトの動きに起因する差分も含まれており、このノイズと動きの区別の難しさが問題であった。しかしながら本発明では、上述の最終動き検出結果９１０を用いることで、簡単にノイズとオブジェクトの動きを判別することが可能となる。
【００６０】
上述の映像入力信号９０６のフレーム差分に対して最終動き検出結果９１０としてオブジェクトの動きと判別されている部分については、巡回係数を０にする、あるいはフレーム差分を０にすることにより、オブジェクトの動き部分についてはノイズ除去処理（巡回フィルタ処理）を完全に止めることができる。あるいは、最終動き検出結果９１０が動き／静止の２値以外に複数の値をとる場合には、この値に応じて巡回係数の値を変えたり（動きが強いほど巡回係数を小さくする）フレーム差分をコアリングする（動きが強いほどフレーム差分を小さくする＝コアリング量を大きくする）ことによりノイズ除去効果を調整することが可能となる。
【００６１】
これにより、オブジェクト情報が送信されないオブジェクトが存在する場合においても、動き部分への巡回フィルタ処理による残像（尾引き）発生の懸念が低減でき、ノイズ除去効果を高めることが可能になる上、オブジェクト情報の生成が困難なオブジェクトへの対応や送信するオブジェクト情報の情報量を任意に削減することが可能となる。
【産業上の利用可能性】
【００６２】
本発明にかかる映像信号処理装置では、映像信号中の各オブジェクトを特定するためのオブジェクト識別情報やその存在する位置を示す領域座標や輪郭座標や重心座標などの位置情報やオブジェクトの動きの方向や量を表す動きベクトル情報などを含むオブジェクト情報をノイズ除去処理における動き検出に利用する、あるいは映像信号のみから行なう動き検出と組み合わせることにより映像信号のみから動き検出を行なう場合より精度の高い動き検出が可能となりその結果ノイズ除去効果を高めると同時にノイズ除去処理に伴う尾引き（残像）の発生を抑制することが可能となるものであり、ノイズ除去効果を備えた映像信号処理装置等において有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態１における発明構成図
【図２】本発明の実施の形態１におけるオブジェクト情報生成の説明図
【図３】本発明の実施の形態１におけるオブジェクト情報生成のフローチャート
【図４】本発明の実施の形態１におけるオブジェクト情報生成の説明図
【図５】本発明の実施の形態１におけるオブジェクト情報生成の説明図
【図６】本発明の実施の形態１におけるオブジェクト情報生成のフローチャート
【図７】本発明の実施の形態１におけるオブジェクト情報生成の説明図
【図８】本発明の実施の形態１におけるオブジェクト情報生成の説明図
【図９】本発明の実施の形態２における発明構成図
【符号の説明】
【００６４】
１０１    オブジェクト情報
１０２    オブジェクト情報処理部
１０３    動き検出用データ
１０４    オブジェクト動き検出部
１０５    オブジェクト動き検出結果
１０６    映像入力信号
１０７    ノイズ除去処理部
１０８    映像出力信号
【図１】
2009267901.tif 000003
【図２】
2009267901.tif 000004
【図３】
2009267901.tif 000005
【図４】
2009267901.tif 000006
【図５】
2009267901.tif 000007
【図６】
2009267901.tif 000008
【図７】
2009267901.tif 000009
【図８】
2009267901.tif 000010
【図９】
2009267901.tif 000011