(57)【要約】  【課題】  カムコーダには様々な映像信号処理が必要とされており、さらにそれらの各処理がメモリに対するアクセスを必要とするために、信号処理回路とメモリ間のバス幅の増加や、メモリの動作周波数の高速化を招き、結果として電力の増加に繋がってしまうという課題があった。  【解決手段】  ３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理で使用するメモリを共有し、それらの処理に必要なメモリへのアクセスを、  １）３次元ノイズリダクション処理後の映像信号の書き込み  ２）３次元ノイズリダクション演算に必要な映像信号の読み出し  ３）時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理兼用の映像信号の読み出しの３つのアクセスのみで実現する。【選択図】  図１
2005252570.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を格納するメモリ手段と、
映像信号入力端子に入力された入力映像信号に対し、前記メモリ手段から読み出された映像信号を利用して３次元ノイズリダクション処理を施し、前記メモリ手段へと書き込む一連の処理を入力映像信号に同期した時間軸で行う３次元ノイズリダクション手段と、
前記メモリ手段から映像信号を読み出して映像信号出力端子へと出力する一連の処理を標準映像信号に同期した時間軸で行う画像出力処理手段と、
前記３次元ノイズリダクション手段の前記メモリ手段に対する書き込みアドレスと、前記画像出力処理手段の前記メモリ手段からの読み出しアドレスを監視して、非同期に行われる書き込みと読み出しの時間軸誤差を検知する時間軸補正手段とを備え、
前記時間軸補正手段は検知した時間軸誤差に応じて前記画像出力処理手段に対して前記メモリ手段からの読み出し領域の指示を行い、前記画像出力処理手段はその指示に応じて前記メモリ手段より映像信号を読み出すことで時間軸補正を行うことを特徴とする映像信号処理装置。
【請求項２】
さらに、ズーム情報入力端子を備え、
前記画像出力処理手段は、前記メモリ手段からの映像信号の読み出し時に前記ズーム情報入力端子に入力された電子ズーム情報に基づいて映像信号の一部を切り出して前記映像信号出力端子へと出力することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
さらに、手ぶれ情報入力端子を備え、
前記画像出力処理手段は、前記メモリ手段からの映像信号読み出し時に前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の一部を切り出して前記映像信号出力端子へと出力することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
【請求項４】
映像信号を格納するメモリ手段と、
映像信号入力端子に入力された入力映像信号に対し、前記メモリ手段から読み出された映像信号を利用して３次元ノイズリダクション処理を施し、前記メモリ手段へと書き込む一連の処理を入力映像信号に同期した時間軸で行う３次元ノイズリダクション手段と、
手ぶれ情報入力端子とを備え、
前記３次元ノイズリダクション手段は、前記メモリ手段から読み出した映像信号に対して前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の切り出しを行い、切り出した映像信号を利用して前記映像信号入力端子に入力された入力映像信号にノイズリダクション処理を行うことを特徴とする映像信号処理装置。
【請求項５】
前記３次元ノイズリダクション手段は、前記メモリ手段から読み出した映像信号に対して前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の切り出しを行い、切り出した映像信号を利用して前記映像信号入力端子に入力された入力映像信号にノイズリダクション処理を行うことを特徴とする請求項３に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元デジタルノイズリダクション機能や時間軸補正機能、デジタル手ぶれ補正機能、電子ズーム機能等を備えた映像信号処理装置に関する。
【背景技術】
【０００２】
近年、カムコーダには画質および機能向上のための様々な映像信号処理が要求されている。図１０（ａ）は、従来のカムコーダの映像信号処理構成を示す図である。以下に、図１０（ａ）における各映像信号処理の処理内容を説明する。
【０００３】
映像信号入力端子９００には、カメラで撮像された映像信号や、アナログ入力された映像信号、または、その装置内の記録媒体から再生された映像信号等が入力される。
【０００４】
３次元ノイズリダクション回路９０１は、映像信号のＳ／Ｎを向上するために映像の動きの有無に応じて映像信号のフレーム間演算またはライン間演算によりノイズを低減する（ノイズリダクション）回路である。３次元ノイズリダクション処理のためには１フレーム前または１フィールド前の画像が必要となるため、それに応じた容量のメモリが必要となる。
【０００５】
時間軸補正回路９０２は、時間軸誤差を持った映像信号入力に対して時間軸補正（TimeBase Corrector）を行う回路である。時間軸補正処理では、数フィールドもしくは数フレームメモリに対して、映像入力信号の時間軸に同期した書き込み制御信号に基づいて映像入力信号の書き込みを行い、標準信号の同期信号周期とほぼ同期した読み出し制御信号に基づいて読み出しを行う。その際に書き込み側のメモリアドレスと読み出し側のメモリアドレスのオフセットを監視して、オフセットが所定の範囲外になったときは、読み出し側のアドレスを１フィールド分先送りしたり、同じフィールドに戻したりすることにより、入力信号の時間軸誤差を吸収している。
【０００６】
手ぶれ補正・電子ズーム処理回路９０３は、高倍率画像を得るために映像信号をフィールドメモリに一度書き込み、その一部を切り出して読み出した映像信号に補間データを補うことにより撮影した画像を電子的に拡大・縮小したり、撮影時の手ぶれ等に起因する映像のブレを補正（Digital Image Stablizer）する回路である。
【０００７】
図１０（ｂ）は、図１０（ａ）に対して、３次元ノイズリダクション回路９０１と時間軸補正回路９０２と手ぶれ補正・電子ズーム処理回路９０３がそれぞれ必要とする複数のメモリを、メモリ９０７に統合するもので、その統合のためにメモリアクセス制御回路９０６も備えた場合の例を示している。
【０００８】
以上のようにカムコーダには様々な映像信号処理が必要とされており、さらにそれらの各処理がメモリに対するアクセスを必要とするために、信号処理回路とメモリ間のバス幅の増加や、メモリの動作周波数の高速化を招き、結果として電力の増加に繋がってしまうという課題があった。これらの課題は、図１０（ａ）の構成や図１０（ｂ）の構成に関わらない共通の課題である。
【０００９】
図１０（ｂ）の映像信号処理回路のカムコーダへの適用例を、図１１を使用して説明する。図１１において、１００１はカムコーダ、１００２はカメラ、１００３はカメラ信号処理回路、１００４は映像信号処理回路で、図１０（ｂ）における映像信号入力端子９００から映像信号出力端子９０５までの一連の回路を示している。１００５は符号化処理回路、１００６はディジタルＩＦ処理回路、１００７は映像信号出力端子、１００８はストリーム処理回路、１００９はメモリアクセス制御回路、１０１０はメモリ、１０１１は記録媒体、１０１２は映像信号入力端子である。映像信号処理回路１００４とメモリアクセス制御回路１００９は一本の矢印で接続されているが、この矢印は図１０（ｂ）での各回路とメモリアクセス制御回路９０６の各矢印をまとめて表現している。その他、各回路とメモリアクセス制御回路１００９とを結ぶ矢印は一本で複数のメモリアクセスがあることを示す。
【００１０】
図１１に示すように、機器に必要とされる処理に必要なメモリ空間を１つ（もしくは数個）の外部メモリで賄う構成は、コストや実装面積の削減を目的としてよく用いられる手法である。
【００１１】
このような構成においては、メモリアクセス制御回路１００９とメモリ１０１０間のバス幅と動作周波数の積であるメモリバス・帯域の制約から、各回路からのメモリ１０１０に対するアクセスをできるだけ少なくすることが課題となる。
【００１２】
参考特許文献１はこれらの課題を鑑みた技術であるが、時間軸誤差補正とデジタルズーム機能のみを対象としており、３次元デジタルノイズリダクション機能やデジタル手ぶれ補正機能には言及していない。
【特許文献１】特開平７−９５５３９号公報（第２−３頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、少ないメモリ容量かつ少ないメモリアクセス量で３次元ノイズリダクション処理・時間軸補正処理・手ぶれ補正処理・電子ズーム処理を実現する映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、上記の課題を解決するために次のような手段を講じる。
【００１５】
本発明による映像信号処理装置は、次の各構成要素を備えたものとして構成されている。すなわち、映像信号を格納するメモリ手段と、映像信号入力端子に入力された入力映像信号に対し、前記メモリ手段から読み出された映像信号を利用して３次元ノイズリダクション処理を施し、前記メモリ手段へと書き込む一連の処理を入力映像信号に同期した時間軸で行う３次元ノイズリダクション手段と、前記メモリ手段から映像信号を読み出して映像信号出力端子へと出力する一連の処理を標準映像信号に同期した時間軸で行う画像出力処理手段と、前記３次元ノイズリダクション手段の前記メモリ手段に対する書き込みアドレスと、前記画像出力処理手段の前記メモリ手段からの読み出しアドレスを監視して、非同期に行われる書き込みと読み出しの時間軸誤差を検知する時間軸補正手段とを備えている。そして、前記時間軸補正手段は検知した時間軸誤差に応じて前記画像出力処理手段に対して前記メモリ手段からの読み出し領域の指示を行い、前記画像出力処理手段はその指示に応じて前記メモリ手段より映像信号を読み出すことで時間軸補正を行うように構成されている。
【００１６】
３次元ノイズリダクション処理と時間軸補正処理で使用するメモリを共有し、それらの処理に必要なメモリへのアクセスを、
１）  ３次元ノイズリダクション処理後の映像信号の書き込み
２）  ３次元ノイズリダクション演算に必要な映像信号の読み出し
３）  時間軸補正処理の映像信号の読み出し
の３つのアクセスのみで実現している。
【００１７】
これにより、３次元ノイズリダクション処理と時間軸補正処理に必要なメモリアクセスが少なくてすむため、メモリの動作周波数の低減や消費電力の削減が可能となる。
【００１８】
上記構成において、さらに、ズーム情報入力端子を備えた構成にするとともに、前記画像出力処理手段は、前記メモリ手段からの映像信号の読み出し時に前記ズーム情報入力端子に入力された電子ズーム情報に基づいて映像信号の一部を切り出して前記映像信号出力端子へと出力するように構成する。
【００１９】
これによれば、３次元ノイズリダクション処理と時間軸補正処理と電子ズーム処理で使用するメモリを共有し、それらの処理に必要なメモリへのアクセスを、
１）  ３次元ノイズリダクション処理後の映像信号の書き込み
２）  ３次元ノイズリダクション演算に必要な映像信号の読み出し
３）  時間軸補正処理と電子ズーム処理兼用の映像信号の読み出し
の３つのアクセスのみで実現している。
【００２０】
これにより、３次元ノイズリダクション処理と時間軸補正処理と電子ズーム処理に必要なメモリアクセスが少なくてすむため、メモリの動作周波数の低減や消費電力の削減が可能となる。
【００２１】
また、上記構成において、さらに、手ぶれ情報入力端子を備えた構成にするとともに、前記画像出力処理手段は、前記メモリ手段からの映像信号読み出し時に前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の一部を切り出して前記映像信号出力端子へと出力するように構成する。
【００２２】
これによれば、３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理で使用するメモリを共有し、それらの処理に必要なメモリへのアクセスを、
１）  ３次元ノイズリダクション処理後の映像信号の書き込み
２）  ３次元ノイズリダクション演算に必要な映像信号の読み出し
３）  時間軸補正処理と手ぶれ切り出し処理兼用の映像信号の読み出し
の３つのアクセスのみで実現している。
【００２３】
これにより、３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理に必要なメモリアクセスが少なくてすむため、メモリの動作周波数の低減や消費電力の削減が可能となる。
【００２４】
また、次の構成の映像信号処理装置も有効である。それは、映像信号を格納するメモリ手段と、映像信号入力端子に入力された入力映像信号に対し、前記メモリ手段から読み出された映像信号を利用して３次元ノイズリダクション処理を施し、前記メモリ手段へと書き込む一連の処理を入力映像信号に同期した時間軸で行う３次元ノイズリダクション手段と、手ぶれ情報入力端子とを備え、前記３次元ノイズリダクション手段は、前記メモリ手段から読み出した映像信号に対して前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の切り出しを行い、切り出した映像信号を利用して前記映像信号入力端子に入力された入力映像信号にノイズリダクション処理を行うものである。
【００２５】
これによれば、３次元ノイズリダクションのための過去の映像信号として、入力される映像信号との相関が高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【００２６】
特に、前記３次元ノイズリダクション手段は、前記メモリ手段から読み出した映像信号に対して前記手ぶれ情報入力端子に入力された手ぶれ切り出し情報に基づいて映像信号の切り出しを行い、切り出した映像信号を利用して前記映像信号入力端子に入力された入力映像信号にノイズリダクション処理を行うように構成することが好ましい。
【００２７】
これによれば、手ぶれ切り出し情報を活用して、映像信号入力端子に入力された映像信号に対してメモリから読み出した過去の映像信号の手ぶれ補正をしながら３次元ノイズリダクション処理を行う。３次元ノイズリダクションのための過去の映像信号として、入力される映像信号に対して、より相関の高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【発明の効果】
【００２８】
本発明によれば、映像信号入力端子に入力される映像信号が、標準映像信号（例えば標準映像信号に同期したカメラで撮影された映像信号）であるか、非標準映像信号（例えばアナログ入力された映像信号）であるかに関わらず、映像信号出力端子に標準映像信号を出力することができ、３次元ノイズリダクション処理や手ぶれ補正処理や電子ズーム処理を同時に実行することが可能である。
【００２９】
また、本発明によれば、少ないメモリアクセスで３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理を実現することができる。
【００３０】
また、本発明によれば、３次元ノイズリダクションのための過去の映像信号として、入力される映像信号との相関の高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明にかかわる映像信号処理装置の実施の形態を図面に基づいて詳細に説明する。
【００３２】
（実施の形態１）
以下、本発明の実施の形態１について図面を参照しながら説明する。図１は、本発明の実施の形態１における映像信号処理装置のブロック構成図である。
【００３３】
本実施の形態の映像信号処理装置は、次の各構成要素を備えたものとして構成されている。それは、
映像信号を格納するメモリ１０２と、
映像信号入力端子１００に入力された入力映像信号に対し、メモリ１０２から読み出された映像信号を利用してノイズリダクション処理を施し、メモリ１０２へと書き込む一連の処理を入力映像信号に同期した時間軸で行う３次元ノイズリダクション回路１０１と、
時間軸補正回路１０３の指示に応じてメモリ１０２から映像信号を読み出して映像信号出力端子１０５へと出力する一連の処理を、標準映像信号に同期した時間軸で行う画像出力処理回路１０４と、
３次元ノイズリダクション回路１０１のメモリ１０２に対する書き込みアドレスと、画像出力処理回路１０４のメモリ１０２からの読み出しアドレスを監視して、画像出力処理回路１０４によるメモリ１０２からの映像信号の読み出し中に、書き込みアドレスと読み出しアドレスの追い越しや追い越されが発生しないように画像出力処理回路１０４を制御する時間軸補正回路１０３と、
手ぶれ情報が入力される手ぶれ情報入力端子１０６と、
電子ズーム情報が入力されるズーム情報入力端子１０７
とである。
【００３４】
画像出力処理回路１０４は、メモリ１０２から映像信号を読み出して映像信号出力端子１０５に出力する際に、手ぶれ情報入力端子１０６に入力された手ぶれ情報及びズーム情報入力端子１０７に入力された電子ズーム情報に基づいて映像信号の切り出しも行う。
【００３５】
本実施の形態の特徴は、３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理で使用するメモリを共有し、それらの処理に必要なメモリへのアクセスを、
１）  ３次元ノイズリダクション処理後の映像信号の書き込み
２）  ３次元ノイズリダクション演算に必要な映像信号の読み出し
３）  時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理兼用の映像信号の読み出し
の３つのアクセスのみで実現することを特徴としている。
【００３６】
本実施の形態の特徴は上述の通りであるが、以降では、メモリ１０２が２つの映像フレーム分の映像信号が格納可能な領域を持つ場合の各回路の動作の一例を示す。
【００３７】
まず、図１及び図２を使用して、３次元ノイズリダクション回路１０１の動作の一例を説明する。
【００３８】
映像信号入力端子１００には、カメラで撮影された映像信号やアナログ入力された映像信号、または、本映像信号処理装置に記録媒体が接続されている場合は、その記録媒体から再生された映像信号等が入力される。
【００３９】
以下では、これら映像信号入力端子１００に入力された映像信号を入力映像信号と記述する。また、３次元ノイズリダクション処理のための各動作は、入力映像信号に同期して行われる。
【００４０】
メモリ１０２は、少なくとも１フレーム分の映像信号がそれぞれに格納可能な第１の映像フレーム領域１０２ａおよび第２の映像フレーム領域１０２ｂを有しており、映像信号入力端子１００にｎ番目の映像フレームに相当する映像信号（本説明では、これをｎ番目の映像フレーム信号と記述し、以下、他の映像フレームに関しても同様の表現を使用する）の入力が開始される直前には、少なくとも、ｎ−１番目の映像フレーム信号とｎ−２番目の映像フレーム信号が格納されている。
【００４１】
図２において、（ａ）は３次元ノイズリダクション回路１０１によるメモリ１０２からの映像信号の読み出し処理を示し、（ｂ）は３次元ノイズリダクション処理された映像信号の書き込み処理を示している。横軸は時間経過を示し、Ｔｉは入力信号の映像フレーム周期を示している。
【００４２】
図２の（１）の期間では、ｎ−１番目の映像フレーム信号がメモリ１０２の第１の映像フレーム領域１０２ａより読み出され、入力映像信号であるｎ番目の映像フレーム信号に対して３次元ノイズリダクション処理が施されながら第２の映像フレーム領域１０２ｂに書き込まれている。
【００４３】
（２）の期間では、ｎ番目の映像フレーム信号がメモリ１０２の第２の映像フレーム領域１０２ｂより読み出され、入力映像信号であるｎ＋１番目の映像フレーム信号に対して３次元ノイズリダクション処理が施されながら第１の映像フレーム領域１０２ａに書き込まれている。
【００４４】
以降、読み出す映像フレーム領域と書き込む映像フレーム領域を順次切り替えながら３次元ノイズリダクション処理を継続する。
【００４５】
前述のように、３次元ノイズリダクションに関連する各処理は入力映像信号に同期して行われる。３次元ノイズリダクション回路１０１によるメモリ１０２への映像信号の書き込み及び読み出しも入力映像信号に同期して行われ、かつ、メモリ１０２には少なくとも２フレーム分の映像信号が格納可能な領域があることから、３次元ノイズリダクションに必要な過去の１フレーム分の映像信号は必ずメモリ１０２に格納されていることが保障できる。
【００４６】
３次元ノイズリダクション処理の具体的演算方法の一例としては、ｎ番目の映像フレーム信号とｎ−１番目の映像フレーム信号の輝度信号・色差信号に対してそれぞれ平均加算の値を出力信号とする等の演算方法が知られている。しかし、本発明は、３次元ノイズリダクション処理の具体的演算方法に関する発明ではなく、３次元ノイズリダクション処理に必要なメモリ空間の使用方法と、そのメモリ空間へのアクセス方法に関する発明である。したがって、３次元ノイズリダクション処理の具体的演算方法の詳細な説明に関しては省略する。
【００４７】
なお、本実施の形態では、入力映像信号に関わらず、常に３次元デジタルノイズリダクション処理を行う場合に関して説明したが、２次元ノイズリダクション（その映像フレーム内の情報のみを使用して行うノイズリダクション）処理と３次元デジタルノイズリダクション処理とを適応的に切り替える場合についても、本発明は適用可能である。
【００４８】
なお、本実施の形態では、フレーム単位に３次元ノイズリダクション処理を行う場合について説明したが、フィールド単位で３次元ノイズリダクション処理を行う場合についても、本発明は当然適用可能である。
【００４９】
次に、図１及び図３〜図６を使用して、時間軸補正回路１０３の動作について説明する。
【００５０】
まず、図３〜図４を使って時間軸補正処理をしない場合の不具合例について説明する。
【００５１】
図３（ａ）は、３次元ノイズリダクション回路１０１によるメモリ１０２への書き込み処理を示している。３次元ノイズリダクション処理において説明したように、メモリ１０２への書き込み処理は、第１の映像フレーム領域１０２ａおよび第２の映像フレーム領域１０２ｂに対して交互に行われる。また、３次元ノイズリダクション回路１０１によるメモリ１０２への書き込み処理は入力の映像フレーム周期（以下、入力フレーム周期と記述する）Ｔｉに同期して行われる。従って、メモリ１０２への書き込みの際に入力される映像フレーム信号が欠落することは無い。
【００５２】
図３（ｂ）は、画像出力処理回路１０４によるメモリ１０２からの読み出し処理を示している。この例は時間軸補正を行わない場合の例なので、メモリ１０２からの読み出し処理も単に第１の映像フレーム領域１０２ａと第２の映像フレーム領域１０２ｂに対して交互に行われる。画像出力処理回路１０４によるメモリ１０２からの読み出し処理は、標準映像信号の映像フレーム周期（以下、標準フレーム周期と記述する）Ｔｏに同期して行われる。
【００５３】
この例では、入力フレーム周期Ｔｉに対して標準フレーム周期Ｔｏが短い（メモリ１０２への書き込みに対して読み出しが早い）ので、処理を継続すると、読み出しアドレスによる書き込みアドレスの追い越しが発生する。図３の楕円で囲んだ部分が、アドレスの追い越しの様子を示している。
【００５４】
（ａ）メモリへの書き込み処理で、第２の映像フレーム領域１０２ｂに対してｎ番目の映像フレーム信号の書き込みが行われているが、その書き込み処理が終了する前に、（ｂ）メモリからの読み出し処理で、第２の映像フレーム領域１０２ｂからのｎ番目の映像フレームの読み出しを完了しようとしているため、その区間でアドレスの追い越しが必ず発生してしまう。
【００５５】
図４は、図３とは逆に、入力フレーム周期Ｔｉに比べて標準フレーム周期Ｔｏが長い（メモリ１０２への書き込みに対して読み出しが遅い）場合の例であり、（ｂ）メモリからの読み出し処理で、第２の映像フレーム領域１０２ｂからｎ番目の映像フレーム信号の読み出しを行っている期間に、（ａ）メモリへの書き込み処理で、同じ第２の映像フレーム領域１０２ｂに対してｎ＋２番目の映像フレームの書き込み処理を終了しようとしているため、その区間でアドレスの追い越しが必ず発生してしまう。
【００５６】
次に、図５〜図６を使って、時間軸補正回路１０３の動作及び時間軸補正処理をした場合の効果について説明する。
【００５７】
図５は、図３と同様に入力フレーム周期Ｔｉが標準フレーム周期Ｔｏより長い場合を示している。図５（ａ）は３次元ノイズリダクション回路１０１によるメモリ１０２への書き込み処理を、図５（ｂ）は画像出力処理回路１０４によるメモリ１０２からの読み出し処理を示している。
【００５８】
時間軸補正回路１０３は、図５（ａ）において３次元ノイズリダクション回路１０１がメモリ１０２に映像信号を書き込む際の書き込みアドレスと、図５（ｂ）において画像出力処理回路１０４がメモリ１０２から映像信号を読み出す際の読み出しアドレスを常に監視している。その監視の様子を示しているのが図５（ｄ）のグラフであり、横軸が図５（ａ）や図５（ｂ）と同じ時間軸での時間経過、縦軸が書き込みアドレスと読み出しアドレスの差を示してしる。
【００５９】
入力フレーム周期Ｔｉが標準フレーム周期Ｔｏより長い（メモリ１０２への書き込みに対して読み出しが早い）ために、処理を継続すると、両アドレスの差が徐々に狭まるが、その差が所定の下限値を下回ると、時間軸補正回路１０３は画像出力処理回路１０４に対して、現在読み出し中の映像フレーム領域と同じ領域から映像信号を読み出すように指示する。図５においては、図５（ｂ）で第１の映像フレーム領域１０２ａからｎ−１番目の映像フレーム信号を２つの標準フレーム期間にわたって読み出している部分がそれに相当する。
【００６０】
図６は、図４と同様に入力フレーム周期Ｔｉが標準フレーム周期Ｔｏより短い場合を示している。
【００６１】
入力フレーム周期Ｔｉが標準フレーム周期Ｔｏより短い（メモリ１０２への書き込みに対して読み出しが遅い）ために、処理を継続すると、両アドレスの差が徐々に広がるが、その差が所定の上限値を上回ると、時間軸補正回路１０３は画像出力処理回路１０４に対して、現在読み出し中の映像フレーム領域と同じ領域から映像信号を読み出すように指示する。図６においては、図６（ｂ）で第１の映像フレーム領域１０２ａでｎ−１番目の映像フレーム信号を読み出した次の標準フレーム期間では、ｎ番目の映像フレーム信号を飛ばして、その次のｎ＋１番目の映像フレーム信号を読み出している部分がそれに相当する。
【００６２】
以上のように時間軸補正回路１０３ではメモリ１０２に対する書き込みアドレスと読み出しアドレスの差を検知して、その差が所定の範囲を超えたときは、同じ映像フレームを２回表示したり、逆に１映像フレーム表示を飛ばしたりしながら、入力フレーム周期Ｔｉと標準フレーム周期Ｔｏの時間軸誤差の補正を行っている。
【００６３】
なお、本実施の形態では、フレーム単位に時間軸補正処理を行う場合について説明したが、フィールド単位で時間軸補正処理を行う場合についても、本発明は当然適用可能である。その場合、時間軸補正回路１０３の画像出力処理回路１０４に対する映像信号の出力指示をフレーム単位ではなくフィールド単位で行い、さらに画像出力処理回路１０４で擬似フィールド処理を行えば、フレーム単位で時間軸補正処理を行う場合に比べて、滑らかな映像信号を映像信号出力端子１０５に出力することが可能になる。
【００６４】
次に、図１及び図７を使用して、画像出力処理回路１０４の動作について説明する。
【００６５】
図７（ａ）は、手ぶれ情報入力端子１０６に手ぶれ切り出し情報が入力されているが、ズーム情報入力端子１０７には電子ズーム情報が入力されていない場合の画像出力処理回路１０４の動作を説明する図である。
【００６６】
図７（ａ）において、７０１はメモリ１０２の第１の映像フレーム領域１０２ａまたは第２の映像フレーム領域１０２ｂに格納された映像フレーム信号であり、７０２は手ぶれ切り出し情報が指示する手ぶれ補正のための映像フレームの切り出し位置である。画像出力処理回路１０４では、時間軸補正回路１０３の指示に応じてメモリ１０２の第１の映像フレーム領域１０２ａまたは第２の映像フレーム領域１０２ｂから読み出した映像フレーム信号７０１に対して、手ぶれ切り出し情報に基づく映像フレームの切り出しを行い、切り出し後の映像フレーム信号７０３を映像信号出力端子１０５に出力する。
【００６７】
図７（ｂ）は、手ぶれ情報入力端子１０６に手ぶれ切り出し情報が入力されており、さらにズーム情報入力端子１０７にも電子ズーム情報が入力されている場合の画像出力処理回路１０４の動作を説明する図である。
【００６８】
図７（ｂ）において、７０４はメモリ１０２の第１の映像フレーム領域１０２ａまたは第２の映像フレーム領域１０２ｂに格納された映像フレーム信号であり、７０５は手ぶれ切り出し情報が指示する手ぶれ補正のための映像フレームの切り出し位置である。また、７０６は電子ズーム情報に基づく電子ズームのための映像フレームの切り出し位置である。画像出力処理回路１０４では、時間軸補正回路１０３の指示に応じてメモリ１０２の第１の映像フレーム領域１０２ａまたは第２の映像フレーム領域１０２ｂから読み出した映像フレーム信号７０４に対して、手ぶれ切り出し情報及び電子ズーム情報に基づく映像フレームの切り出しを行い、切り出し後の映像フレーム信号７０７を映像信号出力端子１０５に出力する。
【００６９】
なお、図７（ａ）では、手ぶれ情報に基づいて切り出した映像フレーム信号を拡大処理せずに映像信号出力端子１０５に出力する例について説明したが、メモリ１０２に格納されている映像フレーム信号のサイズと映像信号出力端子１０５に出力すべき画像サイズが同じ場合などは、手ぶれ情報のみに対して切り出しを行った場合でも、切り出し後の画像の拡大処理が必要となる。そのような場合においても本発明は適用可能である。
【００７０】
なお、図７（ｂ）では、切り出し後の映像フレーム信号に対する拡大処理を画像出力処理回路１０４で行う場合について説明したが、映像信号出力端子１０５の接続先として同様の機能を持つ回路との組み合わせを想定した場合は、画像出力処理回路１０４で行わない場合についても、本発明は適用可能である。
【００７１】
なお、図７の説明において、７０１や７０２はメモリ１０２から読み出した映像フレーム信号と説明したが、必ずしもこれら全てを読み出す必要は無く、最終的に切り出しに必要な部分のみを読み出す構成でもよい。
【００７２】
以上が、メモリ１０２が２つの映像フレーム分の映像信号が格納可能な領域を持つ場合の各回路の動作の一例の説明であるが、本発明はこれに限定するものではなく、例えばメモリ１０２が３つの映像フィールド分の映像信号を格納可能な領域を有する場合などについても適用可能である。その場合、３次元ノイズリダクション処理及び時間軸補正処理は、フレーム単位でなく、フィールド単位で行われることになる。
【００７３】
以上のように、実施の形態１の映像信号処理装置は、少なくとも２フレーム分の映像信号を格納可能なメモリを、３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理で共有し、それらの処理に必要なメモリへの読み書きを、
１）  ３次元ノイズリダクション処理後の映像信号の書き込み
２）  ３次元ノイズリダクション演算に必要な映像信号の読み出し
３）  時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理兼用の映像信号の読み出し
の３つのアクセスのみで実現することを特徴としている。
【００７４】
本実施の形態によれば、映像信号入力端子に入力される映像信号が、標準映像信号（例えば標準映像信号に同期したカメラで撮影された映像信号）であるか、非標準映像信号（例えばアナログ入力された映像信号）であるかに関わらず、映像信号出力端子に標準映像信号が出力可能であり、３次元ノイズリダクション処理や手ぶれ補正処理や電子ズーム処理を同時に実行することが可能である。
【００７５】
本発明によれば、少ないメモリアクセスで３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理を実現可能である。
【００７６】
（実施の形態２）
次に、実施の形態２について図８を使用して説明する。
【００７７】
実施の形態１の映像信号処理装置と実施の形態２の映像信号処理装置との構成上の違いは、実施の形態１の映像信号処理装置における時間軸補正回路１０３と画像出力処理回路１０４とを省略するとともに、実施の形態１の映像信号処理装置では手ぶれ情報入力端子１０６に入力される手ぶれ切り出し情報は画像出力処理回路１０４に入力されているのに対して、実施の形態２の映像信号処理装置では３次元ノイズリダクション回路１０１に入力されている点である。
【００７８】
また、３次元ノイズリダクション処理等の処理内容に関しては、ほとんどの動作が実施の形態１の映像信号処理装置と同様であるため、以下では実施の形態１の映像信号処理装置の動作と異なる点のみを説明する。
【００７９】
図８において、３次元ノイズリダクション回路１０１は、手ぶれ情報入力端子１０６に入力された手ぶれ切り出し情報を活用し、映像信号入力端子１００に入力された映像信号に対してメモリ１０２から読み出した過去の映像信号の手ぶれ補正をしながら３次元ノイズリダクション処理を行う。手ぶれの補正を行うことにより、３次元ノイズリダクションのための情報として入力される映像信号との相関がより高い映像信号を使用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【００８０】
以上のように、実施の形態２の映像信号処理装置は、実施の形態１の映像信号処理装置に比して機能を限定した簡便な装置として、手ぶれ切り出し情報を活用して３次元ノイズリダクション処理を行うことを特徴としている。
【００８１】
本実施の形態によれば、３次元ノイズリダクションのための過去の映像信号として、入力される映像信号との相関が高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【００８２】
なお、手ぶれ切り出し情報を活用するために、画面の上下左右の端は、手ぶれの動きベクトルの関係でノイズ除去効果が低減するが、視覚的には画面中央部が重要であるので、その影響は小さい。
【００８３】
（実施の形態３）
次に、本発明の実施の形態３について図９を使用して説明する。
【００８４】
実施の形態１の映像信号処理装置と実施の形態３の映像信号処理装置の構成上の違いは、実施の形態１の映像信号処理装置では手ぶれ情報入力端子１０６に入力された手ぶれ切り出し情報は画像出力処理回路１０４にのみ入力されていたのに対して、実施の形態３の映像信号処理装置では画像出力処理回路１０４に加えて３次元ノイズリダクション回路１０１にも入力されている点である。
【００８５】
また、その処理内容に関してもほとんどの動作が実施の形態１の映像信号処理装置と同様であるため、以下では実施の形態１の映像信号処理装置の動作と異なる点のみを説明する。
【００８６】
図９において、３次元ノイズリダクション回路１０１は、手ぶれ情報入力端子１０６に入力された手ぶれ切り出し情報を活用し、映像信号入力端子１００に入力された映像信号に対してメモリ１０２から読み出した過去の映像信号の手ぶれ補正をしながら３次元ノイズリダクション処理を行う。手ぶれの補正を行うことにより、３次元ノイズリダクションのための情報として入力される映像信号との相関がより高い映像信号を使用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【００８７】
以上のように、実施の形態３の映像信号処理装置は、実施の形態１の映像信号処理装置の特徴に加えて、手ぶれ切り出し情報を活用して３次元ノイズリダクション処理を行うことを特徴としている。
【００８８】
本実施の形態によれば、実施の形態１の効果に加えて、３次元ノイズリダクションのための過去の映像信号として、入力される映像信号との相関が高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が可能となる。
【産業上の利用可能性】
【００８９】
本発明は、映像信号入力端子に入力される映像信号が、標準映像信号（例えば標準映像信号に同期したカメラで撮影された映像信号）であるか、非標準映像信号（例えばアナログ入力された映像信号）であるかに関わらず、映像信号出力端子に標準映像信号が出力可能で、かつ３次元ノイズリダクション処理や手ぶれ補正処理や電子ズーム処理の同時処理が必要な映像信号処理装置にも有用である。
【００９０】
また、本発明は、少ないメモリアクセスで３次元ノイズリダクション処理と時間軸補正処理と手ぶれ切り出し処理と電子ズーム処理の処理が必要な映像信号処理装置にも有用である。
【００９１】
また、本発明は、３次元ノイズリダクションのための過去の映像信号として、入力される映像信号との相関がより高い情報を活用することが可能となり、３次元ノイズリダクション処理の性能向上が必要な映像信号処理装置にも有用である。
【図面の簡単な説明】
【００９２】
【図１】本発明の実施の形態１における映像信号処理装置の構成を示すブロック図
【図２】実施の形態１における３次元ノイズリダクション処理の説明図
【図３】実施の形態１に関して時間軸補正処理をしない場合の説明図１
【図４】実施の形態１に関して時間軸補正処理をしない場合の説明図２
【図５】実施の形態１における時間軸補正処理の説明図１
【図６】実施の形態１における時間軸補正処理の説明図２
【図７】実施の形態１における手ぶれ補正処理及び電子ズーム処理の説明図
【図８】本発明の実施の形態２における映像信号処理装置の構成を示すブロック図
【図９】本発明の実施の形態３における映像信号処理装置の構成を示すブロック図
【図１０】従来の映像信号処理装置の構成を示すブロック図
【図１１】システム処理ＬＳＩの１構成例を示すブロック図
【符号の説明】
【００９３】
１００  映像信号入力端子
１０２  メモリ
１０３  時間軸補正回路
１０４  画像出力処理回路
１０５  映像信号出力端子
１０６  手ぶれ情報入力端子
１０７  ズーム情報入力端子
【図１】
2005252570.tif 000003
【図２】
2005252570.tif 000004
【図３】
2005252570.tif 000005
【図４】
2005252570.tif 000006
【図５】
2005252570.tif 000007
【図６】
2005252570.tif 000008
【図７】
2005252570.tif 000009
【図８】
2005252570.tif 000010
【図９】
2005252570.tif 000011
【図１０】
2005252570.tif 000012
【図１１】
2005252570.tif 000013