(57)【要約】【課題】手震れによって発生するカムコーダの不安定な映像から動きベクトルを検出して安定した映像を提供する。【解決手段】本発明の動きベクトル検出装置は、入力される光映像信号を特定手段を用いて透過させると共に特定方向に反射して集光し電気的信号に変換して出力する映像集光装置と、前記映像集光装置において入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から入力される画像信号を、探索領域の半分に相当する画素が処理される時間の間遅延させた後に出力する遅延手段と、前記遅延手段から画像信号を入力し、蓄積する蓄積手段と、前記Ａ／Ｄ変換手段から入力した画像信号と前記蓄積手段から入力した画像信号を相関値演算して動きベクトルを出力する相関値演算部とを具備し、動きベクトルを検出して映像が補正される。【選択図】 図５
2008029041.tif 000002
【特許請求の範囲】
【請求項１】
入力される光映像信号を特定手段を用いて透過させると共に特定方向に反射して集光し電気的信号に変換して出力する映像集光装置と、
前記映像集光装置において入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から入力される画像信号を、探索領域の半分に相当する画素が処理される時間の間遅延させた後に出力する遅延手段と、前記遅延手段から画像信号を入力し、蓄積する蓄積手段と、
前記Ａ／Ｄ変換手段から入力した画像信号と前記蓄積手段から入力した画像信号を相関値演算して動きベクトルを出力する相関値演算部とを含む動きベクトル検出装置。
【請求項２】
前記特定手段は半透鏡または屈曲半透鏡である請求項１に記載の動きベクトル検出装置。
【請求項３】
前記特定方向は水平または垂直方向である請求項１に記載の動きベクトル検出装置。
【請求項４】
前記映像集光装置に入力される光映像信号は２次元信号であって、前記信号は前記映像集光装置において１次元光信号に集光した後に１次元電気的信号に変換して出力することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項５】
入力される２次元映像を光学系を用いて固体素子に結像させその像を固体素子内において電子的に走査して１次元電気信号に変換して出力する固体撮像素子と、
前記固体撮像素子から入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から入力された信号を色差と明るさ信号に変換して出力するカメラ信号処理装置と、
前記固体撮像素子に入力される映像と同一の映像を、前記固体撮像素子とは別の、半透鏡または屈曲半透鏡を用いた映像集光装置を用いて入力し、手ぶれにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置と、
前記動きベクトル検出装置から動きベクトルを入力し、補正すべき領域の位置を制御するメモリ制御部と、
前記カメラ信号処理装置から入力したフィールド（またはフレーム）単位の画像を保持し、前記メモリ制御部の画像補正制御により、安定した画像信号を出力するフィールドメモリと、
前記フィールドメモリから入力したディジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ変換手段とを含む映像補正システム。
【請求項６】
半透鏡または屈曲半透鏡を用いた映像集光装置を用いて映像を入力し、手ぶれのために発生する動きを検出して動きベクトルを出力する動きベクトル検出装置と、
前記動きベクトル検出装置から動きベクトルを入力し、補正する領域の位置を制御する信号を出力するＣＣＤ駆動制御部と、
前記動きベクトル検出装置に入力される映像と同一の映像を前記動きベクトル検出装置とは別の光学系を用いて入力し、電気信号に変換して前記ＣＣＤ駆動制御部の制御信号により補正された映像信号を出力する固体撮像素子と、
前記固体撮像素子から入力したアナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から入力した信号を色差と明るさ信号に変換して出力するカメラ信号処理装置と、
前記カメラ信号処理装置から入力したディジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ変換手段とを含む映像補正システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動きベクトル検出のための動きベクトル検出装置およびこれを用いた映像補正システムに係り、より詳しくは、各種の原因による手震れによって発生するカムコーダの不安定な映像から動きベクトルを検出して安定した映像に補正するとき用いる動きベクトル検出装置および映像補正システムに関する。
【背景技術】
【０００２】
動映像の信号から動きベクトルを検出することは画像圧縮、画像認識および画像安定化などに必須不可欠な重要な技術である。
【０００３】
現在、多く用いられる携帯用ＶＣＲ（Video Cassette RecorderまたはＶＴＲ:Video Tape Recorder）一体型カメラ(カムコーダ）を用いて撮影するとき、特に歩行中に撮影するときや走行中の運送手段において撮影するときはカメラの動きのために安定しない震える映像が入力され易い。また、カムコーダの小型化、大衆化の趨勢に従い、携帯用カメラが多く用いられているが、高倍率の撮影の際には手震れによる映像の不安定さがより深刻になる。
【０００４】
そこで、動画映像の信号から動きベクトルを検出する動きベクトル検出装置を含む映像補正システムを用いることになった。
【０００５】
現在、カムコーダの入力装置としては、固体撮像素子が多く用いられている。
【０００６】
固体撮像素子は電子ビームを用いない半導体チップからなる撮像デバイスであり、受光部の各画素において受光した光信号を電気信号に変換したのち伝送手段によって出力されるが、信号伝送手段としてＭＯＳ(Metal-Oxide Silicon)トランジスタを用いたものをＭＯＳ形といい、電荷結合素子(Charge Coupled Device、以下、ＣＣＤという)を用いたものをＣＣＤ形という。
【０００７】
以下、添付図面を参照して従来の映像補正システムについて説明する。
【０００８】
図７は従来の代表的映像補正システムを示すブロック図である。
【０００９】
図７に示すように、従来のカメラ映像安定化のための映像補正システムは、  入力される映像を光学系を用いて固体撮像素子に結像させ、素子内においてその像に相応した電気信号を電子的に走査して変換された映像情報を出力する固体撮像素子（ＣＣＤイメージセンサ）１１と、
前記固体撮像素子１１から入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換器(Analog／Digital Converter、以下Ａ／Ｄという)１２と、
前記Ａ／Ｄ１２から入力された信号を色差と明るさ信号に変換して出力するカメラ信号処理装置１３と、
前記Ａ／Ｄ１２から入力された信号において手震れのために発生する動きを検出して動きベクトルを出力する動きベクトル検出装置１４と、
前記動きベクトル検出装置１４から出力された動きベクトルを入力し、補正する領域の位置を制御するメモリ制御部１５と、
前記カメラ信号処理装置１３から入力されたフィールド（またはフレーム）単位の画像を一時保持し、前記メモリ制御部１５の画像補正制御により、安定した画像信号を出力するフィールドメモリ１６と、
前記フィールドメモリ１６から入力されたディジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ変換器(Digital／Analog Converter、以下、Ｄ／Ａという)１７とからなる。
【００１０】
このような映像補正システムでは時間的に連続する画像から選択された映像情報の相関度を計算してその最大相関点から動きベクトルを決める方法を用いる。一般的にブロックマッチング法(Block Matching Algorithm)が広く用いられており、計算上の複雑性と実施間処理問題を解決するため、段階的探索(Piramid Search)、対数的探索(Logarithmic Search)などの多様な技術が提案されている。しかしながら、２次元のブロックマッチング方法は基本的にブロック内の対象画素数の増加に従い急激な演算量の増加を伴い、逆に対象画素数を減少すると局部的安定化(Local Minimum)に落ちて間違った結果を出力し易いという問題点がある。
【００１１】
図８は従来用いられた画像の動きベクトルを１次元的に抽出する方法を示す概念図である。 図８に示すように、従来は画像のパターン投影により動き情報を全領域から１次元に抽出して補正する一般的な方法も用いた。
【００１２】
これは映像のパターン情報を水平ｘ方向、垂直ｙ方向に累積した後、以前のフィールド画像の累積の結果と相互相関度を計算してその極点からフィールド間の移動量を予測する。ｘ、ｙはフィールド画像の水平、垂直座標を示し、Ｍは画像の水平画素数、Ｎは画像のライン数というとき、水平相関度の計算の例を挙げると次の式（１）のように現すことができる。
【数１】
2008029041.tif 000003
【００１３】
ここで、Ｐ’とＰは以前のフィールドと現在のフィールドの映像情報を累積させた動き検出用ラインメモリの値であり、ｕ｛ｕ│−Ｓ〈ｕ〈Ｓ｝は探索領域±Ｓ内の整数であって移動変位を表わす。上記式（１）に見られるように、各定義領域において、以前のフィールドの累積値と現在の累積値の差異の和において最も少ない量を現す変数ｕを画像の最適の移動量と判断する。かかる１次元信号のマッチング方法は２次元マッチング法に比べ大きい動きの画面移動においても少ない演算量で動きベクトルを求めることができる特徴がある。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、前記１次元信号のマッチング方法は入力画像の走査(Raster Scanning)が終点に至ったとき、現在の画像の映像情報の累積が完了するので、次のフィールド画像の走査が始まる前までに相関度計算を完了しなければならないという時間的な制約を有する。また、累積メモリを節約するために入力画素を低い量子化レベル（２進信号）に変換しなければならないし、２進化の臨界値の決定、輪郭線の抽出による方法などの処理において画素情報の損失が生じ、入力画像のライン数Ｎと水平画素数Ｍにそれぞれ相関する２対のラインメモリと、これに対する複雑な演算構造を必要とするという問題点も発生する。
【００１５】
そこで、前述した問題点を解決するため、メイン映像ＣＣＤとは別の映像集光装置を用いて１次元映像信号を高速に検出し、パイプライン方式に映像信号の相関度を連続的に高速で演算し、ラインメモリを節約して回路を簡単に具現化したカムコーダの動きベクトル検出装置およびその検出方法が提案された（韓国特許出願第９５−２７１５７号“カムコーダの動きベクトル検出装置およびその検出方法”）。
【００１６】
前記カムコーダの動きベクトル検出装置およびその検出方法に用いられた映像集光装置を図９および図１０に示す。
【００１７】
図９は従来用いた動きベクトル検出のための映像集光装置の原理を示すものであり、図１０は従来用いた動きベクトル検出のための水平・垂直方向の映像集光装置と周辺機構を示すものである。
【００１８】
図９に示すように、従来用いた動きベクトル検出のための映像集光装置３０の構成は、
二つの底辺が互いに接合面を形成して側面から見るとき四角形をなしており、入力された２次元光信号の一部を接合面から反射する二つの三角プリズム３１、３２と、
前記二つの三角プリズム３１、３２の接合面に平らな面が向かい合っており、接合面から反射された２次元光信号を入力され、１次元光信号に集光されるように出力するシリンドリカルレンズ３３と、
前記シリンドリカルレンズ３３から出力されて集光された１次元光信号を１次元電気信号に変換するラインＣＣＤ３４とからなる。
【００１９】
従来技術を用いた動きベクトル検出のための映像集光装置は、図１０に示すように二つの映像集光装置３０、すなわち２次元映像信号を入力して１次元水平方向情報を出力する水平方向映像集光装置４１、４２、４３、４４と２次元映像信号を入力して１次元垂直方向情報を出力する垂直方向映像集光装置４５、４６、４７、４８を用いて水平・垂直方向映像集光装置４０とから構成される。 また水平方向映像集光装置４１、４２、４３、４４と垂直方向映像集光装置４５、４６、４７、４８は９０°の位相差を有する。
【００２０】
映像集光装置３０の基本原理は上下（または左右）のプリズム３１、３２を通じて入力された２次元映像をシリンドリカルレンズ３３で集光してラインＣＣＤ３４において１次元電気信号に変換するものである。
【００２１】
図１０に示すように、水平・垂直方向映像集光装置４０はカメラ前端部のレンズを通じて入った光（２次元映像）の一部をそれぞれ二つの組合わせからなる水平方向の三角プリズム４１、４２および垂直方向の三角プリズム（左右プリズム）４５、４６を通じて水平・垂直方向に反射し、反射された光をそれぞれの水平・垂直方向シリンドリカルレンズ４３、４７を通じて集光した後、最終的に水平・垂直ラインＣＣＤ４４、４８において電気信号に変換する。
【００２２】
水平・垂直ラインＣＣＤ４４、４８の水平・垂直方向の長さを各々Ｍ，Ｎとするとき、入力された映像は水平方向の水平ラインＣＣＤ４４の長さＭ、垂直方向の垂直ラインＣＣＤ４８の長さＮの領域に集光される。
【００２３】
この集光された映像信号を式で現わすと次のようになる。
【数２】
2008029041.tif 000004
【数３】
2008029041.tif 000005
【００２４】
ここで、（ｘ，ｙ）は映像の座標、Ｉ（ｘ、ｙ）は画素の明るさ（画素当たりに入射する光束）であり、Ｐ、Ｑはそれぞれ水平、垂直方向に集光された結果を表わす。また、αはプリズムに入射し反射された光量に関する反射係数である。線形に集光された１次元映像は水平・垂直ラインＣＣＤ４４、４８において１次元の電気的信号に変換されて動きベクトルの検出のための回路部に入力される。
【００２５】
しかしながら、前記映像集光装置４０は構造が複雑で重厚になるという短所があり、特に携帯用カメラへの搭載にあたっては解決すべき大きな課題となっている。
【００２６】
本発明は前記従来の問題点を解決するためのものであって、その目的は、半透鏡または屈曲半透鏡を用いて構造が簡単で軽便な映像集光装置を提供することにある。
【００２７】
ここで、半透鏡は光の一定量を一部反射する機能を有する物体であり、屈曲半透鏡は半透鏡などに屈曲を与えることにより、反射光を集光させることができる機能を有する。
【課題を解決するための手段】
【００２８】
前記目的を達成するため、本発明の動きベクトル検出のための映像集光装置の構成は、
光軸に対し一定の角度傾斜して配置され、入力した２次元光信号の一部を透過させると同時に、一部を一定の角度に反射する透過反射手段と、
前記透過反射手段から反射された２次元光信号を入力し、１次元光信号に集光されるように出力する集光手段と、
前記集光手段から出力された光信号が１次元光信号に集光されるところに位置し、集光された１次元光信号を１次元電気信号に変換して出力する信号変換手段とを含む。
【００２９】
さらに、本発明の動きベクトル検出のための映像集光装置は、
表面に屈曲を有し、光軸に対し一定の角度傾斜して配置され、入力した２次元光信号の一部を透過させ同時に一部を反射して１次元光信号に集光するように出力する屈曲反射透過手段、
前記屈曲反射透過手段から入力した光信号が１次元光信号として集光されるところに位置し、集光した１次元光信号を１次元電気信号に変換して出力する信号変換手段を含む。
【発明の効果】
【００３０】
以上のように、本発明の実施例において、各種の原因に起因する手ぶれにより発生するカムコーダの不安定な映像を安定化した映像に補正するにおいて、映像の補正に必要な１次元情報の検出に用いられる映像集光装置に単純な構造の半透鏡や屈曲半透鏡を用いることにより、映像集光装置それ自体の重量および構造ばかりでなくこの映像集光装置を含む全システムの重量および構造を小さくかつ軽便にする効果を有する動きベクトル検出のための映像集光装置を提供することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の好ましい実施例を添付図面に基づいて詳細に説明する。
【００３２】
図１は本発明の実施例１に従う動きベクトル検出のための映像集光装置の原理を示すものであり、図２は本発明の実施例１に従う動きベクトル検出のための映像集光装置と周辺機構を示すものである。
【００３３】
図１に示すように、本発明の実施例１に従う動きベクトル検出のための映像集光装置は、
光軸に対し一定の角度傾斜して配置され、入力した２次元光信号の一部を一定の角度に反射し同時に一部を透過させる半透鏡５１と、
前記半透鏡５１によって反射された２次元光信号を入力し、１次元光信号に集光されるように出力するシリンドリカルレンズ５２と、
前記シリンドリカルレンズ５２から出力された光信号が１次元光信号に集光させるところに位置し、集光された１次元光信号を１次元電気信号に変換して出力するラインＣＣＤ５３とを含む。
【００３４】
図２に示すように、実際に用いた本発明の実施例１に従う動きベクトル検出のための映像集光装置５０は、二つの映像集光装置、すなわち水平方向の２次元映像信号を入力して１次元水平情報に出力する水平方向映像集光装置６１、６２、６３と、垂直方向の２次元映像信号を入力して１次元垂直情報に出力する垂直方向映像集光装置６６、６７、６８とを用いた水平・垂直方向映像集光装置６０、６５とで構成される。また水平方向映像集光装置６０と垂直方向映像集光装置６５は９０°の位相差を有する。
【００３５】
ここで、図２の水平方向映像集光装置６１、６２、６３および垂直方向映像集光装置６６、６７、６８の各構成要素の機能は方向性以外は図１の映像集光装置５１、５２、５３の各構成要素の機能と同一である。すなわち、水平方向半透鏡６１および垂直方向半透鏡６６の機能は方向性を除くと半透鏡５１の機能と同様である。また、水平方向シリンドリカルレンズ６２および垂直方向シリンドリカルレンズ６７の機能は方向性を除くとシリンドリカルレンズ５２の機能と同様であり、水平方向ラインＣＣＤ６３および垂直方向ラインＣＣＤ６８の機能も方向性を除くとラインＣＣＤ５３の機能と同様である。
【００３６】
図３は本発明の実施例２に従う動きベクトル検出のための映像集光装置の原理を示すものであり、図４は本発明の実施例２に従う動きベクトル検出のための映像集光装置と周辺機構を示すものである。
【００３７】
図３に示すように、本発明の実施例２に従う動きベクトル検出のための映像集光装置は、
表面に屈曲を有し、入力した２次元光信号の一部を透過させ、同時に一部を反射して１次元光信号に集光されるように出力する屈曲半透鏡７１と、
前記屈曲半透鏡７１から入力した光信号が１次元光信号に集光されるところに位置し、集光された１次元光信号を１次元電気信号に変換して出力するラインＣＣＤ７２とを含む。
【００３８】
図４に示すように、実際に用いた本発明の実施例２に従う動きベクトル検出のための映像集光装置７０は、二つの映像集光装置、すなわち２次元映像信号を入力して垂直方向の累積により１次元水平情報を出力する水平方向映像集光装置８１、８２と、２次元映像信号を入力して水平方向の累積により１次元垂直情報を出力する垂直方向映像集光装置８６、８７を用いた水平・垂直方向映像集光装置８０、８５で構成される。
【００３９】
ここで、図４の水平方向映像集光装置８１、８２および垂直方向映像集光装置８６、８７の各構成要素の機能は方向性以外には図３の映像集光装置７１、７２の各構成要素の機能と同一である。すなわち、水平方向屈曲半透鏡８１および垂直方向屈曲半透鏡８６の機能は方向性を除くと屈曲半透鏡７１の機能と同様である。また、水平方向ラインＣＣＤ８２および垂直方向ラインＣＣＤ８７の機能も方向性を除くとラインＣＣＤ７２の機能と同様である。
【００４０】
前記構成による本発明の実施例１および実施例２に従う水平・垂直方向映像集光装置（６０、６５）（８０、８５）の作用について図面を参照して説明する。
【００４１】
図２に示すように、実際に用いる本発明の実施例１に従う動きベクトル検出のための映像集光装置（６０、６５）は次のように動作する。
【００４２】
まず、カメラレンズ部から入力される２次元光信号についてそれぞれ一定の角度に傾いて配置された水平方向半透鏡６１および垂直方向半透鏡６６は入力された２次元光信号を同時にそれぞれ一定の角度に反射および透過させる。次に、水平方向シリンドリカルレンズ６２および垂直方向シリンドリカルレンズ６７は前記水平方向半透鏡６１および垂直方向半透鏡６６から反射された２次元光信号をそれぞれ入力して１次元光信号に集光されるように出力する。最後に、前記水平方向シリンドリカルレンズ６２および垂直方向シリンドリカルレンズ６７から出力された光信号が１次元光信号に集光されるところにそれぞれ位置する水平ラインＣＣＤ６３および垂直ラインＣＣＤ６８は集光された１次元光信号を１次元電気信号に変換して出力する。
【００４３】
前記水平ラインＣＣＤ６３および垂直ラインＣＣＤ６８から出力された信号は後述する動きベクトル検出のための回路部に出力される。
【００４４】
また、図４に示すように、実際に用いる本発明の実施例２に従う動きベクトル検出のための映像集光装置（８０、８５）は次のように動作する。
【００４５】
まず、カメラレンズ部から入力される２次元光信号について、それぞれ一定の角度に傾いており表面に屈曲を有する水平方向屈曲半透鏡８１および垂直方向屈曲半透鏡８６は入力された２次元光信号を透過させ同時にそれぞれ一定の角度に反射させて１次元光信号に集光されるように出力する。次に、前記水平方向屈曲半透鏡８１および垂直方向屈曲半透鏡８６から出力された光信号が１次元光信号に集光されるところにそれぞれ位置する水平ラインＣＣＤ８２および垂直ラインＣＣＤ８７は集光された１次元光信号を１次元電気信号に変換して出力する。
【００４６】
前記水平ラインＣＣＤ８２および垂直ラインＣＣＤ８７から出力された信号は後述する動きベクトル検出のための回路部に入力される。
【００４７】
一方、本発明の実施例１および２に従う動きベクトル検出のための映像集光装置（６０、６５）（８０、８５）においては透過反射手段と屈曲透過反射手段としてそれぞれ半透鏡と屈曲半透鏡を用いたが、透過反射手段と屈曲透過反射手段の技術的な要旨を逸脱しない範囲において他の具体的な例に変更可能である。また、前述した同一の意味で集光手段と信号変換手段も本発明の技術的な要旨を逸脱しない範囲において他の具体的な例に変更可能である。
【００４８】
次に、前記実施例１および２に従う水平・垂直方向映像集光装置（６０、６５）（８０、８５）が用いられた具体的な例として映像補正システムの動作について図面を参照して説明する。
【００４９】
まず、前記映像補正システムの構成について説明する。
【００５０】
図５は本発明の実施例に従う動きベクトル検出のための映像集光装置を含む動きベクトル検出装置が用いられた映像補正システムの実施例１を示すブロック図である。
【００５１】
図５に示すように、本発明の実施例に従う動きベクトル検出のための映像集光装置９０１、９０６を含む動きベクトル検出装置９０が用いられた映像補正システムの実施例１は、
入力される２次元映像を光学系を用いて固体素子に結像させその像を固体素子内において各画素で電気信号に変換したのち電子的に走査して１次元電気信号列に変換して出力する固体撮像素子９１と、
前記固体撮像素子９１から入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ９２と、
前記Ａ／Ｄ９２から入力された信号を色差と明るさ信号に変換して出力するカメラ信号処理装置９３と、
前記固体撮像素子９１に入力される映像と同一の映像を前記固体撮像素子９１とは別の、透過反射手段または屈曲透過反射手段を用いた映像集光装置９０１、９０６に入力し、手ぶれのために発生する動きを検出して動きベクトルを出力する動きベクトル検出装置９０と、
前記動きベクトル検出装置９０から出力された動きベクトルを入力し、補正する領域の位置を制御するメモリ制御部９４と、
前記カメラ信号処理装置９３から入力されたフィールド（またはフレーム）単位の画像を保持し、前記メモリ制御部９４の画像補正制御により、安定した画像信号を出力するフィールドメモリ９５と、
前記フィールドメモリ９５から入力されたディジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ９６を含む。
【００５２】
図６は本発明の実施例に従う動きベクトル検出のための映像集光装置を含む動きベクトル検出装置が用いられた映像補正システムの実施例２を示すブロック図である。
【００５３】
図６に示すように、本発明の実施例に従う動きベクトル検出のための映像集光装置９０１、９０６を含む動きベクトル検出装置９０が用いられた映像補正システムの実施例２においては、
透過反射手段または屈曲透過反射手段を用いた映像集光装置９０１、９０６を用いて映像を入力し、手ぶれのために発生する動きを検出して動きベクトルを出力する動きベクトル検出装置９０と、
前記動きベクトル検出装置９０から出力された動きベクトルを入力し、補正する領域の位置を制御する信号を出力するＣＣＤ駆動制御部１０４と、
前記動きベクトル検出装置９０に入力される同一の映像を前記動きベクトル検出装置９０とは別の光学系を用いて入力し、電気信号に変換し、前記ＣＣＤ駆動制御部１０４の制御信号により補正された２次元映像信号を出力する固体撮像素子１０１と、
前記固体撮像素子１０１から入力されたアナログ信号をディジタル信号に変換して出力するＡ／Ｄ１０２と、
前記Ａ／Ｄ１０２から入力された信号を色差と明るさ信号に変換して出力するカメラ信号処理装置１０３と、
前記カメラ信号処理装置１０３から入力されたディジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ１０６を含む。
【００５４】
ここで、図５および図６に示す前記動きベクトル検出装置９０は、
入力される２次元光映像信号を半透鏡または屈曲半透鏡を用いて透過させると同時に垂直方向に反射して１次元光信号に集光し電気的な信号に変換して出力する垂直方向映像集光装置９０１と、
前記垂直方向映像集光装置９０１から入力されたアナログ信号をディジタル信号に変換して出力する垂直Ａ／Ｄ９０２と、
前記垂直Ａ／Ｄ９０２から入力される画像信号を、探索領域の半分に相当する画素が処理される時間の間遅延させた後に出力する垂直遅延レジスタ９０３と、
前記垂直遅延レジスタ９０３から画像信号を入力し、蓄積する垂直ラインメモリ９０４と、
前記垂直Ａ／Ｄ９０２から入力された画像信号と前記垂直ラインメモリ９０４から入力された画像信号の相関度を演算して垂直動きベクトルを出力する垂直相関演算部９０５と、
入力される光映像信号を半透鏡または屈曲半透鏡を用いて透過させると共に水平方向に反射して集光し電気的な信号に変換して出力する水平方向映像集光装置９０６と、
前記水平方向映像集光装置９０６から入力されたアナログ信号をディジタル信号に変換して出力する水平Ａ／Ｄ９０７と、
前記水平Ａ／Ｄ９０７から入力される映像信号を、探索領域の半分に相当する画素が処理される時間の間遅延させた後に出力する水平遅延レジスタ９０８と、
前記水平遅延レジスタ９０８から画像信号を入力し、蓄積する水平ラインメモリ９０９と、
前記水平Ａ／Ｄ９０７から入力された画像信号と前記水平ラインメモリ９０９から入力された画像信号の相関度を演算して水平動きベクトルを出力する水平相関演算部９１０とを含む。
【００５５】
そして、前記動きベクトル検出装置９０の垂直方向映像集光装置９０１は図２および図４の垂直方向映像集光装置６５、８５を用い、前記動きベクトル検出装置９０の水平方向映像集光装置９０６は図２および図４の水平方向映像集光装置６０、８０を用いる。
【００５６】
次に、前記構成を有する映像補正システムの動作について説明する。
【００５７】
まず、前記水平・垂直方向映像集光装置９０６、９０１により集光された信号は次のように解釈される。
【００５８】
水平・垂直方向映像集光装置（９０６、９０１）（６０、６５）（８０、８５）の水平・垂直ラインＣＣＤ（６３、６８）（８２、８７）の水平・垂直方向の長さを各々Ｍ，Ｎとするとき、入力された映像は水平方向の水平ラインＣＣＤ６３、８２の長さＭ，垂直方向の垂直ラインＣＣＤ６８、８７の長さＮに集光される。
【００５９】
この集光された映像信号を式で現わすと次のようになる。
【数４】
2008029041.tif 000006
【数５】
2008029041.tif 000007
【００６０】
ここで、（ｘ，ｙ）は映像の座標であり、Ｉ（ｘ、ｙ）は画素の明るさであり、Ｐ、Ｑはそれぞれ水平、垂直方向に集光された結果である。また、αは半透鏡６１、６６または屈曲半透鏡８１、８６で反射されるときの反射係数である。線形に集光された１次元映像は水平・垂直ラインＣＣＤ（６３、６８）（８２、８７）において１次元の電気的な信号に変換して動きベクトル検出のための回路部（９０２〜９０５、９０７〜９１０）に入力される。
【００６１】
次に、映像補正システムの実施例１においては図５に示すように、水平・垂直映像集光装置９０６、９０１から出力された１次元映像信号Ｐ，Ｑを水平・垂直Ａ／Ｄ９０７、９０２を通じてディジタル信号に変換する。次に、前述した式（１）のように、水平・垂直相関度演算部９１０、９０５において、水平・垂直ラインメモリ９０９、９０４から入力された以前のフィールドの１次元映像信号と水平・垂直Ａ／Ｄ９０７、９０２から入力されたディジタル映像信号に対し相関度を演算する。このとき、相関度のうち、最小値を有する位置をその映像における最適の動きと推定する。そして、メモリ制御部９４においては動きベクトル検出装置９０から出力された水平・垂直方向の動きベクトルを入力し、このベクトルを基準にして固体撮像素子（メインＣＣＤ）９１から入力した手ぶれ映像が蓄積されているフィールドメモリ９５に映像を補正する信号を出力する。より詳しくは、固体撮像素子（メインＣＣＤ）９１を通じて入力した映像信号をＡ／Ｄ９２とカメラ信号処理装置９３を通じてフィールドメモリ９５に蓄積し、フィールドメモリ９５内の補正すべき映像の初期位置をメモリ制御部９４から制御することにより、手ぶれが補正された映像を出力することになる。フィールドメモリ９５から出力される補正された映像はＤ／Ａ９６を経てアナログ信号に変換してＶＣＲ等に蓄積されるか映像出力される。ここで、固体撮像素子（メインＣＣＤ）９１に入力するものと同一の映像が水平・垂直映像集光装置９０６、９０１に入力され、それぞれ独立に動作する。
【００６２】
一方、図６に示すように、映像補正システムの実施例２における固体撮像素子（メインＣＣＤ）１０１、Ａ／Ｄ１０２、カメラ信号処理装置１０３、Ｄ／Ａ１０６は機能面において図５の実施例１における固体撮像素子（メインＣＣＤ）９１、Ａ／Ｄ９２、カメラ信号処理装置９３、Ｄ／Ａ９６とそれぞれ同一に動作する。なお、実施例１および２において共通に用いる動きベクトル検出装置９０は前述したように、固体撮像素子（メインＣＣＤ）１０１に入力中の映像とほぼ同一の映像を入力して補正に必要な動きベクトルを抽出する動作が独立に可能であるので、ＣＣＤ駆動制御部１０４が動きベクトル検出装置９０から出力された動きベクトルを入力して固体撮像素子（メインＣＣＤ）１０１に撮像された映像をその時点から直接制御して補正した映像を出力する。従って、図５のフィールドメモリ９５は不要となる。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施例１に従う動きベクトル検出のための映像集光装置の原理を示す図である。
【図２】本発明の実施例１に従う動きベクトル検出のための映像集光装置と周辺機構を示す図である。
【図３】本発明の実施例２に従う動きベクトル検出のための映像集光装置の原理を示す図である。
【図４】本発明の実施例２に従う動きベクトル検出のための映像集光装置と周辺機構を示す図である。
【図５】本発明の実施例に従う動きベクトル検出のための映像集光装置を含む動きベクトル検出装置が用いられた映像補正システムの実施例１を示すブロック図である。
【図６】本発明の実施例に従う動きベクトル検出のための映像集光装置を含む動きベクトル検出装置が用いられた映像補正システムの実施例２を示すブロック図である。
【図７】従来の代表的映像補正システムを示すブロック図である。
【図８】従来の画像の動きベクトルを１次元に抽出する方法を示す概念図である。
【図９】従来の動きベクトル検出のための映像集光装置の原理を示す図である。
【図１０】従来の動きベクトル検出のための水平・垂直方向映像集光装置と周辺機構を示す図である。
【符号の説明】
【００６４】
５０、６０、６５、７０、８０、８５、９０１、９０６ 映像集光装置
５１ 半透鏡
５２ シリンドリカルレンズ
５３ ラインＣＣＤ
７１ 屈曲半透鏡
７２ ラインＣＣＤ
９０ 動きベクトル検出装置
９１、１０１ 固体撮像素子
９２、１０２ Ａ／Ｄ
９３、１０３ カメラ信号処理装置
９４ メモリ制御部
９５ フィールドメモリ
９６、１０６ Ｄ／Ａ
【図１】
2008029041.tif 000008
【図２】
2008029041.tif 000009
【図３】
2008029041.tif 000010
【図４】
2008029041.tif 000011
【図５】
2008029041.tif 000012
【図６】
2008029041.tif 000013
【図７】
2008029041.tif 000014
【図８】
2008029041.tif 000015
【図９】
2008029041.tif 000016
【図１０】
2008029041.tif 000017