(57)【特許請求の範囲】
【請求項１】
画像情報を取得する画像情報取得手段と、
前記取得された画像情報を、設定された読み出し開始ラインに基づきインタレース走査により読み出す読み出し手段と、
互いに時間方向に隣接して読み取られる前フィールド及び現フィールドに係る輝度信号を相関演算することにより前記二つのフィールド間の動きベクトルを検出する動きベクトル検出手段と、
前記二つのフィールドの各々の読み出し開始ライン及び前記現フィールドが偶数フィールドであるか奇数フィールドであるかに基づいて、前記検出された動きベクトルにおける垂直方向成分を補正する動きベクトル補正手段と、
前記動きベクトル補正手段により補正された動きベクトルに基づいて前記二つのフィールドの次に読み出されるフィールドの読み出し開始ラインを設定する読み出し開始ライン設定手段とを有することを特徴とする動きベクトル検出装置。
【請求項２】
画像情報を取得する画像情報取得工程と、
前記取得された画像情報を、設定された読み出し開始ラインに基づきインタレース走査により読み出す読み出し工程と、
互いに時間方向に隣接して読み取られる前フィールド及び現フィールドに係る輝度信号を相関演算することにより前記二つのフィールド間の動きベクトルを検出する動きベクトル検出工程と、
前記二つのフィールドの各々の読み出し開始ライン及び前記現フィールドが偶数フィールドであるか奇数フィールドであるかに基づいて、前記検出された動きベクトルにおける垂直方向成分を補正する動きベクトル補正工程と、
前記動きベクトル補正工程で補正された動きベクトルに基づいて前記二つのフィールドの次に読み出されるフィールドの読み出し開始ラインを設定する読み出し開始ライン設定工程とを有することを特徴とする動きベクトル検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置の画像振れ補正に用いられる動きベクトル検出装置及び方法に関するものである。
【０００２】
【従来の技術】
以下に、従来の動きベクトル検出装置を説明する。
【０００３】
図４は、従来の動きベクトル検出装置の概略の構成を示すブロック図である。同図中、１１はＣＣＤ（電荷結合素子）であり、画像情報が入力され、入力された画像情報を電気信号に変換してＡ／Ｄ変換回路１２に出力する。出力された電気信号は、Ａ／Ｄ変換回路１２によりデジタル電気信号に変換され、Ｙ／Ｃ（輝度信号／色信号）分離回路１３に出力されて、色信号と輝度信号とに分離される。
【０００４】
分離された輝度信号は、相関演算回路１４及びメモリ１５に入力される。メモリ１５に入力された輝度信号は１フィールド期間だけ遅延され、相関演算回路１４に出力される。相関演算回路１４は、Ｙ／Ｃ分離回路１３から直接入力される輝度信号に係るフィールド（以下「現フィールド」という）と、メモリ１５により１フィールド期間だけ遅延された輝度信号に係るフィールド（以下「前フィールド」という）との相関演算を行う。この相関演算は、具体的にはブロックマッチング法や代表点マッチング法に従って、前フィールドと現フィールドとの比較位置をずらしながら行われる。
【０００５】
動きベクトル検出回路１６では、相関演算回路１４により得られた相関値から、動きベクトルが検出される。すなわち、相関が最も高くなったときのずれが動きベクトルとされると共に、内挿演算によって１画素未満の単位で動きベクトルが検出される（以下、動きベクトル検出回路１６により検出された動きベクトルを単に「検出ベクトル」とも称する）。
【０００６】
図５は、従来の動きベクトル検出装置における、インタレース（飛び越し走査）方式による画像走査の説明図である。同図中、数字は各走査線（走査ライン）に番号を付したものである。ＣＣＤ１１から読み出された画像は、偶数フィールドの画像が、実線で示された１，２，・・・２６３ラインで構成されるフィールドに表示され、奇数フィールドの画像が、破線で示された２６４，２６５，・・・５２５ラインで構成されるフィールドに表示される。偶数フィールド及び奇数フィールドにより、１フレームが形成される。
【０００７】
偶数フィールドと奇数フィールドとでは、走査位置が異なっているので、ＣＣＤ１１の読み出し開始位置が同じであっても、隣り合うフィールド間で検出される垂直方向の動きベクトルには、偶数フィールドと奇数フィールドとのずれ量（以下「フィールドずれ量」という）が含まれてしまう。
【０００８】
このフィールドずれ量による影響を補正するために、従来の動きベクトル検出装置では、フィールドずれ量を加減算する手法のほか、ライン間の補間処理を行い、補間されたフィールドと補間されていないフィールド間の動きベクトルを検出する手法が知られていた。
【０００９】
上記フィールドずれ量を加減算する手法では、各フィールドの走査線間隔を１ラインとして偶数フィールドと奇数フィールドとが０．５ラインだけずれているものと考え、フィールドが偶数か奇数かにより、検出ベクトルからフィールドずれ量０．５ラインを加減算するようにしていた。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記検出ベクトルに、一律に０．５フィールドを加減算する従来の手法では、次のような点で問題があった。
【００１１】
図６は、従来の動きベクトル検出装置におけるＣＣＤのカラーコーディングの一例を示す模式図である。
【００１２】
同図は、Ｃｙ（シアン），Ｇ（緑），Ｙｅ（黄色），Ｍｇ（マゼンタ）の４色の配置により、Ａ１，Ａ２，Ｂの各ラインが構成されることを示す。例えば、Ａ１ラインは、左上がＣｙ、左下がＧ、右上がＹｅ、右下がＭｇという組み合わせの横方向への繰り返しにより構成される。
【００１３】
各画素で読み出された電荷は、１ライン単位で水平シフトレジスタ（Ｈｒｅｇ）に送られた後、次々に外部へ出力される。例えばＡ１ラインについては、水平シフトレジスタの左から順番に、Ｇ＋Ｃｙ，Ｍｇ＋Ｙｅ，Ｇ＋Ｃｙ，Ｍｇ＋Ｙｅのように電荷が混合されて入力される。
【００１４】
ＣＣＤ１１の出力信号は、信号処理され、補色から原色に変換されて、さらに輝度信号及び色差信号が生成される。輝度信号Ｙは、Ｙ＝（Ｇ＋Ｃｙ＋Ｍｇ＋Ｙｅ）／２＝（２Ｂ＋３Ｇ＋２Ｒ）／２という式により近似的に表される。しかしながら、補色から原色に変換される際には、通常Ｃｙ＋Ｙｅ＝Ｒ＋２Ｇ＋Ｂ、及びＧ＋Ｍｇ＝Ｒ＋Ｇ＋Ｂという式によりフィルタリングがなされるため、輝度信号の構成成分としては、Ｃｙ＋Ｙｅによる成分とＧ＋Ｍｇによる成分とが一致せず、Ｃｙ＋Ｙｅによる成分の方が、Ｇ成分が多くなる。そのため、Ａ１、Ａ２ラインでは、輝度信号の位置、すなわち上記４色の重心は、Ｇ成分の影響によって中心ではなく垂直走査方向（下方向）にずれることになる。また、Ｂラインではその逆方向（上方向）にずれる。
【００１５】
また、現フィールドと前フィールドとで読み出し開始位置が変化する場合があり、やはりそれを補正する必要があるが、その補正量についても同様の問題を生ずる。
【００１６】
このように、フィールドずれ量は、必ずしも０．５に限らないため、一律に０．５フィールドを加減算する従来の手法では、動きベクトルの補正が不正確な場合があり、改善の余地があった。
【００１７】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、動きベクトル検出精度及び画像振れ補正精度を向上させることができる動きベクトル検出装置及び方法を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するために本発明の請求項１の動きベクトル検出装置は、画像情報を取得する画像情報取得手段と、前記取得された画像情報を、設定された読み出し開始ラインに基づきインタレース走査により読み出す読み出し手段と、互いに時間方向に隣接して読み取られる前フィールド及び現フィールドに係る輝度信号を相関演算することにより前記二つのフィールド間の動きベクトルを検出する動きベクトル検出手段と、前記二つのフィールドの各々の読み出し開始ライン及び前記現フィールドが偶数フィールドであるか奇数フィールドであるかに基づいて、前記検出された動きベクトルにおける垂直方向成分を補正する動きベクトル補正手段と、前記動きベクトル補正手段により補正された動きベクトルに基づいて前記二つのフィールドの次に読み出されるフィールドの読み出し開始ラインを設定する読み出し開始ライン設定手段とを有することを特徴とする。
【００１９】
同じ目的を達成するために本発明の請求項２の動きベクトル検出方法は、画像情報を取得する画像情報取得工程と、前記取得された画像情報を、設定された読み出し開始ラインに基づきインタレース走査により読み出す読み出し工程と、互いに時間方向に隣接して読み取られる前フィールド及び現フィールドに係る輝度信号を相関演算することにより前記二つのフィールド間の動きベクトルを検出する動きベクトル検出工程と、前記二つのフィールドの各々の読み出し開始ライン及び前記現フィールドが偶数フィールドであるか奇数フィールドであるかに基づいて、前記検出された動きベクトルにおける垂直方向成分を補正する動きベクトル補正工程と、前記動きベクトル補正工程で補正された動きベクトルに基づいて前記二つのフィールドの次に読み出されるフィールドの読み出し開始ラインを設定する読み出し開始ライン設定工程とを有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２２】
図１は、本発明の実施の一形態に係る動きベクトル検出装置の概略の構成を示すブロック図である。同図は、図４に動きベクトル補正回路１７、演算回路１８及びＣＣＤ読み出し位置制御回路１９を加えたものであり、図４と同一の構成要素には同一の符号を付してその説明を省略する。
【００２３】
動きベクトル検出回路１６から、検出ベクトルに係る情報が動きベクトル補正回路１７に入力され、動きベクトル補正回路１７は、フィールド情報及びＣＣＤ読み出し開始位置情報に基づいて、フィールドずれ量による影響を無くすように、垂直走査方向の動きベクトルを補正する（詳細は後述する）。
【００２４】
動きベクトル補正回路１７により補正された動きベクトルが、演算回路１８により積分されることにより、ＣＣＤ読み出し開始位置が算出され、ＣＣＤ読み出し位置制御回路１９に出力される。そしてこの算出されたＣＣＤ読み出し開始位置に応じてＣＣＤ読み出し位置制御回路１９によりＣＣＤ１１の次のフィールドの読み出し開始位置が制御される。これにより、ＣＣＤ１１からは、画像振れが補正された画像信号が出力される。
【００２５】
なお、以下、特に垂直走査方向に着目する場合、ＣＣＤ読み出し開始位置のことをＣＣＤ読み出し開始ラインと表現する。
【００２６】
図２は、ＣＣＤ読み出し開始ラインとフィールドずれ量との関係を模式的に示す説明図である。
【００２７】
同図において、実線の横線で示されるＡ０，Ａ１，Ａ２，Ａ３，Ａ４は、ＣＣＤ１１におけるＡフィールドの走査ラインであり、破線の横線で示されるＢ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４は、ＣＣＤ１１におけるＢフィールドの走査ラインである。
【００２８】
同図では、前フィールドと現フィールドの組合せとして、左から順に（ａ），（ｂ），（ｃ），（ｄ）の４つの組合せが例示されており、各組合せとも、左側が前フィールドを、右側が現フィールドを示す。また、偶数フィールドを構成する走査ラインには四角Ｅの表示が、奇数フィールドを構成する走査ラインには丸Ｏの表示が付されている。下向きの矢印は検出ベクトルＶ１を表わす。なお、同図では、実際の動きが０である場合について示されている。
【００２９】
ＣＣＤ１１からは、ＡフィールドとＢフィールドの信号が交互に読み出される。読み出し開始ラインは変更可能なように構成されている。
【００３０】
ここで、Ａフィールドに対するＢフィールドのずれ量をｄとする。Ａ０ラインとＡ１ラインとの間隔を１とすると、Ｂフィールドに対するＡフィールドのフィールドずれ量は１−ｄとなる。
【００３１】
なお、このフィールドずれ量ｄは、上記輝度信号の相関演算により変動しうることが考慮された値であり、０．５とは限らない。
【００３２】
同図（ａ）について、前フィールドでは、読み出し開始ラインがＡ０ラインなので、偶数フィールドとしてＡフィールドが読み出され、現フィールドでは、読み出し開始ラインがＡ０なので、奇数フィールドとしてＢフィールドが読み出される。
【００３３】
なお、これと逆のパターン、すなわち前フィールドが奇数フィールドで、現フィールドが偶数フィールドとなる組合せは交互に生ずるが、ここでは説明をわかりやすくするために、以下の（ｂ），（ｃ），（ｄ）についても前フィールドが偶数フィールドで現フィールドが奇数フィールドの組合せについてのみ示した。
【００３４】
（ａ）における組合せによれば、動きベクトル検出回路１６により検出される検出ベクトルＶ１はｄとなる。また、読み出し開始ラインは共にＡ０ラインであり、変化していないので、読み出し開始ラインの変化量ΔＹは０となる。さらに、フィールドずれ量ΔＦは、ｄとなる。
【００３５】
しかし、実際の動きは０であるから、検出ベクトルＶ１からフィールドずれ量ΔＦ分を補正する必要がある。
【００３６】
同図（ｂ）について、前フィールドでは、読み出し開始ラインがＢ０ラインなので、偶数フィールドとしてＢフィールドが読み出され、現フィールドでは、読み出し開始ラインがＢ０ラインなので、奇数フィールドとしてＡフィールドが読み出される。
【００３７】
（ｂ）の組合せによれば、Ｖ１＝１−ｄとなり、読み出し開始ラインは共にＢ０で変化していないので、ΔＹ＝０となる。また、ΔＦ＝１−ｄとなる。しかし、実際の動きは０であるので、検出ベクトルＶ１からフィールドずれ量ΔＦ分を補正する必要がある。
【００３８】
上記（ａ），（ｂ）においては、読み出し開始ラインに変化がない、すなわちΔＹ＝０の場合について説明したが、偶数フィールドと奇数フィールドとで、読み出し開始ラインが変化する場合があり、これを同図（ｃ），（ｄ）で説明する。
【００３９】
同図（ｃ）について、前フィールドでは、読み出し開始ラインがＡ０ラインなので、偶数フィールドとしてＡフィールドが読み出され、現フィールドでは、読み出し開始ラインがＢ０ラインなので、奇数フィールドとしてＡフィールドが読み出される。
【００４０】
（ｃ）の組合せによれば、Ｖ１＝１となり、読み出し開始ラインは、前フィールドに対して現フィールドがｄだけ垂直走査方向に変化しているので、ΔＹ＝ｄとなる。また、ΔＦ＝１−ｄとなる。しかし実際の動きは０であるから、検出ベクトルＶ１から、変化量ΔＹ分及びフィールドずれ量ΔＦ分を補正する必要がある。
【００４１】
同図（ｄ）について、前フィールドでは、読み出し開始ラインがＢ０ラインなので、偶数フィールドとしてＢフィールドが読み出され、現フィールドでは、読み出し開始ラインがＡ１ラインなので、奇数フィールドとしてＢフィールドが読み出される。
【００４２】
（ｄ）の組合せによれば、Ｖ１＝１となり、読み出し開始ラインは、前フィールドに対して現フィールドが１−ｄだけ垂直走査方向に変化しているので、ΔＹ＝１−ｄとなる。また、ΔＦ＝ｄとなる。しかし、実際の動きは０であるから、検出ベクトルＶ１から、変化量ΔＹ分及びフィールドずれ量ΔＦ分を補正する必要がある。
【００４３】
このように、比較される各フィールドの読み出し開始ラインと、現フィールドが偶数フィールドであるか奇数フィールドであるかとによって、動きベクトルＶ１の補正量を定めなければならない。
【００４４】
図３は、検出ベクトルの補正処理手順を示すフローチャートである。本処理は動きベクトル補正回路１７により実行される。
【００４５】
まず、動きベクトル検出回路１６により検出された検出ベクトル情報が受信される（ステップＳ３０１）。この検出ベクトル情報には、検出ベクトルＶ１のほか、読み出し開始ラインの変化量ΔＹや、フィールドずれ量ΔＦの情報も含まれている。
【００４６】
次いで、変化量ΔＹが求められる（ステップＳ３０２）。この変化量ΔＹは、現フィールドの読み出し開始ラインから前フィールドの読み出し開始ラインを減算することにより求められる。
【００４７】
続いて、検出ベクトルＶ１から変化量ΔＹを減算することにより、動きベクトルＶ２が求められる（ステップＳ３０３）。これにより、読み出し開始ラインの変化による影響が補正される。
【００４８】
次に、現フィールドの読み出し開始ラインが、Ａフィールドに含まれるものであるか否かが判別され（ステップＳ３０４）、その判別の結果、Ａフィールドに含まれるものであるときは、フィールドずれ量ΔＦにｄが設定され（ステップＳ３０５）、ステップＳ３０７へ進む一方、Ａフィールドに含まれるものでないときは、フィールドずれ量ΔＦに１−ｄが設定され（ステップＳ３０６）、ステップＳ３０７へ進む。
【００４９】
次いで、現フィールドが偶数フィールドであるか否かが判別され（ステップＳ３０７）、その判別の結果、偶数フィールドであるときは、動きベクトルＶ２にフィールドずれ量ΔＦが加算されることにより、動きベクトルＶ３が求められ（ステップＳ３０８）、この動きベクトルＶ３の情報が演算回路１８に出力されるて（ステップＳ３１０）、本処理を終了する。
【００５０】
一方、前記ステップＳ３０７の判別の結果、現フィールドが偶数フィールドでないときは、動きベクトルＶ２からフィールドずれ量ΔＦが減算されることにより、動きベクトルＶ３が求められ（ステップＳ３０９）、前記ステップＳ３１０の処理を経て本処理を終了する。
【００５１】
本処理を、図２の（ｃ）の場合に当てはめると、次のようになる。
【００５２】
ステップＳ３０２ではΔＹ＝ｄとなり、ステップＳ３０３では、Ｖ２＝Ｖ１−ΔＹ＝Ｖ１−ｄとなる。ステップＳ３０４では否定（ＮＯ）と判別されるので、ステップＳ３０６でΔＦ＝１−ｄと設定される。ステップＳ３０７では否定（ＮＯ）と判別されるので、ステップＳ３０９でＶ３＝Ｖ２−ΔＦ＝Ｖ１−ｄ−（１−ｄ）となり、その結果、Ｖ３＝０となる。すなわち、最終的な動きベクトルは０であり、画像振れの補正が不要であることがわかる。
【００５３】
本処理により、変化量ΔＹ、及び現フィールドが偶数フィールドか否かにより求められるフィールドずれ量ΔＦによって、検出ベクトルＶ１が適応的に補正されるので、動きベクトルＶ３の検出精度を向上させることができる。
【００５４】
さらに、動きベクトルＶ３に基づいて、演算回路１８によりＣＣＤ１１の読み出し開始ラインが算出され、この算出値に応じて次回読み出されるフィールドの読み出し開始ラインがＣＣＤ読み出し位置制御回路１９により変更されるように制御されるので、ＣＣＤ１１から出力される画像情報に係る画像振れ補正の精度を向上させることができる。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、読み出し開始ラインを適応的に設定されてインタレース走査により読み出された画像情報に対して、動きベクトル検出精度を向上させ、かつ、画像振れの補正精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る動きベクトル検出装置の概略の構成を示すブロック図である。
【図２】同実施の形態におけるＣＣＤ読み出し開始ラインとフィールドずれ量との関係を模式的に示す説明図である。
【図３】同実施の形態における検出ベクトルの補正処理手順を示すフローチャートである。
【図４】従来の動きベクトル検出装置の概略の構成を示すブロック図である。
【図５】従来の動きベクトル検出装置における、インタレース（飛び越し走査）方式による画像走査の説明図である。
【図６】従来の動きベクトル検出装置におけるＣＣＤのカラーコーディングの一例を示す模試図である。
【符号の説明】
１１  ＣＣＤ
１４  相関演算回路
１５  メモリ
１６  動きベクトル検出回路
１７  動きベクトル補正回路
１８  演算回路
１９  ＣＣＤ読み出し位置制御回路
【図１】
0003630821.tif 000002
【図２】
0003630821.tif 000003
【図３】
0003630821.tif 000004
【図４】
0003630821.tif 000005
【図５】
0003630821.tif 000006
【図６】
0003630821.tif 000007