(57)【特許請求の範囲】
【請求項１】
１フィールド期間内にｎ枚（ｎは２以上の整数）の画像を含む映像信号と、前記映像信号における垂直同期信号のｎ倍の周波数よりなる同期パルスとが入力され、前記映像信号におけるｎ枚の画像に対してｎ箇所の画面位置を中心として拡大する電子ズーム回路であり、
前記映像信号におけるｎ枚の画像の画面位置に対応した手ブレ検出手段を設け、前記ｎ枚の画像に対して夫々異なる手ブレ補正処理を行うようにしたことを特徴とする電子ズーム回路。
【請求項２】
前記ｎ枚の画像は、固体撮像素子にて１フィールド期間内にｎ回連続撮像された時系列的に連続する画像であり、前記ｎ枚の画像を同一倍率にて拡大するようにしたことを特徴とする請求項１記載の電子ズーム回路。
【請求項３】
前記ｎ枚の画像は、固体撮像素子にて１フィールド期間内にｎ回連続撮像された時系列的に連続する画像であり、前記ｎ枚の画像に対して夫々の画像内の中心を基準として拡大するようにしたことを特徴とする請求項１記載の電子ズーム回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ装置において、カメラ部から出力される映像信号又はビデオ部から出力される映像信号を電子的に拡大処理する電子ズーム回路に関する。
【０００２】
【従来の技術】
近年、ビデオカメラ装置におけるＣＣＤから１フィールド期間内に複数回信号の読み出しを行い、スロー再生時には、１フィールド期間内に複数枚存在するこれらの信号を全て用いて、これまでのスロー再生よりも滑らかなスロー再生映像を得ようとする高速撮像機能を備えたビデオカメラが開発されつつある。
【０００３】
図８は、この高速撮像機能の概略を説明するための図である。
同図は、ＣＣＤから１フィールド期間内に２回信号の読み出しを行った場合を示しており、同図（ａ）のＣＣＤ画素領域におけるハッチングを付した領域の信号のみが１フィールド期間内に２回読み出され、それ以外の領域における信号は高速読み出しがなされた後に信号が捨てられる。
【０００４】
即ち、この高速撮像機能では、ＣＣＤ画素領域におけるハッチングを付していない領域のＣＣＤ画素に蓄えられた画素情報は強制的に高速排出され、ハッチングを付した領域のＣＣＤ画素に蓄えられた画素情報のみが通常速度で複数回読み出される。
【０００５】
同図（ｂ）は、このようにして読み出された信号を画面表示させた状態を示しており、１画面内の上下に並ぶハッチングを付した部分がＣＣＤから連続して出力された２枚の画像を示している。そして、同図（ｂ）における２枚の画像の間には無信号部分が存在する。この無信号部分は、高速読み出しにより信号が排出された期間に相当しており、ＣＣＤからの信号の代わりにマスキングされた映像信号が出力されている。
【０００６】
なお、同図（ａ）において、ＣＣＤ画素領域の更に小さい領域のみを信号読み出し領域として３回読み出した場合には、当然の如く１画面内の上方部、中央部、下方部に３つの連続した画像が並ぶ。
【０００７】
【発明が解決しようとする課題】
ところが、図９に示す如く１画面内に画像ａ及び画像ｂの２枚の画像が存在する映像信号に対して従来の電子ズーム処理を施した場合、画面の中心部を中心として電子ズーム処理を施せば、画像ａは上方向、画像ｂは下方向に向けてズームされることになり、画像ａの上部及び画像ｂの下部の殆どが画面表示されなくなってしまう。
【０００８】
一方、画像ａの多くが画面内に収まるよう画面上方部を中心として電子ズーム処理を施した場合でも、画像ｂの画面上に表示される割合が減少してしまう。このように、電子ズームの中心を画面上の一点にしか設けない場合は、２枚の画像の両方を適切にズーム処理することは不可能である。
【０００９】
なお、以上のようなズーム処理を行うために、実際はＣＣＤからの画素情報を１フィールドあるいは１フレーム分メモリに書き込み、読み出し時のアドレスの初期値と読み出し範囲を調整することによりズームの中心とズーム倍率とを定めている。ところが、最近では、このズーム処理と併用して手ブレ補正処理を施すビデオカメラが殆どである。
【００１０】
そして、この手ブレ補正処理を行う時は、ＣＣＤ画素領域における画像の動きを示す動きベクトルを検出し、この動きベクトルを基に手ブレ補正量を演算してメモリから画素情報を読み出す際の読み出しアドレスの初期値をこの手ブレ補正量に応じて更に調整したうえで画素情報の読み出しを行う。
【００１１】
ところが、この手ブレ補正のための情報に関しても画像ａ及び画像ｂに対して別々に演算していないため、画像ａ及び画像ｂに対して別々の補正を行うことができなかった。従って、ズーム処理された映像がブレてしまうという問題が発生した。
【００１２】
更に、このようなズーム処理が施された映像信号を記録し、再生時に１画面の上下に存在する画像ａ及び画像ｂ、そしてこれに続く画面における上下の画像を順次再生することにより滑らかなスロー再生映像を得ようとしても、１画面内の２つの画像はそれぞれの画像上の異なる部分が拡大された後に記録されているため、連続的に表示させてもスロー再生映像とはならない。
【００１３】
【課題を解決するための手段】
以上の課題を解決するために、本発明に係る電子ズーム回路は、
１フィールド期間内にｎ枚（ｎは２以上の整数）の画像を含む映像信号と、前記映像信号における垂直同期信号のｎ倍の周波数よりなる同期パルスとが入力され、前記映像信号におけるｎ枚の画像に対してｎ箇所の画面位置を中心として拡大する電子ズーム回路であり、
前記映像信号におけるｎ枚の画像の画面位置に対応した手ブレ検出手段を設け、前記ｎ枚の画像に対して夫々異なる手ブレ補正処理を行うようにしたことを特徴とし、
更に、前記ｎ枚の画像は、固体撮像素子にて１フィールド期間内にｎ回連続撮像された時系列的に連続する画像であり、前記ｎ枚の画像を同一倍率にて拡大するようにしたことを特徴とし、
更に、前記ｎ枚の画像は、固体撮像素子にて１フィールド期間内にｎ回連続撮像された時系列的に連続する画像であり、前記ｎ枚の画像に対して夫々の画像内の中心を基準として拡大するようにしたことを特徴とするものである。
【００１４】
【発明の実施の形態】
本発明に係る電子ズーム回路は、１つの画面内に複数の画像が存在する場合であっても、夫々の画像に対して適切なズーム処理を施すことができる電子ズーム回路を提供することを目的とする。
【００１５】
図１は、本発明に係る電子ズーム回路を搭載したビデオカメラ装置を説明するためのブロック図である。
同図において、１０１は図示しない撮像レンズを介して導かれる被写体像をＣＣＤ信号に変換して出力する撮像素子（ＣＣＤ）、１０２は撮像素子１０１が出力するＣＣＤ信号からノイズ成分を除去すると共に所定の信号レベルに自動調整するＣＤＳ／ＡＧＣ、１０３は所定のレベルに調整されたＣＣＤ信号をディジタルの信号形態に変換して出力するＡ／Ｄ変換器、１０４はＡ／Ｄ変換器からのＣＣＤ信号をテレビジョン信号に変換する信号処理回路である。
【００１６】
また、１０５は信号処理回路１０４から出力されるテレビジョン信号を使用者の指示に基づき拡大処理する電子ズーム回路であり、信号処理回路１０４からのテレビジョン信号は電子ズーム回路１０５を介してメモリ１０６に取り込まれる。
【００１７】
一方、１０７は信号処理回路１０４からのテレビジョン信号におけるフィールド毎の動き検出を行う動き検出部であり、動き検出部１０７から出力される動き検出結果に基づきマイコン１０８が手ブレ補正を行うための手ブレ補正信号を出力する。
【００１８】
図２は動き検出部１０７で行われる動き検出処理を説明するための図であり、信号処理回路１０４から出力されるテレビジョン信号をここではフィールド毎にＡ乃至Ｐよりなる１６の領域に分割して動き検出を行っている例を示している。動き検出部１０７はまず各領域Ａ乃至Ｐ内での動き検出を行い、夫々の領域における動き検出結果をマイコン１０８に出力する。
【００１９】
そして、マイコン１０８は、入力されている映像信号に画像ａ及び画像ｂの２枚の画像が存在する場合は動き検出部１０７から出力された領域Ａ乃至Ｈでの動き検出結果に基づき画像ａに対する手ブレ補正信号を演算し、領域Ｉ乃至Ｐでの動き検出結果に基づき画像ｂに対する手ブレ補正信号を演算して出力する。
【００２０】
なお、ここでは上記の如く領域Ａ乃至Ｈでの動き検出結果に基づき画像ａに対する手ブレ補正信号を演算し、領域Ｉ乃至Ｐでの動き検出結果に基づき画像ｂに対する手ブレ補正信号を演算する例を示したが、画像ａ及び画像ｂが同一の固体撮像素子により撮像された映像であることを利用して、画像ｂに対する手ブレ補正信号に関しては、画像ａに対する手ブレ補正信号に基づき予測させ、領域Ｉ乃至Ｐでの動き検出結果を用いないよう構成しても構わない。
【００２１】
そして、電子ズーム回路１０５はマイコン１０８から出力された手ブレ補正信号及びズーム倍率情報を基にして定められる読み出しアドレスにより、メモリ１０６から画素情報を読み出す。そして、電子ズーム回路１０５はメモリ１０６から読み出した画素情報に基づき画素補間処理を施すことにより拡大した映像信号を得る。
【００２２】
図３は、電子ズーム回路１０５で施されるズーム処理の概略を説明するための図である。同図において、（ａ）で示すＶＤは信号処理回路１０４から出力されるテレビジョン信号に含まれる垂直同期信号、（ｂ）で示すＶＤ２はこの垂直同期信号の２倍の周波数を有する垂直同期信号、また（ｃ）はズーム処理を施す前の入力画像を示している。このように、画像ａ及び画像ｂは画面の有効範囲に２枚連続して入力される。
【００２３】
そして、電子ズーム回路１０５では、図３（ｃ）に示す如く１フィールドの映像信号に２枚の画像が入力される時には（ｂ）で示す垂直同期信号ＶＤ２を基に、ズーム処理の中心を２箇所設けて、同図（ｄ）に示す如くそれぞれの画像を異なるズームの中心により拡大する。また、同図（ｅ）に示す如く、２枚の画像が画面の中心に近づくように拡大させるモードを選択した時には、画像ａ及び画像ｂの垂直方向の全てを画面内に収めることも可能となる。
【００２４】
次に図４を用いて、電子ズーム回路１０５の主な構成について説明する。
同図において、１１はメモリ１０６から順に読み出される複数ライン分の画素情報のうち、所定ライン分の画素情報をその内部に保持し、各ラインにおける水平方向の一部の画素情報のみ順に所定ライン分同時に出力するラインメモリ、１２はラインメモリ１１から出力された複数ライン分の画素情報に基づき垂直方向の画素補間を行う垂直補間回路、１３は垂直補間回路１２から出力される画素情報に基づき水平方向の画素補間を行う水平補間回路である。
【００２５】
また、１４は垂直同期信号ＶＤの２倍の周波数を有する垂直同期信号ＶＤ２、信号処理回路１０４から出力されるテレビジョン信号に含まれる水平同期信号ＨＤ、マイコン１０８から出力される手ブレ補正信号及びズーム倍率情報が入力され、メモリ１０６から画素情報を読み出す際の垂直読み出しアドレスＶＲＡｄ、ラインメモリ１１から画素情報を読み出す際の水平読み出しアドレスＨＲＡｄ、垂直補間回路１２で垂直補間処理を行う際に必要となる垂直補間情報ＶＳＩ、水平補間回路１３で水平補間処理を行う際に必要となる水平補間情報ＨＳＩをそれぞれ出力する制御手段である。
【００２６】
なお、ここでは、垂直同期信号ＶＤの２倍の周波数を周する垂直同期信号ＶＤ２がズーム処理回路１０５の外部で生成されて入力される例を示しているが、ズーム処理回路１０５には垂直同期信号ＶＤのみが入力され、ズーム処理回路１０５の内部で垂直同期信号ＶＤ２を生成するよう構成しても構わない。
【００２７】
また、ここでは図示しないが、メモリ１０６、ラインメモリ１１、垂直補間回路１２、水平補間回路１３にはそれぞれ制御手段１４からクロック信号が出力され、このクロック信号のタイミングで画素情報の書き込み及び読み出し処理、そして補間処理が行われる。
【００２８】
次に電子ズーム回路１０５の動作について説明する。なお、ここではまず、図３（ｄ）に示す如く、それぞれの画像の中心をズームの中心とした場合の動作について説明する。また、ここではラインメモリ１１として１ライン分のラインバッファを４つ直列に接続し、各ラインバッファから出力される４ライン分の画素情報を用いて垂直補間回路１２で垂直補間処理をものとする。
【００２９】
信号処理回路１０４から出力される１フィールドに画像ａ及び画像ｂが存在するテレビジョン信号は、まずメモリ１０６に順次書き込まれ、メモリ１０６内では図５に示す如く配列となる。
【００３０】
そして、制御手段１４は、入力される垂直同期信号ＶＤ２に基づきメモリ１０６の読み出しクロックを生成し、更に、マイコン１０８からのズーム倍率情報及び画像ａに対する手ブレ補正信号に基づき、垂直読み出しアドレスＶＲＡｄを生成する。
【００３１】
なお、この時の垂直読み出しアドレスＶＲＡｄの初期値は、図３（ｄ）に示す如く入力された画像ａの中心をズームの中心として拡大処理がなさせるよう設定された値をそのまま用いるのではなく、画像ａに対する手ブレ補正信号にてこの値を補正した値が用いられる。
【００３２】
ここで、メモリ１０６には画像ａをなす全てのラインの画素情報が書き込まれるが、メモリ１０６からは画像ａをなす一部のラインの画素情報のみが各ライン毎に読み出される。このように、メモリ１０６からは画像ａにおける全てのラインの画素情報が読み出されないが、制御手段１４からの垂直読み出しアドレスＶＲＡｄに基づき複数回読み出されるラインもあるため、メモリ１０６に書き込まれた画像ａをなすライン数とメモリ１０６から読み出される画像ａをなすライン数とは一致する。
【００３３】
そして、画像ａをなすラインの画素情報の読み出しが完了すると、次に画像ｂをなすラインの画素情報の読み出しが開始される。この時、制御手段１４はマイコン１０８から出力されるズーム倍率情報及び画像ｂに対する手ブレ補正信号に基づき垂直読み出しアドレスＶＲＡｄを生成し、画像ｂに関しても画像ａと同様に、メモリ１０６からは画像ｂをなす一部のラインの情報のみが読み出されるようにする。
【００３４】
なお、この時の垂直読み出しアドレスＶＲＡｄの初期値は、図３（ｄ）に示す如く入力された画像ｂの中心をズームの中心として拡大処理がなされるよう設定された値をそのまま用いるのではなく、画像ｂに対する手ブレ補正信号にてこの値を補正した値が用いられる。
【００３５】
また、メモリ１０６からは画像ｂにおける全てのラインの画素情報が読み出されないが、画像ａの時と同様に、制御手段１４からの垂直読み出しアドレスＶＲＡｄに基づき複数回読み出されるラインがあるため、メモリ１０６に書き込まれた画像ｂをなすライン数とメモリ１０６から読み出される画像ｂをなすライン数とは一致する。
【００３６】
このようにしてメモリ１０６からライン毎に出力される画素情報は、ラインメモリ１１に入力され、図６に示す如く４ライン分の画素情報が保持される。そして、制御手段１４は、入力される水平同期信号ＨＤに基づきラインメモリ１１の読み出しクロックを生成し、更に、マイコン１０８からのズーム倍率情報及び手ブレ補正信号に基づき、水平読み出しアドレスＨＲＡｄを生成する。
【００３７】
そして、マイコン１０８からの水平読み出しアドレスＨＲＡｄに基づき、ラインメモリ１１における各ラインバッファは、垂直方向に隣接する４つの画素の画素情報を同時に出力する。ここで、ラインメモリ１１には各ラインにおける１ライン分の画素情報が全て書き込まれるが、ラインメモリ１１からは１ライン分の画素情報における水平方向の一部の画素情報のみが読み出される。
【００３８】
このように、ラインメモリ１１からは１ライン分の画素情報が全て読み出されないが、制御手段１４からの水平読み出しアドレスＨＲＡｄに基づき複数回繰り返して読み出される画素情報もあるため、ラインメモリ１１に書き込まれた各ラインの画素数とラインメモリ１１から読み出された各ラインの画素数とは一致する。
【００３９】
そして、ラインメモリ１１から出力された画素情報は、垂直補間回路１２にて垂直方向の補間処理が行われる。垂直補間回路１２の動作についてはここでは詳述しないが、制御手段１４から出力されるズーム倍率に応じた垂直補間情報ＶＳＩとラインメモリ１１から出力された画素情報に基づき、ＣＣＤ画素領域の各ライン間における本来は存在しないライン上の仮想的なＣＣＤ画素の画素情報が垂直方向に隣接する複数のＣＣＤ画素の画素情報に基づき演算されて補間出力される。
【００４０】
また、垂直補間回路１２にて垂直方向の補間処理を終えた画素情報は水平補間回路１３に入力され、水平方向の補間処理が行われる。水平方向の補間処理についても、基本的に垂直方向の補間処理と原理は同じで、制御手段１４から出力されるズーム倍率に応じた水平補間情報ＨＳＩと垂直補間回路１２から出力された画素情報に基づき、水平方向に並ぶＣＣＤ画素間における本来は存在しない仮想的なＣＣＤ画素における画素情報が水平方向に隣接する複数のＣＣＤ画素の画素情報に基づき演算されて補間出力される。
【００４１】
このような垂直方向及び水平方向の画素補間処理により、画像ａ及び画像ｂがそれぞれ別々のズームの中心により拡大され、図３（ｄ）に示す如く、入力された画像ａ及び画像ｂの垂直方向の一部分のみが１画面に収まるようズーム処理される。
【００４２】
次に、図３（ｅ）に示す如く、画像ａ及び画像ｂを画面の中心に近づけるようにしてズーム処理した場合の電子ズーム回路１０５の動作について説明する。
このような画像ａ及び画像ｂを画面の中心に近づけるようにしてズーム処理した画像を得る場合は、メモリ１０６に書き込まれた画像ａ及び画像ｂを読み出す際の垂直読み出しアドレスＶＲＡｄを変更すれば良い。即ち、制御手段１４がメモリ１０６に出力する垂直読み出しアドレスＶＲＡｄが異なるだけで、ラインメモリ１１、垂直補間回路１２、水平補間回路１３での動作はこれまでと同様である。
【００４３】
図７は、２枚の画像が画面の中心に近づくよう拡大させるモードを選択した場合にメモリ１０６から読み出される各ラインの画素情報を説明するための図である。
制御手段１４は、これまでと同様に、入力される垂直同期信号ＶＤ２に基づきメモリ１０６の読み出しクロックを生成し、更に、マイコン１０８からのズーム倍率情報及び画像ａに対する手ブレ補正信号に基づき、垂直読み出しアドレスＶＲＡｄを生成するが、この時の読み出しアドレスＶＲＡｄの初期値は、図７に示すメモリ１０６の左上部分のアドレス値を画像ａに対する手ブレ補正信号にて補正した値が用いられる。
【００４４】
そして、メモリ１０６からはメモリ１０６に書き込まれた画像ａをなす全てのラインの画素情報が読み出されるが、制御手段１４からの垂直読み出しアドレスＶＲＡｄに基づき複数回読み出されるラインもあるため、メモリ１０６から読み出される画像ａをなすライン数は、メモリ１０６に書き込まれた画像ａをなすライン数よりも多くなる。
【００４５】
そして、画像ａをなすラインの画素情報の読み出しが完了すると、次に画像ｂをなすラインの画素情報の読み出しが開始される。
この時、制御手段１４はマイコン１０８から出力されるズーム倍率情報及び画像ｂに対する手ブレ補正信号に基づき垂直読み出しアドレスＶＲＡｄを生成する。
【００４６】
なお、この時の読み出しアドレスＶＲＡｄの初期値は、画像ｂの最下部が１フィールド内に収まるように設定されるアドレス値を画像ｂに対する手ブレ補正信号にて補正した値が用いられる。また、この時、制御手段１４からの垂直読み出しアドレスＶＲＡｄに基づき複数回読み出されるラインもあるため、メモリ１０６から読み出される画像ａをなすライン数は、メモリ１０６に書き込まれた画像ａをなすライン数よりも多くなる。
【００４７】
このようにして、メモリ１０６から読み出された画素情報は、ラインメモリ１１に入力されて１ライン分の画素情報における水平方向の一部の画素情報のみが読み出された後に、垂直補間回路１２にて垂直方向の画素補間処理、水平補間回路１３にて水平方向の画素補間処理がそれぞれ施される。そして、画像ａ及び画像ｂが別々のズームの中心により拡大され、且つ入力された画像ａ及び画像ｂの垂直方向の全てを画面内に収めることも可能となる。
【００４８】
そして、以上のようなズーム処理が施されたテレビジョン信号を記録した場合、再生時には上下に並ぶ画像ａ及び画像ｂを共に表示させることも、また、いずれか一方の画像をマスキング処理することにより、画面内の画像を選択的に表示させることも可能となる。
【００４９】
また、画像ａと画像ｂとは、それぞれの画像上の同一部分が拡大され、更にそれぞれの画像に対して手ブレ補正処理が施されて記録されているため、画像ａと画像ｂ、そしてこれに続く画面における上下の画像を順次再生することにより滑らかなスロー再生映像を得ることが可能である。
【００５０】
また、本発明に係る電子ズーム回路では、１つの画面内に存在する複数の画像に対してそれぞれ別々にズーム処理が可能なため、例えば画像ａ及び画像ｂのいずれか一方のみをズーム処理し、１画面内に広角画像と望遠画像との２つの画像を並べた映像信号を記録させることも可能となる。
【００５１】
なお、以上の実施例は、本発明に係る電子ズーム回路をビデオカメラ装置における記録系で使用した例を示したが、これに限らずビデオカメラ装置の再生系で使用しても構わない。
その際には、各画像におけるズームの中心を垂直方向及び水平方向の任意の場所に変更することで、各画像における任意の領域がズームアップ可能となる。
【００５２】
【発明の効果】
請求項１の発明によれば、映像信号におけるｎ枚の画像に対してｎ箇所の画面位置を中心としてズーム処理を行い、更に、ｎ枚の画像に対して夫々異なる手ブレ補正処理を行うようにしたため、夫々の画像に対して適切なズーム処理を行うことができると同時に夫々の画像がブレて表示されることがない。
【００５４】
また、請求項２及び３の発明によれば、ｎ枚の画像を同一倍率にて拡大し、また、ｎ枚の画像に対して夫々の画像内の中心を基準として拡大するようにしたため、これらの画像を時系列的に連続させて表示させる際に好適である。
【図面の簡単な説明】
【図１】本発明に係る電子ズーム回路を搭載したビデオカメラ装置を説明するための図である。
【図２】動き検出処理を説明するための図である。
【図３】本発明に係る電子ズーム回路でのズーム処理の概略を説明するための図である。
【図４】本発明に係る電子ズーム回路の主な構成を説明するための図である。
【図５】メモリ内からの画素情報の読み出しを説明するための図である。
【図６】ラインメモリからの画素情報の読み出しを説明するための図である。
【図７】メモリ内からの画素情報を読み出す際の他の例を説明するための図である。
【図８】高速撮像機能の概略を説明するための図である。
【図９】従来の電子ズーム処理を示す図である。
【符号の説明】
１１…ラインメモリ
１２…垂直補間回路
１３…水平補間回路
１４…制御手段
１０１…固体撮像素子（ＣＣＤ）
１０２…ＣＤＳ／ＡＧＣ
１０３…Ａ／Ｄ変換器
１０４…信号処理回路
１０５…電子ズーム回路
１０６…メモリ
１０７…動き検出回路
１０８…マイコン
【図１】
0003596731.tif 000002
【図２】
0003596731.tif 000003
【図３】
0003596731.tif 000004
【図４】
0003596731.tif 000005
【図５】
0003596731.tif 000006
【図６】
0003596731.tif 000007
【図７】
0003596731.tif 000008
【図８】
0003596731.tif 000009
【図９】
0003596731.tif 000010