(57)【要約】【課題】本発明は、撮像センサの読み出しモードの切り替え時の画質変動を抑制することができる撮像装置を提供する。【解決手段】ビデオカメラ１００は、撮像センサ１１３の撮像面の全領域２０１の画素の信号を読み出す第１の読み出しモードと、該撮像面の中央部分２０２の画素の信号を読み出す第２の読み出しモードとを切り替える際に、第１の読み出しモードで読み出された画像信号に所定の画像処理を行って得た画像データと、第２の読み出しモードで読み出された画像信号に別の画像処理を行って得た画像データとの周波数特性の変動を抑制するように画像処理を行う。【選択図】図１３
2010098577.tif 000002
【特許請求の範囲】
【請求項１】
撮像面に結像される光学像を電気信号に変換する複数の画素を有する撮像素子と、前記電気信号に信号処理を行うことで電子的にズームを行う電子ズーム手段とを有する撮像装置において、
前記撮像面の第１の範囲の画素から画像信号を読み出す第１の読み出しモードと、前記第１の範囲よりも小さい第２の範囲の画素から画像信号を読み出す第２の読み出しモードとを切り替える切り替え手段と、
前記第１の読み出しモードで読み出された画像信号に第１の画像処理を行って第１の画像データを出力すると共に、前記第２の読み出しモードで読み出された画像信号に第２の画像処理を行って第２の画像データを出力する信号処理手段と、
前記電子ズーム手段の倍率が所定の倍率のときに、前記第１の読み出しモードと前記第２の読み出しモードとを切り替えるように前記切り替え手段を制御する制御手段とを有し、
前記信号処理手段は、前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像データと前記第２の画像データとの周波数特性の変動を抑制するように画像処理を行うことを特徴とする撮像装置。
【請求項２】
前記信号処理手段は、前記第１の読み出しモード時には前記撮像面に配列された画素に複数の画素を加算するように第１の画像処理を行い、
前記第１の読み出しモードから前記第２の読み出しモードに切り替わった際に、前記第１の画像処理を行うことなく、前記第１の読み出しモード時に複数の画素が加算されていた画素の配列に対して、同じ重み付けで前記第２の画像処理を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率に近づくほどに、前記第１の読み出しモード時に加算されていた複数の画素に対する重み付けを近づけて第２の画像処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記信号処理手段は、前記読み出された画像信号に対してフィルタを掛けることで前記第１または前記第２の画像処理を行い、
前記第２の読み出しモード時には、前記第１の読み出しモード時に加算されていた複数の画素に対して、それぞれ異なる位相のフィルタを掛けることを特徴とする請求項２記載の撮像装置。
【請求項５】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率から遠ざかるほどに、前記第１の読み出しモード時に加算されていた複数の画素に対して掛ける前記フィルタの位相を近づけて画像処理を行うことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記信号処理手段は、前記読み出された画像信号に対してフィルタを掛けることで前記第１または前記第２の画像処理を行い、
前記第２の読み出しモード時には、前記第１の読み出しモード時に加算されていた複数の画素に対して、それぞれ異なる位相の複数のフィルタを掛け、全ての画素に対しては通常の位相のフィルタを掛けて、それらを足し合わせるように画像処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項７】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率から遠ざかるほどに、前記異なる位相の複数のフィルタの重み付けを下げて、前記通常の位相のフィルタの重み付けを上げて、それらを足し合わせるように画像処理を行うことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記信号処理手段は、前記第１の読み出しモード時には前記撮像面に配列された画素から所定の位置にある画素を間引くように第１の画像処理を行い、
前記第１の読み出しモードから前記第２の読み出しモードに切り替わった際に、前記第１の画像処理を行うことなく、前記第１の読み出しモード時に間引かれていた画素に対する重み付けを０にし、間引かれていなかった画素に対する重み付けを、前記第１の読み出しモード時と同じにして、画像処理を行うことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率から遠ざかるほどに、前記第１の読み出しモード時に間引かれていた画素に対する重み付けを大きくして第２の画像処理を行うことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記信号処理手段は、前記読み出された画像信号に対してフィルタを掛けることで前記第１または前記第２の画像処理を行い、
前記第２の読み出しモード時には、前記第１の読み出しモード時に間引かれていた画素と間引かれていなかった画素に対して、それぞれ異なるフィルタを掛けることを特徴とする請求項８記載の撮像装置。
【請求項１１】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率から遠ざかるほどに、前記第１の読み出しモード時に間引きされていた画素に対して掛ける前記フィルタの重み付けを大きくして画像処理を行うことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記信号処理手段は、前記読み出された画像信号に対してフィルタを掛けることで前記第１または前記第２の画像処理を行い、
前記第２の読み出しモード時には、前記第１の読み出しモード時に間引かれていた画素と間引かれていなかった画素に対して、それぞれ重み付けの異なる複数のフィルタを掛け、全ての画素に対しては通常の重み付けのフィルタを掛け、それらを足し合わせるように画像処理を行うことを特徴とする請求項８記載の撮像装置。
【請求項１３】
前記信号処理手段は、前記第２の読み出しモードにおいて、前記所定の倍率から遠ざかるほどに、前記重み付けの異なる複数のフィルタの重み付けを下げて、前記通常の重み付けのフィルタの重み付けを上げて、それらを足し合わせるように画像処理を行うことを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記電子ズーム手段の倍率を指示する指示手段をさらに備え、
前記切り替え手段は、前記指示手段より指示された前記電子ズーム手段の倍率に応じて、前記第１の読み出しモードと前記第２の読み出しモードとを切り替えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
撮像面に結像される光学像を電気信号に変換する複数の画素を有する撮像素子と、前記電気信号に信号処理を行うことで電子的にズームを行う電子ズーム手段とを有する撮像装置の制御方法において、
前記撮像面の第１の範囲の画素から画像信号を読み出す第１の読み出しモードと、前記第１の範囲よりも小さい第２の範囲の画素から画像信号を読み出す第２の読み出しモードとを切り替える切り替え工程と、
前記第１の読み出しモード時に読み出された画像信号に第１の画像処理を行って第１の画像データを出力すると共に、前記第２の読み出しモード時に読み出された画像信号に第２の画像処理を行って第２の画像データを出力する信号処理工程と、
前記電子ズーム手段の倍率が所定の倍率のときに、前記第１の読み出しモードと前記第２の読み出しモードとを切り替えるように前記切り替え手段を制御する制御工程とを有し、
前記信号処理工程は、前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像データと前記第２の画像データとの周波数特性の変動を抑制するように画像処理を行うことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラなどの撮像装置およびその制御方法に関し、特に、複数の読み出しモードを切り替えて、撮像センサから画像を読み出す撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像センサ（固体撮像素子）を用いたビデオカメラやデジタルカメラ等の撮像装置が数多く開発されている。これらの撮像装置では、静止画の撮影時には撮像センサから全画素を読み出す。一方、静止画のプレビューや動画像の撮影時には、フレームレートを確保するために、撮像センサの撮像面の全画素のうち水平方向又は垂直方向に画素を間引くか、複数の画素を加算して読み出しを行っている。
【０００３】
また、撮像装置の多くは、ズームレンズによって光学的に撮影画像をズームする光学ズームと、撮像センサから取り込んだ画像に対する信号処理で拡大または縮小を行うことにより電子的に撮影画像をズームする電子ズームを備えている。しかし、電子ズームの倍率が高くなると、撮像センサから読み出した画像を小さく切り出して拡大し、画素数の水増しをして出力するので、画質が劣化してしまう。
【０００４】
そこで、例えば、特許文献１および特許文献２に記載のカメラは、電子ズームの倍率に応じて撮像センサの読み出しモードを切り替え、切り出す範囲の画素数を増やして画質劣化を防ぐよう構成されている。また、これらの特許文献に記載のカメラは、読み出しモードの切り替え時に画質が変動してしまうことを抑制するため、画像の輪郭強調を調整するよう構成されている。
【特許文献１】特開２００７−１２４５４２号公報
【特許文献２】特開２００７−２９５１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、画素を間引いたり、複数の画素を加算した画像は、そうでない画像に比べて単純に解像度が下がっているだけではなく、その周波数特性が大きく変化している。そのため、上記特許文献のように、画像の輪郭強調を調整しただけでは、読み出しモードの切り替え時に画質が変動してしまうことを十分抑制できない問題がある。
【０００６】
本発明は、上記問題に鑑みて成されたものであり、撮像センサの読み出しモードの切り替え時の画質変動を抑制することができる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の撮像装置は、撮像面に結像される光学像を電気信号に変換する複数の画素を有する撮像素子と、前記電気信号に信号処理を行うことで電子的にズームを行う電子ズーム手段とを有する撮像装置において、前記撮像面の第１の範囲の画素から画像信号を読み出す第１の読み出しモードと、前記第１の範囲よりも小さい第２の範囲の画素から画像信号を読み出す第２の読み出しモードとを切り替える切り替え手段と、前記第１の読み出しモードで読み出された画像信号に第１の画像処理を行って第１の画像データを出力すると共に、前記第２の読み出しモードで読み出された画像信号に第２の画像処理を行って第２の画像データを出力する信号処理手段と、前記電子ズーム手段の倍率が所定の倍率のときに、前記第１の読み出しモードと前記第２の読み出しモードとを切り替えるように前記切り替え手段を制御する制御手段とを有し、前記信号処理手段は、前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像データと前記第２の画像データとの周波数特性の変動を抑制するように画像処理を行うことを特徴とする。
【０００８】
上記目的を達成するために、請求項１５記載の撮像装置の制御方法は、撮像面に結像される光学像を電気信号に変換する複数の画素を有する撮像素子と、前記電気信号に信号処理を行うことで電子的にズームを行う電子ズーム手段とを有する撮像装置の制御方法において、前記撮像面の第１の範囲の画素から画像信号を読み出す第１の読み出しモードと、前記第１の範囲よりも小さい第２の範囲の画素から画像信号を読み出す第２の読み出しモードとを切り替える切り替え工程と、前記第１の読み出しモード時に読み出された画像信号に第１の画像処理を行って第１の画像データを出力すると共に、前記第２の読み出しモード時に読み出された画像信号に第２の画像処理を行って第２の画像データを出力する信号処理工程と、前記電子ズーム手段の倍率が所定の倍率のときに、前記第１の読み出しモードと前記第２の読み出しモードとを切り替えるように前記切り替え手段を制御する制御工程とを有し、前記信号処理工程は、前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像データと前記第２の画像データとの周波数特性の変動を抑制するように画像処理を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像センサの読み出しモードの切り替え時の画質変動を抑制することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１１】
［第１の実施形態］
本発明の撮像装置の第１の実施形態として、ディスク型の記録媒体に動画像を記録するビデオカメラについて説明する。
【００１２】
図１は、本発明の第１の実施形態に係るビデオカメラの概略構成を示すブロック図である。
【００１３】
ビデオカメラ１００は、図中の１０１〜１０５に示す制御系ブロックを備える。
【００１４】
ＣＰＵ１０１は、内部バス１０５を介して、ＲＡＭ１０２、ＲＯＭ１０３およびその他の各ブロックに接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に格納された制御プログラムに基づいて各ブロックの制御を行う。また、ＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。操作部１０４は、不図示のズームレバーやボタンなどに対するユーザー操作の入力内容をＣＰＵ１０１に伝え、ＣＰＵ１０１は該ユーザーの指示に応じて、各種処理を行う。
【００１５】
ビデオカメラ１００は、図中の１１０〜１１４に示すカメラ系ブロックを備える。
【００１６】
ビデオカメラ１００は、ズームレンズによって光学的にズームを行う光学ズームと、撮像センサ１１３により変換された電気信号に対する信号処理で拡大または縮小を行うことにより電子的にズームを行う電子ズームを備える。すなわち、レンズユニット１１０を通過した光は、ＣＭＯＳ等の撮像素子から成る撮像センサ１１３の撮像面上に結像し、撮像面の光学像が電気信号に変換される。レンズドライバ１１２は、ＣＰＵ１０１の制御により、レンズユニット１１０を構成する不図示のズームレンズとフォーカスレンズを駆動して、光学ズームとフォーカスの調整を行う。また、レンズドライバ１１２は、絞り１１１を駆動して、絞り量の調整を行う。撮像センサ１１３は、ＣＰＵ１０１により制御されるシャッター速度に応じた期間、電荷の蓄積を行う。ＡＦＥ（アナログフロントエンド）１１４は、撮像センサ１１３を駆動して画像信号を読み出し、該画像信号のサンプル・ホールドと増幅およびデジタル信号への変換を行う。
【００１７】
ビデオカメラ１００は、図中の１２０〜１２５に示す画像処理系ブロックを備える。
【００１８】
ＣＰＵ１０１の制御により、色変換部１２０は、ＡＦＥ１１４から入力された画像信号に対して色変換処理を行い、変換後のＹＣＣ（４：２：２）画像データをバッファメモリ１２１に格納する。リサイズ部１２２は、ＣＰＵ１０１から指示される電子ズームの倍率に従って、バッファメモリ１２１からＹＣＣ画像データの有効領域を切り出して読み出し、リサイズを行って出力部１２３へと出力する。
【００１９】
次に、撮像センサ１１３の第１および第２の読み出しモードと、それらの読み出しモードに対する色変換部１２０の色変換処理について説明する。
【００２０】
図２は、撮像センサ１１３の撮像面内の読み出し範囲を示す概略図である。
【００２１】
第１の読み出しモードでは、ＣＰＵ１０１の制御により、撮像センサ１１３の撮像面内の全領域２０１に格子状に配置された水平３８４０画素×垂直２１６０画素（第１の範囲の画素）の全てがプログレッシブスキャンで読み出される。一般的に、動画は、６０または５０フィールド／秒で撮影されることが多く、撮像センサから６０または５０フレーム／秒で画像を読み出す必要がある。しかし、１フレームの画素数が約８３０万画素にも達するため、ビデオカメラ１００では、ＡＦＥ１１４を介して伝送する伝送路の帯域と色変換部１２０の処理能力との関係上、全画素を６０または５０フレーム／秒で読み出すことができない。
【００２２】
そこで、第１の読み出しモードでは、撮像センサ１１３の撮像面で垂直方向に隣り合う同色２画素が加算（以下、「垂直画素加算」と呼ぶ）され、１フレームが水平３８４０画素×垂直１０８０画素＝約４１５万画素の画像信号が、色変換部１２０に伝送される。
【００２３】
図３は、垂直画素加算を説明するための説明図である。
【００２４】
撮像センサ１１３の撮像面（受光面）には、ベイヤー配列のＲＧＢカラーフィルターが取り付けられており、水平４画素×垂直４画素の領域３０１を切り出すと、図示のように、Ｒ，Ｇ，Ｂの画素が配置されている。図中でＲ，Ｇ，Ｂに続く２桁の数字は水平方向と垂直方向の位置をそれぞれ示しており、垂直画素加算によって水平４画素×垂直２画素の画像信号３０２となる。例えば、Ｇ００＋Ｇ２０は、Ｇ００とＧ２０との加算を示す。
【００２５】
こうして、撮像センサ１１３からＡＦＥ１１４を介して出力された画像は、各画素でＲ，Ｇ，Ｂのいずれか１色のデータしか得られないため、色変換部１２０で補間演算を行うことで、ＹＣＣ（４：２：２）画像データを得る。ここで、色変換前の画像を１画素１２ビットのＲＡＷ画像として、色変換後のＹＣＣ画像が１画素１６ビット（輝度８ビット＋色差８ビット）とすると、ＹＣＣ画像のデータ量は、ＲＡＷ画像の４／３倍で１フレームが約８．３Ｍバイトとなる。
【００２６】
しかし、本実施形態におけるビデオカメラ１００では、バッファメモリ１２１の帯域の関係上、色変換部１２０がそのままの画素数で格納し、これをリサイズ部１２２が読み出すことはできない。そのため、第１の読み出しモードでは、色変換部１２０が水平方向に輝度と色差を１／２に間引く（以下、「水平画素間引き」と呼ぶ）。そして、１フレームが水平１９２０画素×垂直１０８０画素の、約４．１５ＭバイトのＹＣＣ画像データが、バッファメモリ１２１に格納される。
【００２７】
図４は、水平画素間引きを説明するための説明図である。
【００２８】
図３に示した撮像センサ１１３の出力する水平４画素×垂直２画素の画像信号３０２が、色変換部１２０の補間演算によって水平４画素×垂直２画素の輝度（Ｙ）データ４０１と、水平２画素×垂直２画素の色差（Ｃｂ，Ｃｒ）データ４１１に変換される。図中でＹ，Ｃｂ，Ｃｒに続く２桁の数字は水平方向と垂直方向の位置をそれぞれ示しており、水平画素間引きによって水平２画素×垂直２画素の輝度（Ｙ）データ４０２と、水平１画素×垂直２画素の色差（Ｃｂ，Ｃｒ）データ４１２となる。
【００２９】
第２の読み出しモードでは、ＣＰＵ１０１の制御により、図２に示すように、撮像センサ１１３の中央部分２０２の水平１９２０画素×水平１０８０画素（第２の範囲の画素）だけがプログレッシブスキャンで読み出される。第２の読み出しモードでは、上述した垂直画素加算を行わず、１フレームが水平１９２０画素×垂直１０８０画素＝約２０７万画素の画像信号が、撮像センサ１１３からＡＦＥ１１４を介して色変換部１２０に伝送される。
【００３０】
また、第２の読み出しモードでは、色変換部１２０での色変換後のＹＣＣ画像のデータ量が約４．１５Ｍバイトとなる。そのため、水平画素間引きを行わずに１フレームが１９２０画素×垂直１０８０画素＝約２０７万画素のＹＣＣ画像データが、バッファメモリ１２１に格納される。
【００３１】
第２の読み出しモードでバッファメモリ１２１に格納されるＹＣＣ画像５０２は、図５（ａ）、図５（ｂ）に示すように、第１の読み出しモードでバッファメモリ１２１に格納される画像５０１に対して、撮像センサ１１３の中央部分のみを切り出して読み出される。そのため、倍率２倍のズームがかかった状態となる。
【００３２】
次に、ビデオカメラ１００において撮影画像のズーム倍率を変更する際の制御方法について説明する。
【００３３】
ＣＰＵ１０１は、操作部１０４のズームレバーに対するユーザー操作に従って、レンズユニット１１０のズームレンズによる光学ズームと、リサイズ部１２２による電子ズームと、撮像センサ１１３の読み出しモードを制御する。そして、それらの組み合わせにより全体のズーム倍率（以下、「全体ズーム倍率」と呼ぶ）を変更する。
【００３４】
図６は、全体ズーム倍率と、光学ズーム倍率および電子ズーム倍率の関係を示す図である。図７は、全体ズーム倍率と、撮像センサ１１３の読み出しモードの関係を示す図である。
【００３５】
ビデオカメラ１００は、１〜２００倍の全体ズーム倍率に対応している。光学ズーム倍率は１〜１０倍、電子ズーム倍率は１〜１０倍、撮像センサ１１３の読み出しモード時に変化するズーム倍率は、上記のとおり、１倍または２倍にそれぞれ対応している。図６に示すように、全体ズーム倍率１〜１０倍の範囲は光学ズームによって倍率が変化し、全体ズーム倍率が１０倍以上になると、光学ズーム倍率は１０倍で固定となる。そして、全体ズーム倍率１０〜２０倍の範囲は電子ズームによって倍率が変化する。
【００３６】
図７に示すように、ＣＰＵ１０１の制御により、全体ズーム倍率２０倍（所定の倍率）を境に、撮像センサ１１３の読み出しモードは、第１の読み出しモードと第２の読み出しモードが切り替わる。そして、全体ズーム倍率２０〜２００倍の範囲は、再び電子ズームによって倍率が変化する。例えば、全体ズーム倍率２００倍は、光学ズーム１０倍×電子ズーム１０倍×読み出しモードによるズーム倍率２倍が掛け合わさった状態となる。
【００３７】
次に、リサイズ部１２２の構成について説明する。
【００３８】
リサイズ部１２２は、バッファメモリ１２１に格納されたＹＣＣ画像データを水平方向に走査し、１ラインの走査が終わると次のラインというように垂直方向に１フレーム分、走査して読み出す。リサイズ部１２２は水平方向と垂直方向に分離した最大８タップの１次元フィルタによってリサイズを行う。
【００３９】
図８は、リサイズ部１２２の構成を示すブロック図である。
【００４０】
図８において、バッファメモリ１２１より読み出されたＹＣＣ画像データ（画像信号）は、１画素分のバッファメモリ（フリップフロップ）８０１に入力される。以下、１画素分のバッファメモリ８０２〜８０８が直列に繋がっていて、これらのバッファメモリに入力された画素は、クロック信号が入力される毎に次のバッファメモリに出力され、いわゆるバケツリレーが行われる。
【００４１】
水平フィルタ８０９には、水平方向に連続した８画素分のデータが入力され、水平フィルタ生成部８１０より入力されたフィルタ、すなわち８画素分のデータに対する重み付けをそれぞれの画素に掛ける。
【００４２】
水平フィルタ８０９より出力された画素は順次、１ライン分のバッファメモリ８１１に入力される。以下、１ライン分のバッファメモリ８１２〜８１８が直列に繋がっていて、これらのバッファメモリに入力されたラインは、水平フィルタ１０９より出力される画素が次のラインに移る毎に、次のバッファメモリに出力され、いわゆるバケツリレーが行われる。
【００４３】
垂直フィルタ８１９には、垂直方向に連続した８画素分のデータが、水平フィルタ１０９の出力する画素の走査に同期して水平方向に移動しながら順次入力される。そして、垂直フィルタ８１９は、垂直フィルタ生成部８２０より入力されたフィルタ、すなわち８画素分のデータに対する重み付けをそれぞれの画素に掛ける。こうして水平方向と垂直方向にそれぞれ１次元フィルタを掛けてリサイズが行われたＹＣＣ画像データ（第１の画像データ、第２の画像データ）が、出力部１２３へと出力される。
【００４４】
ここで、水平フィルタ生成部８１０と垂直フィルタ生成部８２０は、バイキュービックフィルタを元にしてフィルタを生成する。バイキュービックフィルタは、水平方向４画素×垂直方向４画素を参照する分離型フィルタで、バイリニアなどに比べれば原画像の画質を保ったままリサイズが行える特徴がある。
【００４５】
図９は、バイキュービックフィルタを表す関数Ｈ（ｔ）を示す図である。
【００４６】
バイキュービックフィルタを表す関数Ｈ（ｔ）は、フィルタ係数（定数）ａによって補間特性を変更することができる。例えば、ａ＝−１．０とした場合、関数Ｈ（ｔ）は図１０に示すグラフとなる。
【００４７】
本実施形態において、水平フィルタ生成部８１０は、バイキュービックフィルタを元に、フィルタが参照する画像の範囲を変化させ、さらにフィルタ全体に係数を掛けてフィルタを生成する。生成されたフィルタを表す関数Ｈ（ｔ）を図１１に示す。例えば、ａ＝−１．０とした場合、関数Ｈ（ｔ）は図１２に示すグラフとなる。ここで、ｗは参照する画像の範囲（参照範囲）、ｇはフィルタ全体に掛けられた係数（参照係数）を表す。
【００４８】
通常のバイキュービックフィルタでは、参照範囲が±２画素固定であるのに比べ、生成されたフィルタは参照範囲を±２ｗ画素と変化させることができる。また、通常のバイキュービックフィルタでは波高のピークがＨ（０）＝１固定であるのに対して、生成されたフィルタでは波高のピークをＨ（０）＝ｇと変化させることができる。なお、以下の説明で特に断りがない場合には、参照範囲ｗ＝１、参照係数ｇ＝１でフィルタが生成されているものとする。
【００４９】
一方、本実施形態において、垂直フィルタ生成部８２０は、バイキュービックフィルタを元に、参照範囲ｗと参照係数ｇに加えて、リサイズ後の画素に対するフィルタの位相差ｐを変化させてフィルタを生成する。生成されたフィルタを表す関数Ｈ（ｔ）を図２２に示す。例えば、ａ＝−１．０とした場合、関数Ｈ（ｔ）は図２３に示すグラフとなる。ここで、ｐはフィルタの位相差を表す。なお、以下の説明で特に断りがない場合には、参照範囲ｗ＝１、参照係数ｇ＝１、位相差ｐ＝０でフィルタが生成されているものとする。
【００５０】
次に、全体ズーム倍率を１０倍、２０倍、３０倍、４０倍と変化させた際の、２つの読み出しモードに対するリサイズ部１２２の水平フィルタの動作（第１の画像処理、第２の画像処理）について説明する。
【００５１】
図１３は、全体ズーム倍率が１０倍、即ち電子ズーム倍率が１倍のときに、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【００５２】
ここで、色変換部１２０は、１ライン３８４０画素の輝度データ１３３０から、図中の斜線部の画素を間引きして、１９２０画素の×印の輝度データをバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データ１３２０を出力する。ただし、この場合は電子ズーム倍率が１倍のため、リサイズでは位相の調整のみが行われる。例えば、出力する輝度データ１３２０の画素１３０２は、水平フィルタ生成部８１０が生成したフィルタ１３４０を、参照する輝度データの画素１３１０，１３１２，１３１４，１３１６に掛けて足し合わせることで得られる。
【００５３】
図１４は、全体ズーム倍率が２０倍で、電子ズーム倍率が２倍のときに、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。図１４における全体ズーム倍率は、第２の読み出しモードに切り替わる倍率であるが、同図は第２の読み出しモードの切り替わる直前の状態を示すものとする。
【００５４】
ここで、色変換部１２０は、図１３と同様に、図中の斜線部の画素を間引きして、１９２０画素の×印の輝度データ１４３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、９６０画素の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データ１４２０を出力する。例えば、出力する輝度データ１４２０の画素１４０３は、水平フィルタ生成部８１０が生成したフィルタ１４４０を、参照する輝度データの画素１４１０，１４１２，１４１４，１４１６に掛けて足し合わせることで得られる。
【００５５】
図１５は、全体ズーム倍率が図１４と同じ２０倍であるが、電子ズーム倍率が１倍で、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【００５６】
色変換部１２０は、間引きせずに１９２０画素の×印の輝度データ１５３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データ１５２０を出力する。ここで、水平フィルタ生成部８１０は、第１の読み出しモードにおいて間引かれていた奇数画素と、間引かれていなかった偶数画素に対して、別々のフィルタを生成する。例えば、参照する輝度データの偶数画素１５１０，１５１２，１５１４，１５１６に対してフィルタ１５４０を掛け、奇数画素１５１１，１５１３，１５１５，１５１７に対してフィルタ１５５０を掛けて、両者を足し合わせる。これにより、出力する輝度データ１５２０の画素１５０３が得られる。
【００５７】
電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝２で、±４画素の範囲を参照する。さらに、偶数画素フィルタ１５４０は参照係数ｇ＝１、奇数画素フィルタ１５５０は参照係数ｇ＝０を掛けた特性となっている。奇数画素フィルタの参照係数ｇを０とすることで、第１の読み出しモードで間引かれていた奇数画素の輝度が０となり、水平画素間引きと同じ効果が得られる。その結果、図１４に示した画素１４０２と、同図に示した画素１５０２は同じ輝度となり、第１の読み出しモードと第２の読み出しモードを切り替えることによる画像の周波数特性の変動が抑制されている。
【００５８】
図１６は、全体ズーム倍率が３０倍、即ち電子ズーム倍率が１．５倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【００５９】
ここで、色変換部１２０は、図１５と同様に、間引きせずに１９２０画素の×印の輝度データ１６３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、１２８０画素の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データを出力する。例えば、参照する輝度データの偶数画素１６１２，１６１４，１６１６に対してフィルタ１６４０を掛け、奇数画素１６１１，１６１３，１６１５に対してフィルタ１６５０を掛けて、両者を足し合わせる。これにより、出力する輝度データ１６２０の画素１６０３が得られる。
【００６０】
ここまでの例と同様に、これらのフィルタ１６４０，１６５０も水平フィルタ生成部８１０によって生成される。この電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝１．５で、±３画素の範囲を参照する。さらに、偶数画素フィルタ１６４０は参照係数ｇ＝１、奇数画素フィルタ１６５０は参照係数ｇ＝０．３６８を掛けた特性となっている。ここで、奇数画素フィルタ１６５０の参照係数ｇは、偶数画素フィルタ１６４０が参照する画素に掛けた重み付けと、奇数画素フィルタ１６５０が参照する画素に掛けた重み付けの総和が１になるように算出される。
【００６１】
図１７は、全体ズーム倍率が４０倍、即ち電子ズーム倍率が２倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【００６２】
ここで、色変換部１２０は、図１５と同様に、間引きせずに１９２０画素の×印の輝度データ１７３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、９６０画素の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データを出力する。例えば、出力する輝度データ１７２０の画素１７０３は、参照する輝度データの偶数画素１７１２，１７１４に対してフィルタ１７４０を掛け、奇数画素１７１３，１７１５に対してフィルタ１７５０を掛けて、両者を足し合わせることで得られる。
【００６３】
ここまでの例と同様に、これらのフィルタ１７４０，１７５０も水平フィルタ生成部８１０によって生成される。この電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝１、参照係数ｇ＝１に戻された特性になっている。その結果、第２の読み出しモードに対して通常のバイキュービックフィルタを用いたリサイズ結果を得ることができる。
【００６４】
なお、図１３〜図１７では、ＹＣＣ画像の輝度データに対するリサイズについて説明したが、色差データについても画素数が半分になるだけで、同様の処理を行うことで輝度データの場合と同じ効果を得ることができる。
【００６５】
次に、水平フィルタ生成部８１０がフィルタを生成する際に、全体ズーム倍率に対して、フィルタの参照範囲ｗと参照係数ｇを、どのように変化させるかを説明する。
【００６６】
図１８は、全体ズーム倍率と、水平フィルタ生成部８１０が生成するフィルタの参照範囲ｗとの関係を示すグラフである。
【００６７】
全体ズーム倍率１〜２０倍の範囲では、参照範囲ｗ＝１であって、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、通常のバイキュービックフィルタと同様に、フィルタは±２画素の範囲を参照する。全体ズーム倍率２０〜４０倍の範囲では、参照範囲ｗが２から１に滑らかに変化する。即ち、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタが参照する画素の範囲を±４画素に引き延ばした状態から±２画素まで滑らかに変化させる。なお、本実施形態では、この滑らかな曲線として、図１９に示す２次関数によって得られる図２０に示す曲線を用いている。全体ズーム倍率４０倍〜２００倍の範囲では参照範囲ｗ＝１となり、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタが参照する画素の範囲を±２画素とする。
【００６８】
ここで、通常のバイキュービックフィルタは、参照する画素の範囲が±２画素であって、サンプリング周期が１画素単位であるときに、参照する画素に対する重み付けの和が位相に依存せず、１になる特性を持つ。
【００６９】
しかし、図１８に示したように、全体ズーム倍率に応じてフィルタの参照範囲ｗを２から１の範囲で変化させると、参照する画素に対する重み付けの和が位相に依存して変化し、１にならない。そこで、全体ズーム倍率３０倍での例で示したように、フィルタが参照する画素に対する重み付けの総和が１になるようフィルタに参照係数ｇを掛けて正規化する必要がある。
【００７０】
図２１は、全体ズーム倍率と、水平フィルタ生成部８１０が生成するフィルタに掛ける参照係数ｇの関係を示すグラフである。
【００７１】
第１の読み出しモードで間引かれていなかった偶数画素に対する参照係数ｇは１に固定され、間引かれていた奇数画素に対する参照係数ｇを調整することで、重み付けの正規化を行っている。実際には、フィルタの位相すなわち出力する画素の位置に依存して参照係数ｇの変化の様子は変わるが、全体ズーム倍率２０倍から４０倍にかけて、奇数画素フィルタに掛ける参照係数ｇは滑らかに変化する。
【００７２】
このように、全体ズーム倍率に対して水平方向フィルタの特性を変化させることで、第１の読み出しモードと第２の読み出しモードを切り替えた際に、画像の水平方向の周波数特性の変化を抑制させることができる。
【００７３】
次に、全体ズーム倍率を１０倍、２０倍、３０倍、４０倍と変化させた際の、２つの読み出しモードに対するリサイズ部１２２の垂直フィルタの動作（第１の画像処理、第２の画像処理）について説明する。
【００７４】
図２４は、全体ズーム倍率が１０倍、即ち電子ズーム倍率が１倍のときに、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【００７５】
ここで、撮像センサ１１３は、１フレーム２１６０ラインの画像信号を垂直画素加算することで、色変換部１２０は１０８０ラインの×印の輝度データ２４３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データ２４２０を出力する。ただし、この場合は電子ズーム倍率が１倍であって、リサイズ前後のラインの位相も合っているため、リサイズを行っても輝度データは変化しない。例えば、出力する輝度データ２４２０のライン２４０４は、垂直フィルタ生成部８２０が生成したフィルタ２４４０を、参照する輝度データ２４３０のライン２４１０，２４１２，２４１４，２４１６に掛けて足し合わせた結果から得られる。そして、その結果は、リサイズ前の輝度データ２４２０のライン２４０４と同じ値になる。
【００７６】
図２５は、全体ズーム倍率が２０倍で、電子ズーム倍率が２倍のときに、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。この全体ズーム倍率は、第２の読み出しモードに切り替わる倍率であるが、同図は第２の読み出しモードの切り替わる直前の状態を示すものとする。
【００７７】
ここで、色変換部１２０は、図２４と同様に、垂直画素加算した１０８０ラインの×印の輝度データ２５３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、５４０ラインの輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データ２５２０を出力する。例えば、出力する輝度データ２５２０のライン２５０４は、垂直フィルタ生成部８２０が生成したフィルタ２５４０を、参照する輝度データのライン２５１０，２５１２，２５１４，２５１６に掛けて足し合わせることで得られる。
【００７８】
図２６は、全体ズーム倍率が図２５と同じ２０倍であるが、電子ズーム倍率は１倍で、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【００７９】
撮像センサ１１３は１フレーム１０８０ラインの画像信号を垂直画素加算せず、色変換部１２０は１０８０ラインの×印の輝度データ２６３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データ２６２０を出力する。ここで、垂直フィルタ生成部８２０は、第１の読み出しモードにおいて加算されていた奇数ラインと偶数ラインに対して、別々のフィルタを生成する。例えば、参照する輝度データの偶数ライン２６１０，２６１２，２６１４，２６１６に対してフィルタ２６５０を掛け、奇数ライン２６１１，２６１３，２６１５，２６１７に対してフィルタ２６４０を掛けて、両者を足し合わせる。これにより、出力する輝度データ２６２０のライン２６０４が得られる。
【００８０】
電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝２で、±４画素の範囲を参照する。さらに、いずれのフィルタも参照係数ｇ＝０．５を掛けた特性となっている。
【００８１】
さらに、この電子ズーム倍率においては、リサイズ後のライン２６０４に対して奇数ラインフィルタ２６４０は位相差ｐ＝−０．５、偶数ラインフィルタ２６５０は位相差ｐ＝０．５をずらした特性となっている。奇数ラインと偶数ラインのフィルタの位相を１ライン分ずらすことで、第１の読み出しモードで加算されていた垂直ラインと水平ラインは同じ輝度となり、垂直画素加算と同じ効果が得られる。その結果、図２５に示したライン２５０４と同図に示したライン２６０４とは同じ輝度となり、第１の読み出しモードと第２の読み出しモードを切り替えることによる画像の周波数特性の変動が抑制されている。
【００８２】
図２７は、全体ズーム倍率が３０倍、即ち電子ズーム倍率が１．５倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【００８３】
ここで、色変換部１２０は、図２６と同様に、垂直画素加算されていない１０８０ラインの×印の輝度データ２７３０をバッファメモリ１２１に格納している。リサイズ部１２２は格納されたこれら×印の輝度データのなかから、７２０ラインの輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データを出力する。例えば、参照する輝度データの偶数ライン２７１２，２７１４，２７１６に対してフィルタ２７５０を掛け、奇数画素２７１３，２７１５，２７１７に対してフィルタ２７４０を掛けて、両者を足し合わせる。これにより、出力する輝度データ２７２０のライン２７０３が得られる。
【００８４】
ここまでの例と同様に、これらのフィルタ２７４０，２７５０も垂直フィルタ生成部８２０によって生成される。この電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝１．５で、±３画素の範囲を参照する。さらに、この電子ズーム倍率においては、リサイズ後のライン２７０４に対して奇数ラインフィルタ２７４０は位相差ｐ＝−０．２５、偶数ラインフィルタ２６５０は位相差ｐ＝０．２５をずらした特性となっている。さらに、いずれのフィルタも参照係数ｇ＝０．７０７を掛けた特性となっている。ここで、参照係数ｇは、偶数ラインフィルタ２７５０が参照する画素に掛けた重み付けと、奇数ラインフィルタ２７４０が参照する画素に掛けた重み付けの総和が１になるように算出される。
【００８５】
図２８は、全体ズーム倍率が４０倍、即ち電子ズーム倍率が２倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【００８６】
ここで、色変換部１２０は、図２６と同様に、垂直画素加算されていない１０８０ラインの×印の輝度データ２８３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、５４０ラインの輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データを出力する。例えば、出力する輝度データ２８２０のライン２８０４は、参照する輝度データの偶数ライン２８１２，２８１４に対してフィルタ２８５０を掛け、奇数ライン２８１３，２８１５に対してフィルタ２８４０を掛けて、両者を足し合わせることで得られる。
【００８７】
ここまでの例と同様に、これらのフィルタ２８４０，２８５０も垂直フィルタ生成部８２０によって生成される。この電子ズーム倍率においては、生成されるフィルタはいずれも参照範囲ｗ＝１、参照係数ｇ＝１に戻された特性になっている。その結果、第２の読み出しモードに対して通常のバイキュービックフィルタを用いたリサイズ結果を得ることができる。
【００８８】
なお、図２４〜図２８では、ＹＣＣ画像の輝度データに対するリサイズについて説明したが、色差データについても同様の処理を行うことで輝度データの場合と同じ効果を得ることができる。
【００８９】
次に、垂直フィルタ生成部８２０がフィルタを生成する際に、全体ズーム倍率に対して、フィルタの参照範囲ｗと位相差ｐと参照係数ｇを、どのように変化させるかを説明する。
【００９０】
図２９は、全体ズーム倍率と、垂直フィルタ生成部８２０が生成するフィルタの参照範囲ｗとの関係を示すグラフである。
【００９１】
全体ズーム倍率１〜２０倍の範囲では、参照範囲ｗ＝１であって、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、通常のバイキュービックフィルタと同様に、フィルタは±２ラインの範囲を参照する。全体ズーム倍率２０〜４０倍の範囲では、参照範囲ｗが２から１に滑らかに変化する。即ち、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタが参照するラインの範囲を±４ラインに引き延ばした状態から±２ラインまで滑らかに変化させる。
【００９２】
全体ズーム倍率４０倍〜２００倍の範囲では、参照範囲ｗ＝１となり、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタが参照するラインの範囲を±２ラインとする。
【００９３】
図３１は、全体ズーム倍率と、垂直フィルタ生成部８２０が生成するフィルタの位相差ｐとの関係を示すグラフである。
【００９４】
全体ズーム倍率１〜２０倍の範囲では、位相差ｐ＝０であって、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタの位相を出力後のラインに合わせる。
【００９５】
全体ズーム倍率２０〜４０倍の範囲では、位相差を±０．５から０に滑らかに変化させる。即ち、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、偶数ラインフィルタの位相差ｐを０．５ラインから０ラインに滑らかに変化させ、奇数ラインフィルタの位相差ｐを−０．５ラインから０ラインに滑らかに変化させる。
【００９６】
全体ズーム倍率４０倍〜２００倍の範囲では、位相差ｐ＝０となり、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、フィルタの位相を出力後のラインに合わせる。ここで、水平方向のフィルタと同様に、垂直方向についてもフィルタが参照するラインに対する重み付けの和が１になるようフィルタに参照係数ｇを掛けて正規化する必要がある。
【００９７】
図３０は、全体ズーム倍率と、垂直フィルタ生成部８２０が生成するフィルタに掛ける参照係数ｇの関係を示すグラフである。
【００９８】
奇数ラインと偶数ラインの両方に対する同じ値の参照係数ｇを調整することで、重み付けの正規化を行っている。実際には、フィルタの位相すなわち出力するラインの位置に依存して係数変化の様子は変わるが、全体ズーム倍率２０倍から４０倍にかけて、奇数ラインと偶数ラインのフィルタに掛ける参照係数ｇは滑らかに変化する。
【００９９】
このように、全体ズーム倍率に対して垂直方向フィルタの特性を変化させることで、第１の読み出しモードと第２の読み出しモードを切り替えた際に、画像の垂直方向の周波数特性の変化を抑制させることができる。
【０１００】
［第２の実施形態］
次に、本発明の第２の実施形態に係るビデオカメラについて説明する。このビデオカメラは、上記第１の実施形態のビデオカメラに比べ、第２の読み出しモードにおいて、水平フィルタ生成部８１０と垂直フィルタ生成部８２０の生成するフィルタが異なる。以下、上記第１の実施の形態と異なる点のみを説明する。
【０１０１】
まず、全体ズーム倍率を２０倍、４０倍と変化させた際の、第２の読み出しモードに対するリサイズ部１２２の水平フィルタの動作（第１の画像処理、第２の画像処理）について説明する。
【０１０２】
図３２は、全体ズーム倍率が２０倍で、電子ズーム倍率が１倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【０１０３】
色変換部１２０は、間引きせずに１９２０画素の×印の輝度データ３２３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データ３２２０を出力する。ここで、水平フィルタ生成部８１０は、第１の読み出しモードにおいて間引かれていなかった偶数画素のみを参照する間引き参照フィルタと、間引きとは関係なく参照範囲の全画素を参照する非間引き参照フィルタとを生成する。電子ズーム倍率によらず、間引き参照フィルタは参照範囲ｗ＝２で、±４画素の範囲を参照する。一方、間引き無し参照フィルタは参照範囲ｗ＝１で、±２画素の範囲を参照する。
【０１０４】
また、この電子ズーム倍率においては、間引き参照フィルタ３２４０には参照係数ｇ＝１、間引き無し参照フィルタ３２５０には参照係数ｇ＝０を掛けた特性になっている。例えば、参照する輝度データの偶数画素３２１０，３２１２，３２１４，３２１６に対して間引き参照フィルタ３２４０を掛け、参照する輝度データの画素３２１１，３２１２，３２１３，３２１４に対して間引き無し参照フィルタ３２５０を掛ける。そして、両者を足し合わせる。これにより、出力する輝度データ３２２０の画素３２０３が得られる。
【０１０５】
間引き参照フィルタ３２４０のみが有効になっているため、第１の読み出しモードで間引かれていた奇数画素の輝度が０となり、水平画素間引きと同じ効果が得られる。その結果、図１４に示した画素１４０３と同図に示した画素３２０３とは同じ輝度となり、第１の読み出しモードと第２の読み出しモードを切り替えることによる画像の周波数特性の変動が抑制されている。
【０１０６】
図３３は、全体ズーム倍率が４０倍、即ち電子ズーム倍率が２倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が水平フィルタを掛けてリサイズを行う動作を示す図である。
【０１０７】
ここで、色変換部１２０は、図３２と同様に、間引きせずに１９２０画素の×印の輝度データ３３３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、９６０画素の輝度データを参照してリサイズを行い、１ライン１９２０画素の輝度データを出力する。例えば、参照する輝度データの偶数画素３３１０，３３１２，３３１４，３３１６に対して間引き参照フィルタ３３４０を掛け、画素３３１２，３３１３，３３１４，３３１５に対して間引き無し参照フィルタ３３５０を掛けて、両者を足し合わせる。これにより、出力する輝度データ３３２０の画素３３０３が得られる。
【０１０８】
ここまでの例と同様に、これらのフィルタ３３４０，３３５０も水平フィルタ生成部８１０によって生成される。この電子ズーム倍率においては、間引き参照フィルタ３３４０には参照係数ｇ＝０、間引き無し参照フィルタ３３５０には参照係数ｇ＝１を掛けた特性になっていて、間引き無し参照フィルタ３３５０のみが有効になっている。その結果、第２の読み出しモードに対して通常のバイキュービックフィルタを用いたリサイズ結果を得ることができる。
【０１０９】
なお、図３２、図３３では、ＹＣＣ画像の輝度データに対するリサイズについて説明したが、色差データについても画素数が半分になるだけで、同様の処理を行うことで輝度データの場合と同じ効果を得ることができる。
【０１１０】
次に、水平フィルタ生成部８１０がフィルタを生成する際に、全体ズーム倍率に対して、フィルタに掛ける参照係数ｇを、どのように変化させるかを説明する。
【０１１１】
図３４は、全体ズーム倍率と、水平フィルタ生成部８１０が生成するフィルタに掛ける参照係数ｇの関係の概略を示すグラフである。
【０１１２】
全体ズーム倍率１〜２０倍の範囲では、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、参照係数ｇ＝１の間引き無し参照フィルタを掛け、参照係数ｇ＝０の間引き参照フィルタを掛ける。
【０１１３】
全体ズーム倍率２０〜４０倍の範囲では、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、間引き無し参照フィルタの参照係数ｇを０から１に滑らかに変化させ、間引き参照フィルタの参照係数ｇを１から０に滑らかに変化させる。なお、本実施形態では、この滑らかな曲線として、第１の実施形態で示した図１９の２次関数によって得られる図２０の曲線を用いている。
【０１１４】
全体ズーム倍率４０倍〜２００倍の範囲では、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、参照係数１の間引き無し参照フィルタを掛け、参照係数０の間引き参照フィルタを掛ける。
【０１１５】
このように、全体ズーム倍率に対して水平方向フィルタの特性を変化させることで、第１の読み出しモードと第２の読み出しモードを切り替えた際に、画像の水平方向の周波数特性の変化を抑制させることができる。
【０１１６】
次に、全体ズーム倍率を２０倍、４０倍と変化させた際の、第２の読み出しモードに対するリサイズ部１２２の垂直フィルタの動作（第１の画像処理、第２の画像処理）について説明する。
【０１１７】
図３５は、全体ズーム倍率が２０倍で、電子ズーム倍率が１倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【０１１８】
撮像センサ１１３は１フレーム１０８０ラインの画像信号を垂直画素加算せず、色変換部１２０は１０８０ラインの×印の輝度データ３５３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データ３５２０を出力する。ここで、垂直フィルタ生成部８２０は、第１の読み出しモードにおいて加算されていた奇数ラインと偶数ラインに対する別々の加算フィルタと、画素加算とは関係なく参照範囲の全画素を対象とする非加算フィルタとを生成する。例えば、参照する輝度データの偶数ライン３５１０，３５１２，３５１４，３５１６に対して偶数ライン加算フィルタ３５５０を掛け、奇数ライン３５１１，３５１３，３５１５，３５１７に対して奇数ライン加算フィルタ３５４０を掛ける。さらにライン３５１２，３５１３，３５１４，３５１５に対して非加算フィルタ３５６０を掛けて全てを足し合わせる。これにより、出力する輝度データ３５２０のライン３５０４が得られる。電子ズーム倍率によらず、加算フィルタは参照範囲ｗ＝２で、±４画素の範囲を参照する。
【０１１９】
一方、非加算フィルタは参照範囲ｗ＝１で、通常のバイキュービックフィルタと同じく±２画素の範囲を参照する。また、電子ズーム倍率によらず、リサイズ後のラインに対して、奇数ライン加算フィルタ３５４０は位相差ｐ＝−０．５、偶数ライン加算フィルタ３５５０は位相差ｐ＝０．５をずらした特性となっている。奇数ラインと偶数ラインのフィルタの位相を１ライン分ずらすことで、第１の読み出しモードで加算されていた垂直ラインと水平ラインは同じ輝度となり、垂直画素加算と同じ効果が得られる。さらに、この電子ズーム倍率においては加算フィルタ３５４０，３５５０にはそれぞれ参照係数ｇ＝０．５、非加算フィルタ３５６０には参照係数ｇ＝０を掛けた特性になっている。これらの結果、図２５に示したライン２５０４と同図に示したライン３５０４とは同じ輝度となり、第１の読み出しモードと第２の読み出しモードを切り替えることによる画像の周波数特性の変動が抑制されている。
【０１２０】
図３６は、全体ズーム倍率が４０倍、即ち電子ズーム倍率が２倍のときに、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像の輝度データに対して、リサイズ部１２２が垂直フィルタを掛けてリサイズを行う動作を示す図である。
【０１２１】
ここで、色変換部１２０は、図３５と同様に、垂直画素加算されていない１０８０ラインの×印の輝度データ３６３０をバッファメモリ１２１に格納している。リサイズ部１２２は、格納されたこれら×印の輝度データのなかから、５４０ラインの輝度データを参照してリサイズを行い、１フレーム１０８０ラインの輝度データを出力する。例えば、参照する輝度データの偶数ライン３６１０，３６１２，３６１４，３６１６に対して偶数ライン加算フィルタ３６５０を掛け、奇数ライン３６１１，３６１３，３６１５，３６１７に対して奇数ライン加算フィルタ３６４０を掛ける。さらにライン３６１２，３６１３，３６１４，３６１５に対して非加算フィルタ３６６０を掛けて全てを足し合わせる。これにより、出力する輝度データ３６２０のライン３６０４が得られる。
【０１２２】
ここまでの例と同様に、これらのフィルタ３６４０，３６５０，３６６０も垂直フィルタ生成部８２０によって生成される。この電子ズーム倍率においては、加算フィルタ３６４０，３６５０にはそれぞれ参照係数ｇ＝０、非加算フィルタ３６６０には参照係数ｇ＝１を掛けた特性になっている。その結果、第２の読み出しモードに対して通常のバイキュービックフィルタを用いたリサイズ結果を得ることができる。
【０１２３】
なお、図３５、図３６では、ＹＣＣ画像の輝度データに対するリサイズについて説明したが、色差データについても同様の処理を行うことで輝度データの場合と同じ効果を得ることができる。
【０１２４】
次に、垂直フィルタ生成部８２０がフィルタを生成する際に、全体ズーム倍率に対して、フィルタに掛ける係数を、どのように変化させるかを説明する。
【０１２５】
図３７は、全体ズーム倍率と、垂直フィルタ生成部８２０が生成するフィルタに掛ける参照係数ｇの関係の概略を示すグラフである。
【０１２６】
全体ズーム倍率１〜２０倍の範囲では、第１の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、参照係数ｇ＝１の非加算フィルタを掛け、参照係数ｇ＝０の加算フィルタを掛ける。全体ズーム倍率２０〜４０倍の範囲では、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、非加算フィルタの参照係数ｇを０から１に滑らかに変化させ、加算フィルタの参照係数ｇを０．５から０に滑らかに変化させる。全体ズーム倍率４０倍〜２００倍の範囲では、第２の読み出しモードでバッファメモリ１２１に格納されたＹＣＣ画像に対して、参照係数ｇ＝１の非加算フィルタを掛け、参照係数ｇ＝０の加算フィルタを掛ける。
【０１２７】
このように全体ズーム倍率に対して垂直方向フィルタの特性を変化させることで、第１の読み出しモードと第２の読み出しモードを切り替えた際に、画像の垂直方向の周波数特性の変化を抑制させることができる。
【０１２８】
なお、本実施形態では、リサイズ部１２２を最大８タップの１次元フィルタで構成しているが、タップ数を変更したり、２次元の非分離型フィルタを用いても、本発明の目的を達成することができる。
【０１２９】
また、本実施形態では、バイキュービックフィルタを用いてリサイズを行っているが、その他のフィルタを用いても、本発明の目的を達成することができる。
【０１３０】
また、本実施形態では、水平方向に１／２間引き、垂直方向に２画素加算の読み出しモードを例に挙げて説明したが、垂直方向に１／２間引き、水平方向に２画素加算の読み出しモードであってもよい。また、間引きの量や画素加算の量が変わったり、両者を組み合わせたりしても、本発明の目的を達成できる。
【０１３１】
また、本実施形態では、２つの読み出しモードについてのみ説明したが、３つ以上の読み出しモードを持つ撮像装置であっても、ある読み出しモードと他の読み出しモードとを行き来する際に本発明を適用することで、本発明の目的を達成することができる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の第１の実施形態に係るビデオカメラの概略構成を示すブロック図である。
【図２】撮像センサの読み出し範囲を示す概略図である。
【図３】垂直画素加算を説明するための説明図である。
【図４】水平画素間引きを説明するための説明図である。
【図５】２つの読み出しモードでバッファメモリに格納されたＹＣＣ画像の概略図であり、（ａ）は第１の読み出しモードによるもの、（ｂ）は第２の読み出しモードによるものである。
【図６】全体ズーム倍率と、光学ズーム倍率および電子ズーム倍率の関係を示す図である。
【図７】全体ズーム倍率と、撮像センサの読み出しモードの関係を示す図である。
【図８】リサイズ部１２２の構成を示すブロック図である。
【図９】バイキュービックフィルタを表す関数Ｈ（ｔ）を示す図である。
【図１０】バイキュービックフィルタを示すグラフである。
【図１１】参照範囲ｗと参照係数ｇを含めたバイキュービックフィルタを表す関数Ｈ（ｔ）を示す図である。
【図１２】参照範囲ｗと参照係数ｇを含めたバイキュービックフィルタを示すグラフである。
【図１３】電子ズーム倍率１倍、第１の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図１４】電子ズーム倍率２倍、第１の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図１５】電子ズーム倍率１倍、第２の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図１６】電子ズーム倍率１．５倍、第２の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図１７】電子ズーム倍率２倍、第２の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図１８】全体ズーム倍率に対する水平方向のフィルタの参照範囲ｗを示すグラフである。
【図１９】滑らかな曲線を得るための２次関数の一例を示す図である。
【図２０】２次関数で得られた滑らかな曲線を示すグラフである。
【図２１】全体ズーム倍率に対する水平方向のフィルタの参照係数ｇを示すグラフである。
【図２２】参照範囲ｗと参照係数ｇと位相ｐを含めたバイキュービックフィルタを表す関数Ｈ（ｔ）を示す図である。
【図２３】参照範囲ｗと参照係数ｇと位相ｐを含めたバイキュービックフィルタを示すグラフである。
【図２４】電子ズーム倍率１倍、第１の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図２５】電子ズーム倍率２倍、第１の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図２６】電子ズーム倍率１倍、第２の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図２７】電子ズーム倍率１．５倍、第２の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図２８】電子ズーム倍率２倍、第２の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図２９】全体ズーム倍率に対する垂直方向のフィルタの参照範囲ｗを示すグラフである。
【図３０】全体ズーム倍率に対する垂直方向のフィルタの参照係数ｇを示すグラフである。
【図３１】全体ズーム倍率に対する垂直方向のフィルタの位相ｑを示すグラフである。
【図３２】本発明の第２の実施形態における電子ズーム倍率１倍、第２の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図３３】第２の実施形態における電子ズーム倍率２倍、第２の読み出しモードでの水平方向のリサイズ動作を示す図である。
【図３４】第２の実施形態における全体ズーム倍率に対する水平方向のフィルタの参照係数ｇを示すグラフである。
【図３５】第２の実施形態における電子ズーム倍率１倍、第２の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図３６】第２の実施形態における電子ズーム２倍、第２の読み出しモードでの垂直方向のリサイズ動作を示す図である。
【図３７】第２の実施形態における全体ズーム倍率に対する垂直方向のフィルタの参照係数ｇを示すグラフである。
【符号の説明】
【０１３３】
１００  ビデオカメラ本体
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
１０４  操作部
１０５  内部バス
１１０  レンズユニット
１１１  絞り
１１２  レンズドライバ
１１３  撮像センサ
１１４  ＡＦＥ（アナログフロントエンド）
１２０  色変換部
１２１  バッファメモリ
１２２  リサイズ部
１２３  画像出力部
【図１】
2010098577.tif 000003
【図２】
2010098577.tif 000004
【図３】
2010098577.tif 000005
【図４】
2010098577.tif 000006
【図５】
2010098577.tif 000007
【図６】
2010098577.tif 000008
【図７】
2010098577.tif 000009
【図８】
2010098577.tif 000010
【図９】
2010098577.tif 000011
【図１０】
2010098577.tif 000012
【図１１】
2010098577.tif 000013
【図１２】
2010098577.tif 000014
【図１３】
2010098577.tif 000015
【図１４】
2010098577.tif 000016
【図１５】
2010098577.tif 000017
【図１６】
2010098577.tif 000018
【図１７】
2010098577.tif 000019
【図１８】
2010098577.tif 000020
【図１９】
2010098577.tif 000021
【図２０】
2010098577.tif 000022
【図２１】
2010098577.tif 000023
【図２２】
2010098577.tif 000024
【図２３】
2010098577.tif 000025
【図２４】
2010098577.tif 000026
【図２５】
2010098577.tif 000027
【図２６】
2010098577.tif 000028
【図２７】
2010098577.tif 000029
【図２８】
2010098577.tif 000030
【図２９】
2010098577.tif 000031
【図３０】
2010098577.tif 000032
【図３１】
2010098577.tif 000033
【図３２】
2010098577.tif 000034
【図３３】
2010098577.tif 000035
【図３４】
2010098577.tif 000036
【図３５】
2010098577.tif 000037
【図３６】
2010098577.tif 000038
【図３７】
2010098577.tif 000039