(57)【要約】【課題】撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる撮像装置およびその制御方法を提供する。【解決手段】ＴＧ１０４は、撮像素子１０３に対して電荷を読み出すタイミングおよび電荷を混合または転送するタイミングを制御するタイミング信号を生成する。ズーム制御部１１３は、撮像素子１０３の出力信号を基に生成される映像データを信号処理により拡大または縮小する倍率を決定する。また、ズーム制御部１１３は、撮像素子１０３における電荷の画素混合数および切り出し範囲を決定する。垂直倍率制御部１１６は、ズーム制御部１１３の決定した混合数に応じた電荷の混合および切り出し範囲に応じた電荷転送となるようＴＧ１０４を制御する。【選択図】　　図１
2004072278.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に複数の受光素子が配置された撮像領域を有する撮像素子と、
前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御する制御手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記撮像素子の受光面に対して結像する像の拡大または縮小を行う光学ズーム手段を有し、前記制御手段は、光学ズ−ムの場合は、前記第１の制御モードで動作するように制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第２の領域よりも小さい第３の領域からの信号を用いて映像デ―タを出力する第３の制御モードを有し、前記第３の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２のモードでは、前記第２の領域から複数ラインの信号を間引いて前記映像デ―タを出力することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記撮像素子に対して前記電荷を読み出すタイミングおよび前記電荷を混合または転送するタイミングを制御するタイミング信号を生成するタイミング信号生成手段と、
前記制御手段の制御に基づき、前記タイミング信号生成手段を制御するタイミング信号制御手段と
を具備することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記映像データの拡大または縮小を利用者が操作するためのズーム操作手段を更に具備し、
前記制御手段は、前記ズーム操作手段の操作に応じて前記処理倍率を決定すること
を特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、利用者が前記ズーム操作手段で縮小する操作を行った場合に、前記縮小する操作に応じた縮小倍率を決定し、利用者が前記ズーム操作手段で拡大する操作を行った場合に、前記拡大する操作に応じた拡大倍率を決定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記タイミング信号制御手段は、前記撮像素子において前記処理倍率に応じた領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項４から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像素子の受光面に対して結像する像の拡大または縮小を行う光学ズーム手段と、
前記映像データまたは前記像の拡大または縮小を利用者が操作するためのズーム操作手段と、
前記ズーム操作手段の操作に応じて前記光学ズーム手段の動作を制御する光学ズーム制御手段と
を更に具備し、
前記制御手段は、前記光学ズーム制御手段が前記光学ズーム手段を制御する処理および前記ズーム操作手段の操作に応じて前記処理倍率を決定すること
を特徴とする請求項１に記載の撮像装置。
【請求項９】
前記制御手段は、前記光学ズーム手段が最も広角側にある状態で、利用者が前記ズーム操作手段で更に縮小する操作を行った場合に、前記縮小する操作に応じた縮小倍率を決定し、前記光学ズーム手段が最も望遠側にある状態で、利用者が前記ズーム操作手段で更に拡大する操作を行った場合に、前記拡大する操作に応じた拡大倍率を決定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記光学ズーム手段が最も広角側にある状態で、利用者が前記ズーム操作手段で更に縮小する操作を行った場合に、前記タイミング信号制御手段は、前記撮像素子において広げた領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項８または請求項９に記載の撮像装置。
【請求項１１】
前記光学ズーム手段が最も望遠側にある状態で、利用者が前記ズーム操作手段で更に拡大する操作を行った場合に、前記タイミング信号制御手段は、前記撮像素子において縮小した領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項８または請求項９に記載の撮像装置。
【請求項１２】
２次元状に複数の受光素子が配置された撮像領域を有する撮像素子を有する撮像装置の制御方法であって、
前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ズーム機能を持った撮像装置およびその制御方法に関するものである。
【０００２】
【従来の技術】
従来の撮像装置は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像素子が光電変換を行い出力する電気信号をデジタル信号化し、デジタル信号処理を施して所定の映像信号を得る。更にズーム機能を有する撮像装置は、一般的に撮像素子の前に光学ズームレンズを用いて広角側から望遠側まで画角を任意に決めて撮影できるようになっている。また、撮像素子の中央部分に結像した被写体像をデジタル信号処理により電気的に拡大処理を行う電子ズーム処理によって、更に望遠側の映像信号が得られるようになっている。
【０００３】
図９は、従来のズーム機能を備える撮像装置の概略構成を示すブロック図である。
図９において、撮像装置３０は、光学ズームおよび電子ズームによるズーム機能を備え、撮像素子の出力信号からテレビ信号等を生成して出力する撮像装置である。レンズ４０は、撮像素子４２へ被写体を結像する。モータ４１は、レンズ４０を駆動するモータである。撮像素子４２は、ＣＣＤ等の光電変換を行う撮像素子である。ＴＧ（タイミングジェネレータ）４３は、撮像素子４２をドライブするタイミングジェネレータである。ＡＤ変換器４４は、撮像素子４２の出力信号をデジタル信号に変換するＡＤ（アナログ−デジタル）変換回路である。信号処理部４５は、ＡＤ変換器４４の出力信号を基に、色分離処理、ガンマ処理等を行い、輝度信号および色差信号を生成する信号処理回路である。
【０００４】
ズーム操作ボタン４６は、利用者がズーム操作を行うボタンである。一般的にズーム操作ボタン４６は、映像を拡大する拡大ボタン（または、ＴＥＬＥボタン）と拡大した映像を基に戻す縮小ボタン（または、ＷＩＤＥボタン）より構成される。ズーム切り替え部４７は、ズーム操作ボタン４６の操作に応じた拡大／縮小処理を、光学ズームで行うか電子ズームで行うかを判断し切り替える回路である。光学ズーム制御部４８は、ズーム切り替え部４７の判断を基に、レンズ４０が撮像素子４２に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ４１を制御する制御信号を出力する回路である。
【０００５】
尚、光学ズーム制御部４８は、レンズ４０が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせる通知信号をズーム切り替え部４７へ出力する。ズーム切り替え部４７は、この通知信号と、ズーム操作ボタン４６の操作を基に、光学ズームと電子ズームを切り替える。
【０００６】
ここで、ズーム切り替え部４７の切り替え処理について更に説明する。
図１０は、従来の撮像装置３０が備えるズーム切り替え部４７による光学ズームと電子ズームの切換処理を示す図である。図１０に示すように、ズーム切り替え部４７は、光学ズームにより移動するレンズ４０がＴＥＬＥ端に達してから電子ズームに切り替えている。具体的には、光学ズーム制御部２８が、モータ４１の位置から光学ズームのＴＥＬＥ端を検知し、ズーム切り替え部４７へ通知信号を出力する。
【０００７】
次に、上述した図９に示した従来の撮像素子の動作について、縦４８０画素、横７２０画素から構成される図１１（ａ）に示す撮像素子を例に説明する。
図１１（ａ）は、従来の撮像素子における画素混合例を示す図である。
通常、撮像素子４２は、動画像撮影時はインタレース読み出しを行う。つまり、ＴＧ４３からのドライブにより、撮像素子４２においては垂直方向に隣り合う２画素の電荷が混合されて転送される。図１１（ａ）に示すように、補色系の色フィルタを画素毎に形成している撮像素子４２においては、シアン（Ｃｙ）＋イエロー（Ｙｅ）の２画素の電荷を混合した信号とマゼンタ（Ｍｇ）＋グリーン（Ｇｒ）の２画素の電荷を混合した信号を出力する。
【０００８】
以上により、撮像素子４２は、垂直方向に２画素を混合し、垂直２４０画素、水平７２０画素を１フィールド分として信号を出力する。次に、この信号はＡＤ変換機４４によりデジタル信号に変換される。次に、信号処理部４７において色分離処理やガンマ処理、輝度信号および色差信号生成が行なわれる。また、輝度信号および色差信号を基にＮＴＳＣテレビジョン信号を生成して出力してもよい。
【０００９】
次に、従来の撮像装置における電子ズームの処理について説明する。
図１１（ｂ）は、電子ズーム処理する場合の撮像素子からの電荷の読み出し方法を示す図である。画面の一部を電気的に拡大して出力する電子ズーム処理では、図１１（ｂ）に示すように撮像素子４２の中央部分の信号を用いて拡大処理を行う。図１１（ｂ）は倍率（処理倍率）２倍の電子ズームを行う場合であり、垂直方向４８０画素の内、中心部分の２４０画素を、１フィールド期間かけて読み出す。すなわち、撮像素子４２の中央部分の信号を水平方向の１ライン単位で間欠的に読み出すことによって、撮像素子の中央部分の信号が１フィールド期間（一映像走査期間）に引き伸ばされて出力される。
【００１０】
尚、間欠読み出しを行う時は、信号処理部４５は、撮像素子４２から信号が読み出されない期間において、既に読み出された信号を利用して補間するためのメモリ等を用いて補間処理を行う。従って、図１１（ｂ）に示す２倍の電子ズームの場合に、電子ズーム処理によって読み出される信号は、撮像素子４２は垂直方向１２０画素の信号である。また、信号処理部４５は、メモリを用いた補間処理によって、間欠読み出しされた垂直方向１２０画素の信号から垂直方向２４０画素の信号を生成する。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した撮像装置ではＴＶモニタ等の表示装置の解像度と同数の画素数のデータを読み出す撮像素子を用いているので、例えば、倍率２倍の電子ズーム処理では撮像素子の撮像面の１／４部分を表示装置全面に表示することになる。これにより、表示装置に表示される映像の解像度は水平、垂直で１／２となってしまう問題があった。
すなわち、縦４８０画素、横７２０画素から構成される撮像素子を利用して、電子ズーム処理によって縦と横それぞれ２倍に拡大する場合、撮像素子の中央部分の縦２４０画素、横３６０画素（全画素数の１／４）の信号を基に、補間することで縦４８０画素、横７２０画素を生成するため解像度は大幅に低下してしまう。
【００１２】
本発明は、上述した事情を考慮してなされたもので、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる撮像装置およびその制御方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による撮像装置においては、２次元状に複数の受光素子が配置された撮像領域を有する撮像素子と、前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御する制御手段とを具備することを特徴とする。
【００１４】
また、２次元状に複数の受光素子が配置された撮像領域を有する撮像素子を有する撮像装置の制御方法であって、前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御することを特徴とする。
【００１５】
これにより、本発明の撮像装置およびその制御方法においては、電子ズーム倍率（処理倍率）に応じて、画素の混合数を調整し映像の解像度を変更することができる。すなわち、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
まず、本発明の第一の実施形態である撮像装置の概略構成について説明する。
図１は、本発明の第一の実施形態における撮像装置の概略構成を示す図である。図１において、撮像装置１００は、光学ズームおよび電子ズームによるズーム機能を備え、撮像素子の出力信号からテレビ信号等を生成して出力する撮像装置である。レンズ１０１は、複数のレンズ等で構成され、後述する撮像素子１０３の受光面に被写体を結像するズームレンズである。モータ１０２は、レンズ１０１を駆動するモータである。このモータ１０２がレンズ１０１を駆動することで撮像素子１０３へ結像する被写体の画角を変更しズーム機能を実現する。
【００１７】
撮像素子１０３は、ＣＣＤ等の光電変換を行う撮像素子である。撮像素子１０３は、図３（ａ）に示すような補色フィルタを有する２次元配置された光電変換を行う複数の受光素子（以下、画素とする）を備え、各画素で生成される電荷を読み出し、読み出した電荷を混合及び／または転送することで電荷量に応じた出力信号を出力する。また、撮像素子１０３は、垂直方向に隣り合う１〜Ｎ個（Ｎは自然数）の画素の電荷を混合して、１〜Ｎ個の画素単位で電荷を転送する。尚、図３（ａ）および電荷の混合方法についての説明は後述する
【００１８】
ＴＧ（タイミング信号生成手段）１０４は、撮像素子１０３をドライブするタイミングジェネレータである。ＴＧ１０４は、撮像素子１０３における電荷蓄積、電荷の混合（画素混合）、電荷転送のタイミングを制御するタイミング信号を生成する。ＡＤ変換器１０５は、撮像素子１０３の出力信号をデジタル信号に変換するＡＤ（アナログ−デジタル）変換を行う。
【００１９】
垂直補間処理部１０６は、電子ズーム処理の際に撮像素子１０３ａからの出力信号の垂直補間を行う回路である。尚、電子ズーム処理をしない場合は、垂直補間処理部１０６は、ＡＤ変換器１０５からの入力信号をそのまま出力信号として出力する。
【００２０】
色分離部１０７は、垂直補間処理部１０６の出力信号を色分離処理してＲＧＢ（Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ））信号を出力する回路である。アパーチャ／ガンマ処理部１０８は、色分離部１０７の出力するＲＧＢ信号に対して輪郭強調などの処理であるアパーチャ処理や、ガンマ補正などの処理であるガンマ処理を行う回路である。輝度色差処理部１０９は、アパーチャ／ガンマ処理部１０８により処理されたＲＧＢ信号からの輝度信号と色差信号を生成する回路である。
【００２１】
水平切り出し部１１０は、電子ズーム処理の際に、処理倍率に応じて輝度色差処理部１０９の出力する輝度信号と色差信号の水平方向１ラインにおける中央部分を切り出す回路である。水平補間処理部１１１は、水平切り出し部１１０が切り出した輝度信号と色差信号を、処理倍率に応じて拡大し水平補間する回路である。尚、水平切り出し部１１０と水平補間処理部１１１の処理により映像信号のアスペクト比を４：３に調整する。
【００２２】
ズーム操作ボタン１１２は、利用者がズーム操作を行うボタンであり、映像を拡大する拡大ボタン（または、ＴＥＬＥボタン）と拡大した映像を基に戻す縮小ボタン（または、ＷＩＤＥボタン）より構成される。また、ズーム操作ボタン１１２は、利用者により拡大ボタンが押下されている場合には、拡大操作信号を出力し、利用者により縮小ボタンが押下されている場合には、縮小操作信号を出力する。
【００２３】
ズーム制御部１１３は、ズーム操作ボタン１１２の出力する拡大操作信号または縮小操作信号（２つをまとめて操作信号とする）に応じて、レンズ１０１による光学ズームを行うか、信号処理による電子ズームを行うかを判断し切り替える回路である。更に、ズーム制御部１１３は、光学ズームを行うと判断した場合は、後述する光学ズーム制御部１１４へ光学ズーム時の倍率を指示する指示信号を出力する。また、ズーム制御部１１３は、電子ズ−ム処理を行うと判断した場合には、垂直倍率制御部１１６、水平倍率制御部１１７を制御するようにする。尚、ズーム制御部１１３と光学ズーム制御部１１４の処理関係については後述する。
【００２４】
光学ズーム制御部１１４は、ズーム制御部１１３の指示信号を基に、レンズ１０１が撮像素子１０３に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ１０２を制御する制御信号を出力する回路である。尚、光学ズーム制御部１１４は、レンズ１０１が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせる通知信号をズーム制御部１１３へ出力する。ズーム制御部１１３は、この通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ズームを切り替える。また、ズーム制御部１１３は、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。
【００２５】
垂直倍率制御部１１６は、ズーム制御部１１３の制御に基づき、垂直方向の混合数に応じた電荷の混合を行ったり、撮像素子内の任意の範囲の電荷転送を行うためのタイミング信号を出力するようＴＧ１０４を制御するＴＧ制御機能（タイミング信号制御手段）を有する。具体的には、垂直倍率制御部１１６は、撮像素子１０３が１ライン単位の間欠出力信号を出力したり、撮像素子１０３が撮像素子内の中央部分のみの電荷を出力したりするためのタイミング信号を生成するようにＴＧ１０４を制御するＴＧ制御信号を出力する。
【００２６】
水平倍率制御部１１７は、水平方向の拡大／縮小処理を行うため、水平切り出し部１１０と水平補間処理部１１１へ水平倍率信号を出力する回路である。
【００２７】
ここで、ズーム制御部１１３の切り替え処理と電子ズーム倍率決定処理について更に説明する。
図２は、図１の撮像装置１００における光学ズームと電子ズームの切り替え処理および画素の混合数と電子ズーム倍率の変化を示す図である。
【００２８】
図２に示すように、ＷＩＤＥ端の位置にレンズ１０１がある状態（ｔ１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、以下の順に撮像装置１００の状態が変化する。まず、レンズ１０１が光学ズーム倍率に応じてＴＥＬＥ端へ向けて移動し、最大の光学ズーム倍率（例えば１０倍）になるとレンズ１０１はＴＥＬＥ端の位置に移動した状態となる（ｔ２）。次に、光学ズームと電子ズームの切換処理により電子ズーム処理が始まり、電子ズーム倍率が上昇する。これにより、例えば電子ズーム倍率が２倍の時は、撮像装置１００の操作者には、光学ズーム倍率１０倍と掛け合わせた２０倍の映像が提供される。
【００２９】
以上に示したように、撮像装置１００は、ズーム操作ボタン１１２の操作に応じて、光学ズーム処理を実行したり、電子ズーム処理を実行したりする。また、撮像装置１００は、電子ズーム処理において、ズーム操作ボタン１１２の操作に応じて電子ズーム倍率を決定し、電子ズーム倍率に応じた電荷の画素混合数を決定する。これにより、ズーム操作ボタン１１２の操作により電子ズーム倍率が高倍率になった場合に、撮像装置１００は、電荷の画素混合数を減少させることで電子ズーム後の映像の解像度を向上させることができる。
【００３０】
次に、図２のｔ２の時点における光学ズームと電子ズームの切換処理について説明する。図２に示すようにズーム制御部１１３は、光学ズームにより移動するレンズ１０１がＴＥＬＥ端に達してから電子ズームに切り替えている。具体的には、光学ズーム制御部１１４が、モータ１０２の位置から光学ズームのＴＥＬＥ端を検知し、ズーム制御部１１３へ通知信号を出力する。次に、ズーム制御部１１３は、ズーム操作ボタン１１２より拡大操作信号を受信すると、電子ズームに切り替えて、電子ズームの処理倍率を算出し、算出した処理倍率を含む電子ズーム処理の指示信号を出力する。尚、以下の説明において撮像装置１００が光学レンズの移動をせずに電子ズーム処理を行っている場合の動作モードを電子ズームモード、光学レンズを移動させている場合の動作モードを光学ズームモードとする。
【００３１】
次に、図２のｔ１からｔ３の間における光学ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示し、撮像装置１００の動作について説明する。
図３（ａ）は、光学ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。
【００３２】
図３（ａ）に示すように、撮像素子１０３は、垂直４８０画素、水平７２０画素のインタレース用の補色フィルタ（Ｃｙ、Ｍｇ、Ｙｅ、Ｇｒ）を有する画素配列である。ＴＧ１０４がタイミング信号を供給することで、撮像素子１０３は、１フィールド期間内に撮像素子１０３全体の電荷を読み出すために以下の処理を行う。まず、撮像素子１０３は、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った２画素（Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇｒ）の混合処理を行う。この混合処理を行うことにより、撮像素子１０３が出力信号として出力する画素数は撮像素子１０３の有する画素数の半分である垂直２４０画素、水平７２０画素となる。すなわち、出力する画素数が半分になるので、撮像措置１０３が全画素を出力するのに要する時間もおよそ半分になり、１フィールド期間内に全部の画素混合した電荷を読み出すことができる。
【００３３】
次に、撮像素子１０３は、垂直転送部により２画素分を混合した電荷を垂直方向に転送する。次に、撮像素子１０３は、水平転送部により垂直転送部より転送されてきた電荷を水平ライン毎に転送する。次に、撮像素子１０３は、出力処理部により水平転送部より転送されてきた電荷を電圧信号に変換して出力信号として出力する。以上の処理を、撮像素子１０３は、ＴＧ１０４の出力するタイミング信号の制御に応じて行う。
【００３４】
次に、ズーム操作ボタン１１２の操作によって図２のｔ３の時点における撮像装置１００の動作について説明する。ここでは、ズーム操作ボタン１１２の操作によりズーム制御部１１３の出力する電子ズーム倍率が１．５倍弱から１．５倍強に変化する場合について説明する。電子ズーム倍率が１．５倍弱の場合では、垂直方向の２画素の電荷を混合するとともに、撮像素子の上部の６０ライン分と下部の６０ライン分を掃き捨て、撮像素子から中心部分の３２０ライン分（混合された１８０ライン分）の電荷を出力する。そして、混合された１８０ライン分の電荷は、垂直補間回路１０６により、垂直補間され２４０ライン分の電荷になる。
【００３５】
電子ズーム倍率が１．５倍強になると、画素の混合数が１画素（非混合）になる。以上により、２画素混合していた場合は、１．５倍であれば垂直方向においては簡単にいうと２画素から３画素分の信号を作成していたが、非混合に変更することで、４画素から１画素を間引いた３画素より３画素分の信号を作成すればよく、垂直方向の解像度を向上させることができる。
【００３６】
次に、垂直倍率制御部１１６は、電子ズーム倍率＝１．５倍に応じた電荷転送となるタイミング信号を出力するようＴＧ１０４を制御するＴＧ制御信号を出力する。これにより、ＴＧ１０４は、撮像素子１０３へ、中心部分の３２０ラインから画素混合なしで、１ライン単位で４ラインに１ラインの割合で間引いて電荷を出力するよう転送処理を行うタイミング信号を出力する。この時、撮像素子１０３は、垂直方向に隣り合った画素同士の混合処理を停止し、各画素の信号を非混合のまま読み出す。
【００３７】
ここで、間引かれた１ラインの上下のラインにおける映像の繋がりが自然に見えるような画質改善処理を行ってもよい。また、映像が自然に見えるような画質改善処理については後述する。
【００３８】
また、水平倍率制御部１１７は、水平切り出し部１１０と水平補間処理部１１１へ水平倍率信号を出力する。これにより、水平切り出し部１１０においては、水平倍率に応じた切り出し処理を行い、水平７２０画素の中央部分の５４０画素を切り出す。次に、水平補間処理部１１１は、水平切り出し部１１０の切り出した画素データに対して、１ライン分の拡大画素データを生成する水平拡大処理を行う。具体的には、水平補間処理部１１１は、２画素分の画素データから３画素分の拡大画素データを生成する。以上により、撮像装置１００は、出力画像として、従来の２画素混合と比べて垂直方向の解像度の向上した電子ズーム倍率が１．５倍の映像を出力することができる。
【００３９】
次に、ズーム操作ボタン１１２の操作によって図２のｔ４の時点における撮像素子１０３における電荷転送および画素混合の処理例を示し、撮像装置１００の動作について説明する。
図３（ｂ）は、電子ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。尚、この時のズーム制御部１１３が出力する電子ズーム倍率は２倍である。
【００４０】
図３（ｂ）に示すように、ＴＧ１０４がタイミング信号を供給することで、撮像素子１０３は、１フィールド期間内に撮像素子１０３の一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６は、ズーム制御部１１３の制御に基づき、撮像素子１０３において非混合であって、２４０ライン分の電荷を出力するタイミング信号をＴＧ１０４が出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４は、非混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３へ供給する。
【００４１】
上述したタイミング信号により、まず、撮像素子１０３は、各画素で生成される電荷を垂直転送部へ読み出す。この時、撮像素子１０３は、垂直転送部において画素混合を行わない。次に、撮像素子１０３は、垂直方向の４８０画素の内、最初に水平転送部へ転送する１２０画素分（図３（ｂ）の掃き捨て部分Ａ）を高速転送により掃き捨てる。次に、撮像素子１０３は、中央部分の２４０画素を１ライン単位で水平転送部へ転送し、出力処理部より出力する。尚、この中央部分の画素エリアを有効エリアとする。次に、撮像素子１０３は、残りの１２０画素分（図３（ｂ）の掃き捨て部分Ｂ）を高速転送により掃き捨てる。
【００４２】
上記の垂直方向の上下１２０画素分を掃き捨てる理由は、撮像素子１０３の有効エリアの各画素信号を１フィールド期間内に非混合のまま全部読み出すことができないためであり、不要な部分を高速転送により掃き捨てることで、有効エリアを構成する非混合の画素信号を読み出せるようにしている。
【００４３】
以上の処理により撮像素子１０３が出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６に入力される。垂直補間処理部１０６においては、そのまま次の色分離部１０７へ出力する。次に、色分離部１０７は、電荷を非混合で出力した信号に応じた処理を行うことでＲＧＢ信号を生成する。次に、アパーチャ／ガンマ処理部１０８は、色分離部１０７が生成したＲＧＢ信号に対してアパーチャ処理やガンマ処理を行う。この時、色分離部１０７は、垂直倍率処理部１１６からの非混合の画素を処理するための制御信号によって色分離処理を行う。
【００４４】
次に、輝度色差処理部１０９は、アパーチャ／ガンマ処理部１０８の出力するＲＧＢ信号を基に輝度信号、色差信号を生成する。次に、水平切り出し部１１０は、水平７２０画素の中央部分の３６０画素を切り出す。水平補間処理部１１１は、切り出した中央部分の信号を水平映像期間（１ライン分）に拡大し補間する。以上により、撮像装置１００は、映像のアスペクト比を４：３に調整してから外部に出力することができる。
【００４５】
以上に示したように、ズーム操作ボタン１１２の操作によって図２のｔ４の時点において、撮像素子１０３の電荷転送および非混合を制御し、拡大映像信号は垂直方向に混合されていない垂直２４０画素と、切り出した水平３６０画素から垂直２４０画素、水平７２０画素の映像信号を生成する。これにより、従来の混合した垂直１２０画素と、切り出した水平３６０画素から垂直２４０画素、水平７２０画素の映像信号を生成する場合に比べて、垂直解像度の劣化が少ない高画質な拡大映像信号を得ることができる。尚、上述した実施形態における撮像装置１００は、電子ズーム倍率が１．５倍を境に画素の混合数を変更したが、この限りではなく、通常用いられている拡大／縮小時の画質を向上する信号処理の利用などを考慮して、より高画質の映像を得ることができる電子ズーム倍率を境にして好適である。
【００４６】
次に、ズーム操作ボタン１１２の操作によって図２のｔ４の以降からｔ５までの、撮像装置１００の動作について説明する。まず、撮像装置１００のズーム制御部１１３は、ズーム操作ボタン１１２からの拡大操作信号に応じて、更に電子ズーム倍率を上昇させる（２倍以上）。垂直倍率制御部１１６は、撮像素子１０３から非混合で２４０ラインよりも少ないライン数の電荷が出力されるように、ＴＧ１０４を制御する。つまり、撮像素子１０３の上部の１２０ラインよりも多いライン分の電荷と、撮像素子１０３の下部の１２０ラインよりも多いライン分の電荷は掃き捨てられる。そして、撮像素子１０３から出力された２４０ラインよりも少ない数のライン分の電荷は、垂直補間回路１０６で２４０ラインになるように補間される。
【００４７】
次に、本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置について説明する。
図４は、本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置の概略構成について示す図である。図４の撮像装置１００ａ内において、図１の撮像装置１００内と同じ符号（１０１、１０２、１０５、１０８〜１１５、１１７）を付与したものは、同様の処理を行うものであり説明を省略する。
【００４８】
尚、図４の撮像装置１００ａと図１の撮像装置１００において、大きく異なる機能は以下に示す２点である。
・原色フィルタの撮像素子をドライブし、その出力信号を処理する機能を有する。
・垂直方向の３画素を混合することにより、電子ワイド機能を有する。
以下、上述した２点の機能に重点をおいて撮像装置１００ａについて説明する。
【００４９】
尚、電子ワイド機能とは、レンズ１０１が最も広角側に達した状態で、デジタル信号処理により電気的に縮小処理を行う機能である。これにより、撮像装置１００ａは、映像信号として出力できる被写体像の範囲を更に広げることができる。
【００５０】
撮像素子１０３ａは、図５（ａ）に示すような垂直７２０画素、水平１４４０画素の原色フィルタを有する撮像素子である。また、撮像素子１０３ａは、垂直方向に隣り合う３つの画素の電荷を混合することができる。尚、図５（ａ）の説明については、後述する。また、ＴＧ１０４ａは、撮像素子１０３ａをドライブするタイミングジェネレータである。ＴＧ１０４ａは、原色フィルタを有する撮像素子１０３ａにおいて混合および転送を制御するタイミング信号を出力する。また、垂直補間処理部１０６ａは、電子ズーム処理の際に撮像素子１０３ａからの出力信号の垂直補間を行う回路である。
【００５１】
尚、電子ズーム処理をしない場合は、垂直補間処理部１０６ａは、ＡＤ変換器１０５からの入力信号をそのまま出力信号として出力する。また、色分離部１０７ａは、垂直補間処理部１０６ａの出力信号を色分離処理してＲＧＢ信号を出力する回路である。この時、色分離部１０７ａは、原色フィルタを有する撮像素子１０３ａの出力信号に応じた信号処理を行う。
【００５２】
また、ズーム制御部１１３ａは、ズーム操作ボタン１１２の出力する拡大操作または縮小操作を指示する操作信号に応じて、レンズ１０１による光学ズームを行うか、信号処理による電子ズームまたは電子ワイドを行うかを判断し動作モードを切り替える制御を行う。更に、ズーム制御部１１３ａは、光学ズームを行うと判断した場合は、後述する光学ズーム制御部１１４ａへ光学ズーム時の倍率を指示する指示信号を出力する。
【００５３】
尚、ズーム制御部１１３ａと光学ズーム制御部１１４ａの処理関係については後述する。また、ズーム制御部１１３ａは、電子ズーム処理を行うと判断した場合には、電子ズーム処理における拡大の処理倍率を算出する。また、ズーム制御部１１３ａは、電子ワイド処理を行うと判断した場合には、電子ワイド処理における縮小の処理倍率を算出する。また、ズーム制御部１１３ａが、拡大または縮小の処理倍率を算出する処理については後述する。
【００５４】
光学ズーム制御部１１４ａは、ズーム制御部１１３ａの指示信号を基に、レンズ１０１が撮像素子１０３に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ１０２を制御する制御信号を出力する回路である。また、光学ズーム制御部１１４は、レンズ１０１が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせるＴＥＬＥ端通知信号をズーム制御部１１３ａへ出力する。また、光学ズーム制御部１１４は、レンズ１０１が最も広角側（ＷＩＤＥ端）である場合に、その旨を知らせるＷＩＤＥ端通知信号をズーム制御部１１３ａへ出力する。
【００５５】
ここで、ズーム制御部１１３ａが、処理倍率を算出し、決定する処理について説明する。
ズーム制御部１１３ａは、光学ズーム制御部１１４からのＴＥＬＥ端通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ズームを切り替える。また、ズーム制御部１１３ａは、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの拡大操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。
【００５６】
また、ズーム制御部１１３ａは、光学ズーム制御部１１４からのＷＩＤＥ端通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ワイドを切り替える。また、ズーム制御部１１３ａは、電子ワイド処理を行う場合に、現時点での電子ワイド倍率とズーム操作ボタン１１２からの縮小操作信号を基に次の電子ワイド倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。尚、電子ズーム倍率および電子ワイド倍率を纏めて電子処理倍率とする。
【００５７】
垂直倍率制御部１１６ａは、電子ズーム制御部１１３ａの制御に基づき、垂直方向の混合数に応じた電荷の混合を行ったり、電荷転送を行うためのタイミング信号を出力するようＴＧ１０４ａを制御するＴＧ制御機能（タイミング信号制御手段）を有する。
【００５８】
以上に説明したように、図４に示した撮像装置１００ａの各処理部は、図１に示した撮像装置１００の各処理部とほぼ同じ機能である。また、撮像装置１００ａは、レンズ１０１が最も広角側に達した場合に電子ワイド処理を行うが、この電子ワイド処理については、撮像装置１００が同様の処理機能を具備してもよい。
【００５９】
ここで、ズーム制御部１１３ａの動作モードの切り替え処理と電子処理倍率決定処理について更に説明する。
図６は、図４の撮像装置１００ａにおける動作モードとして、電子ワイドと光学ズームと電子ズームの切換処理を示す図である。
【００６０】
まず、撮像装置１００ａの光学ズーム処理および電子ズーム処理の動作について説明する。
図６に示すように、ＷＩＤＥ端の位置にレンズ１０１がある状態（ｔ１１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、撮像装置１００ａは、図６のｔ１１〜ｔ１５の順に光学ズーム処理および電子ズーム処理を行う。この図６のｔ１１〜ｔ１５に示す処理は、図２のｔ１〜ｔ５で示した撮像装置１００の動作と同様の動作となる。すなわち、撮像装置１００ａの光学ズームの動作および電子ズーム動作は、上述した撮像装置１００と同じである。但し、２画素混合の方法が異なるので、撮像素子１０３ａの電荷転送および画素混合の処理例を示し、図６のｔ１１〜ｔ１５における撮像装置１００ａの動作について簡単に説明する。
【００６１】
図５（ａ）は、図４に示した撮像素子１０３ａの原色フィルタ構成を示す図である。図５（ａ）の左側に示すように、撮像素子１０３ａは、ＲＧＢの原色フィルタが付与された垂直７２０画素、水平１４４０画素の画素配列を有する。この撮像素子１０３ａに対して、図６のｔ１１における２画素混合の処理をさせる場合に、撮像装置１００ａは以下に示す動作を行う。
【００６２】
図５（ｂ）は、光学ズーム時の撮像素子１０３ａにおける２画素混合時の電荷転送および画素混合の処理例を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａの一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６ａは、ズーム制御部１１３ａの制御を基に、撮像素子１０３ａにおいて２画素混合であって、２４０ライン分の電荷を出力するタイミング信号をＴＧ１０４ａが出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４ａは、２画素混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３ａへ供給する。
【００６３】
上述したタイミング信号により、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った２画素（Ｒ＋Ｒ、Ｂ＋Ｂ、Ｇ＋Ｇ）の混合処理を行う。次に、撮像素子１０３ａは、垂直方向の７２０画素の内、最初に水平転送部へ転送する１２０画素分（図５（ｂ）の掃き捨て部分Ａ）を高速転送により掃き捨てる。次に、撮像素子１０３ａは、中央部分の２画素混合後の２４０画素（混合前で４８０画素分）を１ライン単位で水平転送部へ転送し、出力処理部より出力する。次に、撮像素子１０３ａは、残りの１２０画素分（図５（ｂ）の掃き捨て部分Ｂ）を高速転送により掃き捨てる。
【００６４】
上記の垂直方向の上下１２０画素分を掃き捨てる理由は、撮像素子１０３ａの２画素混合後の各画素信号を１フィールド期間内に全部読み出すためである。以上の処理により撮像素子１０３ａが出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６ａに入力される。垂直補間処理部１０６ａにおいては、そのまま次の色分離部１０７ａへ出力する。次に、色分離部１０７ａは、撮像素子１０３ａの出力信号（２Ｒ、２Ｂ、２Ｇ）に応じた処理を行うことでＲＧＢ信号を生成する。以降の処理は、第一の実施形態で示した撮像装置１００と同様であるので省略する。
【００６５】
次に、撮像素子１０３ａに対して、図６のｔ１４における非混合の処理をさせる場合に、撮像装置１００ａは以下に示す動作を行う。
図５（ｃ）は、電子ズーム時の撮像素子１０３ａにおける非混合時の電荷転送および非混合の処理例を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａの一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６ａは、ズーム制御部１１３ａの制御を基に、撮像素子１０３ａにおいて非混合であって、１２０ライン分の電荷を出力するタイミング信号をＴＧ１０４ａが出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４ａは、非混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３ａへ供給する。
【００６６】
上述したタイミング信号により、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出す。次に、撮像素子１０３ａは、垂直方向の７２０画素の内、最初に水平転送部へ転送する２４０画素分（図５（ｃ）の掃き捨て部分Ｃ）を高速転送により掃き捨てる。次に、撮像素子１０３ａは、中央部分の２４０画素を１ライン単位で水平転送部へ転送し、出力処理部より出力する。次に、撮像素子１０３ａは、残りの２４０画素分（図５（ｃ）の掃き捨て部分Ｄ）を高速転送により掃き捨てる。
【００６７】
上記の垂直方向の上下２４０画素分を掃き捨てる理由は、撮像素子１０３ａにおいて垂直方向の中央部分の各画素信号を１フィールド期間内に全部読み出すためである。以上の処理により撮像素子１０３ａが出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６ａに入力される。垂直補間処理部１０６ａにおいては、そのまま次の色分離部１０７ａへ出力する。次に、色分離部１０７ａは、撮像素子１０３ａの出力信号（Ｒ、Ｂ、Ｇ）に応じた処理を行うことでＲＧＢ信号を生成する。以降の処理は、第一の実施形態で示した撮像装置１００と同様であるので省略する。
【００６８】
次に、撮像装置１００ａの電子ワイドの動作について説明する。
ここで、ＷＩＤＥ端とＴＥＬＥ端の間の位置にレンズ１０１がある状態（ｔ１１〜ｔ１２の間）において、ズーム操作ボタン１１２の縮小ボタンを押下し続けると、以下の順に撮像装置１００ａの状態が変化する。まず、レンズ１０１が光学ズーム倍率に応じてＷＩＤＥ端へ向けて移動し、最小の光学ズーム倍率（１倍）になるとレンズ１０１はＷＩＤＥ端の位置に移動した状態となる（ｔ１１）。次に、光学ズームと電子ワイドの切換処理により電子ワイド処理が始まり、電子処理倍率が下降する。
【００６９】
次に、電子処理倍率が０．７５倍になると画素の混合数を２画素から３画素へ変更して、３画素混合にする（ｔ１６）。これにより、撮像装置１００ａは、２画素混合において１２画素（受光素子２４画素分）から３画素を間引く縮小倍率（０．７５倍）の状態から、３画素混合の８画素（受光素子２４画素分）から９画素を生成する拡大倍率（１．１２５倍）の状態となる。これにより、２画素混合において、１／４の画素が間引かれることで画質の劣化が増大するところを、２画素混合に比べて解像度の低い３画素混合ではあるが、有効エリアの全画素の情報を利用することで、全体的な画質の向上を図ることが出来る。
【００７０】
そして、最小の電子処理倍率（２／３倍）まで下降した場合（撮像素子全面から垂直３画素混合して読み出す状態）は、ストップする（ｔ１７）。尚、本実施形態では、撮像装置１００ａの最小の電子処理倍率が２／３倍であったが、電子処理倍率が２／３倍以下となる更なる縮小処理を行っても良い。尚、２画素混合から３画素混合に切り替える電子処理倍率は、上述した０．７５倍の限りではなく、垂直補間処理と合わせて行う画質改善処理との組み合わせなどを考慮して、画質向上に最適な倍率であればよい。
【００７１】
上述した図６のｔ１７に示した最も広角側へ制御された場合（混合数＝３画素）の、撮像装置１００ａの動作について以下に説明する。
図５（ａ）の右側に示す図は、垂直方向の隣り合う３画素を混合し出力した場合の出力信号を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、図５（ａ）に示す撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａ全体の電荷を読み出すために以下の処理を行う。
【００７２】
まず、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った３画素（２Ｒ＋Ｇ、Ｂ＋２Ｇ）の混合処理を行う。この混合処理を行うことにより、撮像素子１０３ａが出力信号として出力する画素数は撮像素子１０３ａの有する画素数の３分の１である垂直２４０画素、水平１４４０画素となる。すなわち、出力する画素数が３分の１になるので、撮像素子１０３ａは、１フィールド期間内に全部の画素混合した電荷を読み出すことができる。尚、上述した全部の画素とは、撮像素子１０３ａの有効エリアにある画素の全てであっても、撮像素子１０３ａの有する画素の全てであってもよい。
【００７３】
次に、撮像素子１０３ａにおいて、３画素混合された信号は図５（ａ）に示すように、第一行目では２Ｒ＋Ｇ、Ｂ＋２Ｇ、・・・であり、第二行目では、Ｒ＋２Ｇ、２Ｂ＋２、・・・である。これにより、色分離部１０７ａは、例えば、以下の演算によってＲ信号、Ｇ信号、Ｂ信号を分離する。
Ｒ　＝　（２＊（２Ｒ＋Ｇ）　−　（Ｒ＋２Ｇ））／３
Ｇ　＝　−（（２Ｒ＋Ｇ）　−　２＊（Ｒ＋２Ｇ））／３
Ｂ　＝　（２＊（２Ｂ＋Ｇ）　−　（Ｂ＋２Ｇ））／３
【００７４】
ここで、色分離部１０７ａが上記の演算で求めた各信号は、垂直２４０画素、水平１４４０画素のベイヤー配列である撮像素子からの出力信号と等価である。これにより、色分離部１０７ａは、上記の演算で求めた各信号に対して通常の原色ベイヤー配列における色分離処理を行うことによってＲＧＢ信号を生成することができる。上述以降の、アパーチャ／ガンマ処理部１０８によるアパーチャ処理、ガンマ処理や、輝度色差処理部１０９、水平切り出し部１１０水平補間処理部１１１の処理は、上述した第一の実施形態と同じ処理であるので説明は省略する。
【００７５】
尚、上述した実施形態においては、撮像素子１０３ａの電荷を垂直方向に隣り合った３画素を混合したが、この限りではなく、撮像素子１０３ａから垂直方向に隣り合った同色の３画素を混合する方法でもよい。
以上に示したように、撮像装置１００ａの出力する映像信号は３画素を混合処理した広角側でも、２画素を混合処理したやや望遠域でも、非混合で読み出す望遠側でも垂直方向の画素数が２４０画素一定であるため垂直方向の解像度または画質を向上することができる。
【００７６】
また、上述した実施形態においては最大３画素を画素混合したがこの限りではなく、最も広角側の設定においては撮像素子に蓄積された画素電荷をＮ画素（Ｎは撮像素子で混合可能な最大画素数）混合して読み出してもよい。この場合には、ズーム操作ボタン１１２によって徐々に望遠側に設定を変えていくにつれて、混合する画素数をＮ画素混合からＮ−１画素混合、Ｎ−２画素混合、…と混合画素数を減少していくように制御する構成であればよい。また、上述した構成の撮像装置は、ズーム操作ボタン１１２の操作に応じて撮像素子上で垂直方向の画素を混合する画素数を切り替えることができる。これにより、垂直方向の解像度や画質の劣化の少ない拡大映像または縮小映像を得ることができる。
【００７７】
次に、上述した実施形態においては、撮像装置１００および撮像装置１００ａは、ズーム機能のあるレンズ１０１およびモータ１０２を備えていたが、ズーム機能のないレンズを具備する撮像装置について、第三の実施形態として説明する。
【００７８】
図７は、本発明の第三の実施形態として、ズーム機能のないレンズを具備する撮像装置の概略構成について示す図である。図７に示す撮像装置２００内において、図１の撮像装置１００ａ内と同じ符号（１０３ａ〜１１２、１１５ａ〜１１７）を付与したものは、同様の処理を行うものであり説明を省略する。尚、図７の撮像装置２００と図４の撮像装置１００ａにおいて、大きく異なる機能は以下に示す２点である。
・レンズに光学ズームの機能が無い。
・光学ズームと電子ズームまたは電子ワイドとの切り替えを行う機能が無い。
以下、上述した２点の機能に重点をおいて撮像装置２００について説明する。
【００７９】
レンズ２０１は、ズーム機能の無い例えば単焦点レンズなどのレンズである。ズーム制御部２０３は、ズーム操作ボタン１１２の出力する拡大操作または縮小操作を指示する操作信号に応じて、信号処理による電子ズームまたは電子ワイドを行うかを判断し、拡大／縮小の倍率の制御を行う。すなわち、ズーム制御部２０３は、電子ズーム処理を行うと判断した場合には、電子ズーム処理における拡大の倍率を算出し、電子ワイド処理を行うと判断した場合には、電子ワイド処理における縮小の倍率を算出する。
【００８０】
ここで、ズーム制御部２０３が、倍率を算出し、決定する処理について説明する。
ズーム制御部２０３は、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの拡大操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。また、ズーム制御部２０３は、電子ワイド処理を行う場合に、現時点での電子ワイド倍率とズーム操作ボタン１１２からの縮小操作信号を基に次の電子ワイド倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。尚、電子ズーム倍率および電子ワイド倍率を纏めて電子処理倍率とする。
【００８１】
次に、ズーム制御部２０３の電子処理倍率の決定処理について更に説明する。
図８は、図７の撮像装置２００における電子ワイド処理時または電子ズーム処理時の画素の混合数と電子処理倍率の変化を示す図である。図８に示すように、混合数＝２の場合に、撮像装置２００は、電子処理倍率＝１として、出力する映像の処理倍率が１倍である。尚、撮像装置２００の出力する映像の倍率や電子処理倍率と、画素混合数の関係は上述した限りではなく、任意に設定してよい。
【００８２】
まず、撮像装置２００の電子ズーム処理の動作について説明する。
図８に示すように、電子処理倍率が１倍の状態（ｔ２１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、撮像装置２００は、図８のｔ２１〜ｔ２４の順に電子ズーム処理を行う。この図８のｔ２１〜ｔ２４に示す処理は、図６のｔ１２〜ｔ１５で示した撮像装置１００ａの動作と同様の動作となる。すなわち、撮像装置２００の電子ズーム動作は、上述した撮像装置１００ａと同じであり、ｔ２１とｔ１２、ｔ２２とｔ１３、ｔ２３とｔ１４、ｔ２４とｔ１５が対応する。この時、ズーム制御部２０３は、ズーム制御部１１３ａと同様の処理を行う。但し、ｔ２１において、ｔ１２と比べて光学ズームから電子ズームへの切り替え処理が無く、撮像装置２００は、電子ワイド処理から電子ズーム処理へ切り替えを行う。
【００８３】
次に、撮像装置２００の電子ワイドの動作について説明する。
図８のｔ２１〜ｔ２５〜ｔ２６に示す処理は、図６のｔ１１〜ｔ１６〜ｔ１７で示した撮像装置１００ａの動作と同様の動作となる。すなわち、撮像装置２００の電子ワイド動作は、上述した撮像装置１００ａと同じであり、ｔ２１とｔ１１、ｔ２５とｔ１６、ｔ２６とｔ１７が対応する。この時、ズーム制御部２０３は、ズーム制御部１１３ａと同様の処理を行う。但し、ｔ２１において、ｔ１１と比べて光学ズームから電子ワイドへの切り替え処理が無く、撮像装置２００は、電子ズーム処理から電子ワイド処理へ切り替えを行う。
【００８４】
また、上述した実施形態においては、撮像素子１０３、１０３ａは、垂直方向にのみ電荷の混合機能を有していたがこの限りではない。例えば、撮像素子１０３、１０３ａが水平方向の電荷の混合機能を更に有する場合には、ズーム制御部２０３は、垂直方向と水平方向とを別々に混合数と切り出し範囲を算出し決定してもよい。また、撮像素子１０３、１０３ａにおいて垂直方向と水平方向で画素配列のアスペクト比と、撮像装置１００、１００ａの出力する映像信号のアスペクト比とが同じである場合などは、ズーム制御部２０３は、垂直方向と水平方向で共通に用いる混合数と切り出し範囲を算出して決定してもよい。
【００８５】
また、間欠ラインに関して、映像として自然なものにする画質改善処理について説明する。例えば斜めの直線を電子ズームした映像はギザギザの直線になってしまう。これをリニア補間やスプライン補間など一般に用いられている画質改善処理を行うことで、自然な映像となる。すなわち、映像を自然なものにする画質改善処理とは、リニア補間やスプライン補間などの処理を意味する。また、それらの処理はＲＧＢ信号に行うよりも輝度信号や色差信号に行う方が効果的である。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００８６】
【発明の効果】
以上説明したように、本発明では、電子ズームの倍率に応じて、画素の混合数を調整し映像の解像度を変更することができる。すなわち、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態における撮像装置の概略構成を示す図である。
【図２】図１の撮像装置１００における光学ズームと電子ズームの切り替え処理および画素の混合数と電子ズーム倍率の変化を示す図である。
【図３】光学ズーム時および電子ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。
【図４】本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置の概略構成について示す図である。
【図５】図４に示した撮像素子１０３ａの原色フィルタ構成と、電子ワイド時と、光学ズーム時と、電子ズーム時の撮像素子１０３ａにおける非混合時の電荷転送および非混合の処理例を示す図である。
【図６】図４の撮像装置１００ａにおける動作モードとして、電子ワイドと光学ズームと電子ズームの切換処理を示す図である。
【図７】本発明の第三の実施形態として、ズーム機能のないレンズを具備する撮像装置の概略構成について示す図である。
【図８】図７の撮像装置２００における電子ワイド処理時または電子ズーム処理時の画素の混合数と電子処理倍率の変化を示す図である。
【図９】従来のズーム機能を備える撮像装置の概略構成を示すブロック図である。
【図１０】従来の撮像装置３０が備えるズーム切り替え部４７による光学ズームと電子ズームの切換処理を示す図である。
【図１１】従来の撮像素子における画祖混合例と、電子ズーム処理する場合の撮像素子からの電荷の読み出し方法を示す図である。
【符号の説明】
１０１　　　　　　レンズ
１０２　　　　　　モータ
１０３、１０３ａ　撮像素子
１０４、１０４ａ　ＴＧ
１０５　　　　　　ＡＤ変換器
１０６、１０６ａ　垂直補間処理部
１０７、１０７ａ　色分離部
１０８　　　　　　アパーチャ／ガンマ処理部
１０９　　　　　　輝度色差処理部
１１０　　　　　　水平切り出し部
１１１　　　　　　水平補間処理部
１１２　　　　　　ズーム操作ボタン
１１３、１１３ａ　ズーム制御部
１１４　　　　　　光学ズーム制御部
１１６、１１６ａ　垂直倍率制御部
１１７、１１７ａ　水平倍率制御部
２０３　　　　　　ズーム制御部
【図１】
2004072278.tif 000003
【図２】
2004072278.tif 000004
【図３】
2004072278.tif 000005
【図４】
2004072278.tif 000006
【図５】
2004072278.tif 000007
【図６】
2004072278.tif 000008
【図７】
2004072278.tif 000009
【図８】
2004072278.tif 000010
【図９】
2004072278.tif 000011
【図１０】
2004072278.tif 000012
【図１１】
2004072278.tif 000013