(57)【特許請求の範囲】
【請求項１】
電子ズーム機能を有する撮像装置において、
被写体像を光電変換する撮像素子と、
前記撮像素子の画面内の第１の範囲の画素の信号を、情報量を所定の情報縮小率で縮小して読み出す第１の読み出しモードと、前記撮像素子の画面内の前記第１の範囲よりも小さい第２の範囲の画素の信号を、情報量を前記所定の情報縮小率よりも小さい縮小率で縮小して又は縮小せずに読み出す第２の読み出しモードとを電子ズームの拡大率に応じて切り替える切り替え手段と、
前記第１の読み出しモードで読み出された前記第１の範囲の画素の信号のうち、前記第１の範囲よりも小さい第３の範囲の信号に基づき第１の画像を生成するとともに、前記第２の読み出しモードで読み出された前記第２の範囲の信号に基づき第２の画像を生成する信号処理手段と、
前記切り替え手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えを行う際に、前記信号処理手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像と前記第２の画像の画質の変動を抑制する画像処理を行うように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像処理は、画像の輪郭強調を調節する処理であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理は、ホワイトバランスを調節する処理であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像処理は、露光制御を調節する処理であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の読み出しモードと前記第２の読み出しモードにおいて、読み出しフレームレートが略同一であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
電子ズーム機能を有し、被写体像を光電変換する撮像素子と、前記撮像素子の画面内の第１の範囲の画素の信号を、情報量を所定の情報縮小率で縮小して読み出す第１の読み出しモードと、前記撮像素子の画面内の前記第１の範囲よりも小さい第２の範囲の画素の信号を、情報量を前記所定の情報縮小率よりも小さい縮小率で縮小して又は縮小せずに読み出す第２の読み出しモードとを電子ズームの拡大率に応じて切り替える切り替え手段とを備える撮像装置を制御する方法であって、
前記第１の読み出しモードで読み出された前記第１の範囲の画素の信号のうち、前記第１の範囲よりも小さい第３の範囲の信号に基づき第１の画像を生成するとともに、前記第２の読み出しモードで読み出された前記第２の範囲の信号に基づき第２の画像を生成する信号処理工程と、
前記切り替え手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えを行う際に、前記信号処理工程で前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像と前記第２の画像の画質の変動を抑制する画像処理を行うように制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項７】
前記画像処理は、画像の輪郭強調を調節する処理であることを特徴とする請求項６に記載の撮像装置の制御方法。
【請求項８】
前記画像処理は、ホワイトバランスを調節する処理であることを特徴とする請求項６に記載の撮像装置の制御方法。
【請求項９】
前記画像処理は、露光制御を調節する処理であることを特徴とする請求項６に記載の撮像装置の制御方法。
【請求項１０】
前記第１の読み出しモードと前記第２の読み出しモードにおいて、読み出しフレームレートが略同一であることを特徴とする請求項６に記載の撮像装置の制御方法。
【請求項１１】
請求項６乃至１０のいずれか１項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやビデオカムコーダーなどの撮像装置における電子ズーム技術に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子を用いたデジタルスチルカメラ、デジタルビデオカメラが数多く開発されている。これらのカメラは静止画を撮影する際は撮像素子の全画素を読み出し、フレーミングや動画記録に必要な動画像を撮影する際は、水平・垂直の画素を間引いて読み出すことで必要な画素数・フレームレートを保っている。
【０００３】
このような状況下で、画素を間引くことにより画質の劣化は避けられないこととなるが、それが顕著となるのは電子ズームを使用した場合である。通常、電子ズームを行う際は、図１０に示すように、全画面の画像データから所望の画角範囲に相当する画像データを抜き出し、これを水増しして全画面に表示・記録する手法をとる。そのため、電子ズームを行う前の画像に比べて画質が劣化してしまうこととなる。
【０００４】
この画質劣化を抑えるための手法として特許文献１のような方法が提案されている。
【特許文献１】特開２００１−０４５３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記特許文献１においては、電子ズーム時の画質劣化を抑えるための間引き率変更により、フレームレートが遅くなってしまい、画質の改善と両立しないという問題がある。また、間引き率毎に別々の駆動モードを規定しており、読み出しの切り替えをシームレスにできるシステムとなっていないという問題もある。
【０００６】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、利便性の低下を防止しつつ、電子ズームにおける画質の劣化を抑制することである。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、電子ズーム機能を有する撮像装置において、被写体像を光電変換する撮像素子と、前記撮像素子の画面内の第１の範囲の画素の信号を、情報量を所定の情報縮小率で縮小して読み出す第１の読み出しモードと、前記撮像素子の画面内の前記第１の範囲よりも小さい第２の範囲の画素の信号を、情報量を前記所定の情報縮小率よりも小さい縮小率で縮小して又は縮小せずに読み出す第２の読み出しモードとを電子ズームの拡大率に応じて切り替える切り替え手段と、前記第１の読み出しモードで読み出された前記第１の範囲の画素の信号のうち、前記第１の範囲よりも小さい第３の範囲の信号に基づき第１の画像を生成するとともに、前記第２の読み出しモードで読み出された前記第２の範囲の信号に基づき第２の画像を生成する信号処理手段と、前記切り替え手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えを行う際に、前記信号処理手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像と前記第２の画像の画質の変動を抑制する画像処理を行うように制御する制御手段と、を有することを特徴とする。
【０００８】
また、本発明に係わる撮像装置の制御方法は、電子ズーム機能を有し、被写体像を光電変換する撮像素子と、前記撮像素子の画面内の第１の範囲の画素の信号を、情報量を所定の情報縮小率で縮小して読み出す第１の読み出しモードと、前記撮像素子の画面内の前記第１の範囲よりも小さい第２の範囲の画素の信号を、情報量を前記所定の情報縮小率よりも小さい縮小率で縮小して又は縮小せずに読み出す第２の読み出しモードとを電子ズームの拡大率に応じて切り替える切り替え手段とを備える撮像装置を制御する方法であって、前記第１の読み出しモードで読み出された前記第１の範囲の画素の信号のうち、前記第１の範囲よりも小さい第３の範囲の信号に基づき第１の画像を生成するとともに、前記第２の読み出しモードで読み出された前記第２の範囲の信号に基づき第２の画像を生成する信号処理工程と、前記切り替え手段が前記第１の読み出しモードと前記第２の読み出しモードの切り替えを行う際に、前記信号処理工程で前記第１の読み出しモードと前記第２の読み出しモードの切り替えによる前記第１の画像と前記第２の画像の画質の変動を抑制する画像処理を行うように制御する制御工程と、を有することを特徴とする。
【０００９】
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
【００１０】
また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、利便性の低下を防止しつつ、電子ズームにおける画質の劣化を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。
【００１３】
図１は、本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【００１４】
レンズなどからなる光学系１０１は、被写体像をイメージセンサ１０２の受光面に結像させる。イメージセンサ１０２は、その受光面に結像された被写体像を光電変換して電気信号を発生する撮像素子である。また、光学系１０１とイメージセンサ１０２との間には、メカシャッタ１０３が配置され、このメカシャッタ１０３を閉じることでイメージセンサ１０２へ入射する光を遮断することができる。
【００１５】
イメージセンサ１０２はイメージセンサの駆動パルスを発生するイメージセンサ駆動装置１０４によって駆動される。イメージセンサ１０２の出力は、サンプルホールド回路（Ｓ／Ｈ）、ゲインアンプ及びアナログデジタル変換器（Ａ／Ｄ変換器）を含むプリプロセス回路１０５によってデジタル化され、デジタルプロセス回路１０６に取り込まれる。デジタルプロセス回路１０６では、ガンマ処理、色信号処理、輪郭強調処理、ホワイトバランス処理などの各種デジタル信号処理を行う。この際、画像信号をメモリ１０７との間で書き込み／読み出し処理している。また、デジタルプロセス回路１０６の出力はＬＣＤディスプレイ１０８にて出力することも可能となっている。
【００１６】
デジタルプロセス回路１０６で画像処理が施された画像データは、画像変換回路１０９を介して圧縮され、メモリカード１１０に書き込まれ、記録される。画像変換回路１０９は、デジタルプロセス回路１０６からの画像データを圧縮してメモリカード１１０へ出力する機能と、メモリカード１１０より読み出した画像データを伸長してデジタルプロセス回路１０６へ出力する機能を有している。
【００１７】
また、光学系１０１、メカシャッタ１０３、イメージセンサ駆動装置１０４、プリプロセス回路１０５、デジタルプロセス回路１０６、画像変換回路１０９、メモリカード１１０のそれぞれは、カメラ制御部１１１によって制御される。このカメラ制御部１１１には、レリーズスイッチ、静止画／動画モード切り替え、電子ズームなどの機能を有する操作部１１２が接続されている。
【００１８】
次に、本実施形態のデジタルカメラに用いられるＣＭＯＳイメージセンサ１０２の構成について説明する。図２はイメージセンサ１０２を表わす模式説明図である。
【００１９】
図２において、光電変換素子（フォトダイオードなど）１は入射光量に応じた電荷を蓄積するものであり、２次元に横方向４個×縦方向４個の行列状に配置されている。なお、イメージセンサ１０２はもっと多数の画素を有しているが、ここでは説明の便宜上横方向４個、縦方向４個の画素のみを示している。
【００２０】
光電変換素子１の一端は増幅型ソースフォロワ入力ＭＯＳ（Metal Oxide Silicon Transistor）２のゲートに接続され、ソースフォロワ入力ＭＯＳ２のドレインは垂直選択スイッチＭＯＳ３のソースに接続されている。またソースフォロワ入力ＭＯＳ２のソースは垂直出力線６を経て負荷電流源７へと接続され、垂直選択スイッチＭＯＳ３のドレインは電源線４を経て電源端子５に接続されており、これらは全体でソースフォロワ回路を構成している。１４はリセットスイッチであり、そのソースはソースフォロワ入力ＭＯＳ２のゲートに接続され、ドレインは電源線４を経て電源端子５に接続されている。
【００２１】
本回路は、各画素の光電変換素子１に蓄積された電荷に応じてソースフォロワ入力ＭＯＳ２のゲートに信号電圧が発生し、それをソースフォロワ回路で電流増幅して読み出すものである。
【００２２】
垂直選択スイッチＭＯＳ３のゲートは垂直ゲート線８で垂直走査回路９に接続されている。リセットスイッチ１４のゲートはリセットゲート線１５で垂直走査回路９に接続されている。また、ソースフォロワ回路の出力信号は、垂直出力線６、水平転送ＭＯＳスイッチ１０、水平出力線１１、出力アンプ１２を通して外部に出力される。水平転送ＭＯＳスイッチ１０のゲートは水平走査回路１３にそれぞれ接続されている。
【００２３】
次に、本実施形態のデジタルカメラにおける全画素読み出しモードについて、本実施形態の回路の動作を図３のタイミング図を用いて説明する。
【００２４】
ここで各画素行の垂直ゲート線８に印加されるパルスをそれぞれＳＥＬ１〜ＳＥＬ４、リセットゲート線１５に印加されるパルスをＲＥＳ１〜ＲＥＳ４とする。パルスＳＥＬ１〜ＳＥＬ４、ＲＥＳ１〜ＲＥＳ４は垂直走査回路９で発生されるものである。また、Ｈ１〜Ｈ４は水平走査回路１３で発生された水平走査パルスであり水平転送ＭＯＳスイッチ１０のゲートに印加される。ＰＤ１、ＰＤ２はそれぞれ第１行第１列目、第２行第１列目の光電変換素子（フォトダイオード）の電位の変化を示したものである。
【００２５】
まず時刻ｔ０でパルスＲＥＳ１をハイレベルにしてリセットスイッチ１４を導通状態にすることにより光電変換素子ＰＤ１をリセットする。次に蓄積動作に入る。ソースフォロワ入力ＭＯＳ２のゲートには蓄積された信号電荷の量に応じて信号電圧が発生する。蓄積時間終了後、時刻ｔ２に、垂直走査回路９および水平走査回路１３によって生成されたパルスＳＥＬ１およびＨ１がそれぞれ対応するスイッチ３および１０に印加される。そして、選択された光電変換素子ＰＤ１の信号はソースフォロワ回路によって増幅された後、出力アンプ１２を通して出力される。
【００２６】
以下、順次Ｈ２〜Ｈ４パルスを印加することで第１行目に配列された光電変換素子からの信号が出力される。同様に第２行目に配列された光電変換素子からの信号は、パルスＲＥＳ２，ＳＥＬ２，Ｈ１〜Ｈ４によって制御され出力される。たとえばＰＤ２は、時刻ｔ１にリセットされ次に蓄積動作に入る。蓄積時間終了後、時刻ｔ３に光電変換素子ＰＤ２からの信号が出力されるものである。
【００２７】
続いて、本実施形態のデジタルカメラの間引き読み出しモードについて、本実施形態の回路の動作を図４のタイミング図を用いて説明する。
【００２８】
本タイミング図は全画素分の信号を読み出すのではなく、一部を間引いて読み出す動作を示すものである。
【００２９】
図４において、垂直走査回路９からパルスＳＥＬ２，ＳＥＬ４，ＲＥＳ２，ＲＥＳ４に対応する信号を発生させずに、ＳＥＬ１，ＲＥＳ１に続いてＳＥＬ３，ＲＥＳ３パルスを発生する。これにより、第２行目、第４行目の信号を読み飛ばして第１行目、第３行目の信号を読み出す。このように駆動パルスを適切に設定することによって、間引き読み出しを行うことができる。
【００３０】
よって、上記で抑圧するＳＥＬ、ＲＥＳパルスの設定を変更することにより、本実施形態の第１の間引き読み出しモード、第２の間引き読み出しモードの読み出しを実現することが可能となる。
【００３１】
図５乃至図８に、上記駆動によって得られる全画素読み出しモード、第１の間引き読み出しモード、第２の間引き読み出しモード、第３の間引き読み出しモードについて、それぞれの読み出し画素の概要を示す。図の斜線で表している画素が読み出される画素、太線が読み出される画角となっている。
【００３２】
また、実際には各画素は図９に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各画素が周期的に並んだベイヤー配列をしているが、本実施形態では説明の簡略化のため、ベイヤー配列の４画素一組を１画素として扱い、色フィルタの概念を省くこととする。
【００３３】
本実施形態では、全画素読み出しモード時の画素数を例えば水平２４画素、垂直２４画素と仮定する。また、このときの画角を１．０倍とする。
【００３４】
第１の間引き読み出しモードでは、図６に示すように、読み出す画素は水平８画素、垂直８画素であり、全画角を読み出しているので画角は１．０倍である。また、間引き率は水平方向垂直方向とも３画素について２画素を読み飛ばしているので、１／３となっている。
【００３５】
第２の間引き読み出しモードでは、図７に示すように、読み出す画素は水平８画素、垂直８画素であり、垂直方向及び水平方向に全画角の２／３の範囲を読み出しているので画角は１．５倍である。また、間引き率は水平方向垂直方向ともに２画素について１画素を読み飛ばしているので、１／２となっている。
【００３６】
第３の間引き読み出しモードでは、図８に示すように、読み出す画素は水平８画素、垂直８画素であり、垂直方向及び水平方向に全画角の１／３の範囲を読み出しているので画角は３．０倍である。また、間引き率は読み出し範囲の全画素を読み出しているので１（間引きなし）となっている。
【００３７】
これらの間引き読み出しモードは、読み出す画素領域の画角が異なっているが、読み出し総画素数が同じであるので、読み出しフレームレートは略同じとなっている。
【００３８】
通常の動画像の撮影は、画角１．０倍である第１の間引き読み出しモードにより行われる。カメラ制御部１１１より指示を受けたイメージセンサ駆動装置１０４は、第１の間引き読み出しモードの駆動パルスをイメージセンサ１０２に印加する。イメージセンサ１０２の出力は図６の斜線であらわされる領域となる。この出力はプリプロセス回路１０５を介してデジタルプロセス回路１０６に入力される。デジタルプロセス回路１０６では、輪郭強調処理、ホワイトバランス処理を含む各種デジタル信号処理が行われ、表示・記録画像が生成される。このとき、入力された画像は表示・記録画素数に縮小・拡大される。本実施形態の動画撮影においては、表示・記録画素数は水平８画素×垂直８画素とする。
【００３９】
デジタルプロセス回路１０６にて生成された動画像は、ＬＣＤディスプレイ１０８に出力されたり、画像変換回路１０９を介してメモリカード１１０に書き込まれたりする。
【００４０】
続いて、動画撮影中に電子ズーム処理を行った場合について説明する。電子ズーム処理は、通常動画撮影の画角の一部分を拡大して表示・記録したいときに用いられ、光学ズームの代りやマニュアルフォーカス機能を使用する際に実施される。
【００４１】
電子ズーム処理を行う際は、デジタルプロセス回路１０６に入力された画素データから電子ズーム倍率に応じた必要な領域の画素を切り出し、これを水平８画素×垂直８画素に表示・記録する手法をとる。
【００４２】
図１０に電子ズーム倍率１．５倍のときの従来例を示す。図中の枠ａが、電子ズーム１．５倍の画角を表している。このとき、少ない画素数の画像からいわゆる水増し処理をして出力画像を生成するため、画質の劣化が避けられないこととなる。より具体的に説明すると、動画像撮影中には、図１０の左側の図の水平２４画素×垂直２４画素からそれぞれ２／３の画素を間引いて、図１０の中央の図に示すように水平８画素×垂直８画素とする。このとき画角は１．０倍である。この状態から電子ズームにより画角を１．５倍にするとすれば、図１０の右側の図に示すように、図１０の中央の図の水平８画素×垂直８画素からさらに水平６画素×垂直６画素を切り出し、それを水平８画素×垂直８画素に水増しすることとなる。結果的に、電子ズームで得られる画像は、水平６画素×垂直６画素の情報しか持たないこととなり、画質が劣化する。
【００４３】
一方、本実施形態のデジタルカメラでは動画撮影中に第２の間引き読み出しモードに変更することが可能である。電子ズーム倍率１．５倍のときは第２の間引き読み出しモードで読み出しを行えば、図１１に示すように、画像を水増しすることなく水平８画素×垂直８画素の画像が取得可能である。これにより必要とする画角に最適化された画像を撮影することができ、かつ、画素数が同程度であるためフレームレートも変更する必要がない。  そこで、本実施形態のデジタルカメラでは、電子ズーム時の画質劣化を抑えるために、ズーム倍率に応じて、読み出しモードを図１２のように変更することとする。このとき、それぞれの必要とする画角に対して得られる画素数から、デジタルプロセス回路１０６に入力される画像の解像度は図示のようになる。
【００４４】
これについてより具体的に説明する。
【００４５】
まず、電子ズーム倍率が１．０倍から１．５倍の範囲では、画像信号を第１の間引き読み出しモードで読み出す。このときのデジタルプロセス回路１０６に入力される画像の解像度の変化を、図１２に入力画像解像度と記載した曲線で示す。この場合、電子ズーム倍率１．０倍では解像度の劣化は生じないが、１．０倍から電子ズーム倍率を増加させるにつれて、図１０で説明した原理により、デジタルプロセス回路１０６に入力される画像の解像度は次第に劣化する（図１２のＡの範囲）。そして、電子ズーム倍率が１．５倍になったところで、間引き読み出しモードを第１の間引き読み出しモードから第２の間引き読み出しモードに切り替える。すると、デジタルプロセス回路１０６に入力される画像は再び解像度の劣化のない状態に復帰する。その後、さらに電子ズーム倍率を増加させていくと、上記と同様に、デジタルプロセス回路１０６に入力される画像の解像度は次第に劣化していく（図１２のＢの範囲）。そして、電子ズーム倍率が３．０倍になったところで、間引き読み出しモードを第２の間引き読み出しモードから、第３の間引き読み出しモードに切り替える。この場合も、デジタルプロセス回路１０６に入力される画像の解像度は、一旦劣化のない状態に復帰し、その後電子ズーム倍率の増加につれて次第に劣化していくようになる（図１２のＣの範囲）。
【００４６】
このとき、デジタルプロセス回路１０６における輪郭強調処理のパラメータを間引き読み出しモードの切り替えにかかわらず固定とすると、表示・記録される動画像の解像度は図１２の入力画像解像度と同様に変化する。したがって、読み出しモードの切り替えにより画質が大きく変動することとなる。
【００４７】
そこで、本実施形態のデジタルカメラでは、読み出しモードの切り替えに応じて輪郭強調処理のパラメータを切り替え、間引き読み出しモード切り替え時の画質変動を抑える処理を行う。
【００４８】
一例を図１２の撮影画像解像度と記載した曲線で示す。点線がパラメータを固定した場合、実線が一例として輪郭強調処理パラメータを変更して間引き読み出しモード切り替え時の画質変動を抑えた場合の、デジタルプロセス回路１０６の出力画像解像度を表わす。
【００４９】
具体的には、図１２の撮影画像解像度の曲線において、輪郭強調パラメータが固定である場合には、Ｄ点において第１の間引き読み出しモードから第２の間引き読み出しモードに切り替わった時点で、撮影画像解像度が急激に上昇することとなる。そのため、Ｄ点で入力画像解像度が急激に上昇することに応じて、輪郭強調パラメータを調節して輪郭強調を弱くする。これにより、撮影画像解像度が急激に上昇したことを目立たなくして、画質変動を抑える。また、Ｄ点で輪郭強調を弱くした後は、Ｂで示した範囲で入力画像解像度が次第に低下するにつれて輪郭強調パラメータを元に戻していき、輪郭強調を次第に強めていく。これにより、撮影画像解像度は、図１２の撮影画像解像度の実線で示した曲線のように滑らかに変化することとなる。
【００５０】
なお、本実施形態のような間引き読み出しモードの切り替えを行わず、従来の電子ズームの技術を用いた場合には、入力画像解像度及び撮影画像解像度は共に図１２に二点差線で示したように電子ズーム倍率の増加とともに直線的に低下してしまう。そのため、本実施形態のような方法をとることにより、撮影画像解像度の低下を小さい値に抑制することができる。
【００５１】
図１３は、輪郭強調パラメータを変化させる方法の他の例を示した図である。
【００５２】
図１２では、Ａで示す範囲において輪郭強調パラメータを一定にしておく場合を示した。これに対し、図１３では、Ａで示す範囲において、入力画像解像度が低下するにつれて輪郭強調パラメータを調節して輪郭強調を次第に強めていく。これにより、電子ズーム倍率が１．０から１．５に増加していく過程における撮影画像解像度の低下を目立たなくすることができる。そして、Ｄ点において入力画像解像度が急激に上昇するので、それに合わせて輪郭強調を弱くする。これにより撮影画像解像度の変化は抑制される。その後、Ｂで示した範囲で入力画像解像度が次第に低下するにつれて、再び輪郭強調を強くしていく。これにより、撮影画像解像度は、図１３の撮影画像解像度の実線で示した曲線のように滑らかに変化し、電子ズーム倍率の変化に伴う撮影画像解像度の低下もほとんどなくなる。
【００５３】
また、図１４は、例えば電子ズーム倍率が１．５倍で一定の場合の、第１の間引き読み出しモードから第２の間引き読み出しモードに切り替わる前後の時点の入力画像解像度と撮影画像解像度の時間変化を示す図である。
【００５４】
図１４では、間引き読み出しモードの切り替え時の画質変動を抑え、かつ、最適な出力画像解像度を実現するようなパラメータ設定を行った場合の出力画像解像度を表わしている。また、図１４では、時刻ｔで読出しモードの切り替えが行われており、点線がデジタルプロセス回路１０６に入力される入力画像解像度、実線が出力される撮影画像解像度を表わしている。
【００５５】
間引き読出しモードの切り替え時は、急激な変動を抑えるために撮影画像解像度を切り替え前と同等にしておき、時間と共に最適な解像度に遷移させている。詳しくは、間引き読み出しモードの切り替え時に入力画像解像度が急激に上昇するので、この時点では、輪郭強調パラメータを調節して輪郭強調を弱くする。その後、徐々に輪郭強調を強めていき、元の強さに戻す。このようにすれば、間引き読み出しモードの切り替え時における撮影画像解像度の急激な変化を抑制することができる。
【００５６】
なお、上記と同様、ホワイトバランス係数や露出に関しても、画像処理パラメータを変えることで画質の変動を抑えることが可能となる。この例を図１５に示す。この例では、第１の間引き読み出しモード時は２画素加算、第２の間引き読み出しモード時は、画素加算なしと仮定する。読み出しモードの切り替えによって、感度(分光感度含む)、画角、間引き率が変わり、デジタルプロセス回路１０６の入力画像の画質が変動してしまうが、図１５に示すように各画像処理パラメータを変更することによって画質の変動を抑えることが可能となる。
【００５７】
なお、図中のホワイトバランス係数テーブルＡ／Ｂは、分光感度情報や画像の色情報取得のための画角情報等に応じたパラメータ群を含んでいる。露出パラメータＡ／Ｂは、感度情報、画像の輝度情報取得のための画角情報等に応じたパラメータ群を含んでいる。また、ΔＷＢ、ΔＡＥはそれぞれホワイトバランス、露出のずれを意味し、読出しモードの切り替えがあってもホワイトバランス及び露出がずれないことを示している。
【００５８】
以上のように、本実施形態により、電子ズーム時の画質劣化を抑えるよう読み出し方法を変更することが可能で、かつ、ユーザーに読み出しの切り替えを意識させないような表示・記録画像とすることが可能となる。
【００５９】
なお、上記の実施形態では、動画像を得るために撮像素子の画素を間引いて読み出す方法を主として説明した。しかし、本発明はこれに限定されることなく、上記でも少し触れたが、動画像を得るために撮像素子の複数画素を加算して読み出す場合にも適用可能である。
【００６０】
また、読み出し範囲が一番小さい読み出しモードでは、撮像素子から非加算で読み出すようにしても良い。
【００６１】
つまり、撮像素子の画面内の第１の範囲を読み出す際には、第１の範囲の画素の信号を加算若しくは間引きをすることにより読み出す。つまり、第１の範囲の画素の信号を、情報量を第１の縮小率で縮小して撮像素子から読み出す。
そして、第1の範囲よりも小さい第２の範囲を読み出す際には、以下のようにして読み出す。第２の範囲は、第１の範囲よりも小さいため第１の範囲の画素数よりも少ない（情報量が少ない）。そのため、第２の範囲を読み出す際には、第１の範囲を読み出す際よりも、加算数を少なくして、又は間引き率を少なくして、又は非加算・非間引きで読み出す。つまり、第２の範囲の画素の信号を、情報量を第１の縮小率よりも小さい第２の縮小率で縮小して、又は縮小せずに読み出す。
【００６２】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００６３】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００６４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態のデジタルカメラの概略構成を示すブロック図である。
【図２】図１に示すイメージセンサの模式説明図である。
【図３】本発明の一実施形態における、全画素読み出し時の動作タイミング図である。
【図４】本発明の一実施形態における、間引き読み出し時の動作タイミング図である。
【図５】本発明の一実施形態における、全画素読み出しモードの読み出し画素を示す模式図である。
【図６】本発明の一実施形態における、第１の間引き読み出しモードの読み出し画素を示す模式図である。
【図７】本発明の一実施形態における、第２の間引き読み出しモードの読み出し画素を示す模式図である。
【図８】本発明の一実施形態における、第３の間引き読み出しモードの読み出し画素を示す模式図である。
【図９】本発明の一実施形態における、ベイヤー配列を示す図である。
【図１０】従来における、電子ズーム１．５倍時の切り出し画像および出力画像を示す図である。
【図１１】本発明の一実施形態における、第２の間引き読み出しモードにおける、電子ズーム１．５倍時の切り出し画像および出力画像を示す図である。
【図１２】本発明の一実施形態における、電子ズーム倍率に対する読み出しモードおよび画像解像度の例を示す図である。
【図１３】本発明の一実施形態における、電子ズーム倍率に対する読み出しモードおよび画像解像度の他の例を示す図である。
【図１４】本発明の一実施形態における、電子ズーム倍率切り替えに対する出力画像解像度の一例を示す図である。
【図１５】本発明の一実施形態における、電子ズーム倍率切り替えに対する各種画像処理パラメータ切り替えの一例を示す図である。
【符号の説明】
【００６６】
１  光電変換素子
２  増幅型ソースフォロワ入力ＭＯＳ（Metal Oxide Silicon Transistor）
３  垂直選択スイッチＭＯＳ
４  電源線
５  電源端子
６  垂直出力線
７  負荷電流源
８  垂直ゲート線
９  垂直走査回路
１０  水平転送ＭＯＳスイッチ
１１  水平出力線
１２  出力アンプ
１３  水平走査回路
１４  リセットスイッチ
１５  リセットゲート線
１０１  光学系
１０２  イメージセンサ
１０３  メカシャッタ
１０４  イメージセンサ駆動装置
１０５  プリプロセス回路
１０６  デジタルプロセス回路
１０７  メモリ
１０８  ＬＣＤディスプレイ
１０９  画像変換回路
１１０  メモリカード
１１１  カメラ制御部
１１２  操作部
【図１】
0004678849.tif 000002
【図２】
0004678849.tif 000003
【図３】
0004678849.tif 000004
【図４】
0004678849.tif 000005
【図５】
0004678849.tif 000006
【図６】
0004678849.tif 000007
【図７】
0004678849.tif 000008
【図８】
0004678849.tif 000009
【図９】
0004678849.tif 000010
【図１０】
0004678849.tif 000011
【図１１】
0004678849.tif 000012
【図１２】
0004678849.tif 000013
【図１３】
0004678849.tif 000014
【図１４】
0004678849.tif 000015
【図１５】
0004678849.tif 000016