(57)【要約】【課題】撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させるようにする。【解決手段】ＣＰＵ１３１は、実行するプログラム（ＡＦ評価値算出用のプログラム、ＡＦ制御プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、ＡＦ評価値の算出、フォーカスレンズの調整（ＡＦ）、及び出力画像の生成の順番で時系列的に処理を行うことができる。従って、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。【選択図】図１
2007288275.tif 000002
【特許請求の範囲】
【請求項１】
画素信号を生成する撮像領域と、
前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、
前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択手段と、
前記選択手段により選択されたプログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理する処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像領域に光を結像するための光学系を制御する光学系制御手段を有し、
前記選択手段は、前記撮像領域に結像された光学像の合焦状態に応じて、前記撮像領域に結像された光学像の評価値を算出するための評価値算出用プログラムを選択し、
前記処理手段は、前記選択手段により選択された評価値算出用プログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理することによって、前記評価値を算出し、
前記光学系制御手段は、前記処理手段により算出された評価値に基づいて、前記光学系を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学系制御手段は、前記処理手段により評価値が算出されたフレーム期間又はフィールド期間と同一の期間に、その算出された評価値に基づいて、前記光学系を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の画像信号に基づく画像のフレームレートを設定する設定手段を有し、
前記選択手段は、前記設定手段により設定されたフレームレートに応じて、前記複数の画素信号に基づく画像を形成するための画像形成用プログラムを選択し、
前記処理手段は、前記設定手段により設定されたフレームレートに応じて選択された画像形成用プログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理するすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記選択手段は、全ての走査期間で画像を形成する処理を実行するための画像形成用プログラムと、一部の走査期間で画像を形成する処理を実行するための画像形成用プログラムとの何れかを、前記設定手段により設定されたフレームレートに応じて選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記選択手段は、撮像装置の動きに応じて、前記複数の画素信号に基づく画像の動きベクトルを求めるための動きベクトル導出用プログラムを選択し、
前記処理手段は、前記撮像装置の動きに応じて選択された動きベクトル導出用プログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理することにより、動きベクトルを算出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮像装置の動きを検出する動き検出手段を有し、
前記選択手段は、前記動き検出手段により検出された撮像装置の動きに応じて、前記複数の画素信号に基づく画像の動きベクトルを求めるための動きベクトル導出用プログラムを選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記処理手段により動きベクトルが算出されたフレーム期間又はフィールド期間と同一の期間に、その算出された動きベクトルに基づいて、前記撮像領域に光を結像するための光学系を制御する光学系制御手段を有し、
前記選択手段は、前記光学系制御手段により光学系が制御されると、前記複数の画素信号に基づく画像を形成するための画像形成用プログラムを選択し、
前記処理手段は、前記光学系が制御された後に前記読み出し手段により並列に読み出された複数の画素信号を、前記画像形成用プログラムを用いて処理することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記複数の画像信号に含まれるノイズ量を求めるノイズ量導出手段を有し、
前記選択手段は、前記ノイズ量導出手段により求められたノイズ量に応じて、前記複数の画素信号に基づく画像を形成するための画像形成用プログラムを選択し、
前記処理手段は、前記ノイズ量導出手段により求められたノイズ量に応じた画像形成用プログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記撮像領域の温度を検出する温度検出手段と、
前記温度検出手段により検出された温度に基づいて、前記複数の画像信号に含まれるノイズ量を求めるノイズ量導出手段とを有し、
前記選択手段は、前記ノイズ量導出手段により求められたノイズ量に応じて、前記複数の画素信号に基づく画像を形成するための画像形成用プログラムを選択することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記処理手段は、前記ノイズ導出手段によりノイズ量が求められたフレーム期間又はフィールド期間と同一の期間に、その求められたノイズ量に応じた画像形成用プログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理するすることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記処理手段は、前記読み出し手段により並列に読み出されたｎ（ｎは２以上の自然数）個の画素信号を処理する第１から第ｎの並列処理手段を有し、
前記第１から第ｎの並列処理手段は、前記選択手段により選択されたプログラムを用いて時分割に処理を行うことにより、前記読み出し手段により並列に読み出されたｎ個の画素信号を並列に処理することを特徴とする請求項１〜１１の何れか１項に記載の撮像装置。
【請求項１３】
前記撮像領域は、ＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサで生成された複数の画素信号を並列にデジタル信号に変換し、デジタル信号に変換した画素信号を並列にメモリに保持し、メモリに保持した画素信号を並列に読み出すことを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
【請求項１４】
前記撮像素子は、光電変換を行って生成した複数の画素信号を並列にサンプリングホールドするＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサでサンプリングホールドされた後に複数の画素信号を並列にデジタル信号に変換し、デジタル信号に変換した画素信号を並列に読み出すことを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
【請求項１５】
撮像領域で生成された複数の画素信号を並列に読み出す読み出しステップと、
前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択ステップと、
前記選択ステップにより選択されたプログラムを用いて、前記読み出しステップにより並列に読み出された複数の画素信号を処理する処理ステップとを有することを特徴とする撮像処理方法。
【請求項１６】
撮像領域で生成された複数の画素信号を並列に読み出す読み出しステップと、
前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択ステップと、
前記選択ステップにより選択されたプログラムを用いて、前記読み出しステップにより並列に読み出された複数の画素信号を処理する処理ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像処理方法、及びコンピュータプログラムに関し、特に、撮像素子から並列に画素信号を読み出して画像を形成するために用いて好適なものである。
【背景技術】
【０００２】
従来から、テレビジョン受像機や各種記録媒体に撮像画像を提供する撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子から出力された画像信号に対して所定の信号処理を施すようにしている。このように、撮像装置では、固体撮像素子から出力された画像に対して所定の信号処理を施すことにより、テレビジョン受像機へ出力する信号や記録媒体へ出力する画像データを生成している。
【０００３】
固体撮像素子の一例であるＣＣＤイメージセンサが画像信号を生成する場合には、まず、撮像素子の各画素を形成するフォトダイオードに蓄積された光電子（全てのフォトダイオードに蓄積された全画素分の光電子）を、一度に垂直転送路に移す。そして、垂直・水平駆動波形を外部から与えることにより、ラスタスキャン（raster scan）状に光電子を転送する。続いて、転送した光電子を、出力端に設けられたＦＤ（フローティングディフュージョン）領域で電圧に変換し、変換した電圧を画像信号として出力する。そして、ＣＣＤイメージセンサに構成されている全ての画素数分の画像信号の出力が終了すれば、フォトダイオードに蓄積された電荷を再び垂直転送路に移す。このような動作をいわゆる１Ｖ周期で繰り返す。
【０００４】
また、固体撮像素子の他の例であるカラム型のＣＭＯＳイメージセンサが画像信号を生成する場合には、垂直アドレス信号に対応した一列毎の画素単位で光電子をＦＤ領域に転送して電圧に変換する。そして、水平アドレスを順次変更することにより、変換した電圧を画像信号としてラスタスキャン状に出力する。尚、カラム型のＣＭＯＳイメージセンサは、ディジタルカメラ等に搭載される等、ＣＭＯＳイメージセンサの中では最も多く撮像装置に搭載されているものである。
以上のように、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサの何れを用いても、イメージセンサに設けられたフォトダイオードでは、ラスタスキャン状に画像信号が出力されている間に、次の垂直走査期間（Ｖ）で出力するための光電子を蓄積する。
【０００５】
このようにして得られたラスタスキャン状の画像信号は、アナログアンプにより増幅されて適当な振幅となった後、Ａ／Ｄ変換されてデジタル画像信号となり、所定の信号処理が施されることとなる。ここでいう所定の信号処理とは、前述したテレビジョン受像機や記録媒体に出力するための画像を生成するための信号処理だけではなく、撮像装置の制御、例えば、手ぶれ補正、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に必要な評価値を得るための信号処理も含まれる。
【０００６】
図３２は、前述した従来の撮像装置における撮像処理及び信号処理の様子を示す図である。具体的に、図３２（ａ）は、フォトダイオードが光電子を蓄積する様子を示し、図３２（ｂ）は、固体撮像素子から画像信号が読み出される様子を示し、図３２（ｃ）は、信号処理の進行状況を示している。
さて、近年の撮像素子の画素数は、増加の一途をたどっていることは周知である。図３２に示す従来の撮像処理及び信号処理において、撮像素子の画素数の増加により最も技術的難易度が高まったものとして、図３２（ｂ）に示す画像信号の読み出し処理が挙げられる。画像信号の読み出し時のＶレート（垂直同期信号の周波数）を画素数の増加前のものと同じ値に維持しようとするならば、撮像素子の駆動周波数を高くしなければならない。しかしながら、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサでは、半導体の電気的特性の理由から、駆動周波数を上げるにも限界があるという課題がある。
【０００７】
すなわち、図３２（ａ）に示す各期間に光電子を蓄積することより得られた画像信号を、図３２（ｂ）に示す各期間をかけて読み出し、読み出した画像信号に対して、図３２（ｃ）に示す各期間で所定の信号処理を行って最終的な画像データを得るようにしている。従って、前述した従来の技術では、図３２（ｂ）に示す各期間の動作にボトルネックが生じるという課題と、撮像装置各部の動作が、図３２（ｂ）に示す各期間にタイミングを合わせなければならないという課題とがあった。
【０００８】
こうした課題に対し、特許文献１には、撮像素子の複数のエリアから並列に画像信号を読み出すことにより、撮像素子の駆動周波数を無理に上げることなく画像信号を読み出し、読み出した複数の画像信号を合成して出力することが示されている。これにより、画像信号の読み出しの動作のボトルネックを解消することが可能になる。
【０００９】
【特許文献１】特開平３−１２４１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の技術は、増大した画素数への対応を主眼としており、並列に読み出した画像信号群を合成して一つの画像に形成した後に、その画像に対して、図３２（ｃ）に示す各期間をかけて所定の信号処理を行っている。そのため、特許文献１に記載の技術でも、撮像装置の各部を、図３２（ｂ）に示す各期間にタイミングを合わせて動作させなければならないという課題は解決されていない。
【００１１】
従って、撮像装置の制御においては、手振れ補正やＡＦ制御に必要な評価値を得るための信号処理や、ノイズを除去したりするための信号処理を、それらの信号処理が必要であるか否かに関わらず、専用の処理回路により図３２（ｃ）に示す期間に行う必要がある。このため、ハードウェアリソース及び消費電力を少なくして効率よく手振れ補正やＡＦ制御を行うことが困難であった。
【００１２】
例えば、手ぶれ補正やＡＦ制御等を行う場合には、フィードバック制御を行う必要がある。ところが、従来の技術では、フィードバック制御を行うために必要な評価値を、フレームレートに関わらず、専用の処理回路により図３２（ｃ）に示す期間に行う必要があった。
【００１３】
また、従来の技術では、フレームレートが、図３２（ｂ）に示す読み出し動作時に生じるボトルネックにより制限される。このため、所定の蓄積時間で撮像した複数の画像を、信号処理により足し合わせることにより、長時間の蓄積画像を生成する処理を、現状のビデオのＶ周期より短いフレームレートで実行することが困難であった。
【００１４】
以上のように従来の技術では、撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させることが困難であると共に、ハードウェアリソース及び消費電力を少なくして効率よく手振れ補正やＡＦ制御することが困難であった。
【００１５】
本発明は、このような問題点に鑑みてなされたものであり、撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させるようにすることを第１の目的とする。
また、ハードウェアリソース及び消費電力を少なくして効率よく撮像装置を制御できるようにすることを第２の目的とする。
【課題を解決するための手段】
【００１６】
本発明の撮像装置は、画素信号を生成する撮像領域と、前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択手段と、前記選択手段により選択されたプログラムを用いて、前記読み出し手段により並列に読み出された複数の画素信号を処理する処理手段とを有することを特徴とする。
【００１７】
本発明の撮像処理方法は、撮像領域で生成された複数の画素信号を並列に読み出す読み出しステップと、前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択ステップと、前記選択ステップにより選択されたプログラムを用いて、前記読み出しステップにより並列に読み出された複数の画素信号を処理する処理ステップとを有することを特徴とする。
【００１８】
本発明のコンピュータプログラムは、撮像領域で生成された複数の画素信号を並列に読み出す読み出しステップと、前記複数の画素信号を処理するためのプログラムを、撮像する際の条件に応じて選択する選択ステップと、前記選択ステップにより選択されたプログラムを用いて、前記読み出しステップにより並列に読み出された複数の画素信号を処理する処理ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像領域から並列に読み出された複数の画素信号を、撮像する際の条件に応じて、プログラムを変更しながら処理するようにした。これにより、ハードウェアリソース及び消費電力を少なくして効率よく処理がなされる。
【００２０】
また、本発明の他の特徴によれば、光学系の状態に応じて、評価値算出用プログラムを変えるようにしたので、ハードウェアリソース及び消費電力を少なくして効率よく光学系を制御できる。
また、本発明の他の特徴によれば、撮像領域に結像された光学像の評価値の算出と、算出した評価値に基づく光学系の制御とを、同一のフレーム期間又は同一のフレーム期間に行うようにしたので、光学系の制御の応答性を向上させることができる。
【００２１】
また、本発明の他の特徴によれば、フレームレートに応じて、画像形成用プログラムを変えるようにしたので、ハードウェアリソース及び消費電力を少なくして効率よく画像を形成するための処理を行うことができる。
【００２２】
また、本発明の他の特徴によれば、撮像装置の動きに応じて、動きベクトル導出用プログラムを変えるようにしたので、ハードウェアリソース及び消費電力を少なくして効率よく動きベクトルを求めることができる。
また、本発明の他の特徴によれば、動きベクトルの算出と、算出した動きベクトルに基づく光学系の制御とを同一のフレーム期間又は同一のフレーム期間に行うようにしたので、手ぶれ補正の応答性を向上させることができる。
【００２３】
また、本発明の他の特徴によれば、画像信号に含まれるノイズ量に応じて、画像形成用プログラムを変えるようにしたので、ハードウェアリソース及び消費電力を少なくして効率よくノイズを除去することができる。
また、本発明の他の特徴によれば、画像信号に含まれるノイズ量の導出と、導出したノイズ量に応じた画像信号の処理とを同一のフレーム期間又は同一のフレーム期間に行うようにしたので、ノイズ除去処理の応答性を向上させることができる。
【発明を実施するための最良の形態】
【００２４】
以下に、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、撮像装置のハードウェアの構成の一例を示した図である。尚、図１では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでの必要な部分について示している。
【００２５】
図１において、光学絞り１０１は、撮像装置の内部に入る光量を調節するためのものである。フォーカスレンズ系１０２は、レンズ、レンズモータ、及びアクチュエータを有する。ＣＭＯＳイメージセンサ１０３は、フォーカスレンズ系１０２を通じて入光された光学像に基づく画像信号を生成するためのものである。本実施形態では、ＣＭＯＳイメージセンサ１０３で生成された画像信号は、８系統の並列の読み出し経路を介して読み出される。
【００２６】
ドライブ制御回路１０４は、ＣＭＯＳイメージセンサ１０３から画像信号を読み出すための読み出し波形を生成する。また、ドライブ制御回路１０４は、第１〜第８のメモリ１１３〜１２０の書き込みアドレスを制御する。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれＣＭＯＳイメージセンサ１０３の第１〜第８の出力部に接続される（図３を参照）。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれ第１〜第８の出力部から読み出し経路を介して出力された画像信号を増幅した後、Ａ／Ｄ変換して画像データを生成する。第１〜第８のメモリ１１３〜１２０は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを保持する。
【００２７】
第１〜第８の信号処理回路１２１〜１２８は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データに対してプログラマブルに信号処理を行う。また、第１〜第８の信号処理回路１２１〜１２８は、第１のメモリ１１３〜第８のメモリ１２０に保持された画像データに対してプログラマブルに信号処理を行う。また、第１〜第８の信号処理回路１２１〜１２８は、時分割に処理を行うことにより、画像データを並列に処理するようにしている。
第９の信号処理回路１２９は、第１〜第８の信号処理回路１２１〜１２９で信号処理された画像データ群に対してプログラマブルに信号処理を行う。
【００２８】
制御回路１３０は、第１〜第８のメモリ１１３〜１２０における読み出しアドレスを制御する。また、制御回路１３０は、第１〜第９の信号処理回路１２１〜１２９が信号処理を行う際に使用される各信号処理プログラムの制御を、ＣＰＵ１３１による動作モード指令に応じて行う。ＣＰＵ１３１は、制御回路１３０に動作モード指令信号を送り、第１〜第８の信号処理回路１２１〜１２８から出力される評価データに従い、光学絞り１０１と、フォーカスレンズ系１０２と、ドライブ制御回路１０４の動作制御を行う。出力画像端子１３２は、テレビジョン受像機や記録媒体に提供するための端子である。
【００２９】
図２は、第１〜第８の信号処理回路１２１〜１２８の内部構成の一例を示す図である。
図２において、データ入力端子２０１は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを入力する端子である。データ入力端子２０２は、第１〜第８のメモリ１１３〜１２０に保持された画像データを入力する端子である。プログラム入力端子２０３は、制御回路１３０から出力された信号処理プログラムを入力する端子である。
【００３０】
プロセッサ２０４は、データ入力端子２０１、２０２から入力された画像データと、演算バッファメモリ２０５に保持された演算途中の画像データに対し、プログラム入力端子２０３からロードされた信号処理プログラムにより、２次元までの信号処理演算を行う。
演算バッファメモリ２０５は、プロセッサ２０４で行われる信号処理演算の途中結果を保持する。積分回路２０６は、ＡＦ評価値を求めるための積分演算を行う。出力端子２０７は、プロセッサ２０４の信号処理演算の結果を出力するための端子である。ＡＦ評価値出力端子２０８は、積分回路２０６で求められたＡＦ評価値を出力するための端子である。
【００３１】
次に、本実施形態の撮像装置における動作の一例を、図１〜図５を用いて説明する。
図３は、ＣＭＯＳイメージセンサ１０３の８系統の出力と、画素との対応関係の一例を示す図である。図４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図５は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【００３２】
図１に示したように、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ１０３の受光面上に結像される。受光面上に結像された光学像は、ＣＭＯＳイメージセンサ１０３の各画素を構成するフォトダイオードで光電変換され、光電子が生成される。そして、図３に示す第１〜第８の分割エリア１０３ａ〜１０３ｈの内にある画素の光電子は、第１〜第８の出力部を通じて画像信号（電圧）として出力される。
【００３３】
第１〜第８の出力部から出力された画像信号は、８系統の並列の読み出し経路を介して、第１〜第８のアナログフロントエンド１０５〜１１２に出力される。第１〜第８のアナログフロントエンド１０５〜１１２は、入力した８系統の画像信号の電圧を増幅した後、Ａ／Ｄ変換（アナログ・デジタル変換）して、８系統の画像データを生成する。生成された８系統の画像データは、第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に各々入力される。
【００３４】
第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に画像データが入力された後の動作については、図４に示すタイムチャート及び図５に示すフローチャートを参照しながら説明を行う。
まず、図５のステップＳ１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図４のタイムチャートでは、期間４１ａ、４１ｂ（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。
【００３５】
次に、ステップＳ２において、第１〜第８の信号処理回路１２１〜１２８は、１Ｖ前に設定されたＡＦモードを参照し、ＡＦモードがサーチモード及びウォブリングモードの何れであるのかを判定する。ここで、サーチモードとは、被写体へのフォーカスが合致していない場合にフォーカスレンズを大きく動かして合焦位置を探索するモードである。また、ウォブリングモードとは、被写体へのフォーカスは既に合致している場合に被写体の動き等によりフォーカスがずれないか否かを監視するモードである。このようにしてＡＦモードがサーチモード及びウォブリングモードの何れであるのかが確認された後、ＡＦ評価値の算出が行われる。以下、設定されているＡＦモード別に評価値の算出動作を説明する。
【００３６】
ＡＦモードがサーチモードである場合、ステップＳ３において、第１〜第８の信号処理回路１２１〜１２８は、ＡＦ評価値の中でも、合焦位置付近における評価の感度が高いＴＥ（Top-Evaluation）評価値を算出する。
次に、ステップＳ４において、制御回路１３０は、第１〜第８のメモリ１１３〜１２０に保持された画像データを読み出し、第１〜第８の信号処理回路１２１〜１２８に出力する。
次に、ステップＳ５において、第１〜第８の信号処理回路１２１〜１２８は、全体にボケた状態における評価の感度が高いＦＥ（Foot-Evaluation）評価値を算出する。
図４のタイムチャートでは、期間４２ａ（タイミングｔ１〜ｔ２）と、期間４３ａ（タイミングｔ１〜ｔ３）にＴＥ評価値の算出が実行される。また、期間４４（タイミングｔ４〜ｔ５）と、期間４５（タイミングｔ４〜ｔ６）にＦＥ評価値の算出が実行される。
【００３７】
このステップＳ３〜Ｓ５では、前述したように、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データと、制御回路１３０から出力されたＡＦ評価値算出用のプログラムとを入力する。そして、第１〜第８の信号処理回路１２１〜１２８は、入力した画像データと、ＡＦ評価値算出用のプログラムとを用いてＡＦ評価値を計算する。
【００３８】
具体的に説明すると第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データは、第１〜第８の信号処理回路１２１〜１２８に設けられたデータ入力端子２０１を介して、プロセッサ２０４に入力される。一方、制御回路１３０から出力されたＴＥ評価値用の画像処理プログラムは、プログラム入力端子２０３を介して、プロセッサ２０４に入力される。すなわち、画像の第１のエッジ成分を抽出するための第１のバンドパスフィルタが構成されるような第１の演算プログラムが、ＴＥ評価値用の画像処理プログラムとして、プロセッサ２０４にロードされる。そして、プロセッサ２０４は、ＡＦ評価値用の第１のバンドパスフィルタ出力信号を生成して、積分回路２０６に出力する。積分回路２０６は、前記第１のバンドパスフィルタ出力信号の積分を行い、積分した結果をＴＥ評価値としてＡＦ評価値出力端子２０８に出力する。
【００３９】
また、制御回路１３０から出力されたＦＥ評価値用の画像処理プログラムは、プログラム入力端子２０３を介して、プロセッサ２０４に入力される。すなわち、画像の第２のエッジ成分を抽出するための第２のバンドパスフィルタが構成されるような第２の演算プログラムが、ＦＥ評価値用の画像処理プログラムとして、プロセッサ２０４にロードされる。そして、プロセッサ２０４は、データ入力端子２０１を介して入力した画像データを用いて、ＡＦ評価値用の第２のバンドパスフィルタ出力信号を生成して、積分回路２０６に出力する。積分回路２０６は、前記第２のバンドパスフィルタ出力信号の積分を行い、積分した結果をＦＥ評価値としてＡＦ評価値出力端子２０８に出力する。
このようにして、第１〜第８の信号処理回路１２１〜１２８で算出されたＴＥ評価値とＦＥ評価値は、ＣＰＵ１３１に送られる。
【００４０】
一方、ステップＳ２の判定の結果、ＡＦモードがウォブリングモードに設定されている場合、ステップＳ６に進み、第１〜第８の信号処理回路１２１〜１２８は、ＴＥ評価値のみを算出する。図４のタイムチャートでは、期間４２ｂ（タイミングｔ１〜ｔ２）と、期間４３ｂ（タイミングｔ１〜ｔ３）に、ＴＥ評価値の算出のみが実行される。なお、ＴＥ評価値の算出方法は、ＡＦモードがサーチモードである場合と同じであるので説明を省略する。
このようにして、第１〜第８の信号処理回路１２１〜１２８で算出されたＴＥ評価値は、ＣＰＵ１３１に送られる。
【００４１】
次に、ステップＳ７において、フォーカスレンズ系１０２の調整が行われる。図４のタイムチャートにおいては、タイミングｔ１１、ｔ１２でフォーカスレンズ系１０２の調整が行われる。具体的に説明すると、ＣＰＵ１３１は、第１〜第８の信号処理回路１２１〜１２８で算出されたＡＦ評価値に基づいて、図示しないＡＦ制御プログラムに従い、フォーカスレンズ系１０２の合焦状態を調整する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像の合焦状態が更新される。当然ながら、前記ＡＦ制御プログラムは、現在のＶ（垂直走査期間）におけるＡＦモード（サーチモード又はウォブリングモード）に応じて、フォーカスレンズ系１０２を制御することとなる。
【００４２】
次に、ステップＳ８〜Ｓ１０において、ＡＦモード更新が実行される。すなわち、図示しない前記ＡＦ制御プログラムは、得られたＡＦ評価値の状態をみて次のＶ（垂直走査期間）において動作させるべきＡＦモードが、サーチモード及びウォブリングモードの何れであるかを判定する。そして、判定したＡＦモードを、次のＶ（垂直走査期間）におけるＡＦモードとして設定する。
【００４３】
次に、ステップＳ１１において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図４のタイムチャートでは、タイミングｔ１１、ｔ１２（フォーカスレンズ調整）以降に光電子の蓄積が行われる。
次に、ステップＳ１２において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図４のタイムチャートでは、期間４６ａ、４６ｂ（タイミングｔ７〜ｔ８）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【００４４】
次に、ステップＳ１３において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図４のタイムチャートでは、期間４７ａ、４７ｂ（タイミングｔ７〜ｔ９）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
【００４５】
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図４のタイムチャートにおけるタイミングｔ９（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【００４６】
以上のように本実施形態では、ＣＰＵ１３１は、実行するプログラム（ＡＦ評価値算出用のプログラム、ＡＦ制御プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、ＡＦ評価値の算出、フォーカスレンズの調整（ＡＦ）、及び出力画像の生成の順番で時系列的に処理を行うことができる。従って、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。
【００４７】
また、このようにして行われる時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いて、ＡＦ評価値を先に算出しておく。そして、算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。従って、ＡＦの応答性が大幅に向上するものとなり（例えば図３２に示したフォーカスレンズの位置調整のタイミングより１Ｖ早く、フォーカスレンズを調整することが可能となり）、適切に且つ迅速に出力画像の形成を行うことができる。
以上のことから、撮像電荷の読み出し動作と独立してＡＦ評価値を求めることができ、ＡＦを制御する際の自由度を向上させることができる。
【００４８】
さらに、ＡＦ評価値を生成する際に、設定されているＡＦモード別に処理プログラムを変えるようにしたので、撮像装置の消費電力を低減することができる。これにより、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。
【００４９】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
【００５０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００５１】
図６は、撮像装置のハードウェアの構成の一例を示した図である。尚、図６では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
撮像処理部６０３は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像を処理するためのものであり、ワンチップで構成されている。撮像処理部６０３には、ＣＭＯＳイメージセンサ部６０４、第１のメモリ６０５、第２のメモリ６０６、画像処理回路６０７、第３のメモリ６０８、駆動回路６０９、プログラム制御回路６１０、及びラインピーク積分回路６１４が形成されている。
【００５２】
ＣＭＯＳイメージセンサ部６０４は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像から画像信号を生成するためのものである。第１及び第２のメモリ６０５、６０６は、ＣＭＯＳイメージセンサ部６０４で生成された画像信号を１Ｈ（１水平走査期間）分保持する。画像処理回路６０７は、画像処理を行って画像データを生成するためのプログラム可能な回路である。
【００５３】
第３のメモリ６０８は、画像処理回路６０７で処理された画像データを保持する。駆動回路６０９は、ＣＭＯＳイメージセンサ部６０４から画像信号を読み出すための制御を行う。プログラム制御回路６１０は、画像処理回路６０７で使用される信号処理プログラムを設定する。ラインピーク積分回路６１４は、第３のメモリ６０８より出力される最終的な出力画像データからＡＦ評価値を生成する。
【００５４】
記録系信号処理部６１１は、出力画像データに対し、画像記録フォーマットに係る信号処理を行う。記録信号出力端子６１２は、画像記録フォーマットに係る信号処理が行われた出力画像データを、画像記録メディアへ出力する、ＣＰＵ６１３は、撮像処理部６０３の動作モードを制御すると共に、光学絞り１０１及びフォーカスレンズ系１０２を制御する。
【００５５】
図７は、ＣＭＯＳイメージセンサ部６０４の内部構成の一例を示す図である。
図７において、フォトダイオード７０１は、フォーカスレンズ系１０２を通じて入光された光学像を光電変換する。ＭＯＳトランジスタ７０２はセンサゲートを構成する。フローティングディフュージョン７０３は、フォトダイオード７０１に隣接して構成される。ＭＯＳトランジスタ７０４は、フローティングディフュージョン７０２に隣接して構成され、リセットゲートを構成する。
【００５６】
フローティングディフュージョンアンプ７０５は、フローティングディフュージョン７０４に保持された電荷を電圧に変換する。第１及び第２のサンプルホールド回路７０６、７０７は、フローティングディフュージョンアンプ７０５から出力された電圧を保持する。ＭＯＳトランジスタ７０９は、差動アンプ７０８から出力された電圧をゲートする。これら各構成要素７０１〜７０９をもって、１画素が構成される。
【００５７】
センサゲート（ＳＧ）制御線７１０は、ＭＯＳトランジスタ７０２のゲートにＳＧパルス（ゲート制御信号）を供給する。電源電圧線７１１は、基準電圧を供給する。リセットゲート（ＲＧ）制御線７１２は、ＭＯＳトランジスタ７０４のゲートにＲＧパルス（ゲート制御信号）を供給する。データレベルホールド（ＳＨＤ）制御線７１３は、ＳＨＤパルスを第１のサンプルホールド回路７０６に供給する。リセットレベルホールド（ＳＨＰ）制御線７１４は、ＳＨＰパルスを第１のサンプルホールド回路７０６に供給する。これら各構成要素７１０〜７１４は、全ての画素に対して共通に構成される。これらの各構成要素７１０〜７１４から供給される信号は、図６に示した駆動回路６０９により与えられるものである。
【００５８】
行選択線７１５は、水平１行の各画素に対して共通に構成され、図６に示した駆動回路６０９からの行読み出しパルスをＭＯＳトランジスタ７０９に与えるものである。列信号線７１６は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄコンバータ７１７に与えるものである。Ａ／Ｄコンバータ７１７は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄ変換するものである。列信号線７１６及びＡ／Ｄコンバータ７１７は、垂直方向の１列の各画素に対して共通に構成される。
【００５９】
図８は、図６の画像処理回路６０７の内部構成と入出力画素との関係の一例を示す図である。
図８において、第１の画像データ８０１は、図６の第３のメモリ６０８から入力する１Ｈ（１水平走査期間）分の画像データである。第２の画像データ８０２は、図６のＣＭＯＳイメージセンサ部６０４より入力する１Ｈ（１水平走査期間）分の画像データである。第３の画像データ８０３は、図６の第１のメモリ６０５から入力する１Ｈ（１水平走査期間）分の画像データである。第４の画像データ８０４は、図６の第２のメモリ６０６から入力する１Ｈ（１水平走査期間）分の画像データである。
【００６０】
プログラム制御データ８０５は、図６のプログラム制御回路６１０から入力するデータである。第１〜第５の演算回路８０６〜８１０は、第１〜第４の画像データを、プログラム制御データ８０５に基づいて画像処理する。画像処理された画像データ８１１は、図６の第３のメモリ６０８に書き戻される。
【００６１】
図９は、第１〜第５の演算回路８０６〜８１０の内部構成の一例を示した図である。尚、第１〜第５の演算回路８０６〜８１０の内部構成は同じであるので、図９では、これら第１の演算回路８０６の内部構成について示している。
図９において、第１〜第４の画像データ９０１〜９０４は、図８に示した第１〜第４の画像データ８０１〜８０４の一部である。第１の演算回路８０６は、切替スイッチ９０５〜９１４、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、第２の加算回路群９３５〜９４４、及び最終加算回路９４５を有する。切替制御信号９４６、第１の加算係数９４７、乗算係数９４８、及び第２の加算係数９４９は、図８に示したプログラム制御データ８０５の構成要素である。
【００６２】
以下、本実施形態の撮像装置における動作を、図６〜図１１を用いて説明する。
図１０は、サーチモード時の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１１は、ウォブリングモード時の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【００６３】
図６に示したように、ＣＰＵ６１３によって制御された光学絞り１０１及びフォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ部６０４の受光面上に結像される。そうすると、図７に示したフォトダイオード７０１は、入射された光学像の光量（強度と照射時間）に応じて光電子を発生して、蓄積する。所定の時間、光電子が蓄積された後、駆動回路６０９は、図１０又は図１１のタイミングｔ１で、センサゲート（ＳＧ）制御線７１０を介してＳＧパルスを印加する。そうすると、フォトダイオード７０１に蓄積された光電子がＭＯＳトランジスタ７０２を経由して、フローティングディフュージョン７０３に移動し、フローティングディフュージョン７０３に移動した光電子に応じた画素電圧が発生する。この画素電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【００６４】
図１０又は図１１のタイミングｔ２で、駆動回路６０９は、データレベルホールド（ＳＨＤ）制御線７１３を介してＳＨＤパルスを印加する。そうすると、第１のサンプルホールド回路７０６においてのみ、フローティングディフュージョンアンプ７０５を経由して入力した画素電圧が保持（ホールド）される。
次に、図１０又は図１１のタイミングｔ３で、駆動回路６０９は、リセットゲート（ＲＧ）制御線７１２を介してＲＧパルスを印加する。そうすると、ＭＯＳトランジスタ７０４がオンするので、フローティングディフュージョン７０３の電圧は、電源電圧線７１１に印加されている基準電圧（リセット電圧）となる。このリセット電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【００６５】
図１０又は図１１のタイミングｔ４で、駆動回路６０９は、リセットレベルホールド（ＳＨＰ）制御線７１４を介してＳＨＰパルスを印加する。そうすると、第２のサンプルホールド回路７０７においてのみ、フローティングディフュージョンアンプ７０５を経由して入力したリセット電圧が保持される。第１及び第２のサンプルホールド回路７０６、７０６から出力された画素電圧及びリセット電圧は、差動アンプ７０８に入力する。差動アンプ７０８は、画素電圧からリセット電圧が差し引かれたセンサ出力電圧が出力される。図１０又は図１１のタイミングｔ４において、このセンサ出力電圧が、全画素分、保持された状態となる。
【００６６】
駆動回路６０９が図７の行選択線７１５に行読み出しパルスを印加している間、保持された状態となっている各画素のセンサ出力電圧は、ＭＯＳトランジスタ７０９及び列信号線７１６を通じてＡ／Ｄコンバータ７１７に入力する。これにより、水平方向の１ライン分の各画素のセンサ出力電圧が、並列に画像信号に変換される。ここで、行選択線７１５は、各水平ラインに一本づつ配線されているので、行読み出しパルスを順次印加してゆけば、一画面全体の画像信号がライン毎に順次得られることとなる。一画面全体の画像信号の読み出しは、図１０又は図１１のタイミングｔ５〜ｔ６で行われる。
以上のように、ここまで説明したセンサ出力電圧の保持と、センサ出力電圧に基づく画像信号の読み出しは、ＣＰＵ６１３と駆動回路６０９により制御される。
【００６７】
続いて、以上のようにして読み出された画像信号に対する信号処理について説明する。
ＣＭＯＳイメージセンサ部６０４から２Ｈ（２水平走査期間）前に出力された画像信号は、第２のメモリ６０６に保持されている。また、ＣＭＯＳイメージセンサ部６０４から１Ｈ（１水平走査期間）前に出力された画像信号は、第１のメモリ６０５に保持されている。さらに、ＣＭＯＳイメージセンサ部６０４では、現在の水平走査期間（Ｈ）における画像信号が生成される。これら２Ｈ前、１Ｈ前、及び現在の画像信号の合計３Ｈ分の画像信号が、並列に、画像処理回路６０７に入力する。
【００６８】
画像処理回路６０７においては、図８に示すように、前記３Ｈ分の画像信号が、第２〜第４の画像データ８０２〜８０４として入力され、各々第１〜第５の演算回路８０６〜８１０に入力される。図８では、簡単のため、１Ｈ当たり１７画素の処理が行われるものとして説明する。
【００６９】
第２〜第４の画像データ８０２〜８０４の１〜５画素目は第１の演算回路８０６に、４〜８画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第２〜第４の画像データ８０２〜８０４の７〜１１画素目は第３の演算回路８０８に、１０〜１４画素目は第４の演算回路８０９に、１３〜１７画素目は第５の演算回路８１０にそれぞれ入力される。さらに、第１の画像データ８０１（第３のメモリ６０８に保持された画像データ）の２〜４画素目は第１の演算回路８０６に、５〜７画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第１の画像データ８０１の８〜１０画素目は第３の演算回路８０８に、１１〜１３画素目は第４の演算回路８０９に、１４〜１６画素目は第５の演算回路８１０にそれぞれ入力される。
【００７０】
すなわち、第１〜第５の演算回路８０６〜８１０には、３Ｈ×５画素の２次元の画像データと、３Ｈ×５画素の中心画素とその両隣に位置する処理途中の３画素分の画像データ（第３のメモリ６０８に保持された画像データ）が入力される。よって、第１〜第５の演算回路８０６〜８１０が並列に動作することにより、１Ｈ分の演算が一度に実行されることとなる。
【００７１】
次に、前述した２次元の画像データと、処理途中の３画素分の画像データに対する具体的な処理の一例を説明する。
図９において、第１の画像データ９０１が、前記処理途中の３画素分の画像データである。第２〜第４の画像データ９０２〜９０４が、前記３Ｈ×５画素の２次元の画像データである。より具体的に説明すると、第２の画像データ９０２は、現在の１Ｈ分の画像データ８０２における５画素分の画像データである。第３の画像データ９０３は、１Ｈ前の画像データ８０３における５画素分の画像データである。第４の画像データ９０４は、２Ｈ前の画像データ８０４における５画素分の画像データである。
【００７２】
第１〜第４の画像データ９０１〜９０４は、各切替スイッチ９０５〜９１４に入力される。これら切替スイッチ９０５〜９１４は、切替制御信号９４６により接続が切り替えられる。
第１の実施形態において説明したが、ＡＦモードとしては、サーチモードとウォブリングモードがある。サーチモードとは、被写体へのフォーカスが合致していない場合にフォーカスレンズを大きく動かして合焦位置を探索するモードである。また、ウォブリングモードとは、被写体へのフォーカスは既に合致している場合に被写体の動き等によりフォーカスがずれないか否かを監視するモードである。図１０においては、サーチモードでの信号処理の一例を示し、図１１においては、ウォブリングモードでの信号処理の一例を示している。
【００７３】
まず、サーチモード時における動作について説明する。図１０の期間１００１（タイミングｔ５〜ｔ６）の前半では、図９の第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。この２次元空間フィルタは、ここで形成される２次元空間フィルタは、TOP-Evaluationと呼ばれる、合焦判定用の比較的高い空間周波数成分を抽出するためのものである。
【００７４】
一方、期間１００１（タイミングｔ５〜ｔ６）の後半でも、第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。ただし、ここで形成される２次元空間フィルタは、FOOT-Evaluationと呼ばれる、ボケ判定用の比較的低い空間周波数成分を抽出するためのものである。すなわち、サーチモードにおいては、フォーカスレンズを大きく動かして合焦位置を探索する動きをすることから、TOP-Evaluation用のＡＦ評価値と、FOOT-Evaluation用のＡＦ評価値の２つのＡＦ評価値を生成することになる。
【００７５】
期間１００１（タイミングｔ５〜ｔ６）の前半において、ＣＭＯＳイメージセンサ部６０４と、第１及び第２のメモリ６０５、６０６とから出力された合計３Ｈ分の画像データと、第３のメモリ６０８から出力された１Ｈ分の処理途中の画像データが順次入力する。そして、図１０に示すように、切替制御信号９４６によって、切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の順に切り替わる。切替スイッチ９０６〜９１４がａ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、前記３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、左側の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｂ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、中央の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｃ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、右側の３Ｈ×３画素となる。
【００７６】
同様に、切替スイッチ９０５がａ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、左側の画像データとなる。切替スイッチ９０５がｂ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、中央の画像データとなる。切替スイッチ９０５がｃ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、右側の画像データとなる。
【００７７】
切替制御信号９４６によって切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の各端子に順次切り替え接続されると、第１の加算回路群９１５〜９２４には、前述した２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とが順次入力される。そして、TOP-Evaluation用に設定された第１加算係数９４７を用いて、第１の加算回路群９１５〜９２４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とに対して、オフセット付加が行われる。その後、TOP-Evaluation用に設定された乗算係数９４８を用いて、乗算回路群９２５〜９３４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、ゲイン付加が行われる。その後、TOP-Evaluation用に設定された第２の加算係数９４９を用いて、第２の加算回路群９３５〜９４４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、オフセット付加が行われる。
【００７８】
以上のようにして、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、及び第２の加算回路群９３５〜９４４により基本演算が行われた画像データは、最終加算回路９４５にて加算されることにより、２次元画像処理が行われる。この場合には、前記TOP-Evaluation用の２次元フィルタリングが実行されることとなる。このように、画像データ９０２〜９０４及び処理途中の画像データ９０１の１Ｈ毎の読み出しと、切替スイッチ９０５〜９１４の切り替えとを繰り返すことにより、一画面全体に対して、TOP-Evaluation用の２次元フィルタリングが実行される。
【００７９】
TOP-Evaluation用の２次元フィルタリングが実行された画像データは、第３のメモリ６０８へ一旦書き込まれた後に、読み出されてラインピーク積分回路６１４に入力する。ラインピーク積分回路６１４では、TOP-Evaluation用の２次元フィルタリングが実行された画像データにおける、各ライン上のピーク値を、画像の垂直方向に積分する演算を行う。これにより、第１のＡＦ評価値としてのTOP-Evaluation用のＡＦ評価値が算出される。そして、算出された第１のＡＦ評価値（TOP-Evaluation用のＡＦ評価値）は、ＣＰＵ６１３に出力される。
【００８０】
前述したように、ＣＭＯＳイメージセンサ部６０４は、タイミングｔ４において、センサ出力電圧を、全画素分保持している。そのため、期間（タイミングｔ５〜ｔ６）１００１の後半においても、FOOT-Evaluation用の２次元フィルタリングが、一画面全体に対して実行される。そして、ラインピーク積分回路６１４において、第２のＡＦ評価値としてのFOOT-Evaluation用のＡＦ評価値が算出され、ＣＰＵ６１３に出力される。
【００８１】
一方、ウォブリングモード時は、図１１の期間１００２（タイミングｔ５〜ｔ６）の前半において、図９の第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。この２次元空間フィルタは、ここで形成される２次元空間フィルタは、TOP-Evaluationと呼ばれる、合焦判定用の比較的高い空間周波数成分を抽出するためのものである。
そして、期間１００２（タイミングｔ５〜ｔ６）の後半においては、前述したサーチモード時で行った動作を行わない。すなわち、ウォブリングモードにおいては、フォーカスレンズ系１０２を微小に動かして合焦状態が外れないか否かを監視する動きをすることから、TOP-Evaluation用のＡＦ評価値のみを生成すればよい。
【００８２】
以上、TOP-Evaluation用のＡＦ評価値と、FOOT-Evaluation用のＡＦ評価値の算出が完了するタイミングが、図１０又は図１１のタイミングｔ６である。そして、ＣＰＵ６１３は、算出されたＡＦ評価値を用いてフォーカスレンズを調整するためのアルゴリズムを動作させ、次の蓄積開始時点におけるフォーカスレンズのとるべき位置を算出する。そして、図１０又は図１１のタイミングｔ７において、ＣＰＵ６１３は、フォーカスレンズ系６０２の駆動を完了させる。
【００８３】
ここで、図１０又は図１１のタイミングｔ１において、ＳＧパルスがＭＯＳトランジスタ７０２に印加されると、フォトダイオード７０１は光電子の再蓄積を始めてしまう。従って、タイミングｔ７におけるフォーカスレンズの位置の調整に合わせて、フォトダイオード７０１に蓄積された光電子をクリアする必要がある。そこで、タイミングｔ８、ｔ９において、ＳＧパルスとＲＧパルスとを再び印加して、フォトダイオード７０１とフローティングディフュージョン７０３の電荷をクリアする。そして、タイミングｔ７から再度蓄積された光電子は、次の１Ｖにおける画像として使用される。
【００８４】
一方、図１０又は図１１のタイミングｔ６においてＡＦ評価値の算出は完了している。従って、タイミングｔ１０〜ｔ１１にかけて、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に供給する出力画像データに対する処理を、ＡＦ評価値用の２次元処理と同様に実行する。この場合、例えば、色の同時化（単板カラーカメラを前提）、輝度のベースバンドのフィルタ処理、及びアパーチャ補正等は、第１及び第２の加算係数９４７、９４９、及び乗算係数９４８を、それら用に設定して２次元フィルタリングすることにより実現できる。また、色のマトリクス処理、及びホワイトバランス処理等は、第３のメモリ６０８と画像処理回路６０７との間でデータ処理を数回ループさせることにより、同時化した後の画像データに対する所定係数を乗ずる演算等が実行される。
【００８５】
このようにして得られた出力画像データは、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に供給される。記録系信号処理部６１１は、供給された出力画像データを記録メディアに適合した記録信号に変換し、その記録信号を、記録信号出力端子６１２を介して図示しない記録メディアに出力して記録する。
【００８６】
以上のように本実施形態においても、ＣＭＯＳイメージセンサ部６０４に蓄積した光電子に基づく画像データから、ＡＦ評価値を先に算出しておき、先に算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。また、ＡＦ評価値を生成する際に、設定されているＡＦモード別に処理プログラムを変えることにより、撮像装置の消費電力を低減することができることや、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用できる。従って、第１の実施形態で説明した効果と同様の効果を得ることができる。
【００８７】
尚、本実施形態においては、図８に示したように、１Ｈ当たり１７画素の処理が行われるものとしたが、１Ｈ当たりに処理する画素数（水平方向の画素数）は任意の値を取り得る。また、図８及び図９に示したように、２次元画像処理の範囲を３Ｈ×３画素の構成としたが、２次元画像処理の範囲もこれに限定されない。
【００８８】
また、第１及び第２の実施形態では、ＡＦ評価値を算出しておき、そのＡＦ評価値に基づいてフォーカスレンズを調整する場合を例に挙げて説明したが、画像信号を調整する処理であれば、ＡＦ評価値の算出、及びフォーカスレンズの調整に限定されない。例えば、ＡＥ評価値を先に算出し、算出したＡＥ評価値に基づいて自動露出（ＡＥ）を行ってもよいし、動きベクトルを先に算出し、算出した動きベクトルに基づいて手振れ補正を行うようにしてもよい。この他、ＡＷＢ（Auto White Balance）評価値を先に算出し、算出したＡＷＢ評価値に基づいてＡＷＢを行ってもよい。
【００８９】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。尚、本実施形態の説明において、前述した第１及び第２の実施形態と同一の部分については、図１〜図１１に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００９０】
図１２は、撮像装置のハードウェアの構成の一例を示した図である。図１２に示すように、本実施形態における撮像装置のハードウェアの構成は、図１に示したものに対し、フレームレート入力端子１３３が付加されたものである。ＣＰＵ１３１は、このフレームレート入力端子１３３介して入力したフレームレートに応じて、制御回路１３０に動作モード指令信号を送信する。制御回路１３０は、第１の信号処理回路１２１〜第９の信号処理回路１２９が信号処理を行う際に使用される各信号処理プログラムの制御を、この動作モード指令信号に応じて行う。このように、本実施形態では、設定されたフレームレートに応じて処理を異ならせるようにしている。なお、フレームレートは、例えば、撮像装置に設けられた図示しない操作子の操作に基づいて設定される。
【００９１】
この他、図１２において、第１〜第８の信号処理回路１２１〜１２８の具体的な構成の一部が図１に示したものと異なる。すなわち、図１３に示すように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、データ入力端子２０１、２０２と、プログラム入力端子２０３と、プロセッサ２０４と、演算バッファメモリ２０５と、出力端子２０７を有している。このように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、図２に示したものに対し、ＡＦ評価値を求めるための積分演算を行う積分回路２０６と、ＡＦ評価値出力端子２０８とを省略したものとなる。
【００９２】
次に、フレームレートが１／６０秒周期である場合と、１／１２０秒周期である場合とを例に挙げて、本実施形態の撮像装置における動作の一例を説明する。
図１４は、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１５は、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すフローチャートである。図１６は、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１７は、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すフローチャートである。
【００９３】
まず、設定されているフレームレートが１／６０秒周期である場合の撮像装置における動作について説明する。
第１の実施形態で説明したようにして第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に画像データが入力されると、図１５のステップＳ２１に進む。このステップＳ２１では、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図１４のタイムチャートでは、期間１４０１ａ、１４０１ｂ（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。
【００９４】
具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。また、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データは、第１〜第８の信号処理回路１２１〜１２８にも直接入力される。
【００９５】
次に、図１５のステップＳ２２において、第１〜第８の信号処理回路１２１〜１２８は、色系の信号処理を実行する。図４のタイムチャートでは、期間１４０２ａ、１４０２ｂ（タイミングｔ１〜ｔ３）に色系の信号処理が実行される。
すなわち、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データは、第１〜第８の信号処理回路１２１〜１２８に入力される。そして、第１〜第８の信号処理回路１２１〜１２８は、制御回路１３０により供給される処理プログラムにより色系の信号処理を実行する。
【００９６】
具体的に説明すると第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データは、第１〜第８の信号処理回路１２１〜１２８に設けられたデータ入力端子２０１を介して、プロセッサ２０４に入力される。一方、制御回路１３０から出力された色の同時化処理のための画像処理プログラムは、プログラム入力端子２０３を介して、プロセッサ２０４に入力される。すなわち、プロセッサ２０４において、色の同時化を実行できるような補間フィルタが構成できる第１の演算プログラムが、色の同時化処理のための画像処理プログラムとして、プロセッサ２０４にロードされる。そして、プロセッサ２０４は、同時化色信号を生成して、演算バッファメモリ２０５に格納する。
【００９７】
次に、図１５のステップＳ２３において、ＣＭＯＳイメージセンサ１０３は、次のＶ（垂直走査期間）において使用される光電子の蓄積を開始する。図１４のタイムチャートでは、タイミングｔ３、ｔ４の間に光電子の蓄積が行われる。
次に、図１５のステップ２４において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図１４の期間１４０１（タイミングｔ１〜ｔ２）に第１〜第８のメモリ１１３〜１２０に格納された画像データが、第１〜第８の信号処理回路１２１〜１２８に再び読み出される。図１４のタイムチャートでは、期間１４０３ａ、１４０３ｂ（タイミングｔ４〜ｔ５）に画像データの参照が行われる。
【００９８】
次に、図１５のフローチャートのステップ２５において、第１〜第８の信号処理回路１２１〜１２８は、前述の色系の信号処理と同様に、輝度系の信号処理を実行する。図１４のタイムチャートでは、期間１４０４ａ、１４０４ｂ（タイミングｔ４〜ｔ６）に輝度系の信号処理が行われる。この期間１４０４ａ、１４０４ｂに、制御回路１３０から出力された輝度信号生成処理のための画像処理プログラムが、プログラム入力端子２０３を介して、プロセッサ２０４に入力される。すなわち、プロセッサ２０４において、２次元空間フィルタを実行できる第２の演算プログラムが、輝度信号生成処理のための画像処理プログラムとして、プロセッサ２０４にロードされる。そして、プロセッサ２０４は、輝度信号を生成して、演算バッファメモリ２０５に格納する。このとき輝度信号は、前述した色信号と重複しないエリアに格納される。
【００９９】
次に、図１５のフローチャートのステップ２６において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図１４のタイムチャートでは、期間１４０５ａ、１４０５ｂ（タイミングｔ７〜ｔ８）に出力画像処理が行われる。この期間１４０５ａ、１４０５ｂに、プロセッサ２０４は、演算バッファメモリ２０５に格納された色信号と輝度信号を読み出す。また、プロセッサ２０４は、プログラム入力端子２０３から、最終画像生成のための画像処理プログラムを入力する。そして、プロセッサ２０４は、入力した画像処理プログラムを実行し、色信号と輝度信号とを用いて出力画像を生成する。
【０１００】
以上により、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図１４のタイムチャートにおけるタイミングｔ８（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【０１０１】
次に、設定されているフレームレートが１／１２０秒周期である場合の撮像装置における動作について説明する。
図１７のステップＳ３１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図１６のタイムチャートでは、期間１６０１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。ステップＳ３１の具体的な処理は、図１５のステップＳ２１と同じであるので詳細な説明を省略する。
【０１０２】
次に、図１７のステップ３２において、第１〜第８の信号処理回路１２１〜１２８は、スルー処理を実行する。図１６のタイムチャートでは、期間１６０２（タイミングｔ１〜ｔ２）にスルー処理が行われる。すなわち、図１３に示したプロセッサ２０４には、プログラム入力端子２０３を介して制御回路１３０から出力された、スルー動作を実行するためのプログラムがロードされる。プロセッサ２０４は、このプログラムを実行することにより、データ入力端子２０１、２０２から入力されたデータを、そのまま演算バッファメモリ２０５に出力（スルー）する。
【０１０３】
次に、図１７のステップ３３において、ＣＭＯＳイメージセンサ１０３は、次のＶ（垂直走査期間）において使用される光電子の蓄積を開始する。このステップＳ３３で、１Ｖ目（１番目の垂直走査期間）の処理が終了する。
次に、ステップＳ３４において、２Ｖ目（２番目の垂直走査期間）の処理が開始され、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図１６のタイムチャートでは、期間１６０３（タイミングｔ３〜ｔ４）にこの光電子の読み出しが行われる。
【０１０４】
次に、図１７のステップＳ３５において、第１〜第８の信号処理回路１２１〜１２８は、加算処理を実行する。図１６のタイムチャートでは、期間１６０４（タイミングｔ３〜ｔ４）に加算処理が行われる。具体的に説明すると第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データは、第１〜第８の信号処理回路１２１〜１２８に設けられたデータ入力端子２０１を介して、プロセッサ２０４に入力される。また、ステップＳ３２でスルー処理が行われることにより演算バッファメモリ２０５に記憶された画像データが、プロセッサ２０４に入力される。一方、制御回路１３０から出力された加算処理のための画像処理プログラムは、プログラム入力端子２０３を介して、プロセッサ２０４に入力される。そして、プロセッサ２０４は、１Ｖ前の画像データと現在のＶの画像データとを加算して、演算バッファメモリ２０５に記憶する。これにより、被写体が暗い画像であっても、加算によりレベルが約２倍となるため、明るい画像が得られることとなる。
【０１０５】
次に、図１７のステップ３６において、ＣＭＯＳイメージセンサ１０３は、次のＶ（垂直走査期間）において使用される光電子の蓄積を開始する。
次に、図１７のステップＳ３７において、第１〜第８の信号処理回路１２１〜１２８は、色系の信号処理を行う。図１６のタイムチャートでは、期間１６０５（タイミングｔ５〜ｔ６）に色系の信号処理が行われる。このステップＳ２７の処理は、図１５のステップＳ２２と同じであるので、詳細な説明を省略する。
【０１０６】
次に、図１７のステップＳ３８において、第１〜第８の信号処理回路１２１〜１２８は、輝度系の信号処理を行う。図１６のタイムチャートでは、期間１６０６（タイミングｔ７〜ｔ８）に輝度系の信号処理が行われる。このステップＳ３８の処理は、図１５のステップＳ２５と同じであるので、詳細な説明を省略する。
次に、図１７のステップＳ３９において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図１６のタイムチャートでは、期間１６０７（タイミングｔ９〜ｔ１０）に出力画像処理が行われる。このステップＳ３９の処理は、図１５のステップＳ２６と同じであるので、詳細な説明を省略する。このステップＳ２６で、２Ｖ目の処理が終了となる（図１６のタイミングｔ１０）。その後の信号処理については、フレームレートが１／６０秒周期である場合と同じであるので、詳細な説明を省略する。
【０１０７】
以上のように本実施形態においては、フレームレートが１／６０秒周期の場合には、垂直走査期間（Ｖ）毎に出力画像を生成する。一方、フレームレートが１／１２０秒周期の場合には、１Ｖ（垂直走査期間）おきに（１Ｖ間隔で）出力画像を生成する。これにより、どのようなフレームレートであっても、撮像電荷の読み出し動作とは独立に、撮像装置の各部を動作させることが可能となる。また、手ぶれ補正や、ＡＦ制御等のフィードバック制御に必要な評価値を得るための信号処理を、出力画像を生成する際に行うようにすることにより、フレームレートに応じて撮像装置の消費電力を低減することができる。従って、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。
【０１０８】
尚、本実施形態では、フレームレートが１／１２０秒の場合に、２つの垂直走査期間（２Ｖ）分の画像データを加算する場合を例に挙げて説明した。しかしながら、フレームレートや加算対象とする垂直走査期間の数についてはこの限りではなく、これよりも増やすことができる。
【０１０９】
また、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
【０１１０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。尚、本実施形態の説明において、前述した第１〜第３の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号を付す等して詳細な説明を省略する。本実施形態は、前述した第３の実施形態のように、設定されたフレームレートに応じて処理を異ならせることを、第２の実施形態で説明したハードウェアを用いて実現するようにしている。このように、本実施形態の撮像装置のハードウェアは、図６〜図９に示したものと同じである。
【０１１１】
なお、本実施形態でも、第３の実施形態と同様に、フレームレートが１／６０秒周期である場合と、１／１２０秒周期である場合とを例に挙げて、本実施形態の撮像装置における動作の一例を説明する。また、フレームレートは、例えば、撮像装置に設けられた図示しない操作子の操作に基づいて設定される。
図１８は、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１９は、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【０１１２】
まず、フレームレートが１／６０秒である場合の撮像装置の動作について説明する。
図６に示したように、ＣＰＵ６１３によって制御された光学絞り１０１及びフォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ部４０３の受光面上に結像される。そうすると、図７に示したフォトダイオード７０１は、入射された光学像の光量（強度と照射時間）に応じて光電子を発生して、蓄積する。所定の時間、光電子が蓄積された後、駆動回路６０９は、図１８のタイミングｔ１で、センサゲート（ＳＧ）制御線７１０を介してＳＧパルスを印加する。そうすると、フォトダイオード７０１に蓄積された光電子がＭＯＳトランジスタ７０２を経由して、フローティングディフュージョン７０３に移動し、フローティングディフュージョン７０３に移動した光電子に応じた画素電圧が発生する。この画素電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【０１１３】
図１８のタイミングｔ２で、駆動回路６０９は、データレベルホールド（ＳＨＤ）制御線７１３を介してＳＨＤパルスを印加する。そうすると、第１のサンプルホールド回路７０６においてのみ、フローティングディフュージョンアンプ７０５を経由して入力した画素電圧が保持（ホールド）される。
次に、図１８のタイミングｔ３で、駆動回路６０９は、リセットゲート（ＲＧ）制御線７１２を介してＲＧパルスを印加する。そうすると、ＭＯＳトランジスタ７０４がオンするので、フローティングディフュージョン７０３の電圧は、電源電圧線７１１に印加されている基準電圧（リセット電圧）となる。このリセット電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【０１１４】
次に、図１８のタイミングｔ４で、駆動回路６０９は、リセットレベルホールド（ＳＨＰ）制御線７１４を介してＳＨＰパルスを印加する。そうすると、第２のサンプルホールド回路７０７においてのみ、フローティングディフュージョンアンプ７０５を経由して入力したリセット電圧が保持される。第１及び第２のサンプルホールド回路７０６、７０６から出力された画素電圧及びリセット電圧は、差動アンプ７０８に入力する。差動アンプ７０８は、画素電圧からリセット電圧が差し引かれたセンサ出力電圧が出力される。図１８のタイミングｔ４において、このセンサ出力電圧が、全画素分、保持された状態となる。
【０１１５】
駆動回路６０９が図７の行選択線７１５に行読み出しパルスを印加している間、保持された状態となっている各画素のセンサ出力電圧は、ＭＯＳトランジスタ７０９及び列信号線７１６を通じてＡ／Ｄコンバータ７１７に入力する。これにより、水平方向の１ライン分の各画素のセンサ出力電圧が、並列に画像信号に変換される。ここで、行選択線７１５は、各水平ラインに一本づつ配線されているので、行読み出しパルスを順次印加してゆけば、一画面全体の画像信号がライン毎に順次得られることとなる。一画面全体の画像信号の読み出しは、図１８のタイミングｔ５〜ｔ６で行われる。
ここまで説明したセンサ出力電圧の保持と、センサ出力電圧に基づく画像信号の読み出しは、ＣＰＵ６１３と駆動回路６０９により制御される。
【０１１６】
続いて、以上のようにして読み出された画像信号に対する信号処理について説明する。
ＣＭＯＳイメージセンサ部６０４から２Ｈ（２水平走査期間）前に出力された画像信号は、第２のメモリ６０６に保持されている。また、ＣＭＯＳイメージセンサ部６０４から１Ｈ（１水平走査期間）前に出力された画像信号は、第１のメモリ６０５に保持されている。さらに、ＣＭＯＳイメージセンサ部６０４では、現在の水平走査期間（Ｈ）における画像信号が生成される。これら２Ｈ前、１Ｈ前、及び現在の画像信号の合計３Ｈ分の画像信号が、並列に、画像処理回路６０７に入力する。
【０１１７】
画像処理回路６０７においては、図８に示すように、前記３Ｈ分の画像信号は、第２〜第４の画像データ８０２〜８０４として入力され、各々第１〜第５の演算回路８０６〜８１０に入力される。図８では、簡単のため、１Ｈ当たり１７画素の処理が行われるものとして説明する。
【０１１８】
第２〜第４の画像データ８０２〜８０４の１〜５画素目は第１の演算回路８０６に、４〜８画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第２〜第４の画像データ８０２〜８０４の７〜１１画素目は第３の演算回路８０８に、１０〜１４画素目は第４の演算回路８０９に、１３〜１７画素目は第５の演算回路８１０にそれぞれ入力される。さらに、第１の画像データ８０１（第３のメモリ６０８に保持された画像データ）の２〜４画素目は第１の演算回路８０６に、５〜７画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第１の画像データ８０１の８〜１０画素目は第３の演算回路８０８に、１１〜１３画素目は第４の演算回路８０９に、１４〜１６画素目は第５の演算回路８１０にそれぞれ入力される。
【０１１９】
すなわち、第１〜第５の演算回路８０６〜８１０には、３Ｈ×５画素の２次元の画像データと、３Ｈ×５画素の中心画素とその両隣に位置する処理途中の３画素分の画像データ（第３のメモリ６０８に保持された画像データ）が入力される。よって、第１〜第５の演算回路８０６〜８１０が並列に動作することにより、１Ｈ分の演算が一度に実行されることとなる。
【０１２０】
次に、前述した２次元の画像データと、処理途中の３画素分の画像データに対する具体的な処理の一例を説明する。
図９において、第１の画像データ９０１が、前記処理途中の３画素分の画像データである。第２〜第４の画像データ９０２〜９０４が、前記３Ｈ×５画素の２次元の画像データである。より具体的に説明すると、第２の画像データ９０２は、現在の１Ｈ分の画像データ８０２における５画素分の画像データである。第３の画像データ９０３は、１Ｈ前の画像データ８０３における５画素分の画像データである。第４の画像データ９０４は、２Ｈ前の画像データ８０４における５画素分の画像データである。
【０１２１】
第１〜第４の画像データ９０１〜９０４は、各切替スイッチ９０５〜９１４に入力される。これら切替スイッチ９０５〜９１４は、切替制御信号９４６により接続が切り替えられる。
【０１２２】
ここで、前述したように、ＡＦ制御において使用する評価値としては、前述したTOP-Evaluation用のＡＦ評価値と、FOOT-Evaluation用のＡＦ評価値がある。図１８の期間１８０１（タイミングｔ５〜ｔ６）の前半において、図９の第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、TOP-Evaluation成分を抽出するための２次元空間フィルタが構成できるような係数が設定される。ここで、TOP-Evaluation成分とは、比較的高い空間周波数成分をいう。一方、期間１８０１（タイミングｔ５〜ｔ６）の後半においては、第１及び第２の加算係数９４７、９４９と、乗算係数９４８に、FOOT-Evaluation成分を抽出するための２次元空間フィルタが構成できるような係数が設定される。ここで、FOOT-Evaluation成分とは、比較的低い空間周波数成分をいう。以下、これら２種類のＡＦ評価値（TOP-Evaluation用のＡＦ評価値と、FOOT-Evaluation用のＡＦ評価値）を得るための動作について説明する。
【０１２３】
図１８の期間１８０１（タイミングｔ５〜ｔ６）の前半において、ＣＭＯＳイメージセンサ部６０４と、第１及び第２のメモリ６０５、６０６とから出力された合計３Ｈ分の画像データが順次入力される。さらに、この期間１８０１には、第３のメモリ６０８から出力された１Ｈ分の処理途中の画像データも順次入力される。そして、図１８に示すように、切替制御信号９４６によって、切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の順に切り替わる。切替スイッチ９０６〜９１４がａ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、前記３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、左側の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｂ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、中央の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｃ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、右側の３Ｈ×３画素となる。
【０１２４】
同様に、切替スイッチ９０５がａ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、左側の画像データとなる。切替スイッチ９０５がｂ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、中央の画像データとなる。切替スイッチ９０５がｃ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、右側の画像データとなる。
【０１２５】
切替制御信号９４６によって切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の各端子に順次切り替え接続されると、第１の加算回路群９１５〜９２４には、前述した２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とが順次入力される。そして、TOP-Evaluation用に設定された第１加算係数９４７を用いて、第１の加算回路群９１５〜９２４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とに対して、オフセット付加が行われる。その後、TOP-Evaluation用に設定された乗算係数９４８を用いて、乗算回路群９２５〜９３４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、ゲイン付加が行われる。その後、TOP-Evaluation用に設定された第２の加算係数９４９を用いて、第２の加算回路群９３５〜９４４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、オフセット付加が行われる。
【０１２６】
以上のようにして、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、及び第２の加算回路群９３５〜９４４により基本演算が行われた画像データは、最終加算回路９４５にて加算されることにより、２次元画像処理が行われる。この場合には、前記TOP-Evaluation用の２次元フィルタリングが実行されることとなる。このように、画像データ９０２〜９０４及び処理途中の画像データ９０１の１Ｈ毎の読み出しと、切替スイッチ９０５〜９１４の切り替えとを繰り返すことにより、一画面全体に対して、TOP-Evaluation用の２次元フィルタリングが実行される。
【０１２７】
TOP-Evaluation用の２次元フィルタリングが実行された画像データは、第３のメモリ６０８へ一旦書き込まれた後に、読み出されてラインピーク積分回路６１４に入力する。ラインピーク積分回路６１４では、TOP-Evaluation用の２次元フィルタリングが実行された画像データにおける、各ライン上のピーク値を、画像の垂直方向に積分する演算を行う。これにより、第１のＡＦ評価値として、TOP-Evaluation用のＡＦ評価値が算出される。そして、算出された第１のＡＦ評価値（TOP-Evaluation用のＡＦ評価値）は、ＣＰＵ６１３に出力される。
【０１２８】
前述したように、ＣＭＯＳイメージセンサ部６０４は、タイミングｔ４において、センサ出力電圧を、全画素分保持している。そのため、期間１８０１（タイミングｔ５〜ｔ６）の後半においても、FOOT-Evaluation用の２次元フィルタリングが、一画面全体に対して実行される。そして、ラインピーク積分回路６１４において、第２のＡＦ評価値としてのFOOT-Evaluation用のＡＦ評価値が算出され、ＣＰＵ６１３に出力される。
【０１２９】
以上、TOP-Evaluation用のＡＦ評価値と、FOOT-Evaluation用のＡＦ評価値の算出が完了するタイミングが、図１８のタイミングｔ６である。そして、ＣＰＵ６１３は、算出されたＡＦ評価値を用いてフォーカスレンズを調整するためのアルゴリズムを動作させ、次の蓄積開始時点におけるフォーカスレンズのとるべき位置を算出する。そして、図１８のタイミングｔ７において、ＣＰＵ６１３は、フォーカスレンズ系６０２の駆動を完了させる。
【０１３０】
ここで、タイミングｔ１において、ＳＧパルスがＭＯＳトランジスタ７０２に印加されると、フォトダイオード７０１は光電子の再蓄積を始めてしまう。従って、タイミングｔ７におけるフォーカスレンズの位置の調整に合わせて、フォトダイオード７０１に蓄積された光電子をクリアする必要がある。そこで、タイミングｔ８、ｔ９において、ＳＧパルスとＲＧパルスとを再び印加して、フォトダイオード７０１とフローティングディフュージョン７０３の電荷をクリアする。そして、タイミングｔ７から再度蓄積された光電子は、次の１Ｖにおける画像として使用される。
【０１３１】
一方、タイミングｔ６においてＡＦ評価値の算出は完了している。従って、タイミングｔ１０〜ｔ１１にかけて、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に供給する出力画像データに対する処理を、ＡＦ評価値用の２次元処理と同様に実行する。この場合、例えば、色の同時化（単板カラーカメラを前提）、輝度のベースバンドのフィルタ処理、及びアパーチャ補正等は、第１及び第２の加算係数９４７、９４９、及び乗算係数９４８を、それら用に設定して２次元フィルタリングすることにより実現できる。また、色のマトリクス処理、及びホワイトバランス処理等は、第３のメモリ６０８と画像処理回路６０７との間でデータ処理を数回ループさせることにより、同時化した後の画像データに対する所定係数を乗ずる演算等が実行される。
【０１３２】
このようにして得られた出力画像データは、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に対して供給される。記録系信号処理部６１１は、供給された出力画像データを記録メディアに適合した記録信号に変換し、その記録信号を、記録信号出力端子６１２を介して図示しない記録メディアに出力して記録する。
【０１３３】
なお、以上のような１Ｖにおける動作を繰り返すことにより、図１８のタイミングｔ１２において、次のＶ（垂直走査期間）におけるフォーカスレンズ系６０２の駆動が実行される。以降のＶ（垂直走査期間）においても１／６０秒周期で、同様の動作が繰り返されることとなる。
【０１３４】
次に、フレームレートが１／１２０秒である場合の撮像装置の動作について説明する。
図１９に示すように、１Ｖ目（奇数番目の垂直走査期間）の動作は、フレームレートが１／６０秒である場合と同じであるので説明を省略する（図１８を参照）。一方、２Ｖ目（偶数番目の垂直走査期間）では、ＡＦ評価値を算出するためのプログラムの実行と、それに伴うフォーカスレンズ系６０２の駆動の実行とが停止される。フレームレートが高い場合にはＶ（垂直走査期間）毎にＡＦ制御を行う必要がないため、本実施形態では、２Ｖ（垂直走査期間）に１回はＡＦ制御を停止させる。
【０１３５】
以上のように本実施形態では、撮像装置を図６〜図９に示した構成とする。そして、フレームレートが１／６０秒周期の場合には、垂直走査期間（Ｖ）毎に出力画像を生成する。一方、フレームレートが１／１２０秒周期の場合には、１Ｖ（垂直走査期間）おきに（１Ｖ間隔で）出力画像を生成する。これにより、前述した第３の実施形態と同じ効果を得ることができる。
【０１３６】
尚、本実施形態においては、図８に示したように、１Ｈ当たり１７画素の処理が行われるものとしたが、１Ｈ当たりに処理する画素数（水平方向の画素数）は任意の値を取り得る。また、図８及び図９に示したように、２次元画像処理の範囲を３Ｈ×３画素の構成としたが、２次元画像処理の範囲もこれに限定されない。
【０１３７】
また、本実施形態では、フレームレートが１／１２０秒の場合に、２つの垂直走査期間（２Ｖ）分の画像データを加算する場合を例に挙げて説明した。しかしながら、フレームレートや加算対象とする垂直走査期間の数についてはこの限りではなく、これよりも増やすことができる。
【０１３８】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。尚、本実施形態の説明において、前述した第１〜第４の実施形態と同一の部分については、図１〜図１９に付した符号と同一の符号を付す等して詳細な説明を省略する。
【０１３９】
本実施形態における撮像装置のハードウェアの構成は、図１に示した撮像装置におけるフォーカスレンズ系１０２の代わりに、光学的に手振れを補正する防振レンズ系を設けている。また、第１〜第８の信号処理回路１２１〜１２８の具体的な構成の一部が図１に示したものと異なる。図２０に示すように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、データ入力端子２０１、２０２、プログラム入力端子２０３、プロセッサ２０４、演算バッファメモリ２０５、出力端子２０７、及び動きベクトル評価値出力端子２０８を有している。
【０１４０】
ここで、動きベクトル評価値出力端子２１１は、プロセッサ２０４で演算された信号処理結果のうち、動きベクトル評価値を出力する端子である。よって、出力端子２０７は、プロセッサ２０４で演算された信号処理結果のうち、動きベクトル評価値以外の信号処理結果を出力する端子となる。このように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、図２に示したものに対し、積分回路２０６と、ＡＦ評価値出力端子２０８とを設けずに、動きベクトル評価値出力端子２１１を設けるようにしたものとなる。
【０１４１】
次に、本実施形態の撮像装置における動作の一例を説明する。図２１は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図２２は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【０１４２】
まず、図２２のステップＳ４１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図２１のタイムチャートでは、期間２１０１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。
【０１４３】
次に、図２２のステップＳ４２において、１Ｖ（１垂直走査期間）前に第１〜第８のメモリ１１３〜１２０に格納された画像データの読み出しが行われる。
次に、図２２のステップＳ４３において、第１〜第８の信号処理回路１２１〜１２８は、１Ｖ前に設定された動き判定情報を参照する。この動き判定情報は、動きベクトルより判定された動きの種類を示す情報である。以下では、この動き判定情報が、静止判定情報、手ぶれ判定情報、及びパンチルト判定情報の３種類の何れかである場合を例に挙げて説明する。ここで、静止判定情報とは、被写体が静止していることを示す情報である。手ぶれ判定情報とは、手ぶれが生じている手ぶれ判定であることを示す情報である。パンチルト判定情報とは、被写体が横又は縦方向に移動しているであることを示す情報である。
【０１４４】
１Ｖ前に設定された動き判定情報が、手ぶれ判定情報である場合、図２２のステップＳ４４に進む。ステップＳ４４おいて、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を最も広範囲Ａに設定すると共に、動きベクトルの検出精度も最も細かい精度ａに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップ４１で読み出した画像データと、ステップ４２で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２１のタイムチャートでは、期間２１０１ａ（タイミングｔ１〜ｔ２)において読み出された画像データに対して、期間２１０２ａ（タイミングｔ１〜ｔ３）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。
【０１４５】
１Ｖ前に設定された動き判定情報が、パンチルト判定情報である場合、被写体の動き方向に対しては手ぶれを補正する必要がないので、被写体の動き方向の動きに対して、高い精度で動きベクトルを検出する必要はない。よって、図２２のステップＳ４５において、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を最も広範囲Ａに設定すると共に、動きベクトルの検出精度を前述した精度ａよりも粗い精度ｂに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップＳ４１で読み出した画像データと、ステップ４２で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２１のタイムチャートでは、期間２１０１ｂ（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２１０２ｂ（タイミングｔ１〜ｔ４）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。動きベクトルは一般的に２つの画像の位相をずらしながら最も相関の高い位相より検出される。従って、動きベクトルの検出精度を粗くした場合、動きベクトルの検出に要する時間は、動きベクトルの検出精度を細かくした場合よりも短くなる。すなわち、タイミングｔ１〜ｔ４の時間は、タイミングｔ１〜ｔ３の時間よりも短くなる。
【０１４６】
１Ｖ前に設定された動き判定情報が、静止判定情報である場合、手ぶれを補正する必要がない。動き自体が小さいので動きベクトルの検出範囲は小さくなるが、動きが生じた場合にそなえて動きベクトルの検出精度を粗くすることはできない。よって、図２２のステップ４６において、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を前述した範囲Ａよりも狭い範囲Ｂに設定すると共に、動きベクトルの検出精度を最も細かい精度ａに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップ４１で読み出した画像データと、ステップ４２で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２１のタイムチャートでは、期間２１０１ｃ（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２１０２ｃ（タイミングｔ１〜ｔ５）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。動きベクトルは一般的に２つの画像の位相をずらしながら最も相関の高い位相を探索することにより検出される。従って、動きベクトルの検出範囲を狭くした場合、動きベクトルの検出に要する時間は、動きベクトルの検出範囲を広くした場合よりも短くなる。すなわち、タイミングｔ１〜ｔ５の時間は、タイミングｔ１〜ｔ３の時間よりも短くなる。
【０１４７】
第１〜第８のアナログフロントエンド１０５〜１１２や、第１〜第８のメモリ１１３〜１２０から出力された画像データと、制御回路１３０から出力された動きベクトル評価値算出用のプログラムは、第１〜第８の信号処理回路１２１〜１２８に入力する。
具体的に説明すると、図２０に示したデータ入力端子２０１、２０２より、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データや、第１〜第８のメモリ１１３〜１２０に保持された画像データが、プロセッサ２０４に入力する。一方、プログラム入力端子２０３から、動き判定情報に応じた動きベクトル評価値を算出するための画像処理プログラム（動きベクトル評価値算出用のプログラム）、即ち、検出範囲と検出精度を設定可能な演算プログラムがプロセッサ２０４にロードされる。そして、プロセッサ２０４は、入力した画像データと、動きベクトル評価値算出用のプログラムとを用いて動きベクトル評価値を算出し、算出した動きベクトル評価値を動きベクトル評価値出力端子２１１より出力する。
このようにして、第１〜第８の信号処理回路１２１〜１２８において算出された動きベクトル評価値は、ＣＰＵ１３１に送られる。
【０１４８】
そして、図２２のステップＳ４７において、ＣＰＵ１３１は、動き判定情報を更新する。具体的にＣＰＵ１３１は、ステップＳ４４〜４６で得られた動きベクトル評価値の状態より、静止判定情報、パンチルト判定情報、及び手ぶれ判定情報の何れかを、現在の動き判定情報として選択して、記録媒体に記録する。
【０１４９】
次に、図２２のステップ４８において、ＣＰＵ１３１は、防振レンズ系を調整する。図２１のタイムチャートにおいては、タイミングｔ１１、ｔ１２において、防振レンズ系が調整される。具体的にＣＰＵ１３１は、図示しない手ぶれ補正制御プログラムに従い、防振レンズ系における手ぶれを補正する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像が手ぶれ補正された状態で更新される。
【０１５０】
次に、図２２のステップＳ４９において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図２１のタイムチャートでは、タイミングｔ１１、ｔ１２（防振レンズ調整）以降に光電子の蓄積が行われる。
次に、ステップＳ５０において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図２１のタイムチャートでは、期間２１０３ａ〜２１０３ｃ（タイミングｔ７〜ｔ８）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【０１５１】
次に、ステップＳ５１において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図２１のタイムチャートでは、期間２１０４ａ〜２１０４ｃ（タイミングｔ７〜ｔ９）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
【０１５２】
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図２１のタイムチャートにおけるタイミングｔ９（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【０１５３】
以上のように本実施形態では、前のＶ（垂直走査期間）に蓄積した画像データを用いて動きベクトル評価値を先に生成し、生成した動きベクトル評価値に基づいて防振レンズ系を調整した後に、現在のＶ（垂直走査期間）における画像データの蓄積を開始した。このとき、動きベクトル評価値の生成と、その動きベクトル評価値に基づく防振レンズ系の調整とを同じフレーム期間（又はフィールド期間）に行う。従って、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができるという第１の実施形態の効果に加え、手ぶれ補正の応答性を大幅に向上させることができ、手ぶれ補正を行った画像を迅速に且つ適切に形成することができるという効果が得られる。また、動きベクトル評価値を生成する際に、１Ｖ前の動き判定情報に応じて（１Ｖ前の動きの状態に応じて）、処理プログラムを変えるようにしたので、撮像装置の消費電力を低減することができる。これにより、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。
【０１５４】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
また、本実施形態では、図１に示した撮像装置の一部を変更してハードウェアを構成するようにした場合を例に挙げて示したが、図６に示した撮像装置の一部を変更してハードウェアを構成するようにしてもよい。
【０１５５】
（第６の実施形態）
次に、本発明の第６の実施形態について説明する。尚、本実施形態の説明において、前述した第１〜第５の実施形態と同一の部分については、図１〜図２２に付した符号と同一の符号を付す等して詳細な説明を省略する。
【０１５６】
図２３は、本実施形態の撮像装置のハードウェアの構成の一例を示した図である。尚、図２３では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
図２３に示すように、本実施形態の撮像装置は、図１に示した撮像装置におけるフォーカスレンズ系１０２の代わりに、光学的に手振れを補正する防振レンズ系１３４を設けると共に、撮像装置の動きを検出する動き検出部１３５を有している。また、第１〜第８の信号処理回路１２１〜１２８の具体的な構成は、図２０に示した第５の実施形態のものと同じである。即ち、本実施形態の撮像装置のハードウェアの構成は、第５の実施形態の撮像装置に動き検出部１３５を付加したものである。尚、動き検出部１３５は、例えばジャイロ（角速度センサ）を用いることにより実現できる。
【０１５７】
次に、本実施形態の撮像装置における動作の一例を説明する。図２４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図２５は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
まず、図２５のステップＳ６１において、ＣＰＵ１３１は、動き検出部１３５で検出された撮像装置の動きを示す動き検出情報を取得する。図２１のタイムチャートでは、タイミングｔ１にこの動き検出情報の取得が行われる。
次に、図２５のステップＳ６２において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図２１のタイムチャートでは、期間２４０１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。尚、このステップＳ６２の動作は、図２２のステップＳ４１の動作と同じである。
次に、図２５のステップＳ６３において、１Ｖ（１垂直走査期間）前に第１〜第８のメモリ１１３〜１２０に格納された画像データの読み出しが行われる。
次に、図２５のステップＳ６４において、第１〜第８の信号処理回路１２１〜１２８は、ステップ６１で取得された動き検出情報を用いて、動き判定情報を算出する。この動き判定情報は、動き検出部１３５により検出された動き検出情報によって判定された動きの種類である。以下では、この動き判定情報が、静止判定情報、手ぶれ判定情報、及びパンチルト判定情報の３種類の何れかである場合を例に挙げて説明する。第５の実施形態で説明したように、静止判定情報とは、被写体が静止していることを示す情報である。手ぶれ判定情報とは、手ぶれが生じている手ぶれ判定であることを示す情報である。パンチルト判定情報とは、被写体が横又は縦方向に移動しているであることを示す情報である。
【０１５８】
よって、図２５のステップＳ６４において、第１〜第８の信号処理回路１２１〜１２８は、ステップＳ６３で算出した動き判定情報が、静止判定情報、手ぶれ判定情報、及びパンチルト判定情報の何れであるかを判定する。
この判定の結果、ステップＳ６４で算出した動き判定情報が、手ぶれ判定情報である場合、図２５のステップＳ６６に進む。ステップＳ６６において、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を最も広範囲Ａに設定すると共に、動きベクトルの検出精度も最も細かい精度ａに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップＳ６２で読み出した画像データと、ステップ６３で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２４のタイムチャートでは、期間２４０１ａ（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２４０２ａ（タイミングｔ１〜ｔ３）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。
【０１５９】
ステップＳ６４で算出した動き判定情報が、パンチルト判定情報である場合、被写体の動き方向に対しては手ぶれを補正する必要がないので、被写体の動き方向の動きに対して、高い精度で動きベクトルを検出する必要はない。よって、図２５のステップＳ６７において、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を最も広範囲Ａに設定すると共に、動きベクトルの検出精度を前述した精度ａよりも粗い精度ｂに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップ６２で読み出した画像データと、ステップ６３で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２４のタイムチャートでは、期間２４０１ｂ（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２４０２ｂ（タイミングｔ１〜ｔ４）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。動きベクトルは一般的に２つの画像の位相をずらしながら最も相関の高い位相を探索することに検出される。従って、動きベクトルの検出精度を粗くした場合、動きベクトルの検出に要する時間は、動きベクトルの検出精度を細かくした場合よりも短くなる。すなわち、タイミングｔ１〜ｔ４の時間は、タイミングｔ１〜ｔ３の時間よりも短くなる。
【０１６０】
ステップＳ６４で算出した動き判定情報が、静止判定情報である場合、手ぶれを補正する必要がない。動き自体が小さいので動きベクトルの検出範囲は小さくなるが、動きが生じた場合にそなえて動きベクトルの検出精度を粗くすることはできない。よって、図２５のステップＳ６８において、第１〜第８の信号処理回路１２１〜１２８は、動きベクトルの検出範囲を前述した範囲Ａよりも狭い範囲Ｂに設定すると共に、動きベクトルの検出精度を最も細かい精度ａに設定する。そして、第１〜第８の信号処理回路１２１〜１２８は、ステップＳ６２で読み出した画像データと、ステップ６３で読み出した画像データとを用いて動きベクトル（動きベクトル評価値）を検出する。図２４のタイムチャートでは、期間２４０１ｃ（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２４０２ｃ（タイミングｔ１〜ｔ５）において動きベクトル評価値（ＭＶ評価値）の算出が実行される。動きベクトルは一般的に２つの画像の位相をずらしながら最も相関の高い位相より検出される。従って、動きベクトルの検出範囲を狭くした場合、動きベクトルの検出に要する時間は、動きベクトルの検出範囲を広くした場合よりも短くなる。すなわち、タイミングｔ１〜ｔ５の時間は、タイミングｔ１〜ｔ３の時間よりも短くなる。
【０１６１】
なお、ステップＳ６６〜Ｓ６８の動作は、図２２に示したステップＳ４４〜４６の動作と同じである。即ち、図２０に示したデータ入力端子２０１、２０２より、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データや、第１〜第８のメモリ１１３〜１２０に保持された画像データが、プロセッサ２０４に入力する。一方、プログラム入力端子２０３から、動き判定情報に応じた動きベクトル評価値を算出するための画像処理プログラム（動きベクトル評価値算出用のプログラム）、即ち、検出範囲と検出精度を設定可能な演算プログラムがプロセッサ２０４にロードされる。そして、プロセッサ２０４は、入力した画像データと、動きベクトル評価値算出用のプログラムとを用いて動きベクトル評価値を算出し、算出した動きベクトル評価値を動きベクトル評価値出力端子２１１より出力する。
このようにして、第１〜第８の信号処理回路１２１〜１２８において算出された動きベクトル評価値は、ＣＰＵ１３１に送られる。
【０１６２】
次に、図２５のステップ６９において、ＣＰＵ１３１は、防振レンズ系１３４を調整する。図２４のタイムチャートにおいては、タイミングｔ１１、ｔ１２において、防振レンズ系が調整される。具体的にＣＰＵ１３１は、図示しない手ぶれ補正制御プログラムに従い、防振レンズ系１３４における手ぶれを補正する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像が手ぶれ補正された状態で更新される。
【０１６３】
次に、図２５のステップＳ７０において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図２４のタイムチャートでは、タイミングｔ１１、ｔ１２（防振レンズ調整）以降に光電子の蓄積が行われる。
次に、ステップＳ７１において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図２４のタイムチャートでは、期間２４０３ａ〜２４０３ｃ（タイミングｔ７〜ｔ８）に画像データが参照される。
【０１６４】
次に、ステップＳ７２において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図２４のタイムチャートでは、期間２４０４ａ〜２４０４ｃ（タイミングｔ７〜ｔ９）に出力画像処理が行われる。そして、形成された出力画像は、第９の信号処理回路１２９に入力される。
【０１６５】
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図２１のタイムチャートにおけるタイミングｔ９（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。尚、図２５のステップＳ６９〜Ｓ７２は、それぞれ図２２のステップＳ４８〜Ｓ５１と同じである。
【０１６６】
以上のように本実施形態では、動き検出部１３５で検出された動き検出情報を用いて動きベクトル評価値を先に生成し、生成した動きベクトル評価値に基づいて防振レンズ系を調整した後に、現在のＶ（垂直走査期間）における画像データの蓄積を開始した。このとき、動きベクトル評価値の生成と、その動きベクトル評価値に基づく防振レンズ系の調整とを同じフレーム期間（又はフィールド期間）に行う。従って、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができるという第１の実施形態の効果に加え、手ぶれ補正の応答性を大幅に向上させることができ、手ぶれ補正を行った画像を迅速に且つ適切に形成することができるという効果が得られる。また、第５の実施形態のように、動き判定情報を更新する必要もなくなる。
【０１６７】
さらに、動きベクトル評価値を生成する際に、動き検出情報に基づいて算出した動き判定情報に応じて（現在の動きの状態に応じて）、処理プログラムを変えるようにしたので、撮像装置の消費電力を低減することができる。これにより、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。
【０１６８】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
また、本実施形態では、図１に示した撮像装置の一部を変更してハードウェアを構成するようにした場合を例に挙げて示したが、図６に示した撮像装置の一部を変更してハードウェアを構成するようにしてもよい。
【０１６９】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。尚、本実施形態の説明において、前述した第１〜第６の実施形態と同一の部分については、図１〜図２５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【０１７０】
本実施形態における撮像装置のハードウェアの構成は、図１に示した撮像装置における第１〜第８の信号処理回路１２１〜１２８の具体的な構成の一部が異なる。図２６に示すように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、データ入力端子２０１、２０２、プログラム入力端子２０３、プロセッサ２０４、演算バッファメモリ２０５、出力端子２０７、及びノイズ測定結果出力端子２１２を有している。ここで、ノイズ測定結果出力端子２１２は、プロセッサ２０４で演算された信号処理結果のうち、ノイズの測定結果を出力する端子である。よって、出力端子２０７は、プロセッサ２０４で演算された信号処理結果のうち、ノイズの測定結果以外の信号処理結果を出力する端子となる。このように、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、図２に示したものに対し、積分回路２０６と、ＡＦ評価値出力端子２０８とを設けずに、ノイズ測定結果出力端子２１２を設けるようにしたものとなる。
【０１７１】
次に、本実施形態の撮像装置における動作の一例を説明する。図２７は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図２８は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【０１７２】
まず、図２８のステップＳ８１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図２７のタイムチャートでは、期間２７０１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。
【０１７３】
次に、図２８のステップＳ８２において、１Ｖ（１垂直走査期間）前に第１〜第８のメモリ１１３〜１２０に格納された画像データの読み出しが行われる。
次に、ステップＳ８３において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のアナログフロントエンド１０５〜１１２や、第１〜第８のメモリ１１３〜１２０から出力された画像データを入力する。また、第１〜第８の信号処理回路１２１〜１２８は、制御回路１３０から出力されたノイズ測定処理用のプログラムを入力する。そして、第１〜第８の信号処理回路１２１〜１２８は、入力した画像データと、ノイズ測定処理用のプログラムを用いて、ノイズ測定処理を行う。
【０１７４】
具体的に説明すると、図２６のデータ入力端子２０１、２０２より、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データや、第１〜第８のメモリ１１３〜１２０に保持された画像データが、プロセッサ２０４に入力する。一方、プログラム入力端子２０３から、ノイズ測定処理用のプログラムがプロセッサ２０４にロードされる。そして、プロセッサ２０４は、入力した画像データと、ノイズ測定処理用のプログラムとを用いて、ノイズ測定量を算出し、算出したノイズ測定量をノイズ測定結果出力端子２１２より出力する。
【０１７５】
図２７のタイムチャートでは、期間２７０１（タイミングｔ１〜ｔ２）において読み出された画像データに対して、期間２７０２（タイミングｔ１〜ｔ３）においてノイズ測定処理が実行される。
このようにして、第１〜第８の信号処理回路１２１〜１２８において算出されたノイズ測定量は、ＣＰＵ１３１に送られる。
【０１７６】
そして、図２８のステップＳ８４において、ＣＰＵ１３１は、ステップＳ８３で算出されたノイズ測定量に基づき、ノイズ量の判定を行う。本実施形態では、ノイズ量が大、中、小の３種類の何れかである場合を例に挙げて以下の説明を行う。ノイズ量が大、中、小の３種類の何れであるかについては、予め設定されている出力画像のノイズ感度に基づいて、ステップＳ８３で算出されたノイズ測定量と閾値とを比較することによって求める。尚、本実施形態では、ノイズ量が大、中、小の３種類の何れかである場合を例に挙げたが、ノイズ量をより細かく設定してもよい。
【０１７７】
このノイズ量の判定の結果、ノイズ量が大と判定がされた場合には、図２８のステップＳ８５に進み、ＣＰＵ１３１は、ノイズ除去処理を行い、アパーチャ処理を行わないようにする設定を行う。
また、ノイズ量が中と判定がされた場合には、図２８のステップＳ８６に進み、ＣＰＵ１３１は、ノイズ除去処理と、アパーチャ処理とを両方行うようにする設定を行う。
さらに、ノイズ量が小と判定がされた場合、図２８のステップＳ８７に進み、ＣＰＵ１３１は、ノイズ除去処理を行わず、アパーチャ処理を行うようにする設定を行う。
これらステップＳ８５〜Ｓ８７の設定は、例えば、ＣＰＵ１３１のレジスタを用いることにより実現できる。
【０１７８】
次に、図２８のステップＳ８８において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図２７のタイムチャートにおいては、期間２７０３ａ〜２７０３ｃ（タイミングｔ７〜ｔ８）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【０１７９】
次に、図２８のステップＳ８９において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。この際、ステップＳ８５〜Ｓ８７での設定内容に応じて、ノイズ除去処理及びアパーチャ処理を行う。
【０１８０】
以上の処理により、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。
図２７のタイムチャートでは、以上の出力画像処理は、ノイズ量が大の場合、期間２７０４ａ（タイミングｔ７〜ｔ９）で行われる。ノイズ量が中の場合、期間２７０４ｂ（タイミングｔ７〜ｔ１０）で行われる。ノイズ量が小の場合、期間２７０４ｃ（タイミングｔ７〜ｔ１１）で行われる。このように、ノイズ量の大小によって処理時間が変動する挙動となる。
【０１８１】
そして、図２７のタイムチャートにおけるタイミングｔ９、ｔ１０、ｔ１１（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２から出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【０１８２】
以上のように本実施形態では、画像のノイズを測定した結果に応じて、ノイズ除去処理及びアパーチャ処理を行うか否かを設定し、設定した内容に応じて処理プログラムを変えるようにした。従って、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができるという第１の実施形態の効果に加え、ノイズ量の大きさに応じて、撮像装置の消費電力を低減することができるという効果が得られる。これにより、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。また、ノイズ量の測定と、そのノイズ量に応じた処理（ノイズ除去処理やアパーチャ処理）とを同じフレーム期間（又はフィールド期間）に行うようにした。これにより、ノイズ除去処理やアパーチャ処理の応答性が大幅に向上するものとなる。
【０１８３】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
また、本実施形態では、図１に示した撮像装置の一部を変更してハードウェアを構成するようにした場合を例に挙げて示したが、図６に示した撮像装置の一部を変更してハードウェアを構成するようにしてもよい。
【０１８４】
（第８の実施形態）
次に、本発明の第８の実施形態について説明する。尚、本実施形態の説明において、前述した第１〜第７の実施形態と同一の部分については、図１〜図２８に付した符号と同一の符号を付す等して詳細な説明を省略する。
図２９は、本実施形態の撮像装置のハードウェアの構成の一例を示した図である。尚、図２９では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
【０１８５】
図２９に示すように、本実施形態の撮像装置は、図１に示した撮像装置に、温度を検出する温度検出部１３６を設けた構成となる。また、第１〜第８の信号処理回路１２１〜１２８の具体的な構成の一部が、図１に示したものと異なる。また、本実施形態の第１〜第８の信号処理回路１２１〜１２８は、図２６に示したものと同じである。このように、本実施形態の撮像装置のハードウェアの構成は、第７の実施形態の撮像装置に、温度検出部１３６を付加したものとなる。尚、温度検出部１３６は、例えば温度センサを用いることにより実現できる。
【０１８６】
次に、本実施形態の撮像装置における動作の一例を説明する。図３０は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図３１は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【０１８７】
まず、図３１のフローチャートのステップ９１において、、ＣＰＵ１３１は、温度検出部１３６で検出された温度を示す温度検出情報を取得する。図３０のタイムチャートでは、タイミングｔ１にこの温度検出情報の取得が行われる。
次に、図３１のステップＳ９２において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図３０のタイムチャートでは、期間２４０１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。
【０１８８】
次に、図３１のステップＳ９３において、１Ｖ（１垂直走査期間）前に第１〜第８のメモリ１１３〜１２０に格納された画像データの読み出しが行われる。
尚、これらステップＳ９２、Ｓ９３の動作は、それぞれ図２８のステップＳ８１、８２の動作と同じである。
【０１８９】
次に、図３１のステップ９４において、ＣＰＵ１３１は、ステップＳ９１で取得された温度検出情報に基づいて、ノイズ量情報を求める。温度と撮像素子（ＣＭＯＳイメージセンサ１０３）の出力信号のノイズ量とは相関がある（一般的に高温になるほどノイズ量は増える傾向にある）。そこで、本実施形態では、例えば、温度とノイズ量とが対応付けられたテーブル、又は温度からノイズ量を換算するための算出式を用いることにより、ノイズ量情報を求めるようにしている。
【０１９０】
そして、図３１のステップＳ９５において、ＣＰＵ１３１は、ステップＳ９４で求めたノイズ量情報に基づいて、ノイズ量の判定を行う。本実施形態でも、第７の実施形態と同様に、ノイズ量が大、中、小の３種類の何れかである場合を例に挙げて以下の説明を行う。
【０１９１】
このノイズ量の判定の結果、ノイズ量が大と判定がされた場合には、図３１のステップＳ９６に進み、ＣＰＵ１３１は、ノイズ除去処理を行い、アパーチャ処理を行わないようにする設定を行う。
また、ノイズ量が中と判定がされた場合には、図３１のステップＳ９７に進み、ＣＰＵ１３１は、ノイズ除去処理と、アパーチャ処理とを両方行うように設定を行う。
さらに、ノイズ量が小と判定がされた場合、図３１のステップＳ９８に進み、ＣＰＵ１３１は、ノイズ除去処理を行わず、アパーチャ処理を行うように設定を行う。
これらステップＳ９６〜Ｓ９８の設定は、例えば、ＣＰＵ１３１のレジスタを用いることにより実現できる。
【０１９２】
次に、図３１のステップＳ９９において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図３０のタイムチャートにおいては、期間３１０２ａ〜３１０２ｃ（タイミングｔ７〜ｔ８）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【０１９３】
次に、図３１のステップＳ１００において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。この際、ステップＳ９６〜Ｓ９８での設定内容に応じて、ノイズ除去処理及びアパーチャ処理を行う。
【０１９４】
以上の処理により、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。
図３０のタイムチャートでは、以上の出力画像処理は、ノイズ量が大の場合、期間３１０３ａ（タイミングｔ７〜ｔ９）で行われる。ノイズ量が中の場合、期間３１０３ｂ（タイミングｔ７〜ｔ１０）で行われる。ノイズ量が小の場合、期間３１０３ｃ（タイミングｔ７〜ｔ１１）で行われる。このように、ノイズ量の大小によって処理時間が変動する挙動となる。
【０１９５】
そして、図３０のタイムチャートにおけるタイミングｔ９、ｔ１０、ｔ１１（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【０１９６】
以上のように本実施形態では、温度検出部１３６で検出された温度を基にノイズ量を求め、求めたノイズ量に応じて、ノイズ除去処理及びアパーチャ処理を行うか否かを設定し、設定した内容に応じて処理プログラムを変えるようにした。従って、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができるという第１の実施形態の効果に加え、ノイズ量に応じて撮像装置の消費電力を低減することができるという効果が得られる。これにより、低減した電力を別の処理のために使用することができ、ハードウェアリソースを有効に活用することができる。また、複雑な処理を行うことなくノイズ量を求めることができる。さらに、ノイズ量の導出と、そのノイズ量に応じた処理（ノイズ除去処理やアパーチャ処理）とを同じフレーム期間（又はフィールド期間）に行うようにした。これにより、ノイズ除去処理やアパーチャ処理の応答性が大幅に向上するものとなる。
【０１９７】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
また、本実施形態では、図１に示した撮像装置の一部を変更してハードウェアを構成するようにした場合を例に挙げて示したが、図６に示した撮像装置の一部を変更してハードウェアを構成するようにしてもよい。さらに、第７及び第８実施形態では、フォーカスレンズを用いた場合を例に挙げて示したが、必ずしもフォーカスレンズを用いる必要はない。
【０１９８】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【０１９９】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。また、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０２００】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでない。そのプログラムコードがコンピュータにおいて稼働しているオペレーティングシステムあるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【０２０１】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードに備わるＣＰＵが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
また、供給されたプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【０２０２】
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０２０３】
【図１】本発明の第１の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図２】本発明の第１の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図３】本発明の第１の実施形態を示し、ＣＭＯＳイメージセンサの８系統の出力と、画素との対応関係の一例を示す図である。
【図４】本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図５】本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図６】本発明の第２の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図７】本発明の第２の実施形態を示し、ＣＭＯＳイメージセンサ部の内部構成の一例を示す図である。
【図８】本発明の第２の実施形態を示し、画像処理回路の内部構成と入出力画素との関係の一例を示す図である。
【図９】本発明の第２の実施形態を示し、第１〜第５の演算回路の内部構成の一例を示した図である。
【図１０】本発明の第２の実施形態を示し、サーチモード時の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１１】本発明の第２の実施形態を示し、ウォブリングモード時の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１２】本発明の第３の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図１３】本発明の第３の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図１４】本発明の第３の実施形態を示し、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１５】本発明の第３の実施形態を示し、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すフローチャートである。
【図１６】本発明の第３の実施形態を示し、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１７】本発明の第３の実施形態を示し、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すフローチャートである。
【図１８】本発明の第４の実施形態を示し、フレームレートが１／６０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１９】本発明の第４の実施形態を示し、フレームレートが１／１２０秒である場合の撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図２０】本発明の第５の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図２１】本発明の第５の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図２２】本発明の第５の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図２３】本発明の第６の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図２４】本発明の第６の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図２５】本発明の第６の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図２６】本発明の第７の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図２７】本発明の第７の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図２８】本発明の第７の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図２９】本発明の第８の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図３０】本発明の第８の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図３１】本発明の第８の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図３２】従来の技術を示し、撮像装置における撮像処理及び信号処理の様子を示す図である。
【符号の説明】
【０２０４】
１０１  光学絞り
１０２  フォーカスレンズ系
１０３  ＣＭＯＳイメージセンサ
１０４  ドライブ制御回路
１０５〜１１２  第１〜第８のアナログフロントエンド
１１３〜１２０  第１〜第８のメモリ
１２１〜１２９  第１〜第９の信号処理回路
１３０  制御回路
１３１  ＣＰＵ
１３２  出力画像端子
１３３  フレームレート入力端子
１３４  動き検出部
１３５  温度検出部
２０４  プロセッサ
２０５  演算バッファメモリ
２０６  積分回路
【図１】
2007288275.tif 000003
【図２】
2007288275.tif 000004
【図３】
2007288275.tif 000005
【図４】
2007288275.tif 000006
【図５】
2007288275.tif 000007
【図６】
2007288275.tif 000008
【図７】
2007288275.tif 000009
【図８】
2007288275.tif 000010
【図９】
2007288275.tif 000011
【図１０】
2007288275.tif 000012
【図１１】
2007288275.tif 000013
【図１２】
2007288275.tif 000014
【図１３】
2007288275.tif 000015
【図１４】
2007288275.tif 000016
【図１５】
2007288275.tif 000017
【図１６】
2007288275.tif 000018
【図１７】
2007288275.tif 000019
【図１８】
2007288275.tif 000020
【図１９】
2007288275.tif 000021
【図２０】
2007288275.tif 000022
【図２１】
2007288275.tif 000023
【図２２】
2007288275.tif 000024
【図２３】
2007288275.tif 000025
【図２４】
2007288275.tif 000026
【図２５】
2007288275.tif 000027
【図２６】
2007288275.tif 000028
【図２７】
2007288275.tif 000029
【図２８】
2007288275.tif 000030
【図２９】
2007288275.tif 000031
【図３０】
2007288275.tif 000032
【図３１】
2007288275.tif 000033
【図３２】
2007288275.tif 000034