(57)【要約】【課題】撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させる。【解決手段】実行するプログラム（ＡＦ評価値算出用プログラム、ＡＦ制御プログラム、演算処理プログラム等）を処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、ＡＦ評価値の算出、フォーカスレンズの調整（ＡＦ）、及び出力画像の生成の順番で時系列的な処理が行われる。この時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いてＡＦ評価値を算出してフォーカスレンズを調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を行う。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。【選択図】図４
2007281887.tif 000002
【特許請求の範囲】
【請求項１】
調整された撮像条件において、光電変換を行って画素信号を生成する撮像領域と、
前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、
前記読み出し手段により並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出手段と、
前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段と、
前記算出手段、及び前記画像形成手段で実行されるプログラムを、実行すべき内容に応じて変更する変更手段とを有し、
前記変更手段がプログラムを変更することにより、前記算出手段、及び前記画像形成手段が、時系列的に動作することを特徴とする撮像装置。
【請求項２】
光電変換を行って画素信号を生成する撮像領域と、
前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、
前記読み出し手段により複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出手段と、
前記算出手段により調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出手段により算出された調整値に基づいて、前記光学系を調整する調整手段と、
前記調整手段により調整が行われた後に、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段とを有することを特徴とする撮像装置。
【請求項３】
前記算出手段は、１フィールド期間又は１フレーム期間前に形成された画像のデータを用いて、前記光学系の調整値を算出することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記算出手段により算出された調整値に基づく調整が行われた後に、前記撮像領域に対し、光電子の蓄積を開始させる蓄積制御手段を有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記算出手段は、前記撮像条件を調整するための調整値として、オートフォーカス調整値を算出し、
前記算出手段により算出されたオートフォーカス調整値に基づいてフォーカス用光学系を制御することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記算出手段は、前記撮像条件を調整するための調整値として、撮像装置の振れ量を算出し、
前記算出手段により算出された振れ量に基づいて前記撮像領域の受光面上に結像する光学像の結像位置を変更することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項７】
前記撮像領域は、ＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサで生成された複数の画素信号を並列にデジタル信号に変換し、デジタル信号に変換した画像信号を並列にメモリに保持し、メモリに保持した画像信号を読み出すことを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記撮像領域は、光電変換を行って生成した複数の画素信号を並列にサンプリングホールドするＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサでサンプリングホールドされた後に複数の画像信号を並列にデジタル信号に変換し、デジタル信号に変換した画像信号を並列に読み出すことを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項９】
光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、
並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出ステップと、
並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップと、
前記算出ステップ、及び前記画像形成ステップで実行されるプログラムを、実行すべき内容に応じて変更する変更ステップとを有し、
前記変更ステップがプログラムを変更することにより、前記算出ステップ、前記調整ステップ、及び前記画像形成ステップが、時系列的に実行されることを特徴とする撮像処理方法。
【請求項１０】
光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、
複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出ステップと、
前記算出ステップにより調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出ステップにより算出された調整値に基づいて、前記光学系を調整する調整ステップと、
前記調整ステップにより調整が行われた後に、前記読み出しステップにより並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップとを有することを特徴とする撮像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び撮像処理方法に関し、特に、撮像素子から並列に画素信号を読み出して画像を形成するために用いて好適なものである。
【背景技術】
【０００２】
従来から、テレビジョン受像機や各種記録媒体に撮像画像を提供する撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子から出力された画像信号に対して所定の信号処理を施すようにしている。このように、撮像装置では、固体撮像素子から出力された画像に対して所定の信号処理を施すことにより、テレビジョン受像機へ出力する信号や記録媒体へ出力する画像データを生成している。
【０００３】
固体撮像素子の一例であるＣＣＤイメージセンサが画像信号を生成する場合には、まず、撮像素子の各画素を形成するフォトダイオードに蓄積された光電子（全てのフォトダイオードに蓄積された全画素分の光電子）を、一度に垂直転送路に移す。そして、垂直・水平駆動波形を外部から与えることにより、ラスタスキャン（raster scan）状に光電子を転送する。続いて、転送した光電子を、出力端に設けられたＦＤ（フローティングディフュージョン）領域で電圧に変換し、変換した電圧を画像信号として出力する。そして、ＣＣＤイメージセンサに構成されている全ての画素数分の画像信号の出力が終了すれば、フォトダイオードに蓄積された電荷を再び垂直転送路に移す。このような動作をいわゆる１Ｖ周期で繰り返す。
【０００４】
また、固体撮像素子の他の例であるカラム型のＣＭＯＳイメージセンサが画像信号を生成する場合には、垂直アドレス信号に対応した一列毎の画素単位で光電子をＦＤ領域に転送して電圧に変換する。そして、水平アドレスを順次変更することにより、変換した電圧を画像信号としてラスタスキャン状に出力する。尚、カラム型のＣＭＯＳイメージセンサは、ディジタルカメラ等に搭載される等、ＣＭＯＳイメージセンサの中では最も多く撮像装置に搭載されているものである。
以上のように、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサの何れを用いても、イメージセンサに設けられたフォトダイオードでは、ラスタスキャン状に画像信号が出力されている間に、次の垂直走査期間（Ｖ）で出力するための光電子を蓄積する。
【０００５】
このようにして得られたラスタスキャン状の画像信号は、アナログアンプにより増幅されて適当な振幅となった後、Ａ／Ｄ変換されてデジタル画像信号となり、所定の信号処理が施されることとなる。ここでいう所定の信号処理とは、前述したテレビジョン受像機や記録媒体に出力するための画像を生成するための信号処理だけではなく、撮像装置の制御、例えば、手ぶれ補正、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に必要な評価値を得るための信号処理も含まれる。
【０００６】
図１６は、前述した従来の撮像装置における撮像処理及び信号処理の様子を示す図である。具体的に、図１６（ａ）は、フォトダイオードが光電子を蓄積する様子を示し、図１６（ｂ）は、固体撮像素子から画像信号が読み出される様子を示し、図１６（ｃ）は、信号処理の進行状況を示している。
さて、近年の撮像素子の画素数は、増加の一途をたどっていることは周知である。図１６に示す従来の撮像処理及び信号処理において、撮像素子の画素数の増加により最も技術的難易度が高まったものとして、図１６（ｂ）に示す画像信号の読み出し処理が挙げられる。画像信号の読み出し時のＶレート（垂直同期信号の周波数）を画素数の増加前のものと同じ値に維持しようとするならば、撮像素子の駆動周波数を高くしなければならない。しかしながら、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサでは、半導体の電気的特性の理由から、駆動周波数を上げるにも限界があるという課題がある。
【０００７】
すなわち、図１６（ａ）に示す各期間に光電子を蓄積することより得られた画像信号を、図１６（ｂ）に示す各期間をかけて読み出し、読み出した画像信号に対して、図１６（ｃ）に示す各期間で所定の信号処理を行って最終的な画像データを得るようにしている。従って、前述した従来の技術では、図１６（ｂ）に示す各期間の動作にボトルネックが生じるという課題と、撮像装置各部の動作が、図１６（ｂ）に示す各期間にタイミングを合わせなければならないという課題とがあった。
【０００８】
こうした課題に対し、特許文献１には、撮像素子の複数のエリアから並列に画像信号を読み出すことにより、撮像素子の駆動周波数を無理に上げることなく画像信号を読み出し、読み出した複数の画像信号を合成して出力することが示されている。これにより、画像信号の読み出しの動作のボトルネックを解消することが可能になる。
【０００９】
【特許文献１】特開平３−１２４１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の技術は、増大した画素数への対応を主眼としており、並列に読み出した画像信号群を合成して一つの画像に形成した後に、その画像に対して、図１６（ｃ）に示す各期間をかけて所定の信号処理を行っている。そのため、特許文献１に記載の技術でも、撮像装置の各部を、図１６（ｂ）に示す各期間にタイミングを合わせて動作させなければならないという課題は解決されていない。
【００１１】
例えば、撮像装置の制御、例えば、手ぶれ補正、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に必要な評価値を得るための信号処理は、図１６（ｃ）に示す各期間を経て完了する（図１６のタイミングｔ1）。従って、その評価値を得るための信号処理の結果に基づいた制御を、例えば画像信号１に対して反映できるのは、ＡＦ制御やＡＥ制御では、タイミングｔ2（図１６（ａ）の画像信号３の蓄積開始時）になる。同様に、手ぶれ補正やＡＷＢ制御では、タイミングｔ3（画像信号２の読み出し開始時）になる。従って、これら撮像装置の制御の応答性が低下してしまうという問題点があった。
【００１２】
本発明は、このような問題点に鑑みてなされたものであり、撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、調整された撮像条件において、光電変換を行って画素信号を生成する撮像領域と、前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、前記読み出し手段により並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出手段と、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段と、前記算出手段、及び前記画像形成手段で実行されるプログラムを、実行すべき内容に応じて変更する変更手段とを有し、前記変更手段がプログラムを変更することにより、前記算出手段、及び前記画像形成手段が、時系列的に動作することを特徴とする。
また、本発明の他の特徴とするところは、光電変換を行って画素信号を生成する撮像領域と、前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、前記読み出し手段により複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出手段と、前記算出手段により調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出手段により算出された調整値に基づいて、前記光学系を調整する調整手段と、前記調整手段により調整が行われた後に、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段とを有することにある。
【００１４】
本発明の撮像処理方法は、光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出ステップと、並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップと、前記算出ステップ、及び前記画像形成ステップで実行されるプログラムを、実行すべき内容に応じて変更する変更ステップとを有し、前記変更ステップがプログラムを変更することにより、前記算出ステップ、前記調整ステップ、及び前記画像形成ステップが、時系列的に実行されることを特徴とする。
また、本発明の他の特徴とするところは、光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出ステップと、前記算出ステップにより調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出ステップにより算出された調整値に基づいて、前記光学系を調整する調整ステップと、前記調整ステップにより調整が行われた後に、前記読み出しステップにより並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップとを有することにある。
【発明の効果】
【００１５】
本発明によれば、実行すべき内容に応じてプログラムを変更することにより、光学系の調整値を算出する処理と、画像を形成形成する処理とを時系列的に実行するようにした。これにより、撮像装置の各部の動作を、撮像素子で生成された画素信号の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができる。従って、撮像素子で生成された画素信号を読み出す速度とタイミングに大幅な自由度を与えることができる。
【００１６】
また、本発明の他の特徴によれば、複数の画素信号の並列読み出し、光学系の調整値の算出、前記調整値に基づく光学系の調整、及び前記読み出した複数の画像信号に基づく画像の形成の順番で処理を行う。ここで、前記調整値の算出と、その調整値に基づく光学系の調整とを、同じフレーム期間又は同じフィールド期間に行うようにした。これにより、光学系を従来よりも早く調整することができ、光学系の応答性を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）
以下に、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、撮像装置のハードウェアの構成の一例を示した図である。尚、図１では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
【００１８】
図１において、光学絞り１０１は、撮像装置の内部に入る光量を調節するためのものである。フォーカスレンズ系１０２は、レンズ、レンズモータ、及びアクチュエータを有する。ＣＭＯＳイメージセンサ１０３は、フォーカスレンズ系１０２を通じて入光された光学像に基づく画像信号を生成するためのものである。本実施形態では、ＣＭＯＳイメージセンサ１０３で生成された画像信号は、８系統の並列の読み出し経路を介して読み出される。
【００１９】
ドライブ制御回路１０４は、ＣＭＯＳイメージセンサ１０３から画像信号を読み出すための読み出し波形を生成する。また、ドライブ制御回路１０４は、第１〜第８のメモリ１１３〜１２０の書き込みアドレスを制御する。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれＣＭＯＳイメージセンサ１０３の第１〜第８の出力部に接続される（図３を参照）。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれ第１〜第８の出力部から読み出し経路を介して出力された画像信号を増幅した後、Ａ／Ｄ変換して画像データを生成する。第１〜第８のメモリ１１３〜１２０は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを保持する。
【００２０】
第１〜第８の信号処理回路１２１〜１２８は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データに対してプログラマブルに信号処理を行う。また、第１〜第８の信号処理回路１２１〜１２８は、第１のメモリ１１３〜第８のメモリ１２０に保持された画像データに対してプログラマブルに信号処理を行う。第９の信号処理回路１２９は、第１〜第８の信号処理回路１２１〜１２９で信号処理された画像データ群に対してプログラマブルに信号処理を行う。
【００２１】
制御回路１３０は、第１のメモリ１１３〜第８のメモリ１２０における読み出しアドレスを制御する。また、制御回路１３０は、第１の信号処理回路１２１〜第９の信号処理回路１２９が信号処理を行う際に使用される各信号処理プログラムの制御を、ＣＰＵ１３１による動作モード指令に応じて行う。ＣＰＵ１３１は、制御回路１３０に動作モード指令信号を送り、第１〜第８の信号処理回路１２１〜１２８から出力される評価データに従い、光学絞り１０１と、フォーカスレンズ系１０２と、ドライブ制御回路１０４の動作制御を行う。出力画像端子１３２は、テレビジョン受像機や記録媒体に提供するための端子である。
【００２２】
図２は、第１〜第８の信号処理回路１２１〜１２８の内部構成の一例を示す図である。
図２において、データ入力端子２０１は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを入力する端子である。データ入力端子２０２は、第１〜第８のメモリ１１３〜１２０に保持された画像データを入力する端子である。プログラム入力端子２０３は、制御回路１３０から出力された信号処理プログラムを入力する端子である。
【００２３】
プロセッサ２０４は、データ入力端子２０１、２０２から入力された画像データと、演算バッファメモリ２０５に保持された演算途中の画像データに対し、プログラム入力端子２０３からロードされた信号処理プログラムにより、２次元までの信号処理演算を行う。
演算バッファメモリ２０５は、プロセッサ２０４で行われる信号処理演算の途中結果を保持する。積分回路２０６は、ＡＦ評価値を求めるための積分演算を行う。出力端子２０７は、プロセッサ２０４の信号処理演算の結果を出力するための端子である。ＡＦ評価値出力端子２０８は、積分回路２０６で求められたＡＦ評価値を出力するための端子である。
【００２４】
次に、本実施形態の撮像装置における動作の一例を、図１〜図５を用いて説明する。
図３は、ＣＭＯＳイメージセンサ１０３の８系統の出力と、画素との対応関係の一例を示す図である。図４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図５は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【００２５】
図１に示したように、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ１０３の受光面上に結像される。受光面上に結像された光学像は、ＣＭＯＳイメージセンサ１０３の各画素を構成するフォトダイオードで光電変換され、光電子が生成される。そして、図３に示す第１〜第８の分割エリア１０３ａ〜１０３ｈの内にある画素の光電子は、第１〜第８の出力部を通じて画像信号（電圧）として出力される。
【００２６】
第１〜第８の出力部から出力された画像信号は、８系統の並列の読み出し経路を介して、第１〜第８のアナログフロントエンド１０５〜１１２に出力される。第１〜第８のアナログフロントエンド１０５〜１１２は、入力した８系統の画像信号の電圧を増幅した後、Ａ／Ｄ変換（アナログ・デジタル変換）して、８系統の画像データを生成する。生成された８系統の画像データは、第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に各々入力される。
【００２７】
第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に画像データが入力された後の動作については、図４に示すタイムチャート及び図５に示すフローチャートを参照しながら説明を行う。
まず、図５のステップＳ１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図４のタイムチャートでは、期間４１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。
【００２８】
次に、図５のステップＳ２において、第１〜第８の信号処理回路１２１〜１２８は、ＡＦ評価値を算出する。図４のタイムチャートでは、期間４２（タイミングｔ１〜ｔ２）及び期間４３（タイミングｔ１〜ｔ３）にＡＦ評価値が算出される。すなわち、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データと、制御回路１３０から出力されたＡＦ評価値算出用プログラムとが入力されると、第１〜第８の信号処理回路１２１〜１２８は、ＡＦ評価値を計算する。図２を参照しながら具体的に説明すると、データ入力端子２０１により入力された画像データは、プロセッサ２０４に入力する。一方、第１のＡＦ評価値を求めるための信号処理プログラムが、プログラム入力端子２０３を介して、プロセッサ２０４にロードされる。この信号処理プログラムは、プロセッサ２０４が、画像の第１のエッジ成分を抽出するための第１のバンドパスフィルタを構成するための演算プログラムである。以下、このプログラムを第１の演算プログラムと称する。
【００２９】
この第１の演算プログラムにより、プロセッサ２０４からは、ＡＦ用の第１のバンドパスフィルタを通過した画像データが得られる。積分回路２０６は、この第１のバンドパスフィルタを通過した画像データの積分を行うことにより、第１のＡＦ評価値をＡＦ評価値出力端子２０８より出力する。また、プロセッサ２０４から出力された画像データは、演算バッファメモリ２０５に一時的に記憶され、第１のＡＦ評価値が出力された後、プログラム入力端子２０３より、第２のＡＦ評価値を求めるための信号処理プログラムがプロセッサ２０４にロードされる。この信号処理プログラムは、プロセッサ２０４が、画像の第２のエッジ成分を抽出するための第２のバンドパスフィルタを構成するための演算プログラムである。以下、このプログラムを第２の演算プログラムと称する。
【００３０】
この第２の演算プログラムがロードされると、プロセッサ２０４は、第１のバンドパスフィルタを通過して演算バッファメモリ２０５に記憶された画像データに対し、第２のバンドパスフィルタ処理を加える。そうすると、第２のバンドパスフィルタを通過した画像データを得ることができる。ここで、第２のバンドパスフィルタは、第１のバンドパスフィルタにおける帯域の一部の帯域を切り出すようになっており、第１のバンドパスフィルタよりも狭帯域のバンドパスフィルタである。第２のバンドパスフィルタを通過した画像データは、積分回路２０６にて積分される。これにより第２のＡＦ評価値が得られる。この第２のＡＦ評価値は、ＡＦ評価値出力端子２０８より出力される。第２のＡＦ評価値を算出するために必要となる時間として、図４のタイムチャートにおけるタイミングｔ３が設定されている。
以上のようにして、第１〜第８の信号処理回路１２１〜１２８において算出されたＡＦ評価値は、ＣＰＵ１３１に送られる。
【００３１】
次に、図５のステップＳ３において、フォーカスレンズが調整される。図４のタイムチャートにおいては、タイミングｔ７（フォーカスレンズ調整）のタイミングでフォーカスレンズが調整される。具体的に説明すると、ＣＰＵ１３１は、図示しないＡＦ制御プログラムに従い、フォーカスレンズ系１０２での合焦状態を調整する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像の合焦状態が更新される。
【００３２】
次に、図５のステップＳ４において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図４のタイムチャートでは、タイミングｔ７（フォーカスレンズ調整）以降に光電子の蓄積が行われる。
次に、図５のステップＳ５において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図４のタイムチャートでは、期間４４（タイミングｔ４〜ｔ５）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【００３３】
次に、図５のステップＳ６において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図４のタイムチャートでは、期間４５（タイミングｔ４〜ｔ６）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
【００３４】
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図４のタイムチャートにおけるタイミングｔ６（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【００３５】
以上のように、本実施形態では、ＣＰＵ１３１は、実行するプログラム（ＡＦ評価値算出用プログラム、ＡＦ制御プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、ＡＦ評価値の算出、フォーカスレンズの調整（ＡＦ）、及び出力画像の生成の順番で時系列的に処理を行うことができる。従って、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。
【００３６】
また、このようにして行われる時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いて、ＡＦ評価値を先に算出しておく。そして、算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。これにより、ＡＦの応答性が大幅に向上するものとなり（例えば図１６に示したフォーカスレンズの位置調整のタイミングより１Ｖ早く、フォーカスレンズを調整することが可能となり）、適切に且つ迅速に出力画像の形成を行うことができる。
【００３７】
尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。
【００３８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００３９】
図６は、撮像装置のハードウェアの構成の一例を示した図である。尚、図６では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
撮像処理部６０３は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像を処理するためのものであり、ワンチップで構成されている。撮像処理部６０３には、ＣＭＯＳイメージセンサ部６０４、第１のメモリ６０５、第２のメモリ６０６、画像処理回路６０７、第３のメモリ６０８、駆動回路６０９、プログラム制御回路６１０、及びラインピーク積分回路６１４が形成されている。
【００４０】
ＣＭＯＳイメージセンサ部６０４は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像から画像信号を生成するためのものである。第１及び第２のメモリ６０５、６０６は、ＣＭＯＳイメージセンサ部６０４で生成された画像信号を１Ｈ（１水平走査期間）分保持する。画像処理回路６０７は、画像処理を行って画像データを生成するためのプログラム可能な回路である。
【００４１】
第３のメモリ６０８は、画像処理回路６０７で処理された画像データを保持する。駆動回路６０９は、ＣＭＯＳイメージセンサ部６０４から画像信号を読み出すための制御を行う。プログラム制御回路６１０は、画像処理回路６０７で使用される信号処理プログラムを設定する。ラインピーク積分回路６１４は、第３のメモリ６０８より出力される最終的な出力画像データからＡＦ評価値を生成する。
【００４２】
記録系信号処理部６１１は、出力画像データに対し、画像記録フォーマットに係る信号処理を行う。記録信号出力端子６１２は、画像記録フォーマットに係る信号処理が行われた出力画像データを、画像記録メディアへ出力する、ＣＰＵ６１３は、撮像処理部６０３の動作モードを制御すると共に、光学絞り１０１及びフォーカスレンズ系１０２を制御する。
【００４３】
図７は、ＣＭＯＳイメージセンサ部６０４の内部構成の一例を示す図である。
図７において、フォトダイオード７０１は、フォーカスレンズ系１０２を通じて入光された光学像を光電変換する。ＭＯＳトランジスタ７０２はセンサゲートを構成する。フローティングディフュージョン７０３は、フォトダイオード７０１に隣接して構成される。ＭＯＳトランジスタ７０４は、フローティングディフュージョン７０２に隣接して構成され、リセットゲートを構成する。
【００４４】
フローティングディフュージョンアンプ７０５は、フローティングディフュージョン７０４に保持された電荷を電圧に変換する。第１及び第２のサンプルホールド回路７０６、７０７は、フローティングディフュージョンアンプ７０５から出力された電圧を保持する。ＭＯＳトランジスタ７０９は、差動アンプ７０８から出力された電圧をゲートする。これら各構成要素７０１〜７０９をもって、１画素が構成される。
【００４５】
センサゲート（ＳＧ）制御線７１０は、ＭＯＳトランジスタ７０２のゲートにＳＧパルス（ゲート制御信号）を供給する。電源電圧線７１１は、基準電圧を供給する。リセットゲート（ＲＧ）制御線７１２は、ＭＯＳトランジスタ７０４のゲートにＲＧパルス（ゲート制御信号）を供給する。データレベルホールド（ＳＨＤ）制御線７１３は、ＳＨＤパルスを第１のサンプルホールド回路７０６に供給する。リセットレベルホールド（ＳＨＰ）制御線７１４は、ＳＨＰパルスを第１のサンプルホールド回路７０６に供給する。これら各構成要素７１０〜７１４は、全ての画素に対して共通に構成される。これらの各構成要素７１０〜７１４から供給される信号は、図６に示した駆動回路６０９により与えられるものである。
【００４６】
行選択線７１５は、水平１行の各画素に対して共通に構成され、図６に示した駆動回路６０９からの行読み出しパルスをＭＯＳトランジスタ７０９に与えるものである。列信号線７１６は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄコンバータ７１７に与えるものである。Ａ／Ｄコンバータ７１７は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄ変換するものである。列信号線７１６及びＡ／Ｄコンバータ７１７は、垂直方向の１列の各画素に対して共通に構成される。
【００４７】
図８は、図６の画像処理回路６０７の内部構成と入出力画素との関係の一例を示す図である。
図８において、第１の画像データ８０１は、図６の第３のメモリ６０８から入力する１Ｈ（１水平走査期間）分の画像データである。第２の画像データ８０２は、図６のＣＭＯＳイメージセンサ部６０４より入力する１Ｈ（１水平走査期間）分の画像データである。第３の画像データ８０３は、図６の第１のメモリ６０５から入力する１Ｈ（１水平走査期間）分の画像データである。第４の画像データ８０４は、図６の第２のメモリ６０６から入力する１Ｈ（１水平走査期間）分の画像データである。
【００４８】
プログラム制御データ８０５は、図６のプログラム制御回路６１０から入力するデータである。第１〜第５の演算回路８０６〜８１０は、第１〜第４の画像データを、プログラム制御データ８０５に基づいて画像処理する。画像処理された画像データ８１１は、図６の第３のメモリ６０８に書き戻される。
【００４９】
図９は、第１〜第５の演算回路８０６〜８１０の内部構成の一例を示した図である。尚、第１〜第５の演算回路８０６〜８１０の内部構成は同じであるので、図９では、これら第１の演算回路８０６の内部構成について示している。
図９において、第１〜第４の画像データ９０１〜９０４は、図８に示した第１〜第４の画像データ８０１〜８０４の一部である。第１の演算回路８０６は、切替スイッチ９０５〜９１４、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、第２の加算回路群９３５〜９４４、最終加算回路９４５を有する。切替制御信号９４６、第１の加算係数９４７、乗算係数９４８、及び第２の加算係数９４９は、図８に示したプログラム制御データ８０５の構成要素である。
【００５０】
以下、本実施形態の撮像装置における動作を、図６〜図１０を用いて説明する。
図１０は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【００５１】
図６に示したように、ＣＰＵ６１３によって制御された光学絞り１０１及びフォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ部４０３の受光面上に結像される。そうすると、図７に示したフォトダイオード７０１は、入射された光学像の光量（強度と照射時間）に応じて光電子を発生して、蓄積する。所定の時間、光電子が蓄積された後、駆動回路６０９は、図１０のタイミングｔ１で、センサゲート（ＳＧ）制御線７１０を介してＳＧパルスを印加する。そうすると、フォトダイオード７０１に蓄積された光電子がＭＯＳトランジスタ７０２を経由して、フローティングディフュージョン７０３に移動し、フローティングディフュージョン７０３に移動した光電子に応じた画素電圧が発生する。この画素電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【００５２】
図１０のタイミングｔ２で、駆動回路６０９は、データレベルホールド（ＳＨＤ）制御線７１３を介してＳＨＤパルスを印加する。そうすると、第１のサンプルホールド回路７０６においてのみ、フローティングディフュージョンアンプ７０５を経由して入力した画素電圧が保持（ホールド）される。
次に、タイミングｔ３で、駆動回路６０９は、リセットゲート（ＲＧ）制御線７１２を介してＲＧパルスを印加する。そうすると、ＭＯＳトランジスタ７０４がオンするので、フローティングディフュージョン７０３の電圧は、電源電圧線７１１に印加されている基準電圧（リセット電圧）となる。このリセット電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。
【００５３】
図１０のタイミングｔ４で、駆動回路６０９は、リセットレベルホールド（ＳＨＰ）制御線７１４を介してＳＨＰパルスを印加する。そうすると、第２のサンプルホールド回路７０７においてのみ、フローティングディフュージョンアンプ７０５を経由して入力したリセット電圧が保持される。第１及び第２のサンプルホールド回路７０６、７０６から出力された画素電圧及びリセット電圧は、差動アンプ７０８に入力する。差動アンプ７０８は、画素電圧からリセット電圧が差し引かれたセンサ出力電圧が出力される。図１０のタイミングｔ４において、このセンサ出力電圧が、全画素分、保持された状態となる。
【００５４】
駆動回路６０９が図７の行選択線７１５に行読み出しパルスを印加している間、保持された状態となっている各画素のセンサ出力電圧は、ＭＯＳトランジスタ７０９及び列信号線７１６を通じてＡ／Ｄコンバータ７１７に入力する。これにより、水平方向の１ライン分の各画素のセンサ出力電圧が、並列に画像信号に変換される。ここで、行選択線７１５は、各水平ラインに一本づつ配線されているので、行読み出しパルスを順次印加してゆけば、一画面全体の画像信号がライン毎に順次得られることとなる。一画面全体の画像信号の読み出しは、図１０のタイミングｔ５〜ｔ６で行われる。
以上のように、ここまで説明したセンサ出力電圧の保持と、センサ出力電圧に基づく画像信号の読み出しは、ＣＰＵ６１３と駆動回路６０９により制御される。
【００５５】
続いて、以上のようにして読み出された画像信号に対する信号処理について説明する。
ＣＭＯＳイメージセンサ部６０４から２Ｈ（２水平走査期間）前に出力された画像信号は、第２のメモリ６０６に保持されている。また、ＣＭＯＳイメージセンサ部６０４から１Ｈ（１水平走査期間）前に出力された画像信号は、第１のメモリ６０５に保持されている。さらに、ＣＭＯＳイメージセンサ部６０４では、現在の水平走査期間（Ｈ）における画像信号が生成される。これら２Ｈ前、１Ｈ前、及び現在の画像信号の合計３Ｈ分の画像信号が、並列に、画像処理回路６０７に入力する。
【００５６】
画像処理回路６０７においては、図８に示すように、前記３Ｈ分の画像信号は、第２〜第４の画像データ８０２〜８０４として入力され、各々第１〜第５の演算回路８０６〜８１０に入力される。図８では、簡単のため、１Ｈ当たり１７画素の処理が行われるものとして説明する。
【００５７】
第２〜第４の画像データ８０２〜８０４の１〜５画素目は第１の演算回路８０６に、４〜８画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第２〜第４の画像データ８０２〜８０４の７〜１１画素目は第３の演算回路８０８に、１０〜１４画素目は第４の演算回路８０９に、１３〜１７画素目は第５の演算回路８１０にそれぞれ入力される。さらに、第１の画像データ８０１（第３のメモリ６０８に保持された画像データ）の２〜４画素目は第１の演算回路８０６に、５〜７画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第１の画像データ８０１の８〜１０画素目は第３の演算回路８０８に、１１〜１３画素目は第４の演算回路８０９に、１４〜１６画素目は第５の演算回路８１０にそれぞれ入力される。
【００５８】
すなわち、第１〜第５の演算回路８０６〜８１０には、３Ｈ×５画素の２次元の画像データと、３Ｈ×５画素の中心画素とその両隣に位置する処理途中の３画素分の画像データ（第３のメモリ６０８に保持された画像データ）が入力される。よって、第１〜第５の演算回路８０６〜８１０が並列に動作することにより、１Ｈ分の演算が一度に実行されることとなる。
【００５９】
次に、前述した２次元の画像データと、処理途中の３画素分の画像データに対する具体的な処理の一例を説明する。
図９において、第１の画像データ９０１が、前記処理途中の３画素分の画像データである。第２〜第４の画像データ９０２〜９０４が、前記３Ｈ×５画素の２次元の画像データである。より具体的に説明すると、第２の画像データ９０２は、現在の１Ｈ分の画像データ８０２における５画素分の画像データである。第３の画像データ９０３は、１Ｈ前の画像データ８０３における５画素分の画像データである。第４の画像データ９０４は、２Ｈ前の画像データ８０４における５画素分の画像データである。
【００６０】
第１〜第４の画像データ９０１〜９０４は、各切替スイッチ９０５〜９１４に入力される。これら切替スイッチ９０５〜９１４は、切替制御信号９４６により接続が切り替えられる。図１０において、期間１００２（タイミングｔ５〜ｔ６）に、一画面全体の画像データの読み出しが行われる。この期間１００２（タイミングｔ５〜ｔ６）の前半では、図９の第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。この２次元空間フィルタは、ここで形成される２次元空間フィルタは、TOP-Evaluationと呼ばれる、合焦判定用の比較的高い空間周波数成分を抽出するためのものである。
【００６１】
一方、期間１００２（タイミングｔ５〜ｔ６）の後半でも、第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。ただし、ここで形成される２次元空間フィルタは、FOOT-Evaluationと呼ばれる、ボケ判定用の比較的低い空間周波数成分を抽出するためのものである。
【００６２】
期間１００２（タイミングｔ５〜ｔ６）の前半において、ＣＭＯＳイメージセンサ部６０４と、第１及び第２のメモリ６０５、６０６とから出力された合計３Ｈ分の画像データと、第３のメモリ６０８から出力された１Ｈ分の処理途中の画像データが順次入力する。そして、図１０に示すように、切替制御信号９４６によって、切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の順に切り替わる。切替スイッチ９０６〜９１４がａ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、前記３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、左側の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｂ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、中央の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｃ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、右側の３Ｈ×３画素となる。
【００６３】
同様に、切替スイッチ９０５がａ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、左側の画像データとなる。切替スイッチ９０５がｂ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、中央の画像データとなる。切替スイッチ９０５がｃ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、右側の画像データとなる。
【００６４】
切替制御信号９４６によって切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の各端子に順次切り替え接続されると、第１の加算回路群９１５〜９２４には、前述した２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とが順次入力される。そして、TOP-Evaluation用に設定された第１加算係数９４７を用いて、第１の加算回路群９１５〜９２４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とに対して、オフセット付加が行われる。その後、TOP-Evaluation用に設定された乗算係数９４８を用いて、乗算回路群９２５〜９３４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、ゲイン付加が行われる。その後、TOP-Evaluation用に設定された第２の加算係数９４９を用いて、第２の加算回路群９３５〜９４４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、オフセット付加が行われる。
【００６５】
以上のようにして、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、及び第２の加算回路群９３５〜９４４により基本演算が行われた画像データは、最終加算回路９４５にて加算されることにより、２次元画像処理が行われる。この場合には、前記TOP-Evaluation用の２次元フィルタリングが実行されることとなる。このように、画像データ９０２〜９０４及び処理途中の画像データ９０１の１Ｈ毎の読み出しと、切替スイッチ９０５〜９１４の切り替えとを繰り返すことにより、一画面全体に対して、TOP-Evaluation用の２次元フィルタリングが実行される。
【００６６】
TOP-Evaluation用の２次元フィルタリングが実行された画像データは、第３のメモリ６０８へ一旦書き込まれた後に、読み出されてラインピーク積分回路６１４に入力する。ラインピーク積分回路６１４では、TOP-Evaluation用の２次元フィルタリングが実行された画像データにおける、各ライン上のピーク値を、画像の垂直方向に積分する演算を行う。これにより、第１のＡＦ評価値としてのTOP-Evaluation値が算出される。そして、算出された第１のＡＦ評価値（TOP-Evaluation値）は、ＣＰＵ６１３に出力される。
【００６７】
前述したように、ＣＭＯＳイメージセンサ部６０４は、タイミングｔ４において、センサ出力電圧を、全画素分保持している。そのため、期間（タイミングｔ５〜ｔ６）１００１の後半においても、FOOT-Evaluation用の２次元フィルタリングが、一画面全体に対して実行される。そして、ラインピーク積分回路６１４において、第２のＡＦ評価値としてのFOOT-Evaluation値が算出され、ＣＰＵ６１３に出力される。
【００６８】
以上、第１及び第２のＡＦ評価値の算出が完了するタイミングが、図１０のタイミングｔ６である。そして、ＣＰＵ６１３は、算出されたＡＦ評価値を用いてフォーカスレンズを調整するためのアルゴリズムを動作させ、次の蓄積開始時点におけるフォーカスレンズのとるべき位置を算出する。そして、図１０のタイミングｔ７において、ＣＰＵ６１３は、フォーカスレンズ系６０２の駆動を完了させる。
【００６９】
ここで、タイミングｔ１において、ＳＧパルスがＭＯＳトランジスタ７０２に印加されると、フォトダイオード７０１は光電子の再蓄積を始めてしまう。従って、タイミングｔ７におけるフォーカスレンズの位置の調整に合わせて、フォトダイオード７０１に蓄積された光電子をクリアする必要がある。そこで、タイミングｔ８、ｔ９において、ＳＧパルスとＲＧパルスとを再び印加して、フォトダイオード７０１とフローティングディフュージョン７０３の電荷をクリアする。そして、タイミングｔ７から再度蓄積された光電子は、次の１Ｖにおける画像として使用される。
【００７０】
一方、タイミングｔ６においてＡＦ評価値の算出は完了している。従って、タイミングｔ１０〜ｔ１１にかけて、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に供給する出力画像データに対する処理を、ＡＦ評価値用の２次元処理と同様に実行する。この場合、例えば、色の同時化（単板カラーカメラを前提）、輝度のベースバンドのフィルタ処理、及びアパーチャ補正等は、第１及び第２の加算係数９４７、９４９、及び乗算係数９４８を、それら用に設定して２次元フィルタリングすることにより実現できる。また、色のマトリクス処理、及びホワイトバランス処理等は、第３のメモリ６０８と画像処理回路６０７との間でデータ処理を数回ループさせることにより、同時化した後の画像データに対する所定係数を乗ずる演算等が実行される。
【００７１】
このようにして得られた出力画像データは、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に対して供給される。記録系信号処理部６１１は、供給された出力画像データを記録メディアに適合した記録信号に変換し、その記録信号を、記録信号出力端子６１２を介して図示しない記録メディアに出力して記録する。
【００７２】
以上のように本実施形態においても、ＣＭＯＳイメージセンサ部６０４に蓄積した光電子に基づく画像データから、ＡＦ評価値を先に算出しておき、先に算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。従って、第１の実施形態で説明した効果と同様の効果を得ることができる。
【００７３】
尚、本実施形態においては、図８に示したように、１Ｈ当たり１７画素の処理が行われるものとしたが、１Ｈ当たりに処理する画素数（水平方向の画素数）は任意の値を取り得る。また、図８及び図９に示したように、２次元画像処理の範囲を３Ｈ×３画素の構成としたが、２次元画像処理の範囲もこれに限定されない。
【００７４】
また、本実施形態では、ＡＦ評価値を算出しておき、そのＡＦ評価値に基づいてフォーカスレンズを調整する場合を例に挙げて説明したが、画像信号を調整する処理であれば、ＡＦ評価値の算出、及びフォーカスレンズの調整に限定されない。例えば、ＡＥ評価値を先に算出し、算出したＡＥ評価値に基づいて自動露出（ＡＥ）を行ってもよいし、動きベクトルを先に算出し、算出した動きベクトルに基づいて手振れ補正を行うようにしてもよい。この他、ＡＷＢ（Auto White Balance）評価値を先に算出し、算出したＡＷＢ評価値に基づいてＡＷＢを行ってもよい。
【００７５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
図１１は、撮像装置のハードウェアの構成の一例を示した図である。尚、図１では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
【００７６】
図１１に示すように、本実施形態の撮像装置のハードウェアの構成は、図１に示した第１の実施形態の撮像装置に対し、フレームメモリ１３３と、ＶＡＰ制御回路１３４と、バリアングルプリズム（以下ＶＡＰと称する）１３５とが付加されたものである。また、図１に示した第１〜第８の信号処理回路１４１〜１４８の代わりに、第１〜第８の信号処理回路１４１〜１４８と構成の一部が異なる第１〜第８の信号処理回路１４１〜１４８が設けられている。
フレームメモリ１３３は、画像の輪郭情報を記録するためのものである。ＶＡＰ制御回路１３４は、ＣＰＵ１３１による制御に基づいて、手ぶれを打ち消す方向にＶＡＰ１３５の頂角を調整するためのものである。ＶＡＰ１３５は、頂角が可変のプリズムである。
【００７７】
図１２は、第１〜第８の信号処理回路１４１〜１４８の内部構成の一例を示す図である。
図１２において、データ入力端子２０１は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを入力する端子である。データ入力端子２０２は、第１〜第８のメモリ１１３〜１２０に保持された画像データを入力する端子である。プログラム入力端子２０３は、制御回路１３０から出力された信号処理プログラムを入力する端子である。データ入力端子２０９は、フレームメモリ１３３から、１フィールド前の画像の輪郭信号の一部を入力する端子である。
【００７８】
プロセッサ２１０は、データ入力端子２０１、２０２から入力された画像データと、演算バッファメモリ２０５に保持された演算途中の画像データに対し、プログラム入力端子２０３からロードされた信号処理プログラムにより、２次元までの信号処理演算を行う。
また、プロセッサ２１０は、データ入力端子２０９を介して、フレームメモリ１３３から、１フィールド前の画像の輪郭の一部を示す画像輪郭信号を読み出して、バッファメモリ２０５に一時的に記憶する。このように、バッファメモリ２０５は、１フィールド前の画像輪郭信号を一時的に記憶する。
さらに、プロセッサ２１０は、フレームメモリ１３３（データ入力端子２０９）から読み出された画像データに基づく現在のフィールドの画像輪郭信号と、バッファメモリ２０５に記憶している１フィールド前の画像輪郭信号とを比較して相関を求める。そして、比較した領域の中で最も相関が高い動きベクトルを、動きベクトル検出結果としてバッファメモリ２１１に記憶する。このように、バッファメモリ２１１は、動きベクトル検出結果を一時的に記憶する。
【００７９】
出力端子２０７は、プロセッサ２０４の信号処理演算の結果を出力するための端子である。出力端子２０８は、動きベクトル検出結果を出力するための端子である。尚、ＣＭＯＳイメージセンサ１０３の８系統の出力と、画素との対応関係は、図３に示すようなものであるとする。
【００８０】
次に、本実施形態の撮像装置における動作の一例を説明する。
図１１に示すように、ＶＡＰ１３５、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ１０３の受光面上に結像される。受光面上に結像された光学像は、ＣＭＯＳイメージセンサ１０３の各画素を構成するフォトダイオードで光電変換され、光電子が生成される。そして、図３に示した第１〜第８の分割エリア１０３ａ〜１０３ｈの内にある画素の光電子は、第１〜第８の出力部を通じて画像信号（電圧）として出力される。
【００８１】
第１〜第８の出力部から出力された画像信号は、８系統の並列の読み出し経路を介して、第１〜第８のアナログフロントエンド１０５〜１１２に出力される。第１〜第８のアナログフロントエンド１０５〜１１２は、入力した８系統の画像信号の電圧を増幅した後、Ａ／Ｄ変換（アナログ・デジタル変換）して、８系統の画像データを生成する。生成された８系統の画像データは、第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１４１〜１４８に各々入力される。
【００８２】
第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１４１〜１４８に画像データが入力された後の動作については、図１３に示すタイムチャート及び図１４に示すフローチャートを参照しながら説明を行う。
図１３は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【００８３】
まず、図１４のフローチャートのステップＳ１１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子の読み出しが行われる。図１３のタイムチャートでは、期間１３１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。
【００８４】
次に、図１４のステップＳ１２において、第１〜第８の信号処理回路１４１〜１４８は、輪郭抽出処理を実行する。図１３のタイムチャートでは、期間１３０２（タイミングｔ１〜ｔ２）及び期間１３０３（タイミングｔ１〜ｔ３）に、この輪郭抽出処理が実行される。すなわち、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データと、制御回路１３０から出力された輪郭抽出用プログラムとが入力されると、第１〜第８の信号処理回路１４１〜１４８は、輪郭抽出処理を実行する。図１２を参照しながら具体的に説明すると、データ入力端子２０１により入力された画像データは、プロセッサ２１０に入力する。一方、画像の輪郭を抽出するための信号処理プログラムである輪郭抽出用プログラムが、プログラム入力端子２０３を介して、プロセッサ２１０にロードされる。この輪郭抽出用プログラムは、プロセッサ２１０が、画像の輪郭を抽出のためのバンドパスフィルタを構成するための第１の演算プログラムである。これにより、プロセッサ２１０は、図１５（ａ）及び図１５（ｂ）に示すような画像輪郭信号１５０１、１５０２を生成し、生成した画像輪郭信号１５０１、１５０２を、出力端子２０７を介してフレームメモリ１３３に記憶する。尚、図１５（ａ）に示す画像輪郭信号１５０１は、１フィールド前の画像の輪郭を示す信号であり、図１５（ｂ）に示す画像輪郭信号１５０２は、現在のフィールドの画像の輪郭を示す信号である。
【００８５】
次に、図１４のステップＳ１３において、第１〜第８の信号処理回路１４１〜１４８は、動きベクトル検出処理を実行する。図１３のタイムチャートでは、期間１３０２（タイミングｔ１〜ｔ２）及び期間１３０３（タイミングｔ１〜ｔ３）に、この動きベクトル検出処理が実行される。すなわち、フレームメモリ１３３から出力された画像輪郭信号１５０１、１５０２と、制御回路１３０から出力された動きベクトル検出用プログラムとが入力されると、第１〜第８の信号処理回路１４１〜１４８は、動きベクトルを検出する。
【００８６】
図１２及び図１５を参照しながら具体的に説明すると、まず、第１〜第８の信号処理回路１４１〜１４８に設けられたプロセッサ２１０は、フレームメモリ１３３から、１フィールド前の画像輪郭信号１５０１の一部１５０１ａを読み出す（図１５（ｃ）を参照）。そして、プロセッサ２１０は、読み出された１フィールド前の画像輪郭信号１５０１ａを、バッファメモリ２０５に一時的に記憶する。一方、現在のフィールドの画像輪郭信号と１フィールド前の画像輪郭信号とを比較して動きベクトルを検出するための信号処理プログラムである動きベクトル検出用プログラムが第２の演算プログラムとして、プロセッサ２１０にロードされる。
【００８７】
次に、制御回路１３０は、フィールドメモリ１３３を制御し、図１５に（ｄ）に示すように、現在のフィールドの画像輪郭信号１５０２の中で位置を変化させて、現在のフィールドの画像輪郭信号１５０２の一部１５０２ａ〜１５０２ｃを抽出する。そして、制御回路１３０は、抽出した現在のフィールドの画像輪郭信号１５０２ａ〜１５０２ｃを、第１〜第８の信号処理回路１４１〜１４８に出力する。そして、プロセッサ２１０は、フレームメモリ１３３から読み出された現在のフィールドの画像輪郭信号１５０２ａ〜１５０２ｃと、バッファメモリ２０５に記憶されている１フィールド前の画像輪郭信号１５０３ａとの相関を求める。そして、プロセッサ２１０は、求めた相関が最も高い２つの画像輪郭信号における動きベクトルをバッファメモリ２０６に記憶する。図１５（ｄ）に示した例では、１フィールド前の画像輪郭信号１５０１ａと、現在のフィールドの画像輪郭信号１５０２ｃとにおける動きベクトルがバッファメモリ２０６に記憶される。
【００８８】
このようにして、第１〜第８の信号処理回路１４１〜１４８において検出された動きベクトルは、ＣＰＵ１３１に送られる。そして、図１４のステップ１４において、ＣＰＵ１３１は、ＶＡＰ調整を行う。図１３のタイムチャートでは、タイミングｔ７に、このＶＡＰ調整が行われる。ＣＰＵ１３１は、図示しないＶＡＰ調整用プログラムに従い、ＶＡＰ制御回路１３４を制御し、第１〜第８の信号処理回路１４１〜１４８で検出された動きベクトルに基づいて、手ぶれを打ち消す方向にＶＡＰ１３５の頂角を調整する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像が更新される。
【００８９】
次に、図１４のステップＳ１６において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図１３のタイムチャートでは、タイミングｔ７（ＶＡＰ調整）以降に光電子の蓄積が行われる。
次に、図１４のステップ１７において、第１〜第８の信号処理回路１４１〜１４８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図１３のタイムチャートでは、期間１３０４（タイミングｔ４〜ｔ５）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１４１〜１４８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。
【００９０】
次に、図１４のステップＳ１８において、第１〜第８の信号処理回路１４１〜１４８は、出力する画像を生成するための出力画像処理を行う。図１３のタイムチャートでは、期間１３０５（タイミングｔ４〜ｔ６）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１４１〜１４８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。
【００９１】
第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図１３のタイムチャートにおけるタイミングｔ６（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。
【００９２】
以上のように、本実施形態では、ＣＰＵ１３１は、実行するプログラム（（輪郭抽出用プログラム、動きベクトル検出用プログラム、ＶＡＰ調整用プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、動きベクトルの検出、ＶＡＰ１３５の調整、及び出力画像の生成の順番で時系列的に処理を行うことができる。これにより、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。
【００９３】
また、このようにして行われる時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いて、動きベクトルを先に検出しておく。そして、検出しておいた動きベクトルに基づいてＶＡＰ１３５を調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を開始する。このとき、動きベクトルの検出と、その動きベクトルに基づくＶＡＰ１３５の調整とを同じフレーム期間（又はフィールド期間）に行う。これにより、手ぶれ補正の応答性が大幅に向上するものとなり（例えば図１６に示した手振れ補正のタイミングより１Ｖ早く、手振れ補正を行うことが可能となり）、適切に且つ迅速に出力画像の形成を行うことができる。
【００９４】
尚、本実施形態においても、第１の実施形態と同様に、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。
また、第１の実施形態（第３の実施形態）では、ＡＦ評価値（動きベクトル）を先に算出しておき、先に算出しておいたＡＦ評価値（動きベクトル）に基づいてフォーカスレンズを調整する（手振れを補正する）場合を例に挙げて説明した。しかしながら、画像信号を調整する処理であれば、ＡＦ評価値（動きベクトル）の算出、及びフォーカスレンズの調整（手振れの補正）に限定されない。例えば、ＡＥ評価値を先に算出し、算出したＡＥ評価値に基づいて自動露出（ＡＥ）を行ってもよい。この他、ＡＷＢ（AWB Auto White Balance）評価値を先に算出し、算出したＡＷＢ評価値に基づいてＡＷＢを行ってもよい。
【００９５】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００９６】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。また、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９７】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでない。そのプログラムコードがコンピュータにおいて稼働しているオペレーティングシステムあるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００９８】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードに備わるＣＰＵが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
また、供給されたプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００９９】
尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図２】本発明の第１の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図３】本発明の第１の実施形態を示し、ＣＭＯＳイメージセンサの８系統の出力と、画素との対応関係の一例を示す図である。
【図４】本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図５】本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図６】本発明の第２の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図７】本発明の第２の実施形態を示し、ＣＭＯＳイメージセンサ部の内部構成の一例を示す図である。
【図８】本発明の第２の実施形態を示し、画像処理回路の内部構成と入出力画素との関係の一例を示す図である。
【図９】本発明の第２の実施形態を示し、第１〜第５の演算回路の内部構成の一例を示した図である。
【図１０】本発明の第２の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１１】本発明の第３の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。
【図１２】本発明の第３の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。
【図１３】本発明の第３の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。
【図１４】本発明の第３の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。
【図１５】本発明の第３の実施形態を示し、画像輪郭信号の一例を示した図である。
【図１６】従来の技術を示し、撮像装置における撮像処理及び信号処理の様子を示す図である。
【符号の説明】
【０１０１】
１０１  光学絞り
１０２  フォーカスレンズ系
１０３  ＣＭＯＳイメージセンサ
１０４  ドライブ制御回路
１０５〜１１２  第１〜第８のアナログフロントエンド
１１３〜１２０  第１〜第８のメモリ
１２１〜１２９  第１〜第９の信号処理回路
１３０  制御回路
１３１  ＣＰＵ
１３４  ＶＡＰ制御回路
１３５  ＶＡＰ
１４１〜１４８  第１〜第８の信号処理回路
２０４  プロセッサ
２０５  演算バッファメモリ
２０６  積分回路
６０３  撮像処理部
６０４  ＣＭＯＳイメージセンサ部
６０５  第１のメモリ
６０６  第２のメモリ
６０７  画像処理回路
６０８  第３のメモリ
６０９  駆動回路
６１０  プログラム制御回路
６１１  記録系信号処理部
６１３  ＣＰＵ
６１４  ラインピーク積分回路
【図１】
2007281887.tif 000003
【図２】
2007281887.tif 000004
【図３】
2007281887.tif 000005
【図４】
2007281887.tif 000006
【図５】
2007281887.tif 000007
【図６】
2007281887.tif 000008
【図７】
2007281887.tif 000009
【図８】
2007281887.tif 000010
【図９】
2007281887.tif 000011
【図１０】
2007281887.tif 000012
【図１１】
2007281887.tif 000013
【図１２】
2007281887.tif 000014
【図１３】
2007281887.tif 000015
【図１４】
2007281887.tif 000016
【図１５】
2007281887.tif 000017
【図１６】
2007281887.tif 000018