(57)【要約】【課題】  画素読み出し時間が無視できない場合でも、所望の撮像を行うことができる固体撮像装置を提供する。【解決手段】  撮像素子１は被写体を撮像し、画像信号を生成する。領域分離部１１は撮像素子１の撮像領域を１フレーム内で少なくとも２つの領域Ｓ１および領域Ｓ２に分離する。領域毎読み出しパターン設定部８は、領域分離部１１によって分離された領域Ｓ１および領域Ｓ２に対して、画像信号を読み出す為の読み出し画素密度が異なる読み出しパターンを設定する。【選択図】    図１
2007110289.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像信号を生成する撮像素子と、
前記撮像素子の撮像領域を１フレーム内で少なくとも２つの領域Ｓ１および領域Ｓ２に分離する領域分離手段と、
前記領域分離手段によって分離された前記領域Ｓ１および前記領域Ｓ２に対して、前記画像信号を読み出す為の読み出し画素密度が異なる読み出しパターンを設定する領域毎読み出しパターン設定手段と、
を有することを特徴とする固体撮像装置。
【請求項２】
実効画素読み出し時間の上限値を設定すると共に、前記領域分離手段によって分離された各領域の画素読み出し時間の合計値が前記上限値以内となるように制御するサンプリングリミット設定手段をさらに有することを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記領域毎読み出しパターン設定手段は、前記領域Ｓ１に対して、前記領域Ｓ１を構成する全画素の画像信号を読み出す全画素読み出しパターンを設定すると共に、前記領域Ｓ２に対して、前記領域Ｓ２を構成する全画素の中から一部の画素を間引いて画像信号を読み出す画素間引き読み出しパターンを設定することを特徴とする請求項１または請求項２に記載の固体撮像装置。
【請求項４】
前記撮像素子から出力された画像信号に基づいて合焦情報を検出する合焦情報検出手段をさらに備え、
前記領域分離手段は、前記合焦情報検出手段によって検出された前記合焦情報に基づいて、前記領域Ｓ１が合焦領域を含むように、前記撮像素子の撮像領域を１フレーム内で少なくとも２つの前記領域Ｓ１および前記領域Ｓ２に分離することを特徴とする請求項１〜請求項３のいずれかの項に記載の固体撮像装置。
【請求項５】
前記画素間引き読み出しで読み出された画像信号に基づいた原画像データが格納される原画像記憶手段と、
前記原画像記憶手段から前記原画像データを読み出す際に、アドレス変換を用いることで画素の空間位相を復元するアドレス変換手段と、
をさらに有することを特徴とする請求項１〜請求項４のいずれかの項に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子に蓄積された画像信号を読み出す方法を改善した固体撮像装置に関する。
【背景技術】
【０００２】
撮像素子の撮像領域の一部分から画像信号を読み出す技術が、例えば特許文献１に開示されている。この特許文献１に記載された撮像装置は、有効走査領域より広い撮像領域を有する撮像素子と、撮像素子の撮像領域のうち一部の領域の映像信号を読み出す為の第１のクロックを読み出す為の第１のクロックを生成する第１のクロック生成手段と、撮像素子の撮像領域全体の映像信号を読み出す為の第２のクロックを読み出す為の第２のクロックを生成する第２のクロック生成手段とを備えている。そして、この撮像装置は、第１のクロックを選択しているときは撮像素子の一部の領域の映像信号を読み出し、第２のクロックを選択しているときは撮像素子の全領域の映像信号を読み出す制御を行う。
【０００３】
一方、特許文献２には、画像データメモリに格納された画像データを順次読み出す際に、画像データメモリ内の画像データの読み出し順序を制御するアドレス変換手段を設ける技術が開示されている。
【特許文献１】特開平１１−３０８５３５号公報
【特許文献２】特開昭５７−１６１７８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
被写体に忠実である理想に近い被写体画像を得る為には、所望の画素数を所望のフレーム速度（フレームレート）にて撮像したいのだが、現実的には画素数とフレーム速度とには時代とともに移り変わる限界がある。仮に、フレーム速度が不問である撮像であるならば、撮像領域の画素から画像信号を読み出すのに要する時間である画素読み出し時間を無視できるので、撮像素子の有効画素に対して全画素読み出し（所定の領域を構成する全画素の画像信号を読み出すこと）をすることが最善手となりうるが、所望のフレーム速度が限定される場合には、画素読み出し時間を無視できないので、撮像素子の有効画素に対して全画素読み出しをすることが不可能となる場合がある。
【０００５】
本発明は、上述した問題点に鑑みてなされたものであって、画素読み出し時間が無視できない場合でも、所望の撮像を行うことができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決する為になされたものであり、撮像素子の撮像領域から画像信号を読み出す方法の改善を図った固体撮像装置である。画素読み出し時間という有限の制限事項に着目すれば、撮像素子の撮像領域を、１フレーム内で注目する領域と注目しない領域とに分離し、注目する領域を優先的に読み出し、注目しない領域については、注目する領域よりも画素を間引いて読み出すことが考えられる。
【０００７】
上記の点に鑑み、本発明の固体撮像装置は、被写体を撮像し、画像信号を生成する撮像素子と、前記撮像素子の撮像領域を１フレーム内で少なくとも２つの領域Ｓ１および領域Ｓ２に分離する領域分離手段と、前記領域分離手段によって分離された前記領域Ｓ１および前記領域Ｓ２に対して、前記画像信号を読み出す為の読み出し画素密度が異なる読み出しパターンを設定する領域毎読み出しパターン設定手段とを有することを特徴とする。
【０００８】
また、本発明の固体撮像装置は、実効画素読み出し時間の上限値を設定すると共に、前記領域分離手段によって分離された各領域の画素読み出し時間の合計値が前記上限値以内となるように制御するサンプリングリミット設定手段をさらに有することを特徴とする。
【０００９】
また、本発明の固体撮像装置において、前記領域毎読み出しパターン設定手段は、前記領域Ｓ１に対して、前記領域Ｓ１を構成する全画素の画像信号を読み出す全画素読み出しパターンを設定すると共に、前記領域Ｓ２に対して、前記領域Ｓ２を構成する全画素の中から一部の画素を間引いて画像信号を読み出す画素間引き読み出しパターンを設定することを特徴とする。
【００１０】
仮に、１フレームで一律に画素を間引いて画像信号を読み出した場合について考えてみれば、被写体の非合焦領域については画質劣化が小さいが、被写体の合焦領域については画質劣化が大きくなる現象がある。この現象の主な理由は、画像信号の解像度が画素読み出しによるサンプリング定理に従うからであり、サンプリング定理が光学系を介した被写体のナイキスト周波数の画像再現性を左右するからである。別の言い方をすれば、画像信号のサンプリング数の減少は水平解像度および垂直解像度の理論限界に影響するからである。
【００１１】
これは、被写体の非合焦領域は光学系を介した被写体のナイキスト周波数が低い領域なので、水平解像度および垂直解像度の理論限界が多少落ちたとしても画質劣化は小さいことを意味する。また、被写体の合焦領域は光学系を介した被写体のナイキスト周波数が高い領域なので、水平解像度および垂直解像度の理論限界が落ちれば画質劣化が大きくなることを意味する。
【００１２】
上記の点に鑑み、本発明の固体撮像装置は、前記撮像素子から出力された画像信号に基づいて合焦情報を検出する合焦情報検出手段をさらに備え、前記領域分離手段は、前記合焦情報検出手段によって検出された前記合焦情報に基づいて、前記領域Ｓ１が合焦領域を含むように前記撮像素子の撮像領域を１フレーム内で少なくとも２つの前記領域Ｓ１および前記領域Ｓ２に分離することを特徴とする。
【００１３】
また、本発明の固体撮像装置は、前記画素間引き読み出しで読み出された画像信号に基づいた原画像データが格納される原画像記憶手段と、前記原画像記憶手段から前記原画像データを読み出す際に、アドレス変換を用いることで画素の空間位相を復元するアドレス変換手段とをさらに有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、領域Ｓ１および領域Ｓ２に領域毎で異なる画素読み出しパターンを設定することによって、撮像領域の全画素から画像信号を読み出す場合と比べて画素読み出し時間を減らし、所望の撮像レートにて撮像を行うことができるという効果が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による固体撮像装置の構成を示している。撮像素子１は被写体を撮像し、被写体像に基づいた画像信号を生成する。後述するように撮像素子１の撮像領域から画像信号を読み出す方法として、所定の領域を構成する全画素の画像信号を読み出す全画素読み出しと、所定の領域を構成する全画素の中から一部の画素を間引いて画像信号を読み出す画素間引き読み出しとを選択することが可能であり、１フレーム内に両者は混在できる。画素間引き読み出しに使用される画素間引き読み出しパターンは複数用意されており、それらの中から所望の画素間引き読み出しパターンを選択することが可能である。本実施形態では、撮像素子１の撮像領域が領域Ｓ１と領域Ｓ２に分離され、画像信号を読み出す為の読み出しパターン（全画素読み出しパターンまたは画素間引き読み出しパターン）が領域毎に設定される。
【００１６】
撮像素子駆動装置２は撮像素子１を駆動し、画像信号の読み出しを制御する。この撮像素子駆動装置２は撮像素子１内に搭載しても良い。撮像素子１から出力されるアナログ画像信号はＡ／Ｄ変換器３によりデジタル画像信号に変換される。このＡ／Ｄ変換器３は撮像素子１内に搭載しても良い。Ａ／Ｄ変換器３により変換されたデジタル画像信号は原画像データとして出力されるが、画素間引き読み出しで読み出された画像信号を含む場合もあり、撮像素子１に配列される光電変換素子の空間位相が正しく配列されているとは限らない。この原画像データは原画像データメモリ４に格納され、記憶される。
【００１７】
原画像データメモリ４に格納された原画像データは、アドレス変換部５によって原画像データメモリ４から読み出される。アドレス変換部５として、例えば特許文献２に記載されたアドレス変換手段を用いることができる。本実施形態のアドレス変換部５は、原画像データを読み出す際にアドレス変換を用いて原画像データの読み出し順序を制御することで画素の空間位相を復元する。
【００１８】
つまり、画素間引き読み出しで読み出されたデータを含む原画像データが原画像データメモリ４に格納されると、画素間引き読み出しで読み出されなかった画素のデータが消滅するが、アドレス変換部５がアドレス変換を用いて原画像データを読み出すことによって、撮像素子１に配列される光電変換素子の空間位相に対して原画像データが正しく復元される。画素間引きで読み出されなかった画素に関しては、アドレス変換部５によって原画像データに補間データが挿入される。
【００１９】
アドレス変換部５から出力された原画像データは、フィルタリング部６を介して画像メモリ７に格納される。フィルタリング部６では原画像データに対してフィルタリングを行うか否かを任意に設定することが可能である。
【００２０】
領域毎読み出しパターン設定部８は、領域Ｓ１および領域Ｓ２のそれぞれの読み出しパターンを設定する。設定した読み出しパターンの情報は全画素読み出しクロック生成部９および画素間引き読み出しパターンクロック生成部１０へ出力される。本実施形態では領域Ｓ１の読み出しパターンを全画素読み出しパターンに固定しているので、領域毎読み出しパターン設定部８からは領域Ｓ２の読み出しパターンの情報だけが出力され、画素間引き読み出しパターンクロック生成部１０に入力されるようにしても良い。
【００２１】
全画素読み出しクロック生成部９は、全画素読み出しを行う場合に撮像素子１の動作を制御する為のクロックに係る全画素読み出しクロック情報（読み出し用のクロックを指定する情報であってもよいし、クロックそれ自体であってもよい）を生成し、領域Ｓ１ウィンドウ信号生成部１４へ出力する。画素間引き読み出しパターンクロック生成部１０は、画素間引き読み出しを行う場合に撮像素子１の動作を制御する為のクロックに係る画素間引き読み出しパターンクロック情報（読み出し用のクロックを指定する情報であってもよいし、クロックそれ自体であってもよい）を生成し、領域Ｓ２ウィンドウ信号生成部１５へ出力する。本実施形態では、領域Ｓ２から全画素読み出しで画像信号を読み出す場合にも対応可能とする為、全画素読み出しクロック生成部９は全画素読み出しクロック情報を領域Ｓ２ウィンドウ信号生成部１５にも出力することができる。
【００２２】
領域分離部１１は、撮像素子１の撮像領域を領域Ｓ１および領域Ｓ２に分離し、領域Ｓ１の情報（撮像領域中のどの領域が領域Ｓ１であるのか等の情報）を領域Ｓ１ウィンドウ信号生成部１４へ出力すると共に、領域Ｓ２の情報（撮像領域中のどの領域が領域Ｓ２であるのか等の情報）を領域Ｓ２ウィンドウ信号生成部１５へ出力する。領域分離部１１が領域Ｓ１および領域Ｓ２を設定するのに必要な情報は領域入力部１２または合焦情報検出部１３から出力される。
【００２３】
領域入力部１２は、ユーザが自身の判断で領域Ｓ１および領域Ｓ２を指定する情報を入力する為の入力装置（例えばタッチパネルやカーソルボタン等）を備えている。ユーザの入力結果の情報は領域分離部１１へ出力される。なお、領域入力部１２に視線検出機構を設け、視線検出によってユーザの注目する領域を検出し、その領域の情報を領域分離部１１へ出力するようにしてもよい。
【００２４】
合焦情報検出部１３は、原画像データに基づいて合焦情報（画像中の合焦の度合いを示す情報）を検出し、領域分離部１１へ出力する。領域分離部１１は、領域入力部１２から出力されたユーザの入力結果の情報、または合焦情報検出部１３から出力された合焦情報に基づいて領域Ｓ１および領域Ｓ２を設定する。領域入力部１２から出力されたユーザの入力結果の情報に基づいて領域Ｓ１および領域Ｓ２を設定する場合には、ユーザの意思を反映した領域設定を行うことができる。また、合焦情報検出部１３から出力された合焦情報に基づいて領域Ｓ１および領域Ｓ２を設定する場合には、画像中の合焦の度合いを反映した領域設定を行うことができる。
【００２５】
領域Ｓ１ウィンドウ信号生成部１４は、領域分離部１１によって設定された領域Ｓ１の画素から画像信号を読み出す為に必要な制御信号である領域Ｓ１ウィンドウ信号を生成する。この領域Ｓ１ウィンドウ信号には全画素読み出しクロック情報が含まれる。領域Ｓ２ウィンドウ信号生成部１５は、領域分離部１１によって設定された領域Ｓ２の画素から画像信号を読み出す為に必要な制御信号である領域Ｓ２ウィンドウ信号を生成する。この領域Ｓ２ウィンドウ信号には画素間引き読み出しパターンクロック情報または全画素読み出しクロック情報が含まれる。
【００２６】
撮像素子駆動装置２には上記の領域Ｓ１ウィンドウ信号および領域Ｓ２ウィンドウ信号が入力される。撮像素子駆動装置２は、入力された信号を撮像素子１の仕様に合わせて変換する等の処理を行い、撮像素子１を駆動する為の撮像素子駆動信号を生成する。出力先の負荷によっては撮像素子１と撮像素子駆動装置２の間に電流ドライバを挿入しても良い。なお、Ａ／Ｄ変換器３には領域Ｓ１ウィンドウ信号と領域Ｓ２ウィンドウ信号が入力されているが、Ａ／Ｄ変換器３へのこれらウィンドウ信号の入力は実施の一例であり、設計次第では省略も可能である。
【００２７】
サンプリングリミット設定部１６は、実効画素読み出し時間の上限値を設定すると供に、図１において破線で囲まれた各構成に対して、領域Ｓ１と領域Ｓ２の画素読み出し時間の合計値が実効画素読み出し時間の上限値以内となるように制御する。
【００２８】
次に、撮像素子１の撮像領域から画像信号を読み出す際の読み出しパターンの詳細を説明する。図２〜図５は、本発明が適用される撮像素子１の実施の一例として、ＲＧＢカラーフィルタを搭載した単板式イメージセンサの画素配列を示す上面拡大図の一部である。図２は、全画素読み出しによる読み出しパターンＡを拡大したものの一部と等価である。実際の撮像素子１の画素数は図２よりももっと多いし、カラーフィルタの色や配列等の具体的な構成は図２に限られるものではない。
【００２９】
図３は、画素間引き読み出しによる読み出しパターンＢである。図２でＧ２が配列された部分が黒く塗りつぶされているが（以降、スマッジングと呼ぶ）、これは、画素Ｇ２については読み出されないことを意味する。図２と図３とを比較して見た場合、読み出されないＧ２の分だけ画素数が減るので、読み出しパターンＢでは単位領域に対して読み出し時間が短くなる原理がある。ただし、Ｇ２の画素を放棄する分だけ特に感度と画像解像度とが犠牲になる。
【００３０】
図４は、画素間引き読み出しによる読み出しパターンＣである。スマッジングが施された画素が読み出されないことを意味するが、ＲとＢとが交互に間引かれていることがわかる。読み出しパターンＣでも読み出されない画素があるので、読み出しパターンＢと同様に、単位領域に対して読み出し時間を短くすることができる。読み出しパターンＣでは、感度落ちに関しては読み出しパターンＢほど落ちないし、画像解像度の劣化に関しても読み出しパターンＢほどの劣化はない。しかし、読み出しパターンＢと比較してみれば、色再現性の劣化と偽色発生量の増加が懸念されるべきである。
【００３１】
図５は、画素間引き読み出しによる読み出しパターンＤである。スマッジングが施された画素が読み出されないことを意味するが、読み出しパターンＤは、読み出されない画素について読み出しパターンＢと読み出しパターンＣとを合わせたようなタイプである。読み出しパターンＤは、全画素読み出しによる読み出しパターンＡに対して半数の画素しか読み出さない一例である。読み出しパターンＡと比較してみれば、撮像素子１の感度は半分になり、撮像素子１の解像度も半分に劣化する。しかし、単位領域に対しての読み出し時間を約半分にできるメリットがある。
【００３２】
なお、読み出しパターンの例は読み出しパターンＡ、読み出しパターンＢ、読み出しパターンＣ、読み出しパターンＤに限られるものではなく、いろいろな変形が考えられる。
【００３３】
図６は、撮像素子１の撮像領域を１フレーム内で少なくとも２つの領域Ｓ１と領域Ｓ２とに分けた一例である。領域Ｓ１および領域Ｓ２は、領域分離部１１によって設定される。各領域から画像信号を読み出すには、特許文献１に記載された技術を応用し、全画素読み出しクロックを選択して領域Ｓ１の画像信号を読み出し、画素間引き読み出しパターンクロックを選択して領域Ｓ２の画像信号を画素間引きで読み出すように制御する。特許文献１に記載された技術では、１フレーム内にあるのは第１のクロック、第２のクロックのうちどちらか一方の選択であるかのような記載があり、第１のクロックと、第２のクロックとではクロック周波数が異なり、システム全体の消費電力を低く抑えるという記載がある。
【００３４】
しかし、本発明では１フレーム内に第１のクロックと第２のクロックとが混在している、つまり１フレーム内に領域Ｓ１と領域Ｓ２とが混在している。また、第１のクロックと、第２のクロックとでは必ずしもクロック周波数が異なるとは限らない。クロックの基本周波数は同じでも良く、補足すれば、間引きにより部分的に周波数が異なっているものでも良い。
【００３５】
領域分離部１１により分けられた領域毎に設定される具体的な読み出しパターンの例には、前述の図２〜図５に示されるパターンなどがある。図３〜図５でスマッジングが施されている読み出されない画素については、空間アドレス自体の消滅はないと考えても良い。撮像素子１からの画素間引き読み出しの時には一時的に画素としては消滅するが、原画像データメモリ４からアドレス変換部５を介して画像メモリ７に画像データが加工された時には、撮像素子１における本来のアドレスに復元されるからだ。アドレス変換手段が記載された特許文献２では、画像表示を行う装置に対する適用が記述されているが、本実施形態のアドレス変換部５は、画像表示を行う装置への適用に限らず、間引きで失われた空間位相を復元する役目を果たす。
【００３６】
図３〜図５でスマッジングが施されている読み出されない画素に対する画像処理については、特許文献２に記載された、補間データを挿入する手段を用いても良いし、ｎタップのレゾリューションコンバート（ｎは自然数）を用いても良いし、一般的なバイキュービック法を用いても良い。
【００３７】
次に、本実施形態による固体撮像装置を用いた被写体の撮像例を説明する。図７に撮像した被写体例を示す。図７は、領域Ｓ１と領域Ｓ２の双方で全画素読み出しを行った場合の画像イメージである。撮像画枠全体で全画素読み出しを行った場合の画像イメージ像に、図６で示した領域Ｓ１と領域Ｓ２の領域枠を重畳して表示したものと等価である。図７は図８を説明する為の準備画像でもある。
【００３８】
図７において、注目する被写体が人物であり、人物が日中の晴天下の公園でサッカーをしている様子を撮像したものである。丁度、ヘッディングをした瞬間を捉えている。撮像レート１／１２０秒プログレッシブで、露光期間１／２５０（ｓ）であり、レンズ絞りＦ８と色温度変換フィルタとＮＤフィルタとで撮像されている。図７の合焦点は、サッカーボールをヘッディングした人物の横顔である。
【００３９】
図７で左上の球形状の物体がサッカーボールであり、サッカーボール周辺にある線状の模様が、公園にある木々の輪郭であり、Ｆ８による被写界深度がある撮像であるがゆえに、木々の輪郭が完全な非合焦とはならず、かといって合焦ともいえない中間的な合焦度合いによる撮像となっている。図７で右上のうねりのある太線は、公園にある木々の輪郭と青空との境目であり、人物の頭と背中との一部が白く飛んで見えるのは、順光による光の反射である。図７で領域Ｓ２に該当する部分を、図５の画素間引きによる読み出しパターンＤで撮像した後、アドレス変換部５にて空間位相の復元を行った場合の画像が図８である。図８の撮像ではフィルタリング部６でのフィルタリングをOFFにしてある。
【００４０】
図８を見れば、領域Ｓ２に該当する部分については、サッカーボール周辺にあった木々の輪郭がほとんどなくなり、より非合焦に近づいたことがわかる。また、サッカーボールの模様についても、本来のブレに増してより解像度が失われた画となった。背景がより非合焦に近づいたことで、図７で注目する被写体が人物であることが図８でより明確になった。
【００４１】
しかし、図８の別の着眼点について述べれば、領域Ｓ１に該当する部分については、木々の輪郭が図７のまま残っている。このままでは領域Ｓ１と領域Ｓ２との境界線が、木々の輪郭の再現性を介して残ってしまう。さらに、領域Ｓ１と領域Ｓ２との境界線は、双方の領域に跨った人物の腕と人物の背中（腰の部分）でもわかる。
【００４２】
そこで、領域Ｓ１と領域Ｓ２との境界線と、領域Ｓ１にある人物以外の非合焦画素とについては、レタッチまたは何かしらの画像処理を行うか、フィルタリング部６でのフィルタリングをＯＮにすることが必要となる。図８の画像に対して、フィルタリング部６によるフィルタリング処理を施した例が図９である。図８から自動画像処理にて図９を作成する為のフィルタリング以外の手法には、人物認識などの形状パターン認識を用いる手法や、より高周波成分のみを抽出して、領域Ｓ１内でさらに合焦画素と非合焦画素とを分離認識する手法なども考えられる。
【００４３】
ただし、領域Ｓ１を予め合焦画素とし、領域Ｓ２を予め非合焦画素とすることはできない。なぜなら、注目する被写体である人物が毎フレーム動くことを想定するべきであるからだ。領域Ｓ１の位置に関しては、毎フレーム補正する必要がある被写体も想定しておくべきであり、その為にも少なくとも合焦画素のみの領域よりも領域Ｓ１の方が広くあるべきである。合焦画素が領域Ｓ１から選ばれるようにする為に、注目する被写体は常に領域Ｓ１の中にあるべきである。注目する被写体が次フレームで再び領域Ｓ１にある為には、領域Ｓ１にある程度の広さが要求される。
【００４４】
なお、注目する被写体が次フレームで再び領域Ｓ１に無いであろう撮像の場合には、本実施形態による固体撮像装置を用いた撮像では、全領域をＳ１に設定して撮像画枠全体を全画素で撮像するか、領域Ｓ２にも全画素読み出しを設定して撮像画枠全体を全画素で撮像するかとなる。特に、被写体のフレーム毎での移動量が大きくなる低速撮像の場合に、注目する被写体のある領域Ｓ１を安易に設定できない時には、領域Ｓ２を間引き読み出しにする設定は推奨できないことがある。
【００４５】
次に、サンプリングリミット設定部１６が有するサンプリングリミット機能の詳細を説明する。図１０に撮像素子１の読み出し可能期間を含んだタイムチャートを示す。サンプリングリミット設定部１６は撮像素子１の実効画素読み出し時間の上限値を設定するが、その設定範囲は最大でも図１０にある読み出し可能期間内である。図１０にあるように、１フレーム期間内には露光期間と、読み出し可能期間と、リセット期間と、次フレームの撮像素子１内の各種設定の為の通信期間と、撮像レート調整の為のウェイト期間とがある。撮像素子１内の各種設定には、撮像素子１の撮像レート（ウェイト期間）に関する設定と、露光期間の設定と、読み出しパターンの設定と、アナログゲインの設定などがある。
【００４６】
サンプリングリミット機能によって設定される実効画素読み出し時間の上限値は１フレーム期間内の一部であり、実効画素読み出し時間の上限値は最大でも図１０にある読み出し可能期間の最長理論限界であることを意味する。これは、設定する露光期間とリセット期間と通信期間とも関係があることがわかる。実効画素読み出し時間の上限値をサンプリングリミット機能で設定できることの具体的な利点には以下の事項などが考えられる。
【００４７】
１）撮像素子１よりも後段にある画像処理装置、または記録装置、或いは表示装置等の全てまたはいずれかによる処理速度の都合で、後段において低速処理で済むように実効画素読み出し時間の上限値の設定を利用したい場合。
【００４８】
２）撮像素子１よりも後段にある画像処理装置、または記録装置、或いは表示装置等の全てまたはいずれかによる画像データ容量の都合で、例えば画像サイズを縮小して記録する場合に、記録装置に依存する連続記録時間を延ばしたいなど、記録の画像サイズに応じて実効画素読み出し時間の上限値の設定を利用したい場合。
【００４９】
３）撮像レートまたは露光期間などが撮像中に変化する撮像手法において、解像感や感度やＳ／Ｎ等の画質が著しく変化しないように、実効画素読み出し時間の上限値を、撮像予定の中で最低画質となる撮像条件と照らし合わせた上で決定したい場合。つまり、撮像レートまたは露光期間などが撮像中に変化する撮像手法において、複数のフレーム間での複数の画質をなるべく揃えたい場合。
【００５０】
なお、サンプリングリミット機能によって設定される実効画素読み出し時間の上限値については、原理的な最大値となる撮像素子１の読み出し可能期間の理論限界に設定することも可能である。また、サンプリングリミット設定部１６は実効画素読み出し時間の上限値を設定するだけではない。 サンプリングリミット設定部１６は、領域Ｓ１と領域Ｓ２の画素読み出し時間の合計値が上記の上限値以内となるように制御する機能を有する。
【００５１】
以下、図１１のフローチャートに沿って、領域Ｓ１と領域Ｓ２の画素読み出し時間の合計値が上限値以内となる制御を実施する為の一例を示す。実効画素読み出し時間を支配する要素には、撮像レートの最高速と、撮像レートに連動させる露光期間と、撮像領域全体に対する領域Ｓ１の面積比（以下、単に領域Ｓ１の面積比と表記する）と、領域Ｓ１の読み出しパターンと、領域Ｓ２の読み出しパターンとがある。撮像が開始される前にこれらの設定がなされる。まず、ユーザの指示等に基づいて、実効画素読み出し時間の上限値が設定される（ステップＳ１１０１）。続いて、撮像レート優先モード（後述する）に設定されているか否かが判定される（ステップＳ１１０２）。
【００５２】
撮像レート優先モードの場合には、ユーザの指示等に基づいて、撮像レートの最高速の設定（ステップＳ１１０３）、撮像レートに連動させる露光期間の設定（ステップＳ１１０４）、領域Ｓ１の面積比の設定（ステップＳ１１０５）、領域Ｓ１の読み出しパターンの設定（ステップＳ１１０６）、領域Ｓ２の読み出しパターンの設定（ステップＳ１１０７）がそれぞれ行われる。設定の結果はサンプリングリミット設定部１６に通知される。
【００５３】
続いて、サンプリングリミット設定部１６は、上記の設定に対して求まる実効画素読み出し時間が上限値以内であるか否かを判定する（ステップＳ１１０８）。実効画素読み出し時間が上限値を超えた場合、上記の設定に関係する各部にサンプリングリミット設定部１６から設定のやり直しが指示される。この指示に従って、各種の設定が再度行われるが、その前にユーザに対して情報を提示する為、設定可能なパラメータのサンプルが表示される（ステップＳ１１０９）。
【００５４】
この設定可能なパラメータの組み合わせが複数で存在する場合は、複数のサンプルを表示することも考えられる。続いて、処理はステップＳ１１０５に戻り、各種の設定が行われる。また、ステップＳ１１０８で実効画素読み出し時間が上限値以内であった場合には、各種の設定に係る処理が終了する。上記のように撮像レート優先モードは、撮像レートの最高速と、撮像レートに連動させる露光期間とを優先的に決定し、領域Ｓ１の面積比と領域Ｓ１の読み出しパターンと領域Ｓ２の読み出しパターンとについては実効画素読み出し時間の上限値という制限の中で設定するモードである。
【００５５】
一方、撮像レート優先モードにしなければ、領域Ｓ１の面積比と領域Ｓ１の読み出しパターンと領域Ｓ２の読み出しパターンとを優先的に決定し、撮像レートの最高速と、撮像レートに連動させる露光期間とについては、実効画素読み出し時間の上限値という制限の中で設定することもできる。ステップＳ１１１０〜Ｓ１１１６の処理がこれに相当する。撮像レート優先モードでない場合には、ユーザの指示等に基づいて、領域Ｓ１の面積比の設定（ステップＳ１１１０）、領域Ｓ１の読み出しパターンの設定（ステップＳ１１１１）、領域Ｓ２の読み出しパターンの設定（ステップＳ１１１２）、撮像レートの最高速の設定（ステップＳ１１１３）、撮像レートに連動させる露光期間の設定（ステップＳ１１１４）がそれぞれ行われる。
【００５６】
続いて、サンプリングリミット設定部１６は、上記の設定に対して求まる実効画素読み出し時間が上限値以内であるか否かを判定する（ステップＳ１１１５）。実効画素読み出し時間が上限値を超えた場合、上記の設定に関係する各部にサンプリングリミット設定部１６から設定のやり直しが指示される。この指示に従って、各種の設定が再度行われるが、その前にユーザに対して情報を提示する為、推奨する撮像レートの最高速が表示される（ステップＳ１１１６）。続いて、処理はステップＳ１１１３に戻り、各種の設定が行われる。また、ステップＳ１１１６で実効画素読み出し時間が上限値以内であった場合には、各種の設定に係る処理が終了する。
【００５７】
図１１にある、撮像レートに連動させる露光期間の設定について説明する。撮像レートを可変させて撮像したい理由の一つに、高速撮像のシーンはスローで再生したいからという意図がある場合がある。スロー再生時の画質にキレ（ブレの少ない画像）を求めるか、それともブレを求めるかについては、撮像レートを可変させる映像クリエイタの意思を尊重するべきなので、必ずしも露光期間が一定とは限らない。つまり、映像表現には撮像手法としてあるべき姿を追求するより、表現の自由を求めても良い。
【００５８】
特に動体である被写体を撮像する場合においては、１フレーム内での露光期間が短いほど、１フレーム内での画質はキレる（ブレが少なくなる）。そして、１フレーム内での露光期間が長いほど、１フレーム内での画質はブレる。予めスローで再生する目的での高速撮像シーンであるとわかっているならば、撮像レートの変動に連動させて露光期間もキレ、またはブレ方向に変動させたいことがあっても良い。
【００５９】
なお、ステップＳ１１０９やＳ１１１６のように表示を行うか否かは任意でよいが、こうした設定可能なパラメータのサンプルや、推奨する撮像レートの最高速などを表示することで、撮像者が実効画素読み出し時間を上限値以内とする為に行う各種設定の入力をサポートすることが好ましい。また、領域Ｓ１の面積比の設定に関しては、面積比の代わりに領域Ｓ１そのものを直接設定するようにしても良い。
【００６０】
次に、合焦情報検出部１３の詳細を説明する。図１２は合焦情報検出部１３の構成を示している。合焦情報検出部１３は輝度成分作成回路１３１、高輝度成分クリップ回路１３２、および高周波成分抽出回路１３３を備えている。輝度成分作成回路１３１には画像情報が入力される。この画像情報とは、例えば画像メモリ７に記憶される画像データ（フィルタリングがＯＮ・ＯＦＦのいずれの場合でも良い）のことである。輝度成分作成回路１３１は画像情報から画素毎の輝度成分の情報を作成し、高輝度成分クリップ回路１３２へ出力する。高輝度成分クリップ回路１３２は輝度成分のうち高輝度成分をクリップし、その情報を高周波成分抽出回路１３３へ出力する。高周波成分抽出回路１３３は高輝度成分から高周波成分を抽出した合焦情報を生成し、出力する。
【００６１】
この合焦情報を根拠にして、領域分離部１１によって、領域Ｓ１の空間位相が設置される。注目被写体を撮像する領域である領域Ｓ１を合焦領域に設定する場合には、領域分離部１１は、合焦情報から得られるコントラスト積分値が最大となる位置を含むように領域Ｓ１を設置する。すなわち、領域分離部１１は、画像中で合焦度が最大となる領域を少なくとも一部に含む領域を合焦領域として領域Ｓ１に設定する。ここで、図７および図８に再度着目してみれば、図７および図８は、図１２にある合焦情報検出部１３から得られる合焦情報に基づいて領域Ｓ１を設置した画像の一例でもある。
【００６２】
注目被写体を撮像する領域である領域Ｓ１を合焦領域とした場合、合焦情報の変化に伴い合焦領域を移動させる必要が発生する。ここで、注意しなくてはならない事は、間引き読み出しが行われる領域である領域Ｓ２からは、合焦情報が検出されにくい特徴がある事である。従って、合焦領域には、合焦画素と隣接した周辺の画素をマージンとして含むべきであり、改めて図７および図８を見れば、領域Ｓ１の画素には注目被写体以外の画素である木々の輪郭を含んでいることがわかる。
【００６３】
図１２に示した合焦情報検出部１３で検出された合焦情報から合焦領域（領域Ｓ１）を設定した場合について述べれば、合焦領域（領域Ｓ１）の空間位相は、常に１フレーム遅れによる設置となるはずである。注目被写体の動き予測をして予め合焦領域（領域Ｓ１）の設定に補正を加える手段も考えられるが、それでも注目被写体の動きが動き予測に反した動きであった場合や、注目被写体の動き量が合焦領域（領域Ｓ１）に含まれているマージンを超える大きな動き量であった場合については、別途の対処手段が要求されるであろう。
【００６４】
特に、注目被写体が次フレームで合焦領域（領域Ｓ１）から外れてしまうような大きな動き量が発生する場合は、図１１にある撮像レートの最高速の設定をより高速にするとか、図１１にある領域Ｓ１の面積比設定でより大きな領域Ｓ１に設定するとか、図１１にある領域Ｓ２の読み出しパターン設定で全画素読み出しに設定する等のアドバイスを撮像者にアナウンスしても良い。
【００６５】
なお、合焦情報検出部１３で検出された合焦情報に基づいて次フレームの領域Ｓ１を設定する場合に、撮像の最初のフレームの領域Ｓ１は以下のように設定すればよい。例えば、本番の撮像の開始前に、撮像レートを落として撮像領域全体で全画素読み出しを行うか、任意の撮像レートにて撮像領域全体で画素間引き読み出しを行い、撮像で生成された画像データから合焦情報を検出して最初のフレームの領域Ｓ１を設定すればよい。或いは、本番の撮像の開始前にユーザの意思で領域入力部１２に入力された情報に基づいて最初のフレームの領域Ｓ１を設定すればよい。
【００６６】
上述したように、本実施形態による固体撮像装置では、撮像素子１の撮像領域が複数の領域（領域Ｓ１および領域Ｓ２を少なくとも含む）に分離され、領域Ｓ１および領域Ｓ２に対しては、画像信号を読み出す為の読み出し画素密度が異なる読み出しパターンが設定される。領域Ｓ１および領域Ｓ２を適当に設定することによって、撮像領域の全画素から画像信号を読み出す場合と比べて画素読み出し時間が減るので、画素読み出し時間を無視できない場合でも、所望の撮像レートにて撮像を行うことができる。
【００６７】
特に、各領域の画素読み出し時間の合計値が前記上限値以内となるように制御することによって、各種装置の処理条件や撮像手法等に適した撮像を行うことができる。また、領域Ｓ１を注目する領域に設定し、領域Ｓ２をそれ以外の領域に設定したい場合には、画像信号の読み出しパターンとして、領域Ｓ１に全画素読み出しパターンを設定し、領域Ｓ２に画素間引き読み出しパターンを設定することが望ましい。これによって、撮影者の意図を反映した画像を得ることができる。
【００６８】
領域Ｓ１を、注目する領域に設定したい場合には、領域Ｓ１を合焦領域に設定することが望ましい。合焦領域に設定された領域Ｓ１では全画素読み出しによって画像信号を読み出し、領域Ｓ２では画素間引き読み出しによって画像信号を読み出すことによって、１フレーム単位で画像信号の読み出し画素数を減らしても画質の劣化を低減させることができる。
【００６９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、主に撮像領域を２つの領域Ｓ１と領域Ｓ２に分離する場合を説明したが、撮像領域を３つ以上の領域に分離しても良い。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施形態による固体撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態における読み出しパターンの一例を示す参考図である。
【図３】本発明の一実施形態における読み出しパターンの一例を示す参考図である。
【図４】本発明の一実施形態における読み出しパターンの一例を示す参考図である。
【図５】本発明の一実施形態における読み出しパターンの一例を示す参考図である。
【図６】本発明の一実施形態による固体撮像装置が備える撮像素子の撮像領域を複数の領域に分離した例を示す参考図である。
【図７】本発明の一実施形態による固体撮像装置が撮像した画像の一例を示す参考図である。
【図８】本発明の一実施形態による固体撮像装置が撮像した画像の一例を示す参考図である。
【図９】本発明の一実施形態による固体撮像装置が撮像した画像の一例を示す参考図である。
【図１０】本発明の一実施形態における実効画素読み出し時間の上限値を説明する為の参考図である。
【図１１】本発明の一実施形態において、実効画素読み出し時間を上限値以内とする為の制御の手順を示すフローチャートである。
【図１２】本発明の一実施形態による固体撮像装置が備える合焦情報検出部の構成を示すブロック図である。
【符号の説明】
【００７１】
１・・・撮像素子、２・・・撮像素子駆動装置、３・・・Ａ／Ｄ変換器、４・・・原画像データメモリ、５・・・アドレス変換部、６・・・フィルタリング部、７・・・画像メモリ、８・・・領域毎読み出しパターン設定部、９・・・全画素読み出しクロック生成部、１０・・・画素間引き読み出しパターンクロック生成部、１１・・・領域分離部、１２・・・領域入力部、１３・・・合焦情報検出部、１４・・・領域Ｓ１ウィンドウ信号生成部、１５・・・領域Ｓ２ウィンドウ信号生成部、１６・・・サンプリングリミット設定部、１３１・・・輝度成分作成回路、１３２・・・高輝度成分クリップ回路、１３３・・・高周波成分抽出回路
【図１】
2007110289.tif 000003
【図２】
2007110289.tif 000004
【図３】
2007110289.tif 000005
【図４】
2007110289.tif 000006
【図５】
2007110289.tif 000007
【図６】
2007110289.tif 000008
【図７】
2007110289.tif 000009
【図８】
2007110289.tif 000010
【図９】
2007110289.tif 000011
【図１０】
2007110289.tif 000012
【図１１】
2007110289.tif 000013
【図１２】
2007110289.tif 000014