(57)【要約】【課題】高速撮影を行うために素子内部に信号蓄積用のＣＣＤを備えた画素周辺記録型撮像素子において、実際の撮影画像をリアルタイムでモニタするライブモニタ時のフレームレートを上げるとともに高速撮影時とライブモニタ時との画像の明るさを同程度にする。【解決手段】垂直方向に並ぶ複数のフォトダイオード２で得られた信号電荷を記憶する蓄積ＣＣＤ列３の末端に接続された１本の垂直転送ＣＣＤ列４の末端と水平転送ＣＣＤ列５との間に、信号電荷を排出（廃棄）するための掃き出しゲート７を設け、垂直転送ＣＣＤ列４から水平転送ＣＣＤ列５に送り込む信号の数を減らす。これにより、水平転送ＣＣＤ列５で転送される信号の数が減るので出力レートが上がる。また、信号加算を行わないため、高速撮影時とライブモニタ時の露光時間を同じにすることができる。【選択図】図２
2009141417.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配置された複数の光電変換部と、各光電変換部毎に所定のフレーム数分直列に接続するように設けられた蓄積ＣＣＤ列と、各列毎に１本ずつ設けられ、１つの列に配置された複数の光電変換部に対応した前記蓄積ＣＣＤ列の末端が合流するように接続された垂直転送ＣＣＤ列と、各列の前記垂直転送ＣＣＤ列の末端が合流するように接続された水平転送ＣＣＤ列と、を有し、前記光電変換部で光電変換により得られた信号を外部に読み出すことなく前記蓄積ＣＣＤ列に所定フレーム数分記憶し、その後に前記垂直転送ＣＣＤ列及び水平転送ＣＣＤ列を通して順番に信号を読み出すことにより高速撮影を行うことが可能な画素周辺記録型の撮像素子において、
前記水平転送ＣＣＤ列に接続される各列の前記垂直転送ＣＣＤ列の最終段のＣＣＤと水平転送ＣＣＤ列との間に、その垂直転送ＣＣＤ列を通して転送される信号の一部を廃棄する掃き出し部を有することを特徴とする撮像素子。
【請求項２】
請求項１に記載の撮像素子の信号読み出し方法であって、前記垂直転送ＣＣＤ列を通して信号を転送する際に、同一の撮影時点において異なる光電変換部で得られた信号を前記掃き出し部で廃棄しつつ時間的に間引いた信号を水平転送ＣＣＤ列に送り込み、時間的に間引かれた画像を構成する信号を当該素子から出力することを特徴とする撮像素子の信号読み出し方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主として破壊、爆発、燃焼などの高速の現象を撮影するために好適な撮像素子、及び、該素子から信号を読み出すための信号読み出し方法に関する。
【背景技術】
【０００２】
例えば爆発、破壊、燃焼、衝突、放電などの高速の現象を、短時間だけ連続的に撮影するための高速撮影装置（高速ビデオカメラ）が従来より開発されている（非特許文献１参照）。こうした高速撮影装置では、最高で１００万フレーム／秒程度のきわめて高速度の撮影が可能となっている。従来の一般的なＣＣＤ型やＣＭＯＳ型の撮像素子では、このような高速度での撮影には対応し得ない。そのため、こうした高速撮影装置には、例えば特許文献１、非特許文献１などに記載のような特殊な構造の撮像素子が利用される。
【０００３】
この撮像素子は画素周辺記録型撮像素子（以下、ＩＳ−ＣＣＤ＝image storage-CCDと称す）と呼ばれ、光電変換部である各フォトダイオード毎にそれぞれ記録フレーム数（例えば１００フレーム程度）分の転送を兼ねた蓄積ＣＣＤを備え、撮影中にはフォトダイオードで光電変換された信号電荷を蓄積ＣＣＤに順次転送し、撮影終了後に蓄積ＣＣＤに記憶してある記録フレーム数分の信号電荷を順番に読み出すことによって画素信号を取得する。撮影中に記録フレーム数分を越えた信号電荷は廃棄され、常に最新の記録フレーム数分の信号電荷が蓄積ＣＣＤに保持されるようにしているため、撮影の終了時に信号電荷の転送を中止すれば、その時点から時間的に記録フレーム数分だけ遡った時点からの最新の所定フレーム数分の画像が得られることになる。
【０００４】
こうした高速撮影は基本的に撮影対象の現象の発生タイミングに同期して行われ、その撮影によって撮像素子内の蓄積ＣＣＤに保持した所定フレーム数分の画像を撮影終了後に素子から読み出して外部の例えばハードディスクなどの記憶装置に保存し、適度な速度で再生する。一方、こうした高速撮影の前後における対象物の観察や高速撮影時の撮影条件（画角、ピント、露出など）の決定などを行うために、対象物をリアルタイムで撮影して表示画面上に表示させたい場合（ここでは、この機能をライブモニタと呼ぶ）がある。
【０００５】
一般的な撮像素子を用いた撮像装置では上記のようなライブモニタが容易に行えるのに対し、ＩＳ−ＣＣＤを用いた高速撮像装置ではライブモニタを実現するのに工夫が必要である。その理由は、ＩＳ−ＣＣＤでは素子内の蓄積ＣＣＤに保持されている信号電荷を順送りで出力回路から読み出す必要があり、出力回路の速度の制約によって画像の更新速度が決まってしまうためである。
【０００６】
具体的には、例えば本願出願人が使用しているＩＳ−ＣＣＤで、垂直転送ＣＣＤの信号読み出し速度を６６．６ｋＨｚ、水平転送ＣＣＤの信号読み出し速度を８ＭＨｚとした場合、撮影速度３３ｍｓ／ｆの出力レートは４．７Ｈｚ、撮影速度を１μｓとした場合でも出力レートは５．６Ｈｚとなる。これはこの出力レートの周波数でしか画像が更新できないことを意味しており、通常の動画のフレームレートに比べて遙かに低く、極端なコマ落ちのような不自然な動画像しか得られない。
【０００７】
ライブモニタでの画像の更新速度を上げるには、素子から読み出すべき信号の数を減らす必要がある。そこで、従来の高速撮像装置では、撮像素子の垂直転送ＣＣＤにおいて時間的に連続する１２個分の信号電荷を加算する処理を行うことにより、読み出す画素信号の数を減らし、それによって撮影速度３３ｍｓ／ｆの出力レートを１１Ｈｚ程度まで高くしている。これでも通常の動画のフレームレートに比べれば低いが、視覚上での動画像の不自然さはかなり改善される。
【０００８】
ところが、こうした方法では次のような問題がある。即ち、複数の信号電荷を加算した場合、その分だけ受光光量も増加することになり、ライブモニタ時の１フレームの画像の輝度が通常の高速撮影における１フレームの画像の輝度よりもかなり高くなる。そのため、ライブモニタでの画像を見ながら照明光源の発光強度を適正に調整すると、実際の高速撮影時には光量が不足して暗い画像しか得られない。逆に、高速撮影時に光量不足とならないように照明光源の発光強度を上げると、ライブモニタ時には光量が大き過ぎてハレーションを生じ、ピント合わせなどが困難になる。レンズの絞り（露出）を用いて或る程度の光量の調整は可能であるものの、絞りによる調整にも限度があり、しかもレンズの絞りを大きく変えると焦点深度の影響でピントが合わなくなるおそれがある。
【０００９】
【特許文献１】特開２００１−３４５４４１号公報
【非特許文献１】近藤ほか５名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、２００５年９月３０日発行、第６２巻、第１・２号、ｐ．７９−８６
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は上記課題を解決するために成されたものであり、その目的とするところは、できるだけコマ落ちの少ないライブモニタを実現しつつ、ライブモニタ時の画像の明るさと高速撮影時の画像の明るさをほぼ同程度にすることができる撮像素子及び該素子の信号読み出し方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために成された本発明に係る撮像素子は、二次元状に配置された複数の光電変換部と、各光電変換部毎に所定のフレーム数分直列に接続するように設けられた蓄積ＣＣＤ列と、各列毎に１本ずつ設けられ、１つの列に配置された複数の光電変換部に対応した前記蓄積ＣＣＤ列の末端が合流するように接続された垂直転送ＣＣＤ列と、各列の前記垂直転送ＣＣＤ列の末端が合流するように接続された水平転送ＣＣＤ列と、を有し、前記光電変換部で光電変換により得られた信号を外部に読み出すことなく前記蓄積ＣＣＤ列に所定フレーム数分記憶し、その後に前記垂直転送ＣＣＤ列及び水平転送ＣＣＤ列を通して順番に信号を読み出すことにより高速撮影を行うことが可能な画素周辺記録型の撮像素子において、
前記水平転送ＣＣＤ列に接続される各列の前記垂直転送ＣＣＤ列の最終段のＣＣＤと水平転送ＣＣＤ列との間に、その垂直転送ＣＣＤ列を通して転送される信号の一部を廃棄する掃き出し部を有することを特徴としている。
【００１２】
例えば上記掃き出し部は半導体基板に信号電荷を逃がす掃き出しゲート構造とすることができる。この掃き出し部は各列毎に設けられた垂直転送ＣＣＤの最終段に設けられているため、その列に含まれる複数の光電変換部で光電変換された信号が必ず通る個所であり、不要な信号を確実に掃き出して水平転送ＣＣＤ列に送る信号の数を減らすことができる。
【発明の効果】
【００１３】
本発明に係る撮像素子の信号読み出し方法としては、前記垂直転送ＣＣＤ列を通して信号を転送する際に、同一の撮影時点において異なる光電変換部で得られた信号を前記掃き出し部で廃棄しつつ時間的に間引いた信号を水平転送ＣＣＤ列に送り込み、時間的に間引かれた画像を構成する画素信号を当該素子から出力するようにすればよい。これにより、全ての画素信号を素子から読み出す場合に比べ、撮像による信号電荷の蓄積→信号電荷の外部への読み出し、のサイクルの時間を短縮することができるので、撮影した画像を直ちに再生するライブモニタの際のフレームレートを上げることができる。
【００１４】
また、従来のように複数の信号電荷を加算することで読み出すべき画素信号数を減らしている場合とは異なり、ライブモニタ時においても１フレームの撮影のための露光時間で得られる光量が１フレームの画像に反映される。即ち、ライブモニタ時でも高速撮影時と同じ露光時間で１フレーム画像を得ることができ、ライブモニタの画像を見ながら適正な照明条件を決めれば高速撮影時にもほぼ同程度の明るさの画像を得ることができるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る撮像素子を利用した高速撮像装置を例に挙げて、図面を参照しつつ説明する。
【００１６】
図１は本実施例による高速撮影装置の概略構成図である。撮像素子１は光電変換部としてのフォトダイオード、蓄積ＣＣＤ列３、垂直転送ＣＣＤ列４、水平転送ＣＣＤ列５、出力回路６を含み、水平転送ＣＣＤ列５から出力回路６を通してアナログ画素信号が１画素分ずつ出力される。この画素信号はＡ／Ｄ変換器１１でデジタル化され、画像データ処理部１２を介してＲＡＭなどのフレームメモリ１３や大きな記憶容量を有するハードディスクなどのデータ記憶部１４に格納される。そして、こうして一旦フレームメモリ１３やデータ記憶部１４に格納された画像データが読み出され、画像データ処理部１２で再構成されてモニタ１６に送られて表示される。撮像素子１からの信号読み出しを含む該素子１の動作や画像データ処理部１２の動作は制御部１５により遂行され、撮影速度などの撮影条件は操作部１７により設定される。
【００１７】
図２は本実施例の撮像素子の要部の構成図である。検出面にはフォトダイオード２が二次元的に多数配列されている。図２では一部のみ示してあるが、この例の撮像素子では、行方向（水平方向）に３１２、列方向（垂直方向）に２６０の、３１２×２６０＝８１１２０個のフォトダイオード２が配列されている。各フォトダイオード２にはそれぞれ、生成された信号電荷を順送りしながら保持する蓄積ＣＣＤ列３が画素周辺に設けられている。１個のフォトダイオード２に接続された蓄積ＣＣＤ列３は直列に接続された９３段のＣＣＤから成る。各蓄積ＣＣＤ列３の末端は各列毎に１本ずつ設けられた垂直転送ＣＣＤ列４に接続されている。従って、垂直転送ＣＣＤ列４は水平方向に３１２本存在する。
【００１８】
また、１本の垂直転送ＣＣＤ列４にあって、垂直方向に隣接する２つのフォトダイオード２に一端が接続された２本の蓄積ＣＣＤ列３の他端の接続点の間のＣＣＤの段数は１２である。従って、１本の垂直転送ＣＣＤ列４に含まれるＣＣＤの段数は２６０×１２＝３１２０段である。各垂直転送ＣＣＤ列４の末端には信号掃き出しゲート７が設けられ、信号掃き出しゲート７を介して共通の１本の水平転送ＣＣＤ列５に接続されている。水平転送ＣＣＤ列５において、水平方向に隣接する２本の垂直転送ＣＣＤ列４の接続点の間のＣＣＤの段数は１３である。従って、水平転送ＣＣＤ列５に含まれるＣＣＤの段数は１３×３１２＝４０５６段である。
【００１９】
上記のフォトダイオード２、蓄積ＣＣＤ列３、垂直転送ＣＣＤ列４、水平転送ＣＣＤ列５等の構成は従来と同じであり、電荷信号を半導体基板へ排出するための信号掃き出しゲート７が各垂直転送ＣＣＤ列４の根元に設けられている点がこの撮像素子１の構成上の特徴である。
【００２０】
本実施例の高速撮像装置による通常の高速撮影時の動作は次の通りである。即ち、撮影対象から到来する光を受光したフォトダイオード２は、受光光量に応じた信号を発生するが、１フレームの画像撮影を行う毎に全てのフォトダイオード２から並列に蓄積ＣＣＤ列３に信号電荷を転送する。上述のように、１個のフォトダイオード２には蓄積ＣＣＤ列３の９３段のＣＣＤと垂直転送ＣＣＤ列４の中の１２段のＣＣＤとが直列的に接続されているから、１フレーム画像撮影毎に順番に信号電荷をシフトさせることにより、１０５フレーム分の信号電荷を保持することができる（つまり、垂直転送ＣＣＤ列４は蓄積ＣＣＤとしての機能も有する）。このときには信号電荷は外部には読み出されないので、撮影速度の制約は主として隣接するＣＣＤ間で電荷を転送するための電荷移動速度だけである。従って、撮影速度をきわめて高くすることができる。
【００２１】
上記のようにして蓄積ＣＣＤ列３及び垂直転送ＣＣＤ列４に所定フレーム数分の信号電荷を記憶させ、撮影終了後に、垂直転送ＣＣＤ列４及び水平転送ＣＣＤ列５により信号電荷を１つずつ読み出す。具体的には、まず各垂直転送ＣＣＤ列４に保持されている信号電荷を順番に水平転送ＣＣＤ列５に転送し、これを出力回路７を通して読み出す。これにより垂直転送ＣＣＤ列４は空になるから、次に各蓄積ＣＣＤ列３の転送動作を行い、垂直転送ＣＣＤ列４を信号電荷で満たす。これを再び水平転送ＣＣＤ列５に転送して出力回路７を通して読み出す、という動作を繰り返す。これにより、撮影終了時点で蓄積ＣＣＤ列３及び垂直転送ＣＣＤ列４に記憶されていた全ての信号電荷を出力回路７を通して外部に、つまりはＡ／Ｄ変換器１１を介して画像データ処理部１２に読み出すことができる。なお、このような通常動作時には信号掃き出しゲート７からの信号掃き出しは行われず、信号掃き出しゲート７が存在しないのと同じである。
【００２２】
撮影された動画像をモニタ１６上でリアルタイムで観察するためのライブモニタ動作の際には次のような信号読み出し制御を実行する。即ち、上記高速撮影時には垂直転送ＣＣＤ列４から水平転送ＣＣＤ列５に対し全ての信号電荷を送り込むようにしていたが、そうすると読み出すべき信号の数が多いために、撮影終了→信号読み出し終了までのサイクル（出力レート）が遅くなる。そこで、各垂直転送ＣＣＤ列４を経て水平転送ＣＣＤ列５に信号電荷を送り込む際に、ライブモニタのために必要のない（過剰である）信号を信号掃き出しゲート７から半導体基板に排出し、ライブモニタのために必要な信号のみを選択的に水平転送ＣＣＤ列５に送り込む。このような信号の掃き出し動作は、垂直転送ＣＣＤ列４に信号を順送りするための転送パルスに同期して信号掃き出しゲート７を開閉するパルス信号を制御部１５から撮像素子１に与えることにより、容易に実現することができる。
【００２３】
ライブモニタ動作時において、信号掃き出しゲート７を経て水平転送ＣＣＤ列５に送られる信号、及び信号掃き出しゲート７で排出される信号のいずれも、各フォトダイオード２を端緒として順送りされるものであるが、後者の信号は実際には使用されないのでフォトダイオード２で受光信号を光電変換して得られたものである必要はない。即ち、例えば撮像素子１に入射する光がシャッタにより遮蔽された状態の暗信号であってもよく、これはライブモニタに必要な信号を順送りするためのダミー信号であるとみなすこともできる。
【００２４】
上述のように水平転送ＣＣＤ列５に送り込まれる信号量が減ることにより、水平転送ＣＣＤ列５での信号転送速度が従来と同じであっても、或る時点でフォトダイオード２で光電変換されて生成された信号電荷が出力回路７を経て出力されるまでの時間が短くなる。これは出力レートを上げることができることを意味しており、ライブモニタ時の動画像のコマ落ちを軽減して対象物の動きや変化の滑らかさを改善することができる。また、信号電荷の加算を行わないので、撮影時の１フレームに対する露光時間の長さがそのまま１フレームの画像の輝度に反映される。従って、高速撮影時と同程度まで露光時間を短くすることにより、ライブモニタ時の画像の輝度を高速撮影時と同程度にすることができる。これにより、ライブモニタでの画像を見ながら照明の明るさを適切に調整し、その明るさの下で高速撮影を良好に行うことができる。
【００２５】
次に、ライブモニタ動作時の撮像素子１からの画素信号の出力レートについて、数値例を挙げて従来との比較により説明する。
【００２６】
従来の素子構造で撮影速度を３３ｍｓ／ｆとした場合に、１フレーム画像の撮影と該撮影により生成された信号電荷が１つのフォトダイオードに接続された末端の蓄積ＣＣＤに転送されるまでの所要時間は、
３３ｍｓ＋２μｓ×１０４＝３３．２０８ｍｓ
となる。但し、蓄積ＣＣＤ列３及び垂直転送ＣＣＤ列４内でのＣＣＤの転送速度を２μｓ／ｆとしている。また、垂直転送ＣＣＤ列４から水平転送ＣＣＤ列５への信号の転送に要する時間は、
１５μｓ×２６０×１２（段）＝４６．８ｍｓ
である。但し、垂直転送ＣＣＤ列４から水平転送ＣＣＤ列５への転送パルスの周波数を６６．６ｋＨｚとしている。水平転送ＣＣＤ列５での信号の転送に要する時間は、
０．１２５μｓ×３１２×１３×２６０（段）＝１３１．８２ｍｓ
である。但し、水平転送ＣＣＤ列５での転送パルスの周波数を８ＭＨｚとしている。従って、１フレーム画像が撮影されてから出力するまでの総所要時間は２１１．８２８ｍｓとなり、これにより出力レートは４．７Ｈｚとなる。
【００２７】
上記結果を見れば、水平転送ＣＣＤ列５での信号転送の所要時間が支配的であることが分かる。そこで、前述したように、垂直転送ＣＣＤ列４において時間的に連続した１２個の信号電荷をアナログ的に加算して水平転送ＣＣＤ列５に送り込む信号量を減らすと、水平転送ＣＣＤ列５での信号の転送に要する時間は、
０．１２５μｓ×３１２×１３×２２（段）＝１１．１５４ｍｓ
と短縮され、出力レートは１１Ｈｚに改善される。しかしながら、上述のように信号電荷を加算することにより、各信号電荷に反映されている受光量が加算されるため、仮に１フレームの露光時間を高速撮影時と同じ程度にしたとしてもライブモニタの画像の輝度は高速撮影時よりもかなり明るくなってしまう。
【００２８】
これに対し、上記実施例による撮像素子では、垂直転送ＣＣＤ列４により転送される連続した１２個の信号電荷のうちの１１個を掃き出し、残り１個のみを水平転送ＣＣＤ列５に送り込むように信号読み出し制御を行うことで、出力レートを１１Ｈｚにすることができる。また、この場合に、信号加算による受光量の増加はないので、高速撮影時とライブモニタ時とで露光時間を等しくすることで１フレームの画像の明るさを同程度にすることができる。
【００２９】
なお、上記実施例は本発明の一例に過ぎず、本発明の趣旨の範囲で適宜に修正、変更、追加をを行っても本願特許請求の範囲に包含されることは明らかである。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例による高速撮影装置の概略構成図。
【図２】本実施例の撮像素子の要部の構成図。
【符号の説明】
【００３１】
１…撮像素子
２…フォトダイオード
３…蓄積ＣＣＤ列
４…垂直転送ＣＣＤ列
５…水平転送ＣＣＤ列
６…出力回路
７…信号掃き出しゲート
１１…Ａ／Ｄ変換器
１２…画像データ処理部
１３…フレームメモリ
１４…データ記憶部
１５…制御部
１６…モニタ
１７…操作部
【図１】
2009141417.tif 000003
【図２】
2009141417.tif 000004