(57)【特許請求の範囲】
【請求項１】
マトリクス状に配列された各ホトセンサにより受光して発生する電荷を転送することにより映像信号を得る撮像方法であって、１フィールド期間中に前記各ホトセンサから３回電荷を引き出し、最初と最後の引出しによる信号の和と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせる撮像方法。
【請求項２】
マトリクス状に配列された各ホトセンサにより受光して発生する電荷を転送することにより映像信号を得る撮像方法であって、１フィールド期間中に前記各ホトセンサから４回電荷を引き出し、２回目の電荷の引出しを１フィールド期間の中心部で行い、１回目の引出しによる信号と３回目の引出しによる信号の和と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせる撮像方法。
【請求項３】
マトリクス状に配列された各ホトセンサにより受光して発生する電荷を転送することにより映像信号を得る撮像方法であって、１フィールド期間中に前記各ホトセンサから３回電荷を引き出し、２回目の電荷の引き出しが１フィールド期間の中間部を挟む期間のデータになるように行い、２回目の引出しによる信号と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせる撮像方法。
【請求項４】
ホトセンサがマトリクス状に配列されたセンサ群と、各ホトセンサから１フィールド期間中に少なくとも３回に分けて電荷を引き出し、信号処理部に転送する電荷転送部と、前記信号処理部で、前記少なくとも３回に分けて引き出され、前記１フィールド期間の中間部の両側で引き出される電荷の和による信号と１フィールド期間の全体による信号のいずれかの信号と基準信号とを比較するコンパレータと、該コンパレータの出力により前記和による信号か全体による信号のいずれかを選択するスイッチング回路とを有してなるＣＣＤカメラ。
【請求項５】
ホトセンサがマトリクス状に配列されたセンサ群と、各ホトセンサから１フィールド期間中に少なくとも３回に分けて電荷を引き出し、信号処理部に転送する電荷転送部と、前記信号処理部で、前記少なくとも３回に分けて引き出され、前記１フィールド期間の中間部を跨ぐ時間に引き出される電荷による信号と１フィールド期間の全体による信号のいずれかの信号と基準信号とを比較するコンパレータと、該コンパレータの出力により前記中間部を跨ぐ時間に引き出される電荷による信号か全体による信号のいずれかを選択するスイッチング回路とを有してなるＣＣＤカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は電子部品の外観検査などのＦＡ（自動化工場）におけるマシンビジョンや道路の渋滞状況の自動監視などの自然光を用いて画像処理をする場合に用いられる撮像方法およびＣＣＤカメラに関する。さらに詳しくは、被写体の場所（部分）によって明るさが異なっても全体として鮮明な画像が得られる広ダイナミックな撮像方法およびＣＣＤカメラに関する。
【０００２】
【従来の技術】
ＦＡにおけるマシンビジョンなどにおいて、画像認識により部品や製品の外観検査を行う場合、たとえば窓際や出入り口に近いところでは、太陽の入射光などにより被写体の明るさが場所によって異なる。また、トンネルの入口や出口では、明るい部分（高輝度の被写体）と暗い部分（低輝度の被写体）とが混在する。このような場合、ＣＣＤカメラによる認識画像は図５（ａ）に示されるように、明るい所Ａは白っぽく表示され、暗い所Ｃは黒っぽくなり、たとえシャッタースピードを調整しても全体として鮮明な画像が得られず、正確な画像処理をすることができない。なお、Ｂは明るさが適当なところを示す。
【０００３】
このような問題を解決するため、たとえば山田らによる「広ダイナミックレンジ視覚による照明変動に強い部品位置決め」（１９９５年１１月１〜２日に工学院大学にて開催の第７回「外観検査の自動化」ワークショップ、２７〜３２頁）に、シャッタカメラを使用し、同一物体についてシャッタ速度が異なる２以上の画像をとり、合成し直す方法が開示されている。すなわち、図５（ｂ）に示されるような、シャッタ速度が遅い画像Ｐと、図５（ｃ）に示されるような、シャッタ速度が早い画像Ｑの２つの画像をまず読み込み、両者の鮮明な部分を合成する方法である。
【０００４】
また、画像センシング技術研究会主催の第２回画像センシングシンポジウム論文集、Ｅ−１「広ダイナミックレンジカメラ」（１９９６年６月発行、１５１〜１５４頁）には、非破壊読出し機能により、露光時間の異なる２つの画像をそれぞれフィールドレートで読み出し、その両方を合成して線形な映像信号を得る方法が開示されている。すなわち、図６に示されるように、各ホトセンサから１フィールド期間（１／６０秒）中の最初の１６Ｈの時間で非破壊で引き出した短い露光時間の信号と、１フィールド期間の終りに引き出した長い露光時間のデータとをそれぞれ信号処理部に転送し、合成するものである。
【０００５】
【発明が解決しようとする課題】
前述のシャッタ速度が異なる画像を合成する方法は、それぞれの画像を得たフレームが異なるため時間差があり、移動物体を画像認識する場合には適さない。さらに１画面を作成するのに２フレーム以上の時間が必要となり、最終的な画像を得るのに時間が長くかかるという問題がある。
【０００６】
また、前述の露光時間が異なる２つの画像を読み出す方法では、同じフレームでのデータであるため、時間的ずれは小さくなるが、フィールド期間をたとえば１／６０秒とし、露光時間を短くした画像は、その最初のたとえば１／１６程度で露光されるため、全体の時間で露光した画像と、短い時間で露光した画像とでは、その画像を認識する時間に最大１／６０×１５／１６＝０.０１６秒程度の時間のずれが生じる。そのため、高速の自動車などの撮像では、画像のずれが生じ、違和感を拭い切れない。
【０００７】
本発明はこのような問題を解決し、高速移動の被写体で、明部（高輝度部分）と暗部（低輝度部分）とが混在する被写体の画像が、最適な露光で、かつ、ブレの少ない画像が得られる撮像方法およびＣＣＤカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の撮像方法は、マトリクス状に配列された各ホトセンサにより受光して発生する電荷を転送することにより映像信号を得る撮像方法であって、１フィールド期間中に前記各ホトセンサから３回電荷を引き出し、最初と最後の引出しによる信号の和と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせるものである。その結果、短い露光時間の信号を長い露光時間の平均的中間部にもっていくことができ、両者間の違和感が少なくなる。
【０００９】
本発明による撮像方法の他の形態は、マトリクス状に配列された各ホトセンサにより受光して発生する電荷を転送することにより映像信号を得る撮像方法であって、１フィールド期間中に前記各ホトセンサから４回電荷を引き出し、２回目の電荷の引出しを１フィールド期間の中心部で行い、１回目の引出しによる信号と３回目の引出しによる信号の和と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせることができるし、また、１フィールド期間中に前記各ホトセンサから３回電荷を引き出し、２回目の電荷の引き出しが１フィールド期間の中間部を挟む期間のデータになるように行い、２回目の引出しによる信号と、１フィールド全体の信号とを作成し、該２つの信号のいずれかの信号を基準信号と比較して正常な方の信号を採用することにより、画素により露光時間を異ならせることもできる。
【００１０】
本発明によるＣＣＤカメラは、ホトセンサがマトリクス状に配列されたセンサ群と、各ホトセンサから１フィールド期間中に少なくとも３回に分けて電荷を引き出し、信号処理部に転送する電荷転送部と、前記信号処理部で、前記少なくとも３回に分けて引き出され、前記１フィールド期間の中間部の両側で引き出される電荷の和による信号と１フィールド期間の全体による信号のいずれかの信号と基準信号とを比較するコンパレータと、該コンパレータの出力により前記和による信号か全体による信号のいずれかを選択するスイッチング回路とを有している。
【００１１】
また、ホトセンサがマトリクス状に配列されたセンサ群と、各ホトセンサから１フィールド期間中に少なくとも３回に分けて電荷を引き出し、信号処理部に転送する電荷転送部と、前記信号処理部で、前記少なくとも３回に分けて引き出され、前記１フィールド期間の中間部を跨ぐ時間に引き出される電荷による信号と１フィールド期間の全体による信号のいずれかの信号と基準信号とを比較するコンパレータと、該コンパレータの出力により前記中間部を跨ぐ時間に引き出される電荷による信号か全体による信号のいずれかを選択するスイッチング回路とを有するように構成することができる。
【００１２】
【発明の実施の形態】
つぎに、図面を参照しながら本発明の撮像方法およびＣＣＤカメラについて説明をする。
【００１３】
図１は本発明のＣＣＤカメラの一実施形態を示す図である。図１において、１１はたとえばホトダイオードなどからなるホトセンサで、マトリクス状に配列されて各画素を構成している。１２ａ、１２ｂ、１２ｃはホトセンサ１１により受像した信号の電荷を１フィールド内の一定時間ｔ1 、ｔ2 、ｔ3 後にそれぞれ引き出すことを模式化して示したトランスファゲートで、引き出された電荷は３倍の速度で垂直方向の電荷転送部１４および水平方向の電荷転送部１５を転送されて信号処理部２０に送られる。すなわち、本発明では１つの画素を構成する１つのホトセンサ１１から１フィールド期間内に少なくとも３回電荷が引き出され、最後の引出しの際に蓄積された電荷をリセットし、つぎのフィールドでの電荷蓄積を始めるものである。
【００１４】
この電荷引出しのタイミングを図２を参照しながら説明する。図２は１つのホトセンサ１１により１フィールド期間中に蓄積される電荷量の変化を示す図で、横軸は１フィールドの時間で、たとえば１／６０秒、縦軸はホトセンサ１１に蓄積される電荷量を示している。図２で、Ｅ、Ｆ、Ｇがそれぞれ前述のホトセンサ１１から電荷を引き出す時間で、前述の一定時間ｔ1 、ｔ2 、ｔ3 はそれぞれＯＥ、ＯＦ、ＯＧの時間を示す。時間ｔ1 は被写体の明るい（高輝度）部分と暗い（低輝度）部分との輝度の差により、被写体の明るい部分を暗い部分の何分の１にするかにより決定されるが、たとえば前述の明るい部分の露光時間を暗い部分を露光する全体の時間（１フィールドの時間）の１／１６にする場合には、さらにその半分になるように設定される。
【００１５】
最後に電荷を引き出す時間ｔ3 は、１フィールドの最後の時間であるが、２回目の電荷を引き出す時間ｔ2 は、図２に示される例ではｔ3 −ｔ1 になっている。すなわち、本発明では明るい部分の露光時間をフィールドの最初にまとめて露光するのではなくて、フィールド期間中の最初と最後に半分づつに別けて露光し、その両方の露光による電荷の量を合算するものである。その結果、１フィールド中に被写体が移動していても、１フィールド中の最初と最後との平均的な位置として認識され、被写体の明るい部分と暗い部分との位置ずれを緩和することができる。
【００１６】
信号処理部２０では、各時間ごとに蓄積された電荷が転送され、時間ｔ3 で引き出された電荷が暗い被写体部分の信号として第１の信号ライン２１に、演算部２９で演算されるｔ3 −ｔ2 ＋ｔ1 の時間で引き出されて転送された電荷が明るい被写体部分の信号として第２の信号ライン２２に送られ、増幅器２３ａ、２３ｂでそれぞれ増幅される。ついで、水平方向電荷転送部１５で電荷を転送させるクロック信号を分周したクロック信号発生器２８からのクロック信号によりサンプルホールド回路２４ａ、２４ｂでそれぞれ時間ｔ3 で引き出された信号およびｔ3 −ｔ2 ＋ｔ1 の時間で引き出された信号とを分離する。分離された信号のうち、たとえば第１の信号ライン２１からの信号の一部を分岐し、基準信号とコンパレータ２５により比較し、転送されている信号が正常な明るさか否かを判断する。コンパレータ２５で比較した信号が正常であれば第１の信号ライン２１の信号を、正常でなければ第２の信号ライン２２の信号を、たとえばマルチプレクサからなるスイッチング回路２７により選択し、出力する。なお、コンパレータ２５は第２の信号ライン２２の信号と比較してもよい。
【００１７】
第２の信号ライン２２の信号はキャリブレーション用増幅器２６により増幅され、感度が低くならない状態に戻し、第１の信号ラインの信号とレベルを合わせている。このキャリブレーション用増幅器２６はあらかじめ分かっている露光時間の短縮分を補正をしておけば増幅器を用いる必要はないが、増幅器でプログラマブルにしておくことにより正確に調整をすることができる。
【００１８】
以上の構成にすることにより、センサが設けられた各画素ごとに信号レベルを比較し、鮮明な画像の信号を選択して画像データとして用いることができるので、１つの画面に明るすぎる部分と暗すぎる部分とがある被写体を写す場合でも全体として鮮明な画像を得ることができる。しかも明るい部分を露光する時間がフィールド期間中に分割して設けられており、それぞれの露光により得られる電荷量を合算しているため、被写体が移動していても１フィールド期間中の中間的な位置として認識され、暗い部分の撮像信号との違和感がない。たとえば図３（ａ）に示されるような明るい部分Ｌと暗い部分Ｄとがあり、幅Ｗの移動する被写体を撮像する場合、図３（ｂ）に示されるように、暗い部分Ｄはフィールド期間中撮像しているため、１フィールド期間で移動する被写体が重なる部分では像が明るく見え、その両端部ではボケて暗くなる（暗い部分に斜線が施してある）が、１フィールド期間の全体で像を認識することができる。一方、明るい部分Ｌは１フィールドの期間（ｔ3 ）の初めと終りの部分で、それぞれｔ1 およびｔ3 −ｔ2 の時間像が表れ、それらの像は同様に中心部で明るく両端部で暗くボケるが、もともと被写体が明るく露光時間が短いため、ボケる部分は少ない。この２つの像の間隔は被写体の幅Ｗと被写体の相対的移動スピードによって異なり、相互に重なり合う場合もある。２つの像が重なり合えば一層フィールド期間内に一体的に認識されるが、重なり合わなくても短時間で再度像を認識することができ、一体的に見える。その結果、明るさを暗い被写体部分とマッチングさせた一体的な像として認識される。これに対して、明るい部分を１フィールド期間の最初の部分だけで時間ｔ5 の間撮像する従来の２分割の方式では、図３（ｃ）に示されるように、暗い部分はフィールド期間の全体で認識されるのに対し、明るい部分はフィールド期間の最初だけで認識されるため、明るさはマッチングしても明るい部分の形状が飛んで見える違和感が生じる。本発明ではこのような違和感を解消できる。
【００１９】
図１に示される例では、ｔ1 およびｔ2 における電荷の引出しを行い、短い露光時間のときｔ1 の電荷とｔ3 の電荷との和を用い、長い露光時間のときｔ1 の電荷とｔ2 の電荷とｔ3 の電荷との和を用いている。
【００２０】
図４は電荷引出しのタイミングの他の例を示す図である。図４（ｂ）は１フィールド期間の中間部Ｍの部分にｔ2 −ｔ1 が、短くする露光時間（前述の例ではフィールド期間（例えば１／６０秒）の１／１６）になるようにｔ1 、ｔ2 を設定し、フィールド期間の終りにｔ3 を設定するものである。そうすることにより、露光時間の短い明るい被写体部分と、露光時間の長い暗い被写体部分との撮像データの中心時間が等しくなり、両者間の違和感が少なくなる。
【００２１】
図４（ａ）は電荷の引出しを４回で行う例である。すなわち図２に示される例で、時間ｔ2 とｔ3 の引き出す時間を１フィールド期間の中心部Ｍにもってきて、１フィールド期間の終りの電荷をｔ4 で引き出す例である。このように、４回の電荷引出しを行うことにより、明るい被写体部分の撮像データを任意の部分のデータの和として利用することができる。この場合、ＣＣＤを４個設け、４倍速レートで読み出すことになる。なお、前述の例も含め、読出しレートを大きくすることに代えて、ＣＣＤによる電荷転送部（図１の１４）の数を増やすこともできる。また、電荷引出しの数を４回よりさらに増やすことにより、露光時間の短いデータをさらに細分化でき、露光時間の長いデータとの違和感を一層緩和することができる。
【００２２】
【発明の効果】
本発明によれば、各ホトセンサからの電荷の引出しを３回以上で行っているため、短い露光時間のデータを１フィールド期間の中心部のデータまたは２か所以上のデータの和として得ることができる。そのため、長い露光時間のデータによる画像との差が少なく、高速移動する被写体の画像でも違和感の少ない広ダイナミックレンジの画像が得られる。
【００２３】
その結果、トンネルの出入口での車両の監視や、逆光状態での移動物体の撮像でも鮮明な画像を得ることができ、車両の自動監視などに有効に利用することができる。
【図面の簡単な説明】
【図１】本発明のＣＣＤカメラの一実施形態の構成図である。
【図２】本発明のＣＣＤカメラの電荷引出しのタイミングを説明する図である。
【図３】本発明のＣＣＤカメラによる明るい被写体の部分と暗い被写体の部分との像の現れ方を説明する図である。
【図４】本発明のＣＣＤカメラの電荷引出しのタイミングの他の例の説明図である。
【図５】従来の明るさが異なる被写体の画像の説明図である。
【図６】従来の２回の電荷引出しによる短い露光時間と長い露光時間を得る例の電荷引出しのタイミングの説明図である。
【符号の説明】
１１    ホトセンサ
１４    電荷転送部
１５    電荷転送部
２０    信号処理部
２５    コンパレータ
２７    スイッチング回路
２９    演算部
【図１】
0003869502.tif 000002
【図２】
0003869502.tif 000003
【図３】
0003869502.tif 000004
【図４】
0003869502.tif 000005
【図５】
0003869502.tif 000006
【図６】
0003869502.tif 000007