(57)【要約】【課題】動画像の撮像方法および撮像装置において、信号電子数の平方根の量に応じたショットノイズの影響により、ＳＮ比は約４０ｄＢに制限されていた。【解決手段】１フレーム期間内に複数の露光期間を設け、これらの露光期間に対応する映像信号を時間軸方向に積分してＳＮ比を改善する。時間軸方向に積分する際に階調、即ちビット数を増やすことにより、その分ＡＤ変換のビット数を削減できる。このため、より高速のＡＤ変換を実現することができる。【選択図】図１
2013229781.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して所定のフレームレートで動画像の映像信号を生成する撮像方法において、
前記被写体に係る画像の１フレーム期間内において複数の露光期間にて露光し、
該複数の露光期間の各々にて露光して得た複数の映像信号の階調を増加し、
階調が増加した前記複数の映像信号のＳＮ比を改善し、
前記動画像の映像信号を生成することを特徴とする撮像方法。
【請求項２】
請求項１に記載の撮像方法において、
前記ＳＮ比を改善する演算は、巡回型フィルタにより行われることを特徴とする撮像方法。
【請求項３】
請求項２に記載の撮像方法において、
前記巡回型フィルタの帰還率は、主たる応答が前記画像の１フレーム期間内に収まるよう設定されることを特徴とする撮像方法。
【請求項４】
請求項２に記載の撮像方法において、
前記巡回型フィルタの帰還率は、3/4,7/8,15/16,31/32,63/64,127/128の内のいずれかに設定されることを特徴とする撮像方法。
【請求項５】
請求項１乃至請求項４に記載の撮像方法において、
１フレーム期間内で時間的に隣接する二つの前記露光期間の開始時間の時間差は、２ミリ秒以下に設定されることを特徴とする撮像方法。
【請求項６】
請求項１乃至請求項５に記載の撮像方法において、
供給される制御情報に応じて、前記ＳＮ比を改善した映像信号の所定の輝度を中心に輝度差を強調することを特徴とする撮像方法。
【請求項７】
被写体を撮像して所定のフレームレートで動画像の映像信号を生成する撮像装置において、
前記被写体に係る画像の１フレーム期間内において複数の露光期間にて露光して前記被写体を撮像する撮像素子と、
当該撮像素子が前記複数の露光期間の各々にて露光して得た複数の映像信号を供給され当該複数の映像信号の階調を増加する階調増加回路と、
当該階調増加回路が階調を増加した前記複数の映像信号を供給され当該複数の映像信号を演算してＳＮ比を改善する演算回路と
を有することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記演算回路は、巡回型フィルタであることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記巡回型フィルタの帰還率は、主たる応答が前記画像の１フレーム期間内に収まるよう設定されることを特徴とする撮像装置。
【請求項１０】
請求項８に記載の撮像装置において、
前記巡回型フィルタの帰還率は、3/4,7/8,15/16,31/32,63/64,127/128のいずれかに設定されることを特徴とする撮像装置。
【請求項１１】
請求項７乃至請求項１０に記載の撮像装置において、
１フレーム期間内で時間的に隣接する二つの前記露光期間の開始時間の時間差は、２ミリ秒以下に設定されることを特徴とする撮像装置。
【請求項１２】
請求項７乃至請求項１１に記載の撮像装置において、
供給される制御情報に応じて、前記演算回路でＳＮ比を改善した映像信号の所定の輝度を中心に輝度差を強調する階調ズーム回路
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像方法および撮像装置に係り、特に、光電変換で発生するショットノイズを改善する際に好適な撮像方法および撮像装置に関する。
【背景技術】
【０００２】
近年の撮像装置の普及は顕著で、通常の静止画、動画のカメラや監視カメラだけでなく、携帯電話やパソコン、自動車などさまざまな装置に装備されている。ほとんどの撮像装置は、アレイ状に配置されたフォトダイオードで光電変換された映像信号に係る電荷の情報を、順次ＡＤ変換して出力するが、特にＣＭＯＳ撮像装置では列ごとに並列にＡＤ変換器を設けることにより、高速にディジタル映像信号を出力できるようになり、またディジタルビット数も例えば１４と大きく取れるようになってきている。並列にＡＤ変換器を設けたＣＭＯＳ撮像装置は、例えば特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４７９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置の暗い時のランダム雑音については、相関ダブルサンプリングによっていわゆる「ｋＴＣ雑音」を抑圧することによって大幅に小さくなり、電子数に換算して１個程度にまで低減されている。フォトダイオードの飽和電荷量は電子数で１万個を少し越えるあたりが一般的な設計になってきているので、その比から１万（８０ｄＢ）程度のＳＮ比が得られる、というレベルにまで進歩してきた。
【０００５】
この８０ｄＢという値は、明るい部分の信号と、暗い部分の雑音を比べたもので、これが仕様書などで使われているＳＮ比であるが、実際にはショットノイズによって明るい部分の雑音はもっと大きくなる。ショットノイズは光電変換時に発生する原理的なランダム雑音で、Ｍ個の電子が得られる時、rms（自乗平均の平方根）値で√Ｍの雑音が発生する。例えば電子１万個の信号がある明るい部分には、rms値で１００個の雑音が発生し、ＳＮ比は１００（４０ｄＢ）しか取れないことになる。したがって、例えば映像中の肌の部分のコントラストを高くして一様性を確認しようとすると、雑音の方が増えてしまって一様性を確認しにくいといった課題があった。
【０００６】
信号の電子数をＭとすると、ショットノイズが√Ｍとなり、ＳＮ比が√Ｍとなるので、単純に改善しようとすれば扱う電子数を増やせば良い。そのためにはフォトダイオードの容量を増やすか、蓄積できる電圧を増やす必要があり、前者はフォトダイオードの面積が増え、後者は扱う電圧が増える。仮に一桁増やしても、改善されるＳＮ比は１０ｄＢだけであり、有効な方法とはいえない。
本発明の目的は、撮像装置におけるショットノイズを低減し、本当の意味でＳＮ比の良い映像を提供することである。
【課題を解決するための手段】
【０００７】
本発明の実施例では、ＡＤ変換が高速化されてきたことを利用して、時間軸方向に積分してＳＮ比を改善する。時間軸方向に積分する際に階調（ビット数）を増やすことにより、その分ＡＤ変換のビット数を削減できるため、より高速のＡＤ変換を実現することができる。さらに動きベクトル（ＭＶ）を画素ごとに求めて動き補償することにより、被写体が動いたり、撮像装置が揺れた場合でも、動きに合わせて積分するようにしてＳＮ比を改善する。
【発明の効果】
【０００８】
本発明によれば、光電変換で発生するショットノイズを改善する際に好適な撮像方法および撮像装置を提供できるという効果が有る。
他に本発明を限定することのない効果の一例をあげるならば、従来ショットノイズによって略４０ｄＢに制限されていたＳＮ比を、例えば１２８回積分の場合１０倍以上改善することができ、６０ｄＢ以上の高い値を得ることができる。これにより従来に比べてはるかに高い精度で微妙な映像変化を検知することができ、コントラストを高めて映像を確認するのに好適である。また一般の画像認識に用いた場合にもＳＮ比が改善される分、認識精度を上げることができる。通常のディスプレイで映像を観賞する際にも、ＳＮ比の高い映像なので、視聴者がより快適に映像観賞を楽しむことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明による撮像方法の基本的な考え方を示すタイミングチャート。
【図２】撮像方法の一従来例を示すタイミングチャート。
【図３】撮像方法の一従来例を示すタイミングチャート。
【図４】撮像装置の第１の実施例を示す回路構成図（実施例１）。
【図５】撮像装置の第２の実施例を示す回路構成図（実施例２）。
【図６】撮像装置の第３の実施例を示す回路構成図（実施例３）。
【図７】撮像装置の第４の実施例を示す回路構成図（実施例４）。
【図８】ＭＶおよびその検出方法を説明する図。
【図９】撮像装置の第５の実施例を示す回路構成図（実施例５）。
【図１０】階調ズーム機能を説明する入出力特性図。
【図１１】撮像装置の第６の実施例を示す回路構成図（実施例６）。
【図１２】撮像方法の一実施例を示す処理フローチャート（実施例７）。
【発明を実施するための形態】
【００１０】
本発明の実施例では、映像信号を時間軸方向に積分してＳＮ比を改善することを、一つの特徴としている。
図１は、本発明の撮像方法の基本的な考え方を示すタイミングチャートである。フレーム期間（時間Ｔ１からＴ２まで）がテレビやディスプレイに映像を表示する周期で、この期間に１枚の映像を表示する。フレーム期間は（1/30）秒〜（1/120）秒が一般的である。このフレーム期間に複数の露光期間101,102, 〜108と、それぞれに対応する出力期間201,202, 〜208を設ける。それぞれの露光期間で得られた映像信号が、それぞれ直後の出力期間でＡＤ変換されて出力される。出力期間201,202, 〜208で出力される複数の映像信号の平均値をとることによりＳＮ比を改善することができる。図１の例では８個の平均をとるので、ＳＮ比を３倍近く改善できる。もっと高速に処理して、例えば１２８個の平均をとるようにすれば１０倍以上ＳＮ比を改善することができる。
【００１１】
図２および図３は、従来の撮像方法の一例を示すタイミングチャートである。111,112が露光期間、211が出力期間である。絞りを用いて露光制御する場合や暗い被写体の場合は、図２のように露光期間111がほぼフレーム期間に等しくなる。一方、明るい被写体で露光期間を用いて露光制御する場合は、図３のように露光期間112が短くなる。出力期間211は、主にＡＤ変換の速度で決まるが、最近のＣＭＯＳ撮像素子のように列ごとにＡＤ変換器を設けた例では高速化が著しく、図２、図３のようにフレーム期間に比べて充分短い期間でディジタル出力を完了することができるようになった。あるいは、この時間余裕をＡＤ変換のビット数を増やす方向に振り向けた例も多い。
【００１２】
さて、図３のように露光期間112と出力期間211がフレーム期間に比べて充分短い場合を想定すると、図１のようにフレーム期間内に複数回露光と出力を繰り返して複数の映像信号を得ることができる。この複数の映像信号を平均化することにより、ショットノイズを減らしたＳＮ比の良い映像信号を得ることができる。これが本発明の実施例の基本的な考え方の一つである。
なお、高いＳＮ比改善効果を得ようとすると、出力期間をさらに短くする必要が生じる場合があるが、ＡＤ変換のビット数を減らして出力期間を短くし、後段の平均化処理においてビット数を増やす手段が有効である。また、単純な平均化処理は通常多くのフレームメモリを使うので高価になるが、適度な係数で新しい映像信号を加算していく巡回型フィルタ処理でも同様の効果が得られるので、こちらの方が現実的である。
以下、このような具体的な実施例を説明する。
【実施例１】
【００１３】
図４は、本発明の撮像装置の第１の実施例を示す回路構成図である。撮像素子301は汎用のＣＭＯＳ撮像素子あるいはＣＣＤ撮像素子で良いが、図１に示すようにフレーム期間に複数回、映像信号を出力する。撮像素子出力S1はまず階調追加回路302でビット数を増やす。例えば４ビット増やす場合は、下位ビットに２進法で１０００あるいは０１１１、またはそれらを交互に追加する。ビット数を追加した信号がS2である。このS2に巡回型のフィルタをかけた映像信号S3を出力端子309から出力する。出力映像信号S3は、そのまま画像認識などに用いたり、ディスプレイのフレームレートに間引いてディスプレイに映し出したりする。
【００１４】
フレームメモリ303には１枚の映像信号が蓄積され、１回前の出力映像信号S4を出力する。差分生成回路304では、このS4と、入力映像信号S2との差をとって、
S5＝S2−S4    ・・・・・（式１）
を出力する。このS5は、除算回路305で1/ｎにされた後、加算回路306でS4と加算され、出力映像信号S3を生成する。ｎは整数だが、２、４、８、１６、３２、６４、１２８…と２の整数乗の値にすることにより、除算回路305が簡単な回路になって好ましい。
【００１５】
出力映像信号S3は以下のようになり、新しい入力映像S2を少しずつ影響させていく形になり、巡回型フィルタが構成される。
S3＝S4＋S5/n＝（1−1/n）S4＋（1/n）S2    ・・・・・（式２）
数値ｎの選び方は、概略フレーム内の映像個数あるいはその半分だが、大きいほどＳＮ比改善効果が大きくなると同時に、映像の尾引きが増えるので、用途に応じて定めれば良い。ｎ＝６４でもＳＮ比は約10倍改善できる。映像の尾引きの目安の例は、１フレーム期間で主たる応答が完了することである。
（式２）から巡回型フィルタの帰還率、すなわち前回の出力が今回の出力に及ぼす影響は（1−1/n）となるが、除算回路305を簡単にするためにはｎを２の整数乗にして、帰還率を3/4, 7/8 ,15/16, 31/32, 63/64, 127/128の中から選ぶようにするとよい。
【実施例２】
【００１６】
図５は、本発明の撮像装置の第２の実施例を示す回路構成図である。図４の実施例では、階調を増やした映像信号S2の下位ビットは、結局除算回路305で消されてしまう場合が多いので、その部分を改善して回路規模を削減したのが図５の実施例である。階調追加回路302を削除し、代わりに階調削減回路312をフレームメモリ303の出力に接続した。この階調削減回路312により、フレームメモリ出力の映像信号S4の階調を減らして、撮像素子出力の映像信号S1の階調と同じにした映像信号S6を作り、ビット数を合わせたS6とS1を差分生成回路304に入力する。差分生成回路出力S5を除算回路305に通した後、加算回路306でフレームメモリ出力の映像信号S4と足し合わせる。加算結果のS3が出力端子309から出力され、図４の実施例と同じＳＮ比改善効果が得られる。除算回路305の係数ｎは、図４の実施例と比べて入力が階調削減されている分、小さな値にする。例えば階調削減回路312で４ビット階調削減する場合、除算回路305のｎが４でも、図４でｎが６４に相当する効果が得られ、ＳＮ比が約１０倍改善できる。
【実施例３】
【００１７】
図６は、本発明の撮像装置の第３の実施例を示す回路構成図である。図４の実施例では常に巡回型フィルタを働かせる構成なので、ある程度時間軸方向の尾引きが発生するが、この点を修正し、スイッチ307を設けて、場合によってはフィルタがかかった映像信号S6ではなく、新たに入力された映像信号S2を選択して端子309に出力するようにした。スイッチ307を制御するため、絶対値生成回路308を設け、差分信号S5の絶対値S7を生成する。この絶対値S7が大きいときは、被写体の動き等で映像信号S2に明瞭な変化が生じた場合であり、スイッチ307はS2（入力１）を選択して出力する。それ以外では、スイッチ307はフィルタがかかった映像信号S6（入力２）を選択して出力する。このようにして、大きく映像信号が変化した場合には、時間軸方向の尾引きが発生しないようにしている。
【実施例４】
【００１８】
図７は、本発明の撮像装置の第４の実施例を示す回路構成図である。図６の実施例では、被写体が動いた場合にフィルタをかけずに出力する部分があり、その部分ではＳＮ比改善効果が得られなかった。その点を修正し、ＭＶ（動きベクトル）検出回路310と動き補償回路311を追加して、被写体の当該部分に巡回型フィルタをかけるようにした。
ＭＶ検出回路310では、前回の映像信号S4と、新しい映像信号S2を比較して、映像信号がどの方向にどの程度動いたか（すなわちＭＶ）を検出する。この検出は、例えば画素ごとに行われ、その画素の周辺の情報も用いてＭＶを推察する。平面的に変化の乏しい部分などではＭＶの推察ができない場合があるが、過去のＭＶや周囲のＭＶも参考にしてＭＶを定める。例えば２枚の映像の時間差が0.1ミリ秒と小さい場合は、ＭＶもごく小さな値となり、画素ピッチより小さくなる場合が多い。したがってＭＶの精度も画素ピッチの1/2,1/4,1/8といった小さな値になる。
【００１９】
動き補償回路311では、ＭＶの分だけ前回の映像信号S4の位置をずらして動き補償した映像信号S8を得る。位置ずらしはＭＶ精度に合わせて画素ピッチより細かく動かすので、近傍画素との内挿計算でずれた位置の値を求める。
このように動き補償することにより、映像信号S2とS8は、被写体の同じ部分と思われる部分同士で巡回型フィルタがかかるので、映像がぼやけることなくＳＮ比を改善することができる。輪郭部分も位置が補償されるので、差分の絶対値S7が大きくなることが減り、ＳＮ比が改善される場合が増える。
【００２０】
図８は、ＭＶおよびその検出方法を説明する図である。（a）が前回の映像信号S4のある画素S4−0とその周囲画素S4−1〜S4−8を示し、（b）が新しい映像信号S2の同じ座標の画素S2−0とその周囲画素S2−1〜S2−8を示す。（a）から（b）への時間経過にともない映像が動き、画素S2−0の部分が（a）中に示す位置に動いたとき、図中のベクトル401が所望のＭＶである。ＭＶはS4−0およびその周囲画素と、S2−0およびその周囲画素から求めることができる。１画素程度以下の小さなＭＶが想定されるときは、例えばS2−0の値、および上下左右斜めの傾斜からＭＶ401を推定することができる。あるいは（b）中のS2−0周辺情報402を内挿計算で求めて、それを（a）中で走査してＭＶ401を捜すこともできる。いずれにしても小さなＭＶが想定できるときは、比較的簡単な計算でＭＶを求めることができる。
【００２１】
ＭＶ推定で難しい点は、変化の乏しい部分などで推察ができない場合があることである。ＭＶのうち手振れや車振れなど装置の振動によるＭＶは映像全体で一様な値になるし、被写体のうち剛体内部は一様な値を示す場合が多い。また、２枚の映像の時間差が例えば0.1ミリ秒と小さい場合は前回のＭＶとほとんど同じ値である場合が多い。このことからＭＶの推察ができない場合には空間的、時間的に周辺のＭＶから補間することができる。
ＭＶの検出および推定は、どの程度の動きを想定するのかで、やり方が変わってくるが、１画素以内のＭＶを想定すると探索範囲も狭く、比較的簡単な計算で検出することができる。また、ＭＶを間違って検出あるいは推定した場合でも、動き補償が隣接画素との演算なので、軽い解像度劣化で済む。
【００２２】
一般に、被写体の速さを限定することはできないが、弾丸のような超高速物体はぼやけて写るのが自然である。民生用の撮像装置でも、映像の動きが速くなり過ぎないように撮影することが推奨されている。例えば１秒間に画面を横切ってしまうような速い動きは、推奨はされないが実際に撮像されることがある。このような速い動きにも本発明を適用しようとすると、複数の映像の時間差を充分小さく設定する必要がある。水平１９２０画素の高精細システムで水平方向に１秒間で画面を横切ってしまう場合を想定すると、映像の時間差を0.5ミリ秒にすればＭＶの大きさが１画素になる。垂直４８０画素の従来システムで垂直方向に１秒間で画面を横切ってしまう場合では、映像の時間差を２ミリ秒にすればＭＶの大きさが１画素になる。このことから、複数の映像の時間差を大略１ミリ秒以下に設定すれば、通常の被写体ではＭＶが１画素より小さくなり、ＭＶを簡単に計算できるとともに、間違った動き補償をしたときや、動き補償をしないときでも軽い解像度劣化で済む。
【００２３】
次に除算回路305のｎの設定、すなわち巡回型フィルタの帰還率の設定について説明する。単純平均の場合、2,4,8,16,32,64と平均化する映像の枚数を倍にするごと、ＳＮ比が３ｄＢずつ改善できる。S7によるリセットや動き補償を考えない場合の映像の尾引きも倍々に増えるので、これらのバランスを考慮して平均化する映像の枚数を決める。上記ｎの設定も同様で、ｎを倍々に増やすに従い、ＳＮ比が３ｄＢずつ改善できるとともに、映像の尾引きも倍々に増える。例えば１フレーム内の複数の映像の枚数が１００枚の場合を想定すると、ｎを2,4,8と小さな値で増やしていく場合は、映像の尾引きが１フレーム期間に比べて充分小さい範囲でＳＮ比を改善できるので有効である。一方、ｎ＝６４と大きな値にすると、映像の尾引きが１フレーム期間にかかってくる大きさになり、問題になる場合がある。その場合、ｎを半分の３２にすると１フレーム期間後の映像の尾引きが激減するが、ＳＮ比劣化はたかだか３ｄＢであり、好ましい設定となる。
【実施例５】
【００２４】
図９は、本発明の撮像装置の第５の実施例を示す回路構成図である。巡回型フィルタ321は図４〜７で説明してきたようなフィルタで、ＳＮ比を改善する。階調ズーム回路322は所望の部分のコントラストを高めて微妙な変化をわかりやすくさせるもので、例えば肌の一様性のチェックなどに用いる。この回路の制御は端子323によりなされるが、使用者の意図に応じて階調ズーム回路322を働かせたり働かせなかったりする。
図１０は、階調ズーム回路322の特性例を示す図で、この回路の入力S3と出力S8の関係を示す。折れ線500が階調ズーム回路322を働かせた場合の特性例で、基準値So近傍のレベル変化を大きくさせて、変化を強調する。基準値Soは、例えば画面中央付近の平均値とする。したがって、例えば肌を画面中央に映して階調ズーム回路322を働かせることにより、肌の一様性をわかりやすくチェックすることができる。
以上、白黒の撮像素子301を用いた例を説明してきたが、カラーの場合も同様にＳＮ比を改善することができる。
【実施例６】
【００２５】
図１１は、本発明の撮像装置の第６の実施例を示す回路構成図である。カラー撮像素子331を用いた例だが、例えば公知の色輝度分離回路332により輝度信号Ｙと色信号C1、C2を作れば、後は同じように階調追加回路333,334,335と巡回型フィルタ336,337,338によりそれぞれＳＮ比を改善することができ、改善された信号を端子339,340,341に出力することができる。
被写体の動きは色信号、輝度信号とも同じなので、図７の実施例のように、巡回型フィルタ336,337,338でＭＶ検出と動き補償をする場合は、輝度信号Ｙの巡回型フィルタ336で検出するＭＶを、色信号C1、C2の巡回型フィルタ337,338で用いるのが合理的である。
【実施例７】
【００２６】
図１２は、本発明の撮像方法の一実施例を示す処理フローチャートである。１フレームあたり複数の映像信号データ501を用い、これに階調追加処理502と巡回型フィルタ処理503を加えることにより、ＳＮ比が改善された映像信号データ504を得ることができる。処理501、502の詳細例は、実施例１〜６の説明と重複するので割愛する。
【符号の説明】
【００２７】
１０１…露光期間、１０２…露光期間、１０８…露光期間、２０１…出力期間、２０２…出力期間、２０８…出力期間、１１１…露光期間、２１１…出力期間、１１２…露光期間、３０１…撮像素子、３０２…階調追加回路、３０３…フレームメモリ、３０４…差分生成回路、３０５…除算回路、３０６…加算回路、３０９…出力端子、３１２…階調削減回路、３０７…スイッチ、３０８…絶対値生成回路、３１０…ＭＶ検出回路、３１１…動き補償回路、４０１…ＭＶ、４０２…周辺情報、３２１…巡回型フィルタ、３２２…階調ズーム回路、３２３…制御端子、５００…折れ線、３３１…カラー撮像素子、３３２…色輝度分離回路、３３３…階調追加回路、３３４…階調追加回路、３３５…階調追加回路、３３６…巡回型フィルタ、３３７…巡回型フィルタ、３３８…巡回型フィルタ、３３９…出力端子、３４０…出力端子、３４１…出力端子、５０１…複数枚の映像信号データ、５０２…階調追加処理、５０３…巡回型フィルタ処理、５０４…出力映像信号データ。
【図１】
2013229781.tif 000003
【図２】
2013229781.tif 000004
【図３】
2013229781.tif 000005
【図４】
2013229781.tif 000006
【図５】
2013229781.tif 000007
【図６】
2013229781.tif 000008
【図７】
2013229781.tif 000009
【図８】
2013229781.tif 000010
【図９】
2013229781.tif 000011
【図１０】
2013229781.tif 000012
【図１１】
2013229781.tif 000013
【図１２】
2013229781.tif 000014