(57)【要約】【目的】高いフレームレートで時系列の画像を撮影することができる画像撮影装置において、高い感度で画像を撮影する高感度でかつ高速度で処理できるものを提供する。【構成】高速度画像取得部１は、撮像素子等を一次元、または、二次元に配列し、高いフレームレートで画像を取得することが可能な装置である。画素選択部２は、画像を構成する画素を所定の間隔で選択する。周辺画素値加算部３は、画素選択部２で選択された画素の画素値とその周辺の画素の画素値を加算する。画素値調整部４では、周辺画素値加算部３で計算した選択画素の画素値が、出力画像の画素値として適当な値となるように調節する。画像出力部５では、画素値調整部４で計算された選択画素の画素値を１フレームの画像として出力する。【選択図】　　　　図１
2004021345.tif 000002
【特許請求の範囲】
【請求項１】
時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理装置であって、
前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択手段と、
前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算手段と、
前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整手段と、
前記調整された各選択画素の画素値から構成された画像を出力する画像出力手段と、
を具備した
ことを特徴とする画像処理装置。
【請求項２】
前記画素値調整手段は、
前記演算された選択画素の画素値に所定の定数を乗じる処理、前記画素値が所定の最大値を超えている場合には最大値に置き換える処理、または、これら両方の処理を行うことにより、前記選択画素の画素値を適正な範囲に調整する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画素選択手段で選択する選択画素の間隔を、前記画素値加算手段で重み付き和を計算する周辺画素の範囲より狭くとる
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記時系列画像が、１００フレーム／秒から２０００フレーム／秒で撮影された高速度画像である
ことを特徴とする請求項１から３記載のうちいずれか一項に記載の画像処理装置。
【請求項５】
前記時系列の画像が、移動体に搭載された画像撮影装置によって撮影された前記移動体周辺の時系列の画像であり、
前記画像出力手段から出力される画像を前記移動体の制御装置に出力する
ことを特徴とする請求項１から４記載のうちいずれか一項に記載の画像処理装置。
【請求項６】
時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理方法であって、
前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択ステップと、
前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算ステップと、
前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整ステップと、
前記調整された各選択画素の画素値から構成された画像を出力する画像出力ステップと、
を具備した
ことを特徴とする画像処理方法。
【請求項７】
時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理方法をコンピュータによって実現できるプログラムであって、
前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択機能と、
前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算機能と、
前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整機能と、
前記調整された各選択画素の画素値から構成された画像を出力する画像出力機能と、
をコンピュータによって実現する
ことを特徴とする画像処理方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高いフレームレートで画像列を撮影することができる画像処理装置において、高い感度で画像を撮影する高感度高速度画像取得装置及びその方法に関する。
【０００２】
【従来の技術】
画像を高速度撮影する場合、露光時間が短く、通常の画像処理装置では十分なダイナミックレンジが得られず、ＳＮ比も悪くなる。
【０００３】
画像を高感度撮影するためには、主に４つの方法が考えられる。
【０００４】
１．露光時間を長くする。
【０００５】
２．明るいレンズを用いる。
【０００６】
３．フォトディテクタ（ＰＤ）の回路の工夫により感度を向上させる。
【０００７】
４．画素の面積を大きくして、露光面積を増やす。
【０００８】
【発明が解決しようとする課題】
しかし、上記の４つの方法では、下記の問題点がある。
【０００９】
第１の方法では、高速度画像を撮影する場合、露光時間を長く取ることはできない。
【００１０】
第２の方法では、口径が大きくＦ値の小さいレンズを選択すれば感度を上げられるが限界がある。
【００１１】
第３の方法では、例えば特開平５−３３６３１４等のようにフォトディテクタ（ＰＤ）の回路の工夫によっても感度を上げられるが、このような方法にも限界がある。
【００１２】
第４の方法では、画素の面積を大きくして、露光面積を増やすことにより感度を向上できるが、暗電流ノイズ等を低減することはできない。
【００１３】
また、特開２００２−６４７５０では、近傍画素の信号加算を行うことにより高感度化を行う方法が提案されている。
【００１４】
しかし、この信号の加算では、ダイナミックレンジを確保することができるが、ＳＮ比の良い画像を得ることができない。
【００１５】
そこで、本発明では、画像を高速度撮影する場合においても、十分なダイナミックレンジを確保し、従来よりさらにＳＮ比の良い画像を得ることを目的とする。
【００１６】
【課題を解決するための手段】
請求項１の発明は、時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理装置であって、前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択手段と、前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算手段と、前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整手段と、前記調整された各選択画素の画素値から構成された画像を出力する画像出力手段と、を具備したことを特徴とする画像処理装置である。
【００１７】
請求項２の発明は、前記画素値調整手段は、前記演算された選択画素の画素値に所定の定数を乗じる処理、前記画素値が所定の最大値を超えている場合には最大値に置き換える処理、または、これら両方の処理を行うことにより、前記選択画素の画素値を適正な範囲に調整することを特徴とする請求項１記載の画像処理装置である。
【００１８】
請求項３の発明は、前記画素選択手段で選択する選択画素の間隔を、前記画素値加算手段で重み付き和を計算する周辺画素の範囲より狭くとることを特徴とする請求項１または２記載の画像処理装置である。
【００１９】
請求項４の発明は、前記時系列画像が、１００フレーム／秒から２０００フレーム／秒で撮影された高速度画像であることを特徴とする請求項１から３記載のうちいずれか一項に記載の画像処理装置である。
【００２０】
請求項５の発明は、前記時系列の画像が、移動体に搭載された画像撮影装置によって撮影された前記移動体周辺の時系列の画像であり、前記画像出力手段から出力される画像を前記移動体の制御装置に出力することを特徴とする請求項１から４記載のうちいずれか一項に記載の画像処理装置である。
【００２１】
請求項６の発明は、時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理方法であって、前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択ステップと、前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算ステップと、前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整ステップと、前記調整された各選択画素の画素値から構成された画像を出力する画像出力ステップと、を具備したことを特徴とする画像処理方法である。
【００２２】
請求項７の発明は、時系列で撮影された画像を高感度になるように処理し、かつ、ノイズを減少させるように処理する画像処理方法をコンピュータによって実現できるプログラムであって、前記時系列の各画像における画素の中から、複数の選択画素を所定の間隔で選択する画素選択機能と、前記選択された各選択画素を中心とするガウス関数に従う重みを用いて、前記各選択画素の中心とした周辺画素の重み付き和を計算し、この計算した周辺画素の重み付き和に基づいて受光感度を向上させた前記選択画素の画素値を各選択画素毎に演算する画素値加算機能と、前記演算された各選択画素の画素値を適正な画素値の範囲に調整する画素値調整機能と、前記調整された各選択画素の画素値から構成された画像を出力する画像出力機能と、をコンピュータによって実現することを特徴とする画像処理方法のプログラムである。
【００２３】
本発明によると、例えば、高いフレームレートで画像を撮影した画像における画素を所定の間隔で選択し、選択された画素を中心とする例えば、一次元、または、二次元などのガウス関数に従う重みを用いて周辺画素の重み付き和を計算することによって、前記画素の受光感度を向上させるとともに、従来よりＳＮ比を向上させる。そして、演算された選択画素の画素値を、出力画像の輝度値として適正な値となるよう調整し、画像として出力する。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の画像処理装置を内蔵した画像撮影装置１０の一実施形態を説明する。
【００２５】
図１に本実施形態の画像撮影装置１０の基本的な構成例を示す。
【００２６】
（１）画像撮影装置１０の構成
（１−１）高速度画像取得部１の構成
高速度画像取得部１は、撮像素子等を一次元、または、二次元に配列し、高いフレームレートで画像を取得することが可能なビデオカメラ等の装置である。ここで、高いフレームレートとは、１００フレーム／秒から２０００フレーム／秒である。
【００２７】
各撮像素子は、画素として画像を構成する。以下では、二次元配列であるエリアセンサーの場合について説明する。画素値の二次元配列をＩ（ｘ，ｙ）と表す。
【００２８】
（１−２）画素選択部２の構成
画素選択部２は、画像を構成する画素を所定の間隔で選択する。以下、この選択した画素を「選択画素」という。撮像素子等を二次元に配列したエリアセンサーの場合、例えば、横方向縦方向それぞれ４画素おきに画素を選択する。横方向は４画素おき縦方向には２画素おきに選択する等がある（図２参照）。
【００２９】
選択画素の間隔を狭く取ることによって、解像度の低下が低減される。例えば、横１２８０画素、縦１０２４画素の画像において、縦横とも４画素おきに選択した場合、最終的に高感度化されて出力される画像は横３２０画素、縦２５６画素となる。選択画素の間隔を狭く取れば、元の入力画像の画素数に近づくので、解像度の低下が低減される。上の例において、選択する画素を縦横とも２画素おきに変更すると出力される画像は横６４０画素、縦５１２画素となり、解像度が上の例よりも高くなる。
【００３０】
さらに、画像を構成する画素を所定の間隔で選択することにより、高速度の処理が可能となる。すなわち、全ての画素について処理を行うと、その処理時間が長くなるが、このように選択画素のみ処理することにより処理時間が短くなり、１００フレーム／秒から２０００フレーム／秒の高速度で撮影された画像であっても、処理を迅速に行うことでき、高速度撮影に適した処理となる。
【００３１】
（１−３）周辺画素値加算部３の構成
周辺画素値加算部３は、画素選択部２で選択された選択画素の画素値とその周辺の画素の画素値の重み付き和を計算する。
【００３２】
図３は、画素選択部２で横方向４画素、縦方向２画素おきに選択画素を選択し、この選択画素を中心とした周辺画素（７×７画素）の重み付き和を計算する場合の模式図である。
【００３３】
ある選択画素（ｘ，ｙ）の画素値Ｓ（ｘ，ｙ）は、（１）式のように計算する。
【００３４】
【数１】
2004021345.tif 000003
ここで、ｗ（ｉ，ｊ）は（ｘ，ｙ）から相対的に（ｉ，ｊ）だけ離れた画素の重みである。重みは、二次元ガウス関数を量子化することによって決定する。連続系の二次元ガウス関数は（２）式で表される。
【００３５】
【数２】
2004021345.tif 000004
ここで、σは標準偏差、Ｍは利得である。但し、Ｍ＝１の場合感度は向上しないので、Ｍ＞１である。例えば、Ｍ＝４９、σ＝１の場合について二次元ガウス関数を量子化すると、重み行列は以下の（３）式のようになる。
【００３６】
【数３】
2004021345.tif 000005
このような処理により、計算された画素値の感度は向上する。画像が８ビット階調（２５６階調）で、周辺画素の輝度値が全て５であった場合、この例では、５×Ｍ＝５×４９＝２４５となり、輝度値が５から２４５に上昇する。この画素値を、後述の画素値調整部４により画像全体として８ビット階調の画素値として適切な値に調節すれば、例えば、１０００フレーム／秒で５００ルックス以下の撮影環境が暗く低い輝度値しか得られなかった不明瞭な画像でも、明るく鮮明な画像として撮影できる。
【００３７】
計算の利便性を考慮して、重みを整数値で近似してもよい。上の例の場合は、（４）式のように近似する。なお、整数値に近似する場合に０になる行、または、列の計算が不要なため、（３）式では７×７の行列であるが（４）式では５×５の行列となり、より計算が早くなる。
【００３８】
【数４】
2004021345.tif 000006
ここで、ガウス関数に従う重みを用いて選択画素の画素値を計算する場合と、一定の重みを用いて選択画素の画素値を計算（平均値を取ることと同義）する場合とで、ノイズ低減の効果を比較する。
【００３９】
一般に、離散系で選択画素周辺の重み付き和を計算することは、連続系では、ある重み関数ｗ（ｘ，ｙ）と、画像関数ｆ（ｘ，ｙ）との畳み込み積分ｗ（ｘ，ｙ）＊　ｆ（ｘ，ｙ）を計算することに相当する。
【００４０】
以下、簡単のために一次元の画像関数ｆ（ｘ）と重み関数ｗ（ｘ）について説明する。
【００４１】
畳み込み積分のフーリエ変換は、各関数のフーリエ変換の積になることが知られているので、ｗ（ｘ）＊　ｆ（ｘ）のフーリエ変換は、Ｗ（ｕ）Ｆ（ｕ）となる。ここで、Ｗ（ｕ）、Ｆ（ｕ）はそれぞれｗ（ｘ）、ｆ（ｘ）のフーリエ変換、ｕは周波数を表す。ノイズ成分は、高い周波数を持っているので、重み関数の高周波に対する応答が小さければ、ノイズ除去の効果が大きいと言える。重み関数としてガウス関数ｇ（ｘ）と、矩形関数ｒ（ｘ）（平均値を取ることに相当する）を用いた場合の周波数応答を図４、５に示す。但し、σ＝１、ｄ＝３である。
【００４２】
【数５】
2004021345.tif 000007
高い周波数の０．４〜０．５〔ｃｙｃｌｅ／ｐｉｘｅｌ〕の応答強度の積分値は、ガウス関数、矩形関数それぞれについて、０．００２０５０８３、０．００７２３３７２となり、ガウス関数の方が高周波成分、すなわちノイズを除去する効果が大きいことが分かる。ｄを大きくすることによってノイズ除去の効果を大きくすることができるが、平滑化効果によってぼやけた画像となり画質が悪くなる。
【００４３】
本発明は、画素選択部２で選択する画素の間隔を、和を取る周辺画素の範囲が隣の選択画素のものと重ならないようにし、周辺画素値を単純に加算する従来方式に比べて、以下の利点がある。
【００４４】
第１の利点は．周辺画素値にガウス関数に従う重みを掛けて和を取ることにより、従来方式より得られる画像のＳＮ比が向上する。
【００４５】
第２の利点は、選択する画素の間隔を、重み付き和をとる周辺画素の範囲より狭くとることにより、解像度の低下を低減することができる。例えば、横１２８０、縦１０２４画素の画像において、１６倍の感度向上を行いたい場合、従来方式では１６画素の和をとる必要がある。隣の選択画素を含まないように選択画素の間隔を決定すると、縦横とも４画素おきとなる。そのため、解像度は横３２０画素、縦２５６画素となる。これに対して、本発明方式では、２画素おきに画素を選択し、隣の選択画素を含む周辺１６画素を用いてＭ＝１６である重み付き和を計算すればよい。この場合、解像度は横６４０画素、縦５１２画素となり、同じ感度向上率でも解像度が高い画像が得られる。
【００４６】
（１−４）画素値調整部４の構成
画素値調整部４では、周辺画素値加算部３で計算した選択画素の画素値に、以下の処理を行うことにより、出力画像の画素値として適当な値となるように調整する。
【００４７】
１．所定の定数Ｋをかける。
【００４８】
２．出力画素値の最大値を超えている場合は、出力画素の最大値で置き換える。
【００４９】
出力画素が８ビット／ピクセルの場合、画素値は０から２５５までの値をとる。計算した選択画素の画素値がこの範囲内に収まるように上記１、２の処理を組み合わせて画素値を調整する。
【００５０】
例えば、計算した画素値が２５５を大きく超える場合、Ｋ＝０．５を画素値に掛け合わせ、それでも２５５を超えている画素値を２５５に置き換える。最終的に得られる画像の利得Ｇは、Ｇ＝Ｍ＊　Ｋである。
【００５１】
この画素値調整は、選択画素毎に調整する方法と、フレーム全体で調整する方法がある。
【００５２】
画素値を調整する定数の決め方は、画像を撮影する時刻毎に定数Ｋを予め記憶しておき、その時刻毎に定数Ｋを変更する。例えば、昼の時刻には、定数を低くし、かつ、最大値を超える可能性が高いので、出力画素の最大値で置き換える。一方、夜の時刻には、定数を高くする。
【００５３】
第２の定数の決め方は、画像撮影装置１０を起動した時に画像を撮影し、この画像に基づいて定数Ｋを決定する。
【００５４】
（１−５）画像出力部５の構成
画像出力部５では、画素値調整部４で計算された選択画素の画素値Ｏ（ｘ，ｙ）を二次元配列の画像として出力する。
【００５５】
図６のように選択画素が横方向縦方向それぞれ４画素おきに選択されている場合、画素値調整部４で計算されたこれら選択画素の値を二次元に配列し直した画像Ｏ（ｘ’，ｙ’）を出力する。（ｘ、ｙ）の座標と、（ｘ’、ｙ’）の座標の関係は、図４に示すように、図４左図における撮影した画像の画素の座標（ｘ、から、選択画素のみを選択して配列し直した時の選択画素の座標が（ｘ’、ｙ’）となる。
【００５６】
原画像がカラー画像の場合も、色を表現する各成分毎に上記のような処理を行うことによって感度の向上を行うことができる。例えば、カラー画像の各画素が、光の三原色（赤、緑、青）で表現されている場合、赤、緑、青の各成分毎に上記のような構成で重み付け和を計算する。
【００５７】
（１−６）各部の実現方法
画素選択部２、周辺画素値加算部３、画素値調整部４、画像出力部５の実現方法には様々な形態がある。例えば、
１．イメージセンサーのフォトディテクタ（ＰＤ）の出力電流、または、電圧をアナログ回路で加算する。
【００５８】
２．イメージセンサーにこれらの論理回路を混載し、処理する。
【００５９】
３．イメージセンサーの出力を、これらの機能が実装されたハードウェア（ＦＰＧＡ等）で処理する。
【００６０】
４．イメージセンサーの出力を、汎用計算機等のコンピュータに画像として入力し、そのコンピュータに記憶されているソフトウェアのプログラムの機能によって処理する。
【００６１】
等がある。
【００６２】
（２）画像撮影装置１０の応用例
図７は、上記実施形態の画像撮影装置１０によって高速度高感度化された画像を用いる一応用例を以下に説明する。
【００６３】
車両に代表される移動体周辺の情報を、上記実施形態の画像撮影装置１０によって高感度化された画像を用いて取得する。
【００６４】
高速度画像取得部１から画像出力部５を車両に代表される移動体に搭載し、移動体周辺の高速度画像を取得し、高感度化する。画像出力部５から出力される画像を移動体に搭載された画像処理装置を内蔵した制御装置に入力し、障害物等の周辺情報を画像処理により取得する。
【００６５】
画像撮影装置１０が、道路上を走る自動車の前方を監視している場合、道路上へ飛び出してくる歩行者、対向車、先行車両等が、後方の画像を撮影している場合、後方から追い越してくる車両等が周辺情報である。
【００６６】
この高速度高感度画像を用いることにより、車両周辺の情報を精度よく得ることが可能となる。まず、１００フレーム／秒から２０００フレーム／秒の高速度で撮影するために、移動速度の早い歩行者、対向車、先行車両の認識を確実に行える。また、高感度であるために、昼間のみならず、例えば、１００フレーム／秒であれば３０ルックス以下の暗い夜間においても、歩行者、対向車、先行車両の認識を確実に行える。
【００６７】
画像撮影装置１０は、これらの情報を得るために車両の速度、ハンドル舵角等の状態を取得し、また、車両の制御や運転者への警告のために画像処理により得られた情報を車両の制御装置に出力することができる情報の入出力部を備えている。
【００６８】
（３）変更例
上記画像撮影装置１０では、高速度で撮影された画像を処理したが、これに代えて、通常のフレームレートである３０フレーム／秒で、１０ルックス以下の光量で撮影された画像でも処理できる。
【００６９】
【発明の効果】
本発明によれば、画像を高速度撮影する場合においても、十分なダイナミックレンジを確保し、従来よりさらにＳＮ比の良い画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】画素値の選択方法の説明図である。
【図３】選択画素の周辺画素の画素値の重み付き和を計算する場合の説明図である。
【図４】平均値を計算した場合の周波数応答の図である。
【図５】ガウス関数を畳み込んだ場合の周波数応答の図である。
【図６】選択画素を最終的に画像として出力する方法の説明図である。
【図７】高感度化された画像の一応用例の説明図である。
【符号の説明】
１　高速度画像取得部
２　画素選択部
３　周辺画素値加算部
４　画素値調整部
５　画像出力部
【図１】
2004021345.tif 000008
【図２】
2004021345.tif 000009
【図３】
2004021345.tif 000010
【図４】
2004021345.tif 000011
【図５】
2004021345.tif 000012
【図６】
2004021345.tif 000013
【図７】
2004021345.tif 000014