(57)【特許請求の範囲】
【請求項１】
マトリックス状に配列された複数の撮像素子と、
該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出するオフセット補正値算出手段と、
前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出するゲイン補正値算出手段と
を備え、
前記オフセット補正値算出手段及びゲイン補正値算出手段の夫々が算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正して撮像データを取得する遠赤外撮像装置において、
表面温度が略均一であり、前記撮像素子へ入光させる開口を開閉するシャッターと、
該シャッターの表面温度を計測する温度計測手段と、
前記撮像素子ごとに複数の温度夫々に対して、前記オフセット補正値算出手段が算出したオフセット補正値を予め記憶する記憶手段と
を備え、
前記オフセット補正値算出手段は、前記記憶手段が記憶した複数の温度夫々に対するオフセット補正値を照会して、前記温度計測手段が前記シャッターを閉じた状態で計測した前記シャッターの表面温度に対する撮像素子ごとのオフセット補正値を補正するようにしてあること
を特徴とする遠赤外撮像装置。
【請求項２】
前記温度計測手段は、前記シャッターの表面に接触して表面温度を計測するセンサであることを特徴とする請求項１記載の遠赤外撮像装置。
【請求項３】
遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出し、算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する出力値補正方法において、
前記撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、
表面温度が略均一であるシャッターを閉じた状態で該シャッターの表面温度を取得し、
記憶した複数の温度夫々に対するオフセット補正値を照会して、取得した表面温度に対する撮像素子ごとのオフセット補正値を補正すること
を特徴とする出力値補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、夜間に外部を撮像する遠赤外撮像装置の出力輝度値を精度良く補正することができる遠赤外撮像装置及び出力値補正方法に関する。
【背景技術】
【０００２】
自動車等の車両の夜間走行の安全を確保すべく、ナイトビジョン等の遠赤外撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。
【０００３】
例えば左右の遠赤外撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。
【０００４】
遠赤外撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をＡ／Ｄ変換して、デジタル信号として出力する。左右別個に配置された遠赤外装置で撮像する場合、対象物が同一であっても間とする熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外撮像装置の出力値を補正する必要がある。
【０００５】
例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外撮像装置からの出力値を補正している。
【非特許文献１】「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した撮像装置の出力値の補正方法では、絶対温度に対応してオフセット補正値を算出していないことから、同一の輝度値を出力している場合であっても、周囲の環境に応じて歩行者を示す領域である場合もあれば、歩行者を示す領域ではない場合もある。したがって、歩行者の検出精度を高めることが困難であるという問題点があった。
【０００７】
例えば夏季と冬季とでは、周囲環境の温度と歩行者との温度変化率が相違する度合よりも、表面温度の絶対温度が相違する度合が大きい。しかし、従来の方法では、オフセット補正値は、絶対温度とは無関係に算出されていることから、条件によっては歩行者を示す領域の輝度値と周囲領域の輝度値との差異が小さく補正され、歩行者を示す領域を精度良く検出することが困難になるおそれがあった。
【０００８】
また、遠赤外装置の状態は、時間が経過するとともに変化する。特にレンズの経年変化等によって撮像素子で受光する光量は時間とともに減少する傾向にあり、例えば出荷時に所定の温度で所定の輝度値を出力するよう調整していた場合であっても、実際の出力値が絶対温度に対応している保証は無い。一方、所定の温度変化率に対する出力値は、所定の温度に対する出力値に比べて大きく変動することがない。
【０００９】
本発明は、斯かる事情に鑑みてなされたものであり、撮像素子の出力値を絶対温度に対応した値へ補正するようオフセット補正値を算出することにより、撮像素子の出力値から撮像対象物の絶対温度を推定することができる遠赤外撮像装置及び出力値補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出するオフセット補正値算出手段と、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出するゲイン補正値算出手段とを備え、前記オフセット補正値算出手段及びゲイン補正値算出手段の夫々が算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正して撮像データを取得する遠赤外撮像装置において、表面温度が略均一であり、前記撮像素子へ入光させる開口を開閉するシャッターと、該シャッターの表面温度を計測する温度計測手段と、前記撮像素子ごとに複数の温度夫々に対して、前記オフセット補正値算出手段が算出したオフセット補正値を予め記憶する記憶手段とを備え、前記オフセット補正値算出手段は、前記記憶手段が記憶した複数の温度夫々に対するオフセット補正値を照会して、前記温度計測手段が前記シャッターを閉じた状態で計測した前記シャッターの表面温度に対する撮像素子ごとのオフセット補正値を補正するようにしてあることを特徴とする。
【００１２】
また、第２発明に係る遠赤外撮像装置は、第１発明において、前記温度計測手段は、前記シャッターの表面に接触して表面温度を計測するセンサであることを特徴とする。
【００１３】
また、第３発明に係る出力値補正方法は、遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出し、算出したオフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する出力値補正方法において、前記撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、表面温度が略均一であるシャッターを閉じた状態で該シャッターの表面温度を取得し、記憶した複数の温度夫々に対するオフセット補正値を照会して、取得した表面温度に対する撮像素子ごとのオフセット補正値を補正することを特徴とする。
【００１４】
第１発明、及び第３発明では、遠赤外撮像装置にマトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正する。撮像素子ごとに複数の温度夫々に対して算出したオフセット補正値を予め記憶し、表面温度が略均一であるシャッターを閉じた状態でシャッターの表面温度を取得し、記憶した複数の温度夫々に対するオフセット補正値を照会して、取得したシャッターの表面温度に対する撮像素子ごとのオフセット補正値を推定して補正する。これにより、絶対温度に対応してオフセット補正値を補正することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じて撮像してオフセット補正値を補正することにより、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。
【００１６】
第２発明では、温度計測手段は、シャッターの表面に接触して表面温度を計測するセンサである。これにより、安価、小型であり、シャッター表面に容易に取り付けることができ、しかもシャッター表面の温度変化を直接的に検出することができることから、精度良くシャッターの表面温度を計測することができ、オフセット補正値を精度良く算出することが可能となる。
【発明の効果】
【００１７】
第１発明、及び第３発明によれば、絶対温度に対応してオフセット補正値を補正することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じて撮像してオフセット補正値を補正することにより、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。
【００１９】
第２発明によれば、安価、小型であり、シャッター表面に容易に取り付けることができ、しかもシャッター表面の温度変化を直接的に検出することができることから、精度良くシャッターの表面温度を計測することができ、オフセット補正値を精度良く算出することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る遠赤外撮像装置１の構成を示すブロック図である。なお、本実施の形態に係る遠赤外撮像装置１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。
【００２１】
図１において、画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外用の撮像素子としては、マイクロマシニング（micromachining）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴＯ（Barium-Titanium Oxide）の焦電型等の赤外線センサを用いる。
【００２２】
画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図２は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２の構成を示すブロック図である。信号処理部１２は、ＬＳＩ１６が動作を制御するＡ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、及びフラッシュメモリ等の不揮発性メモリ、ＳＲＡＭ等の一時記憶用メモリであるＲＡＭ１２５で構成されている。
【００２３】
信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。
【００２４】
ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの出力輝度値をＶijとした場合、ＮＵＣ処理部では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’ijへ補正する。
【００２５】
【数１】
0004742883.tif 000002
【００２６】
（数１）において、Ｇijはゲイン補正値を、Ｏijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。
【００２７】
本実施の形態では、表面の温度分布が略均一である板状のシャッター３２を対物レンズ３１と画像撮像部１１との間に開閉することが可能に設けてあり、シャッター３２が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図１では、機械式のプレーンシャッターを例に挙げてしているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。
【００２８】
オフセット補正値により、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう補正するためには、シャッター３２の表面の絶対温度を取得し、対応する輝度値を出力するようオフセット補正値を算出する必要がある。そこで、本実施の形態では、シャッター３２の表面温度を検出する手段として、シャッター３２の表面に接触して表面温度を計測する接触型温度センサ３３、例えばサーミスタ、半導体温度センサ、熱電対等をシャッター３２の画像撮像部１１側の表面に取り付けてある。図３は、本発明の実施の形態に係る遠赤外撮像装置１の接触型温度センサ３３として用いるサーミスタ３３ａの構成を示す模式図である。
【００２９】
本実施の形態に係るサーミスタ３３ａは、いわゆるチップ型と呼ばれる略直方体形状を有しており、セラミック半導体３３１を積層して、内部に内部電極３３２を各階層間に挟持してある。内部電極は、図示しない中間電極を介して外部電極３３３と接続されており、外部電圧を印加することで電流が流れる。シャッター３２の表面には、外部電極３３３の両側面を半田付けし、シャッター３２の温度変化に応じてセラミック半導体３３１の抵抗値が変動する。該抵抗値の変動に応じて、内部を流れる電流値が変動する。したがって、電流値の変動を追従することにより、精度の高い温度計測手段として機能させることが可能となる。サーミスタ３３ａで検出した温度に応じた電流値は、温度信号として信号処理部１２へ送信される。
【００３０】
またサーミスタ３３ａの代わりに半導体温度センサ３３ｂを用いても良い。半導体温度センサ３３ｂは、内部にトランジスタを備えており、ベース−エミッタ間の電圧Ｖbeが周囲の温度に対して略直線的に変化する特性を利用したものである。すなわち、温度と半導体温度センサ３３ｂの出力電圧とは一次比例の関係にあり、外付けの抵抗を必要とすることなく半導体温度センサ３３ｂから直接出力することができる。これにより、より取り付けが容易で、シャッター３２の表面温度をより正確に検出することが可能となる。
【００３１】
信号処理部１２のＬＳＩ１６は、シャッター３２が閉じられた状態での表面温度及び出力輝度値を取得し、取得した表面温度及び撮像素子ごとの出力輝度値に基づいてオフセット補正値及びゲイン補正値を算出する。算出したオフセット補正値及びゲイン補正値は、ＲＡＭ１２５に記憶しておき、ＮＵＣ処理部１２２は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。
【００３２】
なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、ＬＳＩ１６は、ＢＰＲ（Bad-Pixel Replacement）処理部１２３にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。撮像素子ごとに補正された出力値は、画像データとして画像メモリ１３へ記憶される。
【００３３】
通信インタフェース部１４は、ＬＳＩ基板であり、通信ケーブル等の通信線２を介して外部の装置から受信した指令に従って、画像メモリ１３に記憶された画像データの外部の装置への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのデータのフォーマット変換等を行う。
【００３４】
以下、信号処理部１２のＬＳＩ１６でのキャリブレーション処理について説明する。図４は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２のＬＳＩ１６のキャリブレーション処理の手順を示すフローチャートである。
【００３５】
遠赤外撮像装置１の画像撮像部１１は、温度分布が均一であるシャッター３２を撮像し、撮像素子ごとの出力値が信号処理部１２へ送信される。信号処理部１２のＬＳＩ１６は、画像撮像部１１から撮像素子ごとの輝度信号を受信し（ステップＳ４０１）、デジタル信号Ｖijへ変換する（ステップＳ４０２）。また、接触型温度センサ３３からシャッター３２の表面温度を取得する（ステップＳ４０３）。
【００３６】
ＬＳＩ１６は、所定の撮像素子、例えば接触型温度センサ３３の取り付け位置近傍の撮像素子のデジタル化された輝度値Ｖijを基準輝度値として、全ての輝度値が基準輝度値となるようゲイン補正値及びオフセット補正値を撮像素子ごとに算出し（ステップＳ４０４）、シャッター３２の表面温度と対応付けてＲＡＭ１２５に記憶する（ステップＳ４０５）。すなわち、キャリブレーション実行時のシャッター３２の表面温度を基準温度とし、基準温度でのゲイン補正値及びオフセット補正値を算出することになる。
【００３７】
実際の撮像時には、ＬＳＩ１６は、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値を用いて、画像撮像部１１で撮像された輝度信号は補正される。しかし、ＲＡＭ１２５に記憶されているのは基準温度に基づいて算出されたゲイン補正値及びオフセット補正値であり、基準温度と撮像時のシャッター３２の表面温度とが一般に相違することから、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値をそのまま使用することはできない。
【００３８】
ここで、オフセット補正値は、絶対温度であるシャッター３２のキャリブレーション実行時の表面温度に対応して算出されており、撮像時のシャッター３２の表面温度との差に応じて補正することにより、絶対温度に対する出力輝度値を正しく出力するよう補正することができる。一方、温度変化率に対する出力値を補正するゲイン補正値は、シャッター３２の表面温度の変化に対して大きく変動することがないので、オフセット補正値のように随時キャリブレーションを実行して補正する必要性に乏しい。
【００３９】
そこで、本実施の形態に係る遠赤外撮像装置１の撮像に際し、シャッター３２を閉じて簡便なキャリブレーションを実行することにより、オフセット補正値を推定して補正する。図５は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２のＬＳＩ１６のオフセット補正値の補正処理の手順を示すフローチャートである。
【００４０】
遠赤外撮像装置１は、撮像素子ごとの出力値を信号処理部１２へ送信する。信号処理部１２のＬＳＩ１６は、画像撮像部１１からの撮像素子ごとの輝度信号を受信し（ステップＳ５０１）、デジタル信号Ｖijへ変換する（ステップＳ５０２）。
【００４１】
ＬＳＩ１６は、ＲＡＭ１２５に記憶してあるゲイン補正値及びオフセット補正値を撮像素子ごとに読み出す（ステップＳ５０３）。またＬＳＩ１６は、接触型温度センサ３３からシャッター３２の表面温度を取得し（ステップＳ５０４）、取得した表面温度に基づいて、読み出した撮像素子ごとのオフセット補正値を補正する（ステップＳ５０５）。
【００４２】
取得した表面温度に対応したオフセット補正値は、基準温度に対応したオフセット補正値を複数記憶しておき、取得した表面温度に応じて線形補間することにより推定する。オフセット補正値の補正方法は、特にこれに限定されるものではなく、例えば複数の温度に対するキャリブレーション結果に基づいて線形関数を事前に求めておき、取得した表面温度を変数として算出してもよい。
【００４３】
ＬＳＩ１６は、抽出したゲイン補正値及び算出したオフセット補正値を用いて撮像素子ごとの輝度値Ｖijを出力輝度値Ｖ’ijへ補正し（ステップＳ５０６）、画像メモリ１３へ記憶する（ステップＳ５０７）。通信インタフェース部１４は、外部の装置から送出される指令に従って、画像メモリ１３に記憶された画像データを外部の装置へ送出するためのパケットデータを生成して、外部の装置へ送出する。
【００４４】
本実施の形態にかかる遠赤外撮像装置１からの出力値は、上述した処理を経ることにより、絶対温度に対応した輝度値となっている。すなわち、出力された輝度値に基づいて、撮像した対象物の表面温度の絶対値を容易に推定することが可能となる。したがって、本実施の形態に係る遠赤外撮像装置１を、例えば障害物検出システムに適用した場合、検出された障害物の表面温度の絶対値に基づいて、人間であるか否か、原動機が存在するか否か等を判断することができ、障害物の種類をより正確に特定することが可能となる。
【００４５】
以上のように本実施の形態によれば、絶対温度に対応してオフセット補正値を算出することができ、輝度値に基づいて撮像対象物の絶対温度を容易に推定することができる。例えば所定の時間間隔、撮像開始前等にシャッターを閉じてキャリブレーションを実行することにより、オフセット補正値を絶対温度に対応付けて補正することができ、長期に渡り出力値を絶対温度に対応付けて出力することが可能となる。
【００４６】
なお、上述した実施の形態では、遠赤外撮像装置１の信号処理部１２のＬＳＩ１６が上述した処理を行っているが、後続の処理、例えば障害物検出処理、衝突判定処理等を行う演算装置のＭＰＵ、ＣＰＵ等が実行しても良い。
【００４７】
また、本実施の形態では、遠赤外撮像装置１の撮像開始前にシャッター３２を閉じてキャリブレーションを実行しているが、キャリブレーションを実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとにキャリブレーションを実行して、オフセット補正値を補正しても良い。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態に係る遠赤外撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る遠赤外撮像装置の信号処理部の構成を示すブロック図である。
【図３】本発明の実施の形態に係る遠赤外撮像装置のサーミスタの構成を示す模式図である。
【図４】本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのキャリブレーション処理の手順を示すフローチャートである。
【図５】本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのオフセット補正値の補正処理の手順を示すフローチャートである。
【符号の説明】
【００４９】
１  遠赤外撮像装置
２  通信線
１１  画像撮像部
１２  信号処理部
１３  画像メモリ
１４  通信インタフェース部
１５  内部バス
１６  ＬＳＩ
３３  接触型温度センサ
３３ａ  サーミスタ
３３ｂ  半導体温度センサ
１２１  Ａ／Ｄ変換部
１２２  ＮＵＣ処理部
１２３  ＢＰＲ処理部
１２５  ＲＡＭ
【図１】
0004742883.tif 000003
【図２】
0004742883.tif 000004
【図３】
0004742883.tif 000005
【図４】
0004742883.tif 000006
【図５】
0004742883.tif 000007