(57)【要約】【課題】検出対象物の検出精度を向上させること。【解決手段】受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、環境温度を取得する環境温度取得部と、検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、を備える検出装置。【選択図】図６
2012247225.tif 000002
【特許請求の範囲】
【請求項１】
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
【請求項２】
前記検出対象物を検出しようとする距離が第１の距離の場合には、前記画像の解像度が第１の解像度であり、前記距離が前記第１の距離よりも遠い第２の距離の場合には、前記画像の解像度は前記第１の解像度よりも高い第２の解像度である、請求項１に記載の検出装置。
【請求項３】
前記環境温度毎に設けられるルックアップテーブルにおいて、前記環境温度が第１の温度の場合には、前記赤外線センサーの出力に対する前記階調値は第１の範囲であり、前記環境温度が前記第１の温度よりも高い第２の温度の場合には、前記赤外線センサーの出力に対する前記階調値が前記第１の範囲よりも高い第２の範囲である、請求項１又は２に記載の検出装置。
【請求項４】
前記ルックアップテーブルにおいて、前記赤外線センサーの出力が第１の出力範囲の場合には、前記階調値の増加量は第１の増加量であり、前記赤外線センサーの出力が前記第１の出力範囲よりも大きい第２の出力範囲の場合には、前記階調値の増加量は前記第１の増加量よりも大きい第２の増加量であり、かつ、
前記検出対象物を検出しようとする距離が第３の距離の場合には、前記階調値の増加量は第３の増加量であり、前記距離が前記第３の距離よりも遠い第４の距離の場合には、前記階調値の増加量は前記第３の増加量よりも大きい第４の増加量である、請求項１〜３のいずれかに記載の検出装置。
【請求項５】
前記検出対象物の検出は、前記画像に対する前記探索窓のテンプレートマッチングによって行われる、請求項１〜４のいずれかに記載の検出装置。
【請求項６】
前記演算部によって検出された前記検出対象物を表示する表示部をさらに備え、
前記演算部は、前記複数の画像から前記検出対象物を検出した場合に、前記複数の画像から検出された前記検出対象物を合成した画像を生成し、
前記表示部は、前記合成した画像を表示する、
請求項１〜５のいずれかに記載の検出装置。
【請求項７】
受光した赤外領域の光に応じた量の信号を出力することと、
環境温度を取得することと、
前記環境温度と検出対象物を検出しようとする距離とに対応するルックアップテーブルを参照し、前記赤外領域の光に応じた量の信号を階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像に適用して前記検出対象物を検出することと、
を含む検出方法。
【請求項８】
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して複数の画像を生成し、前記検出対象物を検出しようとする距離に応じたサイズの探索窓を、前記複数の画像に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置及び検出に関する。
【背景技術】
【０００２】
赤外線センサーを用いて人体等の温体を検出する装置の開発が行われている。このような装置は、車両周囲に人体等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
【０００３】
特許文献１には、人体等の温体と、背景としての路面や大気との温度関係と、をもとにして、第１の赤外線センサーからの出力と第２の赤外線センサーからの出力とを選択的に切り替えることが示されている。
【０００４】
特許文献２には、予め赤外線カメラの出力特性を測定し、絶対温度算出式における計算定数を求めておき、この計算定数と雰囲気温度との関係を表すための補正定数を記憶することが示されている。そして、これらに基づいて処理を行って、熱画像及び絶対温度の数値を表示回路に表示することが示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−４８６０号公報
【特許文献２】特開平６−１８６０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の手法を用いた場合、赤外線センサーの選択を適切に行うために、日射センサーや外気温センサー、さらには風速センサー等の外環境情報を取得するセンサーを複数用いるため、回路構成が複雑なものとなる。
【０００７】
また、特許文献２の手法を用いた場合、温体が遠距離に存在する場合の外乱影響が考慮されておらず、検出対象である人体を背景から分離することが困難で、人体の存在を精度良く検知できないという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための主たる発明は、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
【００１０】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における歩行者検知システム１の概略構成を示すブロック図である。
【図２】第１実施形態における歩行者検知システム１における歩行者検出装置の詳細なブロック図である。
【図３】第１実施形態の概略図である。
【図４】歩行者検出処理を説明するフローチャートである。
【図５】画像ピラミッド作成処理を説明するフローチャートである。
【図６】画像ピラミッドの説明図である。
【図７】第１実施形態に用いられるルックアップテーブルの説明図である。
【発明を実施するための形態】
【００１２】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
一般的に、赤外線センサーからの距離に応じて、背景に対する検出対象物の温度の取得精度が異なる。また、環境温度によっても背景に対する検出対象物の温度が異なる。よって、このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
【００１３】
かかる検出装置であって、前記検出対象物を検出しようとする距離が第１の距離の場合には、前記画像の解像度が第１の解像度であり、前記距離が前記第１の距離よりも遠い第２の距離の場合には、前記画像の解像度は前記第１の解像度よりも高い第２の解像度であることが望ましい。
検出対象物を検出しようとする距離が第１の距離よりも遠い第２の距離の場合の方が画像の解像度が高いので、第１の距離に対応する画像と第２の距離に対応する画像とでは、第２の距離のほうが画像に対する探索窓のサイズが相対的に小さくなる。これにより、所定のサイズの探索窓を適用して、遠距離から近距離にかけての検出対象物を検出することができる。
【００１４】
また、前記環境温度毎に設けられるルックアップテーブルにおいて、前記環境温度が第１の温度の場合には、前記赤外線センサーの出力に対する前記階調値は第１の範囲であり、前記環境温度が前記第１の温度よりも高い第２の温度の場合には、前記赤外線センサーの出力に対する前記階調値が前記第１の範囲よりも高い第２の範囲であることが望ましい。
例えば検出対象が人体の場合などには環境温度が高いと背景と検出対象物との温度差がつきにくい。よって、環境温度が第１の温度の場合には階調値が第１の範囲であり、環境温度が第１の温度よりも高い第２の温度の場合には階調値第１の範囲よりも高い第２の範囲とすることで、変換後における背景と検出対象物との差があらわれやすくすることができる。
【００１５】
また、前記ルックアップテーブルにおいて、前記赤外線センサーの出力が第１の出力範囲の場合には、前記階調値の増加量は第１の増加量であり、前記赤外線センサーの出力が前記第１の出力範囲よりも大きい第２の出力範囲の場合には、前記階調値の増加量は前記第１の増加量よりも大きい第２の増加量であり、かつ、前記検出対象物を検出しようとする距離が第３の距離の場合には、前記階調値の増加量は第３の増加量であり、前記距離が前記第３の距離よりも遠い第４の距離の場合には、前記階調値の増加量は前記第３の増加量よりも大きい第４の増加量であることが望ましい。
一般に、検出対象物の距離が遠いほど周囲の大気の揺らぎなどにより背景温度と検出対象物との温度差があらわれにくくなる。よって、赤外線センサーの出力が第１の出力範囲の場合には、階調値の増加量は第１の増加量であり、赤外線センサーの出力が第１の出力範囲よりも大きい第２の出力範囲の場合には、階調値の増加量は第１の増加量よりも大きい第２の増加量であり、かつ、検出対象物を検出しようとする距離が第３の距離の場合には、階調値の増加量は第３の増加量であり、距離が第３の距離よりも遠い第４の距離の場合には、階調値の増加量は第３の増加量よりも大きい第４の増加量とすることで、距離が離れている場合であっても、背景温度と検出対象物の温度との差が表れやすいように階調値への変換を行うことができる。
【００１６】
また、前記検出対象物の検出は、前記画像に対する前記探索窓のテンプレートマッチングによって行われることが望ましい。
検出対象物の距離に応じたサイズに画像の解像度を変更した場合において、探索窓のサイズを変更することなくテンプレートマッチングにより検出対象物を検出することができる。
【００１７】
また、前記演算部によって検出された前記検出対象物を表示する表示部をさらに備え、前記演算部は、前記複数の画像から前記検出対象物を検出した場合に、前記複数の画像から検出された前記検出対象物を合成した画像を生成し、前記表示部は、前記合成した画像を表示する、ことが望ましい。
このようにすることで、遠距離で検出された検出対象物と近距離で検出された検出対象物とを適切に表示部に表示することができる。
【００１８】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力することと、
環境温度を取得することと、
前記環境温度と検出対象物を検出しようとする距離とに対応するルックアップテーブルを参照し、前記赤外領域の光に応じた量の信号を階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像に適用して前記検出対象物を検出することと、
を含む検出方法である。
このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
【００１９】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して複数の画像を生成し、前記検出対象物を検出しようとする距離に応じたサイズの探索窓を、前記複数の画像に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
このように、環境温度と距離とに応じて赤外線センサーの出力を変換した階調値に変換した画像に、検出対象物を検出しようとする距離に応じたサイズの探索窓を適用することによっても、検出対象物の検出精度を向上させることができる。
【００２０】
＝＝＝第１実施形態＝＝＝
図１は、第１実施形態における歩行者検知システム１（検出装置）の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図１には、赤外線カメラ１０と歩行者検知装置２０とディスプレイ３０が示されている。
【００２１】
赤外線カメラ１０（赤外線センサーに相当）は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を歩行者検知装置２０に送信する。ここで、中赤外線は２．５μｍ〜４．０μｍの波長、遠赤外線は、４μｍ〜１０００μｍの波長を有する光である。第１実施形態では、８〜１４μｍの波長を用いて体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればよい。赤外線カメラ１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１０を搭載した車両、本実施形態では赤外線カメラ１０と歩行者検知装置２０とディスプレイ３０の全てが搭載されている）から前方方向の環境を撮影する。
【００２２】
歩行者検知装置２０は、画像処理ボード２０１と、中央演算装置（ＣＰＵ）等の処理部２０２と、ランダムアクセスメモリー（ＲＡＭ）などの記憶部２０３を含む。そして、後述するような処理により、これら画像処理ボード２０１と処理部２０２と記憶部２０３が協働して動作し、ディスプレイ３０に表示するデータを生成する。ディスプレイ３０は、生成されたデータに基づく情報を表示する。
【００２３】
温度センサー４０は、車両に搭載され、車両の周辺温度（環境温度に相当）を取得する。なお、この周辺温度は、前述の赤外線カメラ１０から出力されるデジタル信号に基づいて取得されるようにすれば、温度センサー４０を設けない構成とすることもできる。
【００２４】
図２は、第１実施形態における歩行者検知システム１における歩行者検知装置２０の詳細なブロック図である。赤外線カメラ１０は、撮像部１１とアナログデジタル変換部（Ａ／Ｄ変換部）１２を含む。撮像部１１は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を出力する。Ａ／Ｄ変換部１２は、撮像部１１で得られたアナログ信号をデジタル信号に変換する機能を有する。
【００２５】
歩行者検知装置２０は、画像格納部２１と、特徴量抽出部２２と、歩行者判定部２３と、表示制御部２４と、歩行者テーブル格納部２５を含む。これらの各部は、上述の画像処理ボード２０１と、ＣＰＵ２０２と、ＲＡＭ２０３により実現されている。
【００２６】
画像格納部２１は、撮像部１１から得られた映像（例えば、１５ｆｐｓの映像）から、１画像ずつ順次処理するために、赤外線カメラ１０から取得したデジタル信号を一時的に保管する。特徴量抽出部２２は、画像格納部２１に格納されたデジタル信号を順次読み込み、後述するルックアップテーブルを参照して複数の階調値からなる画像（以下、変換画像）へと変換する。そして、この変換画像に基づいて特徴量を抽出する処理を行う。特徴量としては、例えば、歩行者を検出することを前提とした場合、予め歩行者のテンプレート画像を保持しておき、そのテンプレート画像の階調値と変換画像の階調値との階調値（濃度）差分を算出した値を特徴量として扱うことができる。
【００２７】
歩行者判定部２３は、特徴量抽出部２２の処理により得られた特徴量と、歩行者テーブルのデータテーブル値とを比較して、対象領域が歩行者であるか否かについて判定する。上記のようなテンプレートを用いて検出を行う場合において、上記の階調値差分の値が閾値以下の場合には、歩行者として判定する。一方、階調値差分の値が閾値より大きい場合は、歩行者ではないものとして判定を行う。なお、この閾値は、実験的に予め求められるものである。
【００２８】
歩行者テーブル格納部２５は、前述の特徴量抽出部２２及び歩行者判定部２３で用いられるデータを記憶する。例えば、前述のようにテンプレートを用いる場合には、歩行者などの複数のテンプレート画像を記憶する。
【００２９】
表示制御部２４は、歩行者判定部２３における判定結果を運転者に伝えるために、表示部３１への描画画像を作成する。例えば、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために表示部３１をフラッシュさせたりする。
【００３０】
図３は、第１実施形態の概略図である。図４は、歩行者検出処理を説明するフローチャートである。以下、これらの図を参照しつつ、歩行者検出処理について説明を行う。第１実施形態における歩行者検出処理は、赤外線センサーの出力に基づいて階調を有する画像を作成することで、検出対象の歩行者の表面温度とその背景との温度差に基づいて歩行者を検出する処理である。
【００３１】
検出対象物から放射される赤外線に応じた出力を赤外線カメラ１０から取得する（Ｓ１０２）。次に、温度センサー４０によって、車両の周辺温度が計測される（Ｓ１０４）この車両の周辺温度は、前述のように赤外線カメラ１０からの出力に基づいて類推するものとしてもよい。
【００３２】
そして、ステップＳ１０２において取得された赤外線センサー出力と、ステップＳ１０４において取得された周辺温度と、に基づいて後述する複数の画像からなる画像ピラミッドを作成する（Ｓ１０６）。
【００３３】
図５は、画像ピラミッド作成処理を説明するフローチャートである。図６は、画像ピラミッドの説明図である。画像ピラミッドとは、サイズ（解像度）の異なる画像を作成した結果、図６に示されるように、最もサイズの小さい画像を頂点としたピラミッド状に見えることからこのように略称される。図６には、近距離に対応する変換画像（ａ）と、中距離に対応する変換画像（ｂ）と、遠距離に対応する変換画像（ｃ）が示されている。ここでの距離は、自車両（赤外線カメラ１０）から検出対象物を検出しようとする位置までの距離である。
【００３４】
画像ピラミッド作成処理において、最初に、ステップＳ１０２で得られた赤外線センサーの出力を取得する（Ｓ２０２）。次に、ステップＳ１０４において得られた周辺温度に基づいて、対応する温度のルックアップテーブル（ＬＵＴ）を選択する（Ｓ２０４）。
【００３５】
図７は、第１実施形態に用いられるルックアップテーブルの説明図である。図は、赤外線センサーの出力値に対する階調値の関係を表するグラフである。横軸が赤外線センサーの出力値、縦軸が階調値を表す。また、破線は周辺温度が２０℃のときの階調値を示し、実線は周辺温度が３０℃のときの階調値を示す。なお、ここでは２０℃のものと３０℃のものを例示しているが、これよりも多くのテンプレートが用意される。また、ここでは、近距離（４０ｍ〜８０ｍ）のものと、中距離（８０ｍ〜１００ｍ）のものと、遠距離（１００ｍ〜２００ｍ）のものを示しているが、より細分化されたものを用意することもできる。
【００３６】
図７に示されるように、これらのルックアップテーブルは、環境温度が高いほど赤外線センサーの出力に対する階調値が高くなっている。すなわち、環境温度がある温度（第１の温度）の場合には、赤外線センサーの出力に対する階調値はある範囲（第１の範囲）であり、環境温度が第１の温度よりも高い第２の温度の場合には、赤外線センサーの出力に対する階調値が前記第１の範囲よりも高い第２の範囲である。また、これらルックアップテーブルにおける赤外線センサーの出力と階調値との関係は、赤外線センサーの出力が高いほど階調値の増加量が高くなる関係であり、この増加量は後述する距離が遠いほど高いものになっている。例えば、これらのルックアップテーブルは、階調値をＧとし、赤外線センサーの出力値（距離に対応する値）をｄとしたとき、
Ｇ（ｄ）＝Ｂ０＋Ｂ１・ｄ＋Ｂ２・ｄ２＋Ｂ３・ｄ３＋Ｂ４・ｄ４
但し、Ｂ０〜Ｂ４は距離別または温度別に決められた定数
のような多項式で表すことができる。本実施形態においては、Ｂ０〜Ｂ４は距離と温度の両方に基づいて定められている。すなわち、赤外線センサーの出力が第１の出力範囲の場合には、階調値の増加量は第１の増加量であり、赤外線センサーの出力が第１の出力範囲よりも大きい第２の出力範囲の場合には、階調値の増加量は第１の増加量よりも大きい第２の増加量であり、かつ、検出対象物を検出しようとする距離が第３の距離の場合には、階調値の増加量は第３の増加量であり、距離が前記第３の距離よりも遠い第４の距離の場合には、階調値の増加量は第３の増加量よりも大きい第４の増加量である。
【００３７】
ステップＳ２０４において、例えば周辺温度が２０℃として得られていたとき、図７に示されるルックアップテーブルのうち、破線で表した２０℃のものが選択されることになる。
【００３８】
次に、画像サイズの初期化を行う（Ｓ２０６）。画像サイズの初期化は、後に作成される複数の変換画像の画像サイズを決定する処理である。画像サイズの決定は、縦横のピクセル数を決定することにより行われる。
【００３９】
この決定は、近距離（例えば、４０ｍ〜８０ｍ）の歩行者を検出対象とした場合、テンプレートマッチングで用いられる探索窓Ｗのサイズ（縦横のピクセル数）が近距離における歩行者のサイズ（縦横のピクセル数）とほぼ同じになるように行われる。例えば、赤外線カメラが出力する画像と同じサイズ（ＱＶＧＡ３２０×２４０ｐｉｘｅｌ相当）の縦横のピクセル数を、近距離における変換画像サイズとする。
【００４０】
また、この決定は、中距離（例えば、８０ｍ〜１００ｍ）の歩行者を検出対象とした場合、テンプレートマッチングで用いられる探索窓Ｗのサイズ（縦横のピクセル数）が中距離における歩行者のサイズ(縦横のピクセル数）とほぼ同じになるように行われる。例えば、赤外線カメラが出力する画像の４倍（面積比）のサイズ（ＶＧＡ６４０×４８０ｐｉｘｅｌ相当）の縦横のピクセル数を、中距離における変換画像サイズとする。すなわち、検出対象物を検出しようとする距離が第１の距離の場合には、画像の解像度が第１の解像度であり、距離が第１の距離よりも遠い第２の距離の場合には、画像の解像度は第１の解像度よりも高い第２の解像度である。
【００４１】
次に、変換画像サイズに対応するルックアップテーブル（ＬＵＴ）を選択する（Ｓ２０８）。このルックアップテーブルの選択は、ステップＳ２０４において既に選択された２０℃に対応する複数のルックアップテーブルから、変換画像サイズに対応する距離に対応するルックアップテーブルを選択する。例えば、上述のＱＶＧＡサイズ（近距離（４０ｍ〜８０ｍ）に対応している）の画像を作成するときにおいて、図７における２０℃かつ近距離のルックアップテーブルが選択されることになる。また、上述のＶＧＡサイズ（中距離（１００ｍ〜２００ｍ）に対応している）の画像を作成するときにおいて、図７における２０℃かつ中距離のルックアップテーブルが選択されることになる。
【００４２】
このようにして選択したルックアップテーブルを参照し、赤外線カメラの出力に対応する階調値を取得し（Ｓ２１０）、画像（ここでは、まだ全てＱＶＧＡサイズの画像）を生成する。
【００４３】
次に、ステップＳ２１０において得られた階調値からなる画像を、ステップＳ２０６で決定した画像サイズに変換する（Ｓ２１２）。例えば、ステップＳ２１０で得られた元画像サイズがＱＶＧＡ（３２０×２４０ｐｉｘｅｌ）であるから、中距離用の画像サイズＶＧＡ（６４０×４８０ｐｉｘｅｌ相当）に変換する場合、縦横それぞれ２倍に拡大する。画像を拡大する処理アルゴリズムとしては、バイリニア法による補間を用いることができるが、これに限られず、バイキュービック法による補間を用いてもよい。このようにして変換された画像は、メモリ（記憶部２０３）に記憶される。
【００４４】
次に、画像ピラミッドに必要な画像サイズを全て作成したか否かを判定する（Ｓ２１４）。例えば、近距離用の変換画像、中距離用の変換画像、及び、遠距離用の変換画像の全てを作成したか否かを判定する。そして、全て作成したと判定した場合（Ｓ２１４がＹＥＳ）には、本処理を終了し、全ての作成を完了していないと判定した場合（Ｓ２１４がＮＯ）には、ステップＳ２０６へと進み、次の変換画像を作成する。
【００４５】
このようにして、画像ピラミッド作成処理が完了すると、次に、歩行者判定処理が行われる（Ｓ１０８）。歩行者判定処理は、ステップＳ１０６の画像ピラミッド作成処理において得られた複数の変換画像から歩行者を検出する処理である。
【００４６】
ここでは、例えば、テンプレートマッチング手法が用いられる。テンプレートマッチング手法において、画像ピラミッド内の探索窓領域において特徴量値を算出し、データテーブルに予め格納された値と比較する。具体的には、前述のように、探索窓Ｗの画素の階調値と変換画像のうち探索窓Ｗの領域に対応する画素の階調値との差分を求める。そして、この差分の絶対値が、所定の閾値以下の場合には歩行者であると判定する。一方、所定の閾値よりも大きい場合には歩行者ではないと判定する。なお、この所定の閾値は、実験的に予め求められるものである。
【００４７】
このような判定は、図６に示されるように探索窓Ｗを変換画像上で１画素ずつ（又は複数画素分）動かしながら行われる。このようにして、歩行者であると判定された場合、歩行者であると判定したときの探索窓Ｗの変換画像上の位置と、変換画像のサイズを記憶する。このような歩行者検知処理を、全ての画像ピラミッドに対して行う。
【００４８】
次に、歩行者検知結果の描画が行われる（Ｓ１１０）。本実施形態においては、ステップＳ１０８において得られた結果から、歩行者の位置を強調表示する描画画像を用意する。ステップＳ１０８においては、画像サイズの異なる複数の画像のそれぞれについて、検知結果が得られているので、これらの結果を合成した画像を生成する。例えば、遠距離用の変換画像から１人、近距離用の変換画像から１人が検出された場合には、２人の歩行者を強調表示する１枚の画像が生成される。そして、ステップＳ１１０において用意した画像をディスプレイに表示することで、運転者に危険を警告する（Ｓ１１２）。場合によっては、運転支援として、ブレーキをかけることをアシストしたり、視覚補助としてフロントライトがダウンライトになっているのをアップライトにする。
【００４９】
再度、図３を参照する。図３の、「距離別画像生成」では、例示として遠距離用の変換画像と近距離用の変換画像が示されている。遠距離用の変換画像は、遠距離すなわち小さく映った人物を検出するために、遠距離の人物の階調値（濃度）に最適化されたルックアップテーブルを用いて作成された。その結果、遠距離用の画像に写る近距離の人物は黒つぶれしている。しかしながら、前述のテンプレートマッチングでは、この近距離の人物はそもそも検出対象としていないため問題は生じない。また、近距離用の変換画像は、近距離すなわち大きく映った人物を検出するために、近距離の人物の階調値（濃度）に最適化されたルックアップテーブルを用いて作成された。その結果、近距離用の画像に写る遠距離の人物は白飛び（破線で表される）している。しかしながら、前述のテンプレートマッチングでは、この遠距離の人物はそもそも検出対象としていないため問題は生じない。
【００５０】
第１実施形態では、このようにして得られた画像に対してそれぞれテンプレートマッチングを行って、最終的に結果を合成して表示することとしている。このようにすることで、車両運転手に対して、歩行者等の視認性を高めることができ、車両前方に人物が存在する場合に、その旨を運転手に適切に認識させることができる。また、周囲温度によって、赤外線カメラの出力特性が変化した場合であっても、近距離及び遠距離の検出対象物の正確な検出処理が可能となる。
【００５１】
＝＝＝第２実施形態＝＝＝
前述の第１実施形態では、探索窓Ｗのサイズは一定として、複数のサイズの変換画像を作成することでテンプレートマッチングを行っていたが、検出方法はこれに限られない。例えば、変換画像のサイズを一定にしつつ、探索窓Ｗのサイズを距離に応じて変更することとしてもよい。この場合、前述のステップＳ２０６とステップＳ２１２は省略される。そして、人物に対応する探索窓Ｗが、距離に応じて複数のサイズで用意されることになる。
【００５２】
このようにすることによっても、複数の画像のぞれぞれは、検出対象物の距離に最適なルックアップテーブルを用いて作成されているので、近距離および遠距離の検出対象物の正確な検出処理が可能となる。
【符号の説明】
【００５３】
１  歩行者検知システム、
１０  赤外線カメラ、１１  撮像部、１２  Ａ／Ｄ変換部、
２０  歩行者検知装置、２１  画像格納部、２２  特徴量抽出部、
２３  歩行者判定部、２４  表示制御部、２５  歩行者テーブル格納部、
３０  ディスプレイ、３１  表示部、
２０１  画像処理ボード、２０２  処理部、２０３  記憶部
【図１】
2012247225.tif 000003
【図２】
2012247225.tif 000004
【図３】
2012247225.tif 000005
【図４】
2012247225.tif 000006
【図５】
2012247225.tif 000007
【図６】
2012247225.tif 000008
【図７】
2012247225.tif 000009