(57)【要約】【課題】検出対象となる障害物の特徴領域を撮像された画像の上部に集中させることで、障害物検出精度を高めつつ、障害物検出時間を短縮することができる障害物検出システムを提供する。【解決手段】撮像装置を、車両への取り付け高さｈc （ｍ）が１．０≦ｈc ≦２．５である場合、下方への傾斜角度θ（度）が２．０×ｈc −２≦θ≦１．８×ｈc ＋１となるように取り付けてある。該撮像装置で撮像した画像データを取得し、取得した画像から抽出された特徴領域のうち、画像の上部にて抽出された特徴領域に基づいて、障害物の存在を検出する。【選択図】図５
2008037365.tif 000002
【特許請求の範囲】
【請求項１】
車両への取り付け高さｈc （ｍ）が１．０≦ｈc ≦２．５である場合、下方への傾斜角度θ（度）が２．０×ｈc −２≦θ≦１．８×ｈc ＋１となるように取り付けてある、車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得する取得手段と、
取得した画像データに基づいて障害物を検出する検出手段と
を備えることを特徴とする障害物検出システム。
【請求項２】
前記検出手段は、
取得した画像の特徴領域を抽出し、抽出された特徴領域のうち画像の上部にて抽出された特徴領域に基づいて、障害物の存在を検出するようにしてあることを特徴とする請求項１記載の障害物検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システムに関する。
【背景技術】
【０００２】
自動車等の車両に、周辺を撮像する撮像装置を搭載して、例えば車両前方の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。撮像装置としては、可視光撮像装置の他、夜間にも障害物の検出が可能となるように近赤外線を用いる近赤外線撮像装置、遠赤外線を用いる遠赤外線撮像装置等が搭載されている。
【０００３】
例えば非特許文献１には、遠赤外線撮像装置を用いた障害物検出システムが開示されている。非特許文献１では、撮像した画像に対してノイズ除去処理、及び二値化処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに道路を示す領域を抽出することにより、障害物候補領域を拡張することができ、該障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している。
【非特許文献１】H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の障害物検出システムでは、撮像装置を車両の車両前方の中央近傍のフロントグリル内に搭載するものがほとんどである。したがって、撮像装置で撮像された画像に映る障害物は、大きさ、距離に応じて画像内の様々な位置に散在する。つまり、撮像された画像全体から障害物を示す特徴領域を抽出する必要があり、演算処理負荷を低減することができない。
【０００５】
車両走行の安全上特に検出精度の高さが要求される歩行者の検出においては、画像全体から歩行者を示す特徴領域、例えば歩行者の特徴領域として顕著である頭部を示す領域を歩行者候補領域として検出する必要がある。画像全体から歩行者の頭部を示す領域を検出する場合には、余分な歩行者候補領域、すなわち歩行者ではない特徴領域を頭部を示す領域であると誤認識して抽出する可能性が高い。よって、歩行者の検出精度を高めるためには、後処理にて歩行者であるか否かをさらに判断する処理を追加する必要が有り、全体として歩行者を検出する時間を短縮することが困難であるという問題点があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、検出対象となる障害物の特徴領域を撮像された画像の上部に集中させることで、障害物検出精度を高めつつ、障害物検出時間を短縮することができる障害物検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る障害物検出システムは、車両への取り付け高さｈc （ｍ）が１．０≦ｈc ≦２．５である場合、下方への傾斜角度θ（度）が２．０×ｈc −２≦θ≦１．８×ｈc ＋１となるように取り付けてある、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得する取得手段と、取得した画像データに基づいて障害物を検出する検出手段とを備えることを特徴とする。
【０００８】
第２発明に係る障害物検出システムは、第１発明において、前記検出手段は、取得した画像の特徴領域を抽出し、抽出された特徴領域のうち画像の上部にて抽出された特徴領域に基づいて、障害物の存在を検出するようにしてあることを特徴とする。
【０００９】
第１発明では、車両への取り付け高さｈc （ｍ）が１．０≦ｈc ≦２．５である場合、下方への傾斜角度θ（度）が２．０×ｈc −２≦θ≦１．８×ｈc ＋１となるように取り付けてある。そして、撮像装置で撮像した画像データを取得し、取得した画像データに基づいて障害物を検出する。このように車両の上部に撮像装置を取り付けて下方を見下ろすように撮像することにより、例えば障害物の上部を示す特徴領域が、撮像装置で撮像された画像の上半分に集中する。したがって、撮像された画像の上半分についてのみ障害物検出処理を実行すれば足り、全体として障害物を検出する時間を短縮することが可能となる。また、画像の一部分に特徴領域を集中させることができ、他の類似する特徴領域を障害物として誤認識する可能性が低くなり、障害物の検出精度を高めることが可能となる。
【００１０】
第２発明では、撮像装置で撮像した画像の特徴領域を抽出し、抽出された特徴領域のうち画像の上部にて抽出された特徴領域に基づいて、障害物の存在を検出する。これにより、画像全体から特徴領域を抽出するよりも演算処理負荷を軽減することができ、全体として障害物を検出する時間を短縮することが可能となる。
【発明の効果】
【００１１】
本発明によれば、撮像された画像の上半分についてのみ障害物検出処理を実行すれば足り、全体として障害物を検出する時間を短縮することが可能となる。また、画像の一部分に特徴領域を集中させることができ、他の類似する特徴領域を障害物として誤認識する可能性が低くなり、障害物の検出精度を高めることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に障害物、特に歩行者の存在を検出する場合を例として説明する。
【００１３】
図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方のフロントウインドウ上部に搭載している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。なお、遠赤外線撮像装置１を用いることに限定されるものではなく、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である近赤外線撮像装置であっても良いし、昼間の走行中に撮像する場合には可視光撮像装置であっても良い。遠赤外線撮像装置１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。
【００１４】
検出装置３は、遠赤外線撮像装置１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。
【００１５】
図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いてい
る。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。
【００１６】
信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。
【００１７】
映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。
【００１８】
図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００１９】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。
【００２０】
画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１、１から取得した画像データに基づいて、障害物である歩行者等の候補領域である障害物候補領域を特定する。ＬＳＩ３３は、特定された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
【００２１】
遠赤外線撮像装置１、１は、可能な限り車両の上部に取り付ける。図４は、本発明の実施の形態に係る障害物検出システムで用いる遠赤外線撮像装置１、１の取り付け状態を示す車両のフロントウインドウ部分の遠赤外線撮像装置１、１の光軸を含む側断面図である。遠赤外線撮像装置１、１は、固定部材４４により撮像方向を水平方向から下向きに所定の角度θで、車両の天井部分４１に固定してある。フロントウインドウ４２の上部には、遠赤外線撮像装置１、１のレンズ部分と一体化した撮影用孔部４３を設けてあり、フロントウインドウ４２へ当たる雨風の内部への進入を遮断しつつ、遠赤外光が直接遠赤外線撮像装置１、１へ到達するようにしてある。
【００２２】
以下、遠赤外線撮像装置１の取り付け位置と検出対象となる障害物との関係について図面を参照しながら説明する。図５は、車両の上部に取り付けられた遠赤外線撮像装置１から、検出対象となる障害物、例えば歩行者の頭部Ｐを臨む場合の位置関係を示す図である。
【００２３】
遠赤外線撮像装置１は、地上高ｈc（ｍ）に取り付けられており、一般の乗用車の車高を想定した場合、歩行者の頭部Ｐよりも低い位置に取り付けられる。したがって、歩行者５１の頭部Ｐを臨む光は画像５２のＱに写像される。この場合、遠赤外線撮像装置１の焦点距離ｆ（ｍｍ）における画像中央からの座標値ｙ（ｍｍ）として、写像された歩行者の頭部Ｐの位置を特定することができる。
【００２４】
まず、歩行者５１までの距離をｚ（ｍ）、歩行者５１の高さをｈ（ｍ）、遠赤外線撮像
装置１の取り付け位置の地上高をｈc（ｍ）とした場合、遠赤外線装置１から歩行者５１の頭部Ｐまでの直線距離ｌは、（数１）によって算出することができる。
【００２５】
【数１】
2008037365.tif 000003
【００２６】
遠赤外線撮像装置１から歩行者５１の頭部Ｐを見上げる角度θ0 （ｒａｄ）は、（数２）で表すことができる。
【００２７】
【数２】
2008037365.tif 000004
【００２８】
図６は、遠赤外線撮像装置１が下向きに角度θだけ傾斜して取り付けられている場合の、歩行者の頭部Ｐの遠赤外線撮像装置１の見かけ上の位置の変動を示す図である。遠赤外線撮像装置１が水平ではなく、下向きに角度θ（ｒａｄ）だけ傾斜して取り付けられている場合、歩行者の頭部Ｐの遠赤外線撮像装置１の取り付け位置からの高さ（ｈ−ｈc）は、見かけ上ｈｖとなる。すなわち、見かけ高さｈV（ｍ）は、（数１）、（数２）に基づいて、（数３）に示すように求めることができる。
【００２９】
【数３】
2008037365.tif 000005
【００３０】
図５から明らかなように、歩行者５１までの距離ｚ（ｍ）と、歩行者５１の高さｈ（ｍ）から遠赤外線撮像装置１の取り付け位置の地上高をｈc（ｍ）を減じた（ｈ−ｈc）との関係は、遠赤外線撮像装置１の焦点距離ｆ（ｍｍ）と、写像された歩行者の頭部Ｐの画像中央からのｙ軸方向の座標値ｙ（ｍｍ）との関係と一致している。したがって、写像された歩行者の頭部Ｐの画像中央からのｙ軸方向の座標値ｙ（ｍｍ）は、（数４）により算出することができる。
【００３１】
【数４】
2008037365.tif 000006
【００３２】
遠赤外線撮像装置１の画素ピッチをｇ（ｍｍ）とした場合、写像された歩行者の頭部Ｐの画像中央からのｙ軸方向の座標値ｙ（ｍｍ）を画素ピッチｇ（ｍｍ）で除算することで
、写像された歩行者の頭部Ｐの画像中央からのｙ軸方向の画素数（ピクセル数）を算出することができる。図７は、所定の条件下での歩行者の頭部Ｐが写像された画像中央からのｙ軸方向の画素数ｙを試算した結果を示す図である。
【００３３】
図７では、遠赤外線撮像装置１の取り付け位置の地上高さｈcを１．０（ｍ）から２．５（ｍ）まで０．５（ｍ）刻みで設定し、撮像対象となる障害物の高さｈが１．０（ｍ）又は１．７（ｍ）である場合に、撮像対象物までの距離ｚが３０（ｍ）又は９０（ｍ）であるときの遠赤外線撮像装置１の取り付け傾斜角度θを算出している。なお、遠赤外線撮像装置１の画素ピッチｇに対する遠赤外線撮像装置１の焦点距離ｆ（ｍｍ）の比率を１２５０と固定している。画素数ｙは障害物上端部の画面上部での画素数である。
【００３４】
図７からも明らかなように、障害物までの距離が大きく変動しているにもかかわらず、遠赤外線撮像装置１の取り付け角度が、撮像対象物に対して下方に傾斜している場合には、撮像対象物の上端部の画素数ｙは６０前後に集中している。したがって、遠赤外線撮像装置１の取り付け位置を車両の上部とし、下方を見下ろすように画像を撮像することにより、撮像された障害物、特に安全確保の観点から重要である歩行者の頭部等は、画像中央より上方に集中させることができる。
【００３５】
検出装置３のＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１から取得した画像データを読み出し、二値化処理した場合に、設定した頭部検出対象領域にて検出された特徴領域は、歩行者の頭部である可能性が高いものと判断するよう制御プログラムを作成する。このようにすることで、歩行者の検出精度を高めることができ、歩行者以外の障害物を歩行者であると誤認識する確率を低下させることが可能となる。
【００３６】
なお、図８は、撮像対象物の上端部の画素数ｙが６０前後に集中している場合の、遠赤外線撮像装置１の取り付け位置の地上高さｈc（ｍ）と、遠赤外線撮像装置１の取り付け傾斜角度θ（度）との関係を示す図である。図８に示すように、遠赤外線撮像装置１の取り付け位置の地上高さｈc（ｍ）が１．０≦ｈc≦２．５である場合には、傾斜角度θの上限値θmax はθmax＝１．８×ｈc＋１で直線近似することができ、傾斜角度θの下限値θmin はθmin＝２．０×ｈc−２で直線近似することができる。
【００３７】
以上のように本実施の形態によれば、車両の上部に撮像装置を取り付けて下方を見下ろすように撮像することにより、例えば障害物の上部を示す特徴領域が、撮像装置で撮像された画像の上半分に集中する。したがって、撮像された画像の上半分についてのみ障害物検出処理を実行すれば足り、全体として障害物を検出する時間を短縮することが可能となる。また、画像の一部分に特徴領域を集中させることができ、他の類似する特徴領域を障害物として誤認識する可能性が低くなり、障害物の検出精度を高めることが可能となる。
【００３８】
なお、遠赤外線撮像装置１を取り付ける位置は、従来の取り付け位置である車両前方のフロントグリル内に搭載した場合よりも地上高が高ければ同様の効果を奏する。したがって、車両の天井部分に取り付ける構成に限定されるものではなく、例えばヘッドランプカバーの上端部分、サイドドアミラー等に取り付ける構成であっても良い。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る障害物検出システムで用いる遠赤外線撮像装置の取り付け状態を示す車両のフロントウインドウ部分の遠赤外線撮像装置の光軸を含む側断面図である。
【図５】車両の上部に取り付けられた遠赤外線撮像装置から、検出対象となる障害物の頭部を臨む場合の位置関係を示す図である。
【図６】遠赤外線撮像装置が下向きに角度θだけ傾斜して取り付けられている場合の、歩行者の頭部の遠赤外線撮像装置の見かけ上の位置の変動を示す図である。
【図７】所定の条件下での歩行者の頭部が写像された画像中央からのｙ軸方向の画素数を試算した結果を示す図である。
【図８】遠赤外線撮像装置の取り付け位置の地上高さと、取り付け傾斜角度との関係を示す図である。
【符号の説明】
【００４０】
１  遠赤外線撮像装置
３  検出装置
４  表示装置
５  警報装置
３３  ＬＳＩ
ｆ  撮像装置の焦点距離（ｍｍ）
ｇ  撮像装置の画素ピッチ（ｍｍ）
ｈ  障害物の実高さ（ｍ）
ｈc  車両への取り付け高さ（ｍ）
ｚ  撮像装置から障害物までの実距離（ｍ）
θ  下方への傾斜角度
【図１】
2008037365.tif 000007
【図２】
2008037365.tif 000008
【図３】
2008037365.tif 000009
【図４】
2008037365.tif 000010
【図５】
2008037365.tif 000011
【図６】
2008037365.tif 000012
【図７】
2008037365.tif 000013
【図８】
2008037365.tif 000014