(57)【要約】【課題】画像認識の処理も最低限に抑え、撮影時間のずれの影響も少なく、また、撮影位置のずれの補正も必要なく、簡単な処理、システムで小型で安価に車外環境を認識する。【解決手段】制御装置４は、カメラ２からの撮影画像、露光量切換装置３からのカメラ２に対する露光量切換に同期した信号が入力される。そして、それぞれ異なる露光量で撮影された前回と今回の画像から白線、車両、人間等を認識して画像認識データを生成し、これら前回と今回の画像認識データを今回の画像認識データを優先して統合し、最終的な画像認識データを生成し出力する。【選択図】　図１
2004040409.tif 000002
【特許請求の範囲】
【請求項１】
車外環境を前回と今回とで露光量を可変して撮影し前回と今回とで露光量の異なる場合の画像を取り込む車外環境撮影手段と、
上記露光量の異なる前回と今回の画像のそれぞれで、これら画像中に存在する立体物と白線の少なくともどちらかの認識物を認識して前回の画像認識データと今回の画像認識データを生成する画像認識手段と、
上記前回の画像認識データと上記今回の画像認識データとを統合する認識データ統合手段とを備えた車外監視装置において、
上記認識データ統合手段は、上記前回の画像認識データと上記今回の画像認識データとに略同一の認識物の存在を確認した際は、該同一認識物に対し上記今回の画像認識データで得られる情報を採用することを特徴とする車外監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤカメラ等で車両の外部環境を撮影し、この撮影画像から車両の外部環境を認識する車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤカメラ等を用いて撮影した画像を基に外部環境を把握する技術が多く提案されている。例えば、特開平１１−２０１７４１号公報では、１個の撮像素子を備えた１台のカメラで異なる露光量で交互に外部環境を撮影し、これら露光量の異なる各画像から物体を認識して、それぞれ画像認識データを生成し、これら生成した画像認識データの論理和から１つの最終的な認識データを生成する技術が開示されている。また、この公報には、１台のカメラに異なる露光量で画像データを取得する２個の撮像素子を備え、これら２個の撮像素子からの画像データをそれぞれ認識処理して統合することにより１つの最終的な認識データを生成する技術が開示されている。更に、この公報には、異なる位置に異なる露光量で撮影する２台のカメラを設け、これら２台のカメラからの画像データをそれぞれ認識処理して統合することにより１つの最終的な認識データを生成する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記先行技術の１個の撮像素子を備えた１台のカメラで異なる露光量で交互に外部環境を撮影する技術では、全ての露光量の画像と、これら画像に対する全ての認識データが揃って始めて１つの最終的な認識データを生成するため、１つの最終的な認識データを生成するために全ての画像に対する認識処理が必要で、演算処理が多く複雑で、１つの最終的な認識データを生成する時間が遅くなるという問題がある。また、全ての認識データが揃って始めてこれら認識データの論理和から１つの最終的な認識データを生成するため、初めに生成された認識データと後に生成された認識データとで異なる場合、最終的な認識データには時間的なずれが含まれ、特に動的な車外環境を監視する装置には採用することが困難という問題もある。
【０００４】
また、上記先行技術の１台のカメラに異なる露光量で画像データを取得する２個の撮像素子を備える技術では、１つの最終的な認識データを生成するために、２個の撮像素子からの画像に対する認識処理が必要で、演算処理が多く複雑という問題があり、また、撮像素子も２個必要であるため装置が複雑化・大型化し、コスト高を招いてしまうという問題がある。
【０００５】
更に、上記先行技術の２台のカメラを備える技術では、やはり、１つの最終的な認識データを生成するために、２個の撮像素子からの画像に対する認識処理が必要で、演算処理が多く複雑という問題があり、また、２台のカメラの位置のずれの補正が必要で、更に、カメラも２台必要であるため装置が複雑化・大型化し、コスト高を招いてしまうという問題がある。
【０００６】
本発明は上記事情に鑑みてなされたもので、画像認識の処理も最低限に抑え、撮影時間のずれの影響も少なく、また、撮影位置のずれの補正も必要なく、簡単な処理、システムで小型で安価に車外環境を認識することができる車外監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため請求項１記載の本発明による車外監視装置は、車外環境を前回と今回とで露光量を可変して撮影し前回と今回とで露光量の異なる場合の画像を取り込む車外環境撮影手段と、上記露光量の異なる前回と今回の画像のそれぞれで、これら画像中に存在する立体物と白線の少なくともどちらかの認識物を認識して前回の画像認識データと今回の画像認識データを生成する画像認識手段と、上記前回の画像認識データと上記今回の画像認識データとを統合する認識データ統合手段とを備えた車外監視装置において、上記認識データ統合手段は、上記前回の画像認識データと上記今回の画像認識データとに略同一の認識物の存在を確認した際は、該同一認識物に対し上記今回の画像認識データで得られる情報を採用することを特徴としている。
【０００８】
すなわち、上記請求項１記載の車外監視装置は、車外環境撮影手段で車外環境を前回と今回とで露光量を可変して撮影し前回と今回とで露光量の異なる場合の画像を取り込み、画像認識手段で露光量の異なる前回と今回の画像のそれぞれで、これら画像中に存在する立体物と白線の少なくともどちらかの認識物を認識して前回の画像認識データと今回の画像認識データを生成し、認識データ統合手段で前回の画像認識データと今回の画像認識データとを統合する。この認識データ統合手段での認識データ統合の際、前回の画像認識データと今回の画像認識データとに略同一の認識物の存在を確認した際は、該同一認識物に対し今回の画像認識データで得られる情報を採用する。このように本発明では、１つの最終的な認識データを、今回の画像認識データと前回の画像認識データとを、今回の画像認識データを優先して統合することで生成するようにしているので、今回の画像認識データが得られた時点で前回の画像認識データが得られていれば最終的な画像認識データが得られるため、画像認識の処理も最低限に抑えることができる。また、今回の画像認識データを優先して統合するため、撮影時間のずれの影響も少ない。更に、１個の撮像素子を搭載した１台のカメラで実現することが可能なため、撮影位置のずれの補正も必要なく、簡単な処理、システムで小型で安価に車外環境を認識することが可能となる。
【０００９】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
図１乃至図７は本発明の実施の形態を示し、図１は車外監視装置の機能ブロック図、図２は認識対象とする車外環境の一例を示す説明図、図３は図２の車外環境に対し露光量が少ない時に生成される画像認識データの説明図、図４は図２の車外環境に対し露光量が大きい時に生成される画像認識データの説明図、図５は最終的に統合して得られる画像認識データの説明図、図６は認識対象とする車外環境に対し露光量が少ない時と大きい時とで共通部分がある場合の概念説明図、図７は図６の場合の統合処理の概略説明図である。
【００１０】
図１において、符号１は車両に搭載される車外監視装置を示し、この車外監視装置１は、１台のカメラ２と、露光量切換装置３と、制御装置４とを有して主要に構成されている。
【００１１】
カメラ２は、例えば車室内の天井に前方に向けて固設され、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いて車両前方を撮影し、この撮影した画像データを制御装置４に入力する。また、このカメラ２には、露光量切換装置３からの信号が入力され、この露光量切換装置３からの信号に基づきシャッタースピードを可変することにより、露光量の異なる画像データが交互に撮影されるように構成されている。すなわち、このカメラ２は車外環境撮影手段として設けられている。
【００１２】
露光量切換装置３は、カメラ２に対しては、異なる露光量で交互に撮影するように信号を出力する一方、制御装置４に対しては、この露光量の切換と同期して、制御装置４によるカメラ２からの画像取り込み処理を切り換えるように信号出力するように構成されている。尚、この露光量切換装置３は、カメラ２内若しくは制御装置４内に設けられていても良い。
【００１３】
制御装置４は、カメラ２からの撮影画像、露光量切換装置３からのカメラ２に対する露光量切換に同期した信号が入力される。そして、それぞれ異なる露光量で撮影された前回と今回の画像から白線、車両、人間等を認識して画像認識データを生成し、これら前回と今回の画像認識データを今回の画像認識データを優先して統合し、最終的な画像認識データを生成し出力する。
【００１４】
すなわち、制御装置４は、Ａ／Ｄ変換器４ａ、画像入力切換部４ｂ、画像メモリ４ｃ、画像抽出部４ｄ、画像認識部４ｅ、画像メモリ４ｆ、画像抽出部４ｇ、画像認識部４ｈ、認識データ選択部４ｉ、認識データ統合部４ｊから主要に構成されている。
【００１５】
Ａ／Ｄ変換器４ａは、カメラ２からのアナログ信号で入力される画像データをデジタル変換する変換器であり、デジタル変換した画像データは、画像入力切換部４ｂに出力される。
【００１６】
画像入力切換部４ｂは、Ａ／Ｄ変換器４ａから画像データが入力され、露光量切換装置３からカメラ２に対する露光量切換に同期した信号が入力され、露光量毎の（に応じた）画像データを画像メモリ４ｃ、或いは、画像メモリ４ｆのどちらかに出力する。例えば、露光量を少なくして得られた画像データは、画像メモリ４ｃに、露光量を多くして得られた画像データは画像メモリ４ｆに出力される。尚、露光量の少ない画像データと露光量の多い画像データは、必ず交互に入力されるように制御される。
【００１７】
以下、露光量の少ない画像データが入力される画像メモリ４ｃ、画像抽出部４ｄ、画像認識部４ｅについて図２、図３を基に説明する。
例えば、露光量の少ない状態で、カメラ２で撮影すると、被写体側の明暗は、図３（ａ）に示すように、明るい部分のみが認識可能な状態となり、暗い部分は黒くつぶれた状態となる。従って、特に夜間等において、図２に示すような車外環境をカメラ２で撮影した場合、図３（ｂ）に示すように、車両のライト等の明るい部分は画像上で認識できるような画像データが得られるが、他の部分（ハッチングの部分）は黒くつぶれて認識が困難な画像データが得られる。こうして得られる露光量の少ない画像データを、画像メモリ４ｃで記憶し、画像抽出部４ｄにおいて輝度値を求め、輝度値が他と大きく変化する部分を画像のエッジ部分として抽出する。画像認識部４ｅでは、予め設定しておいた様々な形状のモデルとエッジ部分とを比較し、例えば、大きな輝度変化で、且つ、所定長さで略横長のエッジであれば対向車両のフロント部分、小さな輝度変化で、且つ、所定長さで略横長のエッジであれば先行車両のリヤ部分、単なる円形のエッジであれば街灯等の認識を行う。図３（ｃ）は、このような認識処理により先行車両と対向車両が認識される場合の例を示している。
【００１８】
次いで、露光量の多い画像データが入力される画像メモリ４ｆ、画像抽出部４ｇ、画像認識部４ｈについて図２、図４を基に説明する。
例えば、露光量の多い状態で、カメラ２で撮影すると、被写体側の明暗は、図４（ａ）に示すように、暗い部分のみが認識可能な状態となり、明るい部分は白くつぶれた状態となる。従って、特に夜間等において、図２に示すような車外環境をカメラ２で撮影した場合、図４（ｂ）に示すように、白線、人間等の暗い部分は画像上で認識できるような画像データが得られるが、他の部分（ハッチングの部分）は白くつぶれて認識が困難な画像データが得られる。こうして得られる露光量の多い画像データを、画像メモリ４ｆで記憶し、画像抽出部４ｇにおいて輝度値を求め、輝度値が他と大きく変化する部分を画像のエッジ部分として抽出する。画像認識部４ｈでは、予め設定しておいた様々な形状のモデルとエッジ部分とを比較し、例えば、比較的輝度の変化が大きく直線的に画面下から上方に延出するエッジ部分を白線と認識し、また、予め用意した小さな枠内に収まるエッジ部分を人間として認識する。図４（ｃ）は、このような認識処理により白線と人間が認識される場合の例を示している。そして、図３（ｃ）と図４（ｃ）を基に、認識データ選択部４ｉ、認識データ統合部４ｊにより図５に示すような、最終的な画像認識データが得られることになる。このように本実施の形態においては、画像入力切換部４ｂ、画像メモリ４ｃ、画像抽出部４ｄ、画像認識部４ｅ、画像メモリ４ｆ、画像抽出部４ｇ、画像認識部４ｈで画像認識手段が構成されている。
【００１９】
認識データ選択部４ｉは、画像認識部４ｅから露光量の少ない画像から認識される画像認識データが、画像認識部４ｈから露光量の多い画像から認識される画像認識データが交互に入力され、今回入力された画像認識データと前回入力された画像認識データとに共通部分がないか判定する。そして、共通部分があれば今回の画像認識データを優先して選択し、共通部分がなければ認識されているデータ全てを選択して、この選択結果を認識データ統合部４ｊに出力する。
【００２０】
認識データ統合部４ｊでは、認識データ選択部４ｉからの選択結果に基づき画像認識データを統合し、最終的な画像認識データを出力する。こうして、認識データ選択部４ｉ、認識データ統合部４ｊは認識データ統合手段として設けられている。
【００２１】
次に、上記構成の作用について説明する。
まず、車両前方の車外環境はカメラ２で、露光量切換装置３により露光量が少ない場合と多い場合の両方で交互に撮影され、制御装置４に入力される。
【００２２】
制御装置４では、例えば露光量の少ない画像データは、Ａ／Ｄ変換器４ａ、画像入力切換部４ｂを介して画像メモリ４ｃにメモリされ、画像抽出部４ｄで輝度のエッジ部分の抽出が行われ、画像認識部４ｅでこのエッジ部分の形状に基づいた画像認識処理が行われ、認識データ選択部４ｉに出力される。また、露光量の多い画像データは、Ａ／Ｄ変換器４ａ、画像入力切換部４ｂを介して画像メモリ４ｆにメモリされ、画像抽出部４ｇで輝度のエッジ部分の抽出が行われ、画像認識部４ｈでこのエッジ部分の形状に基づいた画像認識処理が行われ、認識データ選択部４ｉに出力される。
【００２３】
ここで、図６（ａ）に示すような全体画像を統合処理する場合を例に説明する。この際、画像認識部４ｈから認識データ選択部４ｉに入力される露光量が多い（露光量大）の画像認識データを図６（ｂ）に示すような、丸、三角が認識されたデータとし、画像認識部４ｅから認識データ選択部４ｉに入力される露光量が少ない（露光量小）の画像認識データを図６（ｃ）に示すような、三角、四角が認識されたデータとする。
【００２４】
認識データ選択部４ｉは、今回入力された画像認識データが、画像認識部４ｈからの露光量大の丸、三角が認識されたデータである場合、前回入力された画像認識データ、すなわち、画像認識部４ｅからの露光量小の三角、四角が認識されたデータと比較する。
【００２５】
そして、この比較の結果、三角部分が共通するため、この三角部分には今回の画像認識データを採用し、他のそれぞれの丸、四角の共通しない部分は、そのまま選択すると決定し、認識データ統合部４ｊにこの結果と画像情報を出力する。こうして、認識データ統合部４ｊは、認識データ選択部ｉからの結果に基づいて最終的な統合処理を行って、最終的な画像認識データを生成し出力する。
【００２６】
尚、前回においては、認識データ選択部４ｉは、前回入力された画像認識データが、画像認識部４ｅからの露光量小の三角、四角が認識されたデータである場合、前々回入力された画像認識データ、すなわち、画像認識部４ｈからの露光量大の丸、三角が認識されたデータと比較する。
【００２７】
そして、この比較の結果、三角部分が共通するため、この三角部分には前回の画像認識データを採用し、他のそれぞれの丸、四角の共通しない部分は、そのまま選択すると決定し、認識データ統合部４ｊにこの結果と画像情報を出力する。こうして、認識データ統合部４ｊは、認識データ選択部ｉからの結果に基づいて最終的な統合処理を行って、最終的な画像認識データを生成し出力する。
【００２８】
このように本発明の実施の形態によれば、制御装置４の認識データ選択部４ｉは、今回入力された画像認識データと前回入力された画像認識データとに共通部分がないか判定し、共通部分があれば今回の画像認識データを優先して選択するようになっているため、前回入力されたデータの時間的なずれが最終的な画像認識データに介入することがなく、走行する車両に搭載して動的な画像を撮影する場合にも精度良く容易に対応できる。
【００２９】
また、本実施の形態によれば、従来のような２つの画像認識データが揃って初めて１つの最終的な画像認識データを生成するというサイクルを繰り返すことがなく、前回生成した画像認識データと今回生成した画像認識データで１つの最終的な画像認識データを生成するので認識処理のための演算も少なくでき、素早い画像処理が簡素に実現できる。
【００３０】
また、本実施の形態によれば、１台のカメラに１個の撮像素子を備えたシステムで構成できるので、２台のカメラで同時に撮影するシステムで必要な、画像の位置ずれ補正の処理も必要なく、また、１台のカメラに複数個の撮像素子を備えたシステムでの複雑な画像処理の必要もなく、小型で安価に信頼性が高く精度の良いシステムを実現できる。
【００３１】
尚、本発明の実施の形態では、ＣＣＤを搭載した可視カメラを例に説明しているが、赤外線カメラ等にも適用できることは云うまでもない。
【００３２】
【発明の効果】
以上説明したように本発明によれば、画像認識の処理も最低限に抑え、撮影時間のずれの影響も少なく、また、撮影位置のずれの補正も必要なく、簡単な処理、システムで小型で安価に車外環境を認識することが可能となる。
【図面の簡単な説明】
【図１】車外監視装置の機能ブロック図
【図２】認識対象とする車外環境の一例を示す説明図
【図３】図２の車外環境に対し露光量が少ない時に生成される画像認識データの説明図
【図４】図２の車外環境に対し露光量が大きい時に生成される画像認識データの説明図
【図５】最終的に統合して得られる画像認識データの説明図
【図６】認識対象とする車外環境に対し露光量が少ない時と大きい時とで共通部分がある場合の概念説明図
【図７】図６の場合の統合処理の概略説明図
【符号の説明】
１　　車外監視装置
２　　カメラ（車外環境撮影手段）
３　　露光量切換装置
４　　制御装置
４ｂ　画像入力切換部（画像認識手段）
４ｃ　画像メモリ（画像認識手段）
４ｄ　画像抽出部（画像認識手段）
４ｅ　画像認識部（画像認識手段）
４ｆ　画像メモリ（画像認識手段）
４ｇ　画像抽出部（画像認識手段）
４ｈ　画像認識部（画像認識手段）
４ｉ　認識データ選択部（認識データ統合手段）
４ｊ　認識データ統合部（認識データ統合手段）
【図１】
2004040409.tif 000003
【図２】
2004040409.tif 000004
【図３】
2004040409.tif 000005
【図４】
2004040409.tif 000006
【図５】
2004040409.tif 000007
【図６】
2004040409.tif 000008
【図７】
2004040409.tif 000009