(57)【要約】【課題】可視光を用いた、照度差の激しい場所での物体を、高い精度で検出・認識し、その結果を報知する。【解決手段】  ビデオカメラ２００で撮像された画像データはビデオキャプチャ部１０４でデジタル画像データに変換され、高輝度部が検出され、遮光マスクパターンが生成される。次に、高輝度部分をマスクすることにより、画質の劣化を防ぎ、以後の画像処理を可能とする画像がビデオカメラ２０１で撮影される。ＣＰＵ１００は、撮像された画像から画像処理により、外形を検出し、その中の対象物と成り得るオブジェクトの候補を抽出する。全体の画面から検出、切出された対象物を認識することができた場合には、その出力メッセージを、外部ＡＶ出力装置３００から出力する。３次元的な距離計算は左右画像から対応点、対応    線分、対応領域を見つけることにより行う。【選択図】  図１
2007026400.tif 000002
【特許請求の範囲】
【請求項１】
夜間車のライトが照射された状態のような照度差の激しい場所でのオブジェクトの撮像にあたり、
２種類の画像を用いた多重撮影による第１の入力手段と、
または、車のライトを撮像範囲に入れない光学的にサイレントな領域のみを撮影する第２の入力手段と、
前記入力手段から入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出手段と、
該第１の抽出手段で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、
該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、記憶されたパターンとマッチングするパターンマッチング手段と、
前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパターンを特定する情報と色に基づき、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段
を備えることを特徴とするオブジェクト認識装置。
【請求項２】
前記第１の入力手段には、それぞれ２画面以上に分割して、情報を取得することもでき、２種類の画像には時間差が発生するので、フレーム間が短時間であることを考慮して、第１の画面で得られたマスクパターンを使って、次のフレーム用における第２の画面の高輝度部にマスクをかけるために使用し、順次この操作を続けることで、画面が無駄なく利用できる入力装置。
また、それぞれ２台以上のカメラを用い、２台のカメラから得られた画像には時間差が発生するので、フレーム間が短時間であることを考慮し、第１のカメラから得られたマスクパターンを使って、次のフレーム用における第２のカメラ画面の高輝度部にマスクをかけるために使用し、順次この操作を続けることで、処理用画像が連続してスムーズに取得できる入力装置。
さらに、固定マスクを用いる場合は上記時間差は考慮する必要がなく、全ての画像を同時撮影でき、複数のマスクに対応するために２台以上のカメラを用いること、あるいは画面分割により２つ以上の画面を用いることによりマスク画像を得る入力装置。
この遮光マスクの原理を用いて、まぶしい太陽光、対向車のヘッドライトなどの強烈な光源の位置のみを液晶シャッター等により透過率を減少して見やすくする運転手用サングラス。
上記のシステムを左右に２セット設置することにより距離計測が可能となる。
【請求項３】
前記第２の入力手段には、車のライトの高さ以下のみを撮像する入力装置。
【請求項４】
撮像手段と外部報知手段を接続可能で、オブジェクトを構成するオブジェクトの形状、該オブジェクトを構成する色情報、並びに出力情報を記憶する記憶手段とを備え、前記撮像手段で得られた画像中に認識対象オブジェクトが存在する場合に、前記外部報知手段を介して報知するオブジェクト認識装置における制御方法であって、
前記撮像手段から画像データを入力する入力工程と、
該入力工程で入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出工程と、
該第１の抽出工程で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出工程と、
該第２の抽出工程で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、マッチングするパターンマッチング工程と、
前記第１の抽出工程で得られた外形、及び、前記パターンマッチング工程でマッチすると判定された情報と色に基づき、前記の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力工程と
を備えることを特徴とするオブジェクト認識装置の制御方法。
【請求項５】
撮像手段と外部報知手段を接続可能で、オブジェクトを構成するオブジェクトの形状、該オブジェクトを構成する色情報、並びに出力情報を記憶する記憶手段とを備え、前記撮像手段で得られた画像中に認識対象オブジェクトが存在する場合に、前記外部報知手段を介して報知するオブジェクト認識装置として機能するコンピュータプログラムであって、
前記撮像手段から画像データを入力する入力工程と、
該入力工程で入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出工程と、
該第１の抽出工程で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出工程と、
該第２の抽出工程で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、マッチングするパターンマッチング工程と、
前記第１の抽出工程で得られた外形、及び、前記パターンマッチング工程でマッチすると判定された情報と色に基づき、前記の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段
として機能することを特徴とするコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、夜間歩行者等のオブジェクトを認識する技術に関するものである。
【背景技術】
【０００２】  夜間自動車を走行中、運転手に対して、歩行者等の存在を知らせる技術が望まれている。【０００３】  かかる課題を解決する技術の１つに、自動車にビデオカメラを搭載し、走向前方を撮像し、その中の歩行者を認識し、安全運転に役立てる技術が知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】  夜間照度差の激しい場所での撮像画像からは、フレア、ゴーストが発生し、ＣＣＤカメラには固有のスミア、ブルーミングが発生し、物体検出・認識を困難にする。【０００５】  本発明はかかる問題点に鑑みなされたものであり、照度差の激しい場所においても、高輝度光源からの悪影響を除去し、高い精度でオブジェクトを認識し、その認識結果を報知することを可能ならしめる技術を提供しようとするものである。
【課題を解決するための手段】
【０００６】  夜間車のライトが照射された状態のような照度差の激しい場所でのオブジェクトの撮像にあたり、
２種類の画像を用いた多重撮影による第１の入力手段と、
または、車のライトを撮像範囲に入れない光学的にサイレントな領域のみを撮影する第２の入力手段と、
前記入力手段から入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出手段と、
該第１の抽出手段で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、
該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、記憶されたパターンとマッチングするパターンマッチング手段と、
前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパターンを特定する情報と色に基づき、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段
を備える。
【発明の効果】
【０００７】  本発明によれば、照度差の激しい場所であっても、高い精度で認識し、その結果を報知することが可能になる。【０００８】  従って、オブジェクトとして歩行者をターゲットとする場合には、夜間や逆光下等、運転手にとって見落としがち、或いは、見難い状況であっても、安全運転のための正しい情報を報知することができるようになる。
【発明を実施するための最良の形態】
【０００９】  以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。【００１０】  図１は、自動車に搭載する認識装置のブロック構成図である。【００１１】  図中、２００はビデオカメラであって、自動車の前方を視野範囲となるように設置されるものである。３００は映像、音声入力端子を備える外部ＡＶ出力装置であり、例えばカーナビゲーション装置可能である。
音と映像の他に振動などによる伝達手段も可能とする。
２０１も２００同様なカメラであるが、その前方に２０２の遮光マスクを置くものである。【００１２】  １００は装置全体の制御を司るＣＰＵであり、１０１はＣＰＵ１００の処理手順（プログラム）を記憶しているＲＯＭである。１０２はＣＰＵ１００のワークエリアとして使用されるＲＡＭである。１０３はデータベースである。１０４はビデオカメラ２００からの映像をキャプチャし、デジタルカラー画像データに変換出力するビデオキャプチャ部であり、１０５は外部ＡＶ出力装置へ、本装置が生成した映像や音声を出力するＡＶ出力部である。【００１３】  なお、実施形態における装置をＰＣ等で代用することも可能である。その場合には、ＲＯＭ１０１はＢＩＯＳやブートプログラムを格納し、標識認識用のプログラムはハードディスク等にＯＳと共に格納され、電源ＯＮ時に、ＲＡＭ１０２にＯＳ、認識プログラムがロードされ実行されることになる。【００１４】  次に、実施形態の認識装置の入力手段を図２の入力手段の説明に従って説明する。【００１５】  図２に示す入力手段の各方法は、いずれも車の強力なヘッドライト等の照射を除去することを目的としている。【００１６】  １０は、１台のカメラでプリズムなどにより２画面に分割し、第１の画面で高輝度の部分を見つけ、第２の画面の高輝度部にマスクをかける入力装置を表す。
上半分は、光線高輝度部分検出用で、高輝度部分に露出を合わせて撮影する、マスク作成用の画面である。
下半分は、低輝度部分撮影用画面で、露出を高輝度部以外に部分に合わせて、マスクを通過した光線により、対象物を撮影するための画面である。【００１７】  ２０は、２台のカメラを用いて、第１のカメラ画面で高輝度部分を見つけ、第２のカメラ画面の高輝度部部分にマスクをかける入力装置を表す。
２０の機能も、１０と同様カメラ１は、高輝度部分検出用で、高輝度部分に露出を合わせて撮影する、マスク作成用の画面である。
カメラ２は、低輝度部分撮影用画面で、露出を高輝度部以外に露出を合わせて、マスクを通過した光線により、対象物を撮影するための画面である。【００１８】  マスクは、高輝度部分の位置・形状に応じて適応的にマスクパターンを生成する可変マスクによる方法と、固定パターンによる方法とがある。【００１９】  固定マスクによる方法は、入力画像は全て事前に決められたパターンの固定マスクがかけられた画像が画面分割または複数台カメラ等により同時多重撮影され、そこで得られた画像を用いて高輝度部分とその影響を受けた部分を除去し、対象物が撮影されている可能性がある低輝度部分を抜き出し、全体として１枚の画像を合成する。【００２０】  ３０は、遮光パターンの例である。
これは、運転手用サングラスにおいても使用することができる。【００２１】  マスク材料は、遮へい板、液晶シャッター、偏光フィルタ等が対象となる。
シースルーのＨＭＤ（ヘッドマウントディスプレイ）が現在市販されており、運転手用サングラス用途に利用可能である。このときは運転手の眼がカメラの役割を果たすので、図１におけるビデオカメラ２０１は不要となる。また、ＨＭＤが遮光マスクの役割を果たす。ビデオカメラ２００は、帽子に取り付けられたり、バンドなどを利用して、運転手の頭付近に置かれ、運転手の目の位置と同期してマスク作成用画像を撮影するために用いられる。【００２２】  ４０は、車のライトの高さ以下のみの光学的にサイレントな領域のみを撮影する第２の入力手段を表す。【００２３】  次に、実施形態の認識装置の処理手順を図３のフローチャートに従って説明する。【００２４】  このフローチャートにあっては、第１の入力手段と、第２の入力手段を併用するようになっているが、各単独でも当然使用できるものである。【００２５】  先ず、ステップＳ０１では、ビデオキャプチャ１０４を介して、ビデオカメラ２００で撮像した１フレーム分のデジタル画像データを取得する。
図２の１０における上半分、２０におけるカメラ１に対応する。【００２６】  次に、ステップＳ０２において高輝度部の検出を行う。【００２５】  ステップＳ０３において、マスクパターンを作成する。【００２７】  ステップＳ０４では、マスクパターンを通してビデオカメラ２００で撮像した１フレーム分のデジタル画像データをビデオキャプチャ１０４を介して取得する。
図２の１０における下半分、２０におけるカメラ２に対応する。【００２８】  ステップＳ０４−１からは固定マスクによる方法である。ステップＳ０４−１では、固定マスクによる画像撮影を行う。ステップＳ０４−１では、ビデオキャプチャ１０４を介して、ビデオカメラ２０１で撮像した複数枚のデジタル画像データを取得する。【００２９】  ステップＳ０４−２では、撮影された複数枚画像から、処理画像を合成する。【００３０】  ステップＳ０５は光学的にサイレントな領域、すなわち雑音（他の有害光源）の少ない領域の撮影である。
ステップＳ０５では、ビデオキャプチャ１０４を介して、ビデオカメラ２００で撮像した１フレーム分のデジタル画像データを取得する。【００３２】  Ｓ０６からＳ０９は、フローチャートの左右とも同一の処理である。
ここでの処理は本発明に固有なものではなく、一般の画像処理において使用される方法である。【００３３】  ステップＳ０６において、撮像された画像中から、対象と成り得る図形を抽出するため、モルフォロジー処理を行う。・モルフォロジー処理とは、画像中の特徴抽出を行い、種々の処理を行うのに好適な処理である。この際に、ロバスト性を高めるために、できるだけ点特徴でなく、領域特徴を用いる。【００３４】  ステップＳ０７において、特徴点、特徴領域の抽出を行う。【００３５】  ステップＳ０８において、対象物の切出しを行う。【００３６】  ステップＳ０９において、対象物の認識を行う。
ここにおいて、認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、記憶されたパターンとマッチングするパターンマッチング手段と、前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパターンを特定する情報と色に基づき、一致する情報を検索する。【００３７】  その結果をＡＶ出力部１０５で映像信号、音声信号を生成し、その結果を外部ＡＶ出力装置３００に出力することで、操作者（ドライバ）に報知する。【００３８】  以上説明したように本実施形態によれば、夜間、照度差の激しい場所での画像を撮像したとしても、高い精度で対象物を認識することが可能となり、ドライバに対して安全運転のための情報を提供することが可能になる。【００３９】  なお、実施形態における認識装置は、映像キャプチャ等のハードウェアを利用するものの、ＰＣ等で実行するアプリケーションプログラムによっても実現できるものであるから、本発明はコンピュータプログラムをその範疇とする。また、通常、コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体をＰＣにセットし、システムにコピーもしくはインストールすることで、実行可能になるわけであるから、当然、そのようなコンピュータ可読記憶媒体も本発明の範疇にある。【００４０】  また、実施形態では、歩行者を認識する例を説明したが、データベース１０３を別途用意することで、レストラン検索に特化したシステムにも適用できるし、対象物はいかなるものでも構わない。また、対象物毎にデータベースを用意し、操作者がそれらを切替えるようにしても良い。【００４１】  また、実施形態ではビデオキャプチャ部１０４でデジタル画像データに変換するものとして説明したが、ビデオカメラ２００がデジタル出力でき、且つ、本装置がそのデジタルデータを入力するインタフェース（例えばＵＳＢ、ＩＥＥＥ１３９４等）を備えるのであれば、キャプチャ部１０４は不要である。
【図面の簡単な説明】
【００４２】
【図１】  実施形態における標識認識装置のブロック構成図である。
【図２】  実施形態における入力手段の説明を示す図である。
【図３】  実施形態における処理手順を示すフローチャートである。
【図１】
2007026400.tif 000003
【図２】
2007026400.tif 000004
【図３】
2007026400.tif 000005