(57)【要約】【課題】  撮像画像に写っているものを高精度に識別可能な画像処理装置を提供することを課題とする。【解決手段】  撮像画像に写っているものの属性を識別する画像処理装置１であって、撮像手段３と、撮像手段の現在位置を検出する位置検出手段２，１０と、地図の各位置での属性データを有する地図を保持する地図保持手段１１と、位置検出手段で検出した現在位置の地図を撮像画像の画像面上に変換又は撮像手段で撮像した撮像画像を現在位置の地図上に変換する変換手段１２と、撮像手段で撮像した撮像画像を複数の領域に分割する領域分割手段１３と、現在位置の地図の各位置での属性データから領域分割手段で分割した各領域における属性を求め、撮像画像における各領域の属性を特定する属性特定手段１４とを備えることを特徴とする。【選択図】  図１
2005303537.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段の現在位置を検出する位置検出手段と、
地図の各位置での属性データを有する地図を保持する地図保持手段と、
前記位置検出手段で検出した現在位置の地図を撮像画像の画像面上に変換又は前記撮像手段で撮像した撮像画像を現在位置の地図上に変換する変換手段と、
前記撮像手段で撮像した撮像画像を複数の領域に分割する領域分割手段と、
現在位置の地図の各位置での属性データから前記領域分割手段で分割した各領域における属性を求め、撮像画像における各領域の属性を特定する属性特定手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に写っているものを識別する画像処理装置に関する。
【背景技術】
【０００２】
近年、レーンキープや自動運転等の走行支援システムの開発が進められている。これら制御を行うためには、道路、歩道、緑地等の道路環境や交差点、踏切等の道路構成要素等の様々な情報が必要となる。これら情報を取得する技術として、例えば、走行路を検出する技術として、撮像画像から走路境界線（白線）の少なくとも一方を検出するとともに地図データベースから車両の現在位置における道路幅データを抽出し、この道路幅データを利用して他方の走路境界線を求め、道路領域を検出する技術がある（特許文献１参照）。
【特許文献１】特開平１０−４０３７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術では、撮像画像から両方の走路境界線を検出できない場合、道路領域を検出することがでない。また、自動運転等を行う場合、道路以外の歩道や緑地等の道路環境や交差点、踏み切り等の道路構成要素等の様々な情報が必要となる。しかし、上記技術は、道路を検出する技術なので、撮像画像に写っているものが何（例えば、道路、歩道、緑地）であるのかを識別することができない。
【０００４】
そこで、本発明は、撮像画像に写っているものを高精度に識別可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、撮像手段と、撮像手段の現在位置を検出する位置検出手段と、地図の各位置での属性データを有する地図を保持する地図保持手段と、位置検出手段で検出した現在位置の地図を撮像画像の画像面上に変換又は撮像手段で撮像した撮像画像を現在位置の地図上に変換する変換手段と、撮像手段で撮像した撮像画像を複数の領域に分割する領域分割手段と、現在位置の地図の各位置での属性データから領域分割手段で分割した各領域における属性を求め、撮像画像における各領域の属性を特定する属性特定手段とを備えることを特徴とする。
【０００６】
この画像処理装置では、撮像手段により撮像し、撮像画像を取得する。また、画像処理装置では、位置検出手段により撮像手段の現在位置を検出し、地図保持手段から現在位置の地図を取り出す。そして、画像処理装置では、変換手段により現在位置の地図を撮像画像の画像面上に変換するかあるいは撮像画像を現在位置の地図上に変換する。これにより、現在位置の地図と撮像画像とを重ね合わせることが可能となり、撮像画像の各位置と地図上の各位置とを対応付けることができる。さらに、画像処理装置では、領域分割手段により撮像画像を複数の領域に分割する。この領域分割では、撮像画像をメッシュ状に分割してもよいし、あるいは、エッジや色情報等を利用して所定の形状を有する領域に分割してもよい。そして、画像処理装置では、属性特定手段により領域分割手段で分割した各領域の属性を現在位置の地図の各位置での属性データから求め、撮像画像における各領域の属性を特性する。地図の属性としては、例えば、道路、高速道路、トンネル、橋、歩道、緑地等の道路環境、交差点、踏切等の道路構成要素、公共施設、ビル、店舗等の建物である。このように、画像処理装置では、撮像画像上の各点と地図上の各点とを対応付け可能とすることにより、地図の属性データから撮像画像の領域毎に属性を特定でき、撮像画像の各領域を高精度に識別することができる。例えば、この画像処理装置を自動車に搭載した場合、撮像画像から道路等の道路環境や交差点、踏切等の道路構成要素の領域情報を取得できるので、レーンキープや自動運転等の走行支援システムで利用できる。
【発明の効果】
【０００７】
本発明によれば、撮像画像に写っているものを高精度に識別することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。
【０００９】
本実施の形態では、本発明に係る画像処理装置を、自動車に搭載される道路環境認識装置に適用する。本実施の形態に係る道路環境認識装置では、撮像画像に写っているものとして道路や緑地等の道路環境を識別し、各道路環境の領域情報を提供する。
【００１０】
図１〜図３を参照して、本実施の形態に係る道路環境認識装置１の構成を説明する。図１は、本実施の形態に係る道路環境認識装置の構成図である。図２は、図１の投影変換部における投影変換の説明図であり、（ａ）が画像面のｙ方向への変換を示す図であり、（ｂ）が画像面のｘ方向への変換を示す図である。図３は、図１の道路環境認識装置における処理の一例であり、（ａ）が撮像画像であり、（ｂ）が現在位置周辺の地図データであり、（ｃ）が撮像画像の領域分割画像であり、（ｄ）が領域分割画像に投影変換した地図データを重ね合わせた画像である。
【００１１】
道路環境認識装置１は、車両の前方の道路環境を認識し、道路環境の各領域情報をレーンキープ装置や自動運転装置等の走行支援システムに提供する装置である。道路環境としては、走行支援システムで必要となる道路環境が認識対象となり、例えば、道路、緑地である。道路環境認識装置１では、ＧＰＳ[Global Positioning System]を利用して現在位置を検出し、現在位置周辺の地図データをカメラの撮像面上に投影変換する。そして、道路環境認識装置１では、カメラで撮像した撮像した撮像画像を領域分割し、その領域分割した撮像画像と投影変換した地図データとを重ね合わせ、各領域の属性（道路環境）を識別する。そのために、道路環境認識装置１は、ＧＰＳ受信機２、カメラ３及び画像ＥＣＵ４を備え、画像ＥＣＵ４に現在位置処理部１０、地図データベース１１、投影変換部１２、領域分割部１３及び属性識別部１４が構成される。
【００１２】
なお、本実施の形態ではカメラ３が特許請求の範囲に記載する撮像手段に相当し、ＧＰＳ受信機２及び現在位置処理部１０が特許請求の範囲に記載する位置検出手段に相当し、地図データベース１１が特許請求の範囲に記載する地図保持手段に相当し、投影変換部１２が特許請求の範囲に記載する変換手段に相当し、領域分割部１３が特許請求の範囲に記載する領域分割手段に相当し、属性識別部１４が特許請求の範囲に記載する属性特定手段に相当する。
【００１３】
ＧＰＳ受信機２は、ＧＰＳ衛星から送信される電波を受信する受信機である。ＧＰＳ受信機２では、ＧＰＳ衛星から電波する毎に、受信機に到達するまでの時間を計測し、その計測した時間と受信電波に含まるＧＰＳ衛星の位置情報からＧＰＳ衛星と受信機との距離を算出する。そして、ＧＰＳ受信機２では、電波を送信したＧＰＳ衛星に関する情報とそのＧＰＳ衛星との距離情報とを含む情報をＧＰＳ信号ＧＳとして画像ＥＣＵ４に送信する。
【００１４】
カメラ３は、例えば、ＣＣＤ[Charge Coupled Device]カメラであり、道路環境認識装置１を搭載する自動車の前方かつ中央に取り付けられる。カメラ３では、自動車の前方を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。カメラ３では、その撮像画像のデータを画像信号ＤＳとして画像ＥＣＵ４に送信する。カメラ３は、左右方向に撮像範囲が広く、道路の外側も含む範囲まで撮像可能である。カメラ３で撮像した撮像画像は、例えば、図３（ａ）に示すような画像であり、車両の走行している道路やその周辺の緑地（斜線部分）等が写っている。なお、カメラ３はカラーであるが、白黒のカメラでもよい。
【００１５】
画像ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、各処理部が構成される。画像ＥＣＵ４では、ＧＰＳ受信機２からのＧＰＳ信号ＧＳ及びカメラ３からの画像信号ＤＳを取り入れ、その各信号ＧＳ，ＤＳ及びＥＣＵ内に保持している地図データに基づいて車両の前方の道路環境（道路、緑地等）を識別し、識別した各道路環境の領域情報を領域信号ＡＳとして走行支援システムに送信する。
【００１６】
現在位置処理部１０では、ＧＰＳ受信機２からＧＰＳ信号ＧＳを順次取り入れる。そして、現在位置処理部１０では、少なくとも３個以上のＧＰＳ衛星との距離情報が得られると、三角測量により現在位置（座標）を算出するとともに、過去の現在位置を用いて車両の進行方向を算出する。さらに、現在位置処理部１０では、現在位置の座標を参照キーとして地図データベース１１を参照し、現在位置を中心とした地図データを取得する。この際、現在位置を中心とした地図データではなく、現在位置から進行方向側の地図データを取得してもよい。
【００１７】
地図データベース１１は、ＲＯＭ内に構築され、地図データを格納している。地図データは、各位置が（Ｘ，Ｙ）座標系で表されるデータであり、少なくとも属性データを有している。属性データは、少なくとも道路環境（道路、緑地等）の属性を含んでおり、属性毎にその属性が存在する領域データを有している。図３（ｂ）に示す地図データの例では、一点鎖線の横線で示される領域は属性が道路ａであり、一点鎖線の縦線で示される領域は属性が緑地ｂである。
【００１８】
投影変換部１２では、現在位置処理部１０で取得した地図データ上の各点をカメラ３の撮像面上の各点に投影変換する。つまり、地図データを、カメラ３の視点で見た座標系に変換する。このように地図データを投影変換することにより、投影変換した地図データを撮像画像に重ね合わせることができ、投影変換した地図データ上の各点と撮像画像上の各点とを対応付けることができる。
【００１９】
投影変換について、図２を参照して具体的に説明する。Ｏ点はカメラ３の焦点位置であり、ｆがカメラ３の焦点距離であり、ＣＣがカメラ３の画像面である。画像面ＣＣ上の各点は、座標系（ｘ，ｙ）で表され、Ｏ’点が原点（０，０）である。Ｐ点は地図面ＭＣ上のある点であり、ＬがＯ点からＰ点までの距離である。地図面ＭＣ上の各点は、座標系（Ｘ，Ｙ）で表される。Ｑ点は地図面ＭＣ上のある点であり、Ｐ点からＸｉ離れている。Ｏ点を（Ｘ，Ｙ，Ｚ）座標系において（０，０，０）とした場合、Ｐ点が（０，Ｙｉ，Ｚｉ）であり、Ｑ点が（Ｘｉ，Ｙｉ，Ｚｉ）である。ここで、地図面ＭＣ上のＱ点（Ｘｉ，Ｙｉ）を画像面ＣＣ上のＱ’点（ｘｉ，ｙｉ）に投影変換する場合について説明する。
【数１】
2005303537.tif 000003
【００２０】
図２（ａ）に示すＰ点からＰ’点への変換に注目すると、ｙｉは、式（１）により、Ｙｉを用いて算出される。θはＯ点とＯ’点を結ぶ線と水平面とのなす角であり、φはＯ点とＰ点とを結ぶ線と地図面ＭＣとのなす角である。図２に示すＯ点とＰ’点との距離ｌは、式（２）により、ｙｉを用いて算出される。したがって、図２（ｂ）に示すＱ点からＱ’点への変換に注目すると、ｘｉは、式（３）により、Ｘｉ、Ｙｉ、ｙｉを用いて算出される。このように、式（１）と式（３）により、地図上の任意の点（Ｘｉ，Ｙｉ）を画像面ＣＣ上の点（ｘｉ，ｙｉ）に変換することができる。なお、ｆは、カメラ３の焦点距離なので既知である。Ｚｉは、自動車に設置されるカメラ３の位置によって決まる値であり、既知である。また、θは、自動車に設置されるカメラ３の取り付け角度によって決まる値であり、既知である。
【００２１】
領域分割部１３では、カメラ３から画像信号ＤＳを取り入れ、撮像画像を領域分割する。具体的には、領域分割部１３では、撮像画像にエッジ処理を施しエッジを求める。そして領域分割部１３では、このエッジから線を検出し、線から所定形状の領域Ａｎ（ｎ＝１，・・・Ｎ）を抽出する。図３（ｃ）に示す例では、道路と緑地との境界、道路における横断歩道や中央線の輪郭がエッジとして検出され、このエッジに基づいて領域分割されている。
【００２２】
なお、領域分割部１３では、エッジにより所定形状の領域に分割するのではなく、メッシュ領域に分割してもよい。メッシュ領域としては、１つのメッシュ領域に複数の属性が存在するのを極力無くすために、小領域単位（１画素単位も含む）とする。
【００２３】
属性識別部１４では、投影変換した地図データの各座標点（ｘ，ｙ）を領域分割した画像の各座標点（ｘ，ｙ）に対応付ける。つまり、投影変換した地図データと領域分割した撮像画像とを重ね合わせる。図３（ｄ）に示す例では、地図データの属性ａの領域（一点鎖線の横線領域）と属性ｂの領域（一点鎖線の縦線領域）とが領域分割画像に重ねられており、撮像画像の道路部分の領域に属性ａの領域がほぼ重なり、緑地部分の領域に属性ｂの領域がほぼ重なっている。しかし、ＧＰＳを利用した現在位置の検出誤差や投影変換によるずれ等があるので、投影変換した地図データの各属性の領域と分割領域とは正確には一致せず、多少ずれている。
【００２４】
属性識別部１４では、領域Ａｎ毎に、各属性ａ，ｂ，・・・が占める面積の割合Ｓｎａ，Ｓｎｂ，・・・をそれぞれ求める。図３（ｄ）に示す例では、撮像画像の道路部分の領域では属性ａが占める面積の割合が非常に大きくなり、撮像画像の緑地部分の領域では属性ｂが占める面積の割合が非常に大きくなる。そして、属性識別部１４では、式（４）により、領域Ａｎ毎に、地図データの属性ａ，ｂ，・・・である確率Ｐｎａ，Ｐｎｂ，・・・をそれぞれ求める。
【数２】
2005303537.tif 000004
【００２５】
Ｃは、定数である。関数ｆａ，ｆｂ，・・・は、各領域Ａｎにおいて各属性ａ，ｂ，・・・の存在確率を輝度によりそれぞれ求める関数であり、領域Ａｎの輝度平均を変数とする。関数ｇａ，ｇｂ，・・・は、各領域Ａｎにおいて各属性ａ，ｂ，・・・の存在確率を色合によりそれぞれ求める関数であり、領域Ａｎの色合平均を変数とする。輝度や色合の他にも彩度等の撮像画像から得られる他の要素を用いる。なお、式（４）では、各関数ｆ，ｇによる存在確率については適宜加味し、存在確率を用いる要素が多くなるほど属性の識別精度が向上する。また、処理負荷を軽減するために、式（４）を面積の割合Ｓｎａ，・・・だけを考慮した式としてもよい。
【００２６】
各領域Ａｎに対して全ての属性に対して確率Ｐｎａ，Ｐｎｂ，・・・を算出すると、属性識別部１４では、領域Ａｎ毎に確率Ｐｎａ，Ｐｎｂ，・・・から最大の確率を抽出し、その最大の確率の属性を各領域Ａｎにおける属性とする。このように、属性識別部１４では、全ての領域Ａ１，・・・ＡＮの属性を特定する。そして、属性識別部１４では、各属性（道路、緑地等）の領域情報を領域信号ＡＳとして走行支援システムに送信する。なお、撮像画像をメッシュ領域に分割した場合、上記と同様の手法により全てのメッシュ領域の属性を特定し、同一の属性であるメッシュ領域を結合していき、同一の属性で形成されるメッシュ領域群を一つの領域として統合する必要がある。あるメッシュ領域の周辺のメッシュ領域は同一の属性である確率が高いので、周辺のメッシュ領域の確率を考慮して属性を特定してもよい。
【００２７】
ちなみに、図３（ｄ）に示すように、投影変換した地図データの各属性の領域と撮像画像を分割した領域とは多少ずれるが、該当する属性の領域が分割した領域に占める面積の割合は非常に大きいので、その該当する属性である確率は最大となり、各領域の属性を識別することができる。
【００２８】
図１を参照して、道路環境認識装置１の動作を図４のフローチャートに沿って説明する。図４は、図１の道路環境認識装置における動作を示すフローチャートである。
【００２９】
ＧＰＳ受信機２では、ＧＰＳ衛星からの電波を受信し、当該ＧＰＳ衛星との距離等からなるＧＰＳ信号ＧＳを画像ＥＣＵ４に送信する（Ｓ１）。画像ＥＣＵ４では、３つ以上のＧＰＳ衛星に対応するＧＰＳ信号ＧＳ，・・・に基づいて車両の現在位置の座標を算出するとともに、過去の現在位置も用いて進行方向を算出する（Ｓ１）。
【００３０】
そして、画像ＥＣＵ４では、現在位置の座標を参照キーとして地図データベース１１を参照し、現在位置周辺の地図データを取得する（Ｓ２）。さらに、画像ＥＣＵ４では、現在位置の地図データ上の各点（Ｘ，Ｙ）をカメラ３の画像面上の各点（ｘ，ｙ）に投影変換する（Ｓ３）。
【００３１】
また、カメラ３では、車両前方を撮像し、撮像画像データからなる画像信号ＤＳを画像ＥＣＵ４に送信する（Ｓ４）。画像ＥＣＵ４では、画像信号ＤＳによる撮像画像を領域Ａｎに分割する（Ｓ５）。
【００３２】
そして、画像ＥＣＵ４では、投影変換した地図データの各点（ｘ，ｙ）と領域分割した撮像画像データの各点（ｘ，ｙ）とを対応付けし、領域Ａｎ毎に、各属性ａ，ｂ，・・・が占める面積の割合Ｓｎａ，Ｓｎｂ，・・・をそれぞれ算出し、各属性ａ，ｂ，・・・である確率Ｐｎａ，Ｐｎｂ，・・・をそれぞれ算出する（Ｓ６）。さらに、画像ＥＣＵ４では、領域Ａｎ毎に、確率Ｐｎａ，Ｐｎｂ，・・・から最大の確率を抽出し、その最大の確率となる属性をその領域の属性として特定する（Ｓ７）。そして、画像ＥＣＵ４では、識別した各属性の領域情報を領域信号ＡＳとして走行支援システムに送信する。なお、領域をメッシュ領域に分割している場合、画像ＥＣＵ４では、各領域Ａｎの属性を特定した後、属性毎に結合可能な領域Ａｎを統合して１つの領域とする。
【００３３】
この道路環境認識装置１によれば、投影変換した地図データと撮像画像とを重ね合わせることにより、撮像画像に写っている道路や緑地等の道路環境（属性）を高精度に識別することができる。さらに、道路環境認識装置１では、各分割領域の属性を識別する際に、地図データの各属性の領域と分割領域との重なっている面積の割合の他に、各属性の輝度や色合等の特性も加味しているので、識別精度が非常に高い。
【００３４】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００３５】
例えば、本実施の形態では識別した道路等の情報をレーンキープ装置や自動運転装置等の走行支援システムに利用する構成としたが、自動車以外の移動体（人、自転車等）における前方を認識に利用したり、あるいは、屋外で活動するロボットの前方認識等の他の分野でも利用可能である。
【００３６】
また、本実施の形態では道路や緑地等の道路環境を認識する構成としたが、交差点、踏切等の道路構成要素や建物等の他の属性を認識する構成としてもよい。
【００３７】
また、本実施の形態では現在位置を取得するためにＧＰＳを利用する構成としたが、ジャイロによる方向検出センサや車速センサ等を他のセンサを利用して現在位置を取得する構成としてもよい。
【００３８】
また、本実施の形態では地図データをカメラからの視点で投影変換し、投影変換した地図データを撮像画像に重ねる構成としたが、撮像画像を地図データの視点で投影変換し、投影変換した撮像画像を地図データに重ねる構成としてもよい。
【００３９】
また、本実施の形態では地図データを画像ＥＣＵ内の地図データベースに保持する構成としたが、ナビゲーションシステム等の地図データを利用できる場合には当該地図データを利用する構成としてもよい。この場合、地図保持手段は、ナビゲーションシステム等に構成されることになる。
【図面の簡単な説明】
【００４０】
【図１】本実施の形態に係る道路環境認識装置の構成図である。
【図２】図１の投影変換部における投影変換の説明図であり、（ａ）が画像面のｙ方向への変換を示す図であり、（ｂ）が画像面のｘ方向への変換を示す図である。
【図３】図１の道路環境認識装置における処理の一例であり、（ａ）が撮像画像であり、（ｂ）が現在位置周辺の地図データであり、（ｃ）が撮像画像の領域分割画像であり、（ｄ）が領域分割画像に投影変換した地図データを重ね合わせた画像である。
【図４】図１の道路環境認識装置における動作を示すフローチャートである。
【符号の説明】
【００４１】
１…道路環境認識装置、２…ＧＰＳ受信機、３…カメラ、４…画像ＥＣＵ、１０…現在位置処理部、１１…地図データベース、１２…投影変換部、１３…領域分割部、１４…属性識別部
【図１】
2005303537.tif 000005
【図２】
2005303537.tif 000006
【図３】
2005303537.tif 000007
【図４】
2005303537.tif 000008