(57)【要約】【目的】同色の物体が２つ重なっても、該２つの物体を正しく認識できるようにする「立体物識別装置および立体物識別方法」を提供することである。【構成】通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、該偏光成分に含まれる偏光の主軸方向θが同一と見なされる領域を区分し、該区分された各領域の移動方向を算出し、移動方向が同一である領域の画像部分を１つの物体として識別する。【選択図】図１
2009059260.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮影した画像より立体物を識別する立体物識別装置において、
通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得する画像取得部、
偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する偏光成分算出部、
偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分する偏光方向区分部、
前記区分された各領域の移動方向を算出する移動方向算出部、
移動方向が同一である領域の画像部分を１つの物体として識別する物体識別部、
を備えたことを特徴とする立体物識別装置。
【請求項２】
前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する反射部分識別部、
を備えたことを特徴とする請求項１記載の立体物識別装置。
【請求項３】
前記移動方向算出部は、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域からから前記代表点を選ばないようにする、
ことを特徴とする請求項２記載の立体物識別装置。
【請求項４】
前記画像取得部は、
画素毎に画像データを発生するイメージセンサー、
複数の画素を１組とするとき、各組のいくつかの画素に対応してそれぞれ通過する光線の偏光方向が異なる偏光子を備え、該イメージセンサーの前面に配設される偏光フィルタ、
を備えたことを特徴とする請求項１または２記載の立体物識別装置。
【請求項５】
カメラにより撮影した画像より立体物を識別する立体物識別方法において、
通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、
偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、
偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、
前記区分された各領域の移動方向を算出し、
移動方向が同一である領域の画像部分を１つの物体として識別する、
ことを特徴とする立体物識別方法。
【請求項６】
前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する、
ことを特徴とする請求項５記載の立体物識別方法。
【請求項７】
前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域から前記代表点を選ばないようにする、
ことを特徴とする請求項６記載の立体物識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体物識別装置および立体物識別方法に関わり、特に、カメラにより撮影した画像より立体物を識別する立体物識別装置および立体物識別方法に関する。
【背景技術】
【０００２】
車庫入れや駐車等に際して運転手を支援するための支援システムが研究され、実用化されている。かかる運転手支援システムは、車載カメラで撮影した画像より障害物としての立体物を検出して運転者に警告する。車載カメラで立体物を検出する場合、エッジを検出し、該エッジに対してオプティカルフロー処理を適用して移動方向を求め、移動方向が同じ画像部分を同一の立体物として識別する。しかし、かかる方法では、同色の物体が２つ重なるとエッジ検出ができず、２つの立体物を正しく認識することができない問題がある。また、物体に反射により他の物体が映り込む場合や他の物体の影が形成されると、反射部や影部をエッジ検出し、誤ってオプティカルフロー（速度ベクトル）を算出し、間違った立体物検出をする問題がある。
【０００３】
従来技術として、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部、正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部、異なる時刻で得られた少なくとも２つの前記俯瞰画像から差分画像を求め、この差分画像に基づいて車両の周辺に存在する立体物を識別する立体物識別部を備えた車両周辺画像表示装置が提案されている。しかし、この従来技術は、上記問題点を解決するものではない。
【特許文献１】特開2006-253872号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、同色の物体が２つ重なっても、該２つの物体を正しく認識できるようにすることである。
本発明の別の目的は、物体に反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出できるようにすることである。
【課題を解決するための手段】
【０００５】
・立体物識別装置
本発明は、カメラにより撮影した画像より立体物を識別する立体物識別装置であり、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得する画像取得部、偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する偏光成分算出部、偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分する偏光方向区分部、前記区分された各領域の移動方向を算出する移動方向算出部、移動方向が同一である領域の画像部分を１つの物体として識別する物体識別部を備えている。
上記立体物識別装置は更に、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する反射部分識別部を備えている。
前記移動方向算出部は、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域からから前記代表点を選ばないようにする。前記画像取得部は、画素毎に画像データを発生するイメージセンサー、複数の画素を１組とするとき、各組のいくつかの画素に対応してそれぞれ通過する光線の偏光方向が異なる偏光子を備え、該イメージセンサーの前面に配設される偏光フィルタを備えている。
・立体物識別方法
本発明はカメラにより撮影した画像より立体物を識別する立体物識別方法であり、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得するステップ、偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出するステップ、偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分するステップ、前記区分された各領域の移動方向を算出するステップ、移動方向が同一である領域の画像部分を１つの物体として識別するステップを有している。
上記立体物識別方法は更に、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定するステップを有している。
上記移動方向算出ステップにおいて、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域から前記代表点を選ばないようにする。
【発明の効果】
【０００６】
本発明によれば、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、該偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、該区分された各領域の移動方向を算出し、移動方向が同一である領域の画像部分を１つの物体として識別するように構成したから、同色の物体が２つ重なっても、偏光の主軸方向が同一とならないため、該２つの物体を分離して正しく認識することができる。
また、本発明によれば、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きな領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域とみなして削除するため、物体に反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出することができる。
また、本発明によれば、区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域や影領域から代表点を選ばないようにすることにより間違った立体物の検出をなくすことができる。
【発明を実施するための最良の形態】
【０００７】
（A）第１実施例
図１は第１実施例の立体物識別装置の構成図であり、車載カメラ１１はレンズ１１a、CCD（Charge Coupled Device）などのイメージセンサー１１b、光線の偏光方向が異なる偏光子を規則的に備えた偏光フィルタ部１１cを有している。
光は電磁波であり、電磁場は光の進行方向と垂直に振動する横波である。偏光には直線偏光、円偏光、楕円偏光があり、直線偏光は電場の振動方向が一定であり、図２(A)に示すように水平方向に振動する偏光は水平偏光(偏光方向＝00)、（B）に示すように垂直方向に振動する偏光は垂直偏光(偏光方向＝900)である。円偏光は(C)に示すように振動が伝播に伴って円を描き、楕円偏光は直線偏光と円偏光の一次結合したものである。偏光子は図３に示すように自然光(無偏光)や円偏光から直線偏光を作り出すものであり、換言すれば、入力光より所定偏光方向の光線だけを通過するものである。
【０００８】
CCD １１bはN×M個の画素毎に画像データを発生するように構成されており、偏光フィルタ部１１cは図４に示すようにイメージセンサー１１bの前面に設けられ、３×３個の画素を１組とするとき、各組の４つの画素P1，P3，P5，P7に対応して４つの偏光子A〜Dを備えている。偏光子A〜Dはそれぞれ通過する光線の偏光方向が異なり、00，450，900，1350である。この結果、画素P1，P3，P5，P7のCCDから光線の偏光方向がそれぞれ00，450，900，1350の画像データが得られ、それ以外のCCD画素P2，P4，P6，P8，P9からは通常の画像データが得られる。偏光フィルタ部１１cは偏光子フィルムあるいはフォトニック結晶板で形成され、CCDの前面に被着される。
偏光方向を変えながら直線偏光を被写体に照射して所定の画素の光強度を測定すると図５（A）に示すようになる。（A）において、(1)、(2)、(3)、(4)は直線偏光の偏光方向がそれぞれ、00，450，900，1350における光強度である。これより、図４に示すように近接する4つの画素P1，P3，P5，P7に偏光方向がそれぞれ、00，450，900，1350の偏光子A〜Dを設け、各偏光子を通過したCCD画素の光強度(偏光強度)を測定すれば、図５（A）の(1)、(2)、(3)、(4)に応じた偏光強度が得られる。
【０００９】
偏光の主軸方向(偏光強度が最大となる方向)をθ、偏光強度の変動振幅をA、偏光強度の平均値をB、偏光子の方位をmとすれば、各偏光子の受光強度は次式
【数１】
2009059260.tif 000003
で与えられることが知られている(電子情報通信学会論文誌、2007/1 Vol.J90-C No.1参照)。すなわち、偏光子A〜Dに対応するCCD画素より図５（B）に示すように偏光方向がそれぞれ、00，450，900，1350の偏光成分強度Fm1、Fm2、Fm3、Fm4が得られる。4つの偏光子を通過した偏光成分強度Fm1、Fm2、Fm3、Fm4をフーリエ変換することにより(1)式における偏光成分θ、A、Bを算出することができる。
【００１０】
図１に戻って説明すると、画像メモリ１２はN×M画素の画像データを保存し、フーリエ解析部(偏光成分算出部)１３は、３×３画素よりなる全組の画素P1，P3，P5，P7の偏光成分強度Fm1、Fm2、Fm3、Fm4にフーリエ変換を施して全組の偏光成分θ、A、Bを算出して偏光成分保存メモリ１４に格納する。立体物の同一面における偏光主軸方向θは同一であるから、偏光方向区分部１５は、偏光主軸方向θが同一であるとみなす領域を区分する。
なお、00，450，900，1350の４つの偏光成分強度Fm1、Fm2、Fm3、Fm4より偏光主軸方向θを算出しているため、偏光主軸方向θの分解能は高くない。このため、同一と見なす角度範囲を予め設定し、同一角度範囲内に存在すれば偏光主軸方向は同一であると判定して領域を区分する。
図６は車両CARを被写体とし、カメラ１１より出力される画像データにフーリエ変換を施して得られた偏光主軸方向θのプロット図であり、図７は偏光主軸方向θが同一であるとみなす領域を区分した結果であり、区分けされた各領域は立体物の１つの面であると認識される。以上から、図８に示すように２つの同色の物体５１、５２が重なってもその面の角度が異なるから異なった面として識別することが可能となる。
オプティカルフロー部１６は周知のオプティカルフロー処理により前記区分された各領域内の少なくとも１つの代表点の移動方向を算出して該領域の移動方向とする。物体識別部１７は移動方向が同一の領域は同一立体物の画像部分であると認識する。この結果、図７の立体物(車両)の例では全領域の移動方向が同一となるため、物体識別部１７は１つの立体物であると識別する。また、図８の例では、同色の物体５１と物体５２の移動方向が異なるため、物体識別部１７はこれらが異なる立体物であると識別する。
【００１１】
図９はオプティカルフロー処理の説明図である。オプティカルフローは、異なる時間に撮影された２枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータとして表現したものである。図９はブロックマッチング法によりオプティカルフローを求めるもので、画像Aの画素aが画像Bのどの位置に移動したか調べ、該移動先a′が求まれば、aからa′へのベクトルがオプティカルフローとなり、該ベクトルの方向が移動方向となる。
第１実施例によれば、同色の物体が２つ重なっても、偏光の主軸方向が同一とならないため、該２つの物体を正しく認識することができる。
【００１２】
（B）第２実施例
図１０は第２実施例の立体物識別装置の構成図であり、反射領域及び影領域を異なる物体と認識しないようにした実施例であり、反射部分識別部２１を設けた点が図１の第１実施例と異なる。
図１１は着目しているビルディングBLの窓ガラスに道路を挟んだ向うのビルディングが映し込まれている状態を示しており、この反射領域を異なる物体であると認識しないようにする必要がある。また、図示しないが着目している対象物に建物の影が映る場合もありかかる影領域を異なる物体であると認識しないようにする必要がある。
反射部分識別部２１は、偏光の主軸方向が同一と見なされる領域内に、偏光成分（偏光強度の変動振幅Aあるいは偏光強度の平均値B）が、該領域全体の平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域は反射領域あるいは影領域とみなし、該反射領域情報あるいは影領域情報をオプティカルフロー部１６に入力する。
【００１３】
オプティカルフロー部１６はオプティカルフロー処理により前記区分された各領域の代表点の移動方向を算出して該領域の移動方向を決定するが、反射領域あるいは影領域から代表点を選ばないようにする。物体識別部１７は移動方向が同一の領域は同一立体物の画像部分であると認識する。
オプティカルフロー部１６が反射領域あるいは影領域から代表点を選ばない理由は、反射領域あるいは影領域の移動方向と、それが映された領域の移動方向が異なるため、反射領域あるいは影領域から代表点を選ぶと物体識別部１７が異なった物体であると認識するからである。
第２実施例によれば反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出することができる。また、区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域や影領域から代表点を選ばないようにすることにより間違った立体物の検出をなくすことができる。
【００１４】
以上では、図４に示すように３×３個の画素を１組とし、各組の４つの画素P1，P3，P5，P7に対応して４つの偏光子A〜Dを備えた偏光フィルタを使用した場合であるが、一般にn×m個の画素を１組とし、各組のk個の画素に対応してｋ個の偏光子を備えた偏光フィルタを使用することができる。図１２は２×２個の画素を１組とし、各組の２つの画素P1，P3に対応して２つの偏光子を備えた偏光フィルタの例であり、偏光子の数が多いほど偏光主軸方向θの分解能が向上する。
【図面の簡単な説明】
【００１５】
【図１】第１実施例の立体物識別装置の構成図である。
【図２】光線の偏光方向説明図である。
【図３】偏光子の動作説明図である。
【図４】偏光フィルタ部の構成図である。
【図５】偏光方向を変えながら直線偏光を被写体に照射したときの光強度曲線である。
【図６】車両CARを被写体とし、カメラより出力される画像データにフーリエ変換を施して得られた偏光主軸方向θのプロット図である。
【図７】偏光主軸方向θが同一であるとみなす領域を区分した結果の説明図である。
【図８】同色の物体が重なっても識別可能となることを説明するための図である。
【図９】オプティカルフロー処理の説明図である。
【図１０】第２実施例の立体物識別装置の構成図である。
【図１１】着目しているビルディングBLの窓ガラスに道路を挟んだ向うのビルディングが映し込まれている状態の説明図である。
【図１２】偏光フィルタの別の例である。
【符号の説明】
【００１６】
１１  車載カメラ１１
１１a  レンズ
１１b  CCD（Charge Coupled Device）などのイメージセンサー
１１c  偏光フィルタ部
１２  画像メモリ
１３  フーリエ解析部(偏光成分算出部)
１４  偏光成分保存メモリ
１５  偏光方向区分部
１６  オプティカルフロー部
１７  物体識別部
２１  反射部分識別部
【図１】
2009059260.tif 000004
【図２】
2009059260.tif 000005
【図３】
2009059260.tif 000006
【図４】
2009059260.tif 000007
【図５】
2009059260.tif 000008
【図６】
2009059260.tif 000009
【図７】
2009059260.tif 000010
【図８】
2009059260.tif 000011
【図９】
2009059260.tif 000012
【図１０】
2009059260.tif 000013
【図１１】
2009059260.tif 000014
【図１２】
2009059260.tif 000015