(57)【要約】【課題】画像処理の負荷が少ない簡単な手法を用いて、特定の画像から多くのエッジを検出することができるようにした「立体物検出方法及び装置」を得る。【解決手段】カメラ撮影画像にアンチエイリアス処理を行った画像と、アンチエイリアス処理を行わない画像との両画像に対して、各々エッジ検出処理を行ってエッジを検出し、両画像のエッジ検出点を用いてオプティカルフローを算出し、立体物を検出する。その方法を実施する装置としては、エッジ検出部５に入力した撮影画像をそのまま用いてエッジを検出する撮影原画像エッジ検出部６と、アンチエイリアス処理を行った画像を用いてエッジを検出するアンチエイリアス処理画像エッジ検出部７とを設け、両画像を重ね合わせる等によって検出エッジを比較し、同じ検出点を判別してこれをまとめる。その合計エッジ検出点を用いてオプティカルフロー処理をし、立体物を検出する。【選択図】図１
2009053780.tif 000002
【特許請求の範囲】
【請求項１】
カメラ撮影画像にアンチエイリアス処理を行った画像と、該アンチエイリアス処理を行わない画像との両画像に対して、各々エッジ検出処理を行ってエッジを検出し、両画像のエッジ検出点を用いてオプティカルフローを算出し、立体物を検出することを特徴とする立体物検出方法。
【請求項２】
撮影画像入力部で入力したカメラ撮影画像に対してアンチエイリアス処理を行うアンチエイリアス処理部と、
前記撮影画像入力部に入力して前記アンチエイリアス処理部で処理を行っていない撮影原画像に対してエッジ検出処理を行う撮影原画像エッジ検出部と、
前記アンチエイリアス処理部で処理した画像に対してエッジ検出処理を行うアンチエイリアス処理画像エッジ検出部と、
前記撮影原画像エッジ検出部で検出したエッジ検出点と、前記アンチエイリアス処理画像エッジ検出部で検出したエッジ検出点とを比較して共通のエッジ検出点をまとめ、合計のエッジ検出点を得る検出エッジ比較判別部と、
前記検出エッジ比較判別部で得られた合計のエッジ検出点に基づいてオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部で得られたデータにより立体物を検出する立体物検出部とを備えたことを特徴とする立体物検出装置。
【請求項３】
前記立体物検出装置を、車外を撮影するカメラにより車両の走行に障害となる障害物を検出する装置として用いることを特徴とする請求項２記載の車両用立体物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラの撮影画像から立体物体を検出するに際し、特に撮影画像のエッジを検出してその検出点のオプティカルフローを計算し、そのフローの差分から立体物を検出する立体物検出方法及びその方法を実施する立体物検出装置に関する。
【背景技術】
【０００２】
例えば車両の運転者にとって、車両を狭い車庫や駐車場に入れるとき、また出すときには、周囲の物体や人間に対して十分注意する必要がある。またそれ以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。その対策として、車両の後方を撮影するカメラ等の車外撮影用カメラを設け、その撮影画像をモニタに表示して、運転者が見にくい部分をモニタの画像で確認しながら運転することも行われるようになっている。
【０００３】
しかしながらこのような車外撮影カメラの撮影画像を表示しているモニタの画面においては、表示されている画像は平面画像であるため、その中に車両にとって障害物となる物が存在しても、運転者には路面の模様であるのか障害物であるのかの区別を明瞭に知ることができない。そのため、カメラで撮影した画像の中に立体物があるとき、これを何らかの手段で表示することが必要とされている。
【０００４】
また、近年は車両の周囲を撮影するカメラを複数設け、各カメラの撮影画像を切り換えてモニタに表示するのみでは、前記のような立体物の検出では同様の問題が生じると共に、カメラの撮影範囲に応じた表示の切り替え時に、障害物と思われるものの画面での位置が大きく変化し、見にくいという問題もある。
【０００５】
その対策として、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示するシステムが提案されている。そのような複数のカメラを用いる際には例えば図４に示すように、車両１１の右側、左側、後方、前方をそれぞれ撮影する車両右側撮影用カメラ１２、車両左側撮影用カメラ１３、車両後方撮影用カメラ１４、車両前方撮影用カメラ１５の合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図４（ｂ）に画像１６として略示するように、あたかも車両の真上に設けた１つのカメラにより車両１１の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。
【０００６】
ただし、このような技術を用いても立体物１７を撮影した画像は、モニタ画面上では平面に展開されて表示されるため、必ずしも明瞭に表示することができない。その対策として後方撮影用カメラの画像における地上高のある目標物に対して、画面上でマーカー表示を行う技術は下記特許文献１に開示されており、また、トップビューシステムにおいて立体物を検出して、立体物の基部に見易いマークを施す技術は本件出願人により下記特許文献２の技術を提案している。  
【０００７】
なお、上記のように周囲を撮影して表示した画面の中で、立体物を検出する技術は上記のような車両の周囲を撮影して表示する技術以外に、例えばロボットの技術分野において、周囲を撮影した画像からロボットの走行に障害になる立体物を検出し、或いは操作しようとする立体物を検出するために必要となる等、各種の産業分野で必要とされている技術である。
【０００８】
このようなカメラ撮影画像から立体物を検出するには従来より種々の手法が提案されており、最も広く用いられている技術は２個のカメラの撮影画像を用いた三角測量の原理で撮影画像を立体画像化し、その中から障害となる立体物を検出する技術は確立している。この手法では同一物を常に２個のカメラで撮影する必要があるため、これを例えば車両に搭載するとき、前記図４に示すように前後左右を撮影する４個のカメラを用いたとしても、２個のカメラで共通して撮影する範囲は狭く、殆どは１個のカメラで撮影した画像とならざるを得ず、この技術をそのまま用いることは困難である。
【０００９】
そのため、カメラの撮影画像から立体物を検出する他の手法として、カメラを搭載した物体が移動することを利用して、１つのカメラで撮影した画像でも、カメラ搭載物体が移動する前と後とでは、立体物の場合は見え方が異なることを利用して立体物の検出を行う手法が採用される。この手法では、画像の中でエッジとなっているものを検出し、そのエッジ部分がカメラ搭載物体の移動後の次の画面でどのように変化しているかをベクトルの変化で検出する手法であり、この動きベクトルをオプティカルフローとして計算し、そのフロー（ベクトル）の差分から立体物を検出する。なお、このようにオプティカルフローを算出することにより、他の車両等の立体物を検出する手法は下記特許文献３に開示されている。
【特許文献１】特開２００４−０５６２１９号公報
【特許文献２】特開２００７−０８７２３６号公報
【特許文献３】特開平１０−１１５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のように、カメラで撮影した画像の中から立体物を検出するに際して、画像の中で特徴的な部分である画像のエッジ部分を検出するときには、背景が同じ系統の色であったり、エッジの円滑化処理（アンチエイリアス処理）がされていると、エッジを充分に検出できず、立体物を正確に認識できない問題があった。一方で、画像全ての画素でオプティカルフローを算出すると非常に時間がかかり、リアルタイム性が難しいという問題もあった。
【００１１】
したがって本発明は、画像処理の負荷が少ない簡単な手法を用いて、特定の画像から多くのエッジを検出することができるようにした立体物検出方法及びその方法を実施する立体物検出装置を提供することを主たる目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る立体物検出方法は、上記課題を解決するため、カメラ撮影画像にアンチエイリアス処理を行った画像と、該アンチエイリアス処理を行わない画像との両画像に対して、各々エッジ検出処理を行ってエッジを検出し、両画像のエッジ検出点を用いてオプティカルフローを算出し、立体物を検出することを特徴とする。
【００１３】
また、本発明に係る立体物検出装置は、撮影画像入力部で入力したカメラ撮影画像に対してアンチエイリアス処理を行うアンチエイリアス処理部と、前記撮影画像入力部に入力して前記アンチエイリアス処理部で処理を行っていない撮影原画像に対してエッジ検出処理を行う撮影原画像エッジ検出部と、前記アンチエイリアス処理部で処理した画像に対してエッジ検出処理を行うアンチエイリアス処理画像エッジ検出部と、前記撮影原画像エッジ検出部で検出したエッジ検出点と、前記アンチエイリアス処理画像エッジ検出部で検出したエッジ検出点とを比較して共通のエッジ検出点をまとめ、合計のエッジ検出点を得る検出エッジ比較判別部と、前記検出エッジ比較判別部で得られた合計のエッジ検出点に基づいてオプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフロー算出部で得られたデータにより立体物を検出する立体物検出部とを備えたことを特徴とする。
【００１４】
また、本発明に係る他の立体物検出装置は、前記立体物検出装置において、前記立体物検出装置を、車外を撮影するカメラにより車両の走行に障害となる障害物を検出する装置として用いることを特徴とする。
【発明の効果】
【００１５】
本発明は上記のように構成したので、カメラ撮影画像に基づき、同じタイミングで同じ位置を撮影して取得した２枚の画像を用いることができ、その画像に対して各々エッジを検出しているので、検出点を容易に補間しあうことができ、検出点を増加させることができる。そのため、新たな画像を作る等、格別の画像処理を行うこと無く、また特別の演算処理を行う必要が無く、効果的にしかも精度良く立体物の検出を行うことができる。特にアンチエイリアス処理を行っていない画像は多くのエッジを検出することができ、特別に処理を行わない画像を有効に利用することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、カメラで撮影した画像に基づきエッジを検出する際、特別の処理を行うことなく効果的にしかも精度良く立体物の検出を行うようにするという目的を、カメラ撮影画像にアンチエイリアス処理を行った画像と、該アンチエイリアス処理を行わない画像との両画像に対して、各々エッジ検出処理を行ってエッジを検出し、両画像のエッジ検出点を用いてオプティカルフローを算出し、立体物を検出することにより実現した。
【実施例１】
【００１７】
本発明の実施例を図面に沿って説明する。図１は本発明における立体物検出処理において、主要な処理である、カメラ撮影画像から立体物を検出する処理を主として行う画像処理部１の機能ブロック図を示している。図示の例においてはカメラで撮影した画像を入力する撮影画像入力部２を備え、ここで入力した画像をアンチエイリアス処理部３に出力している。このアンチエイリアス処理部３においては、従来からカメラ撮影画像をディスプレイに表示するために広く用いられている処理を行うものであり、撮影画像入力部２で入力した例えば図３（ａ）のような画素単位の粗い原画像に対して、ローパスフィルタ（ＬＰＦ）処理を行うことにより、図３（ｂ）に示すような撮影画像が平滑化した処理画像を得る。
【００１８】
このようにしてアンチエイリアス処理を行った画像は、ディスプレイ用画像出力部４からディスプレイに対して出力を行い、きれいな画像をディスプレイに表示する。なお、図示実施例ではカメラ撮影画像をディスプレイに表示する例を示したが、例えばロボットが周囲の物体の存在を認識するためにカメラ撮影画像を用いるときには、前記のようにしてアンチエイリアス処理を行った画像データを用いて鮮明な画像とし、周囲の状態の確認を行う等、カメラ撮影画像を利用する各種の分野でそれぞれの利用がなされる。
【００１９】
図１に示すエッジ検出部５においては、前記撮影画像入力部２に入力した図３（ａ）のような画素単位の粗い画像を撮影原画像エッジ検出部６に入力し、また、アンチエイリアス処理部３からの同図（ｂ）のようなディスプレイ表示用に処理した画像をアンチエイリアス処理画像エッジ検出部７に入力している。撮影原画像エッジ検出部６においては、前記のように粗い画像に基づいてエッジ検出を行うものであり、画像における本来の直線部分もギザギザな線として表れるため、図３（ｃ）においてエッジ検出点Ａ１〜１３として示すような多くの検出点を得ることができる。
【００２０】
それに対してアンチエイリアス処理画像エッジ検出部７においては、前記のようにギザギザ部分を平滑化する処理を行って同図（ｂ）のような画像となっているため、同図（ｄ）においてエッジ検出点Ｂ１〜８として示すように比較的少ない検出点しか得られない。なお、従来の立体物検出手法においては、多くの場合このようなアンチエイリアス処理を行った画像において、画像の特徴点である前記のようなエッジ検出処理を行っている。
【００２１】
図１におけるエッジ検出部５の検出エッジ比較判別部８では、前記のようにして得られた図３（ｃ）のような撮影原画像からのエッジ検出点Ａ１〜１３と、図３（ｄ）のようなアンチエイリアス処理を行った画像からのエッジ検出点Ｂ１〜８とを、同図（ｃ）と（ｄ）の画像を重ね合わせる等の手法により比較し、両画像のエッジ検出点で同一の点であるときにはこれをまとめて共通のエッジ検出点とし、それ以外の部分を個々の画像特有のエッジ検出点とする。このとき両画像は同一時点の同一部分を撮影した画像であり、両画像の比較は特別の処理を行うことなく容易に且つ正確に行うことができる。
【００２２】
その結果、例えば図３（ｅ）に示すように、原画像のエッジ検出点Ａ１はアンチエイリアス処理を行った画像のエッジ検出点Ｂ１と同一の点であり、同様にしてＡ５はＢ３と、Ａ９はＢ５と、Ａ１３はＢ８と同一点であって、これをまとめることができ、その他のエッジ検出点は個々の画像特有のエッジ検出点であることがわかる。その結果、両画像のエッジ検出点は合計として示すようにＰ１〜Ｐ１７の１７個のエッジ検出点を得ることができる。
【００２３】
上記のように、従来から用いられているアンチエイリアス処理を行った画像からエッジを検出すると画像の特徴点であるエッジはあまり多く検出できないのに対して、アンチエイリアス処理を行っていない原画像では画素単位の粗い画像であるため、多くのエッジ検出点を得ることができる。しかもこのような原画像のエッジ検出点と、アンチエイリアス処理を行った画像のエッジ検出点との両方を用いることにより、それぞれ特有の画像特徴点が存在し、異なったエッジ検出点も得られるため、多くのエッジを検出することができ、後述するような立体物検出のためのオプティカルフロー算出のベクトルを多く得ることができ、より正確な立体物の検出を行うことが可能となる。
【００２４】
図１の例においては前記のようにしてエッジ検出部５における検出エッジ比較判別８で両画像のエッジ検出点の比較を行い、その結果得られた２画像の合計エッジ検出点をオプティカルフロー算出部９に出力し、従来と同様の手法により各エッジ検出点に基づいてベクトルを得て、その動きとしてのオプティカルフローを算出する。立体物検出部１０はその算出結果のデータに基づき、撮影画像中から立体物を検出する。
【００２５】
立体物検出部１０で撮影画像中に立体物を検出したときには、この画像処理部１が前記従来技術として示した図４のトップビューシステムに用いられるものである際は、同図（ａ）に示す車外の障害物１７を同図（ｂ）のようにモニタに表示するとき、前記従来例のようにその物体の画像の基部に見易い目印を付与し、或いは図４（ｃ）のように見易い縁取りを行い、更には赤く着色する等、運転者が直ちにわかるような表示を行う。また、ロボット等に用いるときには、これを危険物として認識し、或いは操作物体として認識する等、各種の処理に用いる。
【００２６】
図１に示すような機能ブロックからなる本発明の例においては、例えば図２に示す作動フローにしたがって処理を行うことにより、本発明を実施することができる。図２に示すオプティカルフローによる立体物の検出処理においては、最初撮影画像の取り込みを行い（ステップＳ１）、次いで撮影画像モニタ出力用に、ローパスフィルタ処理等によってアンチエイリアス処理を行う（ステップＳ２）。これらの処理は図１の撮影画像入力部２で入力した画像をアンチエイリアス処理部３で処理を行うことによりなされる。
【００２７】
次いでステップＳ１で取り込んだ撮影画像の原画像を用いたエッジ検出処理を行い（ステップＳ３）、その後、或いはステップＳ３の処理と共に、ステップＳ２で処理を行って得られたアンチエイリアス処理画像を用いてエッジ検出処理を行う（ステップＳ４）。これらの処理はエッジ検出部５の撮影原画像エッジ検出部６と、アンチエイリアス処理画像エッジ検出部７とにおいてそれぞれ行う。
【００２８】
次いで撮影原画像とアンチエイリアス処理を行った画像を重ねて、２つの画像の検出点を加える処理を行う（ステップＳ５）。この処理は図１の検出エッジ比較判別部８において行い、図３（ｅ）のようにして合計エッジ検出点を得る。その後全検出点でのオプティカルフローの算出を行い（ステップＳ６）、オプティカルフローの差分から立体物の検出を行う（ステップＳ７）。
【００２９】
なお、前記の例においては撮影原画像を用いて画素単位の粗さとなっている原画像に対してエッジ検出処理を行うことにより、多くのエッジ検出点を得ることができるものであるが、このような粗い画像を得る手法としては、比較的滑らかな輪郭の画像でもこれをそのまま拡大すると粗い輪郭の画像が得られることを利用し、このような手法によってもカメラ撮影画像をアンチエイリアス処理していない画像を得て、エッジ検出処理を行うこともできる。
【産業上の利用分野】
【００３０】
本発明は前記のような車両に搭載するトップビューシステム等の車外の立体物検出のために用いるほか、ロボットにおける立体物の検出等、カメラを搭載して移動する各種物体における立体物検出、或いは固定したカメラで撮影される画像の中で立体物の移動の検出等、種々の分野で利用することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例の機能ブロック図である。
【図２】同実施例の作動フロー図である。
【図３】同実施例のにおけるエッジ検出点の処理例を示す図である。
【図４】従来のトップビューシステムと立体物表示の例を示す図である。
【符号の説明】
【００３２】
１  画像処理部  
２  撮影画像入力部
３  アンチエイリアス処理部
４  ディスプレイ用画像出力部
５  エッジ検出部
６  撮影原画像エッジ検出部
７  アンチエイリアス処理画像エッジ検出部
８  検出エッジ比較判別部
９  オプティカルフロー算出部
１０  立体物検出部
【図１】
2009053780.tif 000003
【図２】
2009053780.tif 000004
【図３】
2009053780.tif 000005
【図４】
2009053780.tif 000006