(57)【要約】【課題】  撮像した画像から移動する物体を高精度で切り分けることの可能な画像処理装置を提供する。【解決手段】  例えばＵＷＢ通信等で被写体までの距離を測距し各画素に対応させた距離画像を時刻Ｔ１及び時刻Ｔ２において作成する（ステップ２０１、ステップ２０２）。時刻Ｔ１及び時刻Ｔ２における距離画像の各画素の差分から、各画素の被写体の速度を算出した速度画像を作成し（ステップ２０３）、これを元に画像の領域分割を行い（ステップ２０４及びステップ２０５）、適切な領域を選択する（ステップ２０６）。【選択図】      図２
2006155037.tif 000002
【特許請求の範囲】
【請求項１】
被写体の速度情報を各画素に対応させた速度画像を作成する速度画像作成手段と、
前記速度画像作成手段により作成された前記速度画像に対し、前記速度情報に基づいた強調処理を行って強調処理画像を作成する強調処理手段と、
前記強調処理手段により作成された強調処理画像を、複数の領域に分割する画像領域分割手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記画像領域分割手段により分割された前記複数の領域のうち、１つの領域を抽出するための抽出手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置において、
前記被写体までの距離情報を取得する測距手段をさらに備え、
前記抽出手段は、前記測距手段により得られた前記距離情報に基づいて１つの領域を抽出することを特徴とする画像処理装置。
【請求項４】
被写体の速度情報を各画素に対応させた速度画像を作成するステップと、
前記速度画像に対し、前記速度情報に基づいた強調処理を行って強調処理画像を作成するステップと、
前記強調処理画像を複数の領域に分割するステップと
を備えることを特徴とする画像処理方法。
【請求項５】
請求項４記載の画像処理方法において、
前記複数の領域のうち、１つの領域を抽出するステップをさらに備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の速度に基づいて画像を処理する画像処理装置、及び被写体の速度に基づいて画像を処理する画像処理方法に関する。
【背景技術】
【０００２】
撮像した画像を、様々な物体に相当する部分等に切り分けたいことがある。例えば、近づいてくる車両等を避けることの可能な自動走行車両を実装する上では、道路を走行している車両を含む範囲を撮像し、その車両をひとつの物体として撮像画像から切り出す必要がある。このような場合において、撮像画像のそれぞれの画素毎の色や明るさ等の画像情報に基づいてそれぞれの物体に分割する方法が従来より広く知られているが、近年、このような画像情報のみに基づいて処理した場合よりも高い精度で撮像画像を分割するべく、距離情報を用いる手法が考えられている（例えば、特許文献１参照）。特許文献１には、被写体に測距光を照射し、その反射光が入力されるまでの時間を測定することで距離情報を取得し、その距離情報に微分マスクを施すことで物体の輪郭線が強調された微分処理画像を得て、物体を抽出する手法が提案されている。
【０００３】
一般的に距離を用いて物体を抽出する場合、例えば車両を前から測距してこれを抽出する場合には、撮像装置から、タイヤ、バンパ、又はフロントガラスまでの距離はそれぞれ異なるため、車両全体が一体としてではなく、これらの部位がそれぞれ別の物体と認識される可能性がある。この問題を避けるべく、特許文献１では、閾値を設け、切り分けたオブジェクト群の中で、距離がある一定範囲内に収まるオブジェクト群をひとつの領域とする手法が提案されている。
【０００４】
【特許文献１】特開２００１−１４５１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のような手法では一般に、目的の物体を的確に抽出するための閾値を的確に設定することが困難である。また、距離情報を用いているために、例えば撮像装置から同じ距離の地点に近づいてくる車両と離れていく車両が並ぶ場合には、それらを区別することができない。
【０００６】
そこで本発明は、撮像した画像から移動する物体を高精度で切り分けることの可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、被写体の速度情報を各画素に対応させた速度画像を作成する速度画像作成手段と、前記速度画像作成手段により作成された前記速度画像に対し、前記速度情報に基づいた強調処理を行って強調処理画像を作成する強調処理手段と、前記強調処理手段により作成された強調処理画像を、複数の領域に分割する画像領域分割手段とを備えることを特徴とする。
【０００８】
本発明の画像処理方法は、被写体の速度情報を各画素に対応させた速度画像を作成するステップと、前記速度画像に対し、前記速度情報に基づいた強調処理を行って強調処理画像を作成するステップと、前記強調処理画像を複数の領域に分割するステップとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像した画像から移動する物体を高精度で切り分けることの可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の画像処理装置及び画像処理方法について、図面を参照しながら説明する。
【実施例１】
【００１１】
図１は、本実施例にかかる画像処理装置の構成を示すブロック図である。画像処理装置１０は、全体の制御や演算処理等を行う制御部１０１、画像の撮像を行う撮像部１０２、被写体までの距離を測定する測距無線部１０３、撮像した画像からオブジェクトを抽出するオブジェクト抽出部１０４、撮像した画像や、それに対応するそれぞれの画素の距離情報、速度情報、オブジェクト抽出部１０４により抽出されたオブジェクトが記憶される記憶部１０５から構成される。
【００１２】
制御部１０１は、所定のプログラムに従って画像処理装置１０全体の動作を制御する制御手段として機能すると共に、各種演算を行う演算手段として機能する。
撮像部１０２は、画像の撮像を行う。
測距無線部１０３は、被写体までの距離を測定する。インパルス信号を生成するパルス生成部１１１と、インパルス信号を送信し、被写体から反射されたインパルス信号を受信するアンテナ１１２と、パルス生成部１１１で作成されたインパルス信号とアンテナ１１２から受信した反射後の信号との相関を見る相関部１１３と、相関部１１３での相関から遅延時間を算出する遅延時間算出部１１４と、遅延時間から被写体までの距離を算出する距離算出部１１５と、距離の算出を元に速度を求める速度算出部１１６とから構成される。尚、測距無線部１０３では、微弱なインパルス信号で情報を載せることも可能な無線方式である、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）通信により測距を行う。本実施例にかかる測距無線部１０３ではインパルス方式により測距を行っているが、直接拡散方式や、周波数ホッピング方式のレーダを用いても良い。
【００１３】
パルス生成部１１１は、制御部１０１の制御を受けた遅延時間算出部１１４からスタート信号に基づいて作成される拡散符号信号をインパルス信号で変調し、ＵＷＢ方式で拡散されたＵＷＢ信号を生成する。このＵＷＢ信号は、アンテナ１１２から送出される。また、変調に用いたインパルス信号は、相関部１１３に供給する。
【００１４】
アンテナ１１２は、パルス発生部１１１から供給されたＵＷＢ信号を被写体に向けて送信する。また、被写体から反射された反射波を受信し、これを相関部１１３に入力する。
【００１５】
相関部１１３は、パルス生成部１１１から供給されるインパルス信号と反射波との相関を検出し、この相関値のピークに基づいて反射波の受信タイミングを検出し、受信タイミング信号を遅延時間算出部１１４に供給する。
【００１６】
遅延時間算出部１１４は、パルス生成部１１１にスタート信号を供給した送信タイミングｔ１と、受信タイミング信号を入力した受信タイミングｔ２との時間差Ｔｄを検出し、これを時間差情報として距離算出部１１５に供給する。
【００１７】
ここで、光速をＣとすると、画像処理装置１０から被写体までの距離Ｄは、Ｄ＝Ｃ（Ｔｄ／２）で算出される。距離算出部１１５は、このようにして求めた被写体までの距離Ｄを、距離情報として速度算出部１１６へ供給する。
【００１８】
速度算出部１１６では、被写体の速度を求める。より具体的には、距離算出部１１６が算出した時刻Ｔ１における距離Ｄ１及び時刻Ｔ２における距離Ｄ２を元に、被写体の移動速度Ｒは、Ｒ＝（Ｄ２−Ｄ１）／（Ｔ２−Ｔ１）として算出される。
【００１９】
測距無線部１０３は、制御部１０１での制御の下、撮像部１０２で撮像する画像のそれぞれの画素に対応する距離及び移動速度を求めていく。この結果である、撮像画像のそれぞれの画素に対応する距離及び移動速度と撮像画像とは、記録部１０５に格納される。
【００２０】
オブジェクト抽出部１０４は、撮像画像のそれぞれの画素の移動速度Ｒに基づいて撮像画像を分割し、オブジェクト抽出を行う。この抽出法については、後述する。
次に、画像処理装置１０を用いたオブジェクト抽出処理について説明する。図２は、画像処理装置１０によるオブジェクト抽出処理の流れを示すフローチャートである。
【００２１】
まず、時刻Ｔ１において、撮像部１０２を用いて撮像を行い、またそれと共に、測距無線部１０３を用いてそれぞれの画素に対応する距離を求める（ステップ２０１）。図３は、時刻Ｔ１における画像処理装置１０を用いた画像の撮像について示している。図３（ａ）は画像処理装置１０の撮像範囲の概要を、図３（ｂ）は、図３（ａ）の範囲を画像処理装置１０の撮像部１０２で撮像した撮像画像例である。図３（ａ）に示すように、撮像範囲内には、速度Ｖで走行する車両３１と、木３２、３３がある。言うまでもないが、木３２、３３は停止している。画像処理装置１０から車両３１までの距離はＤ１であり、画像処理装置１０から木３２及び木３３までの距離はそれぞれＤ２及びＤ３である。
【００２２】
次に、時刻Ｔ２において、再度撮像部１０２を用いて撮像を行い、それと共に、測距無線部１０３を用いてそれぞれの画素に対応する距離を求める（ステップ２０２）。図４は、時刻Ｔ２における画像処理装置１０を用いた画像の撮像について示している。図４（ａ）は画像処理装置１０の撮像範囲の概要を、図４（ｂ）は、図４（ａ）の範囲を画像処理装置１０の撮像部１０２で撮像した撮像画像例である。図４（ａ）に示すように、撮像範囲内には図３（ａ）と同様、速度Ｖで走行する車両３１と、木３２、３３がある。しかしながら、車両３１は速度Ｖで走行しているので、画像処理装置１０から車両３１までの距離はＤ１’（Ｄ１’＝Ｄ１＋Ｖ（Ｔ２−Ｔ１））に変化している。画像処理装置１０から木３２及び木３３までの距離は、Ｄ２及びＤ３のままである。
【００２３】
尚、それぞれの画素に対応する速度をなるべく正確に求めるため、時刻Ｔ１と時刻Ｔ２が近似するように、すなわちＴ２−Ｔ１がなるべく小さくなるようにする必要がある。そうでなければ、時刻Ｔ１における撮像画像と時刻Ｔ２における撮像画像との差分が大きくなり、それぞれの画素に対応する物体の速度がうまく算出できない。例えば、Ｔ２−Ｔ１が１秒であれば、それぞれの撮像画像の差分はそれ程大きくならない。また、撮像部１０２で撮像する画像が１００万画素であれば、１画素あたり１μｓ（＝１ｓ／１００万画素）程度の処理時間をかけることができ、また、ＵＷＢ通信で測距を行うために用いているインパルス信号のパルス幅は数ｎｓ程度であるので、パルス幅は処理時間範囲内に十分含まれる。勿論、パルス幅が１画素あたりの処理時間を越えない範囲で、Ｔ２−Ｔ１が１秒以下となるように設計しても良い。本実施例では、Ｔ２−Ｔ１は十分小さい値であり、時刻Ｔ１における撮像画像（図３（ｂ））と、時刻Ｔ２における撮像画像（図４（ｂ））は、ほぼ同一とみなせるものとする。
【００２４】
さらに、時刻Ｔ１及び時刻Ｔ２における距離情報を元に、速度算出部１１６でそれぞれの画素毎の速度を算出する（ステップ２０３）。図５は、画像のそれぞれの領域に対応する速度を示した図である。図５に示したとおり、車両３１に相当する部分の速度は、タイヤ、バンパ等の部位に係らずＶとなり、残りの背景部分は、画像処理装置１０からの距離にかかわらず（例えば距離Ｄ１の位置にある木３２や距離Ｄ２の位置にある木３３等は全て）、速度が０となる。
【００２５】
このようにして作成した速度画像に対し、オブジェクト抽出部１０４で空間微分を施す（ステップ２０４）。空間微分に用いるのは、例えば図６に示すような２次微分フィルタである。図６の２次微分フィルタであれば、それぞれの画素の速度をＲ（ｉ，ｊ）、エッジの強さをＬ（ｉ，ｊ）とすると、
【００２６】
【数１】
2006155037.tif 000003
【００２７】
として求められる。このようにして、図５の速度画像に対して空間微分を施すと、図７のように被写体（車両３１）のエッジが強調され抽出される。強調されたエッジは、撮像された物体の輪郭線に対応し１つの連結成分Ｃ１を形成する。連結成分Ｃ１の内側と外側の領域もそれぞれ連結成分Ｃ２、Ｃ３を形成する。尚図７では、輪郭線であるエッジ部分は便宜上黒線で描かれ、その他の部分は白く描かれているが、画素値はエッジ部分で大きく、その他の部分で小さい。
【００２８】
ステップ２０５では、ステップ２０４において得られた連結成分にラベリング操作を行い、各領域をそれぞれ異なる領域として認識する。ラベリングは例えば、微分画像に逐次操作と並列型伝播とを組み合わせて適用することにより行うことができる。即ち、画像上をラスタ走査で順に走査し、ラベルが割り当てられていない画素を見つけ、新しいラベルを割り当てる。次にこの画素の８方向に隣接する画素の内、同じ値の画素値を保持する画素に同じラベルをつけ、更にそれらの画素の８方向に隣接する同じ値の画素値を保持する画素に対して同じラベルをつける。この処理を繰り返し実行し、同じラベルを付けられる画素がなくなったときに、１つの連結成分全体に同じラベルが割り当てられたこととなる。その後、再びラスタ走査を続け、またラベルの割り当てられていない画素を見つけると上述の処理と同様の処理を繰り返し実行する。画像全体に対するラスタ走査が終了すると全ての連結部分に対するラベリングが終了する。これにより、各連結成分はそれぞれ異なる領域として分割されることとなり、撮像画像を、速度Ｖで走行する車両３１に相当する部分である連結部分Ｃ２、背景に相当する連結部分Ｃ３、車両３１の輪郭に相当するＣ１に分割することができる。このように抽出したオブジェクトは、画素毎の距離情報や速度情報、画像情報と共に記憶部１０５に記憶される。
【００２９】
最後に、ステップ２０５で分割されたそれぞれの領域から、１つの領域を抽出する（ステップ２０６）。この抽出方法は、抽出したオブジェクト（ある物体を示していると考えられる画像領域）をどのようにして利用するかというアプリケーションに依存する面が大きいことは言うまでもないが、例えば、分割した画像の中で最も広い領域（即ち最も画素数の多い領域、図７の例であればＣ３）を背景と捉え、残ったオブジェクトのうち、距離情報の値が最も小さい（即ち、画像処理装置１０から最も近距離にある）画素を含む領域を選択する方法等が考えられる。他にも、背景以外の領域のうち、近づいてくる速度の最も大きい領域を選択する方法や、分割後の画像をディスプレイに表示させて目的の領域をユーザに選択させる方法等、様々考えることができる。
【００３０】
以上説明したように、本実施例によれば、撮像画像の各画素に対応する速度を求めることで、撮像画像を移動する物体に相当する部分等に分割することができる。速度情報を元に画像を分割するので、同じ距離の地点にあって速度が異なる物体であっても切り分けることができ、また、例えば車両のタイヤ、バンパ、フロントガラス等のようにひとつの物体の中にいくつかの距離を持つ部位がある物体であっても、全体を１つの物体として認識させることが可能となる。
【００３１】
また、分割後の画像から１つの物体を抽出することもできる。これにより、それぞれの物体に対して何らかの対応をする装置等で利用することができ、例えば画像処理装置１０を自動走行装置に搭載すれば、最も近くにある物体の領域等を認識し、その物体を避けること等ができるようになる。他にも、例えばある移動物体が常に中心に来るように撮影部を可動させるビデオカメラ等に利用することも考えられる。
【００３２】
分割後の画像から１つの領域を抽出する際に、特に距離情報の値が最も小さい画素を含む領域を選択すれば、最も対処の必要に迫られていると考えられる、最も近くにある物体のみを抽出することが可能となる。
【００３３】
ところで、本実施例では、速度のみを元に撮像画像からのオブジェクトの抽出を行っているが、従来より知られている画像処理による手法や、距離情報を元にしたオブジェクト抽出と組み合わせて用いても良い。例えば、速度を元に切り出した画像を、さらに距離情報に基づいて分割するといった画像処理方法である。このような利用方法を取れば、例えば同じ速度で進む２つの車両等を切り分けることもできるようになる。
【００３４】
本実施例で用いた図６の微分フィルタはひとつの例に過ぎず、他の微分フィルタを用いても良いことは言うまでも無い。また、微分フィルタ以外に、フーリエ変換等を用いて速度画像の空間周波数を解析し、低周波成分に対応する速度情報をカットすることにより、エッジの抽出を行っても良い。或いは、隣接する画素間の画素値を比較し、その差が所定の値以上の画素を検出することによりエッジの抽出を行っても良い。
【００３５】
測距の手法は、本実施例で用いた手法に限られたものではなく、例えば照射したレーザ光の反射光をＣＣＤで受光し、その受光量から距離を算出する手法等であってもよい。
【００３６】
速度の算出法は、本実施例で用いた手法に限られたものではなく、例えば反射光のドップラ周波数から被写体の速度を求めても良い。この場合、複数の距離画像を用意する必要が無く、各画素に対応する速度をより正確に算出することが可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施例１に係る画像処理装置の構成を示すブロック図。
【図２】本発明の実施例１に係る画像処理装置のオブジェクト抽出処理の流れを示すフローチャート。
【図３】本発明の実施例１に係る画像処理装置の時刻Ｔ１における撮像の様子を示す図。
【図４】本発明の実施例１に係る画像処理装置の時刻Ｔ２における撮像の様子を示す図。
【図５】本発明の実施例１に係る画像処理装置が図４（ａ）及び図４（ｂ）の画像に基づいて作成する速度画像の例。
【図６】本発明の実施例１に係る画像処理装置が用いる微分フィルタの例。
【図７】本発明の実施例１に係る画像処理装置が図５の速度画像に微分フィルタを施し、車両の輪郭線を抽出した図。
【符号の説明】
【００３８】
１０・・・画像処理装置
３１・・・車両
３２、３３・・・木
１０１・・・制御部
１０２・・・撮像部
１０３・・・測距無線部
１０４・・・オブジェクト抽出部
１０５・・・記憶部
１１１・・・パルス生成部
１１２・・・アンテナ
１１３・・・相関部
１１４・・・遅延時間算出部
１１５・・・距離算出部
１１６・・・速度算出部
Ｃ１、Ｃ２、Ｃ３・・・連結成分
Ｄ１、Ｄ１’、Ｄ２、Ｄ３・・・距離
Ｖ・・・速度
【図１】
2006155037.tif 000004
【図２】
2006155037.tif 000005
【図３】
2006155037.tif 000006
【図４】
2006155037.tif 000007
【図５】
2006155037.tif 000008
【図６】
2006155037.tif 000009
【図７】
2006155037.tif 000010