(57)【要約】【課題】高さのあるオブジェクトを検出できる画像処理装置を提供する。【解決手段】第１の撮影画像を受け付ける第１の撮影画像受付部１１と、第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付部１２と、第１の撮影画像、及び第２の撮影画像を上面からの撮影画像に変換する画像変換部１３と、第１の撮影画像が画像変換部１３によって変換された画像である第１の変換画像と、第２の撮影画像が画像変換部１３によって変換された画像である第２の変換画像とを比較する比較部１４と、比較の結果を用いて、第１の変換画像と第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部１５と、領域特定部１５が特定した領域に関する情報を出力する出力部１７とを備える。【選択図】図１
2009282736.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影画像を受け付ける第１の撮影画像受付部と、
前記第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付部と、
前記第１の撮影画像受付部が受け付けた第１の撮影画像、及び前記第２の撮影画像受付部が受け付けた第２の撮影画像を上面からの撮影画像に変換する画像変換部と、
前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、
前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、
前記領域特定部が特定した領域に関する情報を出力する出力部と、を備えた画像処理装置。
【請求項２】
単一のカメラで撮影された第１の撮影画像を受け付ける撮影画像受付部と、
前記撮影画像受付部が受け付けた第１の撮影画像から、当該第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する撮影画像生成部と、
前記撮影画像受付部が受け付けた第１の撮影画像、及び前記撮影画像生成部が生成した第２の撮影画像を上面からの撮影画像に変換する画像変換部と、
前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、
前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、
前記領域特定部が特定した領域に関する情報を出力する出力部と、を備えた画像処理装置。
【請求項３】
前記撮影画像生成部は、前記第１の撮影画像に対して水平方向の差が生じるように第２の撮影画像を生成する、請求項２記載の画像処理装置。
【請求項４】
第１の変換画像または第２の変換画像において前記領域特定部が特定した領域を示す画像に対して、前記画像変換部による変換の逆変換を行う画像逆変換部をさらに備え、
前記出力部は、前記領域特定部が特定した領域に対応する領域であり、前記画像逆変換部によって逆変換された画像で示される領域を、前記第１の撮影画像または前記第２の撮影画像に重ねて表示する画像を出力する、請求項１から請求項３のいずれか記載の画像処理装置。
【請求項５】
第１の撮影画像受付部と、第２の撮影画像受付部と、画像変換部と、比較部と、領域特定部と、出力部とを用いて処理される画像処理方法であって、
前記第１の撮影画像受付部が、第１の撮影画像を受け付ける第１の撮影画像受付ステップと、
前記第２の撮影画像受付部が、前記第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付ステップと、
前記画像変換部が、前記第１の撮影画像受付ステップで受け付けた第１の撮影画像、及び前記第２の撮影画像受付ステップで受け付けた第２の撮影画像を上面からの撮影画像に変換する画像変換ステップと、
前記比較部が、前記第１の撮影画像が前記画像変換ステップで変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換ステップで変換された画像である第２の変換画像とを比較する比較ステップと、
前記領域特定部が、前記比較ステップでの比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定ステップと、
前記出力部が、前記領域特定ステップで特定した領域に関する情報を出力する出力ステップと、を備えた画像処理方法。
【請求項６】
撮影画像受付部と、撮影画像生成部と、画像変換部と、比較部と、領域特定部と、出力部とを用いて処理される画像処理方法であって、
前記撮影画像受付部が、単一のカメラで撮影された第１の撮影画像を受け付ける撮影画像受付ステップと、
前記撮影画像生成部が、前記撮影画像受付ステップで受け付けた第１の撮影画像から、当該第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する撮影画像生成ステップと、
前記画像変換部が、前記撮影画像受付ステップで受け付けた第１の撮影画像、及び前記撮影画像生成ステップで生成した第２の撮影画像を上面からの撮影画像に変換する画像変換ステップと、
前記比較部が、前記第１の撮影画像が前記画像変換ステップで変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換ステップで変換された画像である第２の変換画像とを比較する比較ステップと、
前記領域特定部が、前記比較ステップでの比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する領域特定ステップと、
前記出力部が、前記領域特定ステップで特定した領域に関する情報を出力する出力ステップと、を備えた画像処理方法。
【請求項７】
コンピュータを、
第１の撮影画像を受け付ける第１の撮影画像受付部と、
前記第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付部と、
前記第１の撮影画像受付部が受け付けた第１の撮影画像、及び前記第２の撮影画像受付部が受け付けた第２の撮影画像を上面からの撮影画像に変換する画像変換部と、
前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、
前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、
前記領域特定部が特定した領域に関する情報を出力する出力部として機能させるためのプログラム。
【請求項８】
コンピュータを、
単一のカメラで撮影された第１の撮影画像を受け付ける撮影画像受付部と、
前記撮影画像受付部が受け付けた第１の撮影画像から、当該第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する撮影画像生成部と、
前記撮影画像受付部が受け付けた第１の撮影画像、及び前記撮影画像生成部が生成した第２の撮影画像を上面からの撮影画像に変換する画像変換部と、
前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、
前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、
前記領域特定部が特定した領域に関する情報を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を用いて高さのあるオブジェクトの存在する領域を特定する画像処理装置等に関する。
【背景技術】
【０００２】
従来、ステレオカメラで撮影された入力画像を用いることによって、オブジェクトの距離などを算出することが行われてきていた（例えば、特許文献１参照）。
【特許文献１】特開２００７−８５７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮影されたオブジェクトが、実質的な障害物であるのかどうか、すなわち、撮影されたオブジェクトが、高さのあるオブジェクトであるのかどうかを判断することができないという問題があった。例えば、回避しなければならない高さのある道路上の障害物と、回避しなくてもよい道路に直接描画された標識とを区別することが難しく、両方共に障害物として検知してしまうという問題があった。
【０００４】
一般的に言うと、高さのあるオブジェクトを検出することが困難であるという問題があった。
【０００５】
本発明は、上記問題点を解決するためになされたものであり、高さのあるオブジェクトを検出することができる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による画像処理装置は、第１の撮影画像を受け付ける第１の撮影画像受付部と、前記第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付部と、前記第１の撮影画像受付部が受け付けた第１の撮影画像、及び前記第２の撮影画像受付部が受け付けた第２の撮影画像を上面からの撮影画像に変換する画像変換部と、前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、前記領域特定部が特定した領域に関する情報を出力する出力部と、を備えたものである。
【０００７】
このような構成により、高さのあるオブジェクトの存在する領域を特定することができる。したがって、その特定した領域に関する情報が出力されることによって、ユーザは、例えば、どこに高さのあるオブジェクトが存在するのかについて知ることができうる。
【０００８】
また、本発明による画像処理装置は、単一のカメラで撮影された第１の撮影画像を受け付ける撮影画像受付部と、前記撮影画像受付部が受け付けた第１の撮影画像から、当該第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する撮影画像生成部と、前記撮影画像受付部が受け付けた第１の撮影画像、及び前記撮影画像生成部が生成した第２の撮影画像を上面からの撮影画像に変換する画像変換部と、前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、前記領域特定部が特定した領域に関する情報を出力する出力部と、を備えたものである。
【０００９】
このような構成により、一のカメラの撮影映像を用いて、高さのあるオブジェクトの存在する領域を特定することができうる。したがって、全体のシステムを簡易な構成とすることができうる。
【００１０】
また、本発明による画像処理装置では、前記撮影画像生成部は、前記第１の撮影画像に対して水平方向の差が生じるように第２の撮影画像を生成してもよい。
このような構成により、擬似的なステレオ画像を構成することができうる。
【００１１】
また、本発明による画像処理装置では、第１の変換画像または第２の変換画像において前記領域特定部が特定した領域を示す画像に対して、前記画像変換部による変換の逆変換を行う画像逆変換部をさらに備え、前記出力部は、前記領域特定部が特定した領域に対応する領域であり、前記画像逆変換部によって逆変換された画像で示される領域を、前記第１の撮影画像または前記第２の撮影画像に重ねて表示する画像を出力してもよい。
【００１２】
このような構成により、第１の撮影画像や、第２の撮影画像において、高さのあるオブジェクトをハイライト表示することができ、高さのあるオブジェクトを容易に特定することができうる。
【００１３】
また、本発明による画像処理装置では、前記出力部は、前記領域特定部が特定した領域の座標を示す情報を出力してもよい。
【００１４】
このような構成により、出力部が出力した情報によって、高さのあるオブジェクトの位置を知ることができる。したがって、その情報を用いることによって、例えば、障害物の位置を知ることができ、その情報を、移動体等が障害物に衝突することを回避するためなどに用いることができうる。
【００１５】
また、本発明による画像処理装置では、前記比較部は、第１の変換画像と第２の変換画像との差分を算出してもよい。
【００１６】
また、本発明による画像処理装置では、前記比較部は、第１の変換画像に含まれる第１の領域と、第２の変換画像に含まれる領域であって、前記第１の領域に対応する領域である第２の領域との正規化相関係数を算出してもよい。
【発明の効果】
【００１７】
本発明による画像処理装置等によれば、高さのあるオブジェクトを検出することができうる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明による画像処理装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１９】
（実施の形態１）
本発明の実施の形態１による画像処理装置について、図面を参照しながら説明する。本実施の形態による画像処理装置は、ステレオカメラを用いて、高さのあるオブジェクトを検出するものである。
【００２０】
図１は、本実施の形態による画像処理装置１の構成を示すブロック図である。本実施の形態による画像処理装置１は、第１の撮影画像受付部１１と、第２の撮影画像受付部１２と、画像変換部１３と、比較部１４と、領域特定部１５と、画像逆変換部１６と、出力部１７とを備える。
【００２１】
第１の撮影画像受付部１１は、第１の撮影画像を受け付ける。第１の撮影画像受付部１１は、例えば、カメラ等の入力デバイスから入力された第１の撮影画像を受け付けてもよく、有線もしくは無線の通信回線を介して送信された第１の撮影画像を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された第１の撮影画像を受け付けてもよい。本実施の形態では、第１のカメラが撮影した画像である第１の撮影画像を受け付けるものとする。なお、第１の撮影画像受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、第１の撮影画像受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。また、第１の撮影画像受付部１１が受け付けた第１の撮影画像は、図示しない記録媒体において一時的に記憶されてもよい。
【００２２】
第２の撮影画像受付部１２は、第２の撮影画像を受け付ける。第２の撮影画像は、第１の撮影画像と同方向の画像である。第１の撮影画像と、第２の撮影画像等によって、いわゆるステレオ画像が形成されることになる。なお、第２の撮影画像受付部１２は、第２の撮影画像を受け付ける以外、第１の撮影画像受付部１１と同様のものであり、その説明を省略する。また、第２の撮影画像受付部１２が受け付けた第２の撮影画像も、図示しない記録媒体において一時的に記憶されてもよい。
【００２３】
なお、第１のカメラや第２のカメラは、例えば、ＣＣＤカメラや、ＣＭＯＳカメラ等である。第１のカメラや第２のカメラは、静止画を撮影するものでもよく、動画を撮影するものでもよい。このように、第１の撮影画像受付部１１や第２の撮影画像受付部１２が受け付ける撮影画像は、静止画の画像であってもよく、動画を構成する画像であってもよい。本実施の形態では、第１の撮影画像及び第２の撮影画像が静止画であるものとする。第１のカメラや第２のカメラは、移動体に設置されているものであってもよく、そうでなくてもよい。移動体とは、移動するものであれば、どのようなものでもよい。移動体は、人が乗るものでもよく、そうでなくてもよい。移動体は、例えば、車、バイク、自転車、船、飛行機、電車等であってもよい。
【００２４】
また、第１の撮影画像や第２の撮影画像は、例えば、オブジェクトを横から見る方向である横方向（水平方向）、あるいは、オブジェクトを少し上から見る方向である横上方向から撮影された画像であってもよい。また、第１の撮影画像や第２の撮影画像は、自動車等の移動体に設置された第１のカメラや第２のカメラによって、進行方向を撮影したものであってもよい。
【００２５】
また、第１のカメラや第２のカメラが、時間の経過と共に変化する対象を撮影している場合（第１のカメラや第２のカメラが移動している場合を含む）には、第１のカメラの撮影した第１の撮影画像と、第２のカメラの撮影した第２の撮影画像とは、同時点での撮影画像であることが好適である。両者によって適切なステレオ画像が形成されるようにするためである。
【００２６】
また、本実施の形態では、２個のカメラ、すなわち、第１のカメラと第２のカメラを用いて撮影がなされる場合について説明するが、１個のカメラで第１の撮影画像と、第２の撮影画像との両方を撮影してもよい。例えば、まず、あるカメラで第１の撮影画像を撮影し、その後にそのカメラを少しだけ移動させて、第２の撮影画像を撮影してもよい。このようにすることによっても、ステレオ画像を形成しうる第１の撮影画像と第２の撮影画像とを得ることもできる。また、別の例としては、第２のカメラで撮影されるはずの画像を、第２のカメラの位置から第１のカメラの位置まで鏡やプリズム等を用いて導き、第１のカメラを移動させることなく、第２のカメラの位置の画像を撮影可能なようにしてもよい。
【００２７】
また、本実施の形態では、画像処理装置１の外部に存在する第１のカメラと、第２のカメラとによって撮影された第１の撮影画像と第２の撮影画像とを画像処理装置１が受け付ける場合について説明するが、画像処理装置１は、第１のカメラと第２のカメラとを内蔵する構成でもよい。
【００２８】
画像変換部１３は、第１の撮影画像受付部１１が受け付けた第１の撮影画像、及び第２の撮影画像受付部１２が受け付けた第２の撮影画像を上面からの撮影画像に変換する。上面からの撮影画像とは、撮影対象となるオブジェクトの配置されている面（一般には水平面）に対して鉛直上方（厳密な意味での鉛直上方ではなく、少しずれていてもよい）から見た撮影画像である。画像変換部１３による変換は、いわゆる俯瞰図や鳥瞰図への変換として知られている。画像変換部１３による画像の変換方法、すなわち、俯瞰図への画像の変換方法は、例えば、特開２００２−３４０３５号公報等に記載されており、その詳細な説明を省略する。また、画像変換部１３が第１の撮影画像を変換した第１の変換画像や、画像変換部１３が第２の撮影画像を変換した第２の変換画像は、図示しない記録媒体において一時的に記憶されてもよい。
【００２９】
比較部１４は、第１の撮影画像が画像変換部１３によって変換された画像である第１の変換画像と、第２の撮影画像が画像変換部１３によって変換された画像である第２の変換画像とを比較する。比較部１４による比較は、後述する領域特定部１５によって、第１の変換画像と、第２の変換画像との差異の大きい領域を検出するための比較である。したがって、比較部１４は、例えば、第１の変換画像と第２の変換画像との差分を算出してもよく、第１の変換画像に含まれる第１の領域と、第２の変換画像に含まれる領域であって、第１の領域に対応する領域である第２の領域との正規化相関係数を算出してもよく、あるいは、その他の比較の処理を行ってもよい。
【００３０】
第１の変換画像と第２の変換画像との差分を算出する場合には、比較部１４は、例えば、画素ごとに、第１の変換画像の画素の情報と、第２の変換画像の対応する画素の情報との差分を算出する処理を行ってもよい。画素の情報は、例えば、輝度の情報であってもよく、輝度と色の情報であってもよい。差分は、第１の変換画像から第２の変換画像を引くことであってもよく、その逆であってもよい。なお、画像の差分を算出する方法は、すでに公知であり、詳細な説明を省略する。
【００３１】
第１の変換画像に含まれる第１の領域と、第２の変換画像に含まれる第２の領域との正規化相関係数を算出する場合には、比較部１４は、第１の変換画像と、第２の変換画像とをそれぞれ、複数の第１の領域と、複数の第２の領域とに分割し、それぞれ対応する第１の領域と第２の領域との正規化相関係数を算出してもよい。なお、この正規化相関係数の算出は、次に説明するように多段階に分かれて行われてもよい。例えば、第１段階として、比較部１４が、第１の変換画像と、第２の変換画像とをそれぞれ、比較的大きな領域である、複数の第１の領域と、複数の第２の領域とに分割し、それぞれ対応する第１の領域と第２の領域との正規化相関係数を算出する。そして、第２段階として、比較部１４は、そのうちの正規化相関係数の低い第１の領域と第２の領域とについて、さらに細かい分割を行い、細かい分割後のそれぞれ対応する第１の領域と第２の領域との正規化相関係数を算出する。なお、比較部１４は、この処理を２段階ではなく、３段階以上にわたって実行してもよい。
【００３２】
領域特定部１５は、比較部１４による比較の結果（例えば、差分の結果や、正規化相関係数の値など）を用いて、第１の変換画像と第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する。領域特定部１５が特定する領域は、例えば、第１の変換画像における領域であってもよく、あるいは、第２の変換画像における領域であってもよい。
【００３３】
比較部１４による比較が差分の算出である場合には、領域特定部１５は、差の大きい領域を特定してもよい。差が大きい領域とは、例えば、差がしきい値よりも大きい領域であってもよい。しきい値よりも大きいとは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、得られた差の値に応じて定められてもよい。後者の場合には、例えば、しきい値は、差の値の最大値に０．８などの１よりも小さい値を掛けた値であってもよい。
【００３４】
比較部１４による比較が正規化相関係数の算出である場合には、領域特定部１５は、正規化相関係数の値の小さい領域を特定してもよい。この場合には、第１の領域や第２の領域の集合としての領域が特定されることになる。正規化相関係数の値が小さい領域とは、例えば、正規化相関係数の値がしきい値よりも小さい領域であってもよい。しきい値よりも小さいとは、しきい値を含んでもよく、あるいは、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、得られた正規化相関係数の値に応じて定められてもよい。後者の場合には、例えば、しきい値は、正規化相関係数の最小値に所定の数を掛けることによって生成された値であって、正規化相関係数の最小値よりも大きい値であってもよい。
【００３５】
領域を特定するとは、例えば、特定した領域を示す情報（特定した領域に含まれる各画素を識別する情報であってもよく、特定した領域の最外周の各画素を識別する情報であってもよく、その他の特定した領域を示す情報であってもよい。）を図示しない記録媒体に蓄積することであってもよく、特定した領域に含まれる画素に対してフラグ等を設定することであってもよく、その特定の方法は問わない。
【００３６】
画像逆変換部１６は、第１の変換画像または第２の変換画像において領域特定部１５が特定した領域を示す画像に対して、画像変換部１３による変換の逆変換を行う。「第１の変換画像または第２の変換画像において領域特定部１５が特定した領域を示す画像」は、領域特定部１５が特定した領域の分かる画像であれば、どのような画像であってもよい。例えば、第１の変換画像や第２の変換画像と同じ大きさの画像において、特定された領域に対応する図形が表示される画像であってもよい。その図形は、例えば、特定された領域の全体がベタ塗りになっている図形であってもよく、特定された領域の外郭（最外周）の図形であってもよい。また、この画像は、第１の変換画像や第２の変換画像において領域特定部１５が特定した領域の図形のみを示す画像であってもよい。また、画像逆変換部１６が行う画像の変換は、画像変換部１３による変換の単なる逆変換であって、その詳細な説明を省略する。画像逆変換部１６が画像の変換を行うことによって、第１の撮影画像または第２の撮影画像における、領域特定部１５が特定した領域に対応する領域を知ることができるようになる。例えば、画像逆変換部１６による変換の対象となる画像が、領域特定部１５が特定した領域の全体がベタ塗りになっている図形を含む画像である場合に、画像逆変換部１６によって、そのベタ塗りの図形が、第１の撮影画像または第２の撮影画像における形状に変換されることになる。したがって、画像変換後の画像を第１の撮影画像等に重ねることによって、第１の撮影画像等における特定された領域の位置を知ることができるようになる。
【００３７】
出力部１７は、領域特定部１５が特定した領域に関する情報を出力する。本実施の形態では、出力部１７は、領域特定部１５が特定した領域に対応する領域であり、画像逆変換部１６によって逆変換された画像で示される領域（例えば、前述のベタ塗りの図形で示される領域や、外郭の図形で示される領域）を、第１の撮影画像または第２の撮影画像に重ねて表示する画像を出力する。
【００３８】
ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、出力部１７は、モニタへの表示を行うものとする。なお、出力部１７は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００３９】
なお、本実施の形態では、出力部１７が画像を出力する場合について説明するが、出力部１７は、それ以外の情報を出力してもよい。例えば、出力部１７は、領域特定部１５が特定した領域の座標を示す情報を出力してもよく、領域特定部１５が特定した領域に対応するオブジェクトに関する情報（例えば、オブジェクトの形状や高さ等を示す情報であってもよい）を出力してもよく、領域特定部１５が特定した領域がある旨を示す情報、すなわち、高さのあるオブジェクト（例えば、障害物である）が存在することについて注意喚起するための情報（単に注意喚起のための情報であって、障害物の位置や形状、大きさ等を示す情報が含まれていなくてもよい）を出力してもよく、領域特定部１５が特定した領域に関する情報を出力するのであれば、その形態を問わない。このように、画像逆変換部１６が逆変換した画像を出力部１７が出力しないのであれば、画像処理装置１は、画像逆変換部１６を備えていなくてもよい。
【００４０】
また、出力される情報は、例えば、画像であってもよく、テキストであってもよく、音声であってもよく、その他の形式の情報であってもよい。出力される情報が画像である場合には、前述のように、画像逆変換部１６によって逆変換された画像で示される特定された領域を、第１の撮影画像または第２の撮影画像に重ねて表示する画像であってもよく、特定された領域の位置等を図示する画像であってもよく、第１の撮影画像や第２の撮影画像において特定された領域をハイライト表示した画像であってもよい。また、出力される情報がテキストである場合には、例えば、「右前方に障害物があります」といったテキストであってもよい。また、出力される情報が音声である場合には、例えば、「右前方に障害物があります」といった音声であってもよい。また、出力される情報が音声である場合には、例えば、高さのあるオブジェクトが近くに存在する場合に、警告音（例えば、ブザー音等）が音声で示されてもよい。
【００４１】
また、出力部１７は、領域特定部１５が特定した領域のうち、カメラに近い領域に関する情報を出力してもよい。画像処理装置１の出力する情報を用いるユーザは、カメラに近い情報のみを知りたい場合もあり、そのような場合にカメラから遠い領域に関する情報を出力しても利用価値があまりないからである。なお、この場合に、出力される情報が、結果としてカメラに近い領域に関する情報となるのであれば、その過程は問わない。例えば、カメラに近い範囲についてのみ、領域特定部１５による領域の特定が行われ、そのカメラに近い領域に関する情報が出力されてもよく、あるいは、領域特定部１５がすべての範囲について領域の特定を行い、出力部１７は、その特定された領域のうち、カメラに近い領域に関する情報のみを出力してもよい。
【００４２】
次に、本実施の形態による画像処理装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）第１の撮影画像受付部１１は、第１の撮影画像を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。
【００４３】
（ステップＳ１０２）第１の撮影画像受付部１１は、ステップＳ１０１で受け付けた第１の撮影画像を、図示しない記録媒体において一時的に記憶する。そして、ステップＳ１０１に戻る。
【００４４】
（ステップＳ１０３）第２の撮影画像受付部１２は、第２の撮影画像を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０５に進む。
【００４５】
（ステップＳ１０４）第２の撮影画像受付部１２は、ステップＳ１０３で受け付けた第２の撮影画像を、図示しない記録媒体において一時的に記憶する。そして、ステップＳ１０１に戻る。
【００４６】
（ステップＳ１０５）画像変換部１３は、第１の撮影画像及び第２の撮影画像に対する画像変換を行うかどうか判断する。そして、画像変換を行う場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０１に戻る。なお、画像変換部１３は、例えば、第１の撮影画像受付部１１が第１の撮影画像を受け付けて一時的に記憶しており、第２の撮影画像受付部１２が第２の撮影画像を受け付けて一時的に記憶している場合に、画像変換を行うと判断してもよく、あるいは、ユーザ等からの変換を実行する旨の指示を受け付けた場合に、画像変換を行うと判断してもよい。前者の場合には、例えば、第１の撮影画像受付部１１等が新たな第１の撮影画像等を受け付けるたびに、第１の撮影画像等に対する画像変換を行うと判断され、その結果として、後述するように、出力部１７による新たな画像の出力がなされるようにしてもよい。また、後者の場合には、例えば、ユーザが変換を実行を指示するボタンを押下した場合にのみ、第１の撮影画像等に対する画像変換を行うと判断され、その結果として、後述するように、出力部１７による画像の出力がなされるようにしてもよい。
【００４７】
（ステップＳ１０６）画像変換部１３は、第１の撮影画像受付部１１が受け付けた第１の撮影画像と、第２の撮影画像受付部１２が受け付けた第２の撮影画像とを俯瞰図に変換する画像変換を行う。その画像変換後の第１の変換画像及び第２の変換画像は、図示しない記録媒体において一時的に記憶されてもよい。
【００４８】
（ステップＳ１０７）比較部１４は、画像変換部１３が画像変換した第１の変換画像と、第２の変換画像とを比較する処理を行う。この処理は、前述のように、例えば、差分を算出する処理であってもよく、正規化相関係数を算出する処理であってもよい。
【００４９】
（ステップＳ１０８）領域特定部１５は、比較結果を用いて、第１の変換画像と第２の変換画像との差異の大きい領域を特定する。
【００５０】
（ステップＳ１０９）画像逆変換部１６は、領域特定部１５によって特定された領域が存在するかどうか判断する。そして、存在する場合には、ステップＳ１１０に進み、存在しない場合には、変換を行う対象が存在しないため、ステップＳ１０１に戻る。
【００５１】
（ステップＳ１１０）画像逆変換部１６は、領域特定部１５によって特定された領域を示す画像に対して変換を行う。
【００５２】
（ステップＳ１１１）出力部１７は、画像逆変換部１６が変換した変換後の画像で示される領域を、第１の撮影画像または第２の撮影画像に重ねて表示する画像を出力する。そして、ステップＳ１０１に戻る。
【００５３】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５４】
次に、本実施の形態による画像処理装置１の動作について、具体例を用いて説明する。この具体例では、第１のカメラを右側に設置し、第２のカメラを左側に設置して、ステレオ画像、すなわち、第１の撮影画像及び第２の撮影画像を撮影するものとする。
【００５５】
まず、第１のカメラが第１の撮影画像を撮影し、その第１の撮影画像が第１の撮影画像受付部１１で受け付けられたとする（ステップＳ１０１）。すると、第１の撮影画像受付部１１は、その受け付けた第１の撮影画像を図示しない記録媒体において一時的に記憶する（ステップＳ１０２）。
【００５６】
同様にして、第２のカメラが第２の撮影画像を撮影し、その第２の撮影画像が第２の撮影画像受付部１２で受け付けられたとする（ステップＳ１０３）。すると、第２の撮影画像受付部１２は、その受け付けた第２の撮影画像を図示しない記録媒体において一時的に記憶する（ステップＳ１０４）。
【００５７】
図３は、そのようにして一時的に記憶された第１の撮影画像の一例を示す図であり、図４は、第２の撮影画像の一例を示す図である。図３の第１の撮影画像と、図４の第２の撮影画像とによって、ステレオ画像が形成されることになる。
【００５８】
画像変換部１３は、第１の撮影画像、及び第２の撮影画像が一時的に記憶されたことを検知すると、画像変換を行うと判断し（ステップＳ１０５）、図３で示される第１の撮影画像を図５で示される俯瞰図に変換し、図４で示される第２の撮影画像を図６で示される俯瞰図に変換する（ステップＳ１０６）。その第１の変換画像、及び第２の変換画像は、図示しない記録媒体において一時的に記憶されるものとする。
【００５９】
なお、第１のカメラと第２のカメラには視差が存在するため、第１のカメラで撮影した第１の撮影画像と、第２のカメラで撮影した第２の撮影画像とを同様に変換した場合には、第１の変換画像と第２の変換画像との各位置が、対応しないものとなる。したがって、画像変換部１３による変換の際に、そのカメラの視差を吸収し、第１の変換画像と第２の変換画像との各位置が対応するようにしておく。「第１の変換画像と第２の変換画像との各位置が対応する」とは、第１の変換画像と、第２の変換画像とを重ね合わせた場合に、実空間の地面上の同じ位置に対応した第１の変換画像の位置（画素）と、第２の変換画像の位置（画素）とがちょうど重なるようになることである。
【００６０】
このようにするために、第１のカメラ及び第２のカメラで撮影を行う撮影の向きや、画像変換部１３による第１の撮影画像及び第２の撮影画像の変換を調整しておくものとする。例えば、画像変換部１３は、第２の撮影画像を普通に俯瞰図に変換し、第１の撮影画像を俯瞰図に変換する際に、第１のカメラと第２のカメラとの間の距離（視差）を補正することによって、第２のカメラの位置から撮影した俯瞰図となるようにする。したがって、画像変換部１３による画像変換は、第２の撮影画像については、俯瞰図への変換だけであるが、第１の撮影画像については、俯瞰図への変換と、視差の補正とが含まれることになる。この視差の補正は、俯瞰図への変換前に行ってもよく、あるいは、俯瞰図への変換後に行ってもよい。また、視差の補正は、例えば、座標値を水平方向に移動させる処理であってもよく、画像自体を水平方向に移動させる処理であってもよい。
【００６１】
例えば、図５，図６では、説明の便宜上、グリッド線を表示しており、図５，図６において、縦のグリッド線の「０Ｍ」と、横のグリッド線の「２Ｍ」とが交わる位置は、実空間上の地面において同じ位置となる。一方、図５，図６から分かるように、地面から鉛直上方に延びている高さのあるオブジェクトは、第１のカメラで撮影した場合と、第２のカメラで撮影した場合とにおいて、視差による違いが存在し、その違いが俯瞰図への変換によって顕著となっている。したがって、その差を検出することによって、高さのあるオブジェクトを検出することができることになる。
【００６２】
比較部１４は、図５で示される第１の変換画像と、図６で示される第２の変換画像との差分を算出する（ステップＳ１０７）。この差分の算出は、前述のように、第１の変換画像と第２の変換画像の同じ画素同士の差を算出することによってなされる。図７は、そのようにして算出された比較結果（差分の結果）を示す図である。図７で示される比較結果の画像は、図示しない記録媒体で一時的に記憶されるものとする。図７で示されるように、地面に置かれた高さのあるオブジェクトの外周の位置について差が存在するが、地面に置かれた平面的なオブジェクトについては差が存在していないことがある。前述のように、前者については、第１のカメラと第２のカメラとの間の視差が存在することによるが、後者については、第１の変換画像を生成する際に、視差だけの水平移動を行うことによって、その視差が除去されているからである。
【００６３】
領域特定部１５は、図７で示される比較結果の画像を参照し、各画素の輝度をあらかじめ設定されているしきい値と比較し、そのしきい値以上の画素であって、あらかじめ設定されている画素数以上が連続している領域を特定する（ステップＳ１０８）。この具体例では、地面に置かれた高さのあるオブジェクトの外周の領域が特定されることになる。そして、領域特定部１５は、その特定した画素の位置を示す情報（例えば、画素の位置のアドレスを示す情報であってもよく、図７の画像そのものであってもよい。後者の場合には、連続している画素数が、あらかじめ設定されている画素数未満である場合には、その画素を黒塗りのものに変換してもよい。）を図示しない記録媒体において一時的に記憶する。
【００６４】
その後、画像逆変換部１６は、特定された画素の位置を示す情報が一時的に記憶されているため、特定された領域があると判断し（ステップＳ１０９）、特定された領域の逆変換を行う。すなわち、特定された画素の位置を示す情報が、画素の位置のアドレスである場合には、画像逆変換部１６は、そのアドレスを用いて、図７に類似する特定された領域を表示した画像を構成し、その画像に対して、俯瞰図を生成する際の逆変換を行う。また、特定された画素の位置を示す情報が、図７で示される画像、あるいは、図７で示される画像と同様のものである場合には、画像逆変換部１６は、その画像に対して、俯瞰図を生成する際の逆変換を行う（ステップＳ１１０）。この逆変換は、第２の変換画像を生成する際の変換の逆変換であるとする。したがって、逆変換後の画像によって示される領域は、領域特定部１５によって特定された領域を第２の撮影画像で示すものとなっている。そのため、出力部１７は、その逆変換後の画像と、第２の撮影画像とを合成してモニタに表示する（ステップＳ１１１）。その合成の際には、特定された領域を、第２の撮影画像で特定可能なように合成することが好適である。例えば、図７の画像が逆変換された画像を第２の撮影画像と合成する際には、図７の画像が逆変換された画像における黒塗りの部分が第２の撮影画像で表示されないようにするため、両画像の輝度値を加算するようにして合成してもよい。また、逆変換後の画像と、第２の撮影画像とを合成する際に、例えば、第２の撮影画像を白黒画像にし、逆変換後の画像において特定された領域の部分を赤色等の目立つ色にして合成することにより、高さのあるオブジェクトの位置を強調した合成画像を生成することができうる。また、この表示された合成画像をユーザが見ることによって、特定された領域に対応するオブジェクトを容易に検知することができうる。
【００６５】
以上のように、本実施の形態による画像処理装置１によれば、ステレオカメラで撮影したステレオ画像を用いることにより、高さのあるオブジェクトを検出することができる。したがって、例えば、自動車等の移動体に画像処理装置１を搭載することによって、道路に直接描画された標識を検出せずに、道路上の高さのある障害物を検出することができるようになりうる。
【００６６】
（実施の形態２）
本発明の実施の形態２による画像処理装置について、図面を参照しながら説明する。本実施の形態による画像処理装置は、擬似的にステレオ画像を構成することによって、高さのあるオブジェクトを検出するものである。
【００６７】
図８は、本実施の形態による画像処理装置２の構成を示すブロック図である。本実施の形態による画像処理装置２は、画像変換部１３と、比較部１４と、画像逆変換部１６と、出力部１７と、撮影画像受付部２１と、撮影画像生成部２２と、領域特定部２３とを備える。なお、撮影画像受付部２１、撮影画像生成部２２、領域特定部２３以外の構成及び動作は、第１の撮影画像が撮影画像受付部２１によって受け付けられるものとなり、第２の撮影画像が撮影画像生成部２２によって生成されるものとなる以外、実施の形態１と同様であり、その説明を省略する。なお、本実施の形態では、撮影画像受付部２１が受け付けた第１の撮影画像と、その第１の撮影画像から撮影画像生成部２２によって生成された第２の撮影画像とが画像変換部１３によって上面からの撮影画像に変換され、その変換後の画像である第１及び第２の変換画像が比較部１４によって比較され、その比較結果を用いて領域特定部２３によって高さのあるオブジェクトの存在する領域が特定され、その特定された領域に関する情報が出力部１７によって出力されることになる。
【００６８】
撮影画像受付部２１は、第１の撮影画像を受け付ける。この第１の撮影画像は、単一のカメラで撮影されたものである。撮影画像受付部２１は、例えば、カメラから入力された第１の撮影画像を受け付けてもよく、有線もしくは無線の通信回線を介して送信された第１の撮影画像を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された第１の撮影画像を受け付けてもよい。本実施の形態では、カメラが撮影した画像である第１の撮影画像を受け付けるものとする。なお、撮影画像受付部２１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、撮影画像受付部２１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。また、撮影画像受付部２１が受け付けた第１の撮影画像は、図示しない記録媒体において一時的に記憶されてもよい。
【００６９】
カメラは、実施の形態１における第１のカメラや第２のカメラと同様のものであり、その説明を省略する。また、第１の撮影画像も実施の形態１での説明と同様のものであるとする。また、本実施の形態では、画像処理装置２の外部に存在するカメラによって撮影された第１の撮影画像を画像処理装置２が受け付ける場合について説明するが、画像処理装置２は、カメラを内蔵する構成でもよい。
【００７０】
撮影画像生成部２２は、撮影画像受付部２１が受け付けた第１の撮影画像から、その第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する。第２の撮影画像は、第１の撮影画像と視差を生じる画像であるため、撮影画像生成部２２は、例えば、第１の撮影画像に対して水平方向の差が生じるように第２の撮影画像を生成する。具体的には、撮影画像生成部２２は、第１の撮影画像を水平方向に移動させた画像としての第２の撮影画像を生成してもよく、第１の撮影画像を水平方向に拡張・縮小した画像を生成してもよい。後者の場合には、第１の撮影画像と第２の撮影画像との大きさをそろえるために、第１の撮影画像の水平方向での拡大・縮小の後に、右側、あるいは左側の領域を切り落とすことによって、第１の撮影画像と同じ大きさの第２の撮影画像を生成してもよい。撮影画像生成部２２が生成した第２の撮影画像は、図示しない記録媒体において一時的に記憶されてもよい。
【００７１】
領域特定部２３は、比較部１４による比較の結果を用いて、第１の変換画像と第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する。なお、放射状に広がる方向の領域を特定する以外は、領域特定部２３の処理は、実施の形態１の領域特定部１５の処理と同様であり、その説明を省略する。ここで、放射状に広がる方向の領域を特定する方法について説明する。例えば、領域特定部２３は、比較部１４による比較の結果を用いて、実施の形態１の領域特定部１５と同様にして、領域の仮の特定を行う。そして、領域特定部２３は、その仮に特定した領域のうち、放射状に広がる方向の領域の特定を行う。
【００７２】
次に、領域特定部２３が、仮に特定した領域から放射状に広がる方向の領域を特定する方法について説明する。例えば、領域特定部２３は、第１の変換画像、または第２の変換画像において、仮に特定した各領域について、カメラから遠い側の端点（一般に画像の上方の端点となる）を始点とし、カメラに近い側の端点（一般に画像の下方の端点となる）を終点とするベクトルを求める。そして、任意の２以上のベクトルについて、その終点を延長した場合に、第１の変換画像、または第２の変換画像において、カメラに近い側の領域（一般に画像の下方の領域となる。その領域を、例えば、画像の下半分に設定してもよい）において、そのベクトルを延長した線が交わる場合に、領域特定部２３は、それらの２以上の各ベクトルに対応する領域を最終的に特定してもよい。それらの領域は、放射状に広がっているからである。
【００７３】
より具体的には、あるベクトル（ベクトルＡとする）の終点を延長した線が、他の全てのベクトルの終点を延長した線と、カメラに近い側の領域で交わらない場合には、領域特定部２３は、ベクトルＡに対応する、仮に特定された領域を、最終的に特定しないことになる。一方、あるベクトル（ベクトルＢとする）の終点を延長した線が、他のいずれかのベクトルの終点を延長した線と、カメラに近い側の領域で交わる場合には、領域特定部２３は、ベクトルＢに対応する、仮に特定された領域を、最終的に特定することになる。２個のベクトルの終点を延長した線がカメラに近い側の領域で交わるかどうかの判断は、例えば、２個のベクトルの終点を延長した線の交点を算出し、その交点が、あらかじめ設定されているカメラに近い側の領域の内部にあるかどうか判断することによってなされてもよい。なお、２個のベクトルの終点を延長した線が交わらない場合に、その２個のベクトルの終点を延長した線がカメラに近い側の領域で交わらないと判断されるのは当然である。
【００７４】
なお、第１の変換画像と、第２の変換画像とを比較した場合には、例えば、高さのあるオブジェクトの右側と左側（カメラからオブジェクトを見た方向での右側と左側である）に大きな差異が検出されることが多い。したがって、高さのあるオブジェクトの右側と左側の領域が仮に特定されることになる。そのため、領域特定部２３は、仮に特定された領域のうち、オブジェクトの左右の２個の領域について、ベクトルの終点を延長し、上述のように判断を行ってもよい。なお、オブジェクトの左右の２個の領域は、隣接している領域であって、長さのほぼ等しい領域であるため、そのような２個の領域を、領域特定部２３は、オブジェクトの左右の２個の領域として特定してもよい。
【００７５】
また、領域特定部２３は、上述の処理とは別に、あるいは、上述の処理に加えて、仮に特定された領域から、放射状に広がる方向の領域でないものを除外する処理を行い、残ったものを放射状に広がる方向の領域であるとしてもよい。領域特定部２３は、例えば、仮に特定された領域に対応するベクトルの方向（向きは問わない）が、カメラからの距離が一定となる方向（一般に画像の左右方向となる）である場合に、そのベクトルに対応する領域を、放射状に広がる方向の領域でないとして除外してもよい。また、領域特定部２３は、例えば、仮に特定された領域に対応するベクトルの向きが、カメラに向かうものではない場合に、そのベクトルに対応する領域を、放射状に広がる方向の領域でないとして除外してもよい。ベクトルの向きが、カメラに向かうものであるかどうかは、例えば、第１の変換画像と、第２の変換画像の中心を通過する上下方向の中心線（カメラから撮影方向の正面の遠方に伸びる中心線に対応する）を設定し、そのベクトルが、その中心線に向かうかどうかによって判断してもよい。例えば、あるベクトルがその中心線に向かう場合には、そのベクトルはカメラに向かうものであると判断し、あるベクトルがその中心線に向かっていない場合（すなわち、そのベクトルの終点を延長しても、その中心線と交わらない場合）には、そのベクトルはカメラに向かうものではないと判断してもよい。
【００７６】
なお、領域特定部２３が、放射状に広がる方向の領域を特定する方法は、上述の説明に限定されるものではなく、結果として、放射状に広がる方向の領域を特定することができるのであれば、その方法は問わない。例えば、領域特定部２３は、上述のようにして仮に特定された各領域についてベクトルを設定し、その全てのベクトルの終点を延長し、その延長した線のうち、カメラに近い側の領域で交わった各ベクトルに対応する領域を、最終的に特定するようにしてもよい。また、カメラの俯角が決まっている場合には、上述のようにして、放射状に広がる方向の領域に対応する２以上のベクトルの終点を延長した線が交わる点は、ほぼ一箇所に決まることになる。したがって、カメラの俯角を一定にする場合には、その線の交わる領域をあらかじめ設定しておき、各ベクトルの終点を延長した線が、そのあらかじめ設定されている領域を通過する場合に、そのベクトルに対応する領域を最終的に特定するようにしてもよい。
【００７７】
次に、本実施の形態による画像処理装置２の動作について、図９のフローチャートを用いて説明する。なお、図９のフローチャートにおいて、ステップＳ２０１〜Ｓ２０３以外の処理は、第１の撮影画像が撮影画像受付部２１によって受け付けられるものとなり、第２の撮影画像が撮影画像生成部２２によって生成されるものとなる以外、実施の形態１の図２のフローチャート（ステップＳ１０６，Ｓ１０７，Ｓ１０９〜Ｓ１１１）の説明と同様であり、その説明を省略する。
【００７８】
（ステップＳ２０１）撮影画像受付部２１は、第１の撮影画像を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ２０２に進み、そうでない場合には、受け付けるまでステップＳ２０１の処理を繰り返す。撮影画像受付部２１は、受け付けた第１の撮影画像を図示しない記録媒体において一時的に記憶してもよい。
【００７９】
（ステップＳ２０２）撮影画像生成部２２は、撮影画像受付部２１が受け付けた第１の撮影画像から、第２の撮影画像を生成する。撮影画像生成部２２は、生成した第２の撮影画像を図示しない記録媒体において一時的に記憶してもよい。
【００８０】
（ステップＳ２０３）領域特定部２３は、比較結果を用いて、第１の変換画像と第２の変換画像との差異の大きい領域であって、放射状に広がる方向の領域を特定する。この領域を特定する方法は、前述の通りである。
なお、図９のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００８１】
次に、本実施の形態による画像処理装置２の動作について、具体例を用いて説明する。
まず、カメラが第１の撮影画像を撮影し、その第１の撮影画像が撮影画像受付部２１で受け付けられたとする（ステップＳ２０１）。そして、撮影画像受付部２１は、その受け付けた第１の撮影画像を図示しない記録媒体において一時的に記憶する。図１０は、そのようにして一時的に記憶された第１の撮影画像の一例を示す図である。
【００８２】
次に、撮影画像生成部２２は、第１の撮影画像が受け付けられたことを検知し、図示しない記録媒体から第１の撮影画像を読み出して、第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する（ステップＳ２０２）。第２の撮影画像は、第１の撮影画像と視差を生じる画像であるため、撮影画像生成部２２は、例えば、第１の撮影画像に対して水平方向の差が生じるように第２の撮影画像を生成してもよい。そして、撮影画像生成部２２は、その生成した第２の撮影画像を図示しない記録媒体において一時的に記憶する。
【００８３】
画像変換部１３は、図１０で示される第１の撮影画像を図１１で示される俯瞰図に変換し、第２の撮影画像も同様にして俯瞰図に変換する（ステップＳ１０６）。その第１の変換画像、及び第２の変換画像は、図示しない記録媒体において一時的に記憶されるものとする。なお、本実施の形態による画像変換部１３による変換でも、変換の際に、第１の変換画像と第２の変換画像との各位置が対応するようにしておく。一方、実施の形態１の場合とは異なり、本実施の形態では、実際には視差が存在しないが、擬似的に視差が存在するように変換した撮影画像を用いて変換を行うため、実施の形態１の具体例で説明した視差の補正（例えば、画像を水平方向に移動させる処理など）は、行わなくてもよい。
【００８４】
比較部１４は、図１１で示される第１の変換画像と、図示しない第２の変換画像との差分を算出する（ステップＳ１０７）。この差分の算出は、前述のように、第１の変換画像と第２の変換画像の同じ画素同士の差を算出することによってなされる。図１２は、そのようにして算出された比較結果（差分の結果）を示す図である。図１２で示される比較結果の画像は、図示しない記録媒体で一時的に記憶されるものとする。なお、図１２では、地面に置かれた高さのあるオブジェクトの外周の位置と、地面に置かれた平面的なオブジェクトとの両方について差が存在することが示されている。
【００８５】
領域特定部２３は、図１２で示される比較結果の画像を参照し、各画素の輝度をあらかじめ設定されているしきい値と比較し、そのしきい値以上の画素であって、あらかじめ設定されている画素数以上が連続している領域を仮に特定する。その後、仮に特定した領域のうち、放射状に広がる方向の領域を特定する（ステップＳ２０３）。この具体例では、地面に置かれた高さのあるオブジェクトの外周の領域と共に、地面に置かれた平面的なオブジェクトの外周の領域が特定されることになる。そして、領域特定部１５は、その特定した画素の位置を示す情報を図示しない記録媒体において一時的に記憶する。
【００８６】
その後、特定された領域の逆変換が行われ、その逆変換後の画像と、第２の撮影画像（この具体例の場合には、第１の撮影画像でもよい）とが合成されてモニタに表示される処理は、実施の形態１の具体例と同様であり、その説明を省略する。
【００８７】
以上のように、本実施の形態による画像処理装置２によれば、単一のカメラで撮影した第１の撮影画像と、その第１の撮影画像から生成した第２の撮影画像とを用いて構成されるステレオ画像を用いることにより、高さのあるオブジェクトを少なくとも検出することができる。なお、本実施の形態における具体例では、地面に置かれた平面的なオブジェクトも検出してしまう場合について説明したが、カメラに近いオブジェクトではなく、カメラから遠いオブジェクトについて検出の処理を行うことによって、また、比較部１４が単なる差分を算出するのではなく、正規化相関係数を算出することによって、高さのあるオブジェクトのみを検出することができるようになりうるものと考えられる。
【００８８】
なお、上記各実施の形態では、画像逆変換部１６を用いて領域特定部１５，２３が特定した領域を示す画像に対して逆変換を行い、その逆変換された画像で示される、領域特定部１５，２３が特定した領域を、第１の撮影画像または第２の撮影画像に重ねて表示する画像を出力する場合について説明したが、画像逆変換部１６による逆変換を行わなくてもよい。画像逆変換部１６による逆変換を行わない場合には、出力部１７は、例えば、俯瞰図において特定された領域を示す画像（例えば、図７）を出力してもよく、俯瞰図において特定された領域を示す画像と、俯瞰図（例えば、図５や図６）とを重ねて表示する画像を出力してもよく、あるいは、前述のように、特定された領域の座標を示す情報を出力してもよい。画像逆変換部１６による逆変換を行わない場合には、画像処理装置１，２は、画像逆変換部１６を備えていなくてもよい。
【００８９】
また、上記各実施の形態では、画像処理装置１，２がスタンドアロンである場合について説明したが、画像処理装置１，２は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりしてもよい。
【００９０】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００９１】
また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【００９２】
また、上記各実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【００９３】
また、上記実施の形態において、画像処理装置１，２に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
【００９４】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における画像処理装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、第１の撮影画像を受け付ける第１の撮影画像受付部と、前記第１の撮影画像と同方向の画像である第２の撮影画像を受け付ける第２の撮影画像受付部と、前記第１の撮影画像受付部が受け付けた第１の撮影画像、及び前記第２の撮影画像受付部が受け付けた第２の撮影画像を上面からの撮影画像に変換する画像変換部と、前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、前記領域特定部が特定した領域に関する情報を出力する出力部として機能させるためのものである。
【００９５】
また、上記実施の形態における画像処理装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、単一のカメラで撮影された第１の撮影画像を受け付ける撮影画像受付部と、前記撮影画像受付部が受け付けた第１の撮影画像から、当該第１の撮影画像と共に擬似的なステレオ画像を形成する画像である第２の撮影画像を生成する撮影画像生成部と、前記撮影画像受付部が受け付けた第１の撮影画像、及び前記撮影画像生成部が生成した第２の撮影画像を上面からの撮影画像に変換する画像変換部と、前記第１の撮影画像が前記画像変換部によって変換された画像である第１の変換画像と、前記第２の撮影画像が前記画像変換部によって変換された画像である第２の変換画像とを比較する比較部と、前記比較部による比較の結果を用いて、前記第１の変換画像と前記第２の変換画像との差異の大きい領域であり、放射状に広がる方向の領域である、高さのあるオブジェクトの存在する領域を特定する領域特定部と、前記領域特定部が特定した領域に関する情報を出力する出力部として機能させるためのものである。
【００９６】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【００９７】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【００９８】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００９９】
図１３は、上記プログラムを実行して、上記実施の形態による画像処理装置１，２を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０１００】
図１３において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０１０１】
図１４は、コンピュータシステム９００の内部構成を示す図である。図１４において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１０２】
コンピュータシステム９００に、上記実施の形態による画像処理装置１，２の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０１０３】
プログラムは、コンピュータ９０１に、上記実施の形態による画像処理装置１，２の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０１０４】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１０５】
以上より、本発明による画像処理装置等によれば、高さのあるオブジェクトを検出することができうるという効果が得られ、例えば、障害物等を検出する装置等として有用である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態１による画像処理装置の構成を示すブロック図
【図２】同実施の形態による画像処理装置の動作を示すフローチャート
【図３】同実施の形態における第１の撮影画像の一例を示す図
【図４】同実施の形態における第２の撮影画像の一例を示す図
【図５】同実施の形態における第１の変換画像の一例を示す図
【図６】同実施の形態における第２の変換画像の一例を示す図
【図７】同実施の形態における差分の画像の一例を示す図
【図８】本発明の実施の形態２による画像処理装置の構成を示すブロック図
【図９】同実施の形態による画像処理装置の動作を示すフローチャート
【図１０】同実施の形態における第１の撮影画像の一例を示す図
【図１１】同実施の形態における第１の変換画像の一例を示す図
【図１２】同実施の形態における差分の画像の一例を示す図
【図１３】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１４】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【０１０７】
１、２  画像処理装置
１１  第１の撮影画像受付部
１２  第２の撮影画像受付部
１３  画像変換部
１４  比較部
１５、２３  領域特定部
１６  画像逆変換部
１７  出力部
２１  撮影画像受付部
２２  撮影画像生成部
【図１】
2009282736.tif 000003
【図２】
2009282736.tif 000004
【図８】
2009282736.tif 000005
【図９】
2009282736.tif 000006
【図１３】
2009282736.tif 000007
【図１４】
2009282736.tif 000008
【図３】
2009282736.tif 000009
【図４】
2009282736.tif 000010
【図５】
2009282736.tif 000011
【図６】
2009282736.tif 000012
【図７】
2009282736.tif 000013
【図１０】
2009282736.tif 000014
【図１１】
2009282736.tif 000015
【図１２】
2009282736.tif 000016