(57)【要約】  物体検出装置は、カメラ姿勢算出部と、領域設定部と、処理方法決定部と、画像生成部と、物体検出部とを備え、前記カメラ姿勢算出部は、移動体に設けられたカメラの姿勢に関する情報を取得し、前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、前記物体検出部は、前記各領域画像を用いて物体を検出する。
2015145543.tif 000002
【特許請求の範囲】
【請求項１】
カメラ姿勢算出部と、
領域設定部と、
処理方法決定部と、
画像生成部と、
物体検出部とを備え、
前記カメラ姿勢算出部は、移動体に設けられたカメラの姿勢に関する情報を取得し、
前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、
前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、
前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、
前記物体検出部は、前記各領域画像を用いて物体を検出する
ことを特徴とする物体検出装置。
【請求項２】
請求項1において、
前記領域設定部は、
前記カメラの姿勢から前記移動体が移動中の路面を基準にした第1の座標系を設定し、
前記第1の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする物体検出装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記画像上の場所と撮影される空間の関係付けを行うために、前記カメラで直前のタイミングに撮影された直前の画像に対する物体検出結果に基づいて、前記カメラにより現在のタイミングで撮影された前記画像上に前記複数の検出領域を設定する
ことを特徴とする物体検出装置。
【請求項４】
請求項３において、
前記領域設定部は、
前記直前のタイミングにおいて前記カメラから視認できない視野外の領域を算出し、前記視野外の領域に基づいて現在のタイミングで障害となりうる領域を求め、該障害となりうる領域に基づいて前記各検出領域を変形する
ことを特徴とする物体検出装置。
【請求項５】
請求項２において、
前記仮想空間は、矩形状で路面と同一の平面上に設定する
ことを特徴とする物体検出装置。
【請求項６】
請求項２において、
前記各仮想空間の幅は、前記カメラの位置から離れるごとに大きくなる
ことを特徴とする物体検出装置。
【請求項７】
請求項４において、
前記領域設定部は、
前記直前のタイミングにおいて検出された前記物体から、現在のタイミングにおいて障害となりうる領域を求め、該障害となりうる領域に基づいて、前記各検出領域を変形する
ことを特徴とする物体検出装置。
【請求項８】
請求項１において、
前記カメラ姿勢算出部は、第２のカメラで撮影された第１の画像から第１のカメラの姿勢を求め、
前記領域設定部は、前記第１のカメラの姿勢に基づいて、該第１カメラで撮影された画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定する
ことを特徴とする物体検出装置。
【請求項９】
請求項１において、
前記処理方法決定部は、前記検出領域それぞれに対して、当該検出領域に対応する空間内で前記カメラから最も離れた位置に、予め検出対象として設定した物体を配置したと仮定したきに、配置された前記物体が撮像される第１の画素数を計算し、
該第１の画素数と、予め検出対象として設定した前記物体を撮像したときに必要な第２の画素数とから、前記画像の変換率を算出する
ことを特徴とする物体検出装置。
【請求項１０】
請求項９において、
前記画像生成部は、
前記画像から切り出した平行四辺形の前記検出領域を長方形に変形し、
前記処理方法決定部で設定された前記画像の変換率とローパスフィルタのカットオフ周波数を用いて、前記長方形の各検出領域を縮小する
ことを特徴とする物体検出装置。
【請求項１１】
経路を移動する移動体の前方に存在する物体を検出する、物体検出方法であって、
前記移動体に設けられたカメラの姿勢を求め、
前記カメラの姿勢に基づいて、画像の場所と撮影される空間を関係付け、前記関係に基づいて前記カメラで撮影された画像上に複数の検出領域を設定し、
前記各検出領域の検出処理を行う場合の解像度をそれぞれ設定し、
前記各検出領域内の画像を前記解像度に変換し、
解像度変換後の前記各検出領域内の画像を用いて物体を検出する
ことを特徴とする物体検出方法。
【請求項１２】
請求項１１において、
前記カメラの姿勢から前記移動体が移動中の路面を基準にした第１の座標系を設定し、
前記第１の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする物体検出方法。
【請求項１３】
請求項２において、
前記画像上の場所と撮影される空間の関係付けを行うために、前記カメラで直前のタイミングに撮影された直前の画像に対する物体検出結果に基づいて、前記カメラにより現在のタイミングで撮影された前記画像上に前記複数の検出領域を設定する
ことを特徴とする物体検出方法。
【請求項１４】
ロボット本体を経路上で移動させる移動機構と、
前記ロボット本体に搭載されたカメラと、
前記カメラの姿勢を求める姿勢算出部と、
領域設定部と、
処理方法決定部と、
解像度変換部と、
検出部とを備えた移動ロボットであって、
前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された前記移動ロボットの前方の空間の画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、
前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、
前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、
前記物体検出部は、前記各領域画像を用いて物体を検出する
ことを特徴とする移動ロボット。
【請求項１５】
請求項１４において、
前記領域設定部は、
前記カメラの姿勢から前記ロボットが移動中の路面を基準にした第1の座標系を設定し、
前記第1の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする移動ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体検出方法、および移動ロボットに係り、特に、ロボットなどの移動体が実世界空間内から物体を検出する技術に関する。
【背景技術】
【０００２】
近年、車両の前方をカメラで撮影し、自車の前方にある物体を検出する研究が自動車で盛んである。例えば、特許文献１では、異なる特性を持つ光学フィルタを撮像素子の上面に配置した複眼カメラにおいて、光学フィルタは複数の領域に分割されており、撮影される画像は領域ごとに異なる特性を持ち、各領域に対して前記特性に応じた画像処理をする、車載用の複眼カメラ装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２２５２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の発明は、４輪の自動車を前提としており、光学フィルタが撮像素子に固定して配置されているため、複眼カメラ装置が自動車に搭載された状態において、前記複数の領域は画像上で常に固定されている。このような、ロール方向の傾きが無視できる移動体の場合、撮像素子の上部、つまり画像の上部は自車から遠くに存在する物体や自車より高い物体が撮影される。一方、撮像素子の下部、つまり画像の下部は自車の近くに存在する物体、例えば、自車のボンネットや路面が撮影される。つまり、ロール方向の傾きが無視できる移動体の場合、画像の場所と撮影される空間が関連付いており、前記複数の領域が画像上で固定であっても問題はない。しかし、一輪車や二輪車のように、ロール方向の傾きが生じる移動体では、ロール方向に傾いたときに天地が傾いた画像が撮影される。つまり、特許文献１の発明をロール方向の傾きが無視できない移動体に適用した場合、カメラで撮影した画像の場所と撮影される空間とが関連付かないため、不適切な処理をする可能性が増す。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、ロール方向の傾きを無視できない移動体であっても、画像内の場所と撮影される空間を正しく関係付け、高い検出率で物体を検出でき、物体検出の性能を向上させることのできる物体検出装置や物体検出方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る物体検出装置は、たとえば請求項に記載の構成を採用することができる。具体的には、物体検出装置は、カメラ姿勢算出部と、領域設定部と、処理方法決定部と、画像生成部と、物体検出部とを備え、前記カメラ姿勢算出部は、移動体に設けられたカメラの姿勢に関する情報を取得し、前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された画像内の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、前記物体検出部は、前記各領域画像を用いて物体を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、物体検出装置がカメラの姿勢を算出し、算出されたカメラの姿勢に基づいて画像内の場所と撮影される空間を関係付け、前記関係に基づいてカメラで撮影された画像を複数の領域に分割し、領域毎の解像度を設定するので、カメラの傾きが大きい場合であっても、高い検出率で物体を検出できる。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明の第一の実施例に係る、物体検出装置の構成を示すブロック図である。
【図１Ｂ】図１Ａの情報処理装置のハード構成を示すブロック図である。
【図２】図１Ａの情報処理部の機能構成を示すブロック図である。
【図３】第一の実施例において、移動ロボットが物体を検出する動作を示すフローチャート図である。
【図４】図３のフローチャートに対応した、タイムチャート図である。
【図５Ａ】図３のステップＳ３０２における、第１のカメラにより現在のタイミングＴｎで撮影された画像（０１−２）の一例を示す図である。
【図５Ｂ】図３のステップＳ３０３における、タイミングＴｎ−１撮影された画像の物体情報（００−３）の一例を示す図である。
【図６】実世界の座標系と第２のカメラの座標系との関係を示す図である。
【図７Ａ】図３のステップＳ３０３における、１つ前のタイミングＴｎ−１で得られた物体情報から生成される第１の障害マップの一例を示す図である。
【図７Ｂ】１つ前のタイミングＴｎ−１で視認できない領域から生成された第２の障害マップを示す図である。
【図７Ｃ】図７ＢをYw軸上方から見た図である。
【図７Ｄ】最終的な障害マップの例を示す図である。
【図８】図３のステップＳ３０４における、第１のカメラの姿勢から、第１のカメラで撮影された画像内の複数の検出領域を設定する動作を示すフロー図である。
【図９Ａ】図３のステップＳ３０５における、複数の空間Siが世界座標系に配置された様子を示した図である。
【図９Ｂ】図９Ａの空間Siを世界座標系のYw軸上方から見た様子、及び、Xw軸上方から見た様子を示す図である。
【図１０Ａ】障害マップの一例を示した図である。
【図１０Ｂ】世界座標系に配置された空間Siを示した図である。
【図１０Ｃ】図１０Ｂに示された空間Siを図１０Ａに示された障害マップに応じて変形した後の空間Si’を示した図である。
【図１０Ｄ】世界座標系に配置された空間Siを示した別の例の図である。
【図１０Ｅ】図１０Ｄに示された空間Siを、図１０Ａに示された障害マップに応じて変形した後の空間Si’を示した図である。
【図１１Ａ】第１のカメラで、ある空間Si’を含む範囲を撮影する様子を示す図である。
【図１１Ｂ】撮影された画像Iにおいて空間Si’に該当する検出領域Ciを示す図である。
【図１１Ｃ】第１のカメラで撮影された画像（０１−２）に関し、算出された検出領域Ciの例を示す図である。
【図１２】図３のステップＳ３０６の動作フローを示す図である。
【図１３Ａ】ある空間Si’内でカメラから最も離れた位置に配置した物体を所定の画素数で、画像の撮像面に横方向に撮像される様子を示した図である。
【図１３Ｂ】図１３Ａと同じ物体に関して、画像が縦方向に撮像される様子を示した図である。
【図１４】第１のカメラで撮影された画像（０１−２）に関して、物体検出部が物体検出処理した結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を、図面を用いて説明する。なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【００１０】
図１Ａは、本発明の第一の実施例に係る物体検出装置１０００の構成を示すブロック図である。図１Ｂは、図１Ａの情報処理装置のハード構成を示すブロック図である。物体検出装置１０００は、経路を移動する移動体（移動ロボット）１００と、表示装置１４０とを備える。本実施形態において、移動体１００は経路を走行中にロール方向の傾きが生じる可能性のある移動体である。移動ロボット１００は、ロボット本体（図示略）と、このロボット本体を経路上で移動（自律走行）させる移動機構１２４と、このロボット本体に搭載された第１のカメラ１２１、第２のカメラ１２２、移動体制御部１２３、情報処理装置１２５、送受信装置１２６、記憶装置１２７、外界測定装置１２８、及び、内界測定装置１２９とを備える。表示装置１４０は、例えば、通信機能やＧＵＩ機能付きの表示画面を有するタブレット端末である。
【００１１】
第１、第２のカメラ１２１、１２２は、移動ロボット１００の前方の空間を撮影するカメラである。図１Ａでは２台のロボットカメラを示しているが、第１のカメラ１２１の役割を第２のカメラ１２２で代用させてもよい。あるいはまた、第１のカメラ１２１を２台以上としてもよい。移動体制御部１２３は、移動ロボット１００が備える各機能部を制御する。移動機構１２４は、移動体制御部１２３の制御に基づいて、移動ロボット１００自体を移動させる機構である。情報処理装置１２５は、カメラで撮影された画像を処理して、移動ロボット１００の前方の物体を検出する物体検出処理部として機能する。
【００１２】
移動ロボット１００の具体例としては、移動機構１２４としてのモータにより車輪を駆動して走行する、電動２輪方式の人型の移動ロボット１００が挙げられる。移動機構１２４が電動一輪方式の移動ロボットでも良い。
【００１３】
図１Ｂに示したように、情報処理装置１２５は、ＣＰＵ１３１、主記憶部１３２、補助記憶部１３３、バス１３４を備える。上記１３１から１３３までの各装置はバス１３４によって接続され、各装置間で相互にデータの送受信が行われる。また、ＣＰＵ１３１と別の補助演算部１３５を備えてもよい。
【００１４】
ＣＰＵ１３１は、主記憶部１３２または補助記憶部１３３に格納されているプログラムを読み出し、演算を実行し、主記憶部１３２や補助記憶部１３３や移動体制御部１２３に演算結果を出力する。  
主記憶部１３２は、ＣＰＵ１３１によって実行されるプログラムや、ＣＰＵ１３１によって実行される演算結果や、情報処理装置１２５で利用される設定情報を格納する。主記憶部１３２は、たとえば、ランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）等で実現される。  
補助記憶部１３３は、ＣＰＵ１３１によって実行されるプログラムや、ＣＰＵ１３１によって実行される演算結果や、情報処理装置１２５で利用される設定情報を格納する。補助記憶部１３３は、特に、主記憶１３２に格納しきれないデータの格納や、電源遮断された状態でもデータを保持する目的で使用される。補助記憶部１３３は、たとえば、ハードディスク（ＨＤＤ）などの磁気ディスクドライブ、あるいはフラッシュメモリ等の不揮発性メモリ等を、単体あるいは複数組み合わせて構成される。補助記憶部１３３には、検出対象として、予め、車、人、建物等の形状等の物体に関する情報も設定されている。表示装置１４０も、同様な機能を有する情報処理装置により構成される。  
送受信装置１２６は、表示装置１４０と通信することで、ユーザによる表示装置１４０から移動ロボット１００への指令を受信し、情報処理装置１２５の処理結果を表示装置１４０へ出力する。
【００１５】
記憶装置１２７は、移動ロボット１００が移動を行うための移動制御用の処理プログラムや設定情報等のデータや監視対象の空間地図などを格納する。記憶装置１２７は、ハードディスク（ＨＤＤ）などの記憶装置を用いて実現することができる。なお、補助記憶部１３３に設定されている物体に関する情報を、記憶装置１２７に設定してもよい。
【００１６】
外界測定装置１２８は、移動ロボット１００の外部（実環境）における相対位置や絶対位置を示すデータを計測するための外界センサであり、たとえば、ランドマークを測定して移動ロボット１００の相対位置を測定するためのランドマーク検出センサ（レーザレンジファインダなど）とＧＰＳ衛星からの電波を受信して移動ロボット１００の絶対位置を測定するためのＧＰＳ装置などを備えている。
【００１７】
内界測定装置１２９は、移動ロボット１００の内部（移動機構装置１２４）における車輪の回転量、ジャイロセンサで測定される姿勢（回転３軸、並進３軸の加速度）を計測するためのセンサであり、たとえば、移動ロボット１００の車輪の回転量を計測するロータリエンコーダと、移動ロボット１００の姿勢（回転３軸、並進３軸の加速度）を計測するジャイロセンサなどを備えている。
【００１８】
移動ロボット１００の構成はこれに限られるものではなく、移動機構、撮像機能を備えていればよい。
【００１９】
移動ロボット１００の自律移動制御の処理プログラムの構成および処理動作については、外界センサと内界センサで測定された測定データに基づいて、実環境に対応した地図上での自己位置を推定しながら、計画された経路を辿るように実環境を自律移動することで目的地に到達することを達成可能な処理プログラムの構成および処理動作を用いればよい。
【００２０】
図２は、情報処理装置１２５のＣＰＵ１３１が主記憶部１３２または補助記憶部１３３に格納されている処理プログラムを実行することにより実現される、物体検出処理部２０１の機能構成を示すブロック図である。物体検出処理部２０１は、カメラ姿勢算出部２１１、領域算出部２１２、処理方法決定部２１３、画像生成部２１４、及び、物体検出部２１５を備える。
【００２１】
カメラ姿勢算出部２１１は、第２のカメラ１２２が取得した２枚以上のフレーム画像１（第１の画像）それぞれを用いて第２のカメラ１２２の姿勢を算出し、算出された第２のカメラ１２２の姿勢と、予め計算しておいた第２のカメラ１２２に対する第１のカメラ１２１の姿勢から、第１のカメラ１２１の姿勢を算出する。また、カメラ姿勢算出部２１１は、例えば、連続する複数枚のフレーム画像１の変化が大きいと判断した場合や、フレーム画像が均一色であるような前方が撮影されていないと判断した場合など、フレーム画像１が正常でないと判断した場合は、領域算出部２１２と物体検出部２１５にフレーム画像の異常を表すフラグを送信する。
【００２２】
なお、カメラ姿勢算出部２１１は、内界測定装置１２９に備えられたジャイロセンサを用いて計測された第１のカメラ１２１の姿勢を取得してもよい。また、内界測定装置１２９に備えられたジャイロセンサを用いて計測された姿勢と、第２のカメラ１２２が取得した２枚以上のフレーム画像１を用いて算出された第１のカメラ１２１の姿勢とを統合した結果得られる姿勢を結果として出力してもよい。
【００２３】
領域算出部（領域設定部）２１２は、カメラ姿勢算出部２１１から第１のカメラ１２１の姿勢を取得し、取得された姿勢から第１のカメラ１２１の画像２（第２の画像）内の場所と撮影される空間を関係付け、また、主記憶１３２に格納された前のフレームの画像２の物体情報を取得し、前記関係と取得された物体情報に基づいて、第１のカメラ１２１で撮影された画像２の内部に、複数個の領域を設定する。
【００２４】
処理方法決定部２１３は、領域算出部２１２で算出された画像２の内部の複数個の領域それぞれに対して、物体の検出に必要な解像度の設定を含む画像処理方法を決定する。
【００２５】
画像生成部２１４は、領域算出部２１２で算出された画像２内の複数個の領域それぞれに対して、処理方法決定部２１３で決定された前記解像度を含む画像処理方法に基づいて画像処理を行って領域画像を生成する。
【００２６】
物体検出部２１５は、カメラ姿勢算出部２１１からフレーム画像の異常を表すフラグと、画像生成部２１４から複数個の領域画像を取得し、物体情報に基づいて、画像２内の領域画像それぞれに対して物体を検出し、得られた検出結果と、以前のタイミングで得られた物体情報と統合し、主記憶部１３２に格納して、移動体制御部１２３に送信する。主記憶部１３２に格納された物体の検出結果は、送受信装置１２６を介して、表示装置１４０にも出力される。
【００２７】
図３は、物体検出処理部２０１の処理の流れ、換言すると、移動ロボット１００が物体を検出する動作を示すフローチャート図である。  
まず、タイミングＴｎにおいて、第２のカメラ１２２が移動ロボット１００の前方の空間を撮影し、時間的に連続する２枚以上のフレーム画像１を取得する。（Ｓ３０１）。これと同じタイミングで、第１のカメラ１２１が移動ロボット１００の前方の空間を撮影し、１枚のフレーム画像２を取得する（Ｓ３０２）。また、領域算出部２１２は、主記憶部１３２に格納されている１つ前のタイミングＴｎ−１で得られた物体情報と、１つ前のタイミングＴｎ−１での視野として視認できない領域情報とから障害マップを算出する（Ｓ３０３）。
【００２８】
次に、カメラ姿勢算出部２１１は、主記憶部１３２に格納されている２枚以上のフレーム画像１のそれぞれに対して、複数個の特徴点を算出し、算出された特徴点の集合を対応付け、対応付けが行われた特徴点の集合から第２のカメラ１２２の姿勢を算出し、この第２のカメラ１２２の姿勢と、予め計算しておいた第２のカメラ１２２に対する第１のカメラ１２１の姿勢とから、世界座標系に対する第１のカメラ１２１の姿勢を算出する（Ｓ３０４）。
【００２９】
次に、領域算出部２１２は、カメラ姿勢算出部２１１から第１のカメラ１２１の姿勢を取得し、この姿勢から画像２内の場所と撮影される空間を関係付け、物体情報と障害マップに基づいて、第１のカメラ１２１で撮影された画像２の内部の複数個の検出領域Ciを算出する（Ｓ３０５）。
【００３０】
次に、処理方法決定部２１３は、領域算出部２１２で算出された検出領域Ciそれぞれに対して物体の検出のための解像度を含む画像の処理方法（変換率ｍi／ｎi倍とローパスフィルタのカットオフ周波数fi）を決定する（Ｓ３０６）。  
次に、画像生成部２１４は、領域算出部２１２で算出された検出領域Ciと、処理方法決定部２１３で算出された画像の処理方法を用いて、主記憶部１３２に格納された画像２から、検出領域Ciの部分を切り出し、N個の画像を生成する（Ｓ３０７）。  
最後に、物体検出部２１５は、生成されたN個の画像に対して物体検出処理を行い、物体を検出する（Ｓ３０８）。
【００３１】
図４は、図３の各ステップ、すなわち、移動ロボット１００が物体を検出する動作を、タイムチャートで説明する図である。以下、各ステップについて、図４〜図１４を参照しながら、関連する一連の動作毎に説明する。
［Ｓ３０１〜Ｓ３０２、Ｓ３０４］（画像取得及びカメラ姿勢算出）：
まず、画像取得及びカメラ姿勢算出の処理（Ｓ３０１〜Ｓ３０２、Ｓ３０４）について、図５Ａ〜図６を参照しながら説明する。  
図４に示すように、第２のカメラ１２２が、現在のタイミングＴｎで前方の空間を撮影し、時間的に連続する２枚以上のフレーム画像（０１−１）、すなわち画像１を取得する（Ｓ３０１）。撮影されたフレーム画像（０１−１）は矢印３５１のように主記憶部１３２に格納される。また、ステップＳ３０１と同じタイミングＴｎで、第１のカメラ１２１が前方の空間を撮影し、１枚のフレーム画像（０１−２）、すなわち画像２を取得する（Ｓ３０２）。撮影されたフレーム画像（０１−２）は矢印３５２のように主記憶部１３２に格納される。  
図５Ａは、第１のカメラ１２１により現在のタイミングＴｎで撮影された画像（０１−２）の一例であり、この画像は、ロール方向の傾きが生じた移動体上のカメラで撮影されたものである。
【００３２】
なお、主記憶部１３２には、１つ前のタイミングＴｎ−１で撮影された画像から得られた物体情報（００−３）も格納されている。図５Ｂは、タイミングＴｎ−１における物体情報（００−３）の一例であり、これには、物体４０１−４０６が含まれている。例えば、物体４０５は車である。
【００３３】
ステップＳ３０１が完了した後、カメラ姿勢算出部２１１は、主記憶部１３２に格納されている２枚以上のフレーム画像（図４においては画像集合と表記、（０１−１））のそれぞれに対して、複数個の特徴点を算出し、算出された特徴点の集合を対応付け、対応付けが行われた特徴点の集合から第２のカメラ１２２の姿勢を算出し、これに基づいて、世界座標系に対する第１のカメラ１２１の、ロール方向の傾きを含む、姿勢を算出する（Ｓ３０４）。
【００３４】
図６は、第１の座標系である実世界の座標系（以下、世界座標系と称する）と、第２の座標系である第２のカメラ１２２の座標系（以下、カメラ座標系と称する）との関係を示す図である。以降の説明では、第１の座標系すなわち世界座標系を表す座標をPw＝（Xw,Yw,Zw）、第２の座標系すなわちカメラ座標系を表す座標をPc＝（Xc,Yc,Zc）とする。図６では、カメラ座標系は世界座標系のZw軸に沿って傾いている様子が示される。これは、カメラ座標系のXc軸が世界座標系のXw軸（以下、ロール方向と称する）から傾いていることと等価である。世界座標系に対するカメラの並進をTcw、回転をRcwとした場合、第２のカメラ１２２の姿勢は並進Tcwと回転Rcwで表現される。座標Pwと座標Pcとの関係は、以下の式（１）により表される。  
Pc＝Rcw×Pw＋Tcw  ・・・（１）  
対応付けが行われた特徴点集合から、並進Tcwと回転Rcwを算出するには、公知の方法を用いればよい。  
また、対応付けされた特徴点の集合同士の画像上の距離が所定より大きい場合、または、対応付けに失敗する特徴点が所定の数以上ある場合は、時間的に連続するフレーム画像の変化が大きいと見なし、領域算出部２１２と物体検出部２１５にフレーム画像の異常を表すフラグを送信する。また、フレーム画像が均一色の場合も、領域算出部２１２と物体検出部２１５にフレーム画像の異常を表すフラグを送信する。フレーム画像の異常を表すフラグを送る場合は、現在のフレームの姿勢を直前の数フレームの画像のカメラの姿勢の集合を用いて計算する。例えば、直前の数フレームのカメラの姿勢の時間変化の平均を算出し、それを直前のフレームのカメラの姿勢に足し合わせた結果を現在のフレームの姿勢とすればよい。
【００３５】
続いて、第２のカメラ１２２の姿勢と、予め計算しておいた第２のカメラ１２２に対する第１のカメラ１２１の姿勢から、世界座標系に対する第１のカメラ１２１の姿勢を算出する方法を説明する。第２のカメラ１２２の座標系を表す座標Pc1と第１のカメラ１２１の座標系が表す座標Pc2との関係は、第２のカメラ１２２に対する第１のカメラ１２１の並進をTc2c1、回転をRc2c1とした場合、式（２）により表される。  
Pc2＝Rc2c1×Pc1＋Tc2c1  ・・・（２）
第１のカメラ１２１の姿勢とは、世界座標系に対する第１のカメラ１２１の並進Tc2w、回転Rc2wであり、式（１）と式（２）の関係式に基づいて算出される式（３）に基づき、Tc2w＝Rc2c1×Tc1w＋Tc2c1、Rc2w＝Rc2c1×Rc1wとなる。  
Pc2＝（Rc2c1×Rc1w）×Pw＋（Rc2c1×Tc1w＋Tc2c1）  ・・・（３）
第２のカメラ１２２に対する第１のカメラ１２１の並進Tc2c1と回転Rc2c1は、前述のとおり、事前に計算しておく。また、計算された第１のカメラ１２１の姿勢は主記憶１３２に格納し、次のタイミングにおける第１のカメラ１２１の姿勢の算出の際に事前情報として用いる。
【００３６】
［Ｓ３０３］（障害マップ算出）：
障害マップ算出の処理（Ｓ３０３）について、図７を参照しながら説明する。  
領域算出部２１２は、現在のタイミングＴｎで第１のカメラ１２１の姿勢算出の処理（Ｓ３０４）が実施される前に、主記憶部１３２に格納されている１つ前のタイミングＴｎ−１で得られた物体情報（００−３）と、１つ前のタイミングＴｎ−１で視認できない領域の２つの情報から障害マップを算出する（Ｓ３０３）。１つ前のタイミングＴｎ−１とは、Ｓ３０１およびＳ３０２が実施される前に第１、第２のカメラ１２１、１２２が撮影した時刻を表す。
これ以降、障害マップとは、現在のタイミングＴｎでの障害となりうる領域を表したマップとする。
【００３７】
図７Ａ〜図７Ｄは、世界座標系Pw＝（Xw,Yw,Zw）における障害マップの一例を示す図である。  
図７Ａは、１つ前のタイミングＴｎ−１で得られた物体情報から生成される第１の障害マップである。図７Ａにおいて、５０１〜５０３は、１つ前のタイミングＴｎ−１で撮影された直前の画像から検出された物体情報（００−３）の物体であり、領域５１１〜５１３は現在のタイミングＴｎにおいて、物体５０１〜５０３それぞれが障害となりうる領域を示す。領域５１１〜５１３は、検出された物体それぞれに対して、１つ前のタイミングから現在のタイミングまでの間に移動可能な領域として算出される。例えば、領域５１１は物体５０１から所定の距離だけ離れた範囲である。物体の種類が特定されていれば、その種類に応じた移動モデルに従って移動可能な範囲を計算できる。物体の種類が特定されない場合は、予め用意した物体のサイズごとの移動モデルを用いて移動可能な領域を計算すればよい。
【００３８】
図７Ｂは、１つ前のタイミングＴｎ−１で視認できない領域から生成された第２の障害マップを示す。図７Ｂにおいて、領域５０４、５０５は、１つ前のタイミングでカメラの視野外の領域から生成した、現在のタイミングＴｎで障害となりうる領域である。
【００３９】
図７Ｃは、図７ＢをYw軸上方から見た図である。領域５０４、５０５は、１つ前のタイミングＴｎ−１での視野５０７の外側の領域に存在すると仮定した物体が、現在のタイミングＴｎまでに視野５０７に移動可能な領域と視野５０７の外側の領域を合わせた領域である。したがって、領域５０４、５０５は、視野５０７と一部が重なる。  
領域５０６は、図７Ｂに示した１つ前のタイミングで得られた物体５２３の影響で、現在のタイミングＴｎで障害となりうる領域である。物体５２３の後方はカメラ位置Ｐからは視認できないため、物体が存在するかどうか判断できない。そこで、視認できない領域に物体が仮に存在すると仮定し、その物体が現在のタイミングＴｎまでに移動可能な領域を現在のタイミングで障害となりうる領域とする。領域５０６は、図７Ｂに示すように、Xw軸、Yw軸それぞれで物体５２３より大きくなる。
【００４０】
図７Ｄは、最終的な障害マップを示す図である。図７Ｄの各領域は、図７Ａの第１の障害マップ（５１１〜５１３）、及び、図７Ｂの第２の障害マップ（５０４〜５０６）と同じである。
【００４１】
また、カメラ姿勢算出部２１１からフレーム画像（０１−２）の異常を表すフラグが送信された場合、領域５０４〜５０６、領域５１１〜５１３を算出する際に、１つ前のタイミングＴｎ−１から現在のタイミングＴｎまでの間に移動可能な領域を広めに設定してもよい。これにより、第１のカメラ１２１の姿勢の誤差により生じた領域５０４〜５０６、領域５１１〜５１３のずれをカバーすることができ、物体検出の性能劣化を抑えることができる。
【００４２】
また、カメラ姿勢算出部２１１からフレーム画像の異常を表すフラグが送信された場合、１つ前のタイミングＴｎ−１から現在のタイミングＴｎまでの間に移動可能な領域を広めに設定してもよい。これにより、第１のカメラ１２１の姿勢の誤差により生じた領域５１１〜５１３のずれをカバーすることができ、物体検出部２１５の性能劣化を抑えることができる。
【００４３】
［Ｓ３０５〜Ｓ３０６］（画像内部の複数個の領域の算出と、各領域の処理方法の決定）：
次に、画像内部の複数個の領域の算出と、各領域の処理方法の決定の処理（Ｓ３０５〜Ｓ３０６）について、図８〜図１３を参照しながら説明する。
領域算出部２１２は、カメラ姿勢算出部２１１から第１のカメラ１２１の姿勢を取得し、取得した姿勢から、取得された姿勢から画像２内の場所と撮影される空間を関係付け、求められた関係から第１のカメラ１２１で撮影された画像２の内部の複数個の領域を算出・設定する（Ｓ３０５）。以下、その手順を図８に示す。
【００４４】
図８は、ステップＳ３０５の動作フロー図である。  
領域算出部２１２は、世界座標系において、カメラの位置PのZw軸距離Di（i＝１、 ２、…、N）離れた路面上の位置に幅SWi、奥行SDi、の空間Siを仮想的に配置する（Ｓ６０１）。
【００４５】
図９Ａ〜図９Ｂは、空間Siが世界座標系に配置された様子をiごとに示した図である。空間Siはカメラの撮影方向側に設定する。空間Siは、例えば、図９Ａ〜図９Ｂに示すように、路面と同一平面上の矩形領域とする。奥行SDiは、図９Ａで示される検出対象の物体７０１（例えば人）の奥行よりやや大きい値に設定する。図９Ｂの（Ａ）は、空間Siを世界座標系のYw軸上方から見た様子を示す図である。幅SWiは距離Diに比例し、かつ、カメラの視野７０２が覆われる値を設定する。図９Ｂの（Ｂ）は、空間Siを世界座標系のXw軸上方から見た様子を示す図である。空間の個数Nは、検出対象距離をDmax、最低撮影距離Dminとしたとき、ΣSDi>(Dmax-Dmin)となる最初の整数−１で決定できる。検出対象距離をDmaxは事前に設定しておく。最低撮影距離Dminは、事前に、カメラの高さと内部パラメータを用いて計算して設定する。距離Diは、例えば、空間Siと空間Sj  (j≠i)間で重なりがなく、空間Siと空間Si+1で隣接するように配置し、値を計算する。また、空間Siと空間Si+1を重なるように配置してもよい。これにより空間数が増えることで物体検出部２１５において計算量は増加するが、空間同士の切れ目の影響を抑えられるため、検出精度が高くなる。
【００４６】
領域算出部２１２は、Ｓ６０１で配置された空間SiをＳ３０３で生成された障害マップに応じて変形する（Ｓ６０２）。変形した新たな空間をSi’とする。
【００４７】
図１０Ａ〜図１０Ｅは、障害マップを変形する一例を示した図である。図１０Ａは、障害マップの一例であり、図７Ｄと同じものである。図１０Ｂは、世界座標系に配置された空間Siを示した図である。図１０Ｃは、図１０Ｂに示された空間Siを図１０Ａに示された障害マップに応じて変形した後の空間Si’を示した図である。図１０Ｃにおいて、空間Siと領域５１１〜５１３が重なる領域８０１〜８０３が各々、変形後の空間Si’に相当する。
【００４８】
図１０Ｄは、世界座標系に配置された空間Siを示した別の例の図である。図１０Ｅは、図１０Ｄに示された空間Siを、図１０Ａに示された障害マップに応じて変形した後の空間Si’を示した図である。図１０Ｅにおいて、空間Siと領域５０４〜５０６が重なる領域８２１〜８２３、及び、空間Siと領域５１１、５１２が重なる領域８１１、８１２が、各々、変形後の空間Si’に相当する。
【００４９】
また、カメラ姿勢算出部２１１からフレーム画像の異常を表すフラグが送信された場合、算出された第１のカメラ１２１の姿勢が本来の値と比較して誤差が大きいと判断し、空間Siを障害マップに応じて変形することなしに空間Si’として出力してもよい。これにより、第１のカメラ１２１の姿勢の誤差により生じた領域５０４〜５０６、領域５１１〜５１３のずれたことによる物体検出部２１５の性能劣化を抑えることができる。
【００５０】
また、ＣＰＵ１３１の処理負荷にゆとりがあると判断した場合、空間Siを障害マップに応じて変形することなしに空間Si’として出力してもよい。これにより、仮に、前のタイミングにおいて物体検出部２１５の検出結果に、物体の検出漏れが発生していたとしても、物体を検出できる可能性が高まる。
【００５１】
領域算出部２１２は、第１のカメラ１２１で撮影したときに得られる画像Iにおいて、変形後の空間Si’に該当する検出領域Ciを算出する（Ｓ６０３）。
【００５２】
図１１Ａ〜図１１Ｂは、第１のカメラ１２１で空間Si’を含む範囲を撮影する様子と、撮影された画像Iにおいて空間Si’に該当する検出領域Ciを示す図である。図１１Ａに示されるように、第１のカメラ１２１が世界座標系においてロール方向に傾いている場合、図１１Ｂに示すように検出領域Ciは画像I上で傾きが生じる。つまり、ロール方向に傾きが発生する場合、画像Iの場所と世界座標系で設定された空間との対応付けが変化する。
【００５３】
図１１Ｃは、第１のカメラ１２１により現在のタイミングで撮影された、図５Ａのフレーム画像（０１−２）に関して、領域算出部２１２で算出された内部の複数個の検出領域Ciの一例を示すものである。領域算出部２１２は、ロール方向に傾いた第１のカメラ１２１の姿勢に基づいて、画像（０１−２）内の場所と撮影される空間を関係付け、また、前のタイミングのフレーム画像（図５Ｂの００−３）の物体情報４０１−４０６を取得する。第１のカメラ１２１の姿勢に基づいて画像（０１−２）内の場所と撮影される空間が関係付けられるので、画像内の上下関係、ひいては画像内の場所の遠近関係が把握できる。そして、前記関係付けと取得された物体情報４０１−４０６とに基づいて、現在のタイミングの画像（０１−２）の内部に、複数個の検出領域Ciを設定する。図１１Ｃの例では、ロール方向に傾いた領域９０１〜９０８が、各々、検出領域Ci（ｉ＝１−８）である。なお、領域９２０は非検出領域を示している。
【００５４】
続いて、処理方法決定部２１３は、領域算出部２１２で算出された検出領域Ciそれぞれに対して処理方法を決定する。  
図１２は、画像の処理方法決定の処理（Ｓ３０６）の動作フローを示す図である。処理方法決定部２１３は、画像の検出領域Ciそれぞれに対して、当該検出領域Ciに対応する空間Si’内でカメラから最も離れた位置に、予め検出対象として設定した物体を配置したと仮定したきに、配置された物体が撮像される画素数Riを計算する（Ｓ１００１）。
【００５５】
図１３Ａ〜図１３Ｂは、ある検出領域Ciに対応する空間Si’（ここではSi’＝Si）内において、カメラの位置Ｐから最も離れた位置に配置した物体１１０１が、所定の画素数で撮像面に撮像される様子を、画像の横方向と縦方向に分けて示した図である。図１３Ａは、画像が横方向に撮像される様子を示した図である。図１３Ａより、物体１１０１を第１のカメラで撮像した時の横方向の画素PwはPw＝(Ow f/( SDi+ Di))/Qwにより求められる。Owは予め検出対象として設定した物体１１０１の幅であり、事前に設定される。fは、カメラの中心Ｐから撮像面までの焦点距離であり、使用するレンズに応じて事前に設定される。SDiは空間Si’の奥行であり、前述のとおり、事前に設定される。Diはカメラの中心Pから空間Si’までの距離であり、事前に設定される。Qwはカメラの撮像素子の横幅であり、これは使用する撮像素子固有の値である。
【００５６】
図１３Ｂは、画像が縦方向に撮像される様子を示した図である。図１３Ｂより、物体１１０１をカメラで撮像した時の撮像面における縦方向の画素の幅Phは、Ph＝(Oh f/( SDi+ Di))/Qhにより求められる。Ohは予め検出対象として設定した物体１１０１の高さであり、事前に設定される。Qhはカメラの撮像素子の縦幅であり、これは使用する撮像素子固有の値である。f、SDi、Diは、図１３Ａと同じである。算出された横方向の画素数Pw と縦方向の画素数Phのペアを、物体検出のための解像度Riとする。
【００５７】
また、図１０Ｃの８０１〜８０３のように、既に検出された物体に基づいて算出された空間Si’に物体が検出されている場合や、図１０Ｂの空間Siを変形せずに空間Si’に物体が検出されている場合には、OwとOhを既に検出されている物体の幅と奥行きを用いるようにしてもよい。これにより予め設定した物体の幅と奥行きに比べて、既に検出されている物体の幅と奥行が大きい場合は、解像度Riを低くすることができ、物体検出部２１５での計算量を減らすことができる。
【００５８】
続いて、処理方法決定部２１３は、領域算出部２１２で算出された画像２の内部の複数個の領域それぞれに対して、物体の検出のための解像度の設定を含む画像処理方法を決定する。  
処理方法決定部２１３は、まず、検出領域Ci毎に、所定の大きさの物体を、所定の画素数で撮影するのに必要な解像度Ri（PwとPhのペア）を計算する。すなわち、ステップＳ１００１で計算された画素数Riと、予め検出対象として設定した物体を撮像したときに必要な画素数Rlから、Rl／Riの関係に基づいて、変換率mi／ni倍（ni>mi）を算出し、変換率に応じてローパスフィルタのカットオフ周波数fiを決定する（Ｓ１００２）。Rlは物体検出部２１５で検出処理に求められる画素数を事前に設定する。Rlとして、例えば、２０〜３０画素が用いられる。ローパスフィルタのカットオフ周波数fiは、想定される変換率毎に予め設定しておく。
【００５９】
［Ｓ３０７〜Ｓ３０８］（領域画像生成及び物体検出）：
次に、領域画像生成及び物体検出の処理（Ｓ３０７〜Ｓ３０８）について、図１１Ｂ、図１１Ｃ、図１４を参照しながら、説明する。
画像生成部２１４は、領域算出部２１２で算出された検出領域Ciと、処理方法決定部２１３で算出された画像の処理方法（変換率ｍi／ｎi倍とローパスフィルタのカットオフ周波数fi）を用いて、主記憶部１３２に格納された画像２から、検出領域Ciの部分を切り出し、変換率mi／ni倍とローパスフィルタのカットオフ周波数fiを用いて縮小する（Ｓ３０７）。このようにして、物体検出の対象となるN個の画像が生成される。
【００６０】
検出対象となる物体の必要画素数Rlは予め設定されており、また、画像内の場所の遠近関係を把握している。通常、画像の上部には移動体から遠くに存在する物体や自車より高い物体が撮影され、画像の下部には移動体の近くに存在する物体や路面が撮影される関係に有る。従って、検出領域がカメラの中心Pから遠い場合と近い場合とでは、画像の処理方法に差を生じ、結果として、画像内の全域にわたり検出対象となる物体の画素数をある範囲内に収めることができる。検出対象となる物体の必要画素数を小さく設定することで、高速に物体を検出できる。また、検出対象となる物体の画素数がある範囲内に収まることから、それを想定した物体検出手法を適用することができ、高い検出率で物体を検出できる。
【００６１】
なお、カメラのロール方向の姿勢に傾きが生じている場合、図１１Ｂや図１１Ｃに示したように検出領域Ciが平行四辺形になる。画像処理は一般的に長方形で処理することが効率的であるため、検出領域Ciを縮小する前に長方形になるように変形する。長方形に変形することで、ステップＳ３０８の物体検出処理において、画像生成部２１４で生成された画像を主記憶部１３２から読み出す際に、第１のカメラ１２１の姿勢によらない単一の手法とすることができる。ただし、画像の変形処理は、多大な処理時間がかかる場合があるため、その場合は、物体検出部２１５において、画像生成部２１４で生成される画像を主記憶部１３２から読み出す際に、アクセスする順序を工夫することで、対応可能である。
【００６２】
物体検出部２１５は、ステップＳ３０７で生成されたN個の画像に対して、物体検出処理を行い、得られた検出結果と、以前のタイミングの物体情報と統合し、主記憶部１３２に格納して、移動体制御部１２３に送信する（Ｓ３０８）。  
物体検出処理には、公知の方法を用いればよい。
【００６３】
図１４は、図１１Ｃの検出領域Ci（ｉ＝１−８）に関して、物体検出部２１５が物体検出を処理した結果を示す図である。図１４では、領域１２０１〜１２０６が検出された結果である。物体検出部２１５は、画像生成部２１４から複数個の領域画像を取得し、画像２内の領域画像それぞれに対して物体を検出し、得られた検出結果と、以前のタイミングで得られた物体情報と統合する。このようにして、例えば領域１２０１において、図５Ｂの物体４０５に対応する車を検出する。
【００６４】
以上のように、本実施形態に係る物体検出装置１０００は、カメラの姿勢を求める姿勢算出部と、求めた前記姿勢に基づいて画像の場所と撮影される空間を関係付け、前記関係を用いて前記カメラで撮影された画像上に複数の領域を設定する領域設定部と、複数の前記領域内の画像の解像度をそれぞれ設定する処理方法設定部と、前記設定された解像度に応じて解像度変換を行う解像度変換部と、解像度変換後の複数の前記画像それぞれに対して物体を検出する検出部と、を有することを特徴とする。
【００６５】
かかる特徴によれば、カメラの姿勢を算出し、算出されたカメラの姿勢に基づいて画像の場所と撮影される空間を関係付けて、前記関係に基づいてカメラで撮影された画像を複数の領域に、適切に分割することで、カメラのロール方向の傾きが大きい場合であっても、高い検出率で物体を検出できる。
【００６６】
なお、カメラ姿勢算出部２１１からフレーム画像の異常を表すフラグが送信された場合、カメラ姿勢算出部２１１で算出されるカメラ１２２の姿勢が本来の値と比較して誤差が大きいと判断し、現在のタイミングでの物体検出処理を中止してもよい。これにより、物体検出部２１５の誤検出を抑制することができる。
【００６７】
また、物体検出処理をした結果の信頼度を測定し、物体情報に付随して主記憶部１３２に格納してもよい。領域算出部２１３のステップＳ３０３において、１つ前のタイミングで検出された物体の移動可能な領域を計算するときに移動可能な領域のマージンを設け、前記マージンを検出結果の信頼度に応じて可変に制御することで、適切な障害マップが生成され、効率の良い物体検出処理が可能となる。
【００６８】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
【００６９】
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
【符号の説明】
【００７０】
１００：ロボット
１２１：第１のカメラ
１２２：第２のカメラ
１２３：移動体制御部
１２４：移動機構
１２５：情報処理装置
１２６：送受信装置
１２７：記憶装置
１２８：外界測定装置
１２９：内界測定装置
１４０：表示装置
２１１：カメラ姿勢算出部
２１２：領域算出部（領域設定部）
２１３：処理方法決定部
２１４：画像生成部
２１５：物体検出部
７０１：検出対象の物体
１０００：物体検出装置
１１０１：物体。
【図１Ａ】
2015145543.tif 000003
【図１Ｂ】
2015145543.tif 000004
【図２】
2015145543.tif 000005
【図３】
2015145543.tif 000006
【図４】
2015145543.tif 000007
【図５Ａ】
2015145543.tif 000008
【図５Ｂ】
2015145543.tif 000009
【図６】
2015145543.tif 000010
【図７Ａ】
2015145543.tif 000011
【図７Ｂ】
2015145543.tif 000012
【図７Ｃ】
2015145543.tif 000013
【図７Ｄ】
2015145543.tif 000014
【図８】
2015145543.tif 000015
【図９Ａ】
2015145543.tif 000016
【図９Ｂ】
2015145543.tif 000017
【図１０Ａ】
2015145543.tif 000018
【図１０Ｂ】
2015145543.tif 000019
【図１０Ｃ】
2015145543.tif 000020
【図１０Ｄ】
2015145543.tif 000021
【図１０Ｅ】
2015145543.tif 000022
【図１１Ａ】
2015145543.tif 000023
【図１１Ｂ】
2015145543.tif 000024
【図１１Ｃ】
2015145543.tif 000025
【図１２】
2015145543.tif 000026
【図１３Ａ】
2015145543.tif 000027
【図１３Ｂ】
2015145543.tif 000028
【図１４】
2015145543.tif 000029
【手続補正書】
【提出日】平成28年6月1日(2016.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラ姿勢算出部と、
領域設定部と、
処理方法決定部と、
画像生成部と、
物体検出部とを備え、
前記カメラ姿勢算出部は、移動体に設けられたカメラの姿勢に関する情報を取得し、
前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、
前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、
前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、
前記物体検出部は、前記各領域画像を用いて物体を検出する
ことを特徴とする物体検出装置。
【請求項２】
請求項1において、
前記領域設定部は、
前記カメラの姿勢から前記移動体が移動中の路面を基準にした第1の座標系を設定し、
前記第1の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする物体検出装置。
【請求項３】
請求項２において、
前記領域設定部は、
前記画像上の場所と撮影される空間の関係付けを行うために、前記カメラで直前のタイミングに撮影された直前の画像に対する物体検出結果に基づいて、前記カメラにより現在のタイミングで撮影された前記画像上に前記複数の検出領域を設定する
ことを特徴とする物体検出装置。
【請求項４】
請求項３において、
前記領域設定部は、
前記直前のタイミングにおいて前記カメラから視認できない視野外の領域を算出し、前記視野外の領域に基づいて現在のタイミングで障害となりうる領域を求め、該障害となりうる領域に基づいて前記各検出領域を変形する
ことを特徴とする物体検出装置。
【請求項５】
請求項２において、
前記仮想空間は、矩形状で路面と同一の平面上に 設定する
ことを特徴とする物体検出装置。
【請求項６】
請求項２において、
前記各仮想空間の幅は、前記カメラの位置から離れるごとに大きくなる
ことを特徴とする物体検出装置。
【請求項７】
請求項４において、
前記領域設定部は、
前記直前のタイミングにおいて検出された前記物体から、現在のタイミングにおいて障害となりうる領域を求め、該障害となりうる領域に基づいて、前記各検出領域を変形する
ことを特徴とする物体検出装置。
【請求項８】
請求項１において、
前記カメラ姿勢算出部は、第２のカメラで撮影された第１の画像から第１のカメラの姿勢を求め、
前記領域設定部は、前記第１のカメラの姿勢に基づいて、該第１のカメラで撮影された画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定する
ことを特徴とする物体検出装置。
【請求項９】
請求項１において、
前記処理方法決定部は、前記検出領域それぞれに対して、当該検出領域に対応する空間内で前記カメラから最も離れた位置に、予め検出対象として設定した物体を配置したと仮定したきに、配置された前記物体が撮像される第１の画素数を計算し、
該第１の画素数と、予め検出対象として設定した前記物体を撮像したときに必要な第２の画素数とから、前記画像の変換率を算出する
ことを特徴とする物体検出装置 。
【請求項１０】
請求項９において、
前記画像生成部は、
前記画像から切り出した平行四辺形の前記検出領域を長方形に変形し、
前記処理方法決定部で設定された前記画像の変換率とローパスフィルタのカットオフ周波数を用いて、前記長方形の各検出領域を縮小する
ことを特徴とする物体検出装置。
【請求項１１】
経路を移動する移動体の前方に存在する物体を検出する、物体検出方法であって、
前記移動体に設けられたカメラの姿勢を求め、
前記カメラの姿勢に基づいて、画像の場所と撮影される空間を関係付け、前記関係に基づいて前記カメラで撮影された画像上に複数の検出領域を設定し、
前記各検出領域の検出処理を行う場合の解像度をそれぞれ設定し、
前記各検出領域内の画像を前記解像度に変換し、
解像度変換後の前記各検出領域内の画像を用いて物体を検出する
ことを特徴とする物体検出方法。
【請求項１２】
請求項１１において、
前記カメラの姿勢から前記移動体が移動中の路面を基準にした第１の座標系を設定し、
前記第１の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする物体検出方法。
【請求項１３】
請求項１２において、
前記画像上の場所と撮影される空間の関係付けを行うために、前記カメラで直前のタイミングに撮影された直前の画像に対する物体検出結果に基づいて、前記カメラにより現在のタイミングで撮影された前記画像上に前記複数の検出領域を設定する
ことを特徴とする物体検出方法。
【請求項１４】
ロボット本体を経路上で移動させる移動機構と、
前記ロボット本体に搭載されたカメラと、
前記カメラの姿勢を求める姿勢算出部と、
領域設定部と、
処理方法決定部と、
画像生成部と、
解像度変換部と、
物体検出部とを備えた移動ロボットであって、
前記領域設定部は、前記カメラの姿勢に基づいて、前記カメラで撮影された前記移動ロボットの前方の空間の画像上の場所と撮影される空間を関係付け、前記関係に基づいて前記画像上に複数の検出領域を設定し、
前記処理方法決定部は、前記複数の検出領域それぞれに対して、解像度の設定を含む画像処理方法を決定し、
前記画像生成部は、前記各検出領域内の画像を前記設定された解像度に変換して領域画像を生成し、
前記物体検出部は、前記各領域画像を用いて物体を検出する
ことを特徴とする移動ロボット。
【請求項１５】
請求項１４において、
前記領域設定部は、
前記カメラの姿勢から前記移動ロボットが移動中の路面を基準にした第1の座標系を設定し、
前記第1の座標系において複数の仮想空間を配置し、
複数の前記仮想空間を前記カメラで撮影することで得られる複数の領域を、前記複数の検出領域として、前記画像上に設定する
ことを特徴とする移動ロボット置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
内界測定装置１２９は、移動ロボット１００の内部（移動機構１２４）における車輪の回転量、ジャイロセンサで測定される姿勢（回転３軸、並進３軸の加速度）を計測するためのセンサであり、たとえば、移動ロボット１００の車輪の回転量を計測するロータリエンコーダと、移動ロボット１００の姿勢（回転３軸、並進３軸の加速度）を計測するジャイロセンサなどを備えている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
図１１Ｃは、第１のカメラ１２１により現在のタイミングで撮影された、図５Ａのフレーム画像（０１−２）に関して、領域算出部２１２で算出された内部の複数個の検出領域Ciの一例を示すものである。領域算出部２１２は、ロール方向に傾いた第１のカメラ１２１の姿勢に基づいて、画像（０１−２）内の場所と撮影される空間を関係付け、また、前のタイミングのフレーム画像（図５Ｂの００−３）の物体４０１−４０６の情報を取得する。第１のカメラ１２１の姿勢に基づいて画像（０１−２）内の場所と撮影される空間が関係付けられるので、画像内の上下関係、ひいては画像内の場所の遠近関係が把握できる。そして、前記関係付けと取得された物体４０１−４０６の情報とに基づいて、現在のタイミングの画像（０１−２）の内部に、複数個の検出領域Ciを設定する。図１１Ｃの例では、ロール方向に傾いた領域９０１〜９０８が、各々、検出領域Ci（ｉ＝１−８）である。なお、領域９２０は非検出領域を示している。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
図１４は、図１１Ｃの検出領域Ci（ｉ＝１−８）に関して、物体検出部２１５が物体検出を処理した結果を示す図である。図１４では、領域１４０１〜１４０６が検出された結果である。物体検出部２１５は、画像生成部２１４から複数個の領域画像を取得し、画像２内の領域画像それぞれに対して物体を検出し、得られた検出結果と、以前のタイミングで得られた物体情報と統合する。このようにして、例えば領域１４０１において、図５Ｂの物体４０５に対応する車を検出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
また、物体検出処理をした結果の信頼度を測定し、物体情報に付随して主記憶部１３２に格納してもよい。領域算出部２１２のステップＳ３０３において、１つ前のタイミングで検出された物体の移動可能な領域を計算するときに移動可能な領域のマージンを設け、前記マージンを検出結果の信頼度に応じて可変に制御することで、適切な障害マップが生成され、効率の良い物体検出処理が可能となる。
【国際調査報告】
2015145543.tif 000030
2015145543.tif 000031
2015145543.tif 000032
2015145543.tif 000033