(57)【要約】  画像抽出部（１０４）は、カメラ（２００）で撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出する。距離算出処理実行部（１０５）は、撮影画像に含まれる被写体の画像を用いてカメラ（２００）から被写体までの距離を算出する距離算出処理を、画像抽出部（１０４）により抽出された特定の被写体の画像に限定して実行する。
2015098222.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部を有することを特徴とする情報処理装置。
【請求項２】
前記距離算出処理実行部は、
前記距離算出処理を前記特定の被写体の画像に限定して実行して、前記カメラから、前記特定の被写体内で前記カメラに最も近接している最近接点までの距離を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像抽出部は、
前記カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記特定の被写体の幅長を算出し、
算出した前記特定の被写体の幅長と、前記特定の被写体の推定される高さと、前記カメラの仕様とに基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、
前記特定の被写体の推定した画像サイズにて前記撮影画像内の画像認識を行い、前記特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像抽出部は、
前記画像サイズにて前記撮影画像内の画像認識を行った結果、前記特定の被写体の画像を抽出することができない場合に、前記画像サイズよりも大きな画像サイズにて前記撮影画像内の画像認識を行い、前記特定の被写体の画像を抽出することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報処理装置は、更に、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離を用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成する３次元モデル生成部を有することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記画像抽出部は、
前記カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記特定の被写体の幅長を算出し、
前記距離算出処理実行部は、
前記画像抽出部により抽出された前記特定の被写体の画像を解析して、前記特定の被写体の高さを算出し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記画像抽出部により算出された前記特定の被写体の幅長と、前記距離算出処理実行部により算出された前記特定の被写体の高さと用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記情報処理装置は、更に、
前記特定の被写体の種別を表す被写体種別ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を前記３次元モデル生成部に通知するＩＤ通知部を有し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記ＩＤ通知部により通知された被写体種別ＩＤとを用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成する３次元モデル生成部を有することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記距離算出処理実行部は、
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理を実行することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理と、前記カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて前記ｄｅｐｔｈｍａｐ処理の結果を補正する補正処理とを実行することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記画像抽出部は、
移動体に搭載されたカメラで撮影された前記移動体外の被写体の撮影画像から特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
コンピュータが、カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出し、
前記コンピュータが、前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行することを特徴とする情報処理方法。
【請求項１２】
コンピュータに、
カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出させ、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された撮影画像を解析する技術に関する。
【背景技術】
【０００２】
半透過のディスプレイ上で風景に重畳させて情報を表示させるＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）技術を利用した車載機器の研究開発が盛んに行われている。
また、車の衝突を回避したり、衝撃を低減する技術の研究開発も盛んに行われている。
これらの技術は、車の周囲の状況を搭乗者に通知すること、または車の周囲の状況を把握して車を制御することを目的としている。
これらの技術では、センサ及びカメラを利用して車の周囲を３次元的に把握し、管理することが必要である。
車の周囲を把握する際に、３次元の情報を、ソリッドモデルまたはサーフェイスモデル、または多数の点（ドット）を利用して表現していることが多い。
これらソリッドモデル及びサーフェイスモデル等では、３次元情報の情報量が多くなる。
情報量を減らす方法として、ソリッドモデル及びサーフェイスモデルではなく、ワイヤーフレームモデルなどの情報量の少ない方式を利用することが考えられる。
引用文献１では、ワイヤーフレームモデルが用いられている。【０００３】
引用文献１では、撮影画像における特徴点設定処理及びパッチ設定処理を自動化した高画質な３次元画像の生成を可能にする３次元画像生成システムが開示されている。
このシステムでは、対象物の特性を検出し、データベースに格納した形状モデルに基づき３次元モデルの生成領域を自動抽出する。
また、抽出された生成領域に対して、データベースに格納した対象物の形状モデルの特徴点位置設定データに基づいて特徴点を自動的に設定する。
さらに、設定された特徴点に対して、モデルによる三角パッチを自動的に作成することによって、引用文献１の技術では、実際の対象物の形状と一致するワイヤーフレーム表現が可能となり、３次元モデル生成処理における各処理を自動化することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３２７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、立体を表現するモデルとしてソリッドモデルまたはサーフェイスモデルが使用されている。
しかしながら、車載機器では、刻一刻と変化する状況をリアルタイムにモデルに反映する必要がある。
従来のように、ソリッドモデルまたはサーフェイスモデルを利用して３次元モデルを構築するのは処理が重たくなり、車の周囲の状況をリアルタイムに３次元モデルに反映できないという課題がある。
また、特許文献１のようにワイヤーフレームモデルを利用する場合も、ワイヤーフレームモデルの生成に先立ち、撮影画像を解析して、車の周囲の物体（被写体）とカメラとの距離を算出する処理が必要である。
特許文献１を含むワイヤーフレームモデルを利用する従来技術では、撮影画像の全体に対して距離算出処理を実施する。
撮影画像にはワイヤーフレームモデルの生成対象でない物体の画像も含まれるが、撮影画像の全体に対して距離算出処理が完了しないと、ワイヤーフレームモデルを生成することができない。
このように、３次元モデル構築におけるリアルタイム性を更に向上させるためには、この距離算出処理を効率化することが求められる。【０００６】
本発明は、このような事情に鑑みたものであり、３次元モデルの構築において、距離算出処理を効率化することを主な目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、
カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部を有することを特徴とする。
【発明の効果】
【０００８】
本発明では、距離算出処理を、特定の被写体の画像に限定して実行するため、他の被写体に対する距離算出処理の完了を待つ必要がなく、距離算出処理を高速化することができ、３次元モデルの構築を高速に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る情報処理装置の構成例を示す図。
【図２】実施の形態１に係るカメラ及びセンサの配置例を示す図。
【図３】実施の形態１に係るセンサの走査例を示す図。
【図４】実施の形態１に係るカメラの撮影画像の例を示す図。
【図５】実施の形態１に係るセンサの測距結果の例を示す図。
【図６】実施の形態１に係る情報処理装置の動作例を示すフローチャート図。
【図７】実施の形態１に係るカメラの撮影画像とセンサの測距結果との関係を示す図。
【図８】実施の形態１に係る認識範囲を用いた画像認識の概要を示す図。
【図９】実施の形態１に係る段階的に認識範囲を拡大して画像認識を行う方式を示す図。
【図１０】実施の形態１に係る推定サイズに基づく認識範囲を用いて画像認識を行う方式を示す図。
【図１１】実施の形態１に係る対象被写体の画像を抽出する処理の詳細を示すフローチャート図。
【図１２】実施の形態１に係る物体の幅長の算出手順を示す図。
【図１３】実施の形態１に係る最近接点までの距離を算出する処理の詳細を示すフローチャート図。
【図１４】実施の形態１に係る最近接点及びワイヤーフレームを示す図。
【図１５】実施の形態１に係る３次元モデルのテーブルの例を示す図。
【図１６】実施の形態２に係る情報処理装置の構成例を示す図。
【図１７】実施の形態２に係るＩＤリストの例を示す図。
【図１８】実施の形態１に係る３次元モデルのテーブルの例を示す図。
【図１９】実施の形態１及び２に係る情報処理装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本実施の形態に係る情報処理装置１００の構成例を示す。
本実施の形態に係る情報処理装置１００は、車両（移動体）に搭載されている。
情報処理装置１００は、車両に搭載されているカメラ２００から撮影画像を取得し、同じく車両に搭載されているセンサ３００から距離情報を取得する。
カメラ２００及びセンサ３００は、例えば、図２の例示のように、車両のフロント部分に近接して配置されている。
センサ３００は、カメラ２００の撮影に並行して、カメラ２００の撮影方向での測距を行う。
センサ３００は、例えば、ＬＩＤＡＲ（ＬＩｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ）である。
ＬＩＤＡＲは、例えば、図３の例示のように、レーザを水平方向に走査し、２４０度といった広範囲を０．４度程度の解像度で、車両の周囲の物体までの距離を測定する。
ＬＩＤＡＲによる距離の取得は水平方向のみであるが、他の種類のセンサ（例えば、ＰＭＤ（Ｐｈｏｔｏｎｉｃ  Ｍｉｘｅｒ  Ｄｅｖｉｃｅ））であれば高さ方向の距離も取得できる。
ＬＩＤＡＲのように、高さ方向の距離を取得できない場合は、カメラ２００により、ステレオカメラやモーションステレオ技術により高さ方向のｄｅｐｔｈｍａｐ（３次元画像）を作り、高さ方向の情報を取得できるようにする。
以下では、センサ３００がＬＩＤＡＲであることを前提にして説明を進める。
【００１１】
情報処理装置１００において、撮影画像取得部１０１は、カメラ２００で撮影された撮影画像を取得する。
撮影画像取得部１０１は、例えば、図３の前方車両の後部が撮影された図４の撮影画像４００を取得する。
距離情報取得部１０２は、センサ３００で取得した物体までの距離が示される距離情報を取得する。
距離情報取得部１０２は、例えば、図５に例示する距離情報５００を取得する。
距離情報５００の同心円の中心がセンサ３００の位置に相当し、各同心円がセンサ３００からの距離を表している。
図５の距離情報５００には、カメラ２００による図４の撮影画像４００の撮影に並行してセンサ３００が測距した結果が示されている。
つまり、図３に示すように、センサ３００からのレーザは前方車両のバンパー部分を水平方向に走査しており、図５の距離情報５００の符号５０１の線は、図４の撮影画像４００の前方車両のバンパー部分との距離を表している。
なお、図５の距離情報５００は、センサ３００の測距結果を模式的に表現したものであり、撮影画像４００内の全ての被写体との距離を表現するものではない。
【００１２】
一致点検出部１０３は、撮影画像取得部１０１が取得した撮影画像と距離情報取得部１０２が取得した距離情報とを一致させる。
カメラ２００とセンサ３００は、撮影画像４００内の物体と測定された距離とを対応付けられるように、事前にキャリブレーションされている。
前述したように、距離情報５００の符号５０１の線は、撮影画像４００の前方車両のバンパー部分に相当しており、一致点検出部１０３は、符号５０１の線と撮影画像４００の前方車両のバンパー部分とを対応付ける。
図７は、一致点検出部１０３の処理イメージを示しており、撮影画像４００の前方車両のバンパー部分までの距離をセンサ３００が計測していることを表している。
図７の符号７０１で示す「ｘｘｘｘ」は、撮影画像４００の前方車両のバンパー部分にセンサ３００のレーザが照射されていることを表している。
なお、図７は一致点検出部１０３の処理を理解しやすくするための図であり、一致点検出部１０３が図７のような画像を作成するわけではない。
また、図１では、一致点検出部１０３は、撮影画像取得部１０１を介して撮影画像を取得し、距離情報取得部１０２を介して距離情報を取得している。
一致点検出部１０３がカメラ２００とのインタフェースを有し、また、一致点検出部１０３がセンサ３００とのインタフェースを有している場合は、一致点検出部１０３は、カメラ２００から直接撮影画像を取得してもよく、センサ３００から直接距離情報を取得するようにしてもよい。
【００１３】
画像抽出部１０４は、撮影画像に含まれる被写体の画像のうち特定の被写体（ワイヤーフレームの作成対象の被写体、以下、対象被写体ともいう）の画像を抽出する。
撮影画像４００には、被写体としては、前方車両の他、樹木も含まれるが、ワイヤーフレームの作成の対象になるのは前方車両なので、画像抽出部１０４は、撮影画像４００に含まれる被写体の画像のうち前方車両の画像を抽出する。
画像抽出部１０４は、対象被写体の画像を抽出するにあたり、カメラスペック記憶部１０８に記憶されているカメラスペックを参照する。
カメラスペック記憶部１０８には、カメラ２００の仕様（焦点距離、Ｆ値、解像度等）が記憶されている。
【００１４】
距離算出処理実行部１０５は、対象被写体内の最近接点との距離を算出する。
最近接点とは、対象被写体内でカメラ２００と最も近接している点である。
距離算出処理実行部１０５は、カメラ２００から被写体までの距離を算出する距離算出処理を、画像抽出部１０４で抽出された対象被写体の画像に限定して実行する。
図４の例では、撮影画像４００のうち前方車両の画像が画像抽出部１０４により抽出されるが、距離算出処理実行部１０５は、前方車両の画像に限定して距離算出処理を実行する。
距離算出処理とは、例えば、ｄｅｐｔｈｍａｐ処理である。
従来では、撮影画像４００の全体に対してｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
つまり、従来は、撮影画像４００の最上段の左端から右端を走査し、次に、次段の左端から右端を走査し、以降、同様の動作を繰り返すというｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
このため、従来は、撮影画像４００中の前方車両以外の画像に対するｄｅｐｔｈｍａｐ処理に時間を要していた。
本実施の形態に係る距離算出処理実行部１０５は、画像抽出部１０４により抽出された前方車両の画像に限定してｄｅｐｔｈｍａｐ処理を行うので、処理時間を短縮することができる。
【００１５】
３次元モデル生成部１０６は、距離算出処理実行部１０５により算出された最近接点までの距離等を用いて、ワイヤーフレームによる３次元モデルを生成する。
出力部１０７は、３次元モデル生成部１０６により生成された３次元モデルをＨＵＤ等に出力する。
【００１６】
次に、本実施の形態に係る情報処理装置１００の動作例を、図６のフローチャートを参照して説明する。
【００１７】
先ず、撮影画像取得部１０１がカメラ２００から撮影画像４００を取得し、距離情報取得部１０２がセンサ３００から距離情報５００を取得する（Ｓ６０１）。
【００１８】
次に、一致点検出部１０３が、撮影画像４００と距離情報５００の一致点を検出する（Ｓ６０２）。
つまり、一致点検出部１０３は、図７のように、撮影画像４００と距離情報５００とを対応付ける。
【００１９】
次に、画像抽出部１０４が、一致点検出部１０３により対応付けられた撮影画像４００と距離情報５００とを取得し、ワイヤーフレームの作成対象の被写体（前方車両）の画像を抽出する（Ｓ６０３）。
より具体的には、画像抽出部１０４は、図８に示すように、矩形の認識範囲８００を撮影画像４００上で走査して、車両の画像を抽出する。
認識範囲８００には、車両の後背面のシルエット（図８の破線の形状）が定義されている。
この認識範囲８００を撮影画像４００上で走査し、認識範囲８００のシルエットに適合する画像が見つかった場合に、その画像を車両の画像として抽出する。
Ｓ６０３の実現方法として、以下の２つの方法がある。
【００２０】
第１の方法は、図９に例示するように、トライアル・アンド・エラーにより対象被写体の画像を抽出する方法である。
つまり、画像抽出部１０４は、任意のサイズの認識範囲８０１で撮影画像４００を走査し、認識範囲８０１のシルエットに適合する画像が抽出できない場合に、画像抽出部１０４は、より大きなサイズの認識範囲８０２で走査する。
図９の例では、撮影画像４００内の前方車両の画像は、認識範囲８０２のシルエットに比べると大きいので、認識範囲８０２のシルエットに適合する画像は抽出できない。
最終的に、認識範囲８０３にて、撮影画像４００内の前方車両の画像を抽出することができる。
【００２１】
第２の方法は、図１０に例示するように、センサ３００からの距離情報を用いて、撮影画像４００内の前方車両の画像に適合する認識範囲８０３を予測し、予測した認識範囲８０３を撮影画像４００上で走査して、前方車両の画像を抽出する方法である。
この方法の詳細は、図１１のフローチャートを参照して説明する。
【００２２】
画像抽出部１０４は、先ず、カメラスペック記憶部１０８からカメラスペックを読み出す（Ｓ６０３１）。
具体的には、画像抽出部１０４は、カメラのレンズの歪の有無、撮影画像のサイズ、焦点距離、焦点距離での撮影サイズ等を読み出す。
【００２３】
次に、画像抽出部１０４は、対象被写体（前方車両）の幅長を算出する（Ｓ６０３２）。
Ｓ６０３２の処理を図１２を用いて説明する。
図１２は、センサ３００と前方車両のバンパー部分との位置関係を模式的に示している。
図１２の幅ｗ０は、車両のバンパー部分の現実の幅長であり、図５及び図７に示した前方車両の幅ｗ０（現実の幅）に対応する。
図１２の幅ｗ０の右端（バンパー部分の右端）とセンサ３００との距離はＬ１であり、図１２の幅ｗ０の左端（バンパー部分の左端）とセンサ３００との距離はＬ２である。
角度αは、センサ３００の正面方向と幅ｗ０の右端の方向との角度であり、角度βは、センサ３００の正面方向と幅ｗ０の左端の方向との角度である。
画像抽出部１０４は、ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβを計算することにより、幅ｗ０の現実の長さ（例えば、１．５メートル等）を得ることができる。
【００２４】
次に、画像抽出部１０４は、Ｓ６０３２で得られた対象被写体（前方車両）の幅長、推定高さ、カメラスペックから認識範囲８０３のサイズを決定する（Ｓ６０３３）。
推定高さは、車両の推定車高であり、例えば、２メートルである。
ここでは、カメラスペックとして、（１）カメラ２００のレンズは歪がない、（２）カメラ２００の撮影画像のサイズが６４０×４８０、（３）カメラ２００の焦点距離がｆ、（４）焦点距離での撮影サイズの横の長さがｄ１、縦の長さがｄ２であると想定する。
この場合、ｄ１／６４０が焦点距離ｆにおける水平方向の１ピクセルあたりの距離、ｄ２／４８０が焦点距離ｆにおける垂直方向の１ピクセルあたりの距離となる。
水平方向の１ピクセルあたりの幅をｗ１とし、図１２に示すように、センサ３００の正面方向（焦点距離の方向）におけるセンサ３００と幅ｗ０（車両のバンパー部分）との距離をＬ（Ｌ＝Ｌ２ｃｏｓβ）とする。
画像抽出部１０４は、ｄ１／６４０：ｗ１＝ｆ：Ｌにより、水平方向の１ピクセルあたりの幅ｗ１を算出する。
また、画像抽出部１０４は、同様の比計算により、１ピクセルあたりの高さも算出する。
そして、画像抽出部１０４は、幅ｗ０を１ピクセルあたりの幅ｗ１で除算し、推定高さ：２メートルを１ピクセルあたりの高さで除算して、認識範囲８０３のサイズを決定する。
【００２５】
次に、画像抽出部１０４は、図１０に示したように、認識範囲８０３で撮影画像４００を走査する（Ｓ６０３４）。
【００２６】
認識範囲８０３に適合する画像を抽出できた場合は、対象被写体を認識できたので（Ｓ６０３５でＹＥＳ）、画像抽出部１０４は処理を終了する。
一方、認識範囲８０３に適合する画像を抽出できなかった場合は、対象被写体を認識できなかったので（Ｓ６０３５でＮＯ）、画像抽出部１０４は認識範囲を拡大して（Ｓ６０３６）、Ｓ６０３４以降の処理を繰り返す。
Ｓ６０３６では、例えば、既定の拡大率（５％拡大等）で認識範囲を拡大する。
【００２７】
説明を図６のフローに戻す。
対象被写体の画像を抽出すると（Ｓ６０３）、次に、画像抽出部１０４は対象被写体（前方車両）の幅及び高さを算出する（Ｓ６０４）。
Ｓ６０３の処理が、図１０及び図１１の方式に従って行われる場合は、幅ｗ０は既に算出されているので、画像抽出部１０４は、対象被写体の高さのみを算出する。
図１０及び図１１の方式の場合は、推定高さ：２メートルを用いているが、対象被写体（前方車両）の正確な高さは算出していないので、画像抽出部１０４は、正確な高さを算出する。
具体的には、画像抽出部１０４は、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
Ｓ６０３の処理が、図９の方式に従って行われる場合は、対象被写体（前方車両）の幅も高さも算出されていない。
幅については、画像抽出部１０４は、前述した幅ｗ０の算出方法（ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβ）にて幅の長さを算出する。
高さについては、画像抽出部１０４は、図１１のＳ６０３３の説明で示した方法にて、１ピクセルあたりの高さを算出し、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
【００２８】
次に、距離算出処理実行部１０５が、対象被写体（前方車両）内の最近接点までの距離を算出する（Ｓ６０５）。
Ｓ６０５の処理の詳細を、図１３に示す。
距離算出処理実行部１０５は、画像抽出部１０４により抽出された対象被写体（前方車両）の画像を画像抽出部１０４から取得し、対象被写体（前方車両）の画像に限定してｄｅｐｔｈｍａｐ処理を行って、カメラ２００から対象被写体（前方車両）内の最近接点までの距離を算出する（Ｓ６０５１）。
次に、距離算出処理実行部１０５は、センサ３００からの距離情報を用いて、Ｓ６０５１で算出した最近接点までの距離を補正する（Ｓ６０５２）。
通常、ｄｅｐｔｈｍａｐ処理では高精度で距離を算出することはできないので、ここでは、Ｓ６０５２の補正により、最近接点までの距離を高精度に求めるようにしている。
なお、要求される精度に応じて、Ｓ６０５２の処理を省略してもよい。
【００２９】
このように、Ｓ６０４により対象被写体（前方車両）の幅と高さが判明し、Ｓ６０５により対象被写体（前方車両）までの距離（最近接点までの距離）が判明した。
３次元モデル生成部１０６は、画像抽出部１０４から対象被写体（前方車両）の幅と高さを取得し、距離算出処理実行部１０５から対象被写体（前方車両）までの距離（最近接点までの距離）を取得し、図１４のように、ワイヤーフレームによる３次元モデルを作成する。
図１４において、ｘ、ｙ、ｚは、それぞれ、カメラ２００から最近接点までのｘ軸上の距離、ｙ軸上の距離、ｚ軸上の距離を示し、ｗとｈは、それぞれ、対象被写体（前方車両）の幅と高さを示す。
３次元モデル生成部１０６は、例えば、３次元モデルを図１５のようなテーブルとして保持する。
図１５のｘ（ｔ−１）、ｙ（ｔ−１）、ｚ（ｔ−１）、ｈ（ｔ−１）、ｗ（ｔ−１）は、時刻ｔ−１での撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
図１５のｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）、ｈ（ｔ）、ｗ（ｔ）は、時刻ｔでの撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
このように、３次元モデル生成部１０６は、取得される撮影画像からリアルタイムにワイヤーフレームによる３次元モデルを生成する。
【００３０】
以上のように、本実施の形態に係る情報処理装置１００は、車両に搭載されたカメラ２００とセンサ３００からの情報を利用して、障害物たる対象被写体の最近接点までの距離（ｘ、ｙ、ｚ）、対象被写体の大きさを示す四角（ｗ、ｈ）を取得する。
そして、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現する。
このように、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現するため、ソリッドモデル及びサーフェイスモデルよりも計算量が少ないという効果が得られる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像に限定して距離算出処理を行うため、最近接点までの距離を算出するための時間を短縮することができる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像の抽出処理を、図１０及び図１１の方式で行うことにより、対象被写体の画像を抽出するための時間を短縮することができる。
【００３１】
実施の形態２．
以上の実施の形態１では、物体を囲む四角をワイヤーフレームで表現しているが、物体の大きさを表現する必要がなければ、最近接点とその対象被写体のＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）で表現するようにしてもよい。
【００３２】
図１６は、本実施の形態に係る情報処理装置１００の構成例を示す。
【００３３】
図１６では、図１の構成と比較して、ＩＤリスト記憶部１０９が追加されている。
ＩＤリスト記憶部１０９は、図１７に例示するＩＤリストを記憶している。
ＩＤリストには、物体（図１７の例では、人と車）ごとのＩＤが記述されている。
ＩＤリストに記述されているＩＤは、被写体種別ＩＤの例である。
【００３４】
実施の形態１との差異は、以下の通りである。
以下の点以外は、本実施の形態でも、実施の形態１と同様の動作が行われる。
【００３５】
本実施の形態では、画像抽出部１０４は、ＩＤリスト記憶部１０９のＩＤリストにおいて対象被写体のＩＤを検索し、対象被写体のＩＤを３次元モデル生成部１０６に通知する。
画像抽出部１０４は、例えば、対象被写体の画像として、車両の画像を撮影画像４００から抽出した場合には、図１７のＩＤリストに基づき、ＩＤ：２を３次元モデル生成部１０６に通知する。
画像抽出部１０４は、本実施の形態では、ＩＤ通知部としても機能する。
３次元モデル生成部１０６は、距離算出処理実行部１０５から通知された最近接点までの距離と、画像抽出部１０４から通知されたＩＤとに基づき、最近接点までの距離とＩＤで構成される３次元モデルを生成する。
３次元モデル生成部１０６は、例えば、３次元モデルを図１８のようなテーブルとして保持する。
図１５のテーブルでは、ｈ及びｗの値が管理されているのに対して、図１８のテーブルでは、ｈ及びｗの値の代わりに、ＩＤが管理されている。
【００３６】
以上のように、本実施の形態では、物体の大きさをワイヤーフレームで表現することがなくなるため、計算量がさらに減る効果を得られる。
【００３７】
最後に、実施の形態１及び２に示した情報処理装置１００のハードウェア構成例を図１９を参照して説明する。
情報処理装置１００はコンピュータであり、情報処理装置１００の各要素をプログラムで実現することができる。
情報処理装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
【００３８】
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
カメラスペック記憶部１０８及びＩＤリスト記憶部１０９は、外部記憶装置９０２又は主記憶装置９０３により実現される。
通信装置９０４は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
入出力装置９０５は、例えばキーやボタン等、ディスプレイ等である。
【００３９】
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１及び図１６に示す「〜部」（カメラスペック記憶部１０８及びＩＤリスト記憶部１０９を除く、以下も同様）として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１及び図１６に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１及び２の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検出」、「〜の走査」、「〜の算出」、「〜の補正」、「〜の生成」、「〜の取得」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、カメラ２００から取得した撮影画像及びセンサ３００から取得された距離情報が主記憶装置９０３に記憶される。
【００４０】
なお、図１９の構成は、あくまでも情報処理装置１００のハードウェア構成の一例を示すものであり、情報処理装置１００のハードウェア構成は図１９に記載の構成に限らず、他の構成であってもよい。
【００４１】
また、実施の形態１及び２に示す手順により、本発明に係る情報処理方法を実現可能である。
【符号の説明】
【００４２】
１００  情報処理装置、１０１  撮影画像取得部、１０２  距離情報取得部、１０３  一致点検出部、１０４  画像抽出部、１０５  距離算出処理実行部、１０６  ３次元モデル生成部、１０７  出力部、１０８  カメラスペック記憶部、１０９  ＩＤリスト記憶部、２００  カメラ、３００  センサ。
【図１】
2015098222.tif 000003
【図２】
2015098222.tif 000004
【図３】
2015098222.tif 000005
【図４】
2015098222.tif 000006
【図５】
2015098222.tif 000007
【図６】
2015098222.tif 000008
【図７】
2015098222.tif 000009
【図８】
2015098222.tif 000010
【図９】
2015098222.tif 000011
【図１０】
2015098222.tif 000012
【図１１】
2015098222.tif 000013
【図１２】
2015098222.tif 000014
【図１３】
2015098222.tif 000015
【図１４】
2015098222.tif 000016
【図１５】
2015098222.tif 000017
【図１６】
2015098222.tif 000018
【図１７】
2015098222.tif 000019
【図１８】
2015098222.tif 000020
【図１９】
2015098222.tif 000021
【手続補正書】
【提出日】平成27年10月27日(2015.10.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部とを有することを特徴とする情報処理装置。
【請求項２】
前記画像抽出部は、
前記画像サイズにて前記撮影画像内の画像認識を行った結果、前記特定の被写体の画像を抽出することができない場合に、前記画像サイズよりも大きな画像サイズにて前記撮影画像内の画像認識を行い、前記特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記距離算出処理実行部は、
前記距離算出処理を前記特定の被写体の画像に限定して実行して、前記カメラから、前記特定の被写体内で前記カメラに最も近接している最近接点までの距離を算出し、
前記情報処理装置は、更に、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離を用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成する３次元モデル生成部を有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記距離算出処理実行部は、
前記画像抽出部により抽出された前記特定の被写体の画像を解析して、前記特定の被写体の高さを算出し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記画像抽出部により算出された前記特定の被写体の幅長と、前記距離算出処理実行部により算出された前記特定の被写体の高さと用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報処理装置は、更に、
前記特定の被写体の種別を表す被写体種別ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を前記３次元モデル生成部に通知するＩＤ通知部を有し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記ＩＤ通知部により通知された被写体種別ＩＤとを用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記距離算出処理実行部は、
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理を実行することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記距離算出処理実行部は、
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理と、前記センサの測距結果を用いて前記ｄｅｐｔｈｍａｐ処理の結果を補正する補正処理とを実行することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記画像抽出部は、
移動体に搭載されたカメラで撮影された前記移動体外の被写体の撮影画像から前記特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
コンピュータが、カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出し、
前記コンピュータが、前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行することを特徴とする情報処理方法。
【請求項１０】
コンピュータに、
カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出させ、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行させることを特徴とするプログラム。
【国際調査報告】
2015098222.tif 000022
2015098222.tif 000023
2015098222.tif 000024
2015098222.tif 000025