(57)【要約】【課題】物体の動きを精度よく推定することと、処理時間の短縮とを両立できる移動情報推定装置を提供する。【解決手段】第一画像と、後に撮像された第二画像とに基づいて、第一画像上の着目画素と対応する第二画像上の画素である対応画素を探索範囲内から検出し、着目画素と対応画素とを対応付け、かつ対応付けの評価値を算出する対応付け部（Ｓ５０）と、評価値が閾値以下の着目画素であって、画像縦方向に延在する物体境界の画素領域の近傍に位置する所定画素を抽出する所定画素抽出部（Ｓ８０）と、所定画素についての探索範囲を変更する探索範囲変更部（Ｓ９０）と、を備え、探索範囲変更部は、変更後の探索範囲を所定画素の画素位置に対して所定方向に位置する画素領域とし、所定方向は、画像横方向において、撮像対象までの距離が増加していく方向であり、対応付け部は、変更後の探索範囲から改めて対応画素を検出して所定画素と対応付ける（Ｓ１００）。【選択図】図１
2016004447.tif 000002
【特許請求の範囲】
【請求項１】
第一画像と、前記第一画像よりも後に撮像された第二画像とに基づいて、前記第一画像上の着目画素と対応する前記第二画像上の画素である対応画素を前記第二画像上の探索範囲内から検出し、前記着目画素と前記対応画素とを対応付け、かつ前記対応付けの信頼度の高さを示す評価値を算出する対応付け部と、
前記第一画像から物体境界の画素領域を検出する検出部と、
前記評価値が閾値以下である前記着目画素であって、画像縦方向に延在する前記物体境界の画素領域の近傍に位置する所定画素を抽出する所定画素抽出部と、
前記所定画素についての前記探索範囲を変更する探索範囲変更部と、
画像上の画素に対応する撮像対象までの距離を推定する距離推定部と、
を備え、
前記探索範囲変更部は、変更後の前記探索範囲を前記所定画素の画素位置に対して所定方向に位置する画素領域とし、
前記所定方向は、画像横方向において、前記撮像対象までの距離が増加していく方向であり、
前記対応付け部は、前記探索範囲変更部によって前記探索範囲が変更されると、変更後の前記探索範囲から改めて前記対応画素を検出して前記所定画素と対応付ける
ことを特徴とする移動情報推定装置。
【請求項２】
前記探索範囲変更部は、前記所定方向に向けて前記探索範囲の幅を拡張する
請求項１に記載の移動情報推定装置。
【請求項３】
前記探索範囲変更部は、変更後の前記探索範囲を前記所定画素から前記物体境界の画素領域側とは反対側へ向けて広がる画素領域とする
請求項１に記載の移動情報推定装置。
【請求項４】
前記探索範囲変更部は、画像横方向において前記物体境界の画素領域側とは反対側へ向けて前記探索範囲の幅を拡張する
請求項１または３に記載の移動情報推定装置。
【請求項５】
前記探索範囲変更部は、変更前の前記探索範囲の画像横方向の幅よりも、変更後の前記探索範囲の前記幅を大きくする
請求項１から４のいずれか１項に記載の移動情報推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動情報推定装置に関する。
【背景技術】
【０００２】
従来、周辺の物体の動きを検出する方法がある。例えば、特許文献１には、画像捕捉装置（ICD）によって、第１の時点（t1）において物体の第１の画像（I1）を獲得し、第２の時点（t2）において物体の第２の画像（I2）を獲得するステップと、該第１及び第２の時点（t1,t2）の間の、該画像捕捉装置（ICD）の順方向の運動学に基づいて推定された、該画像捕捉装置（ICD）自身の動きの効果（EMF）に基づいて、第３の（仮想）画像（I3）を得るステップと、第２の画像（I2）と第３の画像（I3）との間のオプティカルフロー（OF）を定めるステップと、該物体の適切な動きを定めるために、該オプティカルフロー（OF）及び自己の動きフロー（EMF）の不確実性を組み入れることによって、該オプティカルフロー（OF）を評価するステップと、を含む、物体の適切な運動を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１１／０２４３３９０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、駐車車両等の遮蔽物から飛び出す物体については、動きを予測することが難しく、誤った予測がなされる場合がある。物体の動きを効率よく検出する手法として、撮像対象の画像上における動きを予測して探索範囲を設定し、撮像対象に対応する画素を狭い範囲で探索することが考えられる。しかしながら、動きの予測が誤っていると、撮像対象に対応する画素が探索範囲から外れてしまい、動きを正しく推定できなくなる。これに対して、予測の誤りがあった場合でも対処できるように探索範囲を広く設定すると、動きを精度よく予測できる点に対してまで不要に大きな探索範囲を探索することになり、処理時間が増大してしまう。
【０００５】
本発明の目的は、物体の動きを精度よく推定することと、処理時間の短縮とを両立することができる移動情報推定装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の移動情報推定装置は、第一画像と、前記第一画像よりも後に撮像された第二画像とに基づいて、前記第一画像上の着目画素と対応する前記第二画像上の画素である対応画素を前記第二画像上の探索範囲内から検出し、前記着目画素と前記対応画素とを対応付け、かつ前記対応付けの信頼度の高さを示す評価値を算出する対応付け部と、前記第一画像から物体境界の画素領域を検出する検出部と、前記評価値が閾値以下である前記着目画素であって、画像縦方向に延在する前記物体境界の画素領域の近傍に位置する所定画素を抽出する所定画素抽出部と、前記所定画素についての前記探索範囲を変更する探索範囲変更部と、画像上の画素に対応する撮像対象までの距離を推定する距離推定部と、を備え、前記探索範囲変更部は、変更後の前記探索範囲を前記所定画素の画素位置に対して所定方向に位置する画素領域とし、前記所定方向は、画像横方向において、前記撮像対象までの距離が増加していく方向であり、前記対応付け部は、前記探索範囲変更部によって前記探索範囲が変更されると、変更後の前記探索範囲から改めて前記対応画素を検出して前記所定画素と対応付けることを特徴とする。
【０００７】
上記移動情報推定装置において、前記探索範囲変更部は、前記所定方向に向けて前記探索範囲の幅を拡張することが好ましい。
【０００８】
上記移動情報推定装置において、前記探索範囲変更部は、変更後の前記探索範囲を前記所定画素から前記物体境界の画素領域側とは反対側へ向けて広がる画素領域とすることが好ましい。
【０００９】
上記移動情報推定装置において、前記探索範囲変更部は、画像横方向において前記物体境界の画素領域側とは反対側へ向けて前記探索範囲の幅を拡張することが好ましい。
【００１０】
上記移動情報推定装置において、前記探索範囲変更部は、変更前の前記探索範囲の画像横方向の幅よりも、変更後の前記探索範囲の前記幅を大きくすることが好ましい。
【発明の効果】
【００１１】
本発明に係る移動情報推定装置は、第一画像と、第一画像よりも後に撮像された第二画像とに基づいて、第一画像上の着目画素と対応する第二画像上の画素である対応画素を第二画像上の探索範囲内から検出し、着目画素と対応画素とを対応付け、かつ対応付けの信頼度の高さを示す評価値を算出する対応付け部と、第一画像から物体境界の画素領域を検出する検出部と、評価値が閾値以下である着目画素であって、画像縦方向に延在する物体境界の画素領域の近傍に位置する所定画素を抽出する所定画素抽出部と、所定画素についての探索範囲を変更する探索範囲変更部と、画像上の画素に対応する撮像対象までの距離を推定する距離推定部と、を備え、探索範囲変更部は、変更後の探索範囲を所定画素の画素位置に対して所定方向に位置する画素領域とし、所定方向は、画像横方向において、撮像対象までの距離が増加していく方向であり、対応付け部は、探索範囲変更部によって探索範囲が変更されると、変更後の探索範囲から改めて対応画素を検出して所定画素と対応付ける。本発明に係る移動情報推定装置によれば、物体の動きを精度よく推定することと、処理時間の短縮とを両立することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１実施形態に係る移動情報推定装置の動作を示すフローチャートである。
【図２】図２は、第１実施形態の移動情報推定装置のブロック図である。
【図３】図３は、動き量の予測値を説明する図である。
【図４】図４は、探索範囲の説明図である。
【図５】図５は、テンプレート領域を示す図である。
【図６】図６は、対応画素の探索方法の説明図である。
【図７】図７は、低評価値画素および高評価値画素を説明する図である。
【図８】図８は、低評価値画素および高評価値画素を説明する他の図である。
【図９】図９は、境界画素領域の説明図である。
【図１０】図１０は、追加探索範囲の説明図である。
【図１１】図１１は、所定方向の説明図である。
【図１２】図１２は、第２実施形態に係る移動情報推定装置のブロック図である。
【図１３】図１３は、第２実施形態の移動情報推定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施形態に係る移動情報推定装置につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。
【００１４】
［第１実施形態］
図１から図１１を参照して、第１実施形態について説明する。本実施形態は、移動情報推定装置に関する。図１は、本発明の第１実施形態に係る移動情報推定装置の動作を示すフローチャート、図２は、第１実施形態の移動情報推定装置のブロック図、図３は、動き量の予測値を説明する図、図４は、探索範囲の説明図、図５は、テンプレート領域を示す図、図６は、対応画素の探索方法の説明図、図７は、低評価値画素および高評価値画素を説明する図、図８は、低評価値画素および高評価値画素を説明する他の図、図９は、境界画素領域の説明図、図１０は、追加探索範囲の説明図、図１１は、所定方向の説明図である。
【００１５】
本実施形態の移動情報推定装置１は、時系列画像から対象物の動きを推定する際に、処理時間の増大を抑えつつ移動量の大きい対象に対応することができる。走行環境においては、カメラ自身が大きく運動することと対向車などの動きの大きい対象が存在することから、探索範囲が大きくなり、処理時間が増大する問題がある。本実施形態の移動情報推定装置１は、まず予測周辺に限定した探索範囲で動き推定を行い、推定の評価値を算出する。評価値の高い点はこの段階で出力され、後段の追加探索の対象から外される。評価値が低い点では、探索範囲を拡張して追加探索がなされる。このとき、ステレオカメラで得られる距離情報から飛び出しが起こる可能性のある物体境界が検出される。評価値が低くかつ物体境界付近の点では飛び出し方向に探索範囲が拡張されることで、処理時間の増大が抑えられる。
【００１６】
図２に示すように、本実施形態の移動情報推定装置１は、画像取得部２と、情報処理装置３とを含んで構成されている。本実施形態では、移動情報推定装置１が車両１００に搭載されている場合を例に説明する。画像取得部２は、車両１００の周辺の道路環境を撮影して画像を生成する。画像取得部２が出力する画像データは、カラー画像データであってもモノクロ画像データであってもよい。画像取得部２が撮像する波長帯は、例えば可視光の波長領域であるが、これに代えて、近赤外線の波長領域等であってもよい。本実施形態の画像取得部２は、車両１００の前方の画像を撮像する撮像手段である。本実施形態の画像取得部２は、ステレオカメラであり、ステレオ画像を撮像する。画像取得部２は、複数のカメラを備えていることが好ましいが、これに代えて単独のカメラによってステレオ画像を撮像してもよい。画像取得部２は、所定のフレームレート（周期）で車両１００の前方を撮像し、ステレオ画像を順次生成する。
【００１７】
第１実施形態の情報処理装置３は、距離推定部３１と、画像上での動き量予測部３３と、探索範囲設定部３４と、対応付け部３５と、低評価値画素抽出部３６と、物体境界検出部３７と、所定画素抽出部３８と、追加探索範囲設定部３９と、追加対応付け部４０とを含んで構成されている。
【００１８】
距離推定部３１は、画像取得部２から取得したステレオ画像に基づいて、画像取得部２から撮像対象までの距離を推定する。本実施形態の距離推定部３１は、ステレオ画像の一方の画像（左画像）と他方の画像（右画像）とに基づいて、ステレオマッチング法を用いてステレオ画像上の各画素についての視差値を算出する。ステレオマッチング法としては、例えば、画像全体で密な距離情報を求めることができるdense  stereo技術が利用されてもよい。その一例として、ＳＧＭ法（参考文献１）やＥＬＡＳ法（参考文献２）が用いられてもよい。距離推定部３１は、各画素について算出された視差値から、当該画素に対応する撮像対象と、画像取得部２との距離を推定する。すなわち、距離推定部３１は、画像取得部２から各画素の撮像対象までの距離を推定する。距離推定部３１は、取得した画像データについて、各画素の画像データ中の位置と視差値とを関連づけた視差画像データを生成する。
（参考文献１）H.  Hirschmuller,  “Accurate  and  Efficient  Stereo  Processing  by  Semi-Global  Matching  and  Mutual  Information,”  Proc.  IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition,  vol.  2,  pp.  807-814,  2005.
（参考文献２）A.  Geiger,  M.  Roser  and  R.  Urtasun,  “Ecient  large-scale  stereo  matching,”  Proc.  Asian  Conf.  on  Computer  Vision,  2010.
【００１９】
画像上での動き量予測部３３は、画像上での撮像対象の動き量を予測する。本明細書では、先に撮像されたステレオ画像（あるいは単一画像）を「第一画像」と称し、後に撮像されたステレオ画像（あるいは単一画像）を「第二画像」と称する。第一画像と第二画像は、連続するフレームで撮像されたものであっても、複数フレーム間隔を設けて撮像されたものであってもよい。画像上での動き量予測部３３は、第一画像の各画素について、当該画素の撮像対象部位が第二画像においてどの画素位置において撮像されるか、すなわち、画像上における撮像対象部位の移動量を予測する。画像取得部２のフレームレートが十分に高く、１フレームの間で画素の動き量の変化が小さい場合は、１フレーム前の動き量が続くフレームにおける各画素の動き量の予測値としてそのまま用いられてもよい。
【００２０】
一方、フレームレートが低く、１フレームでの動き量の変化が大きい画素が存在する場合、各画素について複数フレームの動き量の履歴を参照し、動き量の変化が小さいと期待できる画素のみについて１フレーム前の動き量を続くフレームの動き量として用いるようにしてもよい。すなわち、過去の動き量をそのまま用いる画素を選択するようにしてもよい。この場合、予測値が出力されない画素が生じることになるが、そのような画素は低評価値画素として、探索範囲設定部３４、対応付け部３５および低評価値画素抽出部３６の処理対象から除外することが好ましい。低評価値画素とされた画素は、所定画素抽出部３８以降において処理対象とされることが好ましい。
【００２１】
探索範囲設定部３４は、探索範囲を設定する。図３および図４を参照して、探索範囲の設定方法について説明する。図３には、第一画像が示されており、図４には、第一画像よりも後に撮像された第二画像が示されている。第一画像および第二画像には、それぞれ対向車両１０１が撮像されている。図３の矢印は、画像上での動き量予測部３３によって予測された、撮像対象部位の画像上での動き量を示す。画素Ｘは対向車両を撮像した画素である。対向車両１０１において、画素Ｘに撮像された点を「撮像対象部位」と称する。画像上での動き量予測部３３は、画素Ｘに対応する撮像対象部位について、第一画像が撮像されてから第二画像が撮像されるまでの画像上での移動量を予測する。撮像対象部位に対応する画素位置は、第一画像での画素Ｘの位置から、第二画像では画素Ｙの位置になると予測される。
【００２２】
探索範囲設定部３４は、画像上での動き量予測部３３による画素位置の移動量の予測結果に基づいて、対応画素を探索するための探索範囲を設定する。図４に示す探索範囲ＲＳは、撮像対象部位を撮像した画素が探索される探索範囲である。探索範囲ＲＳ内において、第一画像の画素Ｘに対応する画素である対応画素が探索される。第一画像上の各画素を着目画素として、第二画像の探索範囲ＲＳ内で、着目画素に対応する対応画素が探索される。探索範囲設定部３４は、第一画像の各画素について、その画素に対応する対応画素を第二画像上で探索するときの探索範囲ＲＳを個別に設定する。本実施形態では、対応画素を探索する過程で、最初に設定された探索範囲ＲＳ内で着目画素との類似度が高い画素が発見されない場合、探索範囲ＲＳの位置変更や拡張などの探索範囲ＲＳの変更がなされる場合がある。
【００２３】
着目画素に関して探索範囲設定部３４により最初に設定される探索範囲ＲＳは、例えば矩形の領域である。最初に設定される探索範囲ＲＳは、撮像対象部位の画素位置として予測される画素Ｙを中心に設定される。探索範囲ＲＳの画像横方向の幅、および画像縦方向の高さは、例えば、それぞれ最大予測誤差の２倍の長さである。最大予測誤差は、撮像対象部位を撮像した画素の画像上における移動量を予測する際の予測誤差の最大値である。移動量の予測誤差の最大値がδである場合、探索範囲ＲＳの一辺の長さは２×δとなる。予測誤差は、予備実験等により予め求めておくことが好ましい。
【００２４】
対応付け部３５は、第一画像上の着目画素と対応する第二画像上の対応画素を第二画像上の探索範囲ＲＳ内から検出し、着目画素と対応画素とを対応付ける。対応付け部３５は、更に、対応付けの信頼度の高さを表す評価値である対応付け評価値を算出する。対応付け部３５は、現在処理している第一画像の着目画素周辺から所定の大きさの画像（テンプレート画像）を切り出し、第二画像上の探索範囲ＲＳ内を順次走査・照合して、テンプレート画像と最も類似する画素（対応画素）を探索する。対応付け部３５による照合手法は、ＳＳＤ（Sum  of  Squared  Difference）やＳＡＤ（Sum  of  Absolute  Difference）を用いた類似性判定手法や、正規化相互相関などの手法が用いられてもよい。また、テンプレート画像からＳＩＦＴ特徴などの特徴量を抽出して照合する方法も可能である。探索の結果、類似度と、対応画素の位置が得られる。着目画素（画素Ｘ）と対応画素（画素Ｙ）の位置の差が動き量とされる。また、算出された類似度に基づいて、対応付け部３５によって着目画素と対応画素との対応付けの評価値が算出される。
【００２５】
図５および図６を参照して、対応付け部３５による対応付けの一手法について説明する。図５に示すように、対応付け部３５は、第一画像においてテンプレート領域ＰＴを設定する。テンプレート領域ＰＴは、着目画素（例えば、図３に示す画素Ｘ）を中心とする画素領域である。テンプレート領域ＰＴは、例えば、矩形の画素領域である。対応付け部３５は、テンプレート領域ＰＴと、図６に示す比較対象領域ＰＳｉ（ｉ＝１，２，…，ｎ）との類似度に基づいて、対応画素を検出する。比較対象領域ＰＳｉは、いずれも探索範囲ＲＳ内の画素を中心とする画素領域である。対応付け部３５は、探索範囲ＲＳ内のｎ個の各画素について、当該画素を中心とする比較対象領域ＰＳｉを設定する。
【００２６】
対応付け部３５は、テンプレート領域ＰＴと比較対象領域ＰＳｉとの類似度を算出する。類似度は、例えば、テンプレート領域ＰＴの各画素と比較対象領域ＰＳｉの各画素の輝度差の総和である。対応付け部３５は、テンプレート領域ＰＴの比較元画素の輝度と、比較対象領域ＰＳｉの比較対象画素の輝度との輝度差を算出する。テンプレート領域ＰＴにおける比較元画素の位置と、比較対象領域ＰＳｉにおける比較対象画素の位置は同じ位置である。対応付け部３５は、テンプレート領域ＰＴの全ての画素について、比較対象領域ＰＳｉの比較対象画素との輝度差を算出し、輝度差の総和を求める。また、対応付け部３５は、全ての比較対象領域ＰＳｉについて、輝度差の総和を求める。
【００２７】
輝度差の総和が小さい比較対象領域ＰＳｉは、テンプレート領域ＰＴとの類似度が高い領域である。対応付け部３５は、輝度差の総和が最小となる比較対象領域ＰＳｉの中心画素を、着目画素に対応する対応画素であると決定する。対応付け部３５は、決定した対応画素と着目画素とを対応付ける。また、対応付け部３５は、対応付け評価値を算出する。対応付け評価値は、着目画素と対応画素との対応付けの信頼度を示す評価値である。対応付け部３５は、輝度差の総和によって対応付けを行う場合、対応画素に係る比較対象領域ＰＳｉについての輝度差の総和が小さな値であるほど、その対応付けに対して高い対応付け評価値を与える。
【００２８】
なお、第二画像上の画素は、第一画像上の複数の画素と対応付けされる場合や、第一画像上のどの画素とも対応付けされない場合がある。このため、評価値は以下のように設定されることが好ましい。
（１）第二画像上のある画素が、第一画像の１つの画素にのみ対応付けされた場合：対応付けされた１つの対応付け評価値をそのまま着目画素および対応画素の評価値として用いる。
（２）第二画像上のある画素が、第一画像の複数の画素と対応付けされた場合：対応付けされた複数の対応付け評価値のうち最も信頼度が高い評価値を対応画素の評価値とする。第一画像上の着目画素については、それぞれの対応付け評価値で信頼度を評価する。
（３）第二画像上のある画素が、第一画像のいずれの画素とも対応付けされなかった場合：第二画像上の当該画素については、評価値の取り得る最も信頼度が低い値（最も対応付けが信頼できないことを示す値）を割り当てる。
【００２９】
低評価値画素抽出部３６は、低評価値画素を抽出する。低評価値画素は、対応付け部３５によって与えられた対応付け評価値が閾値以下である画素である。第一画像上の低評価値画素以外の画素、すなわち高評価値画素については、以降の処理の少なくとも一部が省略される。高評価値画素については、対応付け部３５でなされた対応付けに基づいて、移動量の推定がなされる。図７および図８を参照して、高評価値画素および低評価値画素と評価される具体例について説明する。図７には第一画像が、図８には第二画像が示されている。図７の画素Ｃは、高評価値画素である。対向車両１０１の予測移動量に基づいて設定された探索範囲ＲＳｃによって、画素Ｃの対応画素Ｃ’が高精度で検出される。一方、図７の画素Ａ、画素Ｂ、画素Ｄや、図８の画素Ｅは、低評価値画素である。
【００３０】
図７の画素Ａは、道路脇の街路樹を撮像した画素である。画素Ａの撮像対象部位は、車両１００の前進によって、図８では画角外の点（点Ａ’）となる。つまり、図８の第二画像では、画素Ａの撮像対象部位を撮像した画素は存在しない。従って、画素Ａの対応画素を探索する探索範囲ＲＳａを設定して当該探索範囲ＲＳａ内を探索したとしても、対応付け評価値が高い値となる画素が検出されない。これにより、画素Ａについては、第一画像および第二画像において低評価値画素が発生する。
【００３１】
図７の画素Ｄは、道路に沿った構築物を撮像した画素である。図８の第二画像では、画素Ｄの撮像対象部位が対向車両１０１の物陰になっている。これにより、画素Ｄの対応画素を探索する探索範囲ＲＳｄを設定して当該探索範囲ＲＳｄ内を探索したとしても、対応付け評価値が高い値となる画素が検出されない。これにより、画素Ｄについて、第一画像および第二画像において低評価値画素が発生する。
【００３２】
図８の画素Ｅは、道路に沿った構築物を撮像した画素である。図７の第一画像では、画素Ｅの撮像対象部位が対向車両１０１の陰になっているため、画素Ｅは第一画像のどの画素とも対応付かない。その結果、第二画像の画素Ｅは低評価値画素となる。
【００３３】
図７の画素Ｂは、停車車両１０２の近傍にいる歩行者１０３を撮像した画素である。停車車両１０２は、前方の道路の左側に寄せて停車している。歩行者１０３の一部は、停車車両１０２の物陰になっている。歩行者１０３は、画像横方向の左側から右側に向けて横断しようとしている。歩行者１０３が、図７の第一画像で初めて撮像された場合などには、画素Ｂの撮像対象部位の移動量を予測することができなかったり、移動量の予測精度が低くなったりする。その結果、探索範囲が正しく設定されなくなることがある。例えば、画素Ｂの撮像対象部位が移動しないと予測して車両１００の移動量のみに基づいて図８に示す探索範囲ＲＳｂが設定されてしまうと、撮像対象部位を撮像した画素Ｂ’が探索範囲ＲＳｂの外側の画素となってしまう。その結果、画素Ｂおよび画素Ｂ’が低評価値画素となってしまう。
【００３４】
本実施形態の移動情報推定装置１は、追加探索範囲設定部３９を有する。追加探索範囲設定部３９は、探索範囲ＲＳを変更する探索範囲変更部としての機能を有する。追加探索範囲設定部３９は、低評価値画素について、対応画素を探索するための追加探索範囲を設定する。これにより、低評価値画素であった着目画素に対して、より高評価の対応付けを行うことが可能となる。
【００３５】
ここで、低評価値画素となるものは、主に２種類に分類可能である。１種類目は、図７の画素Ｂのように、移動量の予測を誤ったために探索範囲ＲＳｂ内に対応する画素（撮像対象部位を撮像した画素Ｂ’）が存在しなくなる場合である。２種類目は、図７の画素Ａのように対応する画素が画角外になる場合や、図７の画素Ｄのように撮像対象部位が第二画像に撮像されていない場合、図８の画素Ｅのように、撮像対象部位が第一画像に撮像されていない場合である。１種類目の場合、追加探索範囲を設け、探索範囲ＲＳを拡張することで評価値の高い対応付けが可能となる。一方、２種類目の場合、対応する画素自体が存在しないため、追加探索範囲を設定したとしても、高評価の対応付けを行うことはできない。従って、低評価値画素の全てについて追加探索範囲を設定し再探索することは、計算資源の浪費につながり、効率が悪い。
【００３６】
本実施形態の移動情報推定装置１は、低評価値画素の内で重要性が高い画素を抽出し、優先的に対応付けの処理を行うことで効率化する。本実施形態では、所定画素抽出部３８によって、重要性が高い低評価値画素を抽出する。所定画素抽出部３８は、物体境界画素に近い低評価値画素を重要性が高い画素として抽出する。物体境界は、物体と背景との境界であり、例えば、図７に示す停車車両１０２と背景との境界である。物体境界の付近からは、歩行者や自転車などの移動物が飛び出す可能性がある。車両１００の衝突回避システムでは、このような飛び出しを早期に検出することが重要である。そこで、本実施形態の移動情報推定装置１は、物体境界の画素領域に隣接する低評価値画素を重要性の高い画素とする。
【００３７】
物体境界の画素領域は、物体境界検出部３７によって検出される。本実施形態の物体境界検出部３７は、第一画像から物体境界の画素領域を検出する検出部として機能する。物体境界検出部３７は、距離推定部３１によって推定された各画素の距離情報に基づいて、物体境界に対応する画素領域である境界画素領域を検出する。物体境界検出部３７は、第一画像において、視差値が大きく変化する物体境界の画素領域を検出する。図９には、物体境界検出部３７によって検出された境界画素領域の一例が示されている。
【００３８】
本実施形態の物体境界検出部３７は、検出された全ての境界画素領域Ｒｂの内、画像縦方向に延在する境界画素領域Ｒｂを出力する。ここで、画像縦方向に延在する境界画素領域Ｒｂには、延在する方向が画像縦方向に一致するものだけでなく、延在する方向と画像縦方向とのなす角度が所定範囲内である境界画素領域Ｒｂも含まれる。また、画像縦方向に延在する境界画素領域Ｒｂは、直線状の形状の画素領域だけでなく、曲線状の画素領域も含まれる。画像縦方向に延在する境界画素領域Ｒｂは、例えば、停車車両１０２や電柱などの輪郭線である。従って、画像縦方向に延在する境界画素領域Ｒｂの近傍にある画素は、停車車両１０２やその他の物体の物陰から飛び出そうとしている物標を撮像したものである可能性が高い。後述する追加探索範囲設定部３９（探索範囲変更部）は、低評価値画素が、画像縦方向に延在する境界画素領域Ｒｂと隣接する画素である場合に追加探索範囲を設定することで、それまでの探索範囲ＲＳに変更を加える。これにより、飛び出しの危険性が高い物標を効率よく再探索することが可能となる。
【００３９】
所定画素抽出部３８は、第一画像から所定画素を抽出する。所定画素は、第一画像の各画素の内、対応付け評価値が閾値以下である着目画素であって、画像縦方向に延在する境界画素領域Ｒｂの近傍に位置する画素である。ここで、境界画素領域Ｒｂの近傍の画素とは、例えば、境界画素領域Ｒｂから所定範囲内の画素である。所定画素は、境界画素領域Ｒｂの画素と隣接する画素であっても、境界画素領域Ｒｂとの間に所定画素以外の画素を挟んだ画素であってもよい。所定画素抽出部３８は、例えば、第一画像において境界画素領域Ｒｂから所定画素数の距離内にある低評価値画素を所定画素として抽出する。
【００４０】
追加探索範囲設定部３９は、所定画素を含む低評価値画素に対して、追加探索範囲ＲＳＳを設定する。図１０を参照して、追加探索範囲ＲＳＳについて説明する。図１０では、第二画像上に追加探索範囲ＲＳＳが示されている。本実施形態の追加探索範囲設定部３９は、所定画素に対する追加探索範囲（以下、「第一の追加探索範囲」と称する。）ＲＳＳ１と、所定画素以外の低評価値画素に対する追加探索範囲（以下、「第二の追加探索範囲」と称する。）ＲＳＳ２とを異なる形状の範囲とする。追加探索範囲設定部３９は、対応付けの評価値が閾値以下である着目画素であって、画像縦方向に延在する境界画素領域Ｒｂの近傍に位置する所定画素について、第一の追加探索範囲ＲＳＳ１を設定することによって探索範囲ＲＳを変更する。
【００４１】
第二の追加探索範囲ＲＳＳ２は、例えば、矩形の領域である。第二の追加探索範囲ＲＳＳ２の一辺の長さは、物標の種類（歩行者、自転車等）から想定される画像上における最大動き量の２倍の長さである。すなわち、第二の追加探索範囲ＲＳＳ２の一辺の長さは、物標がどの方向に移動したとしても、移動後の物標を撮像した画像が第二の追加探索範囲ＲＳＳ２に含まれるように定められる。第二の追加探索範囲ＲＳＳ２は、第一画像の着目画素の画素位置を中心とする画素領域である。
【００４２】
第一の追加探索範囲ＲＳＳ１は、所定画素に対して、予測される飛び出し方向の位置に定められる。例えば、所定画素の近傍の境界画素領域Ｒｂが、画像縦方向に延在する領域である場合、物陰から飛び出す歩行者等は、画像横方向に移動する可能性が高い。例えば、図９に示すように、停車車両１０２の近傍に歩行者１０３がいる場合、歩行者１０３を撮像した画素Ｂは、画像縦方向に延在する境界画素領域Ｒｂの近傍の画素となる。画素Ｂは、停車車両１０２の境界画素領域Ｒｂに対して画像横方向の画像中央側に位置する画素である。また、画素Ｂは、物体である停車車両１０２の画像縦方向の境界画素領域Ｒｂに関して、物体側と反対側、すなわち停車車両１０２側と反対側に位置する画素である。このような画素Ｂに対応する物標は、画像横方向に移動する可能性が高い。
【００４３】
従って、変更後の探索範囲ＲＳである第一の追加探索範囲ＲＳＳ１を所定画素の画素位置に対して画像横方向に位置する画素領域とすることで、第二画像において、所定画素に対応する対応画素を検出できる可能性が高いと考えられる。追加探索範囲設定部３９は、第一の追加探索範囲ＲＳＳ１を所定画素の画素位置に対して画像横方向に位置する画素領域とする。なお、第一の追加探索範囲ＲＳＳ１は、所定画素の画素位置を含む画素領域であっても、所定画素の画素位置を含まない画素領域であってもよい。第一の追加探索範囲ＲＳＳ１は、所定画素の画素位置から画像横方向に引いた直線上に位置する画素を含む画素領域であることが好ましい。第一の追加探索範囲ＲＳＳ１は、例えば、所定画素の画素位置から画像横方向に引いた直線を中心線とする画素領域とされてもよいが、これに限るものではない。第一の追加探索範囲ＲＳＳ１は、例えば、所定画素の画素位置に対して画像上の斜め下に広がる画素領域や斜め上に広がる画素領域等であってもよい。
【００４４】
また、追加探索範囲設定部３９は、変更後の探索範囲である第一の追加探索範囲ＲＳＳ１を所定画素の画素位置に対して所定方向に位置する画素領域とする。言い換えると、追加探索範囲設定部３９は、探索範囲ＲＳの位置を、所定画素の画素位置に対して所定方向の位置に変更する。ここで、所定方向は、図１１を参照して説明するように、画像横方向において、画像取得部２と撮像対象までの距離が増加していく方向である。図１１には、第一画像のうち、停車車両１０２および歩行者１０３を含む領域が示されている。停車車両１０２の物陰から現れる歩行者１０３を撮像した画像は、境界画素領域Ｒｂによって、前景領域Ｒfwdと背景領域Ｒbkに分かれる。図１１の前景領域Ｒfwdは、停車車両１０２を撮像した画素領域である。背景領域Ｒbkは、停車車両１０２の背景を撮像した画素領域である。停車車両１０２は、車両１００から近い距離にあり、背景領域Ｒbkの物標は、車両１００から停車車両１０２よりも遠い距離にある。従って、画像横方向において、前景領域Ｒfwdから背景領域Ｒbkへ向かう矢印の方向は、視差値から推定される画像取得部２と撮像対象との距離が増加していく所定方向である。
【００４５】
追加探索範囲設定部３９は、図１１に示すように、所定画素である画素Ｂに対して所定方向に位置する画素領域を第一の追加探索範囲ＲＳＳ１として定める。画素Ｂについての所定方向は、画像横方向の右側へ向かう方向である。第一の追加探索範囲ＲＳＳ１は、所定画素である画素Ｂの画素位置を含む画素領域である。第一の追加探索範囲ＲＳＳ１において、画素Ｂの画素位置よりも右側の領域は、画素Ｂの画素位置よりも左側の領域に比べて広い。つまり、第一の追加探索範囲ＲＳＳ１によれば、所定画素（画素Ｂ）よりも所定方向（画像右側）にある画素領域が重点的に探索されることになる。これにより、移動後の物標が撮像されている可能性が高い画素領域を優先的に探索して着目画素との対応付けを行うことができる。
【００４６】
追加探索範囲設定部３９は、所定方向に向けて探索範囲の幅を拡張するようにしてもよい。例えば、図１０に示す第一の追加探索範囲ＲＳＳ１ｂは、最初に設定された探索範囲ＲＳｂ（図８参照）と同じ大きさの探索範囲ＲＳを所定画素（画素Ｂ）を中心として位置付け、更に当該探索範囲ＲＳを所定方向（画像右方向）に向けて幅を拡張した形状である。その結果、第一の追加探索範囲ＲＳＳ１ｂは、所定画素の画素位置を含み、かつ所定画素の画素位置から所定方向に向けて広がる画素領域となっている。このようにすれば、停車車両１０２等の物陰から飛び出してくる歩行者１０３の動きを精度よく推定することが可能である。
【００４７】
追加探索範囲設定部３９は、変更後の探索範囲である第一の追加探索範囲ＲＳＳ１を所定画素から境界画素領域Ｒｂ側とは反対側へ向けて広がる画素領域とするようにしてもよい。図９を参照して説明すると、歩行者１０３を撮像した画素Ｂは、停車車両１０２の右側の境界画素領域Ｒｂの近傍かつ境界画素領域Ｒｂに対して右側に位置している。この場合に、第一の追加探索範囲ＲＳＳ１ｂを画素Ｂから右側、すなわち近傍の境界画素領域Ｒｂ側とは反対側へ向けて広がる画素領域とすることが好ましい。このようにすれば、停車車両１０２の物陰から飛び出してくる歩行者１０３の動きを精度よく推定することが可能である。
【００４８】
追加探索範囲設定部３９は、画像横方向において境界画素領域Ｒｂ側とは反対側へ向けて探索範囲の幅を拡張するようにしてもよい。例えば、図１０に示す第一の追加探索範囲ＲＳＳ１ｂは、最初に設定された探索範囲ＲＳｂに比べて画像横方向の幅が広く、かつその幅は、所定画素である画素Ｂの画素位置から、近傍の境界画素領域Ｒｂ側とは反対側の画像右側へ向けて拡張されている。このようにすれば、停車車両１０２等の物陰から飛び出してくる歩行者１０３の動きを精度よく推定することが可能である。
【００４９】
また、追加探索範囲設定部３９は、所定画素の近傍の境界画素領域Ｒｂが、画像縦方向に延在する領域である場合、変更前の探索範囲ＲＳの画像横方向の幅よりも、変更後の探索範囲の画像横方向の幅を大きくすることが好ましい。着目画素としての画素Ｂに対して、変更前の探索範囲ＲＳは、図８に示す探索範囲ＲＳｂである。変更後の探索範囲は、図１０に示す第一の追加探索範囲ＲＳＳ１ｂである。第一の追加探索範囲ＲＳＳ１ｂの幅は、探索範囲ＲＳｂの幅よりも大きい。これにより、物標が画像横方向に飛び出した場合であっても、より確実に物標を撮像した画素を検出することが可能となる。
【００５０】
所定画素の近傍の境界画素領域Ｒｂが、画像縦方向に延在する領域である場合、第一の追加探索範囲ＲＳＳ１では、画像縦方向の高さの値よりも、画像横方向の幅の値を大きくすることが好ましい。第一の追加探索範囲ＲＳＳ１の形状をこのようにすれば、物標が画像横方向に飛び出した場合であっても、より確実に物標を撮像した画素を検出することが可能であり、かつ再探索のための演算量を抑制して効率的に物標を検出することができる。
【００５１】
追加探索範囲設定部３９は、所定画素としての画素Ｄに対しても第一の追加探索範囲ＲＳＳ１を設定する。図１０に示すように、画素Ｄについて、第一の追加探索範囲ＲＳＳ１ｄが定められる。画素Ｄについての第一の追加探索範囲ＲＳＳ１ｄは、変更前の探索範囲ＲＳｄ（図８参照）を画像横方向に拡張した領域である。
【００５２】
追加対応付け部４０は、追加探索範囲設定部３９によって追加探索範囲ＲＳＳが設定されると、設定された追加探索範囲ＲＳＳ、言い換えると変更後の探索範囲を探索し、着目画素と対応画素とを対応付ける。つまり、追加対応付け部４０は、追加探索範囲設定部３９によって探索範囲ＲＳが変更されると、変更後の探索範囲である追加探索範囲ＲＳＳから改めて対応画素を検出して着目画素と対応付ける。追加対応付け部４０は、所定画素、および所定画素以外の低評価値画素のそれぞれについて、設定された追加探索範囲ＲＳＳを探索し、対応画素を検出する。対応画素の検出方法は、例えば、対応付け部３５による方法と同様である。なお、対応付け部３５が追加対応付け部４０を兼ねてもよい。
【００５３】
ここで、全ての低評価値画素に対して再探索を行うと、処理に要する時間が長くなる。処理時間に制限がある場合、低評価値画素の内、所定画素を優先して再探索を行うようにしてもよい。また、第二画像の各画素は、対応付け部３５によって与えられた対応付け評価値を有している。対応付け評価値が高い画素は、対応付け部３５によって既に正しい対応付けがなされている可能性が高い。そこで、再探索において、第二画像の追加探索範囲ＲＳＳ内の画素の内、低評価値画素のみを走査・照合の対象として類似度の算出を行い、対応画素を検出・選択するようにしてもよい。
【００５４】
図１を参照して、第１実施形態の移動情報推定装置１の動作について説明する。図１に示す制御フローは、画像データに基づく移動情報の推定が要求されている間に繰り返し実行されるものである。
【００５５】
まず、ステップＳ１０では、ステレオ画像が入力される。画像取得部２から情報処理装置３にステレオ画像が入力される。ステップＳ１０が実行されると、ステップＳ２０に進む。
【００５６】
ステップＳ２０では、距離推定部３１により、各画素の距離が推定される。距離推定部３１は、画像取得部２から入力されたステレオ画像に基づいて、ステレオ画像の各画素について、当該画素が撮像した撮像対象部位と画像取得部２との３次元空間上の距離を推定する。ステップＳ２０が実行されると、ステップＳ３０に進む。
【００５７】
ステップＳ３０では、画像上での動き量予測部３３により、各画素の画像上での動き量が予測される。画像上での動き量予測部３３は、第一画像の各画素の撮像対象部位について、第二画像が撮像されるまでの画像上での移動量を予測する。ステップＳ３０が実行されると、ステップＳ４０に進む。
【００５８】
ステップＳ４０では、探索範囲設定部３４により、探索範囲ＲＳが設定される。探索範囲設定部３４は、ステップＳ３０で予測された各画素についての画像上の移動量に基づいて、第一画像の各画素に対して第二画像上の探索範囲ＲＳを設定する。ステップＳ４０が実行されると、ステップＳ５０に進む。
【００５９】
ステップＳ５０では、対応付け部３５により、探索範囲ＲＳ内の探索、動き量の推定および評価値の算出がなされる。対応付け部３５は、第二画像の探索範囲ＲＳ内の画素から、第一画像の着目画素との類似度が最も高い画素を検出し、検出された画素を対応画素として着目画素に対応付ける。対応付け部３５は、着目画素から対応画素への画像上における位置変化を着目画素の撮像対象部位の動き量として推定する。また、対応付け部３５は、対応付けの評価値を算出する。ステップＳ５０が実行されると、ステップＳ６０に進む。
【００６０】
ステップＳ６０では、低評価値画素抽出部３６により、低評価値画素が抽出される。低評価値画素抽出部３６は、ステップＳ５０で算出された対応付けの評価値が所定の値以下である低評価値画素を第一画像および第二画像から抽出する。ステップＳ６０が実行されると、ステップＳ７０に進む。
【００６１】
ステップＳ７０では、物体境界検出部３７により、物体境界の画素領域である境界画素領域Ｒｂが検出される。ステップＳ７０が実行されると、ステップＳ８０に進む。
【００６２】
ステップＳ８０では、所定画素抽出部３８により、所定画素が抽出される。所定画素抽出部３８は、ステップＳ６０で抽出された低評価値画素のうち、ステップＳ７０で検出された境界画素領域Ｒｂの近傍の画素を所定画素として抽出する。ステップＳ８０が実行されると、ステップＳ９０に進む。
【００６３】
ステップＳ９０では、追加探索範囲設定部３９により、追加探索範囲ＲＳＳが設定される。追加探索範囲設定部３９は、ステップＳ８０で抽出された所定画素について、第一の追加探索範囲ＲＳＳ１を設定する。また、追加探索範囲設定部３９は、ステップＳ６０で抽出された低評価値画素の内、所定画素以外の画素について、第二の追加探索範囲ＲＳＳ２を設定する。ステップＳ９０が実行されると、ステップＳ１００に進む。
【００６４】
ステップＳ１００では、追加対応付け部４０により、追加探索範囲ＲＳＳ内の探索および動き量の推定がなされる。追加対応付け部４０は、低評価値画素のそれぞれについて、追加探索範囲ＲＳＳ内の画素から対応画素を再探索する。追加対応付け部４０は、第一画像の低評価値画素を着目画素として、第二画像の追加探索範囲ＲＳＳ内の画素の内、最も着目画素との類似度が高い画素を対応画素として、着目画素に対応付ける。追加対応付け部４０は、新たに対応付けられた着目画素と対応画素に基づいて、着目画素によって撮像された撮像対象部位の画像上における動き量を推定する。ステップＳ１００が実行されると、本制御フローは終了する。
【００６５】
以上説明した第１実施形態の移動情報推定装置１によれば、物体の動きを精度よく推定することと、処理時間の短縮とを両立することができる。
【００６６】
本実施形態の移動情報推定装置１の好ましい態様について、以下にまとめる。
【００６７】
（構成１）
移動情報推定装置１は、（１）自車周辺の道路環境を時系列で撮影し、時刻の異なる２枚の画像データ（以下、画像Ｉ，画像Ｊと称する。）を取得する画像取得部と、（２）画像Ｉ上の画素ごとに、撮影対象物までの距離を推定する距離推定部と、（３）画像Ｉ，Ｊ間の各画素の画像上での動き量を、画像Ｉ上の画素ごとに予測する画像上での動き量予測部と、（４）画像上での動き量予測部の結果を元に、画像Ｉ上の画素ごとに、画像Ｊ上での探索範囲を設定する探索範囲設定部と、（５）探索範囲設定部で設定された探索範囲内の画素に対して対応付けを行い、対応する画素を求めて画像上での動き量を推定し、また対応付けの評価値を画像Ｉ，Ｊの各画素で算出する対応付け部と、（６）対応付け部で算出された評価値が所定の閾値以下の画素（低評価値画素）を抽出する低評価値画素抽出部と、（７）物体の境界を検出する物体境界検出部と、（８）画像Ｉ上の低評価値画素のうち、物体境界検出部で検出された物体境界からの距離が所定の閾値以下である画素（所定画素）を抽出する所定画素抽出部と、（９）低評価値画素と所定画素に対し、画像Ｊ上での探索範囲を設定する追加探索範囲設定部と、（１０）追加探索範囲設定部で設定された探索範囲内の低評価値画素と所定画素に対して対応付けを行い、対応する画素を求めて画像上での動き量を推定する追加対応付け部、を含んで構成されることが好ましい。
【００６８】
（構成２）
上記の構成１において、物体境界検出部で、検出した物体境界のうち鉛直方向の物体境界のみを出力することが好ましい。物体境界には、水平方向と鉛直方向のものが含まれる。衝突回避システムでは、水平方向に飛び出す物体が重要である。水平方向の飛び出しが起こり得る鉛直方向の物体境界のみを出力するようにすれば、後段の処理量を削減できる。
【００６９】
（構成３）
上記の構成１または２において、追加探索範囲設定部で、所定画素では、物体境界の向きから物体が飛び出す可能性のある方向を推定し、物体が飛び出す可能性のある方向に探索範囲を広く設定することが好ましい。距離推定部で得られた距離情報を用いると、物体境界付近で距離が近い前景と、距離が遠い背景とを区別することができる。物体が飛び出す場合は、前景から背景へ向かう方向に飛び出すため、当該方向に追加探索範囲を設定することで、全方向に追加探索を設定する場合に比べて追加対応付けの処理量を削減できる。
【００７０】
（構成４）
上記の構成１乃至３のいずれかにおいて、追加対応付け部で、所定画素を優先的に処理することが好ましい。物体境界付近の画素での動き量推定は衝突回避システムで重要である。対応付けや動き量推定に関して、所定画素を優先的に処理することで、処理時間に制限がある場合に効率的に重要な画素での動き量を推定できる。
【００７１】
［第２実施形態］
図１２および図１３を参照して、第２実施形態について説明する。第２実施形態については、上記第１実施形態で説明したものと同様の機能を有する構成要素には同一の符号を付して重複する説明は省略する。図１２は、第２実施形態に係る移動情報推定装置のブロック図、図１３は、第２実施形態の移動情報推定装置の動作を示すフローチャートである。本実施形態の移動情報推定装置１１において、上記第１実施形態の移動情報推定装置１と異なる点は、例えば、情報処理装置１３の構成要素である。図１２に示すように、情報処理装置１３は、上記第１実施形態の情報処理装置３の構成要素に加えて、カメラ運動推定部３２および対象物運動推定部４１を有する。
【００７２】
カメラ運動推定部３２は、画像取得部２の３次元空間上での運動量を推定する。車両１００が移動している場合、車両１００の移動に応じて画像取得部２も移動する。カメラ運動推定部３２は、車両１００の移動に伴う画像取得部２の運動量を推定する。カメラ運動推定部３２は、例えば、車両１００の車速を検出する車輪速センサやジャイロセンサ等のセンサの検出値に基づいて画像取得部２の運動量を推定する。あるいは、カメラ運動推定部３２は、距離推定部３１によって推定された距離情報と、対応付け部３５および追加対応付け部４０による対応付けから算出された各画素の画像上での動き量に基づいて運動量を推定してもよい。推定される運動量には、画像取得部２の３次元空間での移動量および画像取得部２の光軸方向が変化した変化量が含まれる。カメラ運動推定部３２は、画像取得部２のフレームレートに基づいて、先のステレオ画像（第一画像）が撮像されてから後のステレオ画像（第二画像）が撮像されるまでの画像取得部２の運動量を推定することが好ましい。
【００７３】
本実施形態の画像上での動き量予測部３３は、画像取得部２の運動量と、撮像対象の運動量に基づいて動き量を予測する。同一の撮像対象を撮像した画素の画像上における位置は、画像データの撮像時刻に応じて変化する。この位置の変化には、主として二つの要素がある。第一の要素は、車両１００の移動に伴って生じる画素位置の変化である。第二の要素は、撮像対象の移動に伴って生じる画素位置の変化である。画像上での動き量予測部３３は、カメラ運動推定部３２によって推定された画像取得部２の運動量に基づいて、第一の要素による画素位置の変化量を予測する。
【００７４】
また、画像上での動き量予測部３３は、過去のフレームにおいて算出された撮像対象の運動量と、撮像対象までの推定距離に基づいて、撮像対象の現在の運動量を予測する。撮像対象の運動量は、後述する対象物運動推定部４１の推定結果を用いるようにすればよい。画像上での動き量予測部３３は、撮像対象の運動量の予測値に基づいて、第二の要素による画素位置の変化量を予測する。画像上での動き量予測部３３は、第一の要素による画素位置の変化量と、第二の要素による画素位置の変化量に基づいて、画像上における撮像対象を撮像した画素の総合的な移動量（以下、単に「総移動量」と称する。）を算出する。なお、画像取得部２の運動量の推定を距離情報と動き量に基づいて行う場合、画像取得部２の運動量は、対応付け部３５の処理以降でしか利用できない。この場合、１フレーム前の推定結果から予測される画像取得部２の運動量を用いるようにしてもよい。
【００７５】
対象物運動推定部４１は、着目画素および対応画素に基づいて物標の移動情報を推定する。移動情報は、例えば、物標の３次元空間での運動量である。対象物運動推定部４１は、距離推定部３１で推定された距離情報、カメラ運動推定部３２によって推定された画像取得部２の運動量、対応付け部３５および追加対応付け部４０によって推定された撮像対象の画像上での動き量に基づいて、撮像対象の３次元空間での運動量を推定する。運動量の推定は、第一画像と第二画像との間で対応する画素の距離情報の変化量から算出されてもよい。すなわち、着目画素の距離情報と対応画素の距離情報との変化量と、着目画素と対応画素の画素位置の変化量から、撮像対象の３次元空間上での運動量が算出可能である。なお、距離推定の誤差分布、対象の運動モデル等の事前知識を利用して運動を推定するカルマンフィルタ等が用いられてもよい。
【００７６】
図１３を参照して、第２実施形態の移動情報推定装置１１の動作について説明する。ステップＳ２１０からＳ２２０は、上記第１実施形態（図１）のステップＳ１０からＳ２０までと同様とすることができる。すなわち、ステップＳ２１０で画像取得部２から情報処理装置１３にステレオ画像が入力されると、ステップＳ２２０で各画素によって撮像された撮像対象部位までの距離が推定される。
【００７７】
ステップＳ２３０では、カメラ運動推定部３２により、カメラ運動が推定される。カメラ運動推定部３２は、第一画像から第二画像までの撮像間隔における画像取得部２の３次元空間上での運動量を推定する。ステップＳ２３０が実行されると、ステップＳ２４０に進む。
【００７８】
ステップＳ２４０では、画像上での動き量予測部３３により、各画素の画像上での動き量が予測される。画像上での動き量予測部３３は、ステップＳ２３０で推定された画像取得部２の運動量と、過去のフレームにおいて推定された撮像対象の運動量に基づいて、各画素の撮像対象部位の画像上における動き量を予測する。ステップＳ２４０が実行されると、ステップＳ２５０に進む。
【００７９】
ステップＳ２５０からステップＳ３１０までは、上記第１実施形態のステップＳ４０からステップＳ１００までと同様とすることができる。すなわち、ステップＳ２５０で探索範囲が設定され、ステップＳ２６０では、探索範囲内で対応画素が探索され、撮像対象部位の動き量が推定され、対応付け評価値が算出される。ステップＳ２７０では、第一画像および第二画像の各画素から低評価値画素が抽出され、ステップＳ２８０では、第一画像の物体境界が検出される。ステップＳ２９０では、第一画像の低評価値画素のうち、所定画素が抽出され、ステップＳ３００では所定画素に対する追加探索範囲が設定され、ステップＳ３１０では追加探索範囲内の探索、および再探索の結果検出された対応画素に基づく動き量の推定がなされ、ステップＳ３２０へ進む。
【００８０】
ステップＳ３２０では、対象物運動推定部４１により、対象物の運動量が推定される。対象物運動推定部４１は、第一画像が撮像されてから第二画像が撮像されるまでの撮像対象の３次元空間での運動量を推定する。ステップＳ３２０が実行されると、本制御フローは終了する。
【００８１】
第２実施形態の移動情報推定装置１１の好ましい態様について、以下にまとめる。
【００８２】
（構成５）
移動情報推定装置１１は、上記の構成１乃至４の何れかにおいて、（１１）カメラの３次元空間上での運動量を推定するカメラ運動推定部と、（１２）距離推定部で推定された距離、対応付け部および追加対応付け部で推定された画像上での動き量、カメラ運動推定部で推定されたカメラの運動量を元に、撮影対象物の３次元空間上での運動量を推定する対象物運動推定部と、を備え、画像上での動き量予測部の処理を、距離、カメラの運動量、１フレーム前の対象物運動推定部の結果から予測される現在の撮影対象物の運動量を元に行うことが好ましい。上記第１実施形態の移動情報推定装置１では、画像上での動き量の予測値は、ステレオカメラの情報を利用して推定された、１フレーム前の動き量である。これに対して、構成５の場合、他のセンサ情報を利用して推定したカメラ運動量や、対象の運動モデル等の事前知識を利用した対象物運動推定値を利用できるため、より確実な予測が可能となる。
【００８３】
（構成６）
移動情報推定装置１１は、（１３）自車周辺の道路環境を時系列で撮影し、時刻の異なる２枚の画像データ(以下、画像Ｉ，Ｊと呼ぶ)を取得する画像取得部と、（１４）画像Ｉ，Ｊ上の画素毎に、撮影対象物までの距離を推定する距離推定部と、（１５）画像Ｉ，Ｊの距離情報からカメラの３次元空間上での運動量を推定するカメラ運動推定部と、（１６）距離推定部で推定された距離、カメラ運動推定部で推定されたカメラの３次元空間上での運動量、１フレーム前の対象物運動推定部の結果から予測される現在の撮影対象物の３次元空間上での運動量を元に、画像Ｉ，Ｊ間の各画素の画像上での動き量を、画像Ｉ上の画素毎に予測する画像上での動き量予測部と、（１７）画像上での動き量予測部の結果を元に、画像Ｉ上の画素毎に、画像Ｊ上での探索範囲を設定する探索範囲設定部と、（１８）探索範囲設定部で設定された探索範囲内の画素に対して対応付けを行い、対応する画素を求めて画像上での動き量を推定し、また対応付けの評価値を画像Ｉ，Ｊの各画素で算出する対応付け部と、（１９）対応付け部で算出された評価値が所定の閾値以下の画素（低評価値画素）を抽出する低評価値画素抽出部と、（２０）物体の境界を検出する物体境界検出部と、（２１）画像Ｉ上の低評価値画素のうち、物体境界検出部で検出された物体境界からの距離が所定の閾値以下である画素（所定画素）を抽出する所定画素抽出部と、（２２）低評価値画素に対して所定の探索範囲を設定し、所定画素に対して、低評価値画素の探索範囲と異なる所定の探索範囲を設定する追加探索範囲設定部と、（２３）追加探索範囲設定部で設定された探索範囲内の低評価値画素と所定画素に対して対応付けを行い、対応する画素を求めて画像上での動き量を推定する追加対応付け部と、（２４）距離推定部で推定された距離、対応付け部、追加対応付け部で推定された画像上での動き量、カメラ運動推定部で推定されたカメラの３次元空間上での運動量を元に、撮影対象物の３次元空間上での運動量を推定する対象物運動推定部、から構成されることが好ましい。
【００８４】
［各実施形態の変形例］
上記第１実施形態および第２実施形態の変形例について説明する。上記各実施形態において、所定画素に対して、画像横方向に長い第一の追加探索範囲ＲＳＳ１による探索を行っても対応付け評価値の高い画素が検出されなかった場合、当該所定画素についての探索範囲を画像縦方向に拡張するようにしてもよい。この場合に、最初に設定された探索範囲ＲＳを画像縦方向に拡張するようにしても、第一の追加探索範囲ＲＳＳ１を画像縦方向に拡張するようにしてもよい。
【００８５】
上記各実施形態では、低評価値画素の近傍の境界画素領域Ｒｂが画像縦方向に延在する領域である場合に、当該低評価値画素が所定画素とされた。これに代えて、あるいはこれに加えて、低評価値画素の近傍の境界画素領域Ｒｂが画像横方向に延在する領域である場合に、当該低評価値画素が所定画素とされてもよい。画像横方向に延在する境界画素領域Ｒｂの近傍にある所定画素については、追加探索範囲を所定画素に対して画像縦方向の位置に設けることが好ましい。この場合の追加探索範囲は、例えば、所定画素を含み、画像縦方向に長い画素領域であることが好ましい。
【００８６】
画像横方向に延在する境界画素領域Ｒｂの近傍にある所定画素について、探索範囲ＲＳを画像縦方向に拡張する場合、画像縦方向の下側に向けて拡張する場合と、画像縦方向の上側に向けて拡張する場合が考えられる。この場合に、まず、探索範囲ＲＳを画像縦方向の下側に向けて拡張して対応画素を再探索し、それでも対応付け評価値の高い画素が存在しない場合に、画像縦方向の上側に向けて探索範囲ＲＳを拡張するようにしてもよい。
【００８７】
上記各実施形態の第一画像および第二画像は、ステレオ画像であったが、各画像は単一の画像であってもよい。この場合、画像取得部２とは別に、周囲の物体までの距離情報を取得する手段、例えば、レーザ距離センサが車両１００に搭載されていることが好ましい。すなわち、視差値に基づいて撮像対象部位までの距離を推定することに代えて、他の距離計測手段により撮像対象部位までの距離を推定することも可能である。
【００８８】
探索範囲ＲＳを変更することには、上記各実施形態のように探索範囲の画像上における位置を変更することや拡張することだけでなく、探索範囲の形状を変更することも含まれる。例えば、探索範囲ＲＳの形状は、矩形以外の多角形とされても、円形とされても、その他の形状、例えば矩形に対して一部を凸形状とすることや一部を凹形状とされてもよい。すなわち、物体の動きを精度よく推定することと、処理時間の短縮とを両立できるように、適宜探索範囲ＲＳの変更がなされればよい。
【００８９】
上記の各実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。
【符号の説明】
【００９０】
１，１１  移動情報推定装置
２  画像取得部
３，１３  情報処理装置
３１  距離推定部
３２  カメラ運動推定部
３３  画像上での動き量予測部
３４  探索範囲設定部
３５  対応付け部
３６  低評価値画素抽出部
３７  物体境界検出部
３８  所定画素抽出部
３９  追加探索範囲設定部（探索範囲変更部）
４０  追加対応付け部
４１  対象物運動推定部
１００  車両
１０１  対向車両
１０２  停車車両
１０３  歩行者
ＲＳ  探索範囲
ＲＳＳ（ＲＳＳ１，ＲＳＳ２）  追加探索範囲
【図１】
2016004447.tif 000003
【図２】
2016004447.tif 000004
【図３】
2016004447.tif 000005
【図４】
2016004447.tif 000006
【図５】
2016004447.tif 000007
【図６】
2016004447.tif 000008
【図７】
2016004447.tif 000009
【図８】
2016004447.tif 000010
【図９】
2016004447.tif 000011
【図１０】
2016004447.tif 000012
【図１１】
2016004447.tif 000013
【図１２】
2016004447.tif 000014
【図１３】
2016004447.tif 000015