(57)【要約】      （修正有）【課題】単眼カメラによってシーンから取得されたビデオ、すなわち画像のシーケンスから、移動する物体の近傍の自由空間を推定する方法を提供する。【解決手段】各ノードが画像内のピクセルの列に対応する１次元グラフを最初に作成する２１０ことによって、移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから、上記移動する物体の近傍の自由空間を推定する。上記画像内の特徴が求められ２２０、これらの特徴に基づいて、エネルギー関数がグラフ上に作成される２３０。動的計画法を用いて、エネルギー関数が最大にされ、上記自由空間が取得される２４０。【選択図】図２Ａ
2015138550.tif 000002
【特許請求の範囲】
【請求項１】
移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから前記移動する物体の近傍の自由空間を推定する方法であって、前記ビデオにおける前記各画像について、
１次元グラフを作成するステップであって、該グラフ内の各ノードは前記画像内のピクセルの列に対応するものと、
前記画像内の特徴を求めるステップと、
前記特徴に基づいて前記グラフ上にエネルギー関数を作成するステップと、
動的計画法を用いるステップであって、前記エネルギー関数を最大にして、曲線の下方のエリアが前記自由空間を規定する該曲線を取得するものと、
を含み、前記ステップは、プロセッサにおいて実行される、移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから前記移動する物体の近傍の自由空間を推定する方法。
【請求項２】
前記カメラシステムは単眼ビデオシステムである、請求項１に記載の方法。
【請求項３】
前記カメラシステムは、ステレオカメラシステム又はマルチカメラシステムである、請求項１に記載の方法。
【請求項４】
前記移動する物体は車両であり、前記シーンは道路を含む、請求項１に記載の方法。
【請求項５】
前記移動する物体はボートであり、前記シーンは水面を含む、請求項１に記載の方法。
【請求項６】
前記画像内のピクセルの前記各列について、障害物の垂直座標を推定するステップ、
を更に含む、請求項１に記載の方法。
【請求項７】
前記自由空間は、前記移動する物体の前方又は後方にある、請求項１に記載の方法。
【請求項８】
水平線の推定値を用いるステップであって、前記障害物の前記垂直座標を制限するもの、
を更に含む、請求項６に記載の方法。
【請求項９】
前記水平線の前記推定値は、前記カメラシステムの構成に基づいて求められる、請求項８に記載の方法。
【請求項１０】
前記水平線の前記推定値は、トレーニング画像のセットを用いて求められる、請求項８に記載の方法。
【請求項１１】
前記エネルギー関数は、ポテンシャル関数の和として定義され、前記各ポテンシャル関数は、前記各特徴及び対応する重みパラメーターを用いて求められる、請求項１に記載の方法。
【請求項１２】
前記重みパラメーターは手動で設定される、請求項１１に記載の方法。
【請求項１３】
前記重みパラメーターは、構造化サポートベクターマシンを用いてトレーニング画像のセットから自動的に求められる、請求項１１に記載の方法。
【請求項１４】
前記特徴は、エッジ、外観、ホモグラフィー、幾何学的状況、平滑性、オプティカルフロー、奥行きマップ、及びそれらの組み合わせからなる群から選択される、請求項１に記載の方法。
【請求項１５】
前記外観は、ガウス混合モデルによってモデル化される、請求項１４に記載の方法。
【請求項１６】
前記画像内の前記各ピクセルのロケーション事前確率を求めるステップであって、前記曲線を平滑化するもの、
を更に含む、請求項１に記載の方法。
【請求項１７】
前記ホモグラフィーは、前記画像にわたり平滑性を課し、前記ホモグラフィーは、前記画像内の地表平面に基づいている、請求項１４に記載の方法。
【請求項１８】
トランケートされた２次ペナルティが、前記曲線を平滑化するのに用いられる、請求項１に記載の方法。
【請求項１９】
前記自由空間は、或るロケーションから別のロケーションに移動する車両の自律ナビゲーションに用いられる、請求項１に記載の方法。
【請求項２０】
前記自由空間は、ボートを停泊又は係留中に操縦するのに用いられる、請求項１に記載の方法。
【請求項２１】
前記自由空間は、車両の駐車支援に用いられる、請求項１に記載の方法。
【請求項２２】
前記自由空間は、屋内移動ロボットによって建物内の移動に用いられる、請求項１に記載の方法。
【請求項２３】
前記自由空間は、真空掃除ロボットによって用いられる、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的には、自由空間推定に関し、より詳細には、カメラシステムによって取得された画像から自由空間を推定することに関する。
【背景技術】
【０００２】
自律ナビゲーション及びコンピュータービジョンの分野では、自由空間は、移動する物体が他の物体と衝突することなく操縦することができる、当該移動する物体の前方のエリア、例えば、車両、ボート、又はロボットの前方又は後方のエリアとして定義される。この自由空間の別称は、運転可能空間(drivable space)である。
【０００３】
正確なマップ及びローカライゼーションシステムを用いることによって、自律ナビゲーションは、移動する物体に対して、地点Ａから地点Ｂにその経路に沿っていずれの障害物にも衝突することなく進行するようにインクリメンタルナビゲーション(incremental navigation：漸近的ナビゲーション)方向を提供する。これを行うには、障害物を回避するのに必要となる重要な情報、及びこの重要な情報を取得する最も費用効果の高い手法を知ることが必要である。
【０００４】
自律ナビゲーションに最も重要な情報は自由空間である。自由空間は、ステレオカメラを用いて推定することができることがよく知られている。例えば、ステレオカメラシステムを用いると、地表平面と、この地表平面上の障害物とを推定することが可能である。占有グリッドの概念は、自由空間推定に密接に関係している。占有グリッドは、あらゆるセルが環境の占有エビデンス(occupancy evidence)をモデル化する２次元(２Ｄ)グリッドを指し、通常、走査型ＬＩＤＡＲ及び超音波センサーのアレイ等の、環境の平面スライス上で距離を測定する３次元(３Ｄ)センサーを用いて推定される。
【０００５】
自由空間推定問題には、スティクセル世界(stixel world)表現が用いられてきた。スティクセル世界は、地表平面と、障害物を表す地上の垂直なスティックのセットとを用いた、世界の単純化したモデルを指す。このモデルは、２つの曲線を用いて画像をコンパクトに表すことができる。第１の曲線は、カメラの前方の最も大きな自由空間を囲む地表平面上に延びるものであり、第２の曲線は、自由空間の境界にある全ての垂直な障害物の高さ(垂直座標)を示すものである。スティクセル世界は、ステレオカメラから取得された奥行きマップを用いて求めることができる。ステレオ画像から奥行きマップを求めるアルゴリズムには、準大域ステレオマッチング法(ＳＧＭ)等の幾つかのアルゴリズムがある。スティクセルは、動的計画法(ＤＰ)を用いてステレオ画像から奥行きマップを明示的に推定することなく求めることもできる。それらの技法は、立体視センサー又は３Ｄセンサーを用いて奥行きを暗黙的又は明示的に求める。
【０００６】
システムの複雑度及びコストを低減するには、移動する物体に搭載された単眼カメラによって取得された画像のシーケンス、すなわちビデオから自由空間を求めることが望まれている。ステレオビデオの代わりに単眼ビデオを用いてこの問題を解決する際には、幾つかの課題がある。他のセグメンテーション問題とは異なり、色又はエッジに完全に依拠することが可能ではない。例えば、道路のビデオには、横断歩道及び車線区分線からの強い勾配が存在することが多い。水面の場合には、近傍のボート、建物、又は空からの反射が存在することが多い。平面の道路に依拠するホモグラフィーに基づく特徴は、道路が平坦でないことに起因して正確でない場合がある。さらに、移動する物体は、単眼の自由空間推定において更なる課題を有する。
【０００７】
単一の画像から幾何学的レイアウト推定を実行する方法が知られている。所与の画像内のピクセルを地表、建物、及び空に分類することが可能である。この分類は、建物のポップアップ３Ｄモデルを取得するのに用いられてきた。シーンは、画像を上部領域、中部領域、及び下部領域に分割する２本の水平曲線を用いてモデル化することができる。画像を領域にセグメンテーションするこの問題は、大域最適法を用いて行うことができることが示されている。
【０００８】
動的計画法を列方向(column-wise：カラムワイズ)マッチングに用いるという一般的なアイデアが、建物の３Ｄモデルを推定するのに用いられてきており、都市シーンをモデル化するための高さマップの幾つかの層を取り扱うために一般化されている。
【０００９】
単眼ビデオは、同時ローカライゼーションマッピング(ＳＬＡＭ)法によって用いられてきた。それらの方法のほとんどは、疎な点群を提供し、自律ナビゲーションに最も重要な情報である自由空間を明示的に推定するものではない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明者らが知る限りでは、従来技術のコンピュータービジョン技法を用いた水面のボートの自由空間推定方法は分かっていない。シーンの画像内の水面のセグメンテーションは、近傍の障害物又は空が水面で反射する等のその鏡面のような性質に起因して特に困難である。色及びエッジ等の特徴は、そのような状況の下では十分に機能しない。
【００１１】
この発明の実施の形態は、単眼カメラによってシーンから取得されたビデオ、すなわち画像のシーケンスから、移動する物体の近傍の自由空間を推定する方法を提供する。この方法は、路上の車両及び水面のボートの自律ナビゲーションに用いることができる。この方法は、動的計画法(ＤＰ)を用いて、移動する物体の前方又は後方で取得された画像を自由空間及び障害物にセグメンテーションする。
【課題を解決するための手段】
【００１２】
立体視センサー又は３Ｄセンサーを用いる従来の手法と異なり、この発明は、単眼カメラによって取得されたビデオを用いてこの問題を解決することを可能にしている。この発明の方法は、水面及び道路の外観、エッジ情報、連続した画像間のホモグラフィー、並びに平滑性等の幾つかの画像特徴及び幾何学的特徴に依拠している。これらの特徴は、目的関数又はエネルギー関数のポテンシャルの集合を求めるのに用いられる。
【００１３】
自由空間推定問題は、マルコフ確率場(ＭＲＦ)における最適化問題として定式化される。ＭＲＦは、各ノードが画像内のピクセルの列に対応する１次元(１Ｄ)グラフとして定義される。この発明のグラフは１Ｄチェーンを形成するので、ＤＰを用いて正確な推論を行うことができる。ＭＲＦのエネルギー関数のパラメーターは、手動で設定することもできるし、構造化サポートベクターマシン(ＳＶＭ)を用いてトレーニング画像のシーケンスから自動的に求めることもできる。
【００１４】
この発明の方法は、単眼キューしか用いていないが、自由空間を確実に推定する。この発明の方法は、単眼ビデオから求められたオプティカルフロー、及びカメラの動きを推定するとともに単眼ビデオ内の複数のフレームを複数の画像として用いることによって求められる奥行きマップ等の他の単眼キューを組み込むこともできる。この発明の主要な焦点は単眼カメラシステムにあるが、ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューを組み込むこともできる。
【００１５】
本発明者らは、建物ではなく困難な交通条件を有するシーンに関心があり、また、海上シーンにも関心がある。さらに、ビデオシーケンスにわたって平滑に変化する自由空間セグメンテーションが取得される。
【図面の簡単な説明】
【００１６】
【図１Ａ】自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。
【図１Ｂ】自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。
【図２Ａ】この発明の実施の形態による自由空間を推定する方法の流れ図である。
【図２Ｂ】この発明の実施の形態によるエネルギー関数のパラメーターを求める方法の流れ図である。
【図３】この発明の実施の形態による、自由空間とこの自由空間に対応する曲線とを求めるのに用いられる１次元グラフである。
【発明を実施するための形態】
【００１７】
図２Ａに示すように、この発明の実施の形態は、移動する物体上に配置されたカメラシステムによってシーンから取得された画像のシーケンス２０１から、移動する物体の近傍の自由空間１０１を推定する方法を提供する。対応する自由空間を有する路上の車両及び水面のボートから取得された例示の画像は、それぞれ図１Ａ及び図１Ｂに示されている。カメラシステムは、単眼ビデオシステムとすることができるし、ステレオカメラシステム又はマルチカメラシステムとすることもできる。
【００１８】
この発明の実施の形態に従って求められるような自由空間は、或るロケーションから別のロケーションに移動する車両の自律ナビゲーション、停泊又は係留中のボートの操縦、車両の駐車、及び自動電気掃除機等のロボットの移動等の複数の用途において用いることができる。
【００１９】
先ず、１Ｄグラフ３０１(図３参照)が作成される(２１０)。この１Ｄグラフでは、各ノードは、画像内のピクセルの列に対応し、各エッジは、近接した列を接続する。次に、エッジ、外観、ホモグラフィー、幾何学的状況、及び平滑性に基づいて画像から特徴が求められる(２２０)。これらの特徴は、上記グラフに基づいて自由空間推定のためのエネルギー関数を作成する(２３０)のに用いられる。これらの特徴は、画像内のオプティカルフロー、又は単眼ビデオシーケンスから求められた奥行きマップに基づくこともできる。次に、動的計画法が用いられ、エネルギー関数を最大化することによって自由空間１０１が推定される(２４０)。
【００２０】
エネルギー関数は、対応する重みパラメーターを有する、特徴によって求められたポテンシャル関数の和として定義される。重みパラメーターは、手動で設定することもできるし、図２Ｂに示すように、学習アルゴリズムを用いることによって間違いのないデータ(ground truth annotation)を有するトレーニング画像のシーケンス２５０から自動的に求めることもできる。パラメーターを学習するために、最初に、トレーニング画像のシーケンス２５０を用いて、１Ｄグラフが作成され(２１０)、特徴が求められ(２２０)、エネルギー関数が作成される(２３０)。次に、構造化ＳＶＭを用いて、重みパラメーター２７０が推定される(２６０)。この方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力／出力インターフェースに接続されたプロセッサ２００において実行することができる。
【００２１】
単眼自由空間推定
具体的には、図１に示すように、本発明者らは、船舶ナビゲーション及び都市ナビゲーションの双方の状況において単眼イメージが与えられた場合の自由空間の推定に関心がある。この目標を達成するために、ピクセルの各画像列ｙｉについて障害物の垂直座標を推定する問題が、マルコフ確率場(ＭＲＦ)における推論の問題として表現される。図３に示すように、ＭＲＦは、１Ｄグラフ３０１として表され、その解は、画像における１Ｄ曲線３１０を提供する。
【００２２】
１Ｄグラフ３０１は、画像のｗ個の列に対応する、ｙｉによって示されるノードの集合を含む。各ノードは離散変数を表し、これらの離散変数の値は、画像内のｈ個の行によって与えられるラベルの集合から得られる。これらのラベルは、最下部のピクセルがラベル１を有し、最上部のピクセルがラベルｈを有するように順序付けられている。グラフ上のエネルギー最大化問題を解き、これらのノードをラベル付けすることによって、１Ｄ曲線３１０が取得される。この曲線の下方のエリアが、車両又はボートの近傍の自由空間１０１を規定する。この１Ｄ曲線は、車両、ロボット、及びボートの前方又はおそらく後方の近傍の自由空間を推定するのに用いることができる。
【００２３】
以下では、エネルギー関数、ポテンシャル、推論、及びパラメーター学習に関する詳細を提供する。
【００２４】
エネルギー関数
ビデオ内の時刻ｔにおける画像をＩｔで示すことにする。画像の寸法はｗ×ｈである。ここで、ｗ及びｈは、それぞれ幅及び高さである。上記問題は、ｗ個の離散変数ｙｉ，ｉ∈｛１，…，ｗ｝があり、各変数がｈ個の離散ラベルｙｉ∈｛１，…，ｈ｝からの値を取ることができるようにモデル化される。
【００２５】
１Ｄグラフ３０１  Ｇ＝｛Ｖ，Ｅ｝を考えることにする。ここで、頂点はＶ＝｛１，…，ｗ｝であり、エッジは(ｉ，ｉ＋１)∈Ｅ，ｉ∈｛１，…，ｗ−１｝である。ｙｉの状態は、地表平面よりも常に上にある水平線３２０よりも決して上にならないように更に制限することができる。水平線の推定値は、カメラシステムの構成(例えば、カメラの位置及び視野)に基づいて手動で求めることもできるし、トレーニング画像のセットを用いて自動的に求めることもでき、この推定値を用いて、推論手順においてラベルを制限することができる。したがって、水平線の推定値は、シーン内の障害物の垂直座標を制限するのに用いことができる。
【００２６】
画像Ｉｔの曲線３１０を求めるために、画像Ｉｔ−１からの特徴も用いられる。この発明のエネルギー関数Ｅは以下のとおりである。
【００２７】
【数１】
2015138550.tif 000003
【００２８】
ここで、Ｔは転置演算子であり、ｙ＝(ｙ１，…，ｙｗ)であり、エネルギー関数のポテンシャルφは、以下のように１変数項及び２変数項に分解される。
【００２９】
【数２】
2015138550.tif 000004
【００３０】
１変数ポテンシャルはφｕ(ｙｉ)であり、２変数ポテンシャルはφｐ(ｙｉ，ｙｊ)である。１変数項及び２変数項の重みパラメーターは、それぞれｗｕ及びｗｐである。重みパラメーターは、
【００３１】
【数３】
2015138550.tif 000005
【００３２】
として形成することができる。これらのパラメーターは、手動で設定されるか、又は構造予測技法を用いてトレーニング画像のセットから学習される。ここで、
【００３３】
【数４】
2015138550.tif 000006
【００３４】
は、１変数ポテンシャルの集合を指し、これらについては、次に、より詳細に説明する。
【００３５】
外観
それぞれが５つの成分を有する２つのガウス混合モデル(ＧＭＭ)を用いて、道路又は水面、及び背景の外観モデルがモデル化される。ここで、道路及び水面という用語は、区別なく用いることができる。ＧＭＭは、各ピクセルが道路若しくは水面、又は背景である確率を求めるのに用いられる。対象シーンに固有のＧＭＭは、期待値最大化(ＥＭ)法を用いて、間違いのないデータを有するトレーニング画像２５０から求めることができる。ＧＭＭは、間違いのないデータを有する道路／水及び背景を含む画像を用いることによって、より一般的なシーンについても求めることができる。
【００３６】
この発明の目標は、曲線が道路と非道路との間(又は水面と障害物との間)の境界に位置するように自由空間を推定することである。この目標を達成するために、以下のように、ラベルの周囲のパッチにおける分布のエントロピーを考慮したポテンシャルが導出される。
【００３７】
【数５】
2015138550.tif 000007
【００３８】
ここで、エントロピーＨ(ｉ，ｊ)は、各ピクセルロケーション(ｉ，ｊ)を中心としたパッチ内の道路／非道路(又は水面／非水面)ピクセルの分布に関して求められる。エントロピーＨ(ｉ，ｊ)は、道路／非道路ピクセル間の境界の近傍では高いはずである。曲線は、障害物及び道路の最も接近した集合間の境界を通過するので、画像の最下部を通過する曲線について最大値を達成する累積和が用いられる。この関数は、曲線が、非ゼロのＨ(ｉ，ｋ)値を有するピクセルを通過することも保証する。この推定値は、かなりの雑音を有する可能性がある。
【００３９】
曲線を平滑化するために、各ピクセルについて道路である確率を表すロケーション事前確率が求められる。この確率は、トレーニングデータから曲線よりも下にある道路ピクセルの実験的なカウントを求めることによって推定される。次に、全ての画像において道路であるピクセルが求められ、それらのピクセルのエントロピーがゼロにされる。これは、控え目な推定値ではあるが、それにもかかわらず、結果をかなり平滑化する。
【００４０】
エッジ
グラウンドトゥルース曲線は、地表平面と障害物との間の境界にある。この曲線が輪郭と一致している方がよいことを符号化したものであるエッジポテンシャルが導出される。画像には多くの輪郭が存在する場合があるが、この曲線は、画像の最下部の近傍に位置するエッジであることが好ましい。これらのエッジは、シーンの３Ｄ空間において最も近いエッジに対応する。これを考慮に入れるために、以下のようにエッジエビデンス(edge evidence)を累算する以下のポテンシャルが定義される。
【００４１】
【数６】
2015138550.tif 000008
【００４２】
ここで、(ｉ，ｊ)ピクセルにエッジが存在するときはｅ(ｉ，ｊ)＝１であり、そうでないときはゼロである。
【００４３】
幾何学的状況
単一の画像が与えられると、この画像内のピクセルを地表、建物(水平に向いている)、及び空に分類することが可能である。Ｇ(ｉ，ｊ)が、この分類に基づいて、ピクセルが地表であるか否かに対応するブールラベルを指すものとする。本発明者らは、最も大きな自由空間を囲む曲線を得ることに関心があるので、以下のポテンシャルを用いる。
【００４４】
【数７】
2015138550.tif 000009
【００４５】
ホモグラフィー
画像シーケンスにわたって平滑である自由空間を取得することが重要である。１つの可能性は、或る画像内のノードと直前の画像内のノードとの間のペアになった接続を考慮することによって、２つの連続した画像内の曲線を併せて推定することである。この結果、画像Ｉｔ内のピクセルｐ(ｉ，ｊ)のラベル付けは、画像Ｉｔ−１内のｐ(ｉ’，ｊ’)の近接ピクセルを用いて制約され、これによって、１Ｄチェーンでもなく木構造グラフでもない２Ｄグラフが得られる。その結果、推論はＮＰ困難となる。
【００４６】
したがって、画像にわたって平滑性を課すとともに、それでも、推論中は１Ｄグラフを維持するために、ホモグラフィーが用いられる。近傍のピクセルにわたる平滑性を用いる代わりに、地表平面に基づいてホモグラフィー行列が求められる。これによって、或る画像内の地表のピクセルから直前の画像内の地表の対応するピクセルへの１対１マッピングが与えられる。これによって、或る画像内の自由空間曲線と別の画像内の自由空間曲線との間のマッピングも提供される。以下の式によって与えられるように、画像Ｉｔ内の(ｉ，ｊ)におけるピクセルロケーションを画像Ｉｔ−１内のロケーション(ｉ’，ｊ’)におけるピクセルにマッピングするホモグラフィー行列をＨ(ｔ，ｔ−１)とする。
【００４７】
【数８】
2015138550.tif 000010
【００４８】
このようにすることで、ポテンシャルは、以下のように記述することができる。
【００４９】
【数９】
2015138550.tif 000011
【００５０】
ここで、ｕ∈Ｕ＼ホモグラフィーであり、φｕ(ｙｉ’＝ｊ’)は、直前の画像Ｉｔ−１内の１変数ポテンシャルである。
【００５１】
画像Ｉｔ−１内の種々の１変数ポテンシャルが、Ｉｔ内のホモグラフィーポテンシャルにマッピングされる。ホモグラフィーは、ランダムサンプルコンセンサス(ＲＡＮＳＡＣ)の枠組みにおけるスケール不変特徴変換(ＳＩＦＴ)を用いて求められる。水面の場合、直前の自由空間曲線の近傍の対応関係のみが検出される。なぜならば、水面には、あまりにも多くの偽りの対応関係が存在するからである。水面での物体の反射からのエッジは、ホモグラフィー行列を用いると整合せず、したがって、この発明の曲線から反射をフィルタリングすることができることに留意されたい。道路シーンの場合、反射は問題とはならないので、直前の自由空間曲線よりも下のＳＩＦＴの整合するものを用いて、ホモグラフィー行列が求められる。
【００５２】
平滑性
トランケートされた２次ペナルティを用いて、曲線の平滑化が促進される。この曲線は、障害物が存在するときにしか非平滑でなく、これは数個の列でしか起こらないことに留意されたい。したがって、以下のようになる。
【００５３】
【数１０】
2015138550.tif 000012
【００５４】
ここで、α、λｄ、及びＴは定数である。
【００５５】
推論
ＭＡＰ推定値、又は最大エネルギー構成は、以下の式を解くことによって求めることができる。
【００５６】
【数１１】
2015138550.tif 000013
【００５７】
この発明のグラフは１Ｄチェーンを形成し、したがって、複雑度Ｏ(ｗｎ２)を有する動的計画法を用いて正確な推論を行うことができる。ここで、ｗは、画像の幅であり、ｎは、水平線制約を課した後の各変数のラベルの数である。
【００５８】
重みパラメーター
【００５９】
【数１２】
2015138550.tif 000014
【００６０】
は、手動で設定することもできるし、以下で説明するように、トレーニング画像２５０を用いて自動的に求めることもできる。
【００６１】
パラメーター学習
トレーニング画像を用いて重みパラメーターを学習するのに、以下の式の構造化ＳＶＭが用いられる。
【００６２】
【数１３】
2015138550.tif 000015
【００６３】
ここで、ｙ(ｉ)は第ｉインスタンスのグラウンドトゥルース曲線であり、Δ(ｙ，ｙ(ｉ))は損失関数であり、Ｎはトレーニング例の総数である。損失関数は、以下の式に示すように、相対ギャップをトランケートしたものである。
【００６４】
【数１４】
2015138550.tif 000016
【００６５】
ここで、Ｔは定数である。平面切断(cutting plane)手順が用いられる。この手順では、各反復において、以下の損失増大推論(loss augmented inference)を解いて、最も違反した制約が求められる。
【００６６】
【数１５】
2015138550.tif 000017
【００６７】
損失は、１変数ポテンシャルに分解されるので、損失増大推論は、動的計画法を介して正確に解くことができる。
【００６８】
この発明の方法は、追加される特徴ごとに１変数ポテンシャルを定義し、このポテンシャルを式(３)の１変数ポテンシャルの集合に追加することによって、他の特徴を組み込むこともできる。これらの他の特徴の重みパラメーターは、手動で設定することもできるし、式(１１)に定式化された学習方法によって自動的に求めることもできる。他の特徴には、単眼ビデオから求められたオプティカルフロー及び奥行きマップが含まれる。ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューから取得された特徴も組み込むことができる。式(３)の１変数ポテンシャルの集合をそれに応じて変更することによって、任意の数の特徴及び特徴の組み合わせをこの発明の方法において用いることができることに留意されたい。
【図１Ａ】
2015138550.tif 000018
【図１Ｂ】
2015138550.tif 000019
【図２Ａ】
2015138550.tif 000020
【図２Ｂ】
2015138550.tif 000021
【図３】
2015138550.tif 000022
【外国語明細書】
2015138550.tif 000023
2015138550.tif 000024
2015138550.tif 000025
2015138550.tif 000026
2015138550.tif 000027
2015138550.tif 000028
2015138550.tif 000029
2015138550.tif 000030
2015138550.tif 000031
2015138550.tif 000032
2015138550.tif 000033
2015138550.tif 000034
2015138550.tif 000035
2015138550.tif 000036
2015138550.tif 000037
2015138550.tif 000038
2015138550.tif 000039
2015138550.tif 000040
2015138550.tif 000041
2015138550.tif 000042
2015138550.tif 000043
2015138550.tif 000044
2015138550.tif 000045