(57)【要約】      （修正有）【課題】新規の幾何学的制約、及び関連する最適化手順を用いて、シーンのピクセルレベルの分類及び可能なレイアウト（ｐｏｓｓｉｂｌｅ  ｌａｙｏｕｔ）を改善する。【解決手段】互いに直交する交差線、消失点及び消失線に基づいてシーンの幾何学的制約を満たす結合点を特定することによって単一の２次元（２Ｄ）画像から３次元（３Ｄ）実世界シーンを再構成する。結合点に従って２Ｄ画像をサンプリングすることによって、シーンの可能なレイアウトが生成される。次に、可能なレイアウトから最適なレイアウトを選択するようにエネルギー関数が最大にされる。エネルギー関数は条件付き確率場（ＣＲＦ）モデルを用いて可能なレイアウトを評価する。【選択図】図１Ｂ
2014220804.tif 000002
【特許請求の範囲】
【請求項１】
単一の２次元（２Ｄ）画像からシーンを再構成する方法であって、
前記シーンは３次元（３Ｄ）実世界シーンであり、
互いに直交する交差線、消失点及び消失線に基づいて前記シーンの幾何学的制約を満たす結合点を特定するステップと、
前記結合点に従って前記２Ｄ画像をサンプリングすることによって前記シーンの可能なレイアウトを生成するステップと、
前記可能なレイアウトから最適なレイアウトを選択するようにエネルギー関数を最大にするステップと、
を含み、
前記エネルギー関数は、前記可能なレイアウトを評価するために条件付き確率場（ＣＲＦ）モデルを用い、
前記ステップは、プロセッサにおいて実行される、
単一の２次元画像からシーンを再構成する方法。
【請求項２】
前記シーンは、屋内又は屋外である、
請求項１に記載の方法。
【請求項３】
前記幾何学的制約は、順序制約と、連結性制約と、消失点制約と、共平面性制約とを含む、
請求項１に記載の方法。
【請求項４】
最も可能性の高い結合点は、投票手順によって特定される、
請求項１に記載の方法。
【請求項５】
前記結合点のラインの構成は、大文字Ｋ、Ｌ、Ｔ、Ｗ、Ｘ及びＹの形に適合する、
請求項１に記載の方法。
【請求項６】
前記ＣＲＦモデルは、ノードが結合点から導出され、隣接するラインが前記結合点から構成されるエッジであるグラフを含む、
請求項１に記載の方法。
【請求項７】
前記ＣＲＦモデルは、変数、特徴及びパラメーターを伴う３次エネルギー関数として表される、
請求項６に記載の方法。
【請求項８】
前記変数は、左壁（Ｌ）、中央壁（Ｍ）、右壁（Ｒ）、床（Ｆ）及び天井（Ｃ）に対応するラベル｛Ｌ，Ｍ，Ｒ，Ｆ，Ｃ｝をとるグラフ内のノードｘｉである、
請求項７に記載の方法。
【請求項９】
前記特徴は、Ｌ結合点、Ｔ結合点、Ｗ結合点、Ｘ結合点及びＹ結合点から求められる、
請求項７に記載の方法。
【請求項１０】
前記エネルギー関数の前記パラメーターは、トレーニング画像及び構造化されたサポートベクトルマシン（ＳＶＭ）を用いてトレーニングされる、
請求項７に記載の方法。
【請求項１１】
投票は、ラインの長さによって重み付けされる、
請求項４に記載の方法。
【請求項１２】
前記可能なレイアウトは、前記結合点を通るラインに沿って前記２Ｄ画像内のピクセルをサンプリングすることによって生成される、
請求項１に記載の方法。
【請求項１３】
最適な部屋の幾何学的形状を得るために、家電製品上にカメラが搭載される、
請求項１に記載の方法。
【請求項１４】
監視用途において人間を追跡する境界条件を提供するために、前記最適なレイアウトが用いられる
請求項１に記載の方法。
【請求項１５】
前記最適な部屋の幾何学的形状に従って、娯楽ユニット上に搭載された前記カメラを位置合わせするために、前記最適なレイアウトが用いられる
請求項１３に記載の方法。
【請求項１６】
無線通信を用いてロボット掃除機を誘導するために、前記最適なレイアウトが用いられる
請求項１に記載の方法。
【請求項１７】
部屋に入る空気の最適流量を求めるために、部屋内の暖房、換気及び空調ユニットの出口に又は前記出口の近くにカメラがある、
請求項１に記載の方法。
【請求項１８】
前記部屋の直方体レイアウトから前記部屋の実際の物理ボリュームを求めるために、前記カメラの高さが用いられる
請求項１７に記載の方法。
【請求項１９】
室内空調機又はヒートポンプの１つ又は複数のフィードバック利得を求めるために、前記部屋の前記実際の物理ボリュームが用いられる
請求項１８に記載の方法。
【請求項２０】
前記室内空調機又は前記ヒートポンプの１つ又は複数のフィードバック利得を求めるために、前記ボリューム及び縦横比が前記直方体レイアウトから直接求められる、
請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータービジョンに関し、より詳細には、２次元画像から３次元シーンを再構成することに関する。
【背景技術】
【０００２】
２Ｄ画像から３Ｄシーンを再構成することは、コンピュータービジョンアプリケーション及び他のイメージングアプリケーションにおいて非常に重要な問題である。従来の３Ｄ再構成方法は、通常、シーン内の奥行きを得るのに２つ以上の画像を用いる。しかしながら、単一の２Ｄ画像からの奥行きの復元は、極度に不良設定の問題である。点及び多角形等の幾何学的エンティティを用いて３Ｄシーンを再構成するのではなく、１つの方法は、ポップアップモデルを構成する３Ｄ再構成手順を用いる。この方法は、いくつかの画像特徴及び幾何学的特徴を用いて、領域を地面、建物及び空として自動的に分類する。別の方法は、共平面性制約及び連結性制約に基づいて、画像特徴及び弱い推定を用いて絶対的な奥行きを推測する。
【０００３】
屋内シーンのモデリングの場合、１つの方法は、直方体モデルを用いて部屋の幾何学的形状を近似する。そのモデルを用いて、画像内のピクセルは、左壁、中央壁、右壁、床及び天井として分類される。屋内シーンの場合、この分類を、屋内シーンレイアウト推定又は単にレイアウト推定と呼ぶ。最適なレイアウトを推定するために、数百個の直方体がサンプリングされ、各直方体がいくつかの画像特徴及び幾何学的特徴に基づいてスコアを割り当てられる。この直方体推定問題をレイアウト推定と呼ぶ。この方法は、トレーニング画像を用いてテクスチャ、色及びライン特徴を分類し、ピクセルレベルの分類を得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、単一の２Ｄ画像から３Ｄシーンを再構成する方法を提供する。単一の２Ｄ画像から３Ｄの実世界シーンを再構成することは、低コストの単一カメラによる解決法に興味を有する多数のコンピュータービジョンアプリケーションによって用いることができる、非常に重要で大部分が未解決の問題である。本発明の主な焦点は、屋内シーンを再構成することである。しかしながら、本方法は、シーンの事前の幾何学的知識に基づいて適切な制約が満たされるとき、屋外シーンの再構成にも用いることができる。
【０００５】
実世界シーンは、コンピューターグラフィック又はコンピューター支援設計によって生成されるような人工的な３Ｄシーンよりも難解であることに留意されたい。人工的な３Ｄシーンでは、方法は一般的に事前に制約される。実世界内のシーンは無限にあり、分類することが困難であり、制約は推測することしかできない。
【０００６】
オフライン事前処理段階において、トレーニング画像を用いて、消失点と、３Ｄ空間においてＸ方向、Ｙ方向又はＺ方向に沿った互いに直交するラインとに関連付けられた特徴を特定する。トレーニング中、直方体レイアウトのいくつかの正の例及び負の例、並びにそれらの対応する特徴が用いられる。真のレイアウト及び考え得る仮説を所与として、分類器はレイアウトのスコアを最大にするように学習する。
【０００７】
画像内のラインは、画像処理、マシンビジョン及びコンピュータービジョンにおいて既知の手順を用いて検出することができる。特定の方向における全ての消失線は、消失点、例えばｖｐｘ、ｖｐｙ及びｖｐｚにおいて終端する。消失線及び消失点は、射影幾何学における概念である。トレーニング画像は、テクスチャ、色及びライン特徴に基づいてピクセルレベルの分離を可能にする分類器を構成するのに用いられる。次に、トレーニングされた分類器を用いて、様々な領域、例えば左壁、右壁、前壁、床、天井及びクラッターに従って各ピクセルをラベル付けすることができる。
【課題を解決するための手段】
【０００８】
実施形態による再構成方法は、新規の幾何学的制約、及び関連する最適化手順を用いて、シーンのピクセルレベルの分類及び可能なレイアウト（ｐｏｓｓｉｂｌｅ  ｌａｙｏｕｔ）を改善する。屋内シーンの場合、部屋のレイアウトは箱状（長方形）であり、凹型であることが仮定される。屋外シーンの場合、レイアウトは通常凸型である。
【０００９】
本発明において、結合点特徴を用いて３Ｄシーンを再構成する。結合点は、２つ以上のラインが交差する２Ｄシーン画像内の点、例えばピクセルである。入射ラインの数及び向きに依拠して、結合点はＬ、Ｋ、Ｔ、Ｘ、Ｙ、Ｗとして分類することができる。
【００１０】
本方法は、暗黙的に以下の制約、すなわち、順序制約、連結性制約、消失点制約、平面性制約及び境界制約を用いる。
【００１１】
順序制約は、例えば、消失点を用いてカメラの向きを処理した後、天井領域にあるとして分類されたピクセルが常に、床領域に属するとして分類されたピクセルの上方に位置するべきであるという規則を指す。他の順序規則を組み込むことができ、例として、例えば建物を含む屋外シーンの場合、建物の屋根は地表面の上方にある。
【００１２】
連結性制約は、単一の領域が、ピクセルの単一の連結された組に関連付けられるという規則を指す。すなわち、左壁用のピクセルの組は、右壁又は床のピクセルとは別個である。この規則は、屋内シーン及び屋外シーンについて等しく適用可能である。
【００１３】
消失点制約は、異なる領域を分離するラインが関連する消失点を通過するという規則を指す。
【００１４】
平面性制約は、部屋の異なる面に対応する平面が、その向きに沿った結合点に有利に働く（ｆａｖｏｒ）べきであるという規則を指す。複数の消失点を用いて結合点を検出する。本方法は、結合点に基づく局所平面性制約を用いて、平面上に位置するピクセルが同じラベル付けを有することを強制する。
【００１５】
境界制約は、レイアウトの境界ラインが、レイアウトの境界において優勢なＹ及びＷのような多くの結合点を含むべきであるという規則を指す。
【発明の効果】
【００１６】
理論上、部屋のレイアウトを指定するのに８つのラインが必要である。しかしながら、本発明では最小数の４つのラインを用い、これらを用いてレイアウトを一意に取得することができる。直方体レイアウトの他のラインは、消失点の知識を用いて推測するか又は求めることができる。
【００１７】
本方法は、交差線を結合点として特定する投票に基づく効率な手順も提供する。結合点は、条件付き確率場（ＣＲＦ）モデル及びエネルギー関数を用いてレイアウトを推定するのに用いられる。画像処理において、エネルギーは通常、画像内の有用な情報量に関連する。
【００１８】
このため、実施形態は、結合点に基づく新規の幾何学的制約、すなわち、シーンのレイアウトを推定するためのＣＲＦに基づくエネルギー関数を含む。５つ全ての幾何学的制約がＣＲＦモデルのエネルギー関数に組み込まれ、可能な限り最良なレイアウトの特定において、エネルギー関数の最大化によって、これらの制約を満たすことを試みる。
【００１９】
実施形態のうちのいくつかは、最適なレイアウトを用いて、家電製品、監視アプリケーション、人間追跡システム、娯楽システム、並びに暖房、換気及び空調（ＨＶＡＣ）システムにフィードバックすることができる。
【図面の簡単な説明】
【００２０】
【図１Ａ】本発明の実施形態による再構成方法によって処理されるシーンの２Ｄ画像である。
【図１Ｂ】本発明の実施形態による図１Ａの方法のフローチャートである。
【図２】屋外シーンの合成線画である。
【図３】実画像から抽出された欠落したライン及び遮蔽されたラインを有する屋内シーンの線画である。
【図４Ａ】本発明の実施形態による３つの消失点を有するシーンの画像である。
【図４Ｂ】本発明の実施形態による３つの消失点を有するシーンの画像である。
【図４Ｃ】本発明の実施形態による３つの消失点を有するシーンの画像である。
【図５Ａ】本発明の実施形態による結合点を検出する投票手順の概略図である。
【図５Ｂ】本発明の実施形態による結合点のラインの異なる部分組の概略図である。
【図６】本発明の実施形態による結合点タイプの概略図である。
【図７Ａ】本発明の実施形態による結合点に基づくレイアウトの概略図である。
【図７Ｂ】本発明の実施形態による結合点に基づくレイアウトの概略図である。
【図７Ｃ】本発明の実施形態による結合点に基づくレイアウトの概略図である。
【図８Ａ】本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。
【図８Ｂ】本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。
【図８Ｃ】本発明の実施形態による、射線を用いて可能なレイアウトを生成するＣＲＦグラフの概略図である。
【図９】本発明の実施形態による天候制御システムのブロック図である。
【発明を実施するための形態】
【００２１】
本発明の実施形態は、図１Ａに示すような単一の２次元画像１０１から３次元（３Ｄ）シーンを再構成する方法１００を提供する。画像は単眼カメラ１０３によって取得することができる。広角カメラを用いてシーンを可能な限り多く観察することが好ましい。
【００２２】
図１Ａは、屋内シーン、例えば居間の画像１０１を示している。そのような人工構造は、大部分はラインの大きな組を含む。２つ以上のラインが異なる点において交差する。これらの交差を「結合点」と呼ぶ。ラインによって形成されるパターンに基づいて、結合点を、Ｋ結合点、Ｌ結合点、Ｔ結合点、Ｗ結合点、Ｘ結合点及びＹ結合点として分類する。
【００２３】
これらの結合点のタイプ及びロケーションは、シーンに関する幾何学的手がかりを提供する。例えば、部屋の４つの角はＹ結合点を形成する。Ｌ結合点、Ｔ結合点及びＸ結合点は一般的に、壁、天井又は床等の平面上に現れる。Ｗ結合点は、家具の境界の底部において一般的であり、壁及び天井には頻繁に表れない。本発明の方法は２Ｄ画像におけるこれらの結合点を特定し、これらの結合点を用いて３Ｄシーンを再構成する。
【００２４】
再構成方法
図１Ｂは、２Ｄ画像１０１において３Ｄシーンを再構成する図１の方法１００を更に詳細に示している。第１に、ライン、消失点、例えばｖｐｘ、ｖｐｙ及びｖｐｚを特定し、候補結合点１０２を潜在的に形成することができるラインをクラスター化する。結合点は、投票手順１１０によって、最良な（最も可能性の高い）結合点１２１を特定するのに用いられる。
【００２５】
最良の結合点に基づいて、結合点に基づくサンプリングを用いてシーンの可能なレイアウト１２１が生成される（１２０）。可能なレイアウトは、３Ｄシーンの最適なレイアウト１３５を求める（１３０）のに用いられる。可能なレイアウトは条件付き確率場（ＣＲＦ）モデル１３１及び最大化されるエネルギー関数１３２を用いて処理される。エネルギー関数１３２は最も可能性の高い結合点１２１も用いる。屋内シーンの場合、部屋の可能なレイアウトは、箱状（長方形）であり凹型である可能性が最も高いことを推定することができる。
【００２６】
ＣＲＦモデルはグラフを含む。グラフは結合点及び可能なレイアウトを用いて構成される。エネルギー関数は全ての可能な結合点に基づく。ＣＲＦ及びエネルギー関数は、トレーニング画像及び構造化されたサポートベクトルマシン（ＳＶＭ）を用いてトレーニングすることができる。トレーニングは事前処理ステップにおいてオフラインで行うことができる。レイアウトは、任意の数のコンピュータービジョンアプリケーション１４０によって用いることができる。
【００２７】
上記の方法１００のステップは、当該技術分野において既知のメモリ及び入／出力インターフェースに接続されたプロセッサにおいて実行することができる。ここで、上記のステップ並びに本発明の他の要素及び特徴をより詳細に説明する。
【００２８】
制約
実施形態による再構成方法は、ピクセルレベルの分類及びシーンの可能なレイアウトのために複数の幾何学的制約を暗黙的に用いる。この方法は、５つのピクセルワイズの制約、すなわち、順序制約、連結性制約、消失点制約、平面性制約及び境界制約を用いる。順序制約は、例えば、消失点を用いてカメラの向きを処理した後、天井領域にあるとして分類されたピクセルが常に、床領域に属するとして分類されたピクセルの上方に位置するべきであるという規則を指す。他の順序規則を組み込むことができ、例として、例えば建物を含む屋外シーンの場合、建物の屋根は地表面の上方にある。連結性制約は、単一の領域が、ピクセルの単一の連結された組に関連付けられるという規則を指す。すなわち、左壁用のピクセルの組は、右壁又は床のピクセルとは別個である。この規則は、屋内シーン及び屋外シーンについて等しく適用可能である。消失点制約は、異なる領域を分離するラインが関連する消失点を通過するという規則を指す。本方法はまた、検出された結合点に基づく局所平面性制約を用いて、平面上に位置するピクセルが同じラベル付けを有することを強制する。境界制約は、レイアウトの境界が、Ｙ及びＷのような結合点を含むという規則を指す。本発明による制約は、解空間を大幅に低減する。換言すれば、本発明では、従来技術のように全ての方向ではなく、６つの方向（＋ｘ，−ｘ，＋ｙ，−ｙ，＋ｚ及び−ｚ）において幾何学的制約を満たす２Ｄ画像内のピクセルを評価すればよい。これによって、処理を２桁も高速化することができる。
【００２９】
結合点の特定
図２は、屋外シーンの簡略化された線画である。実世界シーンにおいて、欠落したライン及びスプリアスラインが生じ得る。本発明では、結合点を特定し、それらのタイプを分類し、それらの結合点を用いてシーンの幾何学的形状又はレイアウトを推定する。幾つかの例示的な結合点が示される。
【００３０】
図３は、検出されたラインを有する屋内３Ｄシーンの線画である。本発明では、従来の結合点と異なる結合点のクラスを検討する。すなわち、本発明では、「マンハッタン」結合点と呼ばれる３つの主要な直交方向において交差するラインによって形成される結合点を検討する。また、単一の平面上に位置する結合点も検討する。例えば、Ｌ結合点は単一平面上に位置する。従来のラベル付けでは、この結合点をＬ結合点とすることができない。従来技術によって定義される結合点は、単一平面上の結合点を検討しない。このため、本発明者らが本研究において定義する「マンハッタン」結合点は、単一平面上の結合点も考察し、このため本発明の結合点は、従来の結合点の厳密な部分組ではない。マンハッタン結合点は、従来の結合点を上回る多くの利点を提供する。
【００３１】
図４Ａ、図４Ｂ及び図４Ｃに示すように、３つのＸ消失点、Ｙ消失点及びＺ消失点を、ｖｐｘ、ｖｐｙ及びｖｐｚと呼ぶ。マンハッタン結合点の場合、結合点が凸型であるか又は凹型であるかを、近傍の結合点を検討することなく推測することができる。実世界画像では、結合点タイプの誤分類が起こり得る。したがって、本発明では投票手順を用いる。
【００３２】
本発明では、隣接するラインを、凸型、凹型又は遮蔽としてラベル付けする問題を明示的に解決していないが、この情報を暗黙的に用いてレイアウト推定問題を解決する。コンピューター支援設計（ＣＡＤ線画）を解析するのに用いられるような従来手法では、結合点は、制約を満たす手順において、よく知られた絶対制約（ｈａｒｄ  ｃｏｎｓｔｒａｉｎｔ）を受けるのに対し、本発明の実世界のシナリオでは、シーンの空間レイアウトを推定するのに、確率論的推測手順において、特定された結合点のみを考慮制約（ｓｏｆｔ  ｃｏｎｓｔｒａｉｎｔ）として用いることができる。
【００３３】
投票に基づく特定
本発明の投票手順では、累算器において、各点（ピクセル）ｐに、特定のパラメーターに対する投票が割り当てられる。投票は、累算器における最大の投票が、検出されることになるオブジェクト又はパターンのインスタンスに対応するように設計される。２段階手順を用いて結合点を特定する。第１に、消失点に沿ったライン上のピクセルのみを用いて６つの累算器に投票する。第２に、６つの累算器のコンテンツに積演算を適用することによって、異なるタイプの結合点を特定する。
【００３４】
投票
各累算器ｊは、画像から均一にサンプリングされたピクセルの部分組への投票を記憶する。累算器における特定の点ｐにおける投票をＶｊ（ｐ）として表す。ここで、
【数１】
2014220804.tif 000003
である。
【００３５】
点ｐごとに、ｐとｖｐｉ（ｉ＝｛ｘ，ｙ，ｚ｝）とを結ぶ線と共線をなす全てのラインは、ｐ及ｖｐｉに対するそのロケーションに依拠して
【数２】
2014220804.tif 000004
又は
【数３】
2014220804.tif 000005
に投票する。ラインがｐとｖｐｉとの間の領域内に存在する場合、投票は
【数４】
2014220804.tif 000006
に対して行われる。ラインがｐとｖｐｉとの間の領域外に存在し、ｖｐｉに隣接していない場合、投票は
【数５】
2014220804.tif 000007
に対して行われる。投票はラインの長さによって重み付けされる。長いラインは、短いスプリアスラインよりも実際の特徴を示すことが推定される。表記
【数６】
2014220804.tif 000008
は、消失点ｖｐｉに向かうラインを指し、表記
【数７】
2014220804.tif 000009
は消失点ｖｐｉから離れるラインを指す。
【００３６】
図５Ａは例示的な投票を示す。６つの累算器が、直交する方向に沿った６つのラインから得られた投票を記憶する。この例では、ピクセル（点）ｐに対応する累算器のコンテンツは、
【数８】
2014220804.tif 000010
及び
【数９】
2014220804.tif 000011
である。
【００３７】
結合点の特定
６つの累算器を用いて、積演算を用いて結合点を特定する。全ての点ｐにおいて、対応する６つの累算器Ｖｊ（ｐ）は、その点に入射するラインの存在を示す。
【００３８】
図５Ｂに示すように、異なる結合点はこれらの６つの要素の異なる部分組に対応する。結合点を特定するために、特定の方向においてラインが存在することを確保し、また、他の方向においてラインが存在しないという幾何学的制約を確保する必要がある。換言すれば、点ｐの場合、いくつかの累算器は非ゼロであり、他の累算器はゼロである。これは、本方法が結合点の特定に成功する鍵となる洞察である。
【００３９】
以下を定義する。
【数１０】
2014220804.tif 000012
【００４０】
全ての結合点タイプをＪＡとして表す。ここで、Ａ⊆Ｓである。点Ｐ及び結合点タイプＪＡについて、以下の投票関数を定める。
【数１１】
2014220804.tif 000013
ここで、δ（ｇ）は、ｇ＝０のとき１であり、ｇの他の全ての値の場合に０であるディラックのδ関数である。ｆ（ｐ，Ａ）が非ゼロである場合、点ｐにおけるタイプＪＡの結合点を特定する。
【００４１】
図６は、Ｋ、Ｌ、Ｔ、Ｗ、Ｘ及びＹの異なる結合点の場合の例を示している。２６個の可能な結合点が存在する。しかしながら、これらの結合点のうちのいくつかは有用でない。これは例えば、単なるライン上の点である任意の「結合点」である。本発明による結合点はマンハッタン（直交）結合点になるように制約される。結合点の構成は大文字の形に適合する（ｃｏｎｆｏｒｍ）。Ｗ結合点は床において一般的である。Ｙ結合点は境界及び角において一般的であるので均等に分散し、高いスコアを有する。Ｌ、Ｔ及びＸは平面領域に対応し、それらの向きに応じて分散している。
【００４２】
マンハッタン又は直交結合点
本発明による直交結合点は以下のように形式的に定義される。２つのラインｌｉ及びｌｊ間の最小角度をθ（ｌｉ，ｌｊ）とする。ピクセルｐにおける様々な結合点タイプは以下のように定義される。
【００４３】
Ｌ結合点：画像ピクセルｐから、２つの異なる消失点に沿った２つのラインを得る。
【００４４】
Ｗ結合点：画像ピクセルｐから、３つの異なる消失点に沿い、かつθ（ｌ１，ｌ２）＋θ（ｌ２，ｌ３）＜１８０度を満たす３つのラインｌ１、ｌ２、ｌ３を得る。
【００４５】
Ｘ結合点：画像ピクセルｐから、ラインのうちの２つが１つの消失点に沿い、他の２つのラインが別の消失点に沿う４つのラインを得る。
【００４６】
Ｔ結合点：画像ピクセルｐから、ラインのうちの２つが１つの消失点に沿い、他のラインが異なる消失点に沿う３つのラインを得る。
【００４７】
Ｙ結合点：画像ピクセルｐから、全ての３つのラインが３つの異なる消失点に沿い、かつθ（ｌ１，ｌ２）＋θ（ｌ２，ｌ３）＜１８０度を満たす３つのラインｌ１、ｌ２、ｌ３を得る。
【００４８】
Ｋ結合点：画像ピクセルｐから、ラインｌ１及びｌ４が１つの消失点に沿い、ｌ１、ｌ２及びｌ３が３つの異なる消失点に沿い、かつθ（ｌ１，ｌ２）＋θ（ｌ２，ｌ３）＋θ（ｌ３，ｌ４）＜１８０度を満たす４つのラインｌ１、ｌ２、ｌ３及びｌ４を得る。
【００４９】
推論
本発明では、構造化されたＳＶＭを用いて、可能なレイアウトを評価し、最適なレイアウトを特定するのに用いられるエネルギー関数をトレーニングする。推論手順において、本発明の方法の実行に重要な２つの着想を用いる。第１に、結合点に基づくサンプリングを用いて可能なレイアウトを生成する。第２に、条件付き確率場（ＣＲＦ）モデルに基づいてエネルギー関数を用いる。エネルギー関数は、特定のレイアウトに必要とされるエネルギーの観点でコストを求める。エネルギー関数を最大化することによって、最適なレイアウトを推定することが可能になる。
【００５０】
結合点に基づくサンプリング
図７Ａ、図７Ｂ及び図７Ｃは、結合点へのラインに沿った２Ｄ画像内の点のみがサンプリングされる、本発明による結合点に基づくレイアウトサンプリングの概念を示している。図７Ａに示すように、ｖｐｘを通る２つの平行な射線及びｖｐｙを通る２つの垂直な射線をサンプリングすることによって、５つの面が左壁、天井、中央壁、床及び右壁に対応する可能なレイアウトを生成することができる。図７Ｂに示すように、画像は３つの消失点の位置に基づいて４つの象限に分割される。部屋の各角は、画像内に見える場合、象限のうちの１つにおいてのみ見ることができ、Ｙ結合点の特定のサブタイプに関連付けられる。これらの象限ごとに、特定されたＹ結合点を記憶する。図７Ｃに示すような通常のサンプリングを行うと、２つの連続した射線がまたがる錐内の高スコアのＹ結合点が特定される。これらの高スコアのＹ結合点を用いて、新たな１組の射線を生成してレイアウトをサンプリングする。非常に僅かな数のサンプルを用いるが、実際のレイアウトに近い可能なレイアウトを依然として生成することができる。
【００５１】
図７Ａに示すように、ｖｐｘを通る２つの水平な射線（ｙ１及びｙ２）並びにｖｐｙを通る２つの垂直な射線（ｙ３及びｙ４）をサンプリングすることによって、様々なレイアウトを生成することができる。本発明では、特定された結合点に対する制約を順守するサンプリングを用いる。これによって、３つの消失点の位置に基づいて、画像を４つの象限に分割することが可能になる。いくつかの画像において、これらの象限のうちの１つ又は複数が画像境界外にあり得ることに留意されたい。直方体モデルの４つの角は、各角がこれらの象限のうちの１つのみに位置するという特性を満たす。これらの角はＹ結合点である。
【００５２】
これらの象限のそれぞれにおいて、対応するＹ結合点を特定する。均一なサンプリングから開始し、隣接した射線の全ての対間で、式（１）によって与えられる最大スコアを有するＹ結合点を特定する。これらの結合点を用いて新たな１組の光線を得る。このデータに依拠したサンプリングにより、依然として粗いサンプリングを用いながら、真のレイアウトに近い可能なレイアウトを特定することが可能になる。
【００５３】
ＣＲＦモデルを用いた可能なレイアウトの評価
トレーニング画像｛ｄ１，ｄ２，．．．，ｄｎ｝∈Ｄ１３９及び対応するレイアウト｛ｌ１，ｌ２，．．．，ｌｎ｝∈Ｌを所与として、マッピングｇ：Ｄ，Ｌ→Ｒを学習して最適なレイアウトを特定する。ここで、ｌｉ＝｛ｙ１，ｙ２，ｙ３，ｙ４｝であり、ここでｙｉは図７Ａに示すようにレイアウトを生成するのに用いられる射線に対応する。
【００５４】
画像ｄ及びその真のレイアウトｌｉの正しい組合せの場合に、関数ｇ（ｄ，ｌｉ）の出力が大きくなるようにしてマッピングを学習する。真のレイアウトではない任意のレイアウトｌについて、レイアウト間の偏差Δ（ｌ，ｌｉ）が増大するにつれ、ｇ（ｄ，ｌ）が減少することも確実にする。通例、関数ｇは形式ｇ（ｄ，ｌ）＝ｗＴψ（ｄ，ｌ）をとり、ここでｗは学習するパラメーターベクトルであり、ψ（ｄ，ｌ）は、画像ｄ及びレイアウトｌから求めることができる特徴のベクトルである。マッピング関数は、構造学習技法によって定式化される二次計画法を用いて弁別的に学習することができる。
【００５５】
ＣＲＦモデルを用いて、エネルギー関数を用いて各可能なレイアウトをスコアリングし評価する。通例、ＣＲＦモデルに基づくエネルギー関数の学習パラメーターは、難解な非劣モジュラー関数の場合に自明でない。しかしながら、本発明のレイアウト推定問題は、画像分割又はステレオビジョン等の他のコンピュータービジョン問題と異なる。本発明による消失点によって課される幾何学的制約は、解空間を大幅に低減する。
【００５６】
しかしながら、本発明では、推論を行うためにグラフカット又はメッセージ受け渡し等の従来の手法を用いない。代わりに、可能なレイアウトを網羅的に生成し、エネルギー関数に基づいて最適なレイアウトを決定する。さらに、結合点の使用によってデータに依拠するサンプリングが与えられ、粗いサンプリングを用いることが可能になる。視覚問題では稀である有限の解空間を利用することによって、本発明によるＣＲＦに基づくエネルギー関数は、劣モジュラー性にも２変数ポテンシャル（ｐａｉｒｗｉｓｅ  ｐｏｔｅｎｔｉａｌ）にも制限されない。
【００５７】
図８Ａは、可能なレイアウトを生成するのに用いられる射線を用いて本発明によるＣＲＦグラフを構成する方法を示している。レイアウトをサンプリングするのに用いられる射線を所与として、画像空間を１組の多角形に分割する。各多角形はＣＲＦ内のノードｘｉに対応する。各ノードは５つのラベル｛左（Ｌ）、中央（Ｍ）、右（Ｒ）、床（Ｆ）、天井（Ｃ）｝を有する。これらは部屋の５つの面に対応する。
【００５８】
図８Ｂに示すように、２つのノードｘｉ及びｘｊは、それらのノードがラインｐｑを共有しているとき、隣接している。本発明によるＣＲＦにおける２変数ポテンシャルは、ｐｑ又はラインｐｑ上の点ｒにおける特殊な特定された結合点に一致する画像内のラインの存在に基づいて求めることができる。
【００５９】
図８Ｃに示すように、真のレイアウトの角は通例、特殊なＹ結合点と一致する。ｔがＹ結合点として特定される場合、この事前情報を、入射ノードｘｉ、ｘｊ及びｘｋを伴う３変数クリーク（ｔｒｉｐｌｅ  ｃｌｉｑｕｅ）の形態で組み込むことができる。
【００６０】
詳細には、射線は画像空間をいくつかの多角形に分割する。本発明による頂点の組はｘ＝｛ｘ１，ｘ２，．．．，ｘｎ｝によって与えられ、ここで、ｘｉは画像内の多角形に対応するノードである。エッジの組は、ノードｘｉ及びｘｊがラインを共有するとき、｛ｉ，ｊ｝∈Ｅである。各可能なレイアウトは、４つの光線ｙ＝｛ｙ１，ｙ２，ｙ３，ｙ４｝によってパラメーター化することができ、ここで、ｙｉ＝｛１，２，．．．，ｋ｝であり、ｋは用いられるサンプル数に対応する。
【００６１】
本発明によるＣＲＦグラフでは、全てのノードｘｉ＝｛Ｌ，Ｍ，Ｒ，Ｆ，Ｃ｝であり、左壁（Ｌ）、中央壁（Ｍ）、右壁（Ｒ）、床（Ｆ）及び天井（Ｃ）によって与えられる５つの面に対応する。ｙを所与として、対応するｘを求めることができ、ｘからｙを同様に求めることができる。境界において、ＣＲＦグラフ内のノードｘｉは、射線ｙによって与えられる２つの領域に対応することができる。そのような場合、ノードｘｉは多角形内の最大エリアをカバーする面に対応するラベルをとる。ＣＲＦモデルは、３次エネルギー関数Ｅとして表される。この３次エネルギー関数Ｅは、１変数項、２変数項及び３変数クリーク項を有する以下の形式の変数、特徴及びパラメーターを伴う。
【数１２】
2014220804.tif 000014
ここで、Ψ（ｉ，ａ）によって１変数ポテンシャルを表し、Ψ（ｉ，ｊ，ａ，ｂ）によって２変数ポテンシャルを表し、Ψ（ｉ，ｊ，ｋ，ａ，ｂ，ｃ）によって３変数クリークを表す。これらのポテンシャルは、結合点を用いて計算されるエネルギー関数内の特徴に対応する。１変数ポテンシャルは、ｘｉ＝ａのときに関数に加えられるコストに対応する。２変数項は、ｘｉ＝ａかつｘｊ＝ｂのときのコストを表す。同様にして、３変数クリークは、３つの変数が特殊なラベルをとるときのコストを表す。Ｔは、図８Ｃに示すように、高スコアの結合点に対応する入射ノードを表す３つ組｛ｉ，ｊ，ｋ｝からなる組である。
【００６２】
関数δｉａは、ｘｉ＝ａのとき１であり、そうでない場合に０であるクロネッカーのデルタ関数である。このエネルギー関数において学習するパラメーターはω＝｛ωｉ，ωｉｊ，ωｉｊｋ｝であり、トレーニングデータから求められる。以下のように、屋内シーン及び屋外シーンにおいて通常観察される結合点に対する考慮制約を用いてポテンシャルを構成する。
【００６３】
１変数ポテンシャル
Ｌ結合点、Ｔ結合点及びＸ結合点を用いて１変数項を構成する。全てのノードｘｉについて、多角形内部で特定された特殊なタイプの全ての結合点の累積和を求める。全ての面について、面の向きを考慮に入れる。例えば、中央壁はＺ平面上にわたる結合点のみから結合点スコアを得る。これは、結合点スコアを記憶する累算器に対するマスクを用いて求めることができる。
【００６４】
２変数ポテンシャル
図８Ｂは、ラインｐｑを共有する２つの隣接するノードｘｉ及びｘｊを示している。特殊なＹ結合点又はＷ結合点に対応するラインｐｑ上の点ｒが存在する場合、ノードｘｉ及びｘｊが異なるラベルをとることを促す。ラインｐｑ上のＹ結合点及びＷ結合点の結合点スコアを２変数ポテンシャルとして用いる。画像内の元のラインから到来する更なる２変数ポテンシャルも用いる。
【００６５】
ｐｑに適合する画像内のラインが存在するとき、ｘｉ及びｘｊを２つの面に分ける。これは、結合点を特定するために構成した累算器セルの差異から直接得ることができる。図８Ｂに示す例では、差異
【数１３】
2014220804.tif 000015
は、画像内の任意のラインのラインｐｑとの重なりの長さを与える。
【００６６】
３変数クリークポテンシャル
図８Ｃは、３つのノードｘｉ、ｘｊ及びｘｋと入射する点ｒを示している。この点が、図７Ｂに示すような角に対応するＹ結合点として特定される場合、この点と入射するレイアウトに、より高いスコアを割り当てる。このため、Ｙ結合点がｒと一致する場合、この結合点スコアを、３つの入射ノードに対する３変数クリークポテンシャルとして用いる。３つの入射ノードに事前確率を課すことによって、レイアウトが入射点を通過することを促すことができる。
【００６７】
１変数、２変数、及び３変数クリークポテンシャルを得た後、式（２）における本発明によるエネルギー関数は、Ｅ（ｘ，ω））＝ωＴΦ（Ψ，ｘ）として表すこともできる。ここで、Φ（Ψ，ｘ）はｘ及びΨから求めることができる線形ベクトルである。構造化されたＳＶＭを用いて重みパラメーターωを学習することができる。
【００６８】
用途
図９に示すように、シーン再構成は複数の用途で用いることができる。例えば、カメラは、最適な部屋の幾何学的形状、例えば直方体レイアウトの観点における部屋の実際の物理ボリュームを得るように既知の高さで、家電製品上に又は家電製品の近くに搭載される。監視用途では、最適レイアウトを用いてシーン内の人物を追跡する境界条件を提供する。レイアウトを用いて、部屋内のテレビ、音響機器等の娯楽ユニットを最適に位置合わせすることもできる。部屋のレイアウトを用いて、無線通信を介してロボット式清掃機器を誘導することができる。
【００６９】
さらに、部屋の幾何学的形状を用いて、以下のように室内空調機又はヒートポンプの１つ又は複数のフィードバック利得を求めることができる。空間から熱を取り除くように構成された蒸気圧縮システムを検討する。多くのタイプの蒸気圧縮機において、特に変速アクチュエーター（変速コンプレッサー及びファン）を有する蒸気圧縮機において、アクチュエーターに送信されるコマンドは、フィードバックコントローラーから決定される。フィードバック利得が低すぎるとき、アクチュエーターは低速に動き、したがって、室温はサーモスタットの設定点における変化に低速に応答する。フィードバック利得が高過ぎるとき、アクチュエーターは設定点の変化に過剰反応し、部屋を過剰に冷却させる場合がある。この過剰に冷却した部屋は不快である場合があり、更には空調機を暖房モードに（そのような機能が利用可能なシステムにおいて）切り替えさせ、空調機が冷房モードと暖房モードとに切り替わるリミットサイクルとなる場合がある。
【００７０】
したがって、応答が低速であるが安定した室温応答と、高速であるがリミットサイクルを引き起こす応答とのトレードオフの平衡をとるフィードバック利得を選択することが望ましい。従来から、空調機が配備される部屋の大きさが製造者によって事前に知られていないことに起因して、全ての予期される部屋の大きさの場合に安定する、控えめな（ｃｏｎｓｅｒｖａｔｉｖｅ）フィードバック利得の組が通常選択される。
【００７１】
しかしながら、単一ビュー再構成アルゴリズムを用いると、部屋内の空気の実際の物理ボリュームの推定値を得ることができる。室温応答は、空調機と相互作用する部屋内の空気のボリュームに依拠するので、最適な高速室温応答を与えると以前に判断された適切なフィードバック利得の組を選択する一方、依然として安定性を保持することができる。さらに、直方体レイアウトから直接求められる部屋の縦横比を用いて選択を精緻化し、例えば、空調機がすぐ近くの空気としか相互作用することができず、したがってより大きな利得を安全に選択することができる細長い部屋又は廊下の場合に、適切な利得を選択することができる。
【００７２】
カメラ１０３が暖房、換気及び空調ユニット９００の出口に、又はその付近にある場合、部屋に入る最適な空気流量を求めることができる。
【図１Ａ】
2014220804.tif 000016
【図１Ｂ】
2014220804.tif 000017
【図２】
2014220804.tif 000018
【図３】
2014220804.tif 000019
【図４Ａ】
2014220804.tif 000020
【図４Ｂ】
2014220804.tif 000021
【図４Ｃ】
2014220804.tif 000022
【図５Ａ】
2014220804.tif 000023
【図５Ｂ】
2014220804.tif 000024
【図６】
2014220804.tif 000025
【図７Ａ】
2014220804.tif 000026
【図７Ｂ】
2014220804.tif 000027
【図７Ｃ】
2014220804.tif 000028
【図８Ａ】
2014220804.tif 000029
【図８Ｂ】
2014220804.tif 000030
【図８Ｃ】
2014220804.tif 000031
【図９】
2014220804.tif 000032
【外国語明細書】
2014220804.tif 000033
2014220804.tif 000034
2014220804.tif 000035
2014220804.tif 000036
2014220804.tif 000037
2014220804.tif 000038
2014220804.tif 000039
2014220804.tif 000040
2014220804.tif 000041
2014220804.tif 000042
2014220804.tif 000043
2014220804.tif 000044
2014220804.tif 000045
2014220804.tif 000046
2014220804.tif 000047
2014220804.tif 000048
2014220804.tif 000049
2014220804.tif 000050
2014220804.tif 000051
2014220804.tif 000052
2014220804.tif 000053
2014220804.tif 000054
2014220804.tif 000055
2014220804.tif 000056
2014220804.tif 000057
2014220804.tif 000058
2014220804.tif 000059
2014220804.tif 000060
2014220804.tif 000061
2014220804.tif 000062
2014220804.tif 000063
2014220804.tif 000064
2014220804.tif 000065
2014220804.tif 000066
2014220804.tif 000067
2014220804.tif 000068
2014220804.tif 000069