(57)【特許請求の範囲】
【請求項１】
方法であって、
内部空間の３次元（３Ｄ）スキャンを実行するステップと、
前記３Ｄスキャンから生成された３Ｄグリッド内のボクセルにアクセスするステップとを含み、前記ボクセルは前記内部空間のボリュームの部分を表し、前記方法は、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するステップと、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップとをさらに含み、
前記２Ｄ距離グリッドを生成するステップは、前記内部空間の３Ｄスキャンを実行するステップと同時にリアルタイムで前記２Ｄ距離グリッドを生成するステップを含み、
前記３Ｄグリッド内のボクセルにアクセスするステップは、前の時間間隔において前記３Ｄスキャンを実行している間に修正されたボクセルのサブセットにアクセスするステップを含む、方法。
【請求項２】
前記ボクセルのサブセットにアクセスするステップは、前記前の時間間隔において修正された少なくとも１つのボクセルを含むボリューム内の予め定められた数のボクセルにアクセスするステップを含む、請求項１に記載の方法。
【請求項３】
前記２Ｄ距離グリッドを生成するステップは、前記修正されたボクセルのサブセットに対応付けられた前記２Ｄ距離グリッドの部分を、選択的に更新するステップと、前記前の時間間隔において修正されなかったボクセルの他のサブセットに対応付けられた前記２Ｄ距離グリッドの異なる部分の更新をバイパスするステップとを含む、請求項１に記載の方法。
【請求項４】
前記ボクセルにアクセスするステップは、前記内部空間のボリュームの対応する部分を含む観察の数を示す重みと、ボクセルに対応付けられた面に対する符号付き距離とを格納するボクセルにアクセスするステップを含む、請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記タイル上に前記ボクセルを投影するステップは、前記２Ｄ間取り図を含む平面に対して垂直である鉛直方向に沿って前記重みを合計することにより、前記タイルの２Ｄ重みを決定するステップを含む、請求項４に記載の方法。
【請求項６】
前記タイル上に前記ボクセルを投影するステップは、前記鉛直方向に沿うボクセルの前記重みおよび前記符号付き距離の積を合計することにより、前記タイルの重み付き２Ｄ符号付き距離を決定するステップを含む、請求項５に記載の方法。
【請求項７】
前記タイル上に前記ボクセルを投影するステップは、前記重み付き２Ｄ符号付き距離を、対応する前記タイルの２Ｄ重みによって正規化するステップを含む、請求項６に記載の方法。
【請求項８】
前記３Ｄグリッドから、上から見える最も高い面の高さと、下から見える最も低い面の高さと、鉛直帯における占有空間に対する自由空間の比率とのうちの少なくとも１つを抽出するステップをさらに含む、請求項１から７のいずれか１項に記載の方法。
【請求項９】
方法であって、
内部空間の３次元（３Ｄ）スキャンを実行するステップと、
前記３Ｄスキャンから生成された３Ｄグリッド内のボクセルにアクセスするステップとを含み、前記ボクセルは前記内部空間のボリュームの部分を表し、前記方法は、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するステップと、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップとをさらに含み、
前記２Ｄ距離グリッドを生成するステップは、
前記内部空間内の特徴を表すピクセルの値を生成するステップと、
マーチングスクエアアルゴリズムを用いて多角形化された間取り図の未加工バージョンを生成するステップとを含む、方法。
【請求項１０】
前記特徴は、壁、自由空間、家具、扉、および窓のうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項１１】
方法であって、
内部空間の３次元（３Ｄ）スキャンを実行するステップと、
前記３Ｄスキャンから生成された３Ｄグリッド内のボクセルにアクセスするステップとを含み、前記ボクセルは前記内部空間のボリュームの部分を表し、前記方法は、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するステップと、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップと、
前記２Ｄ距離グリッドの特徴を表すプリミティブのセットを特定するステップとをさらに含み、
前記プリミティブのセットを特定するステップは、前記プリミティブのセットに追加されたときにコスト関数を最小にするプリミティブを繰り返し選択するステップを含み、前記コスト関数は、前記プリミティブのセットが前記２Ｄ距離グリッドにどれほど良くマッチするかを示す、方法。
【請求項１２】
前記プリミティブは、直線、円、三角形、矩形、または別の多角形のうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項１３】
方法であって、
内部空間の３次元（３Ｄ）スキャンを実行するステップと、
前記３Ｄスキャンから生成された３Ｄグリッド内のボクセルにアクセスするステップとを含み、前記ボクセルは前記内部空間のボリュームの部分を表し、前記方法は、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するステップと、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップと、
前記３Ｄスキャンにおける特徴に基づいて前記内部空間の部分にラベルを割り当てるステップとをさらに含み、前記ラベルは部屋の種類を示す、方法。
【請求項１４】
畳み込みニューラルネットワーク（ＣＮＮ）を訓練することにより、前記内部空間の部分の前記３Ｄスキャンにおいて表された異なる種類の家具に基づいて、前記ラベルを割り当てるステップをさらに含み、前記ＣＮＮは、各ピクセルの色情報および深度情報を含む訓練画像のセットを用いて訓練される、請求項１３に記載の方法。
【請求項１５】
前記畳み込みニューラルネットワークを訓練するステップは、前記ＣＮＮを訓練することにより、バスルーム、寝室、居間、台所、執務室を示すラベルと、前記ＣＮＮが特定できない前記３Ｄスキャンの部分に対する未知ラベルとを含むラベルを割り当てるステップを含む、請求項１４に記載の方法。
【請求項１６】
前記３Ｄスキャンにおける特徴に基づいて前記ラベルが割り当てられた前記内部空間の部分に対応する前記２Ｄ距離グリッドの部分に、前記ラベルを対応付けることにより、ラベル付けされた２Ｄ距離グリッドを生成するステップをさらに含む、請求項１３に記載の方法。
【請求項１７】
電子デバイスであって、
内部空間の３Ｄスキャンを実行するように構成された撮像カメラおよび深度カメラと、
プロセッサとを備え、前記プロセッサは、
前記３Ｄスキャンに基づいて３次元（３Ｄ）グリッド内にボクセルを生成するように構成され、前記ボクセルは前記内部空間のボリュームの部分を表し、
前記プロセッサは、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するように構成され、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するように構成され、
前記撮像カメラおよび前記深度カメラが前記内部空間の３Ｄスキャンを実行するのと同時にリアルタイムで前記２Ｄ距離グリッドを生成するように構成され、
前記撮像カメラおよび前記深度カメラがある時間間隔において前記３Ｄスキャンを実行するのと同時に前記ボクセルのサブセットを修正するように構成される、電子デバイス。
【請求項１８】
電子デバイスであって、
内部空間の３Ｄスキャンを実行するように構成された撮像カメラおよび深度カメラと、
プロセッサとを備え、前記プロセッサは、
前記３Ｄスキャンに基づいて３次元（３Ｄ）グリッド内にボクセルを生成するように構成され、前記ボクセルは前記内部空間のボリュームの部分を表し、
前記プロセッサは、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するように構成され、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するように構成され、
前記撮像カメラおよび前記深度カメラが前記内部空間の３Ｄスキャンを実行するのと同時にリアルタイムで前記２Ｄ距離グリッドを生成するように構成され、
ボリューム内の予め定められた数のボクセルをグループ化するように構成され、
前の時間間隔において修正された少なくとも１つのボクセルを含むボリューム内のボクセルのサブセットに対応付けられた、前記２Ｄ距離グリッドの部分を、選択的に更新するように構成され、
前記前の時間間隔において修正された少なくとも１つのボクセルを含むボリューム内に存在しなかったボクセルの他のサブセットに対応付けられた、前記２Ｄ距離グリッドの異なる部分の更新をバイパスするように構成される、電子デバイス。
【請求項１９】
前記プロセッサは、前記内部空間のボリュームの対応する部分を含む観察の数を示す重みの値と、ボクセルに対応付けられた面に対する符号付き距離の値とを有するボクセルを生成するように構成される、請求項１７または１８に記載の電子デバイス。
【請求項２０】
前記プロセッサは、前記２Ｄ間取り図を含む平面に対して垂直である鉛直方向に沿って前記重みを合計することにより、前記タイルの２Ｄ重みを決定するように構成される、請求項１９に記載の電子デバイス。
【請求項２１】
前記プロセッサは、前記鉛直方向に沿うボクセルの前記重みおよび前記符号付き距離の積を合計することにより、前記タイルの重み付き２Ｄ符号付き距離を決定するように構成される、請求項２０に記載の電子デバイス。
【請求項２２】
前記プロセッサは、前記２Ｄ符号付き距離を、対応する前記タイルの２Ｄ重みによって正規化するように構成される、請求項２１に記載の電子デバイス。
【請求項２３】
前記プロセッサは、前記３Ｄグリッドから、上から見える最も高い面の高さと、下から見える最も低い面の高さと、鉛直帯における占有空間に対する自由空間の比率とのうちの少なくとも１つを抽出するように構成される、請求項１７から２２のいずれか１項に記載の電子デバイス。
【請求項２４】
電子デバイスであって、
内部空間の３Ｄスキャンを実行するように構成された撮像カメラおよび深度カメラと、
プロセッサとを備え、前記プロセッサは、
前記３Ｄスキャンに基づいて３次元（３Ｄ）グリッド内にボクセルを生成するように構成され、前記ボクセルは前記内部空間のボリュームの部分を表し、
前記プロセッサは、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するように構成され、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するように構成され、
前記内部空間内の特徴を表すピクセルの値を生成するように構成され、
前記２Ｄ距離グリッドの特徴を表すプリミティブのセットを特定するように構成され、
前記プリミティブのセットに追加されたときにコスト関数を最小にするプリミティブを繰り返し選択するように構成され、前記コスト関数は、前記プリミティブのセットが前記２Ｄ距離グリッドにどれほど良くマッチするかを示す、電子デバイス。
【請求項２５】
前記特徴は、壁、自由空間、家具、扉、および窓のうちの少なくとも１つを含む、請求項２４に記載の電子デバイス。
【請求項２６】
前記プリミティブは、直線、円、三角形、矩形、または別の多角形のうちの少なくとも１つを含む、請求項２４に記載の電子デバイス。
【請求項２７】
電子デバイスであって、
内部空間の３Ｄスキャンを実行するように構成された撮像カメラおよび深度カメラと、
プロセッサとを備え、前記プロセッサは、
前記３Ｄスキャンに基づいて３次元（３Ｄ）グリッド内にボクセルを生成するように構成され、前記ボクセルは前記内部空間のボリュームの部分を表し、
前記プロセッサは、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するように構成され、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するように構成され、
前記３Ｄスキャンにおける特徴に基づいて前記内部空間の部分にラベルを割り当てるように構成され、前記ラベルは部屋の種類を示す、電子デバイス。
【請求項２８】
前記プロセッサは、畳み込みニューラルネットワーク（ＣＮＮ）に基づいてラベルを割り当てるように構成され、前記ＣＮＮは、前記内部空間の部分の前記３Ｄスキャンにおいて表された異なる種類の家具に基づいて前記ラベルを割り当てるように訓練され、前記ＣＮＮは、各ピクセルの色情報および深度情報を含む訓練画像のセットを用いて訓練される、請求項２７に記載の電子デバイス。
【請求項２９】
前記ＣＮＮは、バスルーム、寝室、居間、台所、執務室を示すラベルと、前記ＣＮＮが特定できない前記３Ｄスキャンの部分に対する未知ラベルとを含むラベルを割り当てるように訓練される、請求項２８に記載の電子デバイス。
【請求項３０】
前記プロセッサは、前記３Ｄスキャンにおける特徴に基づいてラベルが割り当てられた前記内部空間の部分に対応する前記２Ｄ距離グリッドの部分に、前記ラベルを対応付けることにより、ラベル付けされた２Ｄ距離グリッドを生成するように構成される、請求項２７に記載の電子デバイス。
【請求項３１】
方法であって、
３次元（３Ｄ）グリッド内のボクセルを２次元（２Ｄ）間取り図内のタイル上に投影するステップを含み、前記ボクセルは内部空間の３Ｄスキャンから生成され、前記ボクセルを投影するステップは前記３Ｄスキャンの実行と同時に実行され、前記方法は、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップと、
前記２Ｄ距離グリッドを表すプリミティブのセットを特定するステップとをさらに含み、
前記３Ｄスキャンの実行と同時に前記ボクセルを前記タイル上に投影するステップは、
前記３Ｄスキャンの実行と同時に、取得した前記ボクセルの値を前記タイル上に投影することにより、以前に取得したボクセルの値を修正するかまたは新たなボクセルの値を取得するステップを含む、方法。
【請求項３２】
前記ボクセルは、予め定められた数のボクセルを含むボリュームにグループ分けされ、前記２Ｄ距離グリッドを生成するステップは、前記３Ｄスキャンの実行によって以前に修正された値を有する少なくとも１つのボクセルを含むボリュームに対応付けられたタイルのサブセットを修正するステップを含む、請求項３１に記載の方法。
【請求項３３】
方法であって、
３次元（３Ｄ）グリッド内のボクセルを２次元（２Ｄ）間取り図内のタイル上に投影するステップを含み、前記ボクセルは内部空間の３Ｄスキャンから生成され、前記ボクセルを投影するステップは前記３Ｄスキャンの実行と同時に実行され、前記方法は、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップと、
前記２Ｄ距離グリッドを表すプリミティブのセットを特定するステップとをさらに含み、
前記プリミティブのセットを特定するステップは、前記プリミティブのセットに追加されたときにコスト関数を最小にするプリミティブを繰り返し選択するステップを含み、前記コスト関数は、前記プリミティブのセットが前記２Ｄ距離グリッドにどれほど良くマッチするかを示す、方法。
【請求項３４】
方法であって、
３次元（３Ｄ）グリッド内のボクセルを２次元（２Ｄ）間取り図内のタイル上に投影するステップを含み、前記ボクセルは内部空間の３Ｄスキャンから生成され、前記ボクセルを投影するステップは前記３Ｄスキャンの実行と同時に実行され、前記方法は、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップと、
前記２Ｄ距離グリッドを表すプリミティブのセットを特定するステップと、
前記３Ｄスキャンにおける特徴に基づいて前記プリミティブのセットのサブセットにラベル付けするステップとをさらに含み、前記ラベルは部屋の種類を示す、方法。
【請求項３５】
方法であって、
内部空間の３次元（３Ｄ）スキャンを実行するステップと、
前記３Ｄスキャンから生成された３Ｄグリッド内のボクセルにアクセスするステップとを含み、前記ボクセルは前記内部空間のボリュームの部分を表し、前記方法は、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するステップと、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するステップとをさらに含み、
各ボクセルは第１の値と第２の値とを格納し、前記第１の値は重みであり、前記第２の値は、前記各ボクセルに対応付けられた面に対する符号付き距離であり、前記重みは、前記各ボクセルによって表されるボリュームを含む、ユーザ機器が取得した観察の数であり、
前記２Ｄ距離グリッド内のピクセルの値は、前記内部空間内の特徴を表し、
前記方法は、
前記２Ｄ距離グリッドから、重み付き勾配方位のヒストグラムを生成するステップと、
前記ヒストグラムにおける極大値を決定するステップとをさらに含み、最大値の予め定められたパーセンテージよりも大きい極大値が、前記２Ｄ距離グリッドの主方位として選択され、
前記方法は、前記２Ｄ距離グリッドの特徴を表すプリミティブのセットを特定するステップをさらに含む、方法。
【請求項３６】
電子デバイスであって、
内部空間の３Ｄスキャンを実行するように構成された撮像カメラおよび深度カメラと、
プロセッサとを備え、前記プロセッサは、
前記３Ｄスキャンに基づいて３次元（３Ｄ）グリッド内にボクセルを生成するように構成され、前記ボクセルは前記内部空間のボリュームの部分を表し、
前記プロセッサは、
前記内部空間の２次元（２Ｄ）間取り図内のタイル上に前記ボクセルを投影するように構成され、
前記タイルに基づいて、前記内部空間内の特徴を表す２Ｄ距離グリッドを生成するように構成され、
各ボクセルは第１の値と第２の値とを格納し、前記第１の値は重みであり、前記第２の値は、前記各ボクセルに対応付けられた面に対する符号付き距離であり、前記重みは、前記各ボクセルによって表されるボリュームを含む、ユーザ機器が取得した観察の数であり、
前記２Ｄ距離グリッド内のピクセルの値は、前記内部空間内の特徴を表し、
前記プロセッサは、前記２Ｄ距離グリッドから、重み付き勾配方位のヒストグラムを生成するように構成され、
前記プロセッサは、前記ヒストグラムにおける極大値を決定するように構成され、最大値の予め定められたパーセンテージよりも大きい極大値が、前記２Ｄ距離グリッドの主方位として選択され、
前記プロセッサは、前記２Ｄ距離グリッドの特徴を表すプリミティブのセットを特定するように構成される、電子デバイス。
【請求項３７】
請求項１から１６および３１から３５のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【背景技術】
【０００１】
背景
建築物、住宅、またはアパートの２次元（２Ｄ）間取り図は、対応する構造物の有益な表現である。たとえば、家または建築物を購入する可能性がある人、アパートを借りる可能性がある人、内部空間の模様替えを計画しているインテリアデザイナー、構造物の修繕に関わる建築家などに対し、部屋のレイアウトを説明するために、２Ｄ間取り図は用いられる。内部空間の３次元（３Ｄ）形状をスキャンするのに利用できるシステムはあるものの、２Ｄ間取り図を生成する従来のプロセスは人間による介入を必要とする。たとえば、典型的に、製図者は、スキャンされた３Ｄ形状に基づいて２Ｄ建築間取り図を描かねばならない。さらに、３Ｄスキャンを実行するための市販のシステムは比較的高価であり、スキャンプロセスは時間および労働集約型である。たとえば、従来の３Ｄスキャンシステムは、三脚の上に装着された検出器を使用するが、これはスキャン対象の構造物内のいくつかの捕捉位置に移動させなければならない。典型的に、各捕捉位置におけるスキャン時間は数分以上である。移動３Ｄスキャンは、携帯電話に深度カメラを追加して構造物の３Ｄ形状を取り込むことによって実現できる。しかしながら、この手法も、手作業で３Ｄ形状から２Ｄ間取り図を抽出する必要がある。結果として、最新の間取り図は、大抵の建築物、住宅、およびアパートには利用できない。
【０００２】
添付の図面の参照により、本開示はより良く理解され、その数多くの特徴および利点が当業者には明らかになるであろう。各種図面において同一の参照符号の使用は同様または同一のアイテムを示す。
【図面の簡単な説明】
【０００３】
【図１】いくつかの実施形態に係る、内部空間およびこの内部空間の３次元（３Ｄ）スキャンを実行する電子デバイスの図である。
【図２】いくつかの実施形態に係る、タブレットフォームファクタの電子デバイスの実装例の正面平面図の一例を示す。
【図３】いくつかの実施形態に係る、タブレットフォームファクタの電子デバイスの実装例の背面平面図の一例を示す。
【図４】本開示の少なくとも１つの実施形態に係る、図２および図３の平面図に示される線に沿う電子デバイスの断面図の一例を示す。
【図５】いくつかの実施形態に係る、アパートまたは住宅のような建築物の内部空間を上から見た図を示す。
【図６】いくつかの実施形態に係る、内部空間を表す３Ｄグリッドの一部のブロック図である。
【図７】いくつかの実施形態に係る、内部空間内の壁、自由空間、および家具を表す２次元（２Ｄ）距離グリッドの図である。
【図８】いくつかの実施形態に係る、内部空間の間取り図を表す一組の多角形を生成する方法を示す図である。
【図９】いくつかの実施形態に係る、内部空間を表す３Ｄグリッドの一部のブロック図である。
【図１０】いくつかの実施形態に係る、複数の主方位を含む内部空間を上から見た図を示す。
【図１１】いくつかの実施形態に係る、２Ｄ距離グリッドの異なる方位に対応する重みのヒストグラムの図である。
【図１２】いくつかの実施形態に係る、複数の主方位を有する内部空間の２Ｄ距離グリッドに基づいて生成されたプリミティブのセットを示す図である。
【図１３】いくつかの実施形態に係る、ボクセルからなる３Ｄグリッドから２Ｄ間取り図を生成する方法のフロー図である。
【図１４】いくつかの実施形態に係る、２Ｄ距離グリッドを表すプリミティブのセットを繰り返し選択する方法のフロー図である。
【図１５】いくつかの実施形態に係る、３Ｄボクセルの値を鉛直投影することによって２Ｄ間取り図を生成するように構成された電子デバイスのブロック図である。
【図１６】いくつかの実施形態に係る、各種家具を含む建築物の内部空間を上から見た図を示す。
【図１７】いくつかの実施形態に係る、内部空間の部分に位置する家具に基づいて内部空間の部分にラベル付けするように訓練された畳み込みニューラルネットワーク（ＣＮＮ）のブロック図である。
【図１８】いくつかの実施形態に係る、ＣＮＮに対する入力として与えられる、１つのタイルと、重なり合うタイルのセットとを示すブロック図である。
【図１９】いくつかの実施形態に係る、内部空間の輪郭上に重畳されたラベル付けされたタイルのマップのブロック図である。
【図２０】いくつかの実施形態に係る、内部空間の間取り図の部分にラベル付けする方法のフロー図である。
【図２１】いくつかの実施形態に係る、ラベル付けされた２Ｄ間取り図を示す図である。
【発明を実施するための形態】
【０００４】
詳細な説明
構造物の２Ｄ間取り図は、この構造物で囲まれたボリュームを表す３Ｄグリッド内のボクセルの鉛直投影を用いて生成される。いくつかの実施形態において、３Ｄグリッドは、２Ｄカメラおよび深度カメラを実装する携帯電話の３Ｄスキャンアプリケーションを用いて得られる。ボクセルは、ボクセルの空間位置と、ボクセルの空間的広がりと、ボクセルの観察回数（または情報の重み）と、ボクセルに最も近い面までの推定符号付き距離とを含む情報を蓄積する。スキャンされたボリュームを表す、複数の３角形からなる３Ｄメッシュが、ボクセルの値に基づいて生成される（または抽出される）。２Ｄ間取り図内の２Ｄタイル上にボクセルを鉛直投影することは、鉛直方向に沿うボクセルの重みを合計することにより、このタイルの２Ｄ重みを求めることと、鉛直方向に沿う符号付き距離の加重合計を求めることにより、このタイルの２Ｄ符号付き距離を求めることとを含む。いくつかの実施形態において、上から見える最も高い面の高さ、下から見える最も低い面の高さ、鉛直帯における占有空間に対する自由空間の比率などのような追加の特徴が、３Ｄ表現から抽出される。タイルの２Ｄ重みおよび２Ｄ符号付き距離を用いることにより、構造体の内部の、壁、自由空間、家具、扉、窓などのような特徴を表す、２Ｄ距離グリッドを生成する。場合によっては、２Ｄ距離グリッドは、間取り図内の特徴を表す多角形に変換される。
【０００５】
２Ｄ間取り図のリアルタイム生成は、３Ｄグリッドを、予め定められた数のボクセルを含む一組のボリューム、たとえば１６×１６×１６ボクセルからなるボリュームに細分化することによって支援される。システムは、構造物の新たな深度画像の取得に応じて影響を受けたボリュームを特定する。影響を受けたボリューム内のボクセルの値のみが更新され、対応する３Ｄメッシュが再度抽出される。２Ｄ間取り図内のタイルのサブセットが、タイルのサブセットに鉛直投影されたボクセルを含む、対応するボリュームに対応付けられる。２Ｄ間取り図は、タイルのサブセットに対応付けられた各鉛直カラム内の１つ以上のボリュームが更新されたか否かを判断することにより、更新される。そうであれば、タイルのサブセットを含む２Ｄ間取り図の一部が再計算され、対応する多角形（または部分多角形）が抽出される。２Ｄ間取り図内のノイズは、直線、矩形、三角形、円、多角形などのような、一連のプリミティブとして間取り図を表現することによって減じられる。プリミティブは、自由空間、壁、未知のもののようなセマンティッククラス、および、家具、扉、窓などを含み得るその他のクラスに対応付けられる。プリミティブは、任意の方向に向けることができる。反復プロセスを用いて、一組のプリミティブおよび方位のコスト関数を最小にすることにより、２Ｄ間取り図を近似する、一連のプリミティブと対応する方位とを見出す。
【０００６】
図１は、いくつかの実施形態に係る、内部空間１００と、内部空間１００の３Ｄスキャンを実行する電子デバイス１１０との図である。内部空間１００は、家具（たとえば書棚１０１）、壁１０２、１０３、扉１０４、および窓１０５のような特徴を含むボリュームを囲んでいる。内部空間１００のいくつかの実施形態は、内部空間１００の内部に配置された、他の部屋、他の種類の家具、および他の各種物体を含む。
【０００７】
電子デバイス１１０は、本開示の少なくとも１つの実施形態に係る、画像および非画像センサデータを用いて、同時位置推定およびマッピング（simultaneous localization and mapping）（ＳＬＡＭ）または拡張現実（augmented reality）（ＡＲ）のような位置ベースの機能性をサポートするように構成されている。電子デバイス１１０は、タブレットコンピュータ、コンピューティング可能な携帯電話（たとえば「スマートフォン」）、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、ゲームシステム用リモコン、テレビ用リモコン、ＡＲ／ＶＲヘッドセットなどのような、ポータブルユーザデバイスを含み得る。その他の実施形態において、電子デバイス１１０は、真空掃除ロボットのようなパーソナルサービスロボット、医療用撮像機器、セキュリティ撮像カメラシステム、産業用ロボット制御システム、ドローン制御システム、３Ｄスキャン装置などのような、固定デバイスを含む。説明し易くするために、電子デバイス１１０は本明細書において概してタブレットコンピュータまたはスマートフォンのようなポータブルユーザデバイスの文脈例で説明するが、電子デバイス１１０はこれらの実装例に限定される訳ではない。
【０００８】
電子デバイス１１０は、内部空間１００に関する情報を取得するために複数のセンサを含む。電子デバイス１１０は、前方を向く面に配置された撮像カメラおよび深度センサ、また、いくつかの実施形態ではユーザに対向する面に配置された撮像カメラを介して、内部空間１００の視覚情報（像）を取得する。本明細書に記載のように、撮像カメラおよび深度センサは、内部空間１００の環境の３Ｄスキャンを実行するために使用される。いくつかの実施形態において、電子デバイス１１０を保持しているユーザは、矢印１１５、１２０で示されるように内部空間１００の中で移動する。撮像カメラおよび深度センサが画像を取り込み内部空間１００の部分の深度を検知することができるように、ユーザは、点線の楕円１２５で示されるように電子デバイス１１０の方位を定める。次に、取り込まれた画像および対応する深度は、内部空間１００の３Ｄグリッド表現および内部空間１００の２Ｄ間取り図の生成において後に使用するために、電子デバイス１１０によって格納される。
【０００９】
電子デバイス１１０のいくつかの実施形態は、位置／方位の検出において、非画像情報に依拠する。この非画像情報は、電子デバイス１１０によって、ジャイロスコープまたは周囲光センサのような１つ以上の非画像センサ（図１には示されていない）を介して取得することができる。また、非画像センサは、キーパッド（たとえばタッチスクリーンまたはキーボード）、マイク、マウスなどのような、ユーザインターフェイスコンポーネントを含み得る。特定の時点における電子デバイス１１０の状態を表す非画像センサ情報は、その時点における当該電子デバイスの「現在のコンテキスト」と呼ばれる。この現在のコンテキストは、電子デバイス１１０の相対的な回転の方位または電子デバイス１１０に入射するローカル環境からの周囲光のような、明示的コンテキストを含み得る。たとえば、現在のコンテキストは、内部空間１００の内部の電子デバイス１１０の３Ｄ座標、ならびに、ピッチ、ロール、およびヨーのような電子デバイス１１０の回転座標を示す、電子デバイス１１０の６自由度（６ＤｏＦ）姿勢を含み得る。また、現在のコンテキストは、カレンダー情報もしくはクロック情報から推定される情報、または、ユーザと電子デバイス１１０とのやり取りから推定される情報のような、暗示的コンテキスト情報を含み得る。
【００１０】
動作時、電子デバイス１１０は、画像センサデータと非画像センサデータとを用いて、電子デバイス１１０の相対的な位置／方位、すなわち、内部空間１００に対する相対的な位置／方位を決定する。少なくとも１つの実施形態において、相対的な位置／方位の決定は、撮像カメラのうちの１つ以上によって取り込まれた画像データにおける空間的特徴の検出と、検出した空間的特徴に対する電子デバイス１１０の相対的な位置／方位の決定とに基づく。ジャイロスコープ、磁力計、周囲光センサ、キーパッド、マイクなどから得られる測定値のような、非画像センサデータも、現在の位置／方位にある電子デバイス１１０によって収集される。
【００１１】
電子デバイス１１０のいくつかの実施形態は、電子デバイス１１０の相対的な位置／方位と、電子デバイス１１０の姿勢と、画像センサデータと、深度センサデータとを組み合わせることにより、内部空間１００と、書棚１０１、壁１０２、１０３、扉１０４、および窓１０５を含む内部空間１００の内部の特徴とを表す、ボクセルからなる３Ｄグリッドを生成する。各ボクセルは、内部空間１００によって囲まれたボリュームの部分を表す。ボクセルは、内部空間１００のボリュームの対応する部分を含む観察の数を示す重みの値と、ボクセルに対応付けられた面に対する符号付き距離の値とを含む。
【００１２】
電子デバイス１１０は、内部空間１００の床の平面内に３Ｄグリッドを鉛直投影することにより、内部空間１００を表す２Ｄ距離グリッドを生成することができる。示されている実施形態において、２Ｄ距離グリッドは、内部空間１００の間取り図における書棚１０１および壁１０２、１０３の位置を示す。２Ｄ距離グリッドは、扉１０４、窓１０５、および内部空間１００内の他の物体または特徴を示す情報も、含み得る。電子デバイス１１０のいくつかの実施形態は、たとえば、前の時間間隔において電子デバイス１１０が３Ｄスキャンを実行していた間に修正されたボクセルのサブセットにアクセスすることにより、内部空間１００の３Ｄスキャンの実行と同時に２Ｄ距離グリッドを生成する。２Ｄグリッド内のノイズは、内部空間１００の２Ｄ間取り図を、直線、円、三角形、矩形、またはその他の多角形のような、プリミティブのセットとして表すことによって、減じられる。したがって、電子デバイス１１０のいくつかの実施形態は、内部空間１００を表すために用いられるプリミティブのセットにプリミティブを追加するときにコスト関数を最小にするプリミティブを繰り返し選択することができる。本明細書に記載のコスト関数は、プリミティブのセットが２Ｄ距離グリッドとどれほど良くマッチしているかを示す。
【００１３】
図２および図３は、いくつかの実施形態に係る、タブレットフォームファクタの電子デバイス１１０の実装例の正面平面図および背面平面図の一例を示す。電子デバイス１１０は、示されているものと類似する構成を実現する、スマートフォンフォームファクタ、医療用撮像装置フォームファクタなどのような、その他のフォームファクタで実現されてもよい。
【００１４】
図２の正面平面図２００によって示されるように、電子デバイス１１０は、ユーザに対向する面２０８に配置されたキーパッドのタッチキー２０２、２０４、および２０６のような、１つ以上のユーザインターフェイスコンポーネントを含み得る。また、電子デバイス１１０はディスプレイ２１０を含む。ディスプレイ２１０のいくつかの実施形態は、ユーザがディスプレイ２１０とのやり取りを通して入力および制御することを容易にするために、タッチスクリーンディスプレイとして実現される。示されている実施形態において、電子デバイス１１０は、ユーザに対向する撮像カメラ２１２をさらに含む。撮像カメラ２１２を用いて、面２０８に対向しているローカル環境の画像データを取り込むことができる。さらに、いくつかの実施形態において、撮像カメラ２１２は、頭部の移動を追跡するためまたは顔認識のために構成され、したがって、ディスプレイ２１０を介して提示される像の視野遠近感を調整するのに使用し得る頭部追跡情報を提供する。
【００１５】
図３の背面平面図によって示されるように、電子デバイス１１０は、前方を向く面３１０に配置された、広視野撮像カメラ３０２と、狭視野撮像カメラ３０４と、変調光プロジェクタ３０６とを含む。
【００１６】
１つの実施形態において、撮像カメラ３０２は、面３１０に対向するローカル環境のより広い角度の視野を提供するために魚眼レンズまたはその他の広角レンズを有する広角撮像カメラとして実現される。撮像カメラ３０４は、面３１０に対向するローカル環境のより狭い角度の視野を提供するために典型的な角度のビューレンズを有する狭角撮像カメラとして実現される。したがって、撮像カメラ３０２および撮像カメラ３０４をそれぞれ、本明細書では「広角撮像カメラ３０２」および「狭角撮像カメラ３０４」とも呼ぶ。以下でより詳細に説明するように、広角撮像カメラ３０２および狭角撮像カメラ３０４を、それぞれの視野が、電子デバイス１１０から特定距離の場所から重なることにより、マルチビュー画像解析を通して、視野が重なる領域に配置されたローカル環境内の物体の深度検知を可能にするように、前方を向く面３１０上に配置しその向きを定めることができる。
【００１７】
電子デバイス１１０に実装される深度センサのいくつかの実施形態は、変調光プロジェクタ３０６を用いて、変調光パターンを、前方を向く面３１０からローカル環境内に投影し、撮像カメラ３０２、３０４のうちの一方または双方を用いて、変調光パターンがローカル環境内の物体から反射するときにその反射を取り込む。これらの変調光パターンは、空間変調光パターンか時間変調光パターンのいずれかとすることができる。取り込まれた、変調光パターンの反射を、本明細書では「深度像」と呼ぶ。深度センサは、物体の深度、すなわち、電子デバイス１１０から物体までの距離を、深度像の解析に基づいて計算する。結果として深度センサから得られた深度データを用いて、撮像レンズ３０２、３０４が取り込んだ画像データのマルチビュー解析（たとえば立体解析）から得られた深度情報を、較正するかそうでなければ増すことができる。これに代えて、深度センサからの深度データを、マルチビュー解析から得られる深度情報の代わりに使用してもよい。例を挙げると、マルチビュー解析は典型的に、明るい照明条件および物体が比較的遠い場合により適しており、一方、変調光に基づく深度検知は、より低い光条件または観察される対象物が比較的近い場合（たとえば４〜５メートル以内）に、より適している。このように、電子デバイス１１０が、屋外であること、そうでなければ比較的良好な照明条件であることを検知した場合、電子デバイス１１０は、物体の深度を決定するためにマルチビュー解析を使用することを選択してもよい。逆に、電子デバイス１１０が、屋内であること、そうでなければ比較的悪い照明条件であることを検知した場合、電子デバイス１１０は、深度センサを介して変調光に基づく深度検知を用いるように切り替えてもよい。
【００１８】
図２および図３は、図４の断面図の一例の便宜を図って、直線に沿って並んだ撮像カメラ２１２、３０２、および３０４ならびに変調光プロジェクタ３０６を示しているが、撮像カメラ２１２、３０２、および３０４ならびに変調光プロジェクタ３０６は、相互にずらされていてもよい。たとえば、変調光プロジェクタ３０６は、撮像カメラ３０２と３０４との間に延びる線からずれるように配置されてもよい、または、変調光プロジェクタ３０６および広角撮像カメラ３０２が電子デバイス１１０の上端に並行な線に沿って配置され狭角撮像カメラ３０４がこの線からずれた位置に配置されてもよい。加えて、変調光プロジェクタ３０６は撮像カメラ３０２と３０４との間に位置するものとして示されているが、他の実装例において変調光プロジェクタ３０６は撮像カメラ３０２および３０４のうちの一方の外側に配置されてもよい。
【００１９】
図４は、本開示の少なくとも１つの実施形態に係る、図２および図３の平面図に示された線２１５に沿う、電子デバイス１１０の断面図の一例４００を示す。示されているように、電子デバイス１１０は、ユーザに対向する面２０８の開口４０２またはその他の穴に配置されたユーザに対向する撮像カメラ２１２を含むとともに、前方を向く面３１０の開口４０４および４０６またはその他の穴にそれぞれ配置された広角撮像カメラ３０２および狭角撮像カメラ３０４を含む。広角撮像カメラ３０２は、画像センサ４０８と、画像センサ４０８の検知面の上に配置された１つ以上のレンズ４１０とを含む。狭角撮像カメラ３０４は、画像センサ４１２と、画像センサ４１２の検知面の上に配置された１つ以上のレンズ４１４とを含む。同様に、ユーザに対向する撮像カメラ２１２は、画像センサ４１６と、画像センサ４１６の検知面の上に配置された１つ以上のレンズ４１８とを含む。
【００２０】
各撮像カメラに対して実装されるレンズの種類は、当該撮像カメラの意図された機能に応じて決まる。ある実施形態において、前方を向く撮像カメラ３０２はローカル環境を解析するためのマシンビジョン向けの像を意図しているので、レンズ４１０は、たとえば、画角が１６０〜１８０度の間で周知の高ひずみを伴う広角レンズまたは魚眼レンズとして実装することができる。ある実施形態において、前方を向く撮像カメラ３０４はユーザが開始する画像の取り込みを支援し、よって、前方を向く撮像カメラ３０４のレンズ４１４は、たとえば水平方向において画角が８０〜９０度の間である狭角レンズとして実装することができる。なお、これらの画角は例示にすぎない。ユーザに対向するカメラ２１２も同様に、ローカル環境の撮像または頭部の追跡の支援に加えてその他の用途を有し得る。たとえば、ユーザに対向する撮像カメラ２１２は、電子デバイス１１０のビデオ会議機能を支援するためにも使用することができる。よって、用途に応じて、ユーザに対向する撮像カメラ２１２のレンズ４１８を、狭角レンズ、広角レンズ、または魚眼レンズとして実装することができる。
【００２１】
撮像カメラ２１２、３０２、および３０４それぞれの画像センサ４０８、４１２、および４１６は、電荷結合素子（ＣＣＤ）ベースのセンサ、相補型金属酸化物半導体（ＣＭＯＳ）アクティブピクセルセンサなどとして実装することができる。ＣＭＯＳベースの実装例において、画像センサはローリングシャッターセンサを含み得る。その場合、画像センサのピクセルセンサの１つ以上の行からなるグループが読み出される一方で、画像センサ上のその他すべての行は引き続き露光される。この手法の利点は、露光時間がより長いまたは利用できる感光領域がより多いのでより高い感度を提供するという点であるが、その欠点は、フレーム内に取り込まれた高速の物体を原因とするひずみが生じる点である。ひずみの効果は、グローバルリセット機構をローリングシャッターに実装してセンサ上のすべてのピクセルが行ごとにではなく同時に電荷を収集し始めるようにすることにより、最小にすることができる。ＣＣＤベースの実装例において、画像センサをグローバルシャッターセンサとして実装することができ、その場合、センサのすべてのピクセルが同時に露光されその後シールド領域に送られ、これを、次の画像フレームが露光されている間に読み出すことができる。この手法の利点は、ひずみが生じにくい点であるが、ピクセル当たり追加のエレクトロニクスが必要となるので下側の感度は概ね低くなる。
【００２２】
いくつかの実施形態において、広角撮像カメラ３０２および狭角撮像カメラ３０４の視野は、領域４２０において重なり合い、よって、領域４２０内のローカル環境における物体は、広角撮像カメラ３０２によって取り込まれた画像フレームの中と、狭角撮像カメラ３０４によって同時に取り込まれた画像フレームの中との両方において表され、そのため、領域４２０内の物体の深度を、電子デバイス１１０が、２つの同時画像フレームのマルチビュー解析により、決定することができる。このため、前方を向く撮像カメラ３０２および３０４は、電子デバイス１１０に対し、領域４２０が意図される距離範囲および掃引をカバーするように、前方を向く面３１０に配置される。加えて、マルチビュー解析は視差現象に依拠しているので、前方を向く撮像カメラ３０２および３０４を、十分に離すことにより、マルチビュー解析に対して適切な視差を提供する。
【００２３】
断面図４００には、変調光プロジェクタ３０６のさまざまな位置の例も示されている。変調光プロジェクタ３０６は、赤外変調光パターン４２４を、面３１０に対して概ね垂直の方向に投影し、前方を向く撮像カメラ３０２および３０４のうちの一方または双方を利用して、投影された光パターン４２４の反射を取り込む。示されている例において、変調光プロジェクタ３０６は、前方を向く面３１０において撮像カメラ３０２と３０４との間の位置に配置されている。その他の実施形態において、変調光プロジェクタ３０６は、撮像カメラのうちの一方と筐体の端との間、たとえば、広角撮像カメラ３０２と筐体の側面との間の位置４２２に、または、狭角撮像カメラ３０４と筐体の側面との間の位置（図示せず）に、配置することができる。
【００２４】
図５は、いくつかの実施形態に係る、アパートまたは住宅のような建築物の内部空間を上から見た図５００を示す。図１に示される内部空間１００のいくつかの実施形態は、上から見た図５００の一部分に対応する。ユーザ機器５０５を保持しているユーザが、内部空間の中で経路５１０に沿って移動する。ユーザ機器５０５は、図１、図２、および図３に示される電子デバイス１１０のいくつかの実施形態を用いて実現される。ユーザは、経路５１０に沿って移動しながら、壁５１５（明瞭にするために１つの壁のみが参照番号で示されている）、家具（明瞭にするために図５には示されていない）、または内部空間内のその他の特徴のような、内部空間の各種特徴に、ユーザ機器５０５を向ける。
【００２５】
ユーザ機器５０５は、内部空間の３Ｄスキャン中に収集された画像および深度値を用いて、内部空間を表す３Ｄグリッドを生成する。ユーザ機器のいくつかの実施形態は、３Ｄ縮小符号付き距離関数（truncated signed distance function）（ＴＳＤＦ）グリッドを生成することにより、内部空間を表す。たとえば、ユーザ機器５０５は、視覚慣性オドメトリ（visual-inertial odometry）（ＶＩＯ）または同時オドメトリマッピング（concurrent odometry and mapping）（ＣＯＭ）を用いて、カメラ姿勢をリアルタイムで推定することができる。次に、深度画像を用いることにより、内部空間の特徴を表す３ＤボリュームＴＳＤＦグリッドを構築する。３Ｄ  ＴＳＤＦグリッドを生成する技術は、当該技術において周知であり、明瞭にするために本明細書ではこれ以上説明しない。いくつかの実施形態において、３Ｄ  ＴＳＤＦグリッドは、ユーザ機器５０５によって取得された各深度画像に応じて更新される。これに代わるものとして、３Ｄ  ＴＳＤＦグリッドは、予め定められた数の深度画像を取得したことに応じて、または、予め定められた時間間隔が経過したことに応じて、更新される。３Ｄ三角メッシュが、たとえばマーチングキューブアルゴリズムを用いて、３Ｄ  ＴＳＤＦグリッドから抽出される。
【００２６】
３Ｄ  ＴＳＤＦグリッドは、特定の辺の長さ、たとえば２センチメートル（ｃｍ）を有する、サイズが等しいボクセルで構成される。各ボクセルは、２つの値、すなわち、ボクセルによって表されるボリュームを含む、ユーザ機器５０５によって取得された観察の数（重み）と、壁５１５の面のような対応する面までの推定符号付き距離とを格納する。ボクセルを鉛直方向に投影することにより、３Ｄ  ＴＳＤＦグリッドから２Ｄ距離グリッドが生成される。いくつかの実施形態において、鉛直投影は、鉛直方向における重み（weight）および符号付き距離（distance）を平均することによって行われる。たとえば、鉛直方向の平均は次のように計算できる。
【００２７】
【数１】
0006907325.tif 000002
【００２８】
この例において、２Ｄ間取り図はｘ−ｙ平面にあり、鉛直投影はｚ方向に沿う。示されている実施形態において、２Ｄ符号付き距離は、３Ｄ  ＴＳＤＦグリッドから抽出された３Ｄ重みを２Ｄ重みで除算することによって正規化される。
【００２９】
ユーザ機器５０５のいくつかの実施形態は、３Ｄ  ＴＳＤＦグリッドから他の特徴を抽出するように構成される。たとえば、ユーザ機器５０５は、上から見えた最も高い面（highest surface that was visible from above）の高さの値を抽出することができる。
【００３０】
【数２】
0006907325.tif 000003
【００３１】
抽出できるその他の特徴は、下から見える最も低い面の高さ、鉛直帯における占有空間に対する自由空間の比率などを含む。自由空間／占有空間という比率を用いることにより、窓、扉、およびその他の開口部から、壁を区別することができる。
【００３２】
図６は、いくつかの実施形態に係る内部空間を表す３Ｄグリッドの部分６００のブロック図である。部分６００は、図１に示される内部空間１００のいくつかの実施形態を表す。この部分６００は、内部空間の間取り図の平面におけるタイル６２０の上方の鉛直カラム内に配置されたボクセル６０５、６１０、６１５を含む。本明細書に記載のボクセル６０５、６１０、６１５は、重みおよび符号付き距離のような内部空間の特徴を表す対応する値に関連付けられる。ボクセル６０５、６１０、６１５は、ボクセル６０５、６１０、６１５の値を平均または合計することにより、タイル６２０に対して鉛直方向に投影される。次に、タイル６２０は、２Ｄ重みおよび２Ｄ符号付き距離のような値の平均または合計によって表される。タイル６２０をその他のタイル（図６には示されない）と組み合わせて使用することにより、２Ｄ距離グリッドを生成する。いくつかの実施形態において、別々の２Ｄ距離グリッドが、物体の異なるセマンティッククラスに対して定められる。たとえば、３つの２Ｄ距離グリッドを生成することにより、壁、自由空間、および家具を符号化することができる。
【００３３】
図７は、いくつかの実施形態に係る、内部空間内の壁、自由空間、および家具を表す２Ｄ距離グリッド７００である。２Ｄ距離グリッド７００は、内部空間の間取り図の平面内に３Ｄグリッドのボクセルを鉛直方向に投影することによって生成される。２Ｄ距離グリッド７００の示されている実施形態は、２Ｄ  ＴＳＤＦグリッドとして表されている。ピクセルの色は、内部空間を画定する面に対する推定符号付き距離に基づいて決定される。黒のピクセルは、物体または壁の内側のピクセルに対応する、最大の負の縮小境界線（truncation boundary）を表す。灰色のピクセルは、面の内側の領域と外側の領域との間の境界線にあるピクセルである。示されている実施形態において、灰色のピクセルは、推定符号付き距離がわかっていないときに適用されるデフォルト値でもある。白のピクセルは、物体または壁の外側にあるピクセル、たとえば自由空間にあるピクセルに対応する、最大の正の縮小距離（truncation distance）である。
【００３４】
２Ｄ距離グリッド７００内のピクセルは、異なるセマンティッククラスにカテゴライズされる。示されている実施形態において、セマンティッククラスは、壁、自由空間、および家具である。たとえば、壁７０５を表すピクセル（明瞭にするために１つの壁のみが参照番号で示される）は黒で符号化され、自由空間７１０を表すピクセルは白で符号化され、家具７１５を表すピクセルは灰色を用いて符号化される。２Ｄ距離グリッド７００は、比較的ノイズが多く、窓の外側にある物体から得られた画像および深度によって生成された領域７２０のようなアーティファクトを含む。よって、いくつかの実施形態において、２Ｄ距離グリッド７００は、たとえばマーチングスクエアアルゴリズムを用いて、ゼロ等面（iso-surface）を抽出することにより、一組の多角形に変換される。マーチングスクエアアルゴリズムを用いて生成された一組の多角形を、内部空間を表す多角形化された（polygonised）間取り図の未加工バージョンと呼ぶ。
【００３５】
図８は、いくつかの実施形態に係る、内部空間の間取り図を表す一組の多角形を生成する方法を示す。一組の多角形は、ユーザ機器５０５が図５に示される内部空間の３Ｄスキャンを実行するときにユーザ機器５０５によって生成された２Ｄ距離グリッドに基づいて生成される。この方法は、１度に１つの多角形を、繰り返し選択する。この多角形の選択は、前に選択されたいずれかの多角形と組み合わされたときに２Ｄ距離グリッドとどれほど良くマッチしているかを示すコスト関数を最小にする多角形を決定することによって行われる。示されている実施形態において、多角形は矩形である。しかしかしながら、他の実施形態では、直線、三角形、円、またはその他の多角形を含むプリミティブを用いて内部空間の間取り図の部分を表す。
【００３６】
図８に示される方法は、先ず、２Ｄ距離グリッドに基づいてターゲットラベル画像を生成する。このターゲットラベル画像内のピクセルは、一組のセマンティッククラスのうちの１つに割り当てられる。示されている実施形態において、ピクセルは、３つのセマンティッククラス、すなわち、自由空間、壁、および未知のもののうちの１つに割り当てられる。しかしながら、他の実施形態において、ピクセルは、家具、器具、窓、扉などを含む、より多くのまたはより少ないセマンティッククラスに割り当てられる。この方法の目的は、入力間取り図を最も良く近似するセマンティッククラスのプリミティブ（この場合は矩形）のシーケンスを見出すことである。このシーケンスは次のように表される。
【００３７】
【数３】
0006907325.tif 000004
【００３８】
プリミティブは次のように表される。
【００３９】
【数４】
0006907325.tif 000005
【００４０】
（ｘ，ｙ）は、間取り図の平面内のプリミティブ上の基準点の座標であり、φはこの平面内のプリミティブの方位であり、widthは矩形プリミティブの幅であり、heightは矩形プリミティブの高さであり、classはプリミティブのクラスである。パラメータの各種組を用いることにより、その他の種類のプリミティブを特徴付ける。
【００４１】
検索空間は、間取り図の一組の主方位を決定することにより、可能な方位に沿って減じられる。いくつかの実施形態において、以下で述べるように、ヒストグラムを作成することにより、２Ｄ  ＴＳＤＦ距離グリッドから、重み付き勾配方位を蓄積する。最大値の予め定められたパーセンテージよりも大きい、ヒストグラム内の極大値が、一次勾配として選択される。図８に示される実施形態において、主方位は、鉛直方向、すなわちこの図面の平面における水平方向である。（ｘ，ｙ）座標における検索空間において、矩形プリミティブの幅および高さは二次式および画像内のピクセルの数である。したがって、検索の複雑さは次の通りである。
【００４２】
【数５】
0006907325.tif 000006
【００４３】
ｎはピクセルの数であり、Norientationsは可能な方位の数であり、Nclassesは可能なクラスの数である。予測ラベル画像は、プリミティブを順にラスタライズすることによって生成される。
【００４４】
プリミティブのシーケンスを、このシーケンスによって生成された予測画像（predicted image）がターゲットラベル画像（target label image）に最も良くマッチするように、選択する。この基準は次のように表される。
【００４５】
【数６】
0006907325.tif 000007
【００４６】
コスト関数（cost function）は、予測画像がどれほど良くターゲットラベル画像とマッチするかを示す。コスト関数は、重みを各種セマンティッククラスに割り当てるためにも使用される。たとえば、欠落している壁に割り当てるコストを、欠落している自由空間に割り当てるコストよりも高くすることができる。実際、未知の長さの最適なシーケンスを発見することは、ＮＰ困難問題である。したがって、この方法のいくつかの実施形態は、方法の各繰り返しにおいてコスト関数を最小にする１つのプリミティブを検索する反復アルゴリズムを利用する。
【００４７】
可能なプリミティブの全空間におけるすべてのプリミティブおよび方位についてコストマップを予め計算する。各繰り返しにおいて内部空間を表す一組のプリミティブに１つのプリミティブを追加するコストを評価するために、コスト関数を、プリミティブのピクセルに対して繰り返すことによって計算する。コスト関数は次のように表される。
【００４８】
【数７】
0006907325.tif 000008
【００４９】
コストマップは、サムドエリアテーブル（summed area table）としても知られている統合画像に変換される。サムドエリアテーブルを計算する技術は、当該技術では周知であるため本明細書ではこれ以上説明しない。統合画像またはサムドエリアテーブルを利用することにより、たとえばサムドエリアテーブルに対して４つのルックアップを使用して、コストを一定時間内に求めることができる。先に述べたように、コスト関数のいくつかの実施形態は、マッチまたはミスマッチピクセルに対するコストタームを含む。すなわち、大きな重なり合う矩形もしくはその他のプリミティブを組み合わせることを阻止するためのラベル変化のコストターム、他の壁の中にある壁もしくは接触し合う並行な壁を有することを阻止するための頂点のコストタームである。頂点のコストタームは、同じ方位を有する壁を含むことを回避するために水平壁、鉛直壁、およびその他の方位を有する壁を区別するアルゴリズムの能力を高める。コスト関数を特徴付けるパラメータは経験的に求められる。
【００５０】
この方法は、各繰り返しにおいて、可能なすべてのプリミティブを評価しコストが最も低いプリミティブを選択する。アルゴリズムは、ある繰り返しから次の繰り返しまでの差が予め定められたしきい値よりも小さくなった後に、収束する。
【００５１】
示されている実施形態において、内部空間を表す一組の多角形８０５は、３回目の繰り返しの完了後、３つの多角形８０１、８０２、８０３を含む。多角形８０１、８０２、８０３は、白で充填されて示されており、自由空間クラスである。５回目の繰り返し後、内部空間を表す一組の多角形８１０は、さらに２つの多角形８１１、８１２を含み、これらはいずれも、クロスハッチングで示されており、未知のクラスである。さらに数回の繰り返し後、このアルゴリズムは、一組の多角形８２０に多角形８１５（明瞭にするために１つのみが参照番号で示されている）を追加している。多角形８１５は、黒で充填されて示されており、内部空間内の壁を表す。この方法は、収束基準が満たされるまで続けられる。
【００５２】
図９は、いくつかの実施形態に係る、内部空間を表す３Ｄグリッドの部分９００のブロック図である。部分９００は、図１に示される内部空間１００のいくつかの実施形態を表している。部分９００は、内部空間の間取り図の平面内のタイル９２０の上方の鉛直カラム内に配置されたボクセル９０５、９１０、９１５と、この間取り図の平面内のタイル９４０の上方の鉛直カラム内に配置されたボクセル９２５、９３０、９３５とを含む。本明細書に記載のボクセル９０５、９１０、９１５、９２５、９３０、９３５は、重みおよび符号付き距離のような内部空間の特徴を表す、対応する値に関連付けられる。ボクセル９０５、９１０、９１５、９２５、９３０、９３５を表す異なる直線は、対応するボクセルの値が、３Ｄスキャンプロセスの以前の時間間隔において修正されたか否かを示す。示されている実施形態において、薄い破線は、３Ｄスキャンプロセスの、前の時間間隔において、ボクセル９０５、９１０、９１５、９２５、９３５が修正されなかったことを示す。実線は、ボクセル９３０が前の時間間隔において修正されたことを示す。
【００５３】
タイル９２０、９４０は、３Ｄスキャンの、前の時間間隔において、対応するボクセル９０５、９１０、９１５、９２５、９３０、９３５が更新されたか否かに応じて、選択的に更新される。示されている実施形態において、タイル９２０は（薄い破線で示されているように）更新されない。なぜなら、ボクセル９０５、９１０、９１５のうちのいずれも前の時間間隔において修正されなかったからである。タイル９４０は（実線で示されているように）更新される。なぜなら、ボクセル９３０の値は前の時間間隔において修正されたからである。したがって、ボクセル９２５、９３０、９３５は、ボクセル９２５、９３０、９３５の値を平均または合計してタイル９４０の値を更新することにより、タイル９４０の上に鉛直投影される。タイル９２０、９４０の値を、対応するボクセル９０５、９１０、９１５、９２５、９３０、９３５が以前に更新されたか否かに基づいて選択的に更新することで、本明細書に開示される２Ｄ間取り図を生成する技術のいくつかの実施形態を、リアルタイムで実行することができる。
【００５４】
いくつかの実施形態において、ボクセル９０５、９１０、９１５、９２５、９３０、９３５は、予め定められた数のボクセルを含むボリュームにグループ分けされる。たとえば、１つのボリュームは、ボクセル９０５、９１０、９１５、９２５、９３０、９３５のうちの１つ以上を含む１６×１６×１６セットのボクセルを含み得る。この場合、タイルは、対応するタイルのセットに、たとえば、１６×１６×１６セットのボクセルを含むボリュームからなる鉛直カラムに対応付けられた１６×１６セットのタイルに、グループ分けされる。タイルのセットは、対応するボリュームの鉛直カラム内の少なくとも１つのボクセルが３Ｄスキャンの、前の時間間隔において、更新されたか否かに基づいて、選択的に更新される。いくつかの実施形態ではハッシングを用いることにより、たとえば、対応するボリュームを「ダーティ」ボリュームとしてマーキングすることによって、更新されたボクセルを含むボリュームを特定する。
【００５５】
図１０は、いくつかの実施形態に係る複数の主方位を含む内部空間を上から見た図１０００を示す。ユーザ機器１００５を保持しているユーザが、本明細書に記載のように、内部空間の中を移動し撮像カメラおよび深度センサを内部空間内のさまざまな特徴に向けながら、３Ｄスキャンを実行する。上から見た図１０００は、図５の上から見た図５００と、いくつかの点で異なっている。たとえば、上から見た図１０００は、矢印１０１０、１０１５で示されるように複数の主方位を含む。もう１つの例として、上から見た図１０００は、円形プリミティブによって表すことができる部分１０２０のように、矩形以外の多角形によってより正確に表される部分を含む。
【００５６】
図１１は、いくつかの実施形態に係る２Ｄ距離グリッドの各種方位に対応する重みのヒストグラム１１００である。ヒストグラム１１００は、図５に示される内部空間の上から見た図５００および図１０に示される内部空間の上から見た図１０００のいくつかの実施形態の主方位を決定するために使用される。縦軸は、任意の座標の重みを示し、横軸は、方位を０度から９０度の範囲の角度で示す。
【００５７】
ピクセルに対応付けられる重みは、ピクセルの値で勾配の方向を推定することによって決定される。たとえば、壁の面に近いピクセルの勾配は、壁に対してほぼ垂直である。なぜなら、壁の中のピクセル（たとえば２Ｄ  ＴＳＤＦグリッド内の黒ピクセル）の値は、壁の外側の自由空間の中のピクセル（たとえば２Ｄ  ＴＳＤＦグリッド内の白ピクセル）の値とは異なるからである。２Ｄ  ＴＳＤＦ距離グリッドの重み付き勾配方位は、各種方位に対応するビン１１０５（明瞭にするために１つのみが参照番号で示される）に蓄積される。最大値の予め定められたパーセンテージよりも大きい、ヒストグラム内の極大値を、主方位として選択する。予め定められたパーセンテージは、図１１の直線１１１０で示される。図１０に示される内部空間の上から見た図１０００に対応する、示されている実施形態において、ヒストグラム１１００は、内部空間が２つの主方位、すなわち一方が０度／９０度に近く、もう一方が４５°に近い、主方位を有することを示す。
【００５８】
図１２は、いくつかの実施形態に係る、複数の主方位を有する内部空間の２Ｄ距離グリッドに基づいて生成されたプリミティブのセット１２００を示す。主方位は、図１１に示されるヒストグラム１１００のいくつかの実施形態のようなヒストグラムを用いて決定される。セット１２００は、本明細書に記載のように、コスト関数に基づいてセット１２００を選択するアルゴリズムを５回繰り返した後の、図１０に示される内部空間の上から見た図１０００のいくつかの実施形態を表している。セット１２００は、０°に近い第１の主方位を有する矩形多角形１２０１、１２０２、１２０３と、４５°に近い第２の主方位を有する矩形多角形１２０４とを含む。セット１２００はまた、図１０に示される内部空間の上から見た図１０００の対応する部分１０２０を表す円形プリミティブ１２０５を含む。
【００５９】
図１３は、いくつかの実施形態に係るボクセルからなる３Ｄグリッドから２Ｄ間取り図を生成する方法１３００のフロー図である。方法１３００は、図１、図２、および図３に示される電子デバイス１１０、図５に示されるユーザ機器５０５、および図１０に示されるユーザ機器１００５のいくつかの実施形態において実現される。
【００６０】
ブロック１３０５において、内部空間を表すボクセルからなる３Ｄグリッドを取得する。本明細書に記載のように、いくつかの実施形態において、ボクセルからなる３Ｄグリッドは、ユーザが内部空間の中を移動しているときに保持している電子デバイスまたはユーザ機器によって取得される。しかしながら、他の実施形態において、ボクセルからなる３Ｄグリッドは、他の画像取得および深度検知機器を用いて取得することができ、この機器は、ユーザが携行できる１つのデバイスに実装されるものであってもよく、そうでなくてもよい。
【００６１】
さらに、ボクセルからなる３Ｄグリッドは、１つのシステムによって取得された後に別のシステムによって方法１３００に従い処理されてもよい。
【００６２】
ブロック１３１０において、ユーザ機器は、３Ｄグリッド内のボクセルを間取り図の平面内に投影することにより、間取り図の２Ｄタイルの２Ｄ重みを求める。ブロック１３１５において、ユーザ機器は、３Ｄグリッド内のボクセルの３Ｄ符号付き距離の値を投影することにより、２Ｄタイルの２Ｄ符号付き距離を求める。ブロック１３２０において、ユーザは、２Ｄ間取り図を表す２Ｄ距離グリッドを生成する。たとえば、ユーザ機器は、図７に示される２Ｄ距離グリッド７００のような２Ｄ距離グリッドを生成することができる。
【００６３】
ブロック１３２５において、ユーザ機器は、２Ｄ距離グリッドを表すプリミティブのセットを生成することにより、２Ｄ距離グリッド内のノイズを低減または除去する。たとえば、ユーザ機器は、図８に示されるようにコスト関数に基づいてプリミティブを選択する反復プロセスを用いて、プリミティブのセットを生成することができる。
【００６４】
図１４は、いくつかの実施形態に係る、２Ｄ距離グリッドを表すプリミティブのセットを繰り返し選択する方法１４００のフロー図である。方法１４００は、図１、図２、および図３に示される電子デバイス１１０、図５に示されるユーザ機器５０５、および図１０に示されるユーザ機器１００５のいくつかの実施形態において実現される。
【００６５】
ブロック１４０５において、ユーザ機器は、間取り図を表す２Ｄ距離グリッドを生成する。本明細書に記載のように、２Ｄ距離グリッドは、３Ｄボクセルの値を間取り図の平面内に投影することによって生成される。ブロック１４１０において、２Ｄ距離グリッド内のピクセルを、壁、自由空間、および未知のもの等のセマンティッククラスに割り当てる。その他のセマンティッククラスは、家具、扉、窓などを含む。
【００６６】
ブロック１４１５において、ユーザ機器は、間取り図の主方位を決定する。ユーザ機器のいくつかの実施形態は、主方位を、２Ｄ距離グリッドに基づいて決定された、重み付き勾配のヒストグラムを作成することによって決定する。主方位を、異なる方位に対応する、ヒストグラム内のピークを特定することによって決定する。
【００６７】
ブロック１４２０において、ユーザ機器は、コスト関数を最小にするプリミティブを見出す。１回目の繰り返し中に、ユーザ機器は、間取り図を表す１つのプリミティブを選択する。その後の繰り返し中に、ユーザ機器は、現在選択されているプリミティブが以前に選択されたプリミティブと組み合わされた場合にコスト関数を最小にするプリミティブを選択する。ブロック１４２５において、選択したプリミティブを、間取り図を表すプリミティブのセットに追加する。
【００６８】
判断ブロック１４３０において、ユーザ機器は、反復選択プロセスが収束したか否かを判断する。反復選択プロセスのいくつかの実施形態は、一方の繰り返しのコスト関数の値と他方の繰り返しのコスト関数の値との差が予め定められたしきい値を下回ったことに応じて収束する。反復選択プロセスが収束すると、方法１４００は、終止ブロック１４３５に進み、終了する。反復選択プロセスが収束していない場合、方法１４００は、ブロック１４２０に戻り、ユーザ機器は、コスト関数を最小にする別のプリミティブを選択する。
【００６９】
図１５は、いくつかの実施形態に係る、３Ｄボクセルの値を鉛直投影することによって２Ｄ間取り図を生成するように構成された電子デバイス１５０５のブロック図である。電子デバイス１５０５は、図１、図２、および図３に示される電子デバイス１１０、図５に示されるユーザ機器５０５、および図１０に示されるユーザ機器１００５のいくつかの実施形態を実現するために使用される。
【００７０】
電子デバイス１５０５は、他のデバイスとの通信をサポートするために使用されるトランシーバ１５１０を含む。電子デバイス１５０５のいくつかの実施形態はユーザ機器において実現され、その場合、トランシーバ１５１０は、エアインターフェイスを介した通信をサポートするように構成される。電子デバイス１５０５はまた、プロセッサ１５１５とメモリ１５２０とを含む。プロセッサ１５１５は、メモリ１５２０に格納された命令等の命令を実行するように構成され、メモリ１５２０は、命令、命令が作用するデータ、または、プロセッサ１５１５が実行した命令の結果を格納するように構成される。電子デバイス１５０５はしたがって、図１３に示される方法１３００および図１４に示される方法１４００のいくつかの実施形態を実現することができる。
【００７１】
図１６は、いくつかの実施形態に係る、各種家具を含む建築物の内部空間１６００を上から見た図を示す。図１に示される内部空間１００のいくつかの実施形態は、上から見た図１６００の一部に対応する。内部空間１６００を上から見た図は、内部空間１６００を真上から示したものであるが、斜めの角度からの図も使用できる。内部空間１６００は、台所１６０１、寝室１６０２、書斎１６０３、食事室１６０４、寝室１６０５、およびバスルーム１６０６を含むいくつかの部屋に細分化され、これらを本明細書ではまとめて「部屋１６０１〜１６０６」と呼ぶ。内部空間１６００のいくつかの実施形態は、より多くのまたはより少ない部屋を含む。
【００７２】
部屋１６０１〜１６０６は、テーブル１６１０等の家具を含む。部屋１６０１〜１６０６はまた、椅子、ベッド、ドレッサー、書棚、便器、シンク、シャワー、洗濯機、冷蔵庫、オーブン、ストーブ、食洗器などのような、その他の家具を含む。明瞭にするために、その他の家具は参照番号で示していない。本明細書で使用される「家具」という用語は、内部空間１６００の中に位置する、本明細書に開示される特定の家具および部屋１６０１〜１６０６のうちの１つ以上の中に位置するその他の物体を含む、任意の物体を指す。
【００７３】
本明細書に記載のように、内部空間１６００の３Ｄスキャンは、図１に示される電子デバイス１１０のような電子デバイスを用いることによって得られる。３Ｄスキャンのいくつかの実施形態は、３Ｄスキャンにおいてピクセルごとに得られた色情報および深度情報を用いて内部空間１６００を表す。たとえば、色情報は、赤‐緑‐青（ＲＧＢ）値を含むことにより、ピクセルおよび深度値を表して、そのピクセルの深度を示す。深度情報は、３Ｄスキャンを実行するカメラから、ピクセルによって表される内部空間１６００内の物体の面までの距離として、内部空間１６００内の基準点からこの面までの距離として、または、他の何らかの位置に対する相対的な距離として、表される。たとえばマーチングキューブアルゴリズムを用いて３Ｄスキャンから３Ｄメッシュが生成され、次に、ＲＧＢ画像が３Ｄメッシュ上に投影されることにより、テクスチャを有する３Ｄメッシュが生成される。
【００７４】
３Ｄスキャンに基づいて、ラベルが内部空間１６００の部分に割り当てられる。いくつかの実施形態において、ラベルは、内部空間１６００の色および深度画像を解析する、訓練（学習）された畳み込みニューラルネットワーク（ＣＮＮ）を用いて、選択される。ラベルは、あるセットから選択される。このセットは、バスルーム、寝室、居間、台所、執務室を示すラベル、および、ＣＮＮが特定できない３Ｄスキャンの部分に対する未知のラベルを含む。たとえば、ＣＮＮは、部屋１６０４を、テーブル１６１０およびこのテーブルを囲んでいる椅子の存在に基づいて、「食事室」というラベルでラベル付けする。別の例において、ＣＮＮは、部屋１６０１を、洗濯機、食洗器、冷蔵庫、台所のシンク、およびストーブを含むことから、「台所」というラベルでラベル付けする。
【００７５】
図１７は、いくつかの実施形態に係る、内部空間の部分に位置する家具に基づいて内部空間の部分にラベル付けするように訓練されたＣＮＮ１７００のブロック図である。ＣＮＮ１７００は、図１６に示される内部空間１６００のいくつかの実施形態を内部空間１６００全体に分散する家具に基づいて解析するために使用される。示されている実施形態において、ＣＮＮ１７００残差ネットワークとして実現される。しかしながら、ＣＮＮ１７００の他の実施形態は、他の種類のニューラルネットワークとして実現される。
【００７６】
ＣＮＮ１７００に対する入力１７０５は、内部空間を表す２Ｄカラー画像を含む。入力１７０５はまた、内部空間内の各位置の深度を示す対応する２Ｄ深度画像を含む。示されている実施形態において、２Ｄカラー画像および深度画像は、内部空間の３Ｄスキャンに基づいて生成された、テクスチャを有する３Ｄメッシュから生成される。たとえば、入力１７０５は、図１に示される電子デバイスのような電子デバイスによって取り込まれた３Ｄスキャンから生成された内部空間のＲＧＢ−Ｄ画像を含み得る。天井および基平面（ground plane）の位置が推定され、基平面がｚ＝０にあり近接場クリップ面が天井レベルよりもわずかに下方に位置する鳥瞰図において、テクスチャを有する３Ｄメッシュをレンダリングするために、使用される。２Ｄカラー画像は、（鳥瞰図で見た）内部空間内の物体の色を表し、２Ｄ深度画像は、内部空間内の物体の深度を、たとえば床レベルの黒から天井レベルの白までの範囲のグレーの濃淡で示す。２Ｄカラー画像および２Ｄ深度画像は、１センチメートル当たり１ピクセル等の予め定められた解像度でレンダリングされる。示されている実施形態において、入力１７０５内の２Ｄカラー画像および深度画像は、重なり合うタイルに細分化される。たとえば、入力１７０５は、２メートル（ｍ）×２ｍというサイズの重なり合うタイルにおいてレンダリングすることができる。ＣＮＮ１７００は、重なり合うタイルを使用することにより、入力１７０５の部分を、０．３ｍ×０．３ｍ等の、より低い粒度で分類する。
【００７７】
畳み込み層１７１０は入力１７０５を受ける。畳み込み層１７１０は、１つ以上の訓練データセットに基づいて訓練されたパラメータのセットによって定められる畳み込み関数を実現する。これらのパラメータは、受容野が小さく畳み込み層１７１０の入力ボリュームの深さ全体にわたって延在する、学習可能なフィルタ（またはカーネル）のセットを含む。これらのパラメータはまた、深度パラメータ、ストライドパラメータ、および、畳み込み層１７１０の出力ボリュームのサイズを制御するゼロパディングパラメータを含み得る。畳み込み層１７１０は、畳み込み演算を入力１７０５に適用し、畳み込み演算の結果を次の畳み込み層１７１５に与える。ＣＮＮ１７００はまた、入力１７０５のアイデンティティ部分が畳み込み層１７１０をバイパスできるようにするアイデンティティショートカット接続１７２０を含む。示されている実施形態において、ＣＮＮ１７００は、さらに他の畳み込み層１７２５と、さらに他のアイデンティティショートカット接続１７３０とを含む。ＣＮＮ１７００のいくつかの実施形態は、より多いまたはより少ない畳み込み層またはアイデンティティショートカット接続を含む。
【００７８】
畳み込み層１７１０、１７１５、１７２５によって実行された畳み込み演算の結果は、全接続層１７３５、１７４０およびＤＯ層１７４５に与えられる。全接続層１７３５、１７４０におけるニューロンは、畳み込み層１７２５またはその他の全接続層のような、別の層のすべてのニューロンに接続される。全接続層１７３５、１７４０は、典型的に、ＣＮＮ１７００によって生成されたラベルを表す出力１７５０を生成する高レベルの推論を表す機能を実現する。たとえば、ＣＮＮ１７００が画像認識を実行するように訓練されている場合、全接続層１７３５、１７４０は、ＣＮＮ１７００によって「認識された」画像の部分にラベル付けする機能を実現する。たとえば、全接続層１７３５、１７４０は、内部空間の部分を、特定の機能を有する部屋として認識することができる。その場合、全接続層１７３５、１７４０は、これらの部分を、対応する部屋のラベルを用いてラベル付けする。全接続層１７３５、１７４０によって実現される機能は、本明細書に記載のように、訓練データセットを用いて決定されるパラメータの値で表される。
【００７９】
ＣＮＮ１７００の出力１７５０は、内部空間のある部分が、バスルーム、寝室、居間、台所、執務室などのような部屋の種類を示す一組のラベルのうちの１つとしてラベル付けされる確率を表すベクトルである。ＣＮＮ１７００は内部空間の部分をラベル付けすることができる。なぜなら、特定の物体（またはその組み合わせ）の存在または不在は、その物体を含む部屋の種類を限定するからである。たとえば、典型的に、シンクは台所およびバスルーム双方で見出され、椅子はすべての種類の部屋で見出されるがバスルームで見出されることは稀であり、ベッドは寝室で見出される。よって、ある部屋においてシンクおよび椅子が特定されると、その部屋はバスルームよりも台所である可能性の方が高い。ＣＮＮ１７００が特定できない内部空間の部分には、未知ラベルが割り当てられる。未知ラベルを含めることは有用である。なぜなら、内部空間のある部分の部屋の種類を特定するという問題は、不良設定問題であるからである。たとえば、２Ｄカラーおよび深度画像の２ｍ×２ｍ部分がタイル張りの白い床だけを示している場合、ＣＮＮ１７００は、この部屋の種類を特定するための情報を何も有していないことになる。入力１７０５のいくつかの部分を「未知」としてラベル付けることにより、ＣＮＮ１７００は、利用できる情報に基づいて部屋の種類を特定することが難しいまたは不可能である場合に、特定の部屋の種類を選択することを有効に回避できる。
【００８０】
図１８は、いくつかの実施形態に係る、ＣＮＮに対して入力として与えられる、タイル１８００と、重なり合うタイルのセット１８０５とを示すブロック図である。タイル１８００および重なり合うタイルのセット１８０５は、図１７に示されるＣＮＮ１７００のいくつかの実施形態に与えられる。タイル１８００は複数のピクセル１８１０を包含する。明瞭にするために１つのピクセルのみを参照番号で示している。ＣＮＮは、本明細書に記載のように、タイル１８００のラベルを特定し、その後、このラベルをタイル１８００の中央ピクセル１８１０に割り当てる。タイル１８００によって表される情報は、中央ピクセル１８１０の正確なコンテキストを常に提供するとは限らず、このことは、タイル１８００に含まれる情報のみに基づいて中央ピクセル１８１０に適用されるラベルの正確性を低下させる。このため、ＣＮＮは、重なり合うタイル１８０５を処理することにより、重なり合うタイル１８０５各々が重畳するピクセル１８１５のラベルを特定する。図１８に示されるのは重なり合う４つのタイル１８０５であるが、より多くのまたは少ない重なり合うタイルを用いることで、いくつかの実施形態におけるピクセル１８１５のラベルを特定する。
【００８１】
図１９は、いくつかの実施形態に係る、内部空間の輪郭１９０５上に重畳されたラベル付けされたタイルのマップ１９００のブロック図である。マップ１９００は、図１７に示されるＣＮＮ１７００のいくつかの実施形態によって生成される。示されている実施形態において、ＣＮＮは、タイル１９１０（明瞭にするために１つのタイルのみが参照番号で示される）を、タイル１９１０のクロスハッチングで示される、「寝室」というラベルでラベル付けする。ＣＮＮは、タイル１９１５（明瞭にするために１つのタイルのみが参照番号で示される）を、タイル１９１５内の縦／横のクロスハッチングで示される、「書斎」というラベルでラベル付けする。ＣＮＮは、タイル１９２０（明瞭にするために１つのタイルのみが参照番号で示される）を、左から右下に向かう実線で示される、「食事室」というラベルでラベル付けする。ＣＮＮは、タイル１９２５（明瞭にするために１つのみが参照番号で示される）を、横方向の実線で示される、「寝室」というラベルでラベル付けする。ＣＮＮは、タイル１９３０（明瞭にするために１つのみが参照番号で示される）を、縦方向の実線で示される、「バスルーム」というラベルでラベル付けする。ＣＮＮは、タイル１９３５（明瞭にするために１つのみが参照番号で示される）を、左から右上に向かう実線で示される、「台所」というラベルでラベル付けする。
【００８２】
図２０は、いくつかの実施形態に係る、内部空間の間取り図の部分をラベル付けする方法２０００のフロー図である。方法２０００は、図１に示される電子デバイス１１０のいくつかの実施形態において実現される。ブロック２００５において、電子デバイスは、内部空間の３Ｄ深度画像に基づいて、内部空間のセクションにラベル付けする。電子デバイスのいくつかの実施形態は、図１７に示されるＣＮＮ１７００のようなＣＮＮを用いて内部空間のセクションにラベル付けする。ブロック２０１０において、電子デバイスは、内部空間の２Ｄ間取り図を表す２Ｄ距離グリッドを生成する。電子デバイスのいくつかの実施形態は、図１４に示される方法１４００に従って間取り図を表す２Ｄ距離グリッドを生成する。ブロック２００５、２０１０において実行する動作は、同時に、連続で、別々の時間に、または並列に、実行することができる。ブロック２０１０において、電子デバイスは、ラベル付けされた２Ｄ間取り図を生成する。たとえば、電子デバイスは、２Ｄ間取り図のラベル付けされた領域内の中央位置に近いピクセルまたはピクセルのグループを特定し、次に、この領域のラベルを、このピクセルまたはピクセルのグループに対応付けることができる。
【００８３】
図２１は、いくつかの実施形態に係る、ラベル付けされた２Ｄ間取り図２１００を示す。ラベル付けされた２Ｄ間取り図２１００は、図８に示される一組の多角形８２０によって表される２Ｄ間取り図のような２Ｄ間取り図２１０５を含む。ラベル付けされた２Ｄ間取り図２１００は、２Ｄ間取り図２１０５の対応する部分が寝室を表すことを示す第１のラベル２１１０と、２Ｄ間取り図２１０５の対応する部分が書斎を表すことを示す第２のラベル２１１５と、２Ｄ間取り図２１０５の対応する部分が食事室を表すことを示す第３のラベル２１２０と、２Ｄ間取り図２１０５の対応する部分が寝室を表すことを示す第４のラベル２１２５と、２Ｄ間取り図２１０５の対応する部分がバスルーム（ＷＣ）を表すことを示す第５のラベル２１３０と、２Ｄ間取り図２１０５の対応する部分が台所を表すことを示す第６のラベル２１３５とを含む。
【００８４】
いくつかの実施形態において、上記技術の特定の局面は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現することができる。ソフトウェアは、非一時的なコンピュータ読取可能記憶媒体上に格納またはそうでなければ有形に実現された実行可能な命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されるとこの１つ以上のプロセッサを操作して上記技術の１つ以上の局面を実施する命令を含み得る。非一時的なコンピュータ読取可能記憶媒体は、たとえば、磁気もしくは光ディスク記憶装置、フラッシュメモリ等のソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、またはその他の１つもしくは複数の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ読取可能記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または、１つ以上のプロセッサによって解釈されるまたはそうでなければ実行可能なその他の命令フォーマットであってもよい。
【００８５】
コンピュータ読取可能記憶媒体は、使用中にコンピュータシステムからアクセスされて命令および／またはデータをコンピュータシステムに提供することが可能な、任意の記憶媒体、または記憶媒体の組み合わせを含み得る。このような記憶媒体は、光媒体（たとえばコンパクトディスク（ＣＤ）、デジタル多目的ディスク（ＤＶＤ）、Ｂｌｕ−Ｒａｙ（登録商標）ディスク）、磁気媒体（たとえばフロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（たとえばランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（たとえば読み出し専用メモリ（ＲＯＭ）もしくはフラッシュメモリ）、または、微小電子機械システム（ＭＥＭＳ）ベースの記憶媒体を含み得るが、これらに限定される訳ではない。コンピュータ読取可能記憶媒体は、コンピューティングシステムに埋め込まれたものであってもよく（たとえばシステムＲＡＭもしくはＲＯＭ）、コンピューティングシステムに固定的に装着されたものであってもよく（たとえば磁気ハードドライブ）、コンピューティングシステムに着脱可能に装着されたものであってもよく（たとえば光ディスクもしくはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されたものであってもよい（たとえばネットワークアクセス可能記憶装置（ＮＡＳ））。
【００８６】
なお、全体の説明における上記アクティビティまたは要素のうちのすべてが必要な訳ではなく、ある特定のアクティビティまたはデバイスの一部は不要である場合があり、先に述べたものに加えて１つ以上の他のアクティビティが実行されるまたは要素が含まれる場合がある。またさらに、アクティビティの記載順序は必ずしもアクティビティの実行順序ではない。また、コンセプトは特定の実施形態に言及しながら記載している。しかしながら、当業者は、以下の請求項に記載の本開示の範囲から逸脱することなく各種修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく例示とみなされるべきものであり、このような修正はすべて本開示の範囲に含まれることが意図されている。
【００８７】
利益、その他の利点、および問題解決策は、特定の実施形態に関して説明されている。しかしながら、これらの利益、利点、問題解決策、および、何らかの利益、利点または解決策を生じさせるまたはより際立ったものにする何らかの特徴（複数の特徴）は、請求項のうちのいずれかまたはすべての、決定的な、必要な、または不可欠な特徴と解釈されることを意図したものではない。加えて、上に開示された特定の実施形態は例示にすぎない。開示されている主題は、本明細書の教示の利益を享受する当業者にとって明白である、異なっているが均等である態様で修正および実施し得るからである。以下の請求項に記載されているもの以外、本明細書に示される構成または設計の詳細に対する限定は意図されていない。したがって、上に開示された特定の実施形態は変更または修正が可能であり、このような変形はすべて開示されている主題の範囲に含まれることは、明らかである。よって、本明細書において求める保護は以下の請求項に記載の通りである。
【図１】
0006907325.tif 000009
【図２】
0006907325.tif 000010
【図３】
0006907325.tif 000011
【図４】
0006907325.tif 000012
【図５】
0006907325.tif 000013
【図６】
0006907325.tif 000014
【図７】
0006907325.tif 000015
【図８】
0006907325.tif 000016
【図９】
0006907325.tif 000017
【図１０】
0006907325.tif 000018
【図１１】
0006907325.tif 000019
【図１２】
0006907325.tif 000020
【図１３】
0006907325.tif 000021
【図１４】
0006907325.tif 000022
【図１５】
0006907325.tif 000023
【図１６】
0006907325.tif 000024
【図１７】
0006907325.tif 000025
【図１８】
0006907325.tif 000026
【図１９】
0006907325.tif 000027
【図２０】
0006907325.tif 000028
【図２１】
0006907325.tif 000029