【手続補正書】
【提出日】令和3年2月4日(2021.2.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
非一過性メモリであって、
部屋のレイアウトの推定のための部屋画像と、
部屋のレイアウトを推定するためのニューラルネットワークであって、前記ニューラルネットワークは、
入力としてデジタル部屋画像を受信するように構成されるエンコーダ−デコーダサブネットワークであって、前記エンコーダ−デコーダサブネットワークは、エンコーダとデコーダとを備える、エンコーダ−デコーダサブネットワークと、
前記エンコーダ−デコーダサブネットワークと通信する分類子サブネットワークであって、前記分類子サブネットワークは、前記部屋画像と関連付けられた部屋タイプを分類するように構成されている、分類子サブネットワークと
を備える、ニューラルネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記部屋画像にアクセスすることと、
前記エンコーダ、デコーダ、および前記部屋画像を使用して、複数の部屋タイプに対応する複数の予測される２次元（２Ｄ）特徴点マップを決定することと、
前記エンコーダ、前記分類子サブネットワーク、および前記部屋画像を使用して、予測される部屋タイプを前記複数の部屋タイプから決定することと、
前記複数の予測される２Ｄ特徴点マップおよび前記予測される部屋タイプを使用して、前記予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定することと、
前記複数の順序付けられた特徴点を使用して、前記部屋画像内の部屋の予測されるレイアウトを決定することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
【請求項２】
前記複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、請求項１に記載のシステム。
【請求項３】
前記部屋画像は、単眼画像を含む、請求項１に記載のシステム。
【請求項４】
前記部屋画像は、赤色−緑色−青色（ＲＧＢ）画像を含む、請求項１に記載のシステム。
【請求項５】
前記部屋画像の次元は、前記予測される２Ｄ特徴点マップの次元より大きい、請求項１に記載のシステム。
【請求項６】
前記エンコーダ−デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含むエンコーダサブネットワークを備える、請求項１に記載のシステム。
【請求項７】
前記エンコーダ−デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含むデコーダサブネットワークを備える、請求項１に記載のシステム。
【請求項８】
前記エンコーダ−デコーダサブネットワークは、メモリ増強再帰エンコーダ−デコーダ（ＭＲＥＤ）ネットワークを備える、請求項１に記載のシステム。
【請求項９】
前記エンコーダ−デコーダサブネットワークは、複数の再帰層を備える、請求項１に記載のシステム。
【請求項１０】
前記予測される２次元（２Ｄ）特徴点マップは、ヒートマップを含む、請求項１に記載のシステム。
【請求項１１】
前記ハードウェアプロセッサは、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋の予測されるレイアウトを組み合わせることと
を行うようにプログラムされている、請求項１に記載のシステム。
【請求項１２】
ウェアラブルディスプレイデバイスであって、
部屋のレイアウトの推定のための前記部屋画像を捕捉するように構成される、外向きに面した結像システムと、
請求項１に記載のシステムと
を備える、ウェアラブルディスプレイデバイス。
【請求項１３】
システムであって、
ニューラルネットワークのためのパラメータを記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
訓練用部屋画像を受信することであって、前記訓練用部屋画像は、
複数の部屋タイプからの基準部屋タイプと、
基準部屋レイアウトと関連付けられた基準特徴点と
と関連付けられている、ことと、
部屋のレイアウト推定のためのニューラルネットワークを生成することであって、前記ニューラルネットワークは、
入力として前記訓練用部屋画像を受信し、前記複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される２次元（２Ｄ）特徴点を出力するように構成される、エンコーダ−デコーダサブネットワークであって、前記エンコーダ−デコーダサブネットワークは、エンコーダとデコーダとを備える、エンコーダ−デコーダサブネットワークと、
予測される部屋タイプを前記複数の部屋タイプから出力するように構成される、前記エンコーダ−デコーダネットワークと通信する、サイドサブネットワークであって、前記予測される部屋タイプは、少なくとも部分的に前記エンコーダおよびサイドサブネットワークによって決定される、サイドサブネットワークと
を備えている、ことと、
前記予測される２Ｄ特徴点に関する第１の損失および前記予測される部屋タイプに関する第２の損失に基づいて、損失関数を最適化することと、
前記最適化された損失関数に基づいて、前記ニューラルネットワークのパラメータを更新することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
【請求項１４】
前記複数の部屋タイプの数は、５を上回る、請求項１３に記載のシステム。
【請求項１５】
前記基準特徴点および前記予測される２Ｄ特徴点は、特徴点順序と関連付けられる、請求項１３に記載のシステム。
【請求項１６】
第１の特徴点順序は、前記複数の部屋タイプのうちの第１の部屋タイプと関連付けられ、第２の特徴点順序は、前記複数の部屋タイプのうちの第２の部屋タイプと関連付けられ、前記第１の特徴点順序および前記第２の特徴点順序は、異なる、請求項１３に記載のシステム。
【請求項１７】
前記訓練用部屋画像は、単眼画像を含む、請求項１３に記載のシステム。
【請求項１８】
前記訓練用部屋画像は、赤色−緑色−青色（ＲＧＢ）画像を含む、請求項１３に記載のシステム。
【請求項１９】
前記訓練用部屋画像の次元は、前記予測される２Ｄ特徴点と関連付けられたマップの次元より大きい、請求項１３に記載のシステム。
【請求項２０】
前記サイドサブネットワークは、部屋タイプ分類子を含む、請求項１３に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
例えば、本発明は以下の項目を提供する。
（項目１）
システムであって、
非一過性メモリであって、
部屋のレイアウトの推定のための部屋画像と、
部屋のレイアウトを推定するためのニューラルネットワークであって、前記ニューラルネットワークは、
エンコーダ−デコーダサブネットワークと、
前記エンコーダ−デコーダサブネットワークに接続される分類子サブネットワークと
を備える、ニューラルネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記部屋画像にアクセスすることと、
前記エンコーダ−デコーダサブネットワークおよび前記部屋画像を使用して、複数の部屋タイプに対応する複数の予測される２次元（２Ｄ）特徴点マップを決定することと、
前記エンコーダ−デコーダサブネットワーク、前記分類子サブネットワーク、および前記部屋画像を使用して、予測される部屋タイプを前記複数の部屋タイプから決定することと、
前記複数の予測される２Ｄ特徴点マップおよび前記予測される部屋タイプを使用して、前記予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定することと、
前記複数の順序付けられた特徴点を使用して、前記部屋画像内の部屋の予測されるレイアウトを決定することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、項目１に記載のシステム。
（項目３）
前記複数の部屋タイプ内の各部屋タイプは、前記部屋タイプ内の領域に関する意味論セグメント化を含み、前記意味論セグメント化は、床、天井、または壁としての識別を含む、項目２に記載のシステム。
（項目４）
第１の特徴点順序は、前記複数の部屋タイプのうちの第１の部屋タイプと関連付けられ、第２の特徴点順序は、前記複数の部屋タイプのうちの第２の部屋タイプと関連付けられ、前記第１の特徴点順序および前記第２の特徴点順序は、異なる、項目２に記載のシステム。
（項目５）
前記部屋画像は、単眼画像を含む、項目１に記載のシステム。
（項目６）
前記部屋画像は、赤色−緑色−青色（ＲＧＢ）画像を含む、項目１に記載のシステム。
（項目７）
前記部屋画像の次元は、前記予測される２Ｄ特徴点マップの次元より大きい、項目１に記載のシステム。
（項目８）
前記エンコーダ−デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含むエンコーダサブネットワークを備える、項目１に記載のシステム。
（項目９）
前記エンコーダ−デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含むデコーダサブネットワークを備える、項目１に記載のシステム。
（項目１０）
前記エンコーダ−デコーダサブネットワークは、メモリ増強再帰エンコーダ−デコーダ（ＭＲＥＤ）ネットワークを備える、項目１に記載のシステム。
（項目１１）
前記エンコーダ−デコーダサブネットワークは、複数の再帰層を備える、項目１に記載のシステム。
（項目１２）
前記複数の再帰層の再帰反復数は、２である、項目１１に記載のシステム。
（項目１３）
前記複数の再帰層の再帰反復数は、少なくとも３である、項目１１に記載のシステム。
（項目１４）
前記複数の再帰層はそれぞれ、加重行列を有し、前記加重行列は、前記複数の再帰層の全てに関して同一である、項目１１−１３のいずれか１項に記載のシステム。
（項目１５）
前記予測される２次元（２Ｄ）特徴点マップは、ヒートマップを含む、項目１に記載のシステム。
（項目１６）
前記ハードウェアプロセッサは、前記ヒートマップからの特徴点場所を前記ヒートマップの最大値として抽出するようにプログラムされている、項目１５に記載のシステム。
（項目１７）
前記ハードウェアプロセッサは、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋の予測されるレイアウトを組み合わせることと
を行うようにプログラムされている、項目１に記載のシステム。
（項目１８）
前記オブジェクト認識装置は、前記部屋画像内の直方体を検出するように構成される、項目１７に記載のシステム。
（項目１９）
ウェアラブルディスプレイデバイスであって、
前記部屋のレイアウトの推定のための部屋画像を捕捉するように構成される、外向きに面した結像システムと、
項目１に記載のシステムと
を備える、ウェアラブルディスプレイデバイス。
（項目２０）
システムであって、
ニューラルネットワークのためのパラメータを記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
訓練用部屋画像を受信することであって、前記訓練用部屋画像は、
複数の部屋タイプからの基準部屋タイプと、
部屋の基準レイアウトと関連付けられた基準特徴点と
と関連付けられている、ことと、
部屋のレイアウト推定のためのニューラルネットワークを生成することであって、前記ニューラルネットワークは、
前記複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される２次元（２Ｄ）特徴点を出力するように構成されるエンコーダ−デコーダサブネットワークと、
予測される部屋タイプを前記複数の部屋タイプから出力するように構成される前記エンコーダ−デコーダネットワークに接続されるサイドサブネットワークと
を備えている、ことと、
前記予測される２Ｄ特徴点に関する第１の損失および前記予測される部屋タイプに関する第２の損失に基づいて、損失関数を最適化することと、
前記最適化された損失関数に基づいて、前記ニューラルネットワークのパラメータを更新することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
（項目２１）
前記複数の部屋タイプの数は、５を上回る、項目２０に記載のシステム。
（項目２２）
前記基準特徴点および前記予測される２Ｄ特徴点は、特徴点順序と関連付けられる、項目２０に記載のシステム。
（項目２３）
第１の特徴点順序は、前記複数の部屋タイプのうちの第１の部屋タイプと関連付けられ、第２の特徴点順序は、前記複数の部屋タイプのうちの第２の部屋タイプと関連付けられ、前記第１の特徴点順序および前記第２の特徴点順序は、異なる、項目２０に記載のシステム。
（項目２４）
前記訓練用部屋画像は、単眼画像を含む、項目２０に記載のシステム。
（項目２５）
前記訓練用部屋画像は、赤色−緑色−青色（ＲＧＢ）画像を含む、項目２０に記載のシステム。
（項目２６）
前記訓練用部屋画像の次元は、前記予測される２Ｄ特徴点と関連付けられたマップの次元より大きい、項目２０に記載のシステム。
（項目２７）
前記エンコーダサブネットワークおよび前記デコーダサブネットワークは、複数の再帰層を備える、項目２０に記載のシステム。
（項目２８）
前記再帰層の再帰反復数は、２または３である、項目２７に記載のシステム。
（項目２９）
深層監視が、前記再帰層に適用される、項目２７に記載のシステム。
（項目３０）
前記再帰層の反復の第１の再帰反復と関連付けられた加重は、前記再帰層の第２の再帰反復と関連付けられた加重と同じである、項目２７に記載のシステム。
（項目３１）
前記複数の再帰層は、メモリ増強再帰エンコーダ−デコーダ（ＭＲＥＤ）ネットワークとして構成される、項目２７に記載のシステム。
（項目３２）
前記サイドサブネットワークは、部屋タイプ分類子を含む、項目２０に記載のシステム。
（項目３３）
前記予測される２Ｄ特徴点に関する前記第１の損失は、複数の基準特徴点場所と前記予測される２Ｄ特徴点との間のユークリッド損失を含む、項目２０に記載のシステム。
（項目３４）
前記予測される部屋タイプに関する前記第２の損失は、クロスエントロピ損失を含む、項目２０に記載のシステム。
（項目３５）
前記予測される２Ｄ特徴点は、予測されるヒートマップから抽出される、項目２０に記載のシステム。
（項目３６）
ハードウェアプロセッサは、
前記訓練画像の基準特徴点と関連付けられた基準ヒートマップを計算することと、
前記予測されるヒートマップと前記基準ヒートマップとの間の差異に基づいて、前記予測される２Ｄ特徴点に関する前記第１の損失を計算することと
を行うようにプログラムされている、項目３５に記載のシステム。
（項目３７）
前記基準ヒートマップは、基準特徴点毎の場所を中心とする２次元分布を含む、項目３６に記載のシステム。
（項目３８）
前記基準ヒートマップは、前記基準特徴点から離れた背景と、前記基準特徴点と関連付けられた前景とを含み、前記ハードウェアプロセッサは、前記前景と前記背景との間の比率に基づいて、前記基準ヒートマップ内の勾配に加重するようにプログラムされている、項目３６に記載のシステム。
（項目３９）
前記基準ヒートマップ内の勾配に加重するために、前記ハードウェアプロセッサは、１未満の減少係数によって、前記背景内のピクセルの値を減少させるようにプログラムされている、項目３８に記載のシステム。
（項目４０）
ウェアラブルディスプレイシステムであって、
前記ウェアラブルディスプレイシステムの装着者の環境の部屋画像を取得するように構成される外向きに面した結像システムと、
前記部屋画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記プロセッサは、
前記環境の部屋画像にアクセスすることと、
前記部屋画像を分析し、前記部屋画像内の予測される部屋のレイアウトを決定することと
を行うようにプログラムされており、前記部屋画像を分析するために、前記プロセッサは、
ニューラルネットワークを使用して、前記部屋画像内の部屋に関する部屋タイプと関連付けられた２次元（２Ｄ）特徴点の順序付けられたセットを決定することと、
少なくとも部分的に、前記２Ｄ特徴点および前記部屋タイプに基づいて、前記部屋のレイアウトを提供することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目４１）
前記ニューラルネットワークは、畳み込みエンコーダ−デコーダネットワークを備える、項目４０に記載のウェアラブルディスプレイシステム。
（項目４２）
前記畳み込みエンコーダ−デコーダネットワークは、メモリ増強再帰エンコーダ−デコーダネットワークを備える、項目４１に記載のウェアラブルディスプレイシステム。
（項目４３）
前記ニューラルネットワークは、前記部屋タイプを決定するように構成される分類子を含む、項目４０に記載のウェアラブルディスプレイシステム。
（項目４４）
前記ハードウェアプロセッサはさらに、前記２Ｄ特徴点の順序付けられたセットをヒートマップから抽出するようにプログラムされている、項目４０に記載のウェアラブルディスプレイシステム。
（項目４５）
前記ハードウェアプロセッサはさらに、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋のレイアウトを組み合わせることと
を行うようにプログラムされている、項目４０に記載のウェアラブルディスプレイシステム。