【手続補正書】
【提出日】令和3年2月10日(2021.2.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学センサー、ＬＩＤＡＲセンサー、及び、レーダーセンサーのうちの１つである少なくとも１つのセンサによって検知されたデータから画像を再構成し、シーンの測定値を含む前記データを入力インターフェースが受信するコンピューター実施画像再構成システムであって、
前記少なくとも１つのセンサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、第２の重みのサブセットと、を含むスパース性実施ニューラルネットワーク（ＳＥＮＮ）であって、前記ＳＥＮＮは、層を通じてメッセージを伝播するノードの該層によって形成され、前記ＳＥＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＳＥＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を超えている場合に前記到着メッセージの大きさを制限する双対射影関数であり、前記ＳＥＮＮは、前記再構成画像の変換領域係数のスパース性を実施するようにトレーニングされ、前記変換領域係数は、前記ＳＥＮＮのノード間において前記送出メッセージの双対であって、前記トレーニングされた重みＤ、前記送出メッセージｇ、及び、前記再構成画像ｚの推定値の第２のサブセットから求められるものであり、前記変換領域係数は、数学的な関係Ｄ（ＤＴｇ−ｚ）によって得られて求められるものであり、前記ＳＥＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされるスパース性実施ニューラルネットワークと、
前記入力インターフェースと通信するものであり、前記ＳＥＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成するプロセッサと、
前記プロセッサと通信するものであり、前記シーンの前記再構成画像をレンダリングする出力インターフェースと、
を備える、コンピューター実施画像再構成システム。
【請求項２】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１であり、Ｌｐは、ノルム距離関数であり、ｐは、該ノルム距離関数を特定するパラメータである、請求項１に記載の画像再構成システム。
【請求項３】
前記第１の重みのサブセットの各重みは、前記観測行列の対応する要素の関数に等しい、請求項１に記載の画像再構成システム。
【請求項４】
前記関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示し、γは、前記観測行列と相関する前記再構成画像をスケーリングする数字の重みの量と相関するパラメーターである、請求項３に記載の画像再構成システム。
【請求項５】
前記ノードの前記層は、前記第１の重みのサブセットに関連付けられた第１の層のセットと、前記第２の重みのセットに関連付けられた第２の層のセットとを含み、前記第１の層のセットからの前記層は、前記第２の層のセットからの前記層と交互になっている、請求項１に記載の画像再構成システム。
【請求項６】
前記第１の重みのサブセット内の前記重みは、前記ＳＥＮＮの前記トレーニング中において一定である、請求項１に記載の画像再構成システム。
【請求項７】
前記ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる、請求項１に記載の画像再構成システム。
【請求項８】
メモリは、異なるタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶し、前記プロセッサは、前記測定値によって表される画像のタイプを求め、前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択する、請求項１に記載の画像再構成システム。
【請求項９】
前記異なるタイプの画像は、少なくとも２つのタイプの画像の組み合わせを含み、前記少なくとも２つのタイプの画像は、強度画像及び深度画像を含む、請求項８に記載の画像再構成システム。
【請求項１０】
画像再構成方法であって、該方法のステップは、
光学センサー、ＬＩＤＡＲセンサー、及び、レーダーの１つであって、シーンに配置された少なくとも１つのセンサーを介したセンサーのデータから前記シーンの測定値を受信するステップと、
前記少なくとも１つのセンサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、第２の重みのサブセットと、を含むスパース性実施ニューラルネットワーク（ＳＥＮＮ）であって、前記ＳＥＮＮは、層を通じてメッセージを伝播するノードの該層によって形成され、前記ＳＥＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＳＥＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を超えている場合に前記到着メッセージの大きさを制限する双対射影関数であり、前記ＳＥＮＮは、前記再構成画像の変換領域係数のスパース性を実施するようにトレーニングされ、前記変換領域係数は、前記ＳＥＮＮのノード間において前記送出メッセージの双対であって、前記トレーニングされた重みＤ、前記送出メッセージｇ、及び、前記再構成画像ｚの推定値の第２のサブセットから求められるものであり、前記変換領域係数は、数学的な関係Ｄ（ＤＴｇ−ｚ）によって得られて求められるものであり、前記ＳＥＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされる、前記ＳＥＮＮを用いるステップと、
前記シーンの前記画像を再構成するように前記ＳＥＮＮを用いて前記測定値を処理するステップと、
前記シーンの前記再構成画像をレンダリングするステップと
を含み、前記方法を実装するメモリに記憶されている各命令は、前記メモリを用いたプロセッサとの通信により実行されるとき、前記方法の前記ステップを実行する、方法。
【請求項１１】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１であり、Ｌｐは、ノルム距離関数であり、ｐは、該ノルム距離関数を特定するパラメータである、請求項１０に記載の方法。
【請求項１２】
前記第１の重みのサブセット内の各重みは、前記観測行列の対応する要素の関数に等しく、該関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示し、γは、前記観測行列と相関する前記再構成画像をスケーリングする数字の重みの量と相関するパラメーターである、請求項１０に記載の方法。
【請求項１３】
前記ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる、請求項１０に記載の方法。
【請求項１４】
前記メモリは、異なるタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶し、前記方法は、
前記測定値によって表される画像のタイプを求めることと、
前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
を更に含む、請求項１０に記載の方法。
【請求項１５】
方法を実行するプロセッサによって実行可能なプログラムが具現化される非一時的コンピューター可読記憶媒体であって、前記方法は、
光学センサー、ＬＩＤＡＲセンサー、及び、レーダーの１つであって、シーンに配置された少なくとも１つのセンサーを介したセンサーのデータから前記シーンの測定値を受信することと、
前記少なくとも１つのセンサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、第２の重みのサブセットと、を含むスパース性実施ニューラルネットワーク（ＳＥＮＮ）であって、前記ＳＥＮＮは、層を通じてメッセージを伝播するノードの該層によって形成され、前記ＳＥＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＳＥＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を超えている場合に前記到着メッセージの大きさを制限する双対射影関数であり、前記ＳＥＮＮは、前記再構成画像の変換領域係数のスパース性を実施するようにトレーニングされ、前記変換領域係数は、前記ＳＥＮＮのノード間において前記送出メッセージの双対であって、前記トレーニングされた重みＤ、前記送出メッセージｇ、及び、前記再構成画像ｚの推定値の第２のサブセットから求められるものであり、前記変換領域係数は、数学的な関係Ｄ（ＤＴｇ−ｚ）によって得られて求められるものであり、前記ＳＥＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされる、前記ＳＥＮＮを用いることと、
前記シーンの前記画像を再構成するように前記ＳＥＮＮを用いて前記測定値を処理することと、
前記シーンの前記再構成画像をレンダリングすることと
を含む、非一時的コンピューター可読記憶媒体。
【請求項１６】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１であり、Ｌｐは、ノルム距離関数であり、ｐは、該ノルム距離関数を特定するパラメータである、請求項１５に記載の記憶媒体。
【請求項１７】
前記非一時的コンピューター可読記憶媒体は、異なるタイプの画像についてトレーニングされた前記ＳＥＮＮのセットを記憶し、
前記方法は、
前記測定値によって表される画像のタイプを求めることと、
前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
を更に含む、請求項１５に記載の記憶媒体。