(57)【要約】      （修正有）【課題】ニューラルネットワークを用いた画像再構成システム及び画像再構成方法を提供する。【解決手段】コンピューター実施画像再構成システムは、シーンの測定値を受信する入力インターフェースと、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリと、ＮＮを用いて測定値を処理して、シーンの画像を再構成するプロセッサと、シーンの再構成画像をレンダリングする出力インターフェースと、を備える。メモリはＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージをＮＮの別のノードに伝播し、非線形関数は、到着メッセージが閾値を越えている場合に到着メッセージの大きさを制限する双対射影関数であり、ＮＮは、シーンの測定値からシーンの画像を再構成するようにトレーニングされる。【選択図】図１Ａ
2018206371.tif 000002
【特許請求の範囲】
【請求項１】
シーンの測定値を受信する入力インターフェースと、
層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリであって、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数であり、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされる、メモリと、
前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成するプロセッサと、
前記シーンの前記再構成画像をレンダリングする出力インターフェースと、
を備える、コンピューター実施画像再構成システム。
【請求項２】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１に記載の画像再構成システム。
【請求項３】
前記入力インターフェースは、前記測定値を入手するセンサーを備え、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１に記載の画像再構成システム。
【請求項４】
前記第１の重みのサブセットの各重みは、前記観測行列の対応する要素の関数に等しい、請求項３に記載の画像再構成システム。
【請求項５】
前記関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示す、請求項４に記載の画像再構成システム。
【請求項６】
前記ノードの前記層は、前記第１の重みのサブセットに関連付けられた第１の層のセットと、前記第２の重みのセットに関連付けられた第２の層のセットとを含み、前記第１の層のセットからの前記層は、前記第２の層のセットからの前記層と交互になっている、請求項３に記載の画像再構成システム。
【請求項７】
前記第１の重みのサブセット内の前記重みは、前記ＳＥＮＮの前記トレーニング中において一定である、請求項３に記載の画像再構成システム。
【請求項８】
前記ＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされるスパース性実施ニューラルネットワーク（ＳＥＮＮ）である、請求項１に記載の画像再構成システム。
【請求項９】
前記メモリは、異なるタイプの画像についてトレーニングされたＮＮのセットを記憶し、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記プロセッサは、前記測定値によって表される画像のタイプを求め、前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択する、請求項１に記載の画像再構成システム。
【請求項１０】
前記異なるタイプの画像は、少なくとも２つのタイプの画像の組み合わせを含み、前記少なくとも２つのタイプの画像は、強度画像及び深度画像を含む、請求項９に記載の画像再構成システム。
【請求項１１】
画像再構成方法であって、該方法は、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリに結合されたプロセッサを用い、前記ＮＮは、前記シーンの前記測定値から該シーンの画像を再構成するようにトレーニングされ、前記プロセッサは、該方法を実施する記憶された命令と結合され、  前記命令は、前記プロセッサによって実行されるときに、
前記メモリと通信する前記プロセッサによってシーンの測定値を受信するステップと、
前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成するステップであって、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの入力の量を制限する双対射影関数である、ステップと、
前記シーンの前記再構成画像をレンダリングするステップと
を含む該方法における、少なくとも複数のステップを実行する、方法。
【請求項１２】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１１に記載の方法。
【請求項１３】
前記測定値は、センサーによって入手され、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１１に記載の方法。
【請求項１４】
前記第１の重みのサブセット内の各重みは、前記観測行列の対応する要素の関数に等しく、該関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示す、請求項１３に記載の方法。
【請求項１５】
前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる、請求項１１に記載の方法。
【請求項１６】
前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記メモリは、異なるタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶し、前記方法は、
前記測定値によって表される画像のタイプを求めることと、
前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
を更に含む、請求項１１に記載の方法。
【請求項１７】
方法を実行するプロセッサによって実行可能なプログラムが具現化される非一時的コンピューター可読記憶媒体であって、前記方法は、
シーンの測定値を受信することと、
ニューラルネットワーク（ＮＮ）を用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成することであって、前記ＮＮは、層を通じてメッセージを伝播するノードの該層によって形成され、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージを制限する双対射影関数であり、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされることと、
前記シーンの前記再構成画像をレンダリングすることと
を含む、非一時的コンピューター可読記憶媒体。
【請求項１８】
前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１７に記載の記憶媒体。
【請求項１９】
前記測定値は、センサーによって入手され、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１７に記載の記憶媒体。
【請求項２０】
前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記記憶媒体は、異なるタイプの画像についてトレーニングされた前記ＳＥＮＮのセットを記憶し、  前記方法は、
前記測定値によって表される画像のタイプを求めることと、
前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
を更に含む、請求項１７に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、画像再構成に関し、より詳細には、ニューラルネットワークを用いた画像再構成に関する。
【背景技術】
【０００２】
信号処理において、再構成は、通常、測定値のシーケンスから元の連続信号を求めることを意味する。例えば、画像再構成は、シーンの測定値からシーンの画像を数値的に再構成するツールを開発する。撮像機器によって提供される物理測定値の数は、多くの場合、ハードウェア制約に起因して制限される。画像再構成は、測定値の総数が画像内のピクセル／ボクセルの数を下回る場合を検討する。これによって、画像再構成は、測定値が未知数よりも少ない劣決定問題となる。したがって、画像再構成は不良設定逆問題である。反復再構成法及びフィルター逆投影法等の幾つかの方法が、この問題に対処するために開発されてきた。
【０００３】
反復再構成法は、幾つかの特定の撮像技法において２Ｄ画像及び３Ｄ画像を再構成するのに用いられる反復方法を指す。これらの反復再構成技法は、通常、単一の再構成ステップにおいて画像を直接計算する一般的なフィルター逆投影法のより良好な代替手段ではあるが、計算的により高価な代替手段である。今日の高速計算及び超並列性によって、反復再構成は、より実用的になっているが、依然として、フォワード演算子及び共役演算子の高い計算コストと、ハイパーパラメーター選択の難しさとを含む要因に起因して展開するのが困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、シーンの測定からの信号、例えばシーンの画像、の再構成を行うニューラルネットワークが必要とされている。
【課題を解決するための手段】
【０００５】
本開示の実施の形態は、画像再構成システム及び画像再構成方法を提供し、より詳細には、ニューラルネットワークを用いた画像再構成システム及び画像再構成方法を提供する。
【０００６】
本開示は、ダイナミカル（dynamical：動的）システムから発信されるセンサーデータをモデル化及び理解する手法の開発及び改良を更に目指している。非限定的な例として、ダイナミカルシステムは、気流検知、複合媒体における材料特性検知、並びにビデオセグメンテーション及びビデオトラッキングを含むことができる。本開示の少なくとも１つの面（aspect）は、とりわけそのようなシステムの動的挙動を利用することによって、それらのシステムの検知能力を更に改良することを含む。
【０００７】
最初に、本発明者らは、撮像機器によって収集された物理的測定値を用いて実験を行うことを開始し、そのような手法がハードウェア制約に起因して制限を受けることを知得した。これらのハードウェア制約は、画像再構成を、未知数よりも少ない測定値を有する劣決定問題にするものであり、本発明者らは、画像再構成が不良設定逆問題であることを更に知得した。逆問題は、測定値が画像を一意に表すのに十分でなく、画像に対する追加の制約が必要とされるときに不良設定となる。
【０００８】
本開示の実施の形態は、シーンの測定値から信号の再構成を行うことにニューラルネットワーク（ＮＮ）を用いることができるという認識に基づいている。信号は、シーンの画像からのものである。例えば、少数のトレーニング例を用いて、スパースである信号ｘのクラスの表現を見つける本開示のＮＮは、測定値ｙから信号ｘを生成することができる。本明細書において言及されるように、画像は、少なくとも２次元信号、３次元信号等とすることができる。
【０００９】
具体的には、本発明者らは、本開示の画像再構成方法が、特定の制約を再構成に導入することによって、画像において冗長性を用いることができるということを認識した。一方、本発明者らは、画像の全変動（ＴＶ）又はウェーブレット正規化等の画像のスパース性のモダリティ固有の事前知識を用いることによって、そのような制約を事前に決定することができることを認識した。本発明者らは、測定値自体からそれらの制約を学習することが有益であり得ることを更に認識した。なぜならば、データ駆動型の制約は、画像再構成の精度を高めることができるからである。
【００１０】
さらに、本開示の実施の形態は、特定の画像に対するスパース性制約を学習するように畳み込みニューラルネットワーク（ＣＮＮ）等のニューラルネットワーク（ＮＮ）をトレーニングすることができるという認識に基づいている。その上、それらのスパース性制約を用いる画像再構成も、ＮＮを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接続して、エンドツーエンド形式にて合同でトレーニングすることができる共通の二重目的のニューラルネットワークにすることができる。しかしながら、実際には、本発明者らは、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行するそのような共通のネットワークを設計することは困難であることが判明していることを知得している。これが困難であることの少なくとも１つの理由は、本発明者らは、ニューラルネットワーク（ＮＮ）を追加の処理ステップと組み合わせると、エンドツーエンド形式にてトレーニングされるＮＮの能力を活用することが妨げられる可能性があることを、実験を通じて知得したからである。このＮＮの能力は、画像再構成のプロセス全体のデータ駆動型の解を生成するとともにストリームライン化を提供することができるというものである。換言すれば、ニューラルネットワーク（ＮＮ）をトレーニング等の追加の処理ステップと組み合わせると、本発明者らは、今日のアプリケーションにおける使用に実用化するには、過度に多くの計算リソース及び時間リソースを要することに気付いた。
【００１１】
これらの難題を克服するために、本発明者らは、実験を更に行い、ニューラルネットワークについてより多くを知得する必要があった。本発明者らが知得したものの幾つかをここに示すと、例えば、ニューラルネットワークは、生物学的なニューラルネットワークによってインスパイアされたモデルのファミリーであり、多数の入力に依存することができ、一般に未知である関数を推定又は近似するのに用いられる。ニューラルネットワークは、互いの間でメッセージを交換する相互接続されたノード又は「ニューロン」のシステムとして一般に提示される。各ノードは、メッセージを変換する関数に関連付けられている。この関数は、通常、非線形であり、メッセージ変換の非線形部分を形成する。ノード間の各接続は、メッセージをスケーリングする数値重みに関連付けられ、メッセージ変換の線形部分を形成する。通常、関数は、全てのノードについて固定され、事前に求められ、例えば、ニューラルネットワークの設計者によって選択される。通常、ノードについて選択される関数の例には、シグモイド関数（sigmoid function）及び整流関数（rectifier function）が含まれる。本発明者らは、ニューラルネットワークによって再構成された画像とグランドトゥルース画像（ground truth image）との間の相違を削減するようにニューラルネットワークをトレーニングすることができることを更に知得した。一方、問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、本開示の解の一意性の少なくとも１つの面（aspect）は、スパース性を用いて実施されている。
【００１２】
そのために、本発明者らは、ニューラルネットワークが、例えば、変換領域において再構成画像に対して一般的なスパース性を実施する場合に、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができることを認識した。したがって、本発明者らは、二重目的のニューラルネットワークを、測定値から適した変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワーク（ＳＥＮＮ）と取り替えることができることを認識した。
【００１３】
本開示は、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数を、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いることができるという別の認識にも基づいている。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、本開示の幾つかの実施の形態は、シグモイド関数及び整流関数を、スパース性実施に対して、より適している異なる非線形関数と取り替える。
【００１４】
例えば、１つの実施の形態は、ニューラルネットワークの少なくとも幾つかのノードを、入力信号が閾値を越えている場合にその信号を制限する非線形双対射影関数（non-linear dual-projection function）に関連付ける。この特定の実施の形態は、双対射影関数が再構成画像に対してスパース性を実施するという認識に基づいている。双対射影関数は、ｐ＜２を有する或るＬｐベクトルノルムの双対ノルム（dual norm）上への射影に対応する。Ｎ個の要素のベクトルｘの場合、Ｌｐベクトルノルムは、下式のように定義される。
【数１】
2018206371.tif 000003
ｐ＜２を有するＬｐノルムは、双対射影関数をＮＮ又はＣＮＮに組み込むことによって、ベクトルにおいてスパース性を数学的に実施するので、本発明者らは、スパース性制約を画像に直接課している。
【００１５】
したがって、本開示の１つの実施の形態は、複数の層を通じてメッセージを伝播するノードの当該層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いて、シーンの測定値からシーンの画像を再構成する。ニューラルネットワークの少なくとも１つのノードは、スパース性実施非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージを別のノードに伝播する。幾つかの実施の形態では、非線形関数は、信号が閾値を越えている場合にその信号の入力の量を制限する双対射影関数である。そのような双対射影関数の例は、Ｌｐの双対を含むことができる。ここで、ｐ≧１である。
【００１６】
本発明者らは、バックプロパゲーションを用いて実際の勾配を計算することによって、或る形式の勾配降下法を用いることができる人工ニューラルネットワークをトレーニングすることにニューラルネットワーク手法を用いることを考察した。これは、ネットワークパラメーターに関してコスト関数の導関数を取り、次に、勾配関連方向においてそれらのパラメーターを変更することによって行うことができる。
【００１７】
一方、本発明者らは、ＳＥＮＮのノードの特殊化された機能に起因して、重みも特殊な方法で更新されるべきであるという別の認識を発見した。そのために、本開示の幾つかの実施の形態は、スパース性実施エラーバックプロパゲーションを用いて、ＳＥＮＮの少なくとも幾つかの重みをトレーニングする。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの特定の構造を考慮することによって導出される。
【００１８】
幾つかの実施の形態は、画像のスパース性がシーンの測定値を入手するセンサーのタイプに依存するという認識に基づいている。具体的には、雑音を有する測定値ｙ∈ＲＮから未知の画像ｘ∈ＲＮを回復することを目的とする撮像逆問題ｙ＝Ｈｘ＋ｅにおいて、観測行列Ｈ∈ＲＭ×Ｎは既知であり、センサー、すなわち、測定値を入手するタイプのセンサーの応答をモデル化する一方、ベクトルｅ∈ＲＭは、測定値における未知の雑音を表す。
【００１９】
幾つかの実施の形態は、観測行列Ｈが画像を測定値に線形形式で関係付け、したがって、ノードの重みとしてＳＥＮＮに直接含めることができるという認識に基づいている。そのために、幾つかの実施の形態は、少なくともいくつかのノードを観測行列の値に関連付ける。例えば、観測行列に関連付けられたそれらの重みの値はＩ−γＨＴＨであり、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。
【００２０】
１つの実施の形態では、ＳＥＮＮのトレーニング中、観測行列に関連付けられた重みは変更されない。すなわち、一定のままである。この実施の形態は、ＳＥＮＮにおけるセンサーのタイプを直接反映する。非限定的な例として、本開示とともに用いることができるセンサーのタイプのうちの幾つかは、光学センサー、ライダー（LIDAR）、及びレーダーを含むことができる。代替の実施の形態は、観測行列の値を示す値を用いて重みを初期化するが、トレーニング中にそれらの値の更新を可能にしている。この実施の形態は、センサーの較正パラメーターが動作中に変化する場合があり、これは、追加のトレーニングによって考慮することができるという理解に基づいている。
【００２１】
幾つかの実施の形態は、画像のスパース性が、異なるタイプのシーン間で変動するという認識に基づいている。例えば、顔の画像におけるスパース性は、建物の画像におけるスパース性と異なる。そのために、幾つかの実施の形態は、種々のタイプの画像の種々のニューラルネットワークをトレーニングする。それらの実施の形態によって、測定されたシーンのタイプに基づいてニューラルネットワークを選択して、画像再構成を改良することが可能になる。上記実施の形態のうちの幾つかの少なくとも１つの面（aspect）は、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であるＮＮを含むことができる。
【００２２】
本開示の少なくとも１つの実施の形態は、シーンの測定値を受信する入力インターフェースを備えるコンピューター実施画像再構成システムを含む。層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリ。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさ（amplitude：振幅）を制限する双対射影関数である。前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようトレーニングされるようになっている。前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成するプロセッサ。最後に、前記シーンの前記再構成画像をレンダリングする出力インターフェース。
【００２３】
本開示の別の実施の形態によれば、画像再構成の方法。該方法は、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリに結合されたプロセッサを用いる。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。さらに、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数である。前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされるようになっており、前記プロセッサは、該方法を実施する記憶された命令と結合される。前記命令は、前記プロセッサによって実行されると、該方法の少なくとも幾つかのステップを実行する。該方法は、シーンの測定値を受信することを含む。前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成することと、前記シーンの前記再構成画像をレンダリングすること。
【００２４】
本開示の別の実施の形態によれば、方法を実行するプロセッサによって実行可能なプログラムが具現化された非一時的コンピューター可読記憶媒体。シーンの測定値を受信することを含む方法。ニューラルネットワーク（ＮＮ）を用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成すること、前記ＮＮは、層を通じてメッセージを伝播するノードの該層によって形成される。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数であるようになっている。さらに、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされ、次に、前記シーンの前記再構成画像をレンダリングすること。
【００２５】
更なる特徴及び利点は、以下の詳細な説明を添付図面とともに取り入れると、この詳細な説明からより容易に明らかになる。
【００２６】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００２７】
【図１Ａ】本開示の幾つかの実施形態によるスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いた画像再構成システムのブロック図である。
【図１Ｂ】本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図である。
【図２Ａ】本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成のコンピューター実施方法のブロック図である。
【図２Ｂ】本開示の１つの実施形態によるＳＥＮＮの概略図である。
【図２Ｃ】本開示の１つの実施形態によるＳＥＮＮを実施する擬似コードである。
【図２Ｄ】本開示の１つの実施形態によるソフト閾値（SoftThreshold）関数の概略図である。
【図３】本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成の態様のブロック図である。
【図４】本開示の実施形態による、物体の動作を検出する少なくとも１つの方法及びシステムの概略図である。
【図５】本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。
【図６】本開示の１つの実施形態によるスパース性実施エラーバックプロパゲーションを実施する擬似コードである。
【発明を実施するための形態】
【００２８】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００２９】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００３０】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００３１】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００３２】
概略
本開示の実施形態は、ニューラルネットワークを用いた画像再構成のためにシステム及び方法を提供する。
【００３３】
本開示は、シーンの測定値から信号の再構成を行うことにニューラルネットワーク（ＮＮ）を用いることができるという認識に基づいている。信号は、シーンの画像からのものである。例えば、少数のトレーニング例を用いて、スパースである信号ｘのクラスの表現を見つける本開示のＮＮは、測定値ｙから信号ｘを生成することができる。本明細書において言及されるように、画像は、少なくとも２次元信号である。
【００３４】
具体的には、本発明者らは、本開示の画像再構成方法が、特定の制約を再構成に導入することによって、画像において冗長性を用いることができるということを認識した。一方、本発明者らは、画像の全変動（ＴＶ）又はウェーブレット正規化等の画像のスパース性のモダリティ固有の事前知識を用いることによって、そのような制約を事前に決定することができることを認識した。本発明者らは、測定値自体からそれらの制約を学習することが有益であり得ることを更に認識した。なぜならば、データ駆動型の制約は、画像再構成の精度を高めることができるからである。
【００３５】
さらに、本開示の実施形態は、特定の画像に対するスパース性制約を学習するように畳み込みニューラルネットワーク（ＣＮＮ）等のニューラルネットワーク（ＮＮ）をトレーニングすることができるという認識に基づいている。その上、それらのスパース性制約を用いる画像再構成も、ＮＮを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接続して、エンドツーエンド形式にて合同でトレーニングすることができる共通の二重目的のニューラルネットワークにすることができる。しかしながら、実際には、本発明者らは、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行するそのような共通のネットワークを設計することは困難であることが判明していることを知得している。これが困難であることの少なくとも１つの理由は、本発明者らは、ニューラルネットワーク（ＮＮ）を追加の処理ステップと組み合わせると、エンドツーエンド形式にてトレーニングされるＮＮの能力を活用することが妨げられる可能性があることを、実験を通じて知得したからである。このＮＮの能力は、画像再構成のプロセス全体のデータ駆動型の解を生成するとともにストリームライン化を提供することができるというものである。換言すれば、ニューラルネットワーク（ＮＮ）をトレーニング等の追加の処理ステップと組み合わせると、本発明者らは、今日のアプリケーションにおける使用に実用化するには、過度に多くの計算リソース及び時間リソースを要することに気付いた。
【００３６】
これらの難題を克服するために、本発明者らは、実験を更に行い、ニューラルネットワークについてより多くを知得する必要があった。本発明者らが知得したものの幾つかをここに示すと、例えば、ニューラルネットワークは、生物学的なニューラルネットワークによってインスパイアされたモデルのファミリーであり、多数の入力に依存することができ、一般に未知である関数を推定又は近似するのに用いられる。ニューラルネットワークは、互いの間でメッセージを交換する相互接続されたノード又は「ニューロン」のシステムとして一般に提示される。各ノードは、メッセージを変換する関数に関連付けられている。この関数は、通常、非線形であり、メッセージ変換の非線形部分を形成する。ノード間の各接続は、メッセージをスケーリングする数値重みに関連付けられ、メッセージ変換の線形部分を形成する。通常、関数は、全てのノードについて固定され、事前に求められ、例えば、ニューラルネットワークの設計者によって選択される。通常、ノードについて選択される関数の例には、シグモイド関数及び整流関数が含まれる。本発明者らは、ニューラルネットワークによって再構成された画像とグランドトゥルース画像との間の相違を削減するようにニューラルネットワークをトレーニングすることができることを更に知得した。一方、問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、本開示の解の一意性の少なくとも１つの面（aspect）は、スパース性を用いて実施されている。
【００３７】
そのために、本発明者らは、ニューラルネットワークが、例えば、変換領域において再構成画像に対して一般的なスパース性を実施する場合に、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができることを認識した。したがって、本発明者らは、二重目的のニューラルネットワークを、測定値から変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワーク（ＳＥＮＮ）と取り替えることができることを認識した。
【００３８】
本開示は、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数を、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いることができるという別の認識にも基づいている。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、本開示の幾つかの実施形態は、シグモイド関数及び整流関数を、スパース性実施により適している異なる非線形関数と取り替える。
【００３９】
例えば、少なくとも１つの実施形態は、ニューラルネットワークの少なくとも幾つかのノードを、入力信号が閾値を越えている場合にその信号を制限する非線形双対射影関数に関連付ける。この特定の実施形態は、双対射影関数が再構成画像に対して１≦p＜２を有するＬｐベクトルノルムにペナルティを与えることによってスパース性を実施するという認識に基づいている。圧縮センシング及びスパース再構成における広範囲の従来の研究は、変換された画像に対するそのようなＬｐノルムペナルティを最適化に組み込むことによって、スパース結果を取得することが可能であることを示している。ＣＮＮへのＬｐノルムペナルティの直接の組み込みは簡単ではないが、双対最適化領域において双対射影関数を用いることによって行うことがはるかに容易であることが認識されている。
【００４０】
したがって、別の実施形態は、層を通じてメッセージを伝播するノードの当該層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いて、シーンの測定値からシーンの画像を再構成する。ニューラルネットワークの少なくとも１つのノードは、スパース性実施非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージを別のノードに伝播する。幾つかの実施形態では、非線形関数は、信号が閾値を越えている場合にその入力信号を制限する双対射影関数である。そのような双対射影関数の例は、Ｌｐの双対を含む。ここで、ｐ≧１である。
【００４１】
ニューラルネットワークの従来の関数とは対照的に、本開示の数値重みは、異なる非線形性の存在に起因して異なり、経験に基づいて調節され、本開示のニューラルネットワークを、入力に適応し、学習が可能なものにする。本発明者らは、バックプロパゲーションを用いて実際の勾配を計算することによって、或る形式の勾配降下法を用いることができる人工ニューラルネットワークをトレーニングすることにニューラルネットワーク手法を用いることを考察した。これは、ネットワークパラメーターに関してコスト関数の導関数を取り、次に、勾配関連方向においてそれらのパラメーターを変更することによって行うことができる。
【００４２】
一方、幾つかの実施形態は、スパース性実施ニューラルネットワーク（ＳＥＮＮ）のノードの特殊化された機能に起因して、重みも特殊な方法で更新されるべきであるという別の認識に基づいている。そのために、幾つかの実施形態は、スパース性実施エラーバックプロパゲーションを用いて、ＳＥＮＮの少なくとも幾つかの重みをトレーニングする。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの構造を考慮し、グランドトゥルース画像のセットを所与としてその効率的なトレーニングを可能にする。特に、スパース性実施エラーバックプロパゲーションは、スパース性を実施するのに用いられる重みに関して損失関数の勾配を計算する。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの出力から入力に向けて後方に勾配を計算することに連鎖律を用いることによって取得される。
【００４３】
幾つかの実施形態は、画像のスパース性がシーンの測定値を入手するセンサーのタイプに依存するという認識に基づいている。具体的には、雑音を有する測定値ｙ∈ＲＮから未知の画像ｘ∈ＲＮを回復することを目的とする撮像逆問題ｙ＝Ｈｘ＋ｅにおいて、観測行列Ｈ∈ＲＭ×Ｎは既知であり、センサー、すなわち、測定値を入手するタイプのセンサーの応答をモデル化する一方、ベクトルｅ∈ＲＭは、測定値における未知の雑音を表す。
【００４４】
さらに、幾つかの実施形態は、観測行列Ｈが画像を測定値に線形形式で関係付け、したがって、ノードの重みとしてＳＥＮＮに直接含めることができるという認識に基づいている。そのために、幾つかの実施形態は、少なくともいくつかのノードを観測行列の値に関連付ける。例えば、観測行列に関連付けられたそれらのノードの値はＩ−γＨＴＨ及びγＨＴであり、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。
【００４５】
１つの実施形態では、ＳＥＮＮのトレーニング中、観測行列に関連付けられた重みは変更されない。すなわち、一定のままである。この実施形態は、ＳＥＮＮにおけるセンサーのタイプを直接反映する。１つの代替の実施形態は、観測行列の値を示す値を用いて重みを初期化することができるが、トレーニング中にそれらの値の更新を可能にしている。この実施形態は、観測行列が、例えば、較正パラメーター又は動作不確実性の変化に起因して動作中に変化し得るということを反映している。
【００４６】
幾つかの実施形態は、画像のスパース性が、異なるタイプのシーン間で変動するという認識に基づいている。例えば、顔の画像におけるスパース性は、建物の画像におけるスパース性と異なる。そのために、幾つかの実施形態は、種々のタイプの画像の種々のニューラルネットワークをトレーニングする。それらの実施形態によって、測定されたシーンのタイプに基づいてニューラルネットワークを選択して、画像再構成を改良することが可能になる。
【００４７】
図１Ａは、本開示の幾つかの実施形態によるスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いたコンピューター実施画像再構成システムのブロック図を示している。コンピューターシステム１００は、バス１１３を介してメモリ１４０に接続された少なくとも１つのプロセッサ１５０を有するコンピューター／コントローラー１３０を備える。プロセッサ１５０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。
【００４８】
メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶する。メモリ１４０は、ノードの層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）１４５を記憶する。ノードは、これらの層を通じてメッセージを伝播する。ＳＥＮＮ１４５の少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージをＳＥＮＮ１４５の別のノードに伝播する。さらに、この非線形関数は、到着メッセージが閾値を越えている場合には、到着メッセージを制限する双対射影関数である。双対射影関数は、１≦ｐ＜２を有するＬｐペナルティとのその直接的な数学的関係に起因して、本来的に、変換された領域において画像のスパース性を課す。ニューラルネットワークにおいて用いられるこれまでの非線形性は、そのような関係を有せず、満足な結果を与えない。ＳＥＮＮ１４５は、シーンの測定値１８０から取得されるシーンの画像を再構成するようトレーニングされるようになっている。プロセッサ１５０は、シーンの画像１９０を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。
【００４９】
図１Ｂは、本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図を示している。コンピューターシステム１００Ａは、バス１１３を介してメモリ１４０に接続されたプロセッサ１５０を有するコンピューター／コントローラー１３０を備えることができる。メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶するとともに、ＳＥＮＮ１４５を記憶する。測定値１８０は、デバイス１６３、すなわち、ビデオカメラ等のカメラを介して取得され、そのため、測定値１８０は、プロセッサ１５０がバス１１３を通じて入手することができる（１５１）。プロセッサ１５０は、シーン１６１の画像を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。プロセッサ１５０による入手（１５１）及びその後の処理の前に、測定データ１８０を処理することに入力インターフェース又はプリプロセッサ１０８を用いることができることが可能である。最後に、画像再構成が、メモリ１４０に記憶された命令を実行するプロセッサ１５０によって実行される。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。
【００５０】
図２Ａは、ＳＥＮＮ１４５のコンピューター実施態様のブロック図を示している。測定値１８０は、最終的には物理モデル層２１０に渡され、現在の画像２２０と組み合わされて、雑音を有する画像２３０が生成される。雑音を有する画像２３０は、その後、スパース性モデル層２４０によって処理されて、現在の画像の改善版（すなわち、改善された現在の画像）２４２が生成される。このプロセスは、固定回数又は収束が満たされるまで繰り返される（２４４）。最後に、ＳＥＮＮ１４５は、再構成画像１９０を出力する。
【００５１】
図２Ｂは、本開示の１つの実施形態によるニューラルネットワークを概略的に定式化したものを示している。入力層２２１における測定値と、入力層２２２における現在の画像２２０とが、問題の物理的性質を表す観測行列の要素を示す第１の重みのサブセット２２３と組み合わされる。ニューラルネットワークの第２の層２２５に記憶された雑音を有する画像は、スパース性を実施するようにトレーニングされた重み２０２を通過する。双対射影関数２０１が出力２０３において適用される。出力層２０５は、出力２０３を、スパース性を実施するようにトレーニングされた重み２０４と組み合わせることによって取得される。現在の画像２２０は、出力２０３と出力２０５とを加算することによって取得される。
【００５２】
図２Ｃを参照すると、図２Ｂの上記動作は、図２Ｃにおける擬似コードに要約されている。
【００５３】
図２Ｄは、ｐ＝１の場合の双対射影関数２０１の一例を示している。双対射影関数２０１は、２＞ｐ≧１を有するスパース性実施ペナルティｌｑに対応するｌｑ球体上に入力を射影することによって取得される。ここで、
【数２】
2018206371.tif 000004
である。
【００５４】
ｐ＝１の場合に対応するｑの値はｑ＝∞であり、ｌ∞球体への射影は、図２Ｄにおける非線形性を用いて表すことができる。双対射影関数は、図２Ｄにおける関数を入力ベクトルの全ての要素に単に適用するだけである。
【００５５】
図３は、本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成の態様（aspect）のブロック図である。図３は、画像再構成の劣決定問題の解が、事前に求めることもでき、あるいは、測定値から学習することもできる、スパース性制約を用いることを示している。ＣＮＮ等のニューラルネットワークは、特定の画像に対するスパース性制約を学習するようにトレーニングすることができる。それらのスパース性制約を用いる画像再構成も、ニューラルネットワークを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接合することができる。実際には、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行する共通の二重目的のネットワークを設計することは困難である。
【００５６】
問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、解の一意性は、スパース性を用いて実施することができる。そのために、ニューラルネットワークが、例えば、変換領域において一般的なスパース性を再構成画像に対して実施する場合、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができると認識されている。したがって、二重目的のニューラルネットワークは、測定値から変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワークと取り替えることができる。
【００５７】
引き続き図３を参照すると、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数は、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いられる。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、幾つかの実施形態は、シグモイド関数及び整流関数を、スパース性実施により適している異なる非線形関数と取り替える。そのような関数は、到着メッセージが閾値を越えている場合にその到着メッセージを制限する双対射影関数である。例えば、Ｌｐの双対である。ここで、ｐ≧１である。双対射影関数を用いて到着メッセージを変更する新たなニューラルネットワークが、問題の解を提供することができる。
【００５８】
トレーニング
本発明者らの目標は、ＴＶの有限差分（finite-difference）フィルターをＫ個の適応可能反復依存（iteration-dependent）フィルターと取り替えることによって（３）のトレーニング可能な変形形態を取得することである。図１に示す対応するアルゴリズムは、Ｌ個のトレーニング例のセット｛ｘｌ，ｙｌ｝ｌ∈［１，．．．，Ｌ］から学習されるＴ×Ｋ個のフィルター
【数３】
2018206371.tif 000005
を有する特定の構造の畳み込みニューラルネットワーク（ＣＮＮ）と解釈することができる。これらのフィルターは、トレーニングセットにわたって、下式のようにエラーを最小にすることによって最適化することができる。
【数４】
2018206371.tif 000006
ここで、θ＝｛Ｄｔ｝ｔ∈［１，．．．，Ｔ］∈Θは、望ましいフィルターのセットを示す。画像雑音除去の問題の場合、ｔ＝Ｔ，Ｔ−１，．．．，１について下式の反復
【数５】
2018206371.tif 000007
を用いて、
【数６】
2018206371.tif 000008
を生成するエラーバックプロパゲーションアルゴリズムを用いて、エンドツーエンドの最適化を実行することができる。ここで、
【数７】
2018206371.tif 000009
は、フィルタリングを示し、μｔ＝１−（１−ｑｔ−１）／ｑｔであり、ｂＴ＝０であり、
【数８】
2018206371.tif 000010
である。これらのパラメーターは、θ←θ−α∇εｌ（θ）のように標準的な確率勾配法を用いて反復して更新される。
【００５９】
サイズ６×６ピクセルのＫ＝９個の反復依存カーネルを用いて上記アルゴリズムのＴ＝１０回の反復をトレーニングすることによって、本発明者らの方法を画像雑音除去に適用した。トレーニングには、１９２×１９２ピクセルにクロッピングされたバークリー（Berkeley）データセットからの４００個の画像を用いた。データセットからの６８個の個別のテスト画像に関して上記アルゴリズムを評価し、結果を３つの普及している雑音除去アルゴリズムと比較した（表Ｉ並びに図２及び図３を参照）。本発明者らの基本的なＭＡＴＬＡＢ実施態様は、４ＧＨｚのＩｎｔｅｌ  Ｃｏｒｅ  ｉ７プロセッサを有するＡｐｐｌｅ  ｉＭａｃ上で、２５６×２５６ピクセル及び５１２×５１２ピクセルの画像に対してそれぞれ０：６９秒及び３：２７秒を要する。ＴＶの本発明者らの単純な拡張は、上記アルゴリズムの性能を大幅に増大させ、上記アルゴリズムを最先端の雑音除去アルゴリズムと競争し合えるものとすることが認められる。上記アルゴリズムは、より一般的な逆問題を解くＦＩＳＴＡ及びＡＤＭＭに容易に組み込むことができる。今後の研究は、そのような拡張に取り組み、コード最適化とより多くのカーネルを考慮することとによって性能を更に改善する。より一般的には、本発明者らの研究は、深層学習からの最新のアイデアを組み込むことによって撮像アルゴリズムの性能を増大させる近年の努力に貢献する。
【００６０】
図４は、本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図を示している。コンピューターシステム４００は、バス１１３を介してメモリ１４０に接続されたプロセッサ１５０を有するコンピューター／コントローラー１３０を備えることができる。メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶するとともに、ＳＥＮＮ１４５を記憶する。測定値１８０は、デバイス１６３、すなわち、ビデオカメラ等のカメラを介して取得され、そのため、測定値１８０は、プロセッサ１５０がバス１１３を通じて入手することができる（１５１）。プロセッサ１５０は、シーン１６１の画像を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。最後に、画像再構成が、メモリ１４０に記憶された命令を実行するプロセッサ１５０によって実行される。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。
【００６１】
図４は、後の或る時点において処理することができる測定値１８０を記憶することができる外部メモリ４０６も備えることができる。さらに、入力インターフェース又はプリプロセッサ１０８は、プロセッサ１５０による入手（１５１）及びその後の処理の前に、測定データ１８０を処理することに用いることができる。また、ディスプレイ４７４及びキーボード４７６に接続することができるヒューマンユーザーインターフェース（ＨＭＩ）４７２を有することも考えられる。最後に、画像再構成は、メモリ１４０に記憶された命令を実行するプロセッサ１５０が実行することができる。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。再構成画像１９０は、出力インターフェース４１８を介して外部メモリ４４４にレンダリングすることができる。
【００６２】
引き続き図４を参照すると、センサー１６３は、時間、温度、及びシーン１６１に関連した他のデータ等の他のデータを収集することができることが考えられる。さらに、ビデオ１６３は、シーン１６１の測定データ１８０を画像のシーケンスとして提供することができ、各画像はピクセルを含む。
【００６３】
特徴
本開示のいくつかの態様（aspect）は、Ｌｐの双対を有する双対射影関数を有する画像再構成システムを含むことができる。ここで、ｐ≧１である。
【００６４】
画像再構成システムの他の態様（aspect）は、測定値を入手するセンサーを備える入力インターフェースを含むことができ、ＳＥＮＮの重みのセットは、センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、再構成画像のスパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む。第１の重みのサブセット内の各重みは、観測行列の対応する要素の関数に等しくすることができる。さらに、その関数は、Ｉ−γＨＴＨ及びγＨＴに基づく観測行列Ｈの変換結果に対応する。ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。ノードの層は、第１の重みのサブセットに関連付けられた第１の層のセットと、第２の重みのセットに関連付けられた第２の層のセットとを含むことができ、第１の層のセットからの層は、第２の層のセットからの層と交互になっている。第１の重みのサブセット内の重みは、ＳＥＮＮのトレーニング中、一定のままとすることができる。ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる。
【００６５】
本開示の別の態様（aspect）は、種々のタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶するメモリを含むことができ、プロセッサは、測定値によって表される画像のタイプを求め、画像再構成用の画像の求められたタイプに対応するＳＥＮＮを選択する。上記種々のタイプの画像は、少なくとも２つのタイプの画像が強度画像及び深度画像を含むような少なくとも２つのタイプの画像の組み合わせを含む。
【００６６】
図５は、本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ｂの方法を示すブロック図である。コンピューター５１１は、プロセッサ５４０と、コンピューター可読メモリ５１２と、記憶装置５５８と、ディスプレイ５５２及びキーボード５５１とを有するユーザーインターフェース５４９とを備え、これらは、バス５５６を通じて接続されている。例えば、プロセッサ５４０及びコンピューター可読メモリ５１２と通信するユーザーインターフェース５４９は、ユーザーによるユーザーインターフェース５５７の表面、キーボード表面からの入力を受信すると、測定データを入手し、コンピューター可読メモリ５１２内に記憶する。
【００６７】
メモリ５１２は、プロセッサによって実行可能な命令と、履歴データと、本開示の方法及びシステムによって利用することができる任意のデータとを記憶することができることが意図されている。プロセッサ５４０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。プロセッサ５４０は、バス５５６を通じて１つ以上の入力デバイス及び出力デバイスに接続することができる。メモリ５１２は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。
【００６８】
図５を更に参照すると、記憶デバイス５５８は、プロセッサによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように構成することができる。例えば、記憶デバイス５５８は、履歴デバイスデータと、デバイスのマニュアル等の他の関連したデバイスデータとを記憶することができ、デバイスは、本開示に関して上述したような測定データを取得することが可能な検知デバイスである。加えて又は代替的に、記憶デバイス５５８は、測定データと同様の履歴データを記憶することができる。記憶デバイス５５８は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。
【００６９】
システムは、任意選択で、バス５５６を通じて、システムをディスプレイデバイス（図示せず）に接続するように構成されたディスプレイインターフェース（図示せず）にリンクすることができ、ディスプレイデバイスは、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。
【００７０】
コンピューター５１１は、用途に応じて、電力源５５４を備えることができ、電力源５５４は、任意選択でコンピューター５１１の外部に配置されてもよい。バス５５６を通じて、ディスプレイデバイス５４８に接続するように構成されたユーザー入力インターフェース５５７をリンクすることができ、ディスプレイデバイス５４８は、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。プリンターインターフェース５５９も、バス５５６を通じて接続することができ、印刷デバイス５３２に接続するように構成することができる。印刷デバイス５３２は、とりわけ、液体インクジェットプリンター、固体インクプリンター、大規模商用プリンター、感熱式プリンター、ＵＶプリンター、又は昇華型プリンターを含むことができる。ネットワークインターフェースコントローラー（ＮＩＣ）５３４は、バス５５６を通じてネットワーク５３６に接続するように構成され、とりわけ、測定データ又は他のデータは、コンピューター５１１の外部の第三者ディスプレイデバイス、第三者画像デバイス、及び／又は第三者印刷デバイス上にレンダリングすることができる。
【００７１】
図５を更に参照すると、とりわけ、測定データ又は他のデータは、ネットワーク５３６の通信チャネルを介して送信することができ、及び／又は、記憶及び／又は更なる処理のために記憶システム５５８内に記憶することができる。さらに、測定データ又は他のデータは、受信機５４６（又は外部受信機５３８）から無線又は配線接続で受信することもできるし、送信機５４７（又は外部送信機５３９）を介して無線又は配線接続で送信することもでき、受信機５４６及び送信機５４７は、ともにバス５５６を通じて接続されている。コンピューター５１１は、入力インターフェース５０８を介して外部検知デバイス５４４及び外部入力／出力デバイス５４１に接続することができる。コンピューター５１１は、他の外部コンピューター５４２に接続することができる。出力インターフェース５０９は、プロセッサ５４０からの処理データを出力するのに用いることができる。
【００７２】
上述した本開示の実施形態は、数多くの方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１Ａ】
2018206371.tif 000011
【図１Ｂ】
2018206371.tif 000012
【図２Ａ】
2018206371.tif 000013
【図２Ｂ】
2018206371.tif 000014
【図２Ｃ】
2018206371.tif 000015
【図２Ｄ】
2018206371.tif 000016
【図３】
2018206371.tif 000017
【図４】
2018206371.tif 000018
【図５】
2018206371.tif 000019
【図６】
2018206371.tif 000020
【外国語明細書】
2018206371.tif 000021
2018206371.tif 000022
2018206371.tif 000023
2018206371.tif 000024
2018206371.tif 000025
2018206371.tif 000026
2018206371.tif 000027
2018206371.tif 000028
2018206371.tif 000029
2018206371.tif 000030
2018206371.tif 000031
2018206371.tif 000032
2018206371.tif 000033
2018206371.tif 000034
2018206371.tif 000035
2018206371.tif 000036
2018206371.tif 000037
2018206371.tif 000038
2018206371.tif 000039
2018206371.tif 000040
2018206371.tif 000041
2018206371.tif 000042
2018206371.tif 000043
2018206371.tif 000044
2018206371.tif 000045
2018206371.tif 000046
2018206371.tif 000047
2018206371.tif 000048
2018206371.tif 000049
2018206371.tif 000050
2018206371.tif 000051
2018206371.tif 000052
2018206371.tif 000053
2018206371.tif 000054
2018206371.tif 000055
2018206371.tif 000056
2018206371.tif 000057
2018206371.tif 000058
2018206371.tif 000059
2018206371.tif 000060
2018206371.tif 000061
2018206371.tif 000062
2018206371.tif 000063
2018206371.tif 000064
2018206371.tif 000065