(57)【要約】  データセグメント化のための方法およびシステムは、各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、ニューラルネットワークを使用して入力データセットの各ユニットについて初期セグメント化スコアを決定することを含む。最終セグメント化スコアは、平滑さ基準を強調することによって、入力データセットの各ユニットについて決定される。入力データセットは、最終セグメント化スコアに従ってセグメント化される。
2019508805.tif 000002
【特許請求の範囲】
【請求項１】
各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、ニューラルネットワークを使用して入力データセットの各ユニットについて初期セグメント化スコアを決定し、
平滑さ基準を強調することによって、前記入力データセットの各ユニットについて最終セグメント化スコアを決定することと、
前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
を含む、データセグメント化のための方法。
【請求項２】
最終セグメント化スコアを決定することは、変分反応拡散（ＶＲＤ）を適用することを含む、請求項１に記載の方法。
【請求項３】
ＶＲＤを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含む、請求項２に記載の方法。
【請求項４】
前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含む、請求項３に記載の方法。
【請求項５】
ＶＲＤを適用することは、前記正定値パラメータ行列上でのシュール分解を使用して前記最適化問題を前記偏微分方程式のシステムに変換することを含む、請求項４に記載の方法。
【請求項６】
前記偏微分方程式のシステムは、
【数１】
2019508805.tif 000069
として表され、ここで、
【数２】
2019508805.tif 000070
は式
【数３】
2019508805.tif 000071
として定義され、
【数４】
2019508805.tif 000072
および
【数５】
2019508805.tif 000073
は前記正定値パラメータ行列の部分行列であり、Δはベクトルラプラシアン演算子であり、
【数６】
2019508805.tif 000074
はデータのユニットについての前記初期セグメント化スコアであり、各
【数７】
2019508805.tif 000075
はｋ番目のセグメント化クラス上での変換されたスコアを表し、
【数８】
2019508805.tif 000076
はセグメント化クラスの数であり、ＶおよびＵはシュール分解後の前記正定値パラメータ行列の変換されたバージョンである、請求項４に記載の方法。
【請求項７】
前記最適化問題は、
【数９】
2019508805.tif 000077
として表され、ここで、
【数１０】
2019508805.tif 000078
はデータのユニットについての前記最終セグメント化スコアのベクトルであり、ｘはデータセットＩにおけるデータのユニットであり、ｄは前記データセットＩの次元であり、ｓは
【数１１】
2019508805.tif 000079
と前記データのユニットについての前記初期セグメント化スコアのベクトルとを組み合わせたベクトルである、請求項３に記載の方法。
【請求項８】
前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬することをさらに含む、請求項３に記載の方法。
【請求項９】
情報を逆伝搬することは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定することを含む、請求項８に記載の方法。
【請求項１０】
前記入力データセットはイメージであり、前記入力データセットの各ユニットは前記イメージ内のピクセルである、請求項１に記載の方法。
【請求項１１】
各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各ユニットについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成されたセグメント化モジュールと、
を有する、データセグメント化のためのシステム。
【請求項１２】
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散（ＶＲＤ）を適用するようにさらに構成される、請求項１１に記載のシステム。
【請求項１３】
前記セグメント化モジュールは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいてＶＲＤ最適化問題を解決するようにさらに構成される、請求項１２に記載のシステム。
【請求項１４】
前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成される、請求項１３に記載のシステム。
【請求項１５】
前記セグメント化モジュールは、前記正定値パラメータ行列上でのシュール分解を使用して前記最適化問題を前記偏微分方程式のシステムに変換するようにさらに構成される、請求項１４に記載のシステム。
【請求項１６】
前記偏微分方程式のシステムは、
【数１２】
2019508805.tif 000080
として表され、ここで、
【数１３】
2019508805.tif 000081
は式
【数１４】
2019508805.tif 000082
として定義され、
【数１５】
2019508805.tif 000083
および
【数１６】
2019508805.tif 000084
は前記正定値パラメータ行列の部分行列であり、Δはベクトルラプラシアン演算子であり、
【数１７】
2019508805.tif 000085
はデータのユニットについての前記初期セグメント化スコアであり、各
【数１８】
2019508805.tif 000086
はｋ番目のセグメント化クラス上での変換されたスコアを表し、
【数１９】
2019508805.tif 000087
はセグメント化クラスの数であり、ＶおよびＵはシュール分解後の前記正定値パラメータ行列の変換されたバージョンである、請求項１４に記載のシステム。
【請求項１７】
前記最適化問題は、
【数２０】
2019508805.tif 000088
として表され、ここで、
【数２１】
2019508805.tif 000089
はデータのユニットについての前記最終セグメント化スコアのベクトルであり、ｘはデータセットＩにおけるデータのユニットであり、ｄは前記データセットＩの次元であり、ｓは
【数２２】
2019508805.tif 000090
と前記データのユニットについての前記初期セグメント化スコアのベクトルとを組み合わせたベクトルである、請求項１３に記載のシステム。
【請求項１８】
前記ニューラルネットワークは、前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬するようにさらに構成される、請求項１３に記載のシステム。
【請求項１９】
前記ニューラルネットワークは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定するようにさらに構成される、請求項１８に記載のシステム。
【請求項２０】
前記入力データセットはイメージであり、前記入力データセットの各ユニットは前記イメージ内のピクセルである、請求項１１に記載のシステム。
【請求項２１】
ビデオフィードを監視するための方法であって、
個々のイメージを有する入力データセットを生成するために、１つまたは複数のカメラを使用して監視される領域を表す入力データをキャプチャすることと、
各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、ニューラルネットワークを使用して前記入力データの各イメージについて初期セグメント化スコアを決定することと、
平滑さ基準を強調することによって、前記入力データセットの各イメージについて最終セグメント化スコアを決定することと、
前記最終セグメント化スコアに従って、前記入力データセットをセグメント化することと、
前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定することと、
前記警報条件に合致する場合に、警報を生成することと、
を含む、ビデオフィードを監視するための方法。
【請求項２２】
最終セグメント化スコアを決定することは、変分反応拡散（ＶＲＤ）を適用することを含む、請求項２１に記載の方法。
【請求項２３】
ＶＲＤを適用することは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいて、最適化問題を解決することを含む、請求項２２に記載の方法。
【請求項２４】
前記最適化問題を解決することは、偏微分方程式のシステムを解決することを含む、請求項２３に記載の方法。
【請求項２５】
ＶＲＤを適用することは、前記正定値パラメータ行列上でのシュール分解を使用して前記最適化問題を前記偏微分方程式のシステムに変換することを含む、請求項２４に記載の方法。
【請求項２６】
前記偏微分方程式のシステムは、
【数２３】
2019508805.tif 000091
として表され、ここで、
【数２４】
2019508805.tif 000092
は式
【数２５】
2019508805.tif 000093
として定義され、
【数２６】
2019508805.tif 000094
および
【数２７】
2019508805.tif 000095
は前記正定値パラメータ行列の部分行列であり、Δはベクトルラプラシアン演算子であり、
【数２８】
2019508805.tif 000096
はイメージについての前記初期セグメント化スコアであり、各
【数２９】
2019508805.tif 000097
はｋ番目のセグメント化クラス上での変換されたスコアを表し、
【数３０】
2019508805.tif 000098
はセグメント化クラスの数であり、ＶおよびＵはシュール分解後の前記正定値パラメータ行列の変換されたバージョンである、請求項２４に記載の方法。
【請求項２７】
前記最適化問題は、
【数３１】
2019508805.tif 000099
として表され、ここで、
【数３２】
2019508805.tif 000100
はイメージについての前記最終セグメント化スコアのベクトルであり、ｘはデータセットＩにおけるイメージであり、ｄは前記データセットＩの次元であり、ｓは
【数３３】
2019508805.tif 000101
と前記イメージについての前記初期セグメント化スコアのベクトルとを組み合わせたベクトルである、請求項２３に記載の方法。
【請求項２８】
前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬することをさらに有する、請求項２３に記載の方法。
【請求項２９】
情報を逆伝搬することは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定することを有する、請求項２８に記載の方法。
【請求項３０】
前記警報条件は、しきい値を超える前記複数のセグメント化クラスのうちの所定の１つについての最終セグメント化スコアと、しきい値を超える前記最終セグメント化スコアにおける変化とのセットから選択される、条件を有する、請求項２１に記載の方法。
【請求項３１】
個々のイメージを有する入力データセットを生成するように構成された、１つまたは複数のカメラと、
各イメージに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各イメージについて初期セグメント化スコアを決定するように構成された、ニューラルネットワークと、
平滑さ基準を強調することによって前記入力データセットの各イメージについて最終セグメント化スコアを決定し、前記最終セグメント化スコアに従って前記入力データセットをセグメント化するように構成された、セグメント化モジュールと、
前記セグメント化された入力データセットに基づいて、警報条件に合致するかどうかを決定し、前記警報条件に合致する場合に、警報を生成するように構成された、警報モジュールと、
を有する、データセグメント化のためのシステム。
【請求項３２】
前記セグメント化モジュールは、前記最終セグメント化スコアを決定するために変分反応拡散（ＶＲＤ）を適用するようにさらに構成される、請求項３１に記載のシステム。
【請求項３３】
前記セグメント化モジュールは、前記初期セグメント化スコアおよび正定値パラメータ行列に基づいてＶＲＤ最適化問題を解決するようにさらに構成される、請求項３２に記載のシステム。
【請求項３４】
前記セグメント化モジュールは、前記最適化問題を解決するために、偏微分方程式のシステムを解決するようにさらに構成される、請求項３３に記載のシステム。
【請求項３５】
前記セグメント化モジュールは、前記正定値パラメータ行列上でのシュール分解を使用して前記最適化問題を前記偏微分方程式のシステムに変換するようにさらに構成される、請求項３４に記載のシステム。
【請求項３６】
前記偏微分方程式のシステムは、
【数３４】
2019508805.tif 000102
として表され、ここで、
【数３５】
2019508805.tif 000103
は式
【数３６】
2019508805.tif 000104
として定義され、
【数３７】
2019508805.tif 000105
および
【数３８】
2019508805.tif 000106
は前記正定値パラメータ行列の部分行列であり、Δはベクトルラプラシアン演算子であり、
【数３９】
2019508805.tif 000107
はデータのユニットについての前記初期セグメント化スコアであり、各
【数４０】
2019508805.tif 000108
はｋ番目のセグメント化クラス上での変換されたスコアを表し、
【数４１】
2019508805.tif 000109
はセグメント化クラスの数であり、ＶおよびＵはシュール分解後の前記正定値パラメータ行列の変換されたバージョンである、請求項３４に記載のシステム。
【請求項３７】
前記最適化問題は、
【数４２】
2019508805.tif 000110
として表され、ここで、
【数４３】
2019508805.tif 000111
はデータのユニットについての前記最終セグメント化スコアのベクトルであり、ｘはデータセットＩにおけるデータのユニットであり、ｄは前記データセットＩの次元であり、ｓは
【数４４】
2019508805.tif 000112
と前記データのユニットについての前記初期セグメント化スコアのベクトルとを組み合わせたベクトルである、請求項３３に記載のシステム。
【請求項３８】
前記ニューラルネットワークは、前記最終セグメント化スコアおよびエラー信号を使用して前記ニューラルネットワークをトレーニングするために、情報を逆伝搬するようにさらに構成される、請求項３３に記載のシステム。
【請求項３９】
前記ニューラルネットワークは、前記正定値パラメータ行列に関して前記エラー信号の導関数を決定するようにさらに構成される、請求項３８に記載のシステム。
【請求項４０】
前記警報条件は、しきい値を超える前記複数のセグメント化クラスのうちの所定の１つについての最終セグメント化スコアと、しきい値を超える前記最終セグメント化スコアにおける変化とのセットから選択された条件を有する、請求項３１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願情報
本願は、２０１６年２月４日出願の米国特許第62/291,076号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本発明はイメージセグメント化に関し、より具体的には、変分原理に従った反応拡散プロセス（「変分反応拡散」と呼ばれる）を使用する、修正されたニューラルネットワークセグメント化に関する。
【背景技術】
【０００３】
関連技術の説明
意味的セグメント化は、入って来るデータを、たとえばグラフィックイメージの形で受け取り、そのデータを論理セグメントに分割しようとするものである。イメージを処理する場合、セグメント化される出力は、たとえば人、道路、樹木、またはその他の独特のイメージ特徴を表すピクセルを共にグループ化してもよい。
【０００４】
異なるセグメント化技法が使用されてきているが、既存の意味的セグメント化は、計算的に近視眼的である（たとえば、一度にイメージの小部分のみを考慮の対象とする）か、または計算的に非効率であるかの、いずれかである。
【発明の概要】
【０００５】
データセグメント化のための方法は、各ユニットに複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、ニューラルネットワークを使用して入力データセットの各ユニットについて初期セグメント化スコアを決定することを含む。最終セグメント化スコアは、平滑さ基準を強調することによって、入力データセットの各ユニットについて決定される。入力データセットは、最終セグメント化スコアに従ってセグメント化される。
【０００６】
データセグメント化のためのシステムは、各ユニットには複数のセグメント化クラスの各々についての初期セグメント化スコアを割り当てることで、入力データセットの各ユニットについて初期セグメント化スコアを決定するように構成されたニューラルネットワークを含む。セグメント化モジュールは、平滑さ基準を強調することによって入力データセットの各ユニットについて最終セグメント化スコアを決定し、その最終セグメント化スコアに従って入力データセットをセグメント化するように構成される。
【図面の簡単な説明】
【０００７】
本開示は、以下の図面を参照しながら、好ましい実施形態の以下の記述において詳細に説明する。
【０００８】
【図１】図１は、本原理に従ったデータセグメント化のための方法／システムを示すブロック／フロー図である。
【図２】図２は、本原理に従ったデータセグメント化のための方法を示すブロック／フロー図である。
【図３】図３は、本原理に従ったモデルおよびニューラルネットワークトレーニングのための方法を示すブロック／フロー図である。
【図４】図４は、本原理に従った監視システムを示すブロック図である。
【図５】図５は、本原理に従った処理システムを示すブロック図である。
【発明を実施するための形態】
【０００９】
好ましい実施形態の詳細な説明
本発明の実施形態は、イメージ特徴を識別するために畳み込みニューラルネットワーク（ＣＮＮ）を使用し、さらにセグメント化出力における平滑さを保証するために変分反応拡散（ＶＲＤ）を使用する、イメージセグメント化を提供する。ＶＲＤは、ＣＮＮのトレーニング期間に、ＣＮＮにおける重みを調整するために使用してよい逆伝搬導関数を生成するためにも使用される。本明細書に記載されているＶＲＤプロセスは、ピクセル数におけるＮ  ｌｏｇ  Ｎ時間（Ｎ  ｌｏｇ  Ｎ  ｔｉｍｅ）で正確な推定および損失導関数を提供する。
【００１０】
ＶＲＤにおける推定は、反応拡散プロセスのダイナミクスの下で証拠（またはクラススコア）を展開することとして解釈してもよい。１つの意味的クラスについての証拠は、拡散を介してイメージ全体にわたって伝搬し、他の意味的クラスの証拠と反応する、単項ポテンシャルとしてモデル化してもよい。これらのプロセスの各々は、各クラスについての証拠を局所的に作成するかまたは抑制する。凸面の、変分問題に対する解を生成するプロセスのクラスにモデルを制限することによって、安定均衡を保証することができる。
【００１１】
次に、同じ数値が同じかまたは同様の要素を表す図面を詳細に参照し、初めに図１を、詳細に参照すると、意味的セグメント化手順が、本原理の一実施形態に従って例示的に示されている。ピクセルの２次元アレイから形成される、入力イメージ１０２が提供される。本原理はグラフィック情報に限定されず、その代わりに、セグメント化可能な特徴を有する任意のタイプの情報に適用してもよいことを理解されたい。入力イメージ１０２は、特徴出力のセットを生成するために、ＣＮＮ１０４によって使用される。入力イメージ１０２における各ピクセルは、ＣＮＮの単一の入力に対応してもよく、ＣＮＮ１０４のピクセル当たりの出力の数は、イメージ入力１０２について選択される異なるセグメント化フィールドの数に対応している。
【００１２】
入力イメージ１０２の各ピクセルについて、ＣＮＮ１０４は、異なるセグメント化フィールドのセットの各々に沿ったピクセルについての数値を含む出力ベクトルを生成する。セグメント化フィールドは必ずしもイメージ入力１０２の直観的特徴に対応せず、その代わりに、意味のあるイメージのセグメント化を提供する自動的に生成された特徴を表す、ＣＮＮのトレーニングプロセスの結果であることを理解されたい。
【００１３】
出力ベクトルは、イメージ内の平滑さ基準を保証するために、ＶＲＤモジュール１０６によって使用される。一例において、平滑さは、イメージ入力１０２の特定セグメントにおけるピクセルが、互いに近接するか、または少なくとも近くに位置する傾向を言い表してよい。トレーニング中、さらにまたＶＲＤモジュール１０６は、エラー信号に基づいて、エラー情報をＣＮＮ１０４に戻す。ＶＲＤモジュール１０６およびＣＮＮ１０４はどちらも、今後の動作を向上させるために、エラー信号に応答して内部パラメータを調整する。ＶＲＤ１０６は、セグメント化スコアを表す各ピクセルについてのベクトルのセットを出力し、各ピクセルについてのベストスコアはそのピクセルに関連付けられたセグメントを表す。
【００１４】
前述のように、イメージ入力は、
【００１５】
【数１】
2019508805.tif 000003
と表してもよく、
【００１６】
【数２】
2019508805.tif 000004
の矩形サブセットは、イメージのドメインを表す。ＶＲＤは、関数
【００１７】
【数３】
2019508805.tif 000005
として表される、
【００１８】
【数４】
2019508805.tif 000006
入力特徴の空間的に変動するセットを、
【００１９】
【数５】
2019508805.tif 000007
出力スコアのセット
【００２０】
【数６】
2019508805.tif 000008
にマッピングする、関数として定義してもよい。
【００２１】
【数７】
2019508805.tif 000009
は、
【００２２】
【数８】
2019508805.tif 000010
が、ピクセルｘ∈Ｉでｋ番目のクラスに関連付けられたスコアである、意味的クラスの数として解釈される。予測は、
【００２３】
【数９】
2019508805.tif 000011
を介して生成される。
【００２４】
ＣＮＮ１０４からの出力ベクトルのセットは、本明細書では
【００２５】
【数１０】
2019508805.tif 000012
（ＶＲＤ１０６への入力を形成する）として示され、ＶＲＤ１０６からの出力ベクトルのセットは、本明細書では
【００２６】
【数１１】
2019508805.tif 000013
として示される。２つのベクトルを、
【００２７】
【数１２】
2019508805.tif 000014
および
【００２８】
【数１３】
2019508805.tif 000015
を単一関数
【００２９】
【数１４】
2019508805.tif 000016
に連結することを示す、ベクトル
【００３０】
【数１５】
2019508805.tif 000017
に組み合わせることができる。ＶＲＤモジュール１０６は、入力として
【００３１】
【数１６】
2019508805.tif 000018
を使用し、最適化問題を解決することによって、
【００３２】
【数１７】
2019508805.tif 000019
を生成する。表記を簡略化するために、イメージＩにおける特定ピクセルｘへのｓの依存性は省略される。最適化問題は、
【００３３】
【数１８】
2019508805.tif 000020
のように表すことが可能であり、ここで、ｄはイメージの次元を表す。パラメータＢおよびＱは、ｘに依存しない正定値パラメータ行列を表す。結果は、
【００３４】
【数１９】
2019508805.tif 000021
おける無限次元で、凸状の、２次最適化問題である。最適化問題は、導関数を、いくつかの
【００３５】
【数２０】
2019508805.tif 000022
について、
【００３６】
【数２１】
2019508805.tif 000023
軸に沿って
【００３７】
【数２２】
2019508805.tif 000024
からわずかな距離
【００３８】
【数２３】
2019508805.tif 000025
だけ離れた、有限差分近似
【００３９】
【数２４】
2019508805.tif 000026
に置き換えて、離散化することが可能である。直観的に、項
【００４０】
【数２５】
2019508805.tif 000027
は、各ポイントで
【００４１】
【数２６】
2019508805.tif 000028
および
【００４２】
【数２７】
2019508805.tif 000029
に関する単項ポテンシャルとして解釈することができるが、
【００４３】
【数２８】
2019508805.tif 000030
は、スコアベクトルにおける空間的変化を抑える、バイナリポテンシャルを表す。
【００４４】
変分の微積分（ｃａｌｃｕｌｕｓ  ｏｆ  ｖａｒｉａｔｉｏｎｓ）が上記の最適化問題に対する解を表すために使用されても良く、その解を下記の偏微分方程式の線形システムの階として表しても良い。
【００４５】
【数２９】
2019508805.tif 000031
ここで、Δはベクトルラプラシアン
【００４６】
【数３０】
2019508805.tif 000032
を表し、また、ＢおよびＱは、
【００４７】
【数３１】
2019508805.tif 000033
となるように、及び、Ｂについても同様となるように、部分行列
【００４８】
【数３２】
2019508805.tif 000034
に区分化されている。このシステムは、変数の線形変化、および、有限次元２次方程式への解に厳密に類似した後方置換を介して、効率的に解決することができる。具体的には、
【００４９】
【数３３】
2019508805.tif 000035
を作成するためにシュール分解が使用される。ここで、Ｖは正規直交であり、Ｕは上三角である。変数の変更
【００５０】
【数３４】
2019508805.tif 000036
が実行され、新しいパラメータが、
【００５１】
【数３５】
2019508805.tif 000037
として定義される。ｚの解は、後方置換を使用して見つけられ、まず、
【００５２】
【数３６】
2019508805.tif 000038
について、以下のスカラー偏微分方程式
【００５３】
【数３７】
2019508805.tif 000039
を解き、
【００５４】
【数３８】
2019508805.tif 000040
を確定し、
【００５５】
【数３９】
2019508805.tif 000041
を解き、
【００５６】
【数４０】
2019508805.tif 000042
へと後方に進む。ここで、ｋは特定の意味的クラスを表す。
【００５７】
ｚについて解いた後、出力スコアが、
【００５８】
【数４１】
2019508805.tif 000043
を介して得られる。上記のスカラー偏微分方程式は、高速フーリエ変換を介して、またはマルチグリッド法によって、離散化し、解いてよく、その複雑さは、ピクセル数におけるＮ  ｌｏｇ  Ｎとしてのみ程度が変わる。
【００５９】
隣接ピクセル間のユニット距離を想定すると、離散化は、線形方程式
【００６０】
【数４２】
2019508805.tif 000044
の以下の有限システム
【００６１】
【数４３】
2019508805.tif 000045
を生じさせる。ここで、ｆは上記方程式の右側を示す。ゼロ境界条件を想定すると、このシステムは、離散サイン変換によって解決することができる。上記式は、何らかのフィルタＦを用いる
【００６２】
【数４４】
2019508805.tif 000046
の畳み込みとして作成できるため、
【００６３】
【数４５】
2019508805.tif 000047
は、Ｆの離散サイン変換によって除算される、ｆの離散サイン変換の逆離散サイン変換として計算することができる。
【００６４】
ｚの解が見つかると、ＶＲＤモジュール１０６の出力を形成する、
【００６５】
【数４６】
2019508805.tif 000048
の項における出力を表すために、Ｖ行列の逆行列を求めることができる。この出力は、イメージＩのピクセル毎にｋ個のセグメント化クラスの各々に対応する値のセットを提供するものであり、
【００６６】
【数４７】
2019508805.tif 000049
におけるベストスコアに従って出力セグメント化クラスを決定するために使用される。
【００６７】
次に図２を参照すると、セグメント化方法が示されている。ブロック２０２は、ＣＮＮ１０４を使用して入力データセット（たとえば、イメージ）を処理し、特徴スコア
【００６８】
【数４８】
2019508805.tif 000050
を生成する。ブロック２０４で、ＶＲＤモジュール１０６は、入力ＶＲＤパラメータ（たとえば、ＶおよびＵ行列を形成するためにシュール分解を用いて処理される、前述のＢおよびＱ行列）を受け取る。
【００６９】
ブロック２０６は、線形変換を介して、スコア
【００７０】
【数４９】
2019508805.tif 000051
の中間セットを形成するために、ＣＮＮ出力ベクトル
【００７１】
【数５０】
2019508805.tif 000052
を変換する。次いで、ブロック２０６は、ｚについて上述した偏微分方程式を解くために、ＶＲＤパラメータおよび
【００７２】
【数５１】
2019508805.tif 000053
を使用する。前述のように、最適化問題をこうした方程式のセットまで減らすために、変分の微積分が使用される。シュール分解は、方程式のシステムを、スカラー値偏微分方程式のシーケンスとして解決することができる上三角の形にまで減らす、変数における変化を提供する（たとえば、
【００７３】
【数５２】
2019508805.tif 000054
および
【００７４】
【数５３】
2019508805.tif 000055
からＶおよびＵへの変化）。ブロック２０６は、ｋ＝Ｎからｋ＝１への降順で、
【００７５】
【数５４】
2019508805.tif 000056
について方程式のシステムを解決する。このようにして
【００７６】
【数５５】
2019508805.tif 000057
が完全に解決されると、ブロック２０８は、イメージ内の各ピクセルにセグメントを割り当てるために、変数における線形変化を逆にして、ｚに基づいて出力クラススコア
【００７７】
【数５６】
2019508805.tif 000058
を見つける。
【００７８】
次に図３を参照すると、モデル学習およびＣＮＮトレーニングの方法が示される。学習の間に、予想されるセグメント化出力を
【００７９】
【数５７】
2019508805.tif 000059
と比較することによって、エラー信号を表すこの２つの間の差を用いて、入力エラー信号が生成される。エラー信号は、微分可能損失関数
【００８０】
【数５８】
2019508805.tif 000060
として定義される。勾配ベースの学習は、パラメータ行列Ｂ、Ｑ、および、潜在的には入力
【００８１】
【数５９】
2019508805.tif 000061
に関して、Ｌの導関数を計算し、モデルを逆伝搬で使用できるようにする。逆伝搬導関数は
【００８２】
【数６０】
2019508805.tif 000062
であり、前述の推定プロセスと同じ偏微分方程式システムを解決し、
【００８３】
【数６１】
2019508805.tif 000063
を
【００８４】
【数６２】
2019508805.tif 000064
で置き換えることによって、解くことができる。具体的には、
【００８５】
【数６３】
2019508805.tif 000065
について、以下の方程式
【００８６】
【数６４】
2019508805.tif 000066
を解く。
【００８７】
ブロック３０２は、トレーニングデータからエラー信号を受け取り、ブロック３０４は、入力ＶＲＤパラメータ（たとえば、上述のブロック２０４で使用されたものと同じパラメータ）を受け取る。ブロック３０６は、ｚについて偏微分方程式を解く。ブロック３０８は、出力逆伝搬導関数を生成するために変数変化関係
【００８８】
【数６５】
2019508805.tif 000067
を使用し、ブロック３１０は、ＶＲＤパラメータ導関数を決定する。パラメータ導関数は、逆伝搬導関数の単純な関数として、以下のように表すことができる。
【００８９】
【数６６】
2019508805.tif 000068
【００９０】
次いで、ブロック３１２は、それぞれの導関数が所与のエラー信号に必要なある程度のパラメータ変更を提供することで、エラー信号に従ってＶＲＤモジュール１０６およびＣＮＮ１０４についてパラメータを調整する。
【００９１】
本明細書に記載した実施形態は、全体がハードウェアであっても、全体がソフトウェアであっても良く、または、ハードウェアおよびソフトウェアの両方の要素を含むものであってよい。好ましい実施形態において、本発明は、これらに限定されるわけではないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むソフトウェアにおいて実施される。
【００９２】
実施形態は、コンピュータまたは任意の命令実行システムによって、あるいはそれらに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能な、コンピュータプログラム製品を含んでもよい。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、あるいはそれらに関連して使用するためのプログラムを、記憶、通信、伝搬、または移送する、任意の装置を含んでもよい。媒体は、磁気、光、電子、電磁、赤外線、または半導体のシステム（あるいは、装置またはデバイス）、あるいは伝搬媒体とすることができる。媒体は、半導体またはソリッドステートメモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、固い磁気ディスク、および光ディスクなどの、コンピュータ可読記憶媒体を含んでもよい。
【００９３】
各コンピュータプログラムは、汎用または特定用途向けプログラマブルコンピュータによる読み取りが可能な、機械可読記憶媒体またはデバイス（たとえば、プログラムメモリまたは磁気ディスク）が、本明細書に記載された手順を実行するためにコンピュータによって読み取られるときに、コンピュータの動作を構成および制御するために、これらの記憶媒体またはデバイス内に有形に記憶されていてもよい。本発明のシステムは、コンピュータプログラムと共に構成される、コンピュータ可読記憶媒体内に具体化されるものとみなしてもよく、そのように構成された記憶媒体は、本明細書で説明する機能を実行するために、特定の事前定義された方法でコンピュータを動作させる。
【００９４】
プログラムコードを記憶／実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された、少なくとも１つのプロセッサを含んでもよい。メモリ要素は、実行中に大容量ストレージからコードが取り出される回数を減らすために、少なくともいくつかのプログラムコードの一時ストレージを提供する、プログラムコード、大容量ストレージ、およびキャッシュメモリの実際の実行中に使用されるローカルメモリを含むことができる。入力／出力すなわちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイスなどを含むが、これらに限定されない）は、直接、または介在Ｉ／Ｏコントローラを介して、システムに結合してもよい。
【００９５】
また、データ処理システムを、介在する専用または公衆のネットワークを介して、他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、システムにネットワークアダプタを結合してもよい。モデム、ケーブルモデム、およびイーサネットカードは、現在使用可能なネットワークアダプタのタイプのごく一部である。
【００９６】
次に、図４００を参照すると、イメージセグメント化の１つの具体的な例を与える、例示の監視システム４００が示されている。具体的に言えば、監視システム４００はハードウェアプロセッサ４０２およびメモリ４０４を含む。監視システム４００は、環境内の情報を収集するために使用してもよい、１つまたは複数のカメラ４１２および／または他のセンサを、さらに含む。監視システム４００は、一実施形態において、メモリ４０４内に記憶され、ハードウェアプロセッサ４０２によって実行される、ソフトウェアとして実施してもよい、１つまたは複数の機能モジュールをさらに含む。代替の実施形態において、機能モジュールは、１つまたは複数の個別ハードウェア構成要素として、たとえば、特定用途向け集積チップまたはフィールドプログラマブルゲートアレイとして、実装されてもよい。
【００９７】
ＣＮＮ４０６は、カメラ４１２によってキャプチャされ、メモリ４０４内に記憶されてもよい、または、任意の他のソースによって提供されてもよい、イメージＩを、入力として受け取る。ＣＮＮ４０６は、イメージ内の各ピクセルについて、ＣＮＮ４０６によって学習される異なるセグメント化クラスのセットに対応する、スコアを割り当てる。ＶＲＤモジュール４０８は、ＣＮＮによって出力されるスコアに対して平滑さ基準を強調し、イメージの各ピクセルについて、更新されたスコアを提供する。次いで、セグメント化モジュール４１０は、そのピクセルの更新されたスコアのうちのベストスコア（たとえば、スコアがどのように計算されるかに応じて、最高スコアまたは最低スコア）に従って、各ピクセルがクラスに割り当てられることで、いずれのピクセルが各セグメント化クラスに属するかを決定する。
【００９８】
たとえば入力イメージ内の特定のクラスまたはクラスのパターンが、イメージ内に存在することを、セグメント化モジュール４１０が示す場合、オペレータに監視警報を出すように、および任意選択で、たとえばドアをロックすること、または商業施設の物理的なセキュリティレベルを上げることなどの、自動化されたアクションを開始するように、警報モジュール４１４を構成してもよい。代替として、セグメント化スコアにおける変化が所定のしきい値を超えると、警報モジュール４１４がトリガされてもよい。たとえば、ビデオフィード内の特定の種類のセグメント化パターンの動きまたは存在をキャプチャするように、任意の適切な条件を実施してもよい。たとえば、所与のセグメント化クラスについてのスコアがしきい値を超えることによって、または、セグメント化クラスのうちの１つまたは複数についてのセグメント化スコアの変化がしきい値を超えた場合、条件がトリガされてもよい。
【００９９】
次に、図５を参照すると、監視システム４００を表してもよい例示の処理システム５００が示されている。処理システム５００は、システムバス５０２を介して他の構成要素に動作可能に結合された、少なくとも１つのプロセッサ（ＣＰＵ）５０４を含む。キャッシュ５０６、読み取り専用メモリ（ＲＯＭ）５０８、ランダムアクセスメモリ（ＲＡＭ）５１０、入力／出力（Ｉ／Ｏ）アダプタ５２０、サウンドアダプタ５３０、ネットワークアダプタ５４０、ユーザインターフェースアダプタ５５０、およびディスプレイアダプタ５６０が、システムバス５０２に動作可能に結合される。
【０１００】
第１のストレージデバイス５２２および第２のストレージデバイス５２４は、Ｉ／Ｏアダプタ５２０によってシステムバス５０２に動作可能に結合される。ストレージデバイス５２２および５２４は、ディスクストレージデバイス（たとえば、磁気または光のディスクストレージデバイス）、ソリッドステート磁気デバイスなどのうちの、いずれかとすることができる。ストレージデバイス５２２および５２４は、同じタイプのストレージデバイスまたは異なるタイプのストレージデバイスとすることができる。
【０１０１】
スピーカ５３２は、サウンドアダプタ５３０によってシステムバス５０２に動作可能に結合される。トランシーバ５４２は、ネットワークアダプタ５４０によってシステムバス５０２に動作可能に結合される。ディスプレイデバイス５６２は、ディスプレイアダプタ５６０によってシステムバス５０２に動作可能に結合される。
【０１０２】
第１のユーザ入力デバイス５５２、第２のユーザ入力デバイス５５４、および第３のユーザ入力デバイス５５６は、ユーザインターフェースアダプタ５５０によってシステムバス５０２に動作可能に結合される。ユーザ入力デバイス５５２、５５４、および５５６は、キーボード、マウス、キーパッド、イメージキャプチャデバイス、動き感知デバイス、マイクロフォン、上記デバイスのうちの少なくとも２つの機能を組み込んだデバイス、などのうちの、いずれかとすることができる。もちろん、本原理の趣旨を維持しながら、他のタイプの入力デバイスも使用可能である。ユーザ入力デバイス５５２、５５４、および５５６は、同じタイプのユーザ入力デバイスまたは異なるタイプのユーザ入力デバイスとすることができる。ユーザ入力デバイス５５２、５５４、および５５６は、システム５００との間で情報を入力および出力するために使用される。
【０１０３】
もちろん、当業者であれば容易に考えられるように、処理システム５００は他の要素（図示せず）を含んでもよく、また、ある要素を省いてもよい。たとえば、当業者であれば容易に理解されるように、様々な他の入力デバイスおよび／または出力デバイスを、その特定の実施に応じて、処理システム５００に含めることができる。たとえば、様々なタイプの無線および／または有線の入力および／または出力デバイスが使用可能である。さらに、当業者であれば容易に理解されるように、様々な構成において、追加のプロセッサ、コントローラ、メモリなども使用可能である。本明細書で提供される本原理の教示が与えられた場合、処理システム５００のこれらおよび他の変形形態は、当業者であれば容易に考えられる。
【０１０４】
上記は、あらゆる点で、限定的ではなく例証的および例示的であるものと理解されるべきであり、本明細書で開示される本発明の範囲は、詳細な説明からではなく、むしろ、特許法によって許可された全容に従って解釈される特許請求の範囲から、決定されるべきである。本明細書で図示および説明される実施形態は、本発明の原理を単に例示するものであり、当業者であれば、本発明の範囲および趣旨を逸脱することなく様々な変形が実施できることを理解されよう。当業者であれば、本発明の範囲および趣旨を逸脱することなく、様々な他の特徴の組み合わせが実施可能である。このように、特許法によって要求される詳細および特殊性を用いて本発明の態様を説明してきたが、特許証によって請求および望ましく保護された内容は、添付の特許請求の範囲に記載されている。
【図１】
2019508805.tif 000113
【図２】
2019508805.tif 000114
【図３】
2019508805.tif 000115
【図４】
2019508805.tif 000116
【図５】
2019508805.tif 000117
【国際調査報告】
2019508805.tif 000118
2019508805.tif 000119