スパースモデリング
上述した用途の多くでは、関心がある未知の信号は、特定の「辞書」から得たいくつかの基本要素(「アトム」という)のスパースな(疎な)組み合わせとしてモデル化され、これが問題の正則化として用いられている。これらの問題では通常、所与のデータにモデルを最もよく一致させるために辞書 D {\displaystyle D} を適合させることを目的とするスパース辞書学習(英語版)(スパースコーディングともいう)のメカニズムが伴う。
多くの場合、観測された信号 x {\displaystyle x} はノイズを含んでいる。等式制約を緩和し、データフィッティング項に l 2 {\displaystyle \ell _{2}} ノルムを課すことで、スパース分解問題は、
min α ∈ R p ‖ α ‖ 0 subject to ‖ x − D α ‖ 2 2 ≤ ε 2 {\displaystyle \min _{\alpha \in \mathbb {R} ^{p}}\|\alpha \|_{0}{\text{ subject to }}\|x-D\alpha \|_{2}^{2}\leq \epsilon ^{2}}
あるいはラグランジュ形式で、
min α ∈ R p λ ‖ α ‖ 0 + 1 2 ‖ x − D α ‖ 2 2 {\displaystyle \min _{\alpha \in \mathbb {R} ^{p}}\lambda \|\alpha \|_{0}+{\frac {1}{2}}\|x-D\alpha \|_{2}^{2}}
となる。ここで、 λ {\displaystyle \lambda } は ε {\displaystyle \epsilon } を置換する。
ノイズのない場合と同様に、これらの2つの問題は一般にNP困難であるが、追跡アルゴリズムを用いて近似することができる。