Exact and soft recovery of structured signals from atomic and total variation norm regularization

This thesis treats regularization techniques of inverse problems using TVand atomic norms. In the rst part of the thesis, the two concepts are connected, making a unifed treatment in the rest of the thesis possible. Concretely, it is proven that for reasonable dictionaries, atomic norms can be calculated with the help of TV -minimization, and that the TV -norm can be considered as an atomic norm with respect to a special dictionary in a Hilbert space. The theory is formulated in an in nite-dimensional setting nite dimensional examples are however also included as subcases. In the following chapter, a result on the structure of solutions of TV -regularized problems is proven. Formulated and proven in an abstract setting, it states that in most cases, there will exist sparse solutions of the TV -regularized problems. In the chapter thereafter, exact recovery guarantees are discussed. The main aim of that chapter is to provide a link between TV -minimization and atomic norm-minimization with respect to certain dictionaries in so-called reproducible Kernel Hilbert spaces. These results are then applied to produce recovery guarantees for measurement models not previously treated in the literature. In the chapter thereafter, the framework of soft recovery is developed. A method is presented to prove approximate support recovery guarantees. This is rst formulated in a very general manner, and then applied to numerous examples. New results on the recoverability of large peaks in standard, nite dimensional dictionary sparse recovery is proven, as well as soft recovery guarantees for several di erent types of superresolution problems. In the nal chapter, methods for numerical resolution of in nite dimensional TV-regularized methods are discussed. The main novel nding is a connection between grid discretization of TV -regularized problem and linearization of the operators used to probe the signal. Deutsche Zusammenfassung Während des letzten Jahrzehnts haben die Techniken des Compressed Sensing das Gebiet der Signalverarbeitung weitgehend beein usst. Wie so oft in der angewandten Mathematik war die Idee, Sparsity ('Dünnbesetztheit') von Signalen x für die Rückkonstruktion aus linearen Messungen b = Ax auszunutzen bereits als Heuristik im Einsatz, als der theoretische Durchbruch gelang, unter anderem in den Artikeln [18, 30]. Klassisch gesehen ist das Ziel dieses Themengebiets, unterbestimmte lineare Gleichungssysteme unter der Zusatzannahme von Sparsity zu lösen. Die für diese Arbeit interessanteste Methode für diesen Zweck ist das sogenannte Basis Pursuit, oder `1-Minimierung: min x ‖x‖1 subject to Ax = b. Seit den Anfängen des Compressed Sensing hat sich die Theorie in verschiedenen Richtungen weiterentwickelt. Es wurden schon früh andere Strukturannahmen betrachtet, z.B. etwa niedriger Rang von Matrizen [67] oder Block-Struktur der Sparsity [37] . Viele von diesen Strukturannahmen können mit Hilfe des Konzepts der atomaren Normen behandelt werden. Gegeben eine Familie Φ = (φx)x∈Ω von Vektoren ('Dictionary') in einem reellen und endlichdimensionalen (wir werden diese Annahmen später fallen lassen) Hilbertraum H de niert man die atomare Norm über den folgenden Ausdruck [22] ‖v‖A := min {θ > 0 | v ∈ θ conv Φ} . Im Fall eines endlichen Dictionarys ist es klar, dass die atomare Norm mit Hilfe einer `1-Minimierung berechnet werden kann: ‖v‖A = ( ‖c‖1 subject to ∑ x∈Ω cxφx = v ) . In dem ersten Teil dieser Arbeit wird es darum gehen, diese Vorstellung auf unendlichdimensionalen Hilberträume H und kontinuerliche Indexmengen Ω zu verallgemeinern. Es wird sich herausstellen, dass, sofern die Abbildung x 7→ φx auf einer gewissen Art und Weise stetig ist (bzgl. einer a-priori de nierten Metrik auf Ω), so lässt sich die atomare Norm mit Hilfe einer TV -Norm-Minimierung (TV steht für 'totale Variation') folgendermaÿen ausrechnen lässt: ‖v‖A = ( min μ ‖μ‖TV subject to ∫