LTIシステム理論
LTIシステム理論（）は、電気工学、特に電気回路、信号処理、制御理論といった分野で、線型時不変系（linear time-invariant system）に任意の入力信号を与えたときの応答を求める理論である。通常、独立変数は時間だが、空間（画像処理や場の古典論など）やその他の座標にも容易に適用可能である。そのため、線型並進不変（linear translation-invariant）という用語も使われる。離散時間（標本化）系では対応する概念として線型シフト不変（linear shift-invariant）がある。
任意の線型時不変系の属性を定義するのは、当然ながら線型性（linearity）と時不変性（time invariance）である。
線型性とは、システムの入力と出力の関係が、重ね合わせ特性を持つことを意味する。システムへの入力が次のように2つの信号を足し合わせたものであるとする。
すると、システムの出力は次のようになる。
ここで、formula_1 は入力が formula_2 だけだったときの出力を意味する。
このような重ね合わせ特性がある場合、任意の有理数スカラーについてスケーリング特性が得られる。入力 formula_3 による出力が formula_4 であるとき、入力 formula_5 による出力は formula_6 となる。
以上を形式的に表すと、線型系は次のような特性を示す。まず、システムに次の入力を与えるとする。
すると、そのシステムの出力は次のようになる。
formula_7 は任意の定数であり、formula_1 は入力が formula_2 だけだったときの出力を意味する。
時不変性とは、システムにある入力信号を現時点や "T" 秒後に与えたとき、"T" 秒のずれが生じるだけで出力信号が同じになることを意味する。入力 formula_3 による出力が formula_4 であるとき、入力 formula_12 による出力は formula_13 となる。つまり、入力が遅延すれば、出力もそのぶんだけ遅延する。これを時不変という。
LTIシステム理論の基本的な成果は、任意のLTIシステムをインパルス応答と呼ばれる単一の関数で完全に表せるようになったことである。システムの出力は、インパルス応答を持つシステムへの入力の単純な畳み込みである。この解析手法は、時間領域の観点であるといわれることが多い。離散時間線型シフト不変システムでも同様のことが言え、その場合の信号は離散時間の標本群であり、畳み込みはそれらの列に対するものとなる。
これと等価的に、伝達関数を使ってLTIシステムを周波数領域で解析することもできる。伝達関数とは、システムのインパルス応答をラプラス変換（離散時間の場合はZ変換）したものである。このような変換の特性として、周波数領域のシステムの出力は、入力を変換したものと伝達関数の積で表される。言い換えれば、時間領域での畳み込みと、周波数領域での乗法が等価となっている。
全てのLTIシステムにおいて、固有関数と変換の基底関数は複素指数関数である。システムへの入力が複素波形 formula_14（formula_15 は複素振幅、formula_16 は複素周波数）であるとき、その出力は入力にある複素定数を掛けたもの、例えば formula_17 となり、formula_18 は何らかの新たな複素振幅である。formula_19 という比は、周波数 formula_16 における伝達関数である。
正弦波は複素共役周波数の複素指数関数の総和であるため、システムの入力が正弦波なら、そのシステムの出力も正弦波となり、おそらく異なる振幅と異なる位相を持つが、周波数は同じになるだろう。
LTIシステム理論は様々な重要なシステムを説明できる。多くのLTIシステムは解析が「容易」とされており、少なくとも時変系や非線型のシステムに比べれば単純である。定数係数の線型な斉次微分方程式としてモデル化されるシステムは、LTIシステムである。例えば、抵抗器とコイルとコンデンサで構成される電気回路（RLC回路）がある。また、理想的なバネ-質量-ダンパ系もLTIシステムであり、数学的にはRLC回路と等価である。
多くのLTIシステムの概念は、連続時間と離散時間（線型シフト不変）とで類似している。画像処理では、時間変数は2次元の空間変数に置き換えられ、時不変性に関する事柄は2次元のシフト不変性に関する事柄に置き換えられる。フィルタバンクやMIMOを解析する場合、信号の配列を考えると分かり易い。
ここでは、時間を独立変数とし、そのインパルス応答が2次元関数であるシステムを想定し、時不変性によってそれを1次元に還元できることを示す。例えば、入力信号 formula_3 において、その添え字集合が実数線であるとする（すなわち、formula_22）。線型作用素 formula_23 はその入力信号に対して処理をするシステムを表している。この添え字集合に対して適切な作用素は、次のような2次元関数である。
formula_23 は線型作用素なので、入力信号 formula_3 に対するシステムの動作は、以下の重ね合わせ積分で表される線型写像となる。
線型作用素 formula_23 が時不変でもある場合、次のようになる。
ここで、次のように設定する。
すると、次のようになる。
formula_27 の第二引数がゼロなら、通常それを簡潔さのために削除するので、上記の重ね合わせ積分はフィルタ設計でよく使われる畳み込み積分になる。
従って、この畳み込み積分は任意の入力関数についての線型時不変系の作用を表している。有限次元のアナログについては、巡回行列を参照されたい。
このシステムにディラックのデルタ関数を入力したとき、デルタ関数は理想的なインパルスであるため、LTI変換の結果がインパルス応答となる。これを式に表すと次のようになる。
これにはデルタ関数のシフト属性を利用している。なお、ここで次が成り立つ。
従って formula_28 はそのシステムのインパルス応答である。
インパルス応答を使うと、任意の入力に対する応答を求めることができる。再び formula_29 のシフト属性を使い、任意の入力をデルタ関数群の重ね合わせとして表せる。
この入力をシステムに適用すると、次のようになる。
システムに関する全ての情報は、インパルス応答 formula_28 に含まれている。
固有関数とは、上述の作用素の出力が入力された関数に何らかのスケーリングを施した同じ関数になるときの入力された関数をいう。数式で表すと次の通り。
ここで、"f" が固有関数であり、formula_31 は固有値と呼ばれる定数である。
指数関数 formula_32（formula_33）は、線型時不変作用素の固有関数である。これについての簡単な証明を示す。
入力を formula_34 とする。インパルス応答 formula_28 でのシステムの出力は次のようになる。
畳み込みの交換律から、これを次のように変形できる。
ここで
はパラメータ "s" にのみ依存する。
従って、システムの応答は入力に定数 formula_36 をかけたものと同じであるから、formula_32 はLTIシステムの固有関数である。
指数関数が固有関数であるという性質は、LTIシステムの解析や予測に役立つ。そのラプラス変換
を使えば、インパルス応答から固有値を得ることができる。特に興味深いのは純粋な正弦波の場合（formula_38 の形式の指数関数、ただし formula_39 であり、かつ formula_40）である。これは引数が純粋な虚数であっても、一般に複素指数関数と呼ばれる。フーリエ変換 formula_41 により、純粋な複素正弦波の固有値が求められる。formula_36 と formula_43 は共にシステム関数、システム応答、伝達関数などと呼ばれる。
ラプラス変換は一般に、"t" がある値より小さいとき信号がゼロとなるような信号で使われる。通常、その信号がゼロでなくなる時点をスタート時点とし、ゼロから無限大までの積分とする（一方、負の無限大から積分するラプラス変換を一般に「両側ラプラス変換; bilateral Laplace transform」と呼ぶ）。
フーリエ変換は、無限に続く信号を処理するシステムの解析に使われる。例えば、変調された正弦波などだが、二乗可積分でない入力信号や出力信号には直接適用できない。スタート時点以前の信号がゼロなら、ラプラス変換は二乗可積分でなくとも適用可能である、フーリエ変換は、その信号のフーリエ変換が存在しない場合でも、ウィーナー・ヒンチンの定理を使って無限信号のスペクトルに適用される。
これらの変換は畳み込み属性があるため、システムの出力を与える畳み込みを畳み込み定理によって個別に変換したあとに積を求める形に変換できる。
これにより変換や逆変換が容易になるだけでなく、システム応答からシステムの挙動についての洞察を得ることができる。システム関数の絶対値 |"H"("s")| から、入力 formula_44 がシステムを通過できるか、それとも減衰してしまうかを見ることができる。
LTI作用素の簡単な例として導関数がある。
導関数のラプラス変換をとってみたとき、ラプラス変数 s によって単純な乗算に変形される。
導関数がこのような単純なラプラス変換の形式となることは、変換の有効性の証でもある。
別の単純なLTI作用素として、平均化作用素がある。
これは、積分が線型性をもつため、線型である。
また、時不変でもある。
formula_45 は次のような畳み込みとして記述することもできる。
なお formula_46 は次のように定義される。
システムについて最も重要な属性として、因果性と安定性がある。実世界でシステムを利用する場合、因果性は多かれ少なかれ必要である。非安定的なシステムも構築でき、様々な状況で有効である。
出力が現在と過去の入力のみに依存する場合、システムは「因果的; causal」であるという。「因果性; causality」の必要十分条件は次が成り立つことである。
ここで formula_28 はインパルス応答である。ラプラス変換は逆変換が一意に定まらないため、そこから因果性を判断することは通常不可能である。収束領域が示される場合、因果性を判断できる。
システムが有界入力-有界出力安定（BIBO安定）であるとは、全ての入力が有界なら出力も有界であることを意味する。数学的には、入力が次の条件を満たすとき
出力が次を満足する。
すなわち、formula_3 の有限の最大絶対値があれば、formula_4 の有限の最大絶対値が存在する。このとき、システムは安定であるという。必要十分条件は、インパルス応答 formula_28 が L にあることである（有限のLノルムを持つ）。
周波数領域では、収束領域に虚数軸 formula_51 が含まれていなければならない。システムを伝達関数としてモデル化するとき、系の極（伝達関数の分母多項式または特性多項式の根）を複素平面の左半平面に置かなければならない。ラウス・フルビッツの安定判別法によって特性多項式の係数から安定性が見える。
例としては、インパルス応答がSinc関数と等しい理想的なローパスフィルタは、BIBO安定ではない。これはSinc関数が有限のLノルムを持たないためである。従って何らかの有界な入力では、理想的なローパスフィルタの出力は無限となる。特に formula_52 のとき入力がゼロで formula_53 のときカットオフ周波数の正弦波となる場合、出力は原点以外では常に無限となる。
連続時間システムに関するほとんどあらゆる事柄について、離散時間システムにも対応する事柄が存在する。
多くの場合、離散時間 (DT) システムはより大きな連続時間 (CT) システムの一部となっている。例えば、デジタル録音システムはアナログの音響を入力とし、それをデジタイズして、必要に応じてデジタル信号を処理し、最終的に再生して人間が聴くためにアナログに戻してやる。
形式的には、研究されているDT信号のほとんどは、CT信号を一定間隔で標本化したものである。CT信号を formula_3 としたとき、アナログ-デジタル変換回路によってそれがDT信号 formula_55 に次のように変換される。
ここで "T" はサンプリング間隔である。DT信号が元の信号を正確に表現するには、入力信号の周波数の範囲を制限することが非常に重要である。標本化定理によれば、DT信号は formula_56 までの範囲の周波数しか扱えない。さもなくば、高周波成分がその範囲に折り返し雑音として出てくる。
ここでは、時間を独立変数とし、そのインパルス応答が2次元関数であるシステムを想定し、時不変性によってそれを1次元に還元できることを示す。例えば、入力信号 formula_55 において、その添え字集合が整数であるとする（すなわち、formula_58）。線型作用素 formula_23 はその入力信号に対して処理をするシステムを表している。この添え字集合に対して適切な作用素は、次のような2次元関数である。
formula_23 は線型作用素なので、入力信号 formula_55 に対するシステムの動作は、以下の重ね合わせ総和で表される線型写像となる。
線型作用素 formula_23 が時不変でもある場合、次のようになる。
ここで、次のように設定する。
すると、次のようになる。
formula_63 の第二引数がゼロなら、通常それを簡潔さのために削除するので、上記の重ね合わせ積分はフィルタ設計でよく使われる畳み込み総和になる。
従って、この畳み込み総和は任意の入力関数についての線型時不変系の作用を表している。有限次元のアナログについては、巡回行列を参照されたい。
このシステムに離散デルタ関数を入力したとき、デルタ関数は理想的なインパルスであるため、LTI変換の結果がインパルス応答となる。これを式に表すと次のようになる。
これにはデルタ関数のシフト属性を利用している。なお、ここで次が成り立つ。
従って formula_64 はそのシステムのインパルス応答である。
インパルス応答を使うと、任意の入力に対する応答を求めることができる。再び formula_65 のシフト属性を使い、任意の入力をデルタ関数群の重ね合わせとして表せる。
この入力をシステムに適用すると、次のようになる。
システムに関する全ての情報は、インパルス応答 formula_64 に含まれている。
固有関数とは、上述の作用素の出力が入力された関数に何らかのスケーリングを施した同じ関数になるときの入力された関数をいう。数式で表すと次の通り。
ここで、"f" が固有関数であり、formula_31 は固有値と呼ばれる定数である。
指数関数 formula_68（formula_58）は、線型時不変作用素の固有関数である。formula_70 はサンプリング間隔であり、formula_71 である。これについての簡単な証明を示す。
入力を formula_72 とする。インパルス応答 formula_64 でのシステムの出力は次のようになる。
畳み込みの交換律から、これを次のように変形できる。
ここで
はパラメータ "s" にのみ依存する。
従って、システムの応答は入力に定数 formula_74 をかけたものと同じであるから、formula_75 はLTIシステムの固有関数である。
指数関数が固有関数であるという性質は、LTIシステムの解析や予測に役立つ。そのZ変換
を使えば、インパルス応答から固有値を得ることができる。特に興味深いのは純粋な正弦波の場合（formula_76 の形式の指数関数、ただし formula_39）である。これは引数が純粋な虚数であっても、一般に複素指数関数と呼ばれる。離散時間フーリエ変換 (DTFT) formula_78 により、純粋な複素正弦波の固有値が求められる。formula_74 と formula_80 は共にシステム関数、システム応答、伝達関数などと呼ばれる。
Z変換は一般に、"t" がある値より小さいとき信号がゼロとなるような信号で使われる。通常、その信号がゼロでなくなる時点をスタート時点とする。フーリエ変換は、無限に続く信号を処理するシステムの解析に使われる。
これらの変換は畳み込み属性があるため、システムの出力を与える畳み込みを畳み込み定理によって個別に変換したあとに積を求める形に変換できる。
これにより変換や逆変換が容易になるだけでなく、システム応答からシステムの挙動についての洞察を得ることができる。システム関数の絶対値 "|H(z)|" から、入力 formula_75 がシステムを通過できるか、それとも減衰してしまうかを見ることができる。
LTI作用素の簡単な例として遅延作用素 formula_82 がある。
遅延作用素のZ変換をとってみると、z の単純な乗算に変形される。
遅延作用素がこのような単純なZ変換の形式となることは、変換の有効性の証でもある。
別の単純なLTI作用素として、平均化作用素がある。
これは、総和が線型性をもつため、線型である。
また、時不変でもある。
システムについて最も重要な属性として、因果性と安定性がある。CTシステムとは異なり、因果性のないDTシステムも実現可能である。非因果性FIRシステムに遅延を加えることで、簡単に因果性を持たせることができる。また、非因果性IIRシステムを作ることもできる（Vaidyanathan and Chen, 1995 を参照）。非安定的なシステムも構築でき、様々な状況で有効である。
出力が現在と過去の入力のみに依存する場合、システムは「因果的; causal」であるという。「因果性; causality」の必要十分条件は次が成り立つことである。
ここで formula_64 はインパルス応答である。Z変換は逆変換が一意に定まらないため、そこから因果性を判断することは通常不可能である。収束領域が示される場合、因果性を判断できる。
システムが有界入力-有界出力安定（BIBO安定）であるとは、全ての入力が有界なら出力も有界であることを意味する。数学的には、入力が次の条件を満たすとき
出力が次を満足する。
すなわち、formula_55 の有限の最大絶対値があれば、formula_85 の有限の最大絶対値が存在する。このとき、システムは安定であるという。必要十分条件は、インパルス応答 formula_64 が次を満足することである。
周波数領域では、収束領域に単位円 formula_87 が含まれていなければならない。システムを伝達関数としてモデル化するとき、系の極を複素平面の単位円に置かなければならない。ジュリーの安定判別法によって特性多項式の係数から安定性が見える。
二次元信号（例えば画像）の場合では、二元多項式が必ず因数分解できるとは限らないため、フィルターのBIBO安定性の判定は困難である。
まず、系の伝達関数がformula_88として表示されて、以下のように極を分類する：
NSSKはゼロと極を消去できなくで生まれる。例として、伝達関数は
のようにする。そのゼロは
になり、極は
になるので、formula_93はNSSKになる。NSSKの存在は複雑性の源。
便利のため、まだ以下の区域を定義する：
ならば、以下の定理が成立する。