シグモイド関数と伝達関数


## はじめに

**シグモイド関数**（Sigmoid function）は、深層学習の活性化関数として有名ですが、**S字型のスムーズな立ち上がり応答**は、制御系や信号処理でも非常に重要です。
この滑らかな遷移を、**ステップ入力に対する線形システムの応答**でどこまで再現できるか？という視点から、以下の近似的アプローチを整理します。

---

## 比較対象：シグモイド関数とは

$$
\sigma(t) = \frac{1}{1 + e^{-t}}
$$

* \$\displaystyle \lim\_{t \to -\infty} \sigma(t) = 0\$
* \$\displaystyle \lim\_{t \to +\infty} \sigma(t) = 1\$
* \$t=0\$ にて変化率最大（微分最大）

\*\*微分形（活性化の勾配）\*\*も滑らかで、正規分布的：

$$
\frac{d}{dt} \sigma(t) = \sigma(t)(1 - \sigma(t))
$$

---

## 1. 問題設定：ステップ入力 × 伝達関数 ≒ S字応答

### ▶ 入力：ステップ関数

$$
u(t) = 
\begin{cases}
0 & (t < 0) \\
1 & (t \geq 0)
\end{cases}
$$

### ▶ 出力：LTI系のステップ応答


$$
y(t) = \mathcal{L}^{-1} \left\{ \frac{1}{s} \cdot G(s) \right\}
$$


伝達関数 \$G(s)\$ を調整して、\$y(t)\$ がシグモイドのような滑らかでS字的な応答になることを目指します。

---

## 2. n次ローパスフィルタによる近似（多段遅れ）

### ▶ 伝達関数：

$$
G(s) = \frac{1}{(\tau s + 1)^n}
$$

ここで：

* \$\tau\$：時定数（応答の遅さを決定）
* \$n\$：次数（段数、応答の滑らかさを調整）

### ▶ ステップ応答（\$n=3\$, \$\tau=1\$ の場合）：

$$
Y(s) = \frac{1}{s(s+1)^3}
\quad \Rightarrow \quad
y(t) = 1 - e^{-t} \left(1 + t + \frac{t^2}{2}\right)
$$

### ▶ 特徴：

* \$\tau\$と\$n\$を調整することで**滑らかな立ち上がり**
* \$\displaystyle \lim\_{t \to \infty} y(t) = 1\$（シグモイドと一致）
* **S字性・物理実装・安定性すべてに優れる**

---

## 3. パデ（Pade）近似による純遅れの近似

### ▶ 純遅れ関数：

$$
e^{-sT}
$$

はシステム論では扱いづらいため、有理関数で近似します。

### ▶ 一般形：$\[n/n]\$ パデ近似

$$
e^{-sT} \approx \frac{\sum_{k=0}^{n} \frac{(-sT)^k}{k!}}{\sum_{k=0}^{n} \frac{(sT)^k}{k!}}
$$

### ▶ 1次パデ近似（\$n=1\$）：

$$
e^{-sT} \approx \frac{1 - \frac{sT}{2}}{1 + \frac{sT}{2}}
$$

### ▶ 特徴：

* **純粋な遅れ**がある系（ロボット制御・通信など）に有効
* 高次化で精度向上するが、**安定性の確保が課題**
* 遅れ応答 → S字型に見える領域あり（シグモイドに似せる）

---

## 4. テイラー展開とパデ近似の違い

| 比較項目    | テイラー展開                                  | パデ近似                      |
| ------- | --------------------------------------- | ------------------------- |
| 定義      | 多項式（\$a\_0 + a\_1x + a\_2x^2 + \dots\$） | 有理関数（多項式/多項式）             |
| 応答特性    | 局所線形化・微分に強い                             | 分母構造を持ち、より**非線形や遅れ要素に強い** |
| 精度      | 局所のみに高い                                 | 広い領域で精度が安定                |
| シグモイド近似 | △：振幅・遷移が直線的すぎる                          | ○：指数型や遅れに近似可能             |

---

## 5. チェビシェフ近似（Chebyshev Approximation）

### ▶ 特徴：

* 区間 $\[-1, 1]\$ における**最大誤差を最小化**（ミニマックス近似）
* チェビシェフ多項式 \$T\_n(x)\$ によって構成：

$$
T_0(x)=1,\quad T_1(x)=x,\quad T_2(x)=2x^2 - 1,\quad \dots
$$

* 特定の関数（例：\$\tanh(t)\$ や \$e^{-t}\$）の**高精度近似に使える**

### ▶ 弱点：

* 高速遷移やオーバーシュートが発生する場合があり、**過渡応答に振動が出やすい**

---



## 6. バターワース / ベッセル / チェビシェフの比較（伝達関数付き）

| フィルタ名           | 伝達関数の一般形（次数 n）                                                                      | ステップ応答の特徴          | シグモイド近似性 |
| --------------- | ----------------------------------------------------------------------------------- | ------------------ | -------- |
| **Butterworth** | $H(s) = \frac{1}{\prod_{k=1}^{n} (s - s_k)}$       <br> $s_k = e^{j\pi(2k+n-1)/2n}$ | 滑らか、モノトニック上昇       | ◎        |
| **Bessel**      | $H(s) = \frac{\theta_n(0)}{\theta_n(s)}$          <br>※ $\theta_n(s)$：Bessel多項式     | 群遅延一定、最も自然な応答      | ◎        |
| **Chebyshev I** | $H(s) = \frac{1}{\sqrt{1 + \varepsilon^2 T_n^2(s)}}$ <br> $T_n(s)$：チェビシェフ多項式        | オーバーシュートあり、早い立ち上がり | △        |

---

### ▶ 各フィルタの具体例（n = 2 の場合）

#### Butterworth (2次)

$$
H(s) = \frac{1}{s^2 + \sqrt{2}s + 1}
$$

* カットオフ特性が**最もなめらか**
* ステップ応答：緩やかで単調増加

---

#### Bessel (2次)

$$
H(s) = \frac{3}{s^2 + 3s + 3}
$$

* 位相応答が最も理想的（群遅延一定）
* ステップ応答：**歪み最小、オーバーシュートなし**

---

#### Chebyshev Type I (2次, ε = 1)

$$
H(s) = \frac{1}{s^2 + 1.618s + 1}
$$

* 伝達関数の分母係数がεに依存
* ステップ応答は**早いが振動あり**

---

### ▶ 注意点

* すべて $\omega_c = 1$（正規化）で設計
* 周波数変換で任意のカットオフ周波数に調整可能：

  $$
  s \leftarrow \frac{s}{\omega_c}
  $$

---



---

## 7. まとめ：どの近似がシグモイドに近いか？

| 方法          | シグモイド性 | 実装容易性  | 安定性       | 応答滑らかさ      |
| ----------- | ------ | ------ | --------- | ----------- |
| n次ローパス      | ◎      | ◎      | ◎         | ◎           |
| Butterworth | ◎      | ○      | ◎         | ◎           |
| Bessel      | ◎      | △（次数高） | ◎         | ◎           |
| Pade近似      | ○      | ○      | △（高次で不安定） | ○           |
| Chebyshev   | △      | ○      | ◎         | △（オーバーシュート） |
| Taylor展開    | △      | ◎      | ×（高次で発散）  | △           |

---

## おわりに

**シグモイド関数のような滑らかな遷移応答**を得るには、**適切な伝達関数設計**が不可欠です。
設計目標に応じて、以下のような選定が有効です：

* **汎用・安定・実装簡易 → n次ローパス / バターワース**
* **遅れ表現・非線形挙動再現 → パデ近似**
* **遅延歪を減らす → ベッセル**
* **通過帯域特性の最適化 → チェビシェフ**
* **高速評価・微小時間近似 → テイラー展開**

---