網路診斷

網路診斷又稱網路斷層掃描，是近代發展的一種新的網路測量與推論方法，透過可收集到的有限資訊來推估無法觀測的網路資訊，主要分成主動診斷 (active tomography) 與被動診斷 (passive tomography) 兩類問題。被動診斷是資料從個別節點蒐集，去尋找路徑上的資訊，問題在估計起始節點至終端節點之流量矩陣。主動診斷是藉由設定接收節點，向接收節點傳送大量的封包，根據接收節點收集到的測量資料，分析網路內部有興趣的引數或識別網路拓撲結構。而衍生出來的統計問題稱為統計反向問題 (Statistical Inverse Problem)。

研究主題

網路診斷的概念最早由 Vardi 在 1996 年提出，現今的研究主要分為：

1.1 網路起始節點至終端節點的流量強度估計

所謂網路起始節點至終端節點 (SD) 流量強度估計主要是想要估計網路內各條 SD 路徑的封包流量。其主要概念為假設我們能觀測到網路內各節點互相傳送封包的路徑，以下簡稱連結和各條連結的封包流量，由各條連結所觀測到的結果來估計各條 SD 路徑的網路流量。

主要問題架構與符號定義如下：

假設網路模型內有 個節點、 條連結、 條 SD 路徑且定義 A 為 x 的路徑矩陣。

舉例來說，網路模型有 4 個節點 (a,b,c,d)、7 條連結、12 條 SD 路徑，如下方左圖所示，且路徑矩陣 A 可表達如下方右圖所示。

令表示第 條 SD 路徑在第 期的封包流量，在此假設。

因此連結的流量與 SD 路徑的流量可以表示成下列的線性模型

其中，

表示從第 1 期到第期各條連結上觀察到的流量向量

表示路徑矩陣，由元素 0 和 1 構成

表示從第 1 期到第期各條 SD 路徑的流量向量

我們希望利用觀測到的 Y 向量去估計 X 向量中的引數值，但通常 X 向量的維度遠大於 Y 向量的維度，因此 X 可能會有無限多解，

而目前發展出下列幾種尋找最佳引數解的方法

最大概似法
引數可能解中讓概似函式最大者
藉由 EM 演演算法找最大概似估計量
動差法
貝氏方法

1.1.1 例子

假設網路模型有 2 條連結、3 條 SD 路徑、1 期的 SD 流量，即

令 且

如下圖所示

則我們可以得到

因此模型可表示成

以最大概似法求最佳解為例，

引數可能解中讓概似函式最大者

先將所有可能的引數解找出。因為封包流量必須為正整數，因此只有以下兩組解：

 或

將可能的引數解代入概似函式

找出讓概似函式最大的引數解，即為最佳引數解

因為

 >

最佳解為

藉由 EM 演演算法找最大概似估計量

先將概似函式整理成期望值的型態

選定起始值

，運用 EM 演演算法，進行遞迴運算，直到找出讓期望值最大的引數解

利用 EM 演演算法求解的缺點是當網路模型較大時，在計算上比較複雜；即使當期數夠多時，EM 演演算法僅能提高估計上的準確性並無法解決計算上的複雜。

針對 EM 演演算法的缺點，Vardi 在 1996 年提出一種較為可行的方法，即利用動差法來估計引數解。

假設當各條連結流量觀測的期數夠多時，根據中央極限定理

利用動差法，令樣本平均數等於母體平均數，樣本共變異數等於母體共變異數，即

 ，

由上述式子即可估計出引數解

因此 Vardi 提出動差法可解決計算上的困難，也可以利用產生動差等式解決引數解不唯一的情況。

1.2 網路連結層級引數推估

所謂網路連結層級引數推估問題主要是想要推論網路連結的特性，例如節點傳輸之間資訊遺失率或延遲分配等。其主要概念為假設已知網路的形式，包含節點、路徑等，一般常見為樹狀，以及假設已知網路特性的模型，蒐集端點所測量的結果來找出有最大機率產生觀察結果的網路引數。

若考慮封包遺失率下，其主要問題架構與符號定義如下：

假設有一個樹狀網路定義為

，

表示該網路有 V 個節點 (包含起始節點 0、終端節點 R 及中間節點 I)、E 條連結。令

，

其中表示封包傳送是否透過節點，即

表示沒有透過節點
表示有透過節點

此外，若且，表示節點與之間的連結有封包透過，此處以表示封包透過的機率。

舉例來說，

上圖為一個樹狀網路

數字表示節點，起始節點為 0，中間節點為 1、 2、 3，而終端節點為 4、5、6、7，表示連結的透過率。

令封包傳送結果，則其機率分配表示為。

並假設發送了個封包，令表示所獲得的封包數，則 個獨立的觀測值

、到的分配為

，

因此問題的目標即為估計。

從起始節點傳送封包，並觀察終端節點封包透過情況。傳送封包主要有兩種情況，一種為一次只傳送到一個接收的端點，稱為單一傳送；另一種為封包傳送到特定的一些接收端點，稱為多重傳送。然而這兩種傳送方式較沒有彈性，且無法使用不同的流量或不同時間下觀察網域，因此 Xi et al. (2006) 及 Lawrence et al. (2006) 針對彈性傳送 (flexicast) 封包的情況作探討。

此種觀察封包傳送情況來對網路做推論產生了統計反向問題，即利用觀察結果來診斷連結中的分配或特徵。有許多統計方法可解決此類推論問題，Castro et al. (2004) 提到像是降低複雜性的階層統計模型 (Complexity-Reducing Hierarchical Statistical Models)、動差或最大概似法為主的估計、EM 及馬可夫鏈蒙地卡羅 (Markov Chain Monte Carlo, MCMC) 演算方法等已被使用；且認為而使用統計方法來解決此問題的領域仍具有發展性，而未來應有更多現存的統計方法可加以應用。

以下茲列舉一種問題情況：「針對多重傳送為主的網路來推論該網路的封包遺失率」來說明網路連結引數中的遺失率推估問題。估計封包遺失率為 Cáceres et al.(1999) 首先研究，在假設連結遺失為獨立的伯努利分配下，利用最大概似法來估計多重傳送的樹狀網路中連結遺失率；他們亦證明此估計量具備強烈一致性，並透過最大概似估計量之漸近常態性來推匯出這些估計的比率會收斂到真正的比率。

以最大概似法求估計之連結遺失率方法如下：首先計算對數概似函式，

；

則的最大概似估計量。

另外，Cáceres et al.(1999) 亦利用終端節點接收封包機率來估計。令為第個節點傳送下來之終端節點所成集合，為集合中至少有一個終端節點有收到封包之所有觀測情況所成集合。假設，則估計量為，

即觀察到的比例總和。令表示節點為前一個節點所傳下來的，

且定義，即前個節點傳下來。並令表示第條連結所在從起始到終端節點的層級。定義

，

表示給定從第的節點傳送的節點有透過下，其傳送到的終端節點至少有一個有收到封包的機率。他們證明跟的關係為

，

即將透過第 k 條連結所在從起始到終端節點的所有相乘，在該篇文章中亦提供求的演算程式。因此，利用觀察到的樣本結果，則可推估封包透過率，而封包遺失率則可求之。

1.2.1 例子

以兩層的樹狀網路為例：

令透過此網路終端節點的可能情況集合為

，

其中

00 表示封包皆沒有透過節點 2 跟 3，
10 表示封包透過節點 2 但沒有透過節點 3，
01 表示封包透過節點 3 但沒有透過節點 2，
11 表示封包節點 2 跟 3 皆有透過。

可計算值如下：

= P (1) 表示從第 1 個節點傳送下來之終端節點中，至少有一個節點有收到封包的機率。

= P (2) 表示從第 2 個節點傳送下來之終端節點中，至少有一個節點有收到封包的機率。

= P (3) 表示從第 3 個節點傳送下來之終端節點中，至少有一個節點有收到封包的機率。

則

,

,

利用跟的關係式可得

，

補充

2.1 EM 演演算法

EM 演演算法為一種在具有無法觀測的資料或是混合模型下計算最大概似估計量之一種有效率的反覆程式，每次遞迴 (iteration) 包含下列兩個步驟：

E 步驟 (Expectation)

此步驟為在給定完全的資料及當下的引數估計值後，計算對數概似函式的條件期望值。

M 步驟 (Maximization)

此步驟為在最大化 E 步驟中的條件期望值對數概似函式，即求最大概似估計量。

令表示觀察到的資料，表示遺失或無法觀測的資料，及表示欲估計的引數。

演算步驟如下：

選擇引數起始值 。
第 m 次遞迴
E 步驟：

M 步驟：