(57)【要約】【課題】検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供する。【解決手段】周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。【選択図】        図１
2004349852.tif 000002
【特許請求の範囲】
【請求項１】
周期性のある時系列データの外れ値検出方法であって、
１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、
前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有することを特徴とする外れ値検出方法。
【請求項２】
前記主成分分析手順において、下記（１）式で表される１周期がｎ個のデータから構成されるｍ周期分の時系列データから、下記（２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）を生成し、当該データ（Ｙｌ，Ｙ２．．．，Ｙｍ）に対して主成分分析を行うことを特徴とする請求項１に記載の外れ値検出法。
【数１】
2004349852.tif 000011
【請求項３】
前記主成分分析手順において、前記（２）式で表されるデータに対して主成分分析を行い、前記主成分得点として、下記（３）式で表されるデータであって、前記（２）式で表されるデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）の次元をｐ（ｐ＜ｎ）個に縮退させたデータ（Ｙｐｌ，Ｙｐ２，．．．，Ｙｐｍ）を求め、
前記外れ値判断手順において、下記（３）式で与えられるデータに対して、下記（４）式によりデータ間の距離を定義し、当該（４）式より下記（５）式を算出し、当該（５）式が下記（６）式を満たす時、データＹｉは外れ値であると判断することを特徴とする請求項２に記載の外れ値検出法。
【数２】
2004349852.tif 000012
【請求項４】
前記外れ値判断手順において、前記（３）式で表されるデータ（Ｙｐｌ，Ｙｐ２，．．．，Ｙｐｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（９）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。
【数３】
2004349852.tif 000013
【請求項５】
前記外れ値判断手順において、前記（３）式で表されるデータ（Ｙｐｌ，Ｙｐ２，．．．，Ｙｐｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（１０）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。
【数４】
2004349852.tif 000014
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、周期性のある時系列データの外れ値検出方法に係わり、本発明は、通信網の異常状態検出、誤測定データ検出に適用される。
【０００２】
【従来の技術】
網設備管理・計画業務の遂行にあたり、基礎トラフィックを適切に算出するためには、トラフィックデータから異常値（外れ値）を自動検出して排除する必要がある。
従来の外れ値検出方法として、測定データが正規分布に従うことを仮定して、グラブス検定を適用して外れ値候補データを抽出する方法が知られている（下記、非特許文献１、２参照）。
従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、検定対象であるトラヒックデータが正規分布に従わない場合には適用できない。
音声通信を対象とした固定電話のトラヒックでは、測定データが正規分布に従うが、近年の非音声通信に代表されるブロードバンドトラヒックでは、測定データが正規分布に従う保証はない。
【０００３】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】
井上，星合“設備管理用データを対象としたはずれ値検出方法”，        ２００１  信学ソ大，ｎｏ，Ｂ−７−７１，ｐ．２６０，Ｓｅｐｔ．２００１．
【非特許文献２】
星合，井上，”網設備計画用トラヒックデータの外れ値検出に関する一考察”，２００２  信学総大，ｎｏ．Ｂ−７−３７，ｐ．２６４、Ｍａｒ．２００２．
【０００４】
【発明が解決しようとする課題】
前述したように、従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、そのため、検定対象であるトラヒックデータ（例えば、ブロードバンドトラヒックなど）が正規分布に従わない場合には適用できないという問題点があった。
前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００５】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
即ち、本発明は、周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして主成分分析を行う主成分分析手順と、前記主成分分析手順で算出された主成分得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。
また、本発明では、１周期がｎ個のデータから構成されるｍ周期分の時系列データ（Ｘ１１，Ｘ１２，Ｘ１３，．．．，Ｘ１ｎ，Ｘ２１，Ｘ２２，Ｘ２３，．．．，Ｘ２ｎ，．．．，Ｘｍ１，Ｘｍ２，Ｘｍ３，．．．，Ｘｍｎ）から、ｎ変量から成るｍ個の新たなデータ｛Ｙｌ，Ｙ２，．．．，Ｙｍ、但し、Ｙｉ＝（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）｝を生成し、当該データ（Ｙｌ，Ｙ２．．．，Ｙｍ）に対して主成分分析を行う。
【０００６】
また、本発明では、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプル間の距離を算出することにより、外れ値を含むサンプルを検出する。
また、本発明は、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数とを用いて、外れ値を含むサンプルを検出する。
また、本発明では、ｐ次元の主成分に縮約された各サンプルの主成分得点を算出し、主成分得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数の比率とを用いて、外れ値を含むサンプルを検出する。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
同図において、１は外れ値検出装置、２はデータ入力装置、３は主成分分析装置、４は外れ値判断装置である。
データ入力装置２は、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する。
主成分分析装置３は、ｎ変量からなるｍ個の観測データを、ｐ次元の主成分に縮約しｐ個の主成分得点を計算する。
外れ値判断装置４は、主成分分析装置３の出力であるｐ個の主成分得点より、各サンプル間の距離を算出し、各サンプルの中に外れ値が存在するか否かを判断する。
【０００８】
図２は、本実施の形態の外れ値検出装置の処理手順を示すフローチャートである。以下、本実施の形態の外れ値検出装置の処理手順を説明する。
始めに、データ入力装置２が、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する（ステップＳ０）。
データ入力装置２は、下記（１１）式で表される入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）から、下記（１２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）を生成する。
【数５】
Ｘ１１，Ｘ１２，Ｘ１３，．．．，Ｘ１ｎ，Ｘ２１，Ｘ２２，Ｘ２３，．．．，Ｘ２ｎ，．．．，Ｘｍ１，Ｘｍ２，Ｘｍ３，．．．，Ｘｍｎ    ・・・・・・・・・・・・・・  （１１）
Ａ＝｛Ｙｌ，Ｙ２，．．．，Ｙｍ｝、但し、Ｙｉ＝（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）            ・・・・・・・・・・・・・・・・・・・・  （１２）
次に、主成分分析装置３が、ｎ変量からなるｍ個の観測データ（前記（１２）式で表されるデータ）を、ｐ次元の主成分に縮約しｐ個の主成分得点を計算する（ステップＳ１）。
主成分分析装置３は、前記（１２）式をベクトルと見なして下記（１３）式で表される相関行列Ｒを求める。
【０００９】
【数６】
2004349852.tif 000003
2004349852.tif 000004
【００１０】
相関行列Ｒの固有値を求め、降順にλ１，λ２，．．．．，λｎに並べ、固有値に対して、下記（１４）式で表される寄与率（Ｃｉ）を求める。
【数７】
Ｃｉ＝λｉ／ｎ  ・・・・・・・・・・・・・・・・・・・・  （１４）
寄与率が０．８以上となる固有値（λ１，λ２，．．．．，λｐ；但し、ｐ≦ｎ）を抽出し、下記（１５）式で表される固有ベクトル（Ｗ１，Ｗ２，．．．．，Ｗｐ）を求める。
【数８】
2004349852.tif 000005
前記（１２）式と、前記固有ベクトルから、下記（１６）式で表されるＺｉｊを求める。
【００１１】
【数９】
2004349852.tif 000006
2004349852.tif 000007
Ｚｉｊより、下記（１７）式を求める。
【数１０】
Ｙｐｉ＝（Ｚｉ１，Ｚｉ２，Ｚｉ３，．．．，Ｚｉｐ）、但し、Ｐ＜ｎ、ｉ＝１，２，．．．，ｍ                ・・・・・・・・・・・・・・・・・・・・・  （１７）
この（１７）式は、前記（１２）式で表される、ｎ個のデータで表現されるデータの持つ情報の損失をなるべく少なくして次元をＰ個（Ｐ＜ｎ）に縮退させたものである。
次に、外れ値判断装置４が、ｐ個の主成分得点を用いてｍ個のデータ間の距離を求め、外れ値を検出する（ステップＳ２）。
外れ値判断装置４の判断手法は３つあり、一番目の判断手法（請求項３に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｍ）に対し、データ間の距離を、下記（１８）式で与え、当該（１８）式より、下記（１９）式を算出し、下記（２０）式を満たす時、データＹｉは外れ値であると判断する。
【００１２】
【数１１】
2004349852.tif 000008
【００１３】
外れ値判断装置４の二番目の判断手法（請求項４に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐｌ，Ｙｐ２，．．．，Ｙｐｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｍ）を、下記（２１）式で表されるｑ個のクラスターに分類する。
【数１２】
Ｃ１，Ｃ２，．．．，Ｃｑ    ・・・・・・・・・・・・・・・・・・・  （２１）
例えば、初期値として、１つのデータを構成単位とするｍ個のクラスター｛Ｙｐｌ｝、｛Ｙｐ２｝，．．．，｛Ｙｐｍ｝を設定する。
ｍ個のクラスター（Ｃ１，Ｃ２，．．．，Ｃｍ）に対して、非類似度行列ｄｉｊ（ｉ，ｊ＝１，２，．．．，ｍ）を、最短距離法、最長距離法、群平均法、重心法、ウォード法等を用いて計算する。
例えば、最短距離法の場合、クラスターＣｉ、Ｃｊの非類似度行列ｄｉｊは、クラスターＣｉ、Ｃｊ内の構成要素を、それぞれ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｉ）、（Ｙｐ’１，Ｙｐ’２，．．．，Ｙｐ’ｊ）とすると、下記（２２）式により表される。
【数１３】
ｄｉｊ＝ｍｉｎ（Ｌｋ１，Ｌｋ２）  ｋ１＝１，２，．．．，ｉ、ｋ２＝１，２，．．．，ｊ                  ・・・・・・・・・・・・・・・・・・・・  （２２）
ここで、Ｌｉｊは、クラスターを構成する要素（Ｙｐｉ，Ｙｐ’ｊ）間の距離で、ユークリッド平方距離、マハラビノスの距離、シンコフスキー距離等がある。
ユークリッド平方距離の場合、Ｌｉｊは、下記（２３）式で与えられる。
【００１４】
【数１４】
2004349852.tif 000009
2004349852.tif 000010
非類似度行列ｄｉｊの全ての値がしきい値Ｄ’よりも大きければ、クラスター分析を終了する。そうでなければ、非類似度行列ｄｉｊが最も小さいクラスターＣｉ、Ｃｊとを融合して、１つのクラスターを生成する。
この処理によって、新しく生成された（ｍ−１）個のクラスターに対して、非類似度行列ｄｉｊ（ｉ，ｊ＝１，２，．．．，ｍ−１）を計算し、非類似度行列ｄｉｊの全ての値がしきい値Ｄ’よりも大きくなるまで前述の処理を続行する。これにより、前述の（２１）式で表されるクラスターに分類する。
そして、下記（２４）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２５）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１５】
Ｌｉｊ＝Ｄ（Ｙｐｉ、Ｙｐｊ）  ・・・・・・・・・・・・・・  （２４）
Ｌｉｊ＞Ｔ、かつ、｜Ｃｉ｜＞｜Ｃｊ｜、但し、Ｔはしきい値、｜Ｃｉ｜はクラスターＣｉの要素の数    ・・・・・・・・・・・・・・・・・  （２５）
【００１５】
外れ値判断装置４の三番目の判断手法（請求項５に記載の発明）は、前記（１７）式で表されるデータ（Ｙｐｌ，Ｙｐ２，．．．，Ｙｐｍ）にクラスター分析を適用し、ｍ個のデータ（Ｙｐ１，Ｙｐ２，．．．，Ｙｐｍ）を、前記（２１）式で表されるｑ個のクラスターに分類し、前記（２４）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２６）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１６】
Ｌｉｊ＞Ｔ１、かつ、｜Ｃｉ｜／ｍ＞Ｔ２  但し、Ｔ１、Ｔ２はしきい値・・・・・・・・・・・・・・・・・・・・  （２６）
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００１６】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の外れ値検出方法によれば、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態の外れ値検出装置の処理手順を示すフローチャートである。
【符号の説明】
１…外れ値検出装置、２…入力装置、３…主成分分析装置、４…外れ値判断装置。
【図１】
2004349852.tif 000015
【図２】
2004349852.tif 000016