(57)【要約】【課題】検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供する。【解決手段】周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして因子分析を行う因子分析手順と、前記因子分析手順で算出された因子得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。【選択図】        図１
2004349846.tif 000002
【特許請求の範囲】
【請求項１】
周期性のある時系列データの外れ値検出方法であって、
１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして因子分析を行う因子分析手順と、
前記因子分析手順で算出された因子得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有することを特徴とする外れ値検出方法。
【請求項２】
前記因子分析手順において、下記（１）式で表される１周期がｎ個のデータから構成されるｍ周期分の時系列データから、下記（２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）を生成し、当該データ（Ｙｌ，Ｙ２．．．，Ｙｍ）に対して因子分析を行うことを特徴とする請求項１に記載の外れ値検出法。
【数１】
2004349846.tif 000021
【請求項３】
前記因子分析手順において、前記（２）式で表されるデータに対して因子分析を行い、前記因子得点として、下記（３）式で表されるデータであって、前記（２）式で表されるデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）をｐ（ｐ＜ｎ）個の潜在変数で表現したデータ（Ｆｌ，Ｆ２，．．．，Ｆｍ）を求め、
前記外れ値判断手順において、下記（３）式で与えられるデータに対して、下記（４）式によりデータ間の距離を定義し、当該（４）式より下記（５）式を算出し、当該（５）式が下記（６）式を満たす時、データＹｉは外れ値であると判断することを特徴とする請求項２に記載の外れ値検出法。
【数２】
2004349846.tif 000022
【請求項４】
前記外れ値判断手順において、前記（３）式で表されるデータにクラスター分析を適用し、ｍ個のデータ（Ｆ１，Ｆ２，．．．，Ｆｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（９）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。
【数３】
Ｃ１，Ｃ２，．．．，Ｃｑ      ・・・・・・・・・・・・・・・・・・・・  （７）
Ｌｉｊ＝Ｄ（Ｆｉ、Ｆｊ）  ・・・・・・・・・・・・・・・・・・・  （８）
Ｌｉｊ＞Ｔ、かつ、｜Ｃｉ｜＞｜Ｃｊ｜、但し、Ｔはしきい値、｜Ｃｉ｜はクラ
スターＣｉの要素の数    ・・・・・・・・  ・・・・・・・・・・・  （９）
【請求項５】
前記外れ値判断手順において、前記（３）式で表されるデータにクラスター分析を適用し、ｍ個のデータ（Ｆ１，Ｆ２，．．．，Ｙｍ）を、下記（７）式で表されるｑ個のクラスターに分類し、
下記（８）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、
下記（１０）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断することを特徴とする請求項３に記載の外れ値検出法。
【数４】
2004349846.tif 000023
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、周期性のある時系列データの外れ値検出方法に係わり、本発明は、通信網の異常状態検出、誤測定データ検出に適用される。
【０００２】
【従来の技術】
網設備管理・計画業務の遂行にあたり、基礎トラフィックを適切に算出するためには、トラフィックデータから異常値（外れ値）を自動検出して排除する必要がある。
従来の外れ値検出方法として、測定データが正規分布に従うことを仮定して、グラブス検定を適用して外れ値候補データを抽出する方法が知られている（下記、非特許文献１、２参照）。
従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、検定対象であるトラヒックデータが正規分布に従わない場合には適用できない。
音声通信を対象とした固定電話のトラヒックでは、測定データが正規分布に従うが、近年の非音声通信に代表されるブロードバンドトラヒックでは、測定データが正規分布に従う保証はない。
【０００３】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】
井上，星合“設備管理用データを対象としたはずれ値検出方法”，                  ２００１  信学ソ大，ｎｏ，Ｂ−７−７１，ｐ．２６０，Ｓｅｐｔ．２００１．
【非特許文献２】
星合，井上，”網設備計画用トラヒックデータの外れ値検出に関する一考察”，２００２  信学総大，ｎｏ．Ｂ−７−３７，ｐ．２６４、Ｍａｒ．２００２．
【０００４】
【発明が解決しようとする課題】
前述したように、従来の方法は、検定対象であるデータが正規分布に従うことを前提にしており、そのため、検定対象であるトラヒックデータ（例えば、ブロードバンドトラヒックなど）が正規分布に従わない場合には適用できないという問題点があった。
前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能な外れ値検出方法を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００５】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
即ち、本発明は、周期性のある時系列データの外れ値検出方法であって、１周期分のデータの集まりを１サンプルとして、１周期内のｎ個のデータを変数項目に対するデータとみなして因子分析を行う因子分析手順と、前記因子分析手順で算出された因子得点をデータ間の類似度を表す指標としてサンプル間の距離を定義し、距離に基いて、外れ値であるかどうかを判定する外れ値判断手順とを有する。
また、本発明では、１周期がｎ個のデータから構成されるｍ周期分の時系列データ（Ｘ１１，Ｘ１２，Ｘ１３，．．．，Ｘ１ｎ，Ｘ２１，Ｘ２２，Ｘ２３，．．．，Ｘ２ｎ，．．．，Ｘｍ１，Ｘｍ２，Ｘｍ３，．．．，Ｘｍｎ）から、ｎ変量から成るｍ個の新たなデータ｛Ｙｌ，Ｙ２，．．．，Ｙｍ、但し、Ｙｉ＝（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）｝を生成し、当該データ（Ｙｌ，Ｙ２．．．，Ｙｍ）に対して因子分析を行う。
【０００６】
また、本発明では、ｐ次元の因子で特徴づけられた各サンプルの因子得点を算出し、因子得点を用いてサンプル間の距離を算出することにより、外れ値を含むサンプルを検出する。
また、本発明では、ｐ次元の因子で特徴づけられた各サンプルの因子得点を算出し、因子得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数とを用いて、外れ値を含むサンプルを検出する。
また、本発明では、ｐ次元の因子で特徴づけられた各サンプルの因子得点を算出し、因子得点を用いてサンプルをクラスターに分類し、クラスター間の距離とクラスター内のサンプル数の比率とを用いて、外れ値を含むサンプルを検出する。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
同図において、１は外れ値検出装置、２はデータ入力装置、３は因子分析装置、４は外れ値判断装置である。
データ入力装置２は、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する。
因子分析装置３は、ｎ変量からなるｍ個の観測データを、ｐ次元の因子に縮約しｐ個の因子得点を計算する。
外れ値判断装置４は、因子分析装置３の出力であるｐ個の因子得点より、各サンプル間の距離を算出し、各サンプルの中に外れ値が存在するか否かを判断する。
【０００８】
図２は、本実施の形態の外れ値検出装置の処理手順を示すフローチャートである。以下、本実施の形態の外れ値検出装置の処理手順を説明する。
始めに、データ入力装置２が、入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）からｎ変量からなるｍ個のデータを生成する（ステップＳ０）。
データ入力装置２は、下記（１１）式で表される入力データ（１周期がｎ個のデータから構成されるｍ周期分の時系列データ）から、下記（１２）式で表されるｎ変量から成るｍ個の新たなデータ（Ｙｌ，Ｙ２，．．．，Ｙｍ）を生成する。
【数５】
2004349846.tif 000003
次に、因子分析装置３が、ｎ変量からなるｍ個の観測データ（前記（１２）式で表されるデータ）に対して因子分析を行い、ｐ個の因子得点を計算する（ステップＳ１）。
因子分析装置３は、ｍ周期分の時系列データをｎ変最からなるｍ個の観測データとして因子分析を行うことで、前記（１２）式におけるｎ個のデータ（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）をｐ次元の因子に縮約し、ｐ個の因子得点を計算する。
即ち、因子分析装置３は、前記（１２）式の（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）を標準化して、下記（１３）式を算出する。
【０００９】
【数６】
2004349846.tif 000004
2004349846.tif 000005
前記（１３）式より、下記（１４）式を求める。
【数７】
2004349846.tif 000006
次に、前記（１４）式をｎ次元ベクトルとして、下記（１５）式で表される分散共分散行列Ｒを求める。
【００１０】
【数８】
2004349846.tif 000007
2004349846.tif 000008
【００１１】
相関行列Ｒの固有値を求め、降順にλ１，λ２，．．．．，λｎに並べ、固有値に対して、下記（１６）式で表される寄与率（Ｃｉ）を求める。
【数９】
2004349846.tif 000009
2004349846.tif 000010
寄与率が０．８以上となる固有値（λ１，λ２，．．．．，λｐ；但し、ｐ≦ｎ）を抽出し、下記（１７）式で表される固有ベクトル（Ｗ１，Ｗ２，．．．．，Ｗｐ）を求める。
【数１０】
2004349846.tif 000011
前記固有ベクトルを用いて、下記（１８）で表される因子負荷量を算出する。
【数１１】
2004349846.tif 000012
最小２剰法によって、下記（１９）式を最小にするｆｉｊを求める。
【００１２】
【数１２】
2004349846.tif 000013
2004349846.tif 000014
ｆｉｊより、下記（２０）式を求める。
【数１３】
2004349846.tif 000015
この（２０）式は、因子得点と呼ばれ、前記（１２）式におけるｎ個のデータ（Ｘｉ１，Ｘｉ２，Ｘｉ３，．．．，Ｘｉｎ）を、Ｐ個（Ｐ＜ｎ）の共通する変数で表現したときの変数であり、前記（１２）式を、Ｐ個の潜在変数で表現したものである。
次に、外れ値判断装置４が、ｐ個の因子得点を用いてｍ個のデータ間の距離を求め、外れ値を検出する（ステップＳ２）。
外れ値判断装置４の判断手法は３つあり、一番目の判断手法（請求項３に記載の発明）は、前記（２０）式で表されるデータ（Ｆｌ，Ｆ２，．．．，Ｆｍ）に対し、データ間の距離を、下記（２１）式で与え、当該（２１）式より、下記（２２）式を算出し、下記（２３）式を満たす時、データＹｉは外れ値であると判断する。
【００１３】
【数１４】
2004349846.tif 000016
【００１４】
外れ値判断装置４の二番目の判断手法（請求項４に記載の発明）は、前記（２０）式で表されるデータ（Ｆｌ，Ｆ２，．．．，Ｆｍ）にクラスター分析を適用し、ｍ個のデータ（Ｆ１，Ｆ２，．．．，Ｆｍ）を、下記（２４）式で表されるｑ個のクラスターに分類する。
【数１５】
Ｃ１，Ｃ２，．．．，Ｃｑ    ・・・・・・・・・・・・・・・・・・・・  （２４）
例えば、初期値として、１つのデータを構成単位とするｍ個のクラスター｛Ｆｌ｝、｛Ｆ２｝，．．．，｛Ｆｍ｝を設定する。
ｍ個のクラスター（Ｃ１，Ｃ２，．．．，Ｃｍ）に対して、非類似度行列ｄｉｊ（ｉ，ｊ＝１，２，．．．，ｍ）を、最短距離法、最長距離法、群平均法、重心法、ウォード法等を用いて計算する。
例えば、最短距離法の場合、クラスターＣｉ、Ｃｊの非類似度行列ｄｉｊは、クラスターＣｉ、Ｃｊ内の構成要素を、それぞれ（Ｆ１，Ｆ２，．．．，Ｆｉ）、（Ｆ’１，Ｆ’２，．．．，Ｆ’ｊ）とすると、下記（２５）式により表される。
【数１６】
2004349846.tif 000017
ここで、Ｌｉｊは、クラスターを構成する要素（Ｆｉ，Ｆ’ｊ）間の距離で、ユークリッド平方距離、マハラビノスの距離、シンコフスキー距離等がある。
ユークリッド平方距離の場合、Ｌｉｊは、下記（２６）式で与えられる。
【００１５】
【数１７】
2004349846.tif 000018
2004349846.tif 000019
非類似度行列ｄｉｊの全ての値がしきい値Ｄ’よりも大きければ、クラスター分析を終了する。そうでなければ、非類似度行列ｄｉｊが最も小さいクラスターＣｉ、Ｃｊとを融合して、１つのクラスターを生成する。
この処理によって、新しく生成された（ｍ−１）個のクラスターに対して、非類似度行列ｄｉｊ（ｉ，ｊ＝１，２，．．．，ｍ−１）を計算し、非類似度行列ｄｉｊの全ての値がしきい値Ｄ’よりも大きくなるまで前述の処理を続行する。これにより、前述の（２４）式で表されるクラスターに分類する。
そして、下記（２７）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２８）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１８】
Ｌｉｊ＝Ｄ（Ｆｉ、Ｆｊ）  ・・・・・・・・・・・・・・・・・・  （２７）
Ｌｉｊ＞Ｔ、かつ、｜Ｃｉ｜＞｜Ｃｊ｜、但し、Ｔはしきい値、｜Ｃｉ｜はクラ
スターＣｉの要素の数    ・・・・・・・・・・・・・・・・・・・  （２８）
【００１６】
外れ値判断装置４の三番目の判断手法（請求項５に記載の発明）は、前記（２０）式で表されるデータ（Ｆｌ，Ｆ２，．．．，Ｆｍ）にクラスター分析を適用し、ｍ個のデータ（Ｆ１，Ｆ２，．．．，Ｆｍ）を、前記（２４）式で表されるｑ個のクラスターに分類し、前記（２７）式で表されるクラスター間距離Ｌｉｊを、最短距離法、最長距離法、群平均法、重心法、メジアン法、ウォード法のいずれかの方法を用いて求め、下記（２９）式を満たすクラスターＣｉが存在すれば、Ｃｉに属するデータＹｉは外れ値であると判断する。
【数１９】
2004349846.tif 000020
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００１７】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の外れ値検出方法によれば、検定対象であるデータが正規分布に従わない場合でも外れ値を検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の外れ値検出方法を実施するための外れ値検出装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態の外れ値検出装置の処理手順を示すフローチャートである。
【符号の説明】
１…外れ値検出装置、２…入力装置、３…因子分析装置、４…外れ値判断装置。
【図１】
2004349846.tif 000024
【図２】
2004349846.tif 000025