周期性のあるデータにおける独立成分分析の研究 金森弘晃
指導教員 松田眞一
 成分は互いに独立である。
はじめに
近年、独立成分分析      独立成分の分布は非正規分布に従う。
： の研究が盛んになってきている。独立成分分析  独立成分データの次元は観測データの次元と同じか、とは複数の混合されたデータから統計的に独立な成分をそれよりも小さくなくてはならない。
導き出す手法である。この手法は特に音声分離や脳科学
混合行列は時間に関わらず不変と仮定する。の分野で積極的に利用され、活発な議論がなされている。
混合行列のランク はフルランクでなければ一方でデータ解析としての独立成分分析はまだ未熟であならない。
る。独立成分分析のデータ解析への適用は金融データへ
 導出過程の適用（）やアクセスログデータへの適用（宮本ら ）があるが、周期性の取り扱いについて独立成分分析の手順は次のとおりである。
は解析者の経験によるところが大きく、曖昧なままであ観測データを中心化するる。周期性が既知である場合、その情報を取り入れて解データを無相関化する
析した方がより多くの情報を得られる可能性がある。特各成分が互いに独立となる方向へ直交回転するに独立成分分析で扱うデータは時系列データであることが多い。データ解析の分野では時系列データであれば何 まずはじめに観測データの中心化と無相関化を行う。こらかの周期性が存在していることが多く、できればこの の無相関化には主成分分析や因子分析がよく使用されて周期性を既知の成分とし解析に活かすべきである。本研 いる。無相関化の最大のメリットは問題が簡単化されるこ究では周期性のあるデータにおいてどのようにデータ解 とである。また次元の多い場合には次元縮約として使用することもできる。無相関化を行った後は、成分を互いに析を進めるべきかを論ずる。
独立な方向に回転する必要がある。成分の回転において、
 独立成分分析どの方向にどれだけ回転すればよいかという問題が存在
いま、 次元のデータが観測されたとする。 つ目の次 する。独立成分は混合後よりも非正規的なため、何らか元データをスカラー量   、 つ目を   のように表 の非正規測度によって探索的に独立成分を探す方法がとし、縦に 個並べたベクトル Ü  を、られる。非正規性の基準としては、分布を用いるものとして情報量、最尤法、相互情報量、エÜ              ントロピーなどがある。それ以外にはモーメント、キュムと書き表すことにする。ここで  は時刻を表し、それぞ ラント、特性関数、非線形相関など多数あるが、それぞれれ離散値をとるものとする。 はそのデータ数である。一 よい部分もあれば悪い部分も持ち合わせている。非正規方、未知の  次元の統計的に独立な成分を性の評価基準を選択したら、あとは何らかの探索法によって回転方向を求める。探索法としては勾配法、不動点法、×              
ヤコビ法が挙げられる。今回の解析では主にとする。そのときこの間には混合行列  を用いてのというアルゴリズムを用いる。この方法は評価関数にネゲントロピー、探索法に不動点法を利Ü  × 用した方法である。なおこのアルゴリズムは初期値に乱という関係があることを仮定する。つまり独立成分分析 数を用いているため同じデータであっても解析ごとに結とは、観測されたデータ Ü  より未知の独立成分 ×  と 果が異なる。特に係数が少し異なるだけでなく全く意味混合行列  を求める問題になる。 の逆行列をとす づけの異なる成分が得られてしまうことがあり、本論文れば、その成分  を用いてではこの現象を独立成分の不安定性と呼ぶことにする。

!
$!

 % 





 
 "       "     "       "   "   "
 #

使用するデータについて

 気温データ

しかしながら独立成分 ×  と混合行列  の二つが未知であるため、通常この問題の解は無限に存在する。独立成分分析（甘利・村田村田
甘利を参照）ではこの問題を解決するため、次のような条件を設定している。

 #

$ #

 + !   となる。

 制約条件&'()%* ( 年の気温データを使用する。ま気象庁の公表するた 時間ごとの比較的細かいデータを収集した。観測地点は、札幌、東京、松本、名古屋、大阪、津山、福岡、那覇の 地点である。周期性という観点では、 年を通した大きな周期性のほかに、 日周期で変動する短期間の周期性が存在している。







シミュレーションデータ

シミュレーションでは気温データモデルを参考に、長期間周期性、短期間周期性、ノイズの組み合わせの 次元データを作成した。特に断らない限り設定値は以下のようにする。

,する。

 独立成分分析における寄与率

!

 "

""

   "   $ 

福岡札幌

,名古屋

東京

大阪

/,  ,, ,/ ,$, / 那覇

松本津山

 解明したい問題点

 解析結果解析結果を見たときにどの成分が観測データにどれだけの影響を与えているのか一目で把握できる指標があれば便利である。実際に解析において寄与率を算出している例（宮本ら ）もあるようである。本研究では、解析によって得られた混合係数行列      を用いて、周期性!! , $$/ !$/ $,
! $! $ !/ /!
/! /! !/ / $!
表  気温データの独立成分分析結果

 サンプル数は -"$ とする。
 長期間周期性の周期は  回とする。
 短期間周期性の周期は気温データと同じ ! 回周期と! 長期間周期性（振幅）の大きさは $##, とする。
$ 短期間周期性（振幅）の大きさは ## とする。
 ノイズは平均 、標準偏差  の正規ノイズとする。

寄与率 /$ , /

本論文において解明したい点は以下の通りである。

 周期性を解析前に除いたらどうなるのか なぜ解析ごとに結果が大きく異なる不安定性が存在するのか 独立成分数は指定すべきか! ノイズの影響はどの程度か$ 得られた独立成分の分布に特徴はあるか 外れ値のある場合にはどういった解析が有効か
次章からは以上についてより深く取り扱う。

既知の周期性を除く方法

周期性の周期が既知の場合、その周期性をあらかじめを各独立成分の強さとする。これは独立成分の観測デー除いて解析することが考えられる。
タにおける分散を計算している。独立成分分析によって得られた独立成分はいずれも分散が１に統一されているた  トレンド成分を除く
め、その混合係数の 乗和をとれば観測データにおける気温のデータやシミュレーションデータでは一番大き分散となる。この強さの総和に対する比を寄与率とする。
な独立成分としてトレンド成分が出る。気温データの場
 周期性の定量化
合それは１年周期の季節性の周期であり、この季節効果
今回は自己相関係数を用いて短期間周期性の定量化を を除きたい。平年値を引いた場合は強い独立成分の不安行う。自己相関係数関数を   、短期間周期性の周期を 定性があるため、結果が毎回変わるがそのうちの代表的な一つを示す。表 がその結果である。１番大きな成分は
 とすればその周期性  を、第８独立成分である。この成分は周期性の値が高く、１
日内の周期性を含んでいることが分かる。また周期性の     
値に関しては２倍近くに増えており、平年値を除くことと定義する。相関係数はから の範囲の値をとるた で純度の高い周期性を検出できている可能性が高い。２番目に大きな成分は第３独立成分であり、これは札幌のめ、最終的な周期性の最高値は となる。
み異符号の成分で平年値を除かない場合の３番目に近い。
 気温データの独立成分分析結果
３番目に大きな成分は札幌と福岡の値が大きい成分が現気温データに独立成分分析を行った結果の つが表 で れているが、この成分は現れないこともある。なお得らある。得られた つの独立成分のうち寄与率の高い成分 れた独立成分をプロットしてみると長期的に変化していのみを抜き出した。気温データには独立成分の不安定性 る成分が存在しないことから、季節トレンド成分は正常が存在するため別の結果が出ることがあるが、何も前処 に除去できていることが分かる。
理をしないとき順序は不定だが多くの場合この結果が出 特定の周期性を除くる。一番寄与率の大きい成分は第６独立成分である。そ同様に１日内の短期間周期性を除くことも可能である。の成分は大きく値が変動していることから１年周期の季の時間帯ごとに平均をとりそれ気温データの場合には節トレンドであることが分かる。次に大きな成分は第５独立成分である。表よりこの成分は１日の周期性が含ま を除けばよい。その他に、時期によって周期性の振幅がれていることがわかる。他の独立成分は特に大きな寄与 異なる場合には期間ごとの平均をとってその相対平均を率を持っていないが、３つ目に大きい成分として札幌と 除くことができる。

"   .  

!







!

松本の係数が大きい第１独立成分が現れることが多い。

  $ !$

寄与率

周期性名古屋

福岡

札幌

那覇

/!
,$$表

,

/

$

東京



/,大阪$


,,
!

松本

!!
/

!
$
/
,津山


$!/!

$!
$

 平年値を引いた気温データの独立成分分析結果

表 外れ値のある場合
外れ値のあるデータにおいてはデータ全体の対数をとる方法が有効である。また、より独自性の強い高域成分を除くために低域通過フィルタを併用することもできる。

 独立成分の不安定性

$

周期性の上にノイズとして  が で  が  のラプラス分布を混合した。表 はこのルールで作成された同一のデータに独立成分分析を 回連続して行った寄与率の結果である。表を見ると、大きな成分が つになったりつになったり毎回不安定な結果であることが分かる。特に 、 、 回目には寄与率の大きな成分が つしか無くなっており、周期成分まで影響のある不安定性が起こった。この現象はロジスティック分布においても同様に起こり、優ガウス的ノイズが独立成分の不安定性の直接原因になっていることが分かった。またノイズとしてではなく、共通の成分としてラプラス分布をのせた場合にも不安定性が存在することがあり、そもそも独立成分分析に優ガウス分布は適していない可能性がある。



  !

$

 ラプラスノイズを乗せたシミュレーション ある  つの観測地点の長い時系列データをデータ幅（気温データの場合は ! 回）で区切る
 区切ったデータごとにそれぞれ中心化する（分散の標準化は行わない）

独立成分分析は探索法によって独立となる成分を探し出すため、全く同一のデータだとしても解析ごとに毎回結果が異なる。大体の場合は係数が多少違うだけで済むが、何らかの条件で結果が大きく変わってしまう現象が見られることがある。今回この不安定性が優ガウス的ノイズや、周期性の不安定さから起こることがわかった。この章ではノイズのあるシミュレーションにおける不安定性の再現と、周期性の不安定さによって起こる場合にクラスタ平均を除去する方法を提案する。

 ノイズによる不安定性

 回目  回目  回目 ! 回目 $ 回目  !/ ,  !     ! $        ! $           $ 
 / $ /, 

 クラスター分析の方法を選び、実行する! 得られたクラスターごとに平均を算出する$ 元データより対応するクラスタ平均を除く
 他の観測地に対しても同様の操作を行う
手順  のクラスター分析法であるが、 )0'  法が一番独立成分の不安定性に強いことが分かった。次に )
0'  法でクラスター数を  とした結果を載せる。
寄与率

周期性

名古屋

福岡

札幌

那覇

$ ,!
 !

/


,
/

東京//$,

松本

大阪/,
$

津山/, , !/ /! 
 ,, $ ! 
表 ! クラスタ平均を除いた結果  )0'  法

結果を見ると周期性の値が大きい成分が無く、周期性については正常に除去できているようである。第 独立成分にはトレンド成分が現れている。また第 独立成分に札幌と松本の値が大きな成分が現れており、その他の成分への影響もそこまで大きくはないようである。焦点となっている不安定性であるが、このクラスタ平均除去後のデータは第 独立成分の分離を起こすことは全く無く、 クラスタ平均の除去安定した解析結果が得られている。気温データにおいて気温データの 日内周期性は日ごとに不安定であり、そ は法が一番結果が安定しているが、その他のれが独立成分の不安定要因となっている可能性がある。 方法もデータによってはかなりうまくいく可能性がある。
節では期間ごとの周期性を計算する方法に触れたが、 気温データにおいて安定性の高かったものはそのほかに気温データにおいて本当に分類すべきものは日照の有無 ウォード法、メディアン法、 平均法が挙げられる。注ではないかと考えた。しかし日照の有無は 日ごとに変 意すべき点は 日周期や 週間周期の成分が存在した場化するため、飛び離れた日付ごとに平均をとる方法を新 合、その成分がクラスター数の増加につれて除去されてたに考案する必要がある。そこで周期性の除去時にクラ しまう可能性があることである。実際にシミュレーショスター分析の導入を考えた。クラスター分析とはいくつ ンデータにおいてクラスター数が多い場合にその他の成かの対象を似たもの同士のグループに分類する方法であ 分が減衰しているのを確認している。使用の際にはクラる。手順は以下のとおりである。
スター数を出来る限り低く設定することが大切である。

$)0' $





&$

 成分  成分 ! 成分  成分  成分
//  / ! ///  / , $//   / ////    $//  $  
表 $ 気温データにおける最大成分の尖度



!
$

 $と確かに近い値を示している。全体的分の尖度は に見ると、観測データは全ての尖度が負で劣ガウス的分布だったのに対し、解析後の独立成分はその尖度が負の成分（周期性）は一つに集約され、他の成分が全て優ガウス的な分布になっている。気温データにおける寄与の小さい成分は正規分布には従っていないことが分かった。
なお正弦波の尖度は
 で、二山の分布になる。

$

元データ
尖度


,
,/
$
,


 独立成分数
実際のデータにおいて独立成分数は未知であることが多い。独立成分を指定して解析を行った場合、結果にどのような影響があるのだろうか。

 気温データにおける成分数指定
気温データにおいて成分数を指定して解析したところ、! から  成分ではいずれも独立成分の不安定性があることが分かった。 成分以下では不安定性が無いが、 成分にしてしまうとそもそも長期間周期性と短期間周期性が別の成分に分かれない結果となった。このことから一番安定して結果が得られたのは 成分であり、もし成分数を指定するならば が良いのではないかという結論に至った。 
!
$/
表得られた独立成分
寄与率 周期性
歪度

!
!
,
/
,!

$
$

/

,
!
,

,
,
/, 気温データの高次統計量

尖度

!
$
/
//
$

,,/
$$

まとめ
本研究での主な研究成果としては以下のとおりである。

尖度による成分数推定 周期性を事前に除去する方法を提案した。またそのところでそもそも独立成分の推定に独立性の評価基準を使っていることから、独立成分数の推定にもその評価基準（例えば尖度）を参考にすることを考える。まず気温データにおける成分数とその得られた成分の尖度について確認する。表 は気温データを独立成分分析にかけて得られた最も寄与率の高い成分（多くの場合これは長期間周期性である）の尖度である。各成分数につき 回の実験を行った。まず尖度が最も から離れている成分数は、節で議論した成分数と同じ 成分である。 成分よりも成分数を増やすと、尖度の値は少しだけ に近づいている。逆に 成分とすると 種類の周期性が分かれず、その結果尖度は に近づいている。このように気温データにおいては、尖度がある程度妥当な成分数の評価基準として使えそうである。

今回は数種類のデータのみしか用いることができなかったが、実用のためにはより多種のデータを試す必要があるだろう。しかし今回の研究がデータ解析における独立成分分析の利用を促すものになることを期待している。

 独立成分の分布

参考文献$

/$


解析で得られた独立成分はどのような分布に従うのだ
ろうか。そこで気温データにおいて得られた独立成分がどのような分布に従うのかを調べた。今回、ガンマ分布、正規分布、 分布、ロジスティック分布、ラプラス分布についてそれぞれ適合度検定を行った。その結果、ほとんどの分布はすべての成分について棄却されたが、ロジスティック分布のみはたまに１つの成分が棄却されないことがあった。そこで何度かを実行し、ロジスティック分布（尖度  ）との適合度検定を繰り返した。 回ほど繰り返したところ、毎回必ずある１つの成分の 値が前後であることが分かった。表 は気温データにおける高次統計量をまとめたものである。ロジスティック分布との適合度検定で最も 値が大きかった第 独立成+ 

$

除去により推定精度を上げることができた。

 独立成分の不安定性の原因を調べた。優ガウス的ノイズと混合行列の非定常性が原因として挙げられる。

 クラスタ平均除去によって不安定性を取り除いた。
! 独立成分数の評価基準として尖度を提案した。
$ 気温データにおける独立成分の分布は優ガウス的で少し歪んでいる。

おわりに 甘利俊一，村田昇：独立成分分析、多変量データ解析の新しい方法# サイエンス社#  甘利俊一：統計科学のフロンティア５、 多変量解析の展開、 独立成分分析とその周辺# 岩波書店#     # 1'2 &2' # 3%% 45 著# 根本幾# 川勝真喜 訳：【詳解】独立成分分析 信号解析の新しい世界 # 東京電機大学出版局# $! 宮本友介，清水昌平，西川康子，狩野裕：  +6 ( ))    7 2 # 日本行動計量学会大会発表論文抄録集  # 
$ 村田昇：【入門】独立成分分析# 東京電機大学出版局#!