回帰分析

特 集

機械学習

コミュニケーションの未来を描く基礎研究

特徴の組合せ機械学習

膨大な情報の組合せから楽々学習
２ 次の多項式回帰では，要因の組合せを考慮することで線形回帰（１次の多項式回帰）よりもデータに適合したモデルを得ることが期待できますが，要因数が多くなると組合せ数が膨大になり実現が困難になります．本稿では，NTTコミュニケーション科学基礎研究所が開発した要因数が多い
データでも組合せを効率的に扱うことで解析を可能にし，初期値非依存な学 習 ア ル ゴ リ ズ ム に よ り 解 析 結 果 を 得 る の を 容 易 に す るConvex
Factorization Machines（CFM）を紹介します．

ふ じ のあきのり

Mathieu Blondel /藤野 昭典
う え だ

なおのり

上田 修功
NTTコミュニケーション科学基礎研究所

ら重みの値を推定します．得られた重の種別のそれぞれの要因に対して重みみの値を確認することで，住宅価格にを推定する線形回帰技術では精度が高

近年，コンピュータや計測機器の性大きく影響する要因を見出すことがでい関係式を得られません．精度が高い能向上や，インターネット，ソーシャきます．また，線形回帰技術で得られ関係式を得るためには，駅からの距離ルメディア，小型端末などの普及によた関係式を用いて，新規物件の契約価に対する重みを戸建て ・ 集合住宅のり，データの収集，蓄積が容易になり，格を予測することができます．

それぞれの場合で分ける，すなわち要回帰技術

集めたデータを科学研究やビジネスに

しかし，線形回帰技術はモデルが単因の組合せを関係式に導入する必要が活用することが期待されています．機

純なため，扱いやすい一方で得られるあります．このように，各要因に加え械学習はデータの解析や活用を実現す

関係式の精度に限界があります．例えて要因の組合せも考慮して関係式を得るための技術として注目を集めておば，戸建てと集合住宅ではともに駅かる技術を ２ 次の多項式回帰技術といいり，機械学習の一手法である回帰技術

らの距離が遠いと住宅価格は下がりまます．

はデータ解析や未観測データの予測にすが，集合住宅は戸建てと比べて下が２ 次の多項式回帰技術では，線形回よく用いられます．

り方が大きいとします．このような場

帰技術よりも推定に用いるデータによ合，駅からの距離と戸建て ・ 集合住宅

く適合する関係式を得ることができま

回帰技術を紹介するために，住宅価格の予測タスクを考えます（図 １ ）．
住宅価格は，都市の規模，駅からの距離，戸建て ・ 集合住宅の種別，住居の広さ，築年数，車庫の有無など，複数の関係を表す式を，過去に売買契約が成立した事例から得ることができま術（ １ 次の多項式回帰技術）では，要…

y = 2000万円

x1（戸建て）： ○x2（駅から ５分）： ○x3（庭付き）： ×

回帰モデル

y = 2500万円

y = ???

y = wTx

格yとの間の関係式を，各要因に対応

y = w x＋x Wx

する重み w＝（w1，...，wd)を用いて，

x =（x1, x2, x3, …, xd）

T

y＝ Σ wjxj＝w xの よ う に モ デ ル 化

回帰モデル

価格が未知な住宅

因の変数値 x＝（x1，...，xd）と住宅価

d{j=1}

学習アルゴリズムy = 3000万円⁝す．一般によく用いられる線形回帰技

x1（戸建て）： ○x2（駅から 5 分）： ○x3（庭付き）： ○⁝を用いると，これらの要因と住宅価格x1（戸建て）： ○x2（駅から 5 分）： ×x3（庭付き）： ×⁝の要因によって変動します．回帰技術

価格が知られている住宅（学習データ）

T

図1（線形回帰）T（ 2 次の多項式回帰）

回帰技術を住宅価格予測に適用した例

し，過去に売買契約が成立した事例か

NTT技術ジャーナル 2016.913

コミュニケーションの未来を描く基礎研究

す．しかし，要因の組合せ数は要因数メータ数を大幅に削減します．FMでを算出することで ２ 次回帰を得ることの ２ 乗オーダーであるため，要因数がは，Wを低ランクなd×k（k<<d）のができます（図 ３ ）．また，固有値，T多いタスクでは組合せ数が膨大になり行列Pを用いて，WをPP で置き換え固有ベクトルの算出は初期値に依存します．例えば，植物の遺伝子情報と収て，Wの代わりにPの要素の値を学習ないため，重み行列Wの低ランク制約

穫量の関係を解析するタスク（ゲノ用データから推定します（図 ２ ）．しの強さを決めるハイパーパラメータ値

ミックセレクション）では，得られるかし，学習用データに対して最適なPを設定すれば，学習用データに対して遺伝子の情報量が多いほど組合せ数がの値を推定する問題は非凸最適化問題唯一の解が得られます．このため，膨大になるため，すべての組合せを考であり，Pの推定を始めるときに初期CFMを用いたデータ解析でパラメー慮して関係式を推定するのが困難にな値をどの値にするかによって推定結果タの初期値をいろいろ変えて最良の関ります．この組合せ数の問題に対処すが異なる初期値依存の問題がありま係式を探す必要がありません．

る た め， 近 年，Fac­tor­ization Ma­

す．このため，実タスクでFMを用い表に，CFMとFM，重み行列Wを直（1）chines（FM）技術が提案されましたてデータ解析を行う場合に，Pの初期接推定する通常の ２ 次回帰技術を，ゲが，この技術では最適な関係式を得ら値を何度も変えて最良の関係式を探す

ノミックセレクションのタスク（植物れる保証がなく，試行錯誤を繰り返し必要があります．の遺伝子情報から収穫量を予測する）て良い関係式を見つけ出す必要がある

CFM技術は，FMが持つ初期値依存に適用した実験結果を示します．表中という問題がありました．そこで，の問題を解決することで，実タスクでの値は，学習用データを用いてそれぞNTTコミュニケーション科学基礎研のデータ解析を容易します．CFMでれの技術で推定した関係式を用いて予究所では，組合せ数の問題と最適性のは，行と列の数が等しい正方行列は図測したテストデータと真値の相関係数保証の問題の両方を解決する新技術

2 のように固有値分解で表現される（高いほうが良い）を表します．FM

Convex Factorization Machines

ことに着目し，ランクkの重み行列Wの結果は，初期値を何度か変えてパラを与えるk個の固有値と固有ベクトルメータ推定を行って得られた最良の関を学習用データから直接推定する学習係式を用いた場合の結果を示します．

アルゴリズムを開発しました．このア実験により，CFMではFMより予測精２ 次の多項式回帰技術では，要因のルゴリズムを用いれば，k個の固有値度が同等以上の結果が得られることを組合せに対する重みを要素とする行列とd次元の固有ベクトルk個に相当す確認しました．この結果は，初期値依Wと，各要因に対する重みを与えるベる（1＋d）×k個のパラメータ値のみ存があるFMよりもCFMでは容易に最（2）（CFM）を開発しました ．

C F M

クトルw，要因の変数値を表すベクトルxを用いて，予測対象の変数値yと要因の関係式を二次回帰xTWxと線形T

TT（一次）回帰w xの和y＝x Wx＋w xでモデル化します．行列Wとベクトルw
は学習用データから推定するパラメー

要因の組合せに対する重み行列kW1,1 … W1,d…

数は要因数dが大きい場合に膨大（d×Wd,1 … Wd,dd）となるため，Wを直接推定するのWであるFMでは，Wが低ランクな行列であると仮定して，推定すべきパラ14

NTT技術ジャーナル 2016.9k＝ dタです． ２ 次回帰の重み行列Wの要素は困難です．そこで，CFMと従来法

dPPT

k: ランク（k<<d）

図２

従来のFMで得られる行列分解

特 集かし，m次の組合せ数は要因数のm乗オーダーとなるため次数が大きくなる

第 1 固有ベクトル
第 1 固有値
要因の組合せに対する重み行列ほど実現が困難になります．そこで，
P1PkTT

法を最近考案（3）するとともに，パラW1,1 … W1,d…

＝ λ1

メータ推定を効率化するためにアルゴ＋…＋ λk

リズムの改良を検討しています．

Wd,1 … Wd,d

■参考文献

WP1Pk

k: ランク（k<<d）

図３

表

高次な多項式回帰を実現するための手提案法CFMで得られる固有値分解

ゲノミックセレクションのタスクに適用した実験結果
2 次多項式回帰

FMCFM

小麦 10.397

0.376

0.402

小麦 20.471

0.501

0.526

稲

0.660

0.656

0.662

良の ２ 次回帰を得られることを示してされる関係データの欠損値を補完する

います．また，CFMでは通常の ２ 次タスクにCFMを応用できます．代表

回帰技術と比べて予測誤差が小さい結的な応用先としてeコマースのサイト

果が得られました．一般に機械学習技でよく用いられる推薦システムがあり術には，推定すべきパラメータの数がます．多くの利用者の購買履歴を収集学習用データと比較して多い場合に学し，CFMを用いて 解析することで，習用データにモデルが過剰に適合して利用者ごとに購入していない商品に対しまい，他のデータに対する予測結果して購入する可能性の高さを予測できが悪くなる過学習の問題があります．

ます．

CFMでは，重み行列Wを低ランクな行列であると仮定し，通常の ２ 次回帰

今後の展開と比べて大幅にパラメータ数を削減す

２ 次の多項式回帰を用いて効率的なることで過学習の問題を回避できたとデータ解析を実現するCFM技術を紹考えられます．

介しました． ２ 次の多項式回帰では要要因の組合せに対する重み行列に対因の組合せを考慮することで線形回帰して低ランクな解を得るCFMには，と比べて高い予測精度を実現する関係

学習用データに出現しない要因の組合式を得られますが， ３ つ以上の要因のせに対する重みを推定する特性があり組合せを考慮することでさらに良い関ます．この特性を活かして，行列で表係式を得られる可能性があります．し（1） S. Rendle: “Factorization machines,” Proc.
o f I C D M 2 0 1 0 , p p . 9 9 5 -1 0 0 0 , S y d n e y ,Australia, Dec. 2010.
（2） M. Blondel, A. Fujino, and N. Ueda: “ConvexFactorization Machines,” Proc. of ECML
PKDD 2015, Vol.9285, pp.19-35, Porto,
Portugal, Sept. 2015.
（3） M. Blondel, M. Ishihata, A. Fujino, and N.
Ueda: “Polynomial Networks andFactorization Machines: New Insights andEfficient Training Algorithms,” Proc. ofICML 2016, pp.850-856, New York, U.S.A.,
June 2016.

（左から）Mathieu Blondel/藤野 昭典/ 上田 修功
多項式回帰は汎用的で重要な技術であると考えています．今後は，提案技術CFMを自然言語処理と医学データにも含めて，さまざまなデータに適用していきます．

◆問い合わせ先

NTTコミュニケーション科学基礎研究所
上田特別研究室
TEL 0774-93-5320
FAX 0774-93-5245
E-mail mathieu.blondel lab.ntt.co.jp

NTT技術ジャーナル 2016.915