NTTコンピュータ＆データサイエンス研究所

井田安俊 特別研究員
超高次元データで未来を拓く「高速スパースモデリング技術」
NTTが掲げるIOWN構想の柱の 1 つである，デジタル上に現実世界を構築するデジタルツインコンピューティングでは，ヒト ・ モノからセンサで取得されるデータを利活用することが不可欠です．しかしセンシン
グ技術の発達によって「データの次元数が増加し，それに伴い処理時間が長くなることで，現実的な時間内でデータを分析 ・ 活用することが難しくなる」という課題が発生しています．今回はこのような課題を解決する「高速スパースモデリング技術」について，井田安俊特別研究員にお話を聞きました．
◆PROFILE：2014年早稲田大学大学院修士課程修了．同年，日本電信電話株式会社入社．2021年京都大学大学院博士課程修了．博士（情報学）．2022年より日本電信電話株式会社NTTコンピュータ＆データサイエンス研究所特別研究員．スパースモデリングの高速化 ・ 高精度化の研究およびサービス導入支援に従事．NTTグループのAI系技術者が情報交換のために集まる連絡会（NTTディープラーニング連絡会）を運営．該当分野の複数のトップカンファレンス（NeurIPS/ICML/AAAI/IJCAI/AISTATS）にて開発技術の論文採録．

府県を特定できます．

超高次元データの処理時間の増加に打ち勝つ
新たな手法を創出

この技術が求められている背景としては，近年のセンシング技術の発達により取得できるデータの次元数が増加していることが挙げられます．例えば近年の天候分析では縦軸の年度数（サン◆ご研究されているスパースモデリングとはどのようなものなの50

プル数）に対して，各地域で観測できる天候情報（次元数）の数でしょうか．

量は数万から数億にも達しています（図 1 ）．しかし近年の機械

スパースモデリングとは「得られた情報の中でも必要なもの

学習は膨大な数のサンプルを学習に用いて精度を引き出すアプはごく一部で，その他の大部分は不要である」というスパース性ローチが主流であり，サンプル数が次元数よりも相対的に少ないを利用してデータを活用する技術です．
「スパース」とは本来「まデータを扱うことは困難です．そこでスパースモデリングでは，ばらな」という意味であり，14世紀のイギリスの神学者オッカム

スパース性を用いて分析に必要な次元だけを選び出すことによっの「ある事柄を説明するために，必要以上に多くを仮定するべきて，この課題を部分的に解決しています．

ではない」という考え方（オッカムの剃刀）に基づいています．

スパースモデリング技術の他の活用例としては，深層学習がそのスパースモデリングの例として，日本全国の気温 ・ 風向 ・挙げられます．現在のAI（人工知能）の基盤技術ともいえる深層気圧などの天候データから翌日の東京の気温予測を行う場合につ学習では，モデルのパラメータ数を増加させることによって精度いて考えてみましょう．この場合には地理的な関係性を考慮してを改善し続けてきました．しかし膨大なパラメータ数によってメ「東京の気温予測に関連するデータは周辺の一部の都道府県だけモリ消費量や処理時間が増加するため，例えばメモリ容量に制約である」という仮説が立てられます．この仮説は「全体のデータのあるエッジ側のハードウェアにAIを適用することは困難です．のうち重要なのはごく一部で，その他のデータは不要である」とそこで「全体のパラメータのうち重要なものはごく一部で，そのいうスパースモデリングを利用するための基本的な前提になって他のパラメータは不要である」というスパース性を深層学習に取います．このスパース性という事前知識を分析に組み込むことにり入れることで，AIのパラメータ数を減らしてメモリ消費量の削より，翌日の東京の気温を予測しつつ，その予測に関連する都道減などを実現しています．

2023.4

図1

天候データにおける次元数とサンプル数◆従来技術と比較した「高速スパースモデリング技術」の強みをしかし一方で，ごく少数のユースケースであまり高速化でき教えてください．

ないことも確認しています．なぜ高速化できないかを細かく分析

私が研究している「高速スパースモデリング技術」では，従してみると，扱うデータの性質によっては高速化アルゴリズムの来のスパースモデリング技術と比較して最大35倍の高速化に成スコアの上界計算のオーバーヘッド（前計算）が大きくなってし功しています．従来のスパースモデリング技術では，各次元の重まうケースがあることが分かりました．このオーバーヘッドを極要度を表すスコア計算に多くの処理時間がかかっていました．一限まで削るアルゴリズムを現在開発しており，これが成功すれば方で「高速スパースモデリング技術」では，スコアの代わりに高さらに 2 倍の高速化が見込めるため，35× 2 で最大70倍の高速速に計算可能なスコアの上界 ・ 下界を用いることで，精度劣化を化を実現できると考えています．

防ぎながら計算時間の大幅な短縮に成功しています．このアプ

またそれと並行して，大規模データにおいて高い精度を達成

ローチは，私のNTT入社時の研究指導者であった藤原靖宏特別する深層学習とスパースモデリングを組み合わせたアプローチを研究員がデータベース研究で用いていた高速化手法に影響された検討中です．
深層学習は基本的に多くのデータを必要とするため，ものです．一見関連がなさそうなデータベースとスパースモデリデータ数が少ない場合にどのように深層学習を適用するかというングの研究を組み合わせることで，従来のスパースモデリングの研究が進んできており，この知見とスパースモデリングを組み合研究分野にはなかった独自の方法で高速化を実現することができわせることで，データ数が少なく高次元なデータでも高い精度をました（図 2 ）．

達成する技術の検討を進めています．こちらはより長期的な視野

このアプローチをベースとし，従来のスパースモデリング技の研究になると考えていて，これによってスパースモデリングの術ではあまり事例がない次元数が数億以上の超高次元データを処10%の精度改善をめざしています．

理することをめざしています．2019年には前述した高速化アル◆「高速スパースモデリング技術」によりどのような世界が実現

ゴリズムが最大で35倍の高速化を達成し，その論文が本分野のされるのでしょうか．

トップカンファレンスであるNeurIPSに採録されました．さら「高速スパースモデリング技術」は，主に超高次元データからにこの技術をグループ会社に提供すべく 1 年をかけてさまざま分 析 ・ 予 測 を 行 う タ ス ク に 応 用 で き ま す． 例 え ば 工 場IoTな環境下で技術検証を実施し，本アルゴリズムによって多くの分（Internet of Things）では，生産量増減に影響がある時間帯を析事例が高速化できることを確認しています．

特定する分析の前処理で活用することで，データ分析のPDCA

2023.451

図 2 「高速スパースモデリング技術」の計算アルゴリズム

52

サイクルを高速化し意思決定までのリードタイムを短縮できまれるか」が課題となります．高速スパースモデリング技術の高速す．加えて高速化によってさらに長い期間の時系列データを扱え化倍率は世界的にみてもトップクラスであり，処理時間の短縮とるようになり，それまではできなかった高度な分析も可能になりいう目的ではマイルストーンを達成しつつありますが，データがます．同様にゲノムワイド関連解析では，がんなどの疾患に関連高次元になるほどメモリ消費量は当然増えるという点にも着目しする遺伝的要因（SNPs）を特定する分析の前処理へ適用できるなければいけません．例えば開発技術のサービス導入支援のためため，高速化によってさらに大規模なSNPsデータの分析が可能の技術検証の現場では，高速化の倍率に問題がなくともメモリ消となります．また核融合炉では，プラズマの崩壊や持続に関連す費量が大きすぎて処理できる次元数が頭打ちになるという事態がる制御操作やセンサを特定する分析の前処理で活用し，核融合炉発生します．もちろん追加設備投資でメモリを増強してこの課題を安定して稼働させるための現象解明に貢献できると考えていを解決することも可能ですが，サービスによってはその方法で採ます．

算が取れなくなってしまうという問題が発生します．このようなそしてIOWN（Innovative Optical and Wireless Network）

課題を解決するため，高速化倍率を維持しながらメモリ消費量を構 想 に お け る デ ジ タ ル ツ イ ン コ ン ピ ュ ー テ ィ ン グ（DTC：

抑える新たな高速スパースモデリング技術の方法を模索していDigital Twin Computing）では，ヒト ・ モノに取り付けられます．

たセンサから取得される大量のセンサデータを活用してデジタル

またもう 1 つの方向性として「飛躍的な高速化」があります．

ツインを構築します．こうした未来の実現に向けた取り組みの中センシング技術の発達によってデータの高次元化が進み，いずれで，センシング技術が発達しセンサデータも高次元化しているた

アルゴリズムによる高速化の限界が訪れた場合に，分散処理基盤

め，高次元データ分析を得意とするスパースモデリングの利活用や最新ハードウェア活用などのアプローチも含めた総合的な高速の機運も高まっていると思います．また高次元化が進むにつれて化アプローチが必要になると思います．この研究課題は他分野のスパースモデリングの処理時間も増加していくため，スパースモ専門家との連携が不可欠であり，より長期的な視野でじっくりとデリングの高速化技術の確立は重要といえると思います．

解決策を見つけなければいけません．NTTコンピュータ＆デー◆「高速スパースモデリング技術」の研究は，今後どのように進タサイエンス研究所では先進的な計算機の研究開発にも取り組ん化していくのでしょうか．

でおり，これらをうまく活用してさらに高速なスパースモデリン

今後は空間計算量，つまり「メモリ消費量をどれだけ抑えらグ技術を実現できるのではないかと検討中です．

2023.4実用的な研究で取り組み，そこで得た知見を長期的な研究へ「死の谷」の経験によって実用的な技術を創ることを決意フィードバックする．逆に長期的な研究で熟成させたアイデアを実用的な研究に分け与えて現場の課題を解く．チャンスがあれば長期的な研究から飛躍的な結果を出せるような技術や論文をアウ◆研究開発を進めるうえで，大切にされている考え方を教えてくトプットしていく．このような 2 種類の異なる性質の研究の間でださい．

相互作用やフィードバックループを起こす，という状態を研究の学生時代に参加したベンチャー企業での教訓から「実用性を理想形にしています．

重視した研究開発」という観点を大切にしています．私は学部 3年生だった2010年ごろに機械学習に初めて出会い，文書がどの◆最後に，研究者 ・ 学生 ・ ビジネスパートナーの方々へメッセージをお願いします．

ようなトピックで構成されているかを可視化することができるト

NTTの研究開発の分野は非常に多岐にわたり，世界的にみてピックモデルという技術を研究していました．その中で「この技も独特な研究分野のポートフォリオを持っていると感じます．こ術を実際にサービスに組み込んでみたい」という思いが強くなり，れは課題解決にとっても非常に有利であり，例えば深層学習高速友人からの誘いでベンチャー企業へ参加しました．しかしそこで化の案件などでは高速化倍率に関して厳しい目標を課せられるこは「想定していなかったデータが学習データに混入する」「それとがあるのですが，NTTにはアルゴリズムからハードウェア，によってモデルが想定外の挙動をする」「出力結果が人間にとっインターコネクトに至るまで多岐にわたる専門家がそろっているて解釈可能でなくなる」「全体のデータの規模が大きすぎて学習ため，すぐ隣の席にいる同僚に話を聞くだけで10分もかからずにが終わらない」などといった研究段階にはなかった問題に多数直総合的な解決策を見出すことができたりします．このように難し面し，サービスへの実装には至りませんでした．研究とサービス

い課題へのアプローチを短期間で考案できるというのは，独自のの間の障壁を「死の谷」と表現することもありますが，これは機ポートフォリオを持ち多様な研究人材がそろっているNTTの環

械学習のサービス化において「死の谷」を越えられなかった私の境ならではだと思います．

初めての経験でした．こうした経験から，実際の現場の課題を解また私が所属しているNTTコンピュータ＆データサイエンス

決できる機械学習技術をつくりたいという思いが芽生え，現在は研究所は，データサイエンスに関して分野的にも時間軸的にも幅「実際のサービスで動作する実用的なアルゴリズムを開発する」

広いレイヤーの技術を研究している組織だと思います．例えば現ことにこだわりを持って現場の方々と情報交換をしながら日々研

場課題に密着して開発されたデータ分析技術は事業への導入が短究に取り組んでいます．

い期間で検討されており，NTTのサービスの付加価値化に貢献

しかしもちろんそれだけではなく，飛躍的 ・ 独創的な研究成していると思います．その一方で，最先端の計算機の研究開発や果を出すために，実用からある程度離れて長期的に取り組む研究

応用の模索は長期的なデータサイエンスの発展にとって重要な位も検討する必要があると思います．短期的 ・ 長期的研究の両方を置にあるのではないかと思います．

1 人で取り組むことで，例えば実用的な研究で得た知見が長期的最後に，企業研究者として働いていると周りの状況が組織再な研究に役立ち，長期的な研究でじっくり考えていたアイデアの編などによって急激に変化することがあります．このときに環境一部が実用的な研究に役立つこともあります．現場からの課題をの変化へ適応しようとするあまり研究の方向を変えすぎてしまうと，それまで身に付けてきた技術力を活かせず結果が出せなくなるなどして，ストレスや自信の喪失につながってしまいます．しかし私の経験では，自分の中で普遍的でぶれない軸を持ち妥協しないようにしておくと，自分の良さを損なうことなく環境に適応できることが多いです．これは「外柔内剛」，つまり「自身の核となる研究哲学は妥協しないが，それ以外の部分は環境に応じて柔軟に適応していく」という考え方です．これを読んでいる企業
研究者をめざしている学生の皆さんにも，ぜひ自分自身の軸を見つけて大切にしながら研究を楽しんでほしいと思います．

（今回はリモートにてインタビューを実施しました）

2023.45₃