DEIM2022 D23-3

Joint Non-negative Tensor Factorization に基づく
共通・非共通トピックとその時間推移の抽出
平澤

嶺†

伊藤

寛祥††

松原 正樹††

森嶋 厚行††† 筑波大学情報学群情報メディア創成学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †rei.hirasawa.2021b@mlab.info, ††{ito,masaki,mori}@slis.tsukuba.ac.jp
あらまし

文書データの増大に伴い，大量の文書データの内容を効率的に把握することは重要な課題となっている．

例えば，日々大量の特許が出願・取得されているが，これらの特許に目を通して技術動向を把握することは大量であるが故に困難である．これらの文書は，多くの場合，時間情報を持ち，複数のサブ集合 (所属ドメインや著者情報などによる分類) に分けられる．したがって，時間情報を考慮してサブ集合間のトピックを比較することは，大規模文書データを詳細に理解するために有効な手段の一つだと考えられる．本研究では二つの文書集合間で共通するトピッ
クと非共通のトピック，それらのトピックの時間推移情報を抽出する手法を提案する．本手法は，時系列文書データ
を単語-文書-時間の 3 階の非負値テンソルとして扱い，非負値テンソル因子分解 (Non-negative Tensor Factorization)を応用して二つの集合間で比較しながら分解することで，上述のようなトピックと時間推移の抽出を実現する．本稿
では，実験として正解が自明な生成データと建築分野の特許文書データに本手法を適用した結果を示す．
キーワード データマイニング，トピック抽出，時系列文書
応した Dynamic topic models [1] など多くの拡張手法につな

1 はじめに流通する文書データの量が増大し，複雑な大規模時系列文書
データを効率的に把握して全体像を理解する重要性が増している．たとえば AP 通信はニュースの消費者へのインタビューによって，昨今の大量の情報は視聴者が多くの洞察を得ることの役に立っていないことを発見した [9]．ここでインタビューの参加者はニュースが少ないほうが必要な情報を見つけることができると説明している．
ニュースや特許，論文などの時間情報をもつ大規模文書の集合は多くの場合，発行元のドメインや著者の性別・読者の年齢層や国籍などといった情報によって，サブ集合に分けることができ，これらのサブ集合について時間による変化を考慮しながら比較しなければ大規模時系列文書データの把握が難しい場合がある．より具体的には，大量の特許データを分析する際に企業 a が出願した特許の文書集合と企業 b が出願した特許の文書集合にそれぞれどのような技術トピックが含まれていて，その技術の推移が企業間でどう相違しているか，などと言った洞察を得たい場合が挙げられる．また，各国での COVID-19 に関する報道内容の時間推移の比較やネット記事における異なる年
齢層に人気の話題と時間推移の比較などにもニーズがあると考えられる．
本論文では (1) 文書内容の分析 (2) データ集合間の比較 (3)時間変化の抽出，の三つを満たすトピック抽出の手法を提案する．大規模文書データからトピックを抽出して内容を把握する手法として確率モデルに基づく Blei らによる Latent Dirichlet

Allocation(LDA) [2] がよく知られており，時系列データに対がっている．しかし，複数の文書集合間で内容を比較して，特徴の類似や相違を知りたいといったニーズに対してこれらの手法は十分ではない． また，文書集合の比較をすることができる
手法としては Joint Non-negative Matrix Factorization(Joint-NMF) [5] があるが，こちらは時間情報を考慮した分析に対応していない．このように，(1) 文書内容の分析 (2) データ集合間の比較 (3) 時間変化の抽出，の三つを満たす分析は今ある既存手法では難しい．
以上のようなニーズと既存手法の不足を背景として本研究では，Non-negative Tensor Factorization(NTF) [10] と Joint

Non-negative Matrix Factorization(Joint-NMF) [5] の二つの手法を組み合わせることで，二つの時系列文書集合間で共通する話題と各文書集合に固有の話題とそれらの時間推移の同時抽出を実現する．NTF とは非負値行列におけるトピック抽出の手法である Non-negative Matrix Factorization(NMF) [6] を高階の非負値テンソルを扱えるように拡張した手法で画像解析 [4]や関係データの分析に用いられている．本論文ではこの NTFの手法を時系列文書に当てはめるために，時系列文書データをテンソルとして扱う新しいデータ構造を提案する．Joint-NMF
は非負値行列として表現された二つのデータを比較しながら行
列分解できるように NMF の損失関数に項を追加したものだが，本論文ではこの手法を参考に非負値テンソルで表現された二つの時系列文書データを時間推移を考慮して比較しながら分解できるような損失関数を提案する．
本論文で提案する手法では，非負値テンソルとして表現された二つの時系列文書集合を入力とし，損失関数を最適化してテンソルを行列の積に分解することで，出力としてそれぞれの文ものとしてはまず，Gupta らによる Regularized nonnegative

表 1: 既存手法と提案手法の比較

shared subspace learning [3] が挙げられる．この手法では二つ文書内容分析

集合間比較

時間変化抽出

DTM

○

-

○

の入力データを比較しながら行列分解をすることで，共通する

time-collective-NMF

○

-

○

特徴を検出することができる．しかし，データ集合間の厳密にJoint-NMF○○-

等しい成分を抽出する手法であるため柔軟性に欠ける．次に，

NTF

-

-

○

Kim らによる手法 (joint-NMF) [5] が挙げられる．この手法は

○

○

○

二つのデータを比較して共通・非共通成分を抽出する．[3] の提案手法(Joint-NMF+NTF)

手法とは異なり，共通・非共通の度合いを調節するためのハイパーパラメータを持つため，柔軟にデータを比較することがで

書集合で共通している複数のトピックと共通していない複数のきる．しかし，入力データの表現は行列に限定されており，提トピックの単語分布を示す行列，それらのトピックと各文書と案手法のように文書データに対して，時間情報を加味した分析の関連度合いを示す行列，それらのトピックの時間経過での増を行うことはできない．本手法はこの joint-NMF を時間情報

減を示す行列を得る．

を考慮できるように拡張する．

本論文では正解が自明な生成データと実データ (建築分野のNMF に基づく手法のうち，時間情報を考慮してデータの特特許文書データ) に本手法を適用した実験の結果を示す．生成

徴を把握する手法には，Vaca らによる手法 (time-collective-

データによる実験では，正解データとして共通・非共通成分をNMF) [12] がある．この手法は Collective matrix factoriza-持つ行列を生成し，これらの積である Xi を提案手法により再tion [11] という教師データを用いてコンテキストに沿った行

び行列に分解することで，提案手法が正しく共通・非共通成分

列分解を行う手法の応用である．time-collective-NMF [12] でを抽出できるかを調べた．実データによる実験では，二つの企は，過去の検出結果をコンテキストとして，以前検出された業の特許文書集合に本手法を当てはめることで，それぞれの企

トピックの内容が現在どのように変化しているかが分かるよ

業の特許文書に含まれる共通・非共通の技術トピックとそれらうに行列を分解する手法である．この手法で得られる結果はの時期ごとの増減を抽出して結果を調べた．

トピックの内容自体がどのように変化したり出現・消失する

本論文の構成は以下である．2 章では関連研究について説明かを示すものであり，提案手法は同一のトピックが時間経過を行い，3 章では提案手法の詳細な説明をする．まず時系列文の中でどのように増減するかを示すという点が異なる．また書をテンソルとして扱うための新しいデータ構造について説明

time-collective-NMF [12] では複数のデータを比較して共通要

し，次にそれらの分解を行う損失関数の説明，最適化の説明を素や非共通要素を発見することができない．NMF を 3 階以行う．4 章では正解が自明な生成データによる実験結果と建築上の非負値テンソルを入力として分解できるように拡張した分野の特許文書データでの実験結果を示す． 最後に 5 章で結論

Non-negative Tensor Factorization(NTF) [10] も時系列データ

を述べる．

の分析に用いることができる．この手法は画像データ [4], [10]や関係データなど様々な分析に用いられているが，時系列文書

2 関連研究文書や時系列データの特徴を抽出する手法は非負値行列を分解する NMF の応用として多くの手法が提案されてきた．また，NMF の応用以外にも確率的な生成モデルを考える手法な
ど様々なアプローチがある．しかし，表 1(本研究と特に関係が深い既存手法と提案手法を比較した表) に示すように既存手法
は (1) 文書内容の分析 (2) データ集合間の比較 (3) 時間変化の抽出，の三つを満たした分析には対応していない．本章では関連研究を概説し，提案手法との関係や違いを述べる．

2. 1 Non-negative Matrix Factorization(NMF) に関連した研究

Non-negative Matrix Factorization(NMF) [6] とは Lee らにより提案された非負値行列を二つの非負値行列の積に分解する手法である．この分解は行列を特徴ベクトルと重みベクトルの直積の線形結合に分解しているとみなすことができ，結果の解釈がしやすいことから様々な発展手法につながっている．本論
文での提案手法も NMF の発展型に含まれる．

NMF に基づく手法の中で複数のデータ集合間の比較ができる

データをテンソルとして扱って NTF を適用するためには工夫が必要である．提案手法では時系列文書をテンソルとして扱う
ための新しいデータ構造を導入して，時系列文書データを入力とした NTF を行う．本研究の技術的な位置づけとしては，行列しか扱うことのできなかった Joint-NMF の手法に NTF の手法組み合わせることでテンソルを扱えるようにし，さらに提案するデータ構造によって時系列文書データの分析を行えるよ
うにしたものであるといえる．

2. 2 その他のトピック抽出手法や時系列データにおけるデー
タマイニング手法

NMF 以外のトピック抽出の手法には確率的なアプローチ
をとるものもある．Blei らによる Latent Dirichlet Alloca-tion(LDA) [2] が代表であり，データの潜在的なトピックを確率的に推定する．これは著者情報を取り込むための拡張などもされている [7]．また，Blei らは LDA を時系列データ分析のために拡張した Dynamic topic models(DTM) [1] を提案している．Dynamic topic models はトピックの時間推移での増減を抽出できるが，提案手法はデータ集合間の共通点や非共通点を検出した上でそれらの時間推移を把握することを目標

図 1: 本手法で用いる非負値テンソルの構造の例 (R=25，S=10，

T=3)
図 2: 本手法におけるテンソルの行列への分解としており，この手法と異なる．テンソル表現を用いているがNMF の枠組みには入らない時系列データの分析の手法として
は Matsubara らによる Non-linear mining of competing local

activities(CompCube) [8] なども挙げられる．これは検索クエ

持たない領域 (ドットがない領域) については要素がないテン
ソルとなる．このとき，文書 s が属する時間区分 t を t(s) と表

リ数などの時系列データを比較しながら頻出する時系列パター

し，はじめの時間区分から時間区分 t までに属する文書の数のンや外れ値などを検出する手法であるが，文書からのトピック

合計を S (t) と表すことにする．

抽出や時間推移の抽出自体は行わない．

3. 2 Non-negative Tensor Factorization(NTF)
本節では，提案手法のベースとなる Non-negative Tensor

3 提案手法

Factorization(NTF) について説明する．NTF とは非負値テ

本章では提案手法の詳細を説明する．提案手法では，まンソルを低ランクの非負値の行列積で近似する分解計算の手ず二つの大規模時系列文章集合から 3 階の非負値テンソ法である．たとえば，3 階の非負値テンソル X を非負値行列

2 ×T∈ RR×S+T ×K
U ∈ RR×K，V ∈ RS×K，W ∈ R +の積に近似する．つま
+
+

1 ×T
，X2
ル X1 ∈ RR×S+を作る．その後，Non-negative Tensor Factorization を応用した手法で，双方を比較

りXをしながら行列に分解する損失関数を最小化する．これにより二X ≈ UV W

つのテンソルを共通・非共通成分を持った行列の積に分解し，となるような U ，V ，W に分解する．ここで三つの行列の積は二つの文書集合間で共通トピック Kc 個と非共通トピック Kd

以下のように定義される．

個，さらにそれらのトピックの時間推移での増減を抽出する．

UV W =

3. 1 時系列文書集合の非負値テンソル化

K
∑

(1)

U(:，k) ⊗ V(:，k) ⊗ W(:，k)

(2)

k=1

本研究で扱うデータは比較したい二つの時系列文書集合
1 ×T
である．それぞれを 3 次元非負値テンソル X1 ∈ RR×S，+
2 ×T
で表現して，双方を比較しながら共通・非共通
X2 ∈ RR×S+

トピックとその時間推移を抽出する．それぞれのテンソル Xi
は R 個の単語，S 個の文書，T 個の時間区分の 3 軸で構成され，X の要素 Xrst は時間区分 t の文書 s に単語 r がどの程度出現したかを数値化した非負の値で示す．この特徴量としては⊗ はベクトルの直積を意味し，(:，k) は行列の列を k 番目に固定して行方向にインデックスをすべて動かすことで行列から k
列目の列ベクトルを得ることを意味する．このような分解は解
析的に解くことができないため，NTF の式 (1) の左辺 X と右辺 UVW からできる X’ の差異を損失関数として最適化により近似する．二乗誤差を用いると損失関数の最適化問題はtf-idf などの値を用いる．
テンソルは例として図 1 のような構造になる．図 1 は R=25，

arg min

T ∑
R ∑
S
∑

U ，V ，W >=0 t=1 r=1 s=1(
X(r，s，t) −S=10，T=3 の 3 次元テンソルの例である．テンソル上のそれ

K∑)2
U(r，k) V(s，k) W(t，k)

k=1

(3)

ぞれのドットが (時間区分 t，文書 s，単語 r) の特徴量 (tf-idfとなる．これにより得られた行列 U ，V ，W から，入力の X のなど) の値を表す．文書というデータの性質上，それぞれの文特徴を知ることができる．

書は一つの時間区分のみに属するため，その文書が存在しない
時間区分の領域については値を持たない．図 1 のように，値を3. 3 提案手法におけるテンソルの分解と損失関数の定義
次に NTF を応用した提案手法を説明する．図 2 に示すよう

に二つの時系列文書集合から作った非負値テンソル Xi を NTF

3. 4 最適化アルゴリズム

S ×Kの手法でそれぞれ三つの非負値行列 Ui ∈ RR×K，Vi ∈ R+i，+
T ×K
W i ∈ R+に分解する．(i は 1 または 2，K はトピック数)．

い。しかし、[6] で述べられている方針に従って，それぞれの式 (4) は、すべてのパラメータについて同時に凸にはならな

この分解結果の Ui (トピック行列) を見ることで，それぞれのパラメータごとに乗法更新を繰り返すことで式 (4) の局所最サブ文書集合に含まれていたトピックの単語分布を知ることが小値を求めることができる。この乗法更新式は Karush-Kuhn-

できる．Vi (文書行列) を見ることで文書集合の各文書がどのト

Tucker(KKT) 条件の第一条件を式 (4) の損失関数 L に適応し，ピックにどの程度関連しているかを知ることができる．Wi (時式変形することで得ることができる．行列 Uic , Uid , Vi , V, Wi の間行列) を見ることでそれぞれのトピックが時間経過の中でど各要素について，導出された乗法更新式は以下のようになる．

のように増減しているかの推移を知ることができる．これと同時に，トピックを表す行列 (Ui ) の一部 (Ui c) については二つのUic(r,k) = Uic(r,k) ×

時系列文書集合間でなるべく似ているトピックを表し，残りの部分 (Ui d) についてはなるべく異なる特徴を表すように分解す

1
S1

∑T

1
S1

∑T

[

(t−1)

t=1

s=Si

(

∑Si(t)(t−1)

t=1∑Si(t)s=Si)
Xi(r， s， t) Vic(s， k) Wic(t， k) + αUjc(r,k)

Vic(s， k) Wic(t， k)

(

∑K

k′ =1

Uic(r， k′ ) Vic(s， k′ ) Wic(t， k′ ))]+ αUic(r,k)

る．これにより Kc 個の共通トピックと Kd 個の非共通トピッ
クを抽出する．この分解ための損失関数の最適化問題は NTFの最適化問題である式 (3) の拡張であり，次のようになる．

Uid(r,k) = Uid(r,k) ×

1
S1

arg min

∑T

1
Si

[

∑Si(t)

(t−1)

t=1

s=Si

∑T

(

∑Si(t)
(t−1)

t=1

s=Si

Vid(s， k) Wid(t， k))Xi(r， s， t) Vid(s， k) Wid(t， k) + βUjd(r,k)
∑K

(

k′ =1

Uid(r， k′ ) Vid(s， k′ ) Wid(t， k′ )

)]

+β

∑K

k′ =1

Ujd(r,k′ )L

U1 ，V1 ，W1 ，U2 ，V2 ，W2 >
=0

=

T
R
1 ∑ ∑
S1 t=1 r=1

T
R
1 ∑ ∑
+
S2 t=1 r=1

(t)
S1

∑

(
X1(r，s，t) −∑(X2(r，s，t) −∑Vi(s,k) = Vi(s,k) ×)
Xi(r，s，t) Ui(r，k) Wi(t，k)()]∑K
Ui(r，k′ ) Vi(s，k′ ) Wi(t，k′ )t=1 Ui(r ，k) Wi(t，k)
k′ =1
∑R

∑R

r=1

)2

∑T

∑T

r=1

(

t=1

U2(r，k) V2(s，k) W2(t，k)

T

Wi(t,k) = Wi(r,k) ×1+ α∥U1c − U2c ∥F + β∥U1d U2d ∥1∑R

s．t．∥U1(:，k) ∥2 = ∥U2(:，k) ∥2 = 1
∥V

[

k

(t−1)
s=S2
2

)2
U1(r，k) V1(s，k) W1(t，k)

k

(t−1)
s=S1
(t)
S2

∑

r=1

∑R

∥1 = ∥V∥1 = 1(t−1) (t)(t−1) (t)1(S1:S1 ，k)2(S2:S2 ，k)r=1∑Si(t)
(t−1)
s=Si

[

∑Si(t)
(t−1)
s=Si

(

)
Xi(r，s，t) Ui(r，k) Vi(s，k)

Ui(r，k) Vi(s，k)

∑K

k′ =1

(

)]
Ui(r，k′ ) Vi(s，k′ ) Wi(t，k′ )for k = 1, · · · , K for t = 1 · · · , T(4)

この式 (4) の第一項と第二項は NTF の式 (3) と基本的に同様であるが，3.1 節で述べたように本手法では文書データを扱っ

ここで，i は 1 または 2，j は i=1 のとき 2,i=2 のとき 1 である．この式に従い各変数を繰り返し順に更新して最適化を進め，テンソル分解を行うことで目的の行列を得る.

ており，一つの文書は一つの時間にしか属してしないため入力のテンソル内に要素を持たない領域がある．そのため入力のテンソルが要素を持つ部分だけについて最適化すべきであり，損失関数のテンソル・行列の添字 s の範囲を指定している．第三4 実

験

本手法の実験として正解が自明な生成データによる実験と実データである特許データによる実験を行った．

項と第四項はそれぞれ，文書データ間での共通トピックと非共通トピックが現れるようにするための項である．第三項はそれ

5 生成データによる実験ぞれの文書集合のトピック行列内の U1c と U2c の差のフロベニ
ウスノルムを示し，この項により U1c と U2c が似た行列になる

本節では正解が自明な生成データによる実験について説明すので文書集合間での共通トピックを表すように分解される．第る．本実験では，Ui , V − i, Wi のそれぞれの行列を正解デー

三項はそれぞれの文書集合のトピック行列内の U1d と U2d につタとして生成し，これらの積である Xi を提案手法により行列

いて, 転置した U1d と U2d の積の全要素の和を表しており，こに分解することで，正解データの行列にどの程度近い結果がの項により U1d と U2d はトピックの単語分布がなるべく異なる得られるかを検証する．トピックのごとの単語分布を示す行列

ように最適化されるため非共通トピックが抽出される．α と βである Ui (単語数 x トピック数) の正解データについて，共通は第三項と第四項の式 (4) における影響力を調整することで共成分と非共通成分が明確に分かれたものにするために，行列

通・非共通の厳密さを調節するためのハイパーパラメータであUi ∈ R1600×300の共通部分と非共通部分の要素を以下のように+る．制約条件はトピックの単語分布を示すベクトルとその文書

設定した．

ごとの重みを示すベクトルをそれぞれ正規化することで，抽出されたトピックとその重みの時間推移について比較可能で解釈しやすいような結果を得るためのものである．

(a) 生成した正解の行列 (左が U1 ，右が U2 )(b) 本手法により再現した行列 (左が U1 ，右が U2 )図 3: 生成データによる実験結果

Uic(r，k) =Uid(r，k) =1(100(k − 1) < r <= 100k)0(otherwise)




1


(600 + 400(i − 1) + 100(r − 1) < r (5)






<
= 700 + 400(i − 1) + 100(k − 1))0(otherwise)

その後，行列 Ui のすべての要素にガンマ分布に従うランダ
ムな値をノイズとして加えた．文書とトピックの関連度示す行解はできるものの，誤まった結果も含まれてしまうといえる．

6 特許データによる実験
6. 1 特許データによる実験の結果
本節では建築分野の特許文書データに本手法を適用した実験について述べる．

6. 2 特許データによる実験の設定列である Vi と時間とトピックの関連度示す行列である Wi の正提案手法を用いて二つの建設会社が出願した特許文書集合

解データについては 0〜1 のランダムな値とした．これらの行を比較する．各企業の特許に共通して出現する技術トピックや列の積であるテンソルに提案手法を適応して行列に分解した．

各企業の特許に固有の技術トピックを検出し，それらの技術ト

ハイパーパラメータである損失関数内の定数 α と β はどちらピックの時間推移によるトレンドの変化を調査する目的があるも 10 に設定して実験を行った．

という想定で実験を行った．日本の特許文書データのうち出願

図 3 が行列 Ui の生成した正解の行列と，本手法の分解によ

者に大手建設会社である”企業 a”が含まれている特許文書 1650

り再構築した Ui を可視化したヒートマップである．図 3 に見件と，同じく大手建設会社である”企業 b”が含まれている特許

られるように本手法により再構築した Ui は 10 個のトピックに文書 1277 件を分析対象として本手法により比較した．期間はついて，正解データと同じ単語がそれぞれのトピックを表すよ2001 年 1 月から 2021 年 10 月までに出願された特許文書を用うに抽出されている．一方で，正解データと異なる単語についいて，各年ごとの変化を分析する．特許特許文書の，”発明のてもトピックに含まれてしまっている．図 3 の (b) の左図の右

名称”・”要約”・”詳細な説明”という三つの項目の文に含まれから二列目のトピック 8 などは，かなり誤った単語が含まれてている，名詞が二つ以上連続してできた複合語を対象の用語といることが分かる．提案手法は現段階ではある程度の精度で分して tf-idf を算出し三章で説明したデータ構造の 3 階テンソル

(a) ”企業 a”の特許文書集合から検出された技術トピックの表 (トピック 0〜19)(b) ”企業 b”の特許文書集合から検出された技術トピックの表 (トピック 0〜19)(c) 技術トピックの時間推移での増減を示す積み上げ折れ線グラフ

図 4: 特許データによる実験結果(検出されたトピック 0〜9 は企業間の共通トピック，トピック 10〜19 はそれぞれの企業に固有なトピック)を作成した．二つ以上連続してできた複合語を対象の用語としの (a) と (b) はそれぞれ

たのは，なるべく特許に含まれる技術用語を特徴語とするため合から検出された技術トピックを示す表である．表の各列が検である．また対象の用語の選定の際に用語の文書頻度が 5 以上

出された技術トピックを表しており，これはトピックを表す単1000 以下の単語だけを対象にした．ハイパーパラメータであ語分布から重みが上位 10 番以内の用語を上から並べたものでる，検出する共通トピックの数 Kc と固有トピックの数 Kd はある．(a) と (b) の表の左半分に含まれるトピック 0〜9 は二

どちらも 10 として，損失関数内の定数 α と β はどちらも 0.5

つの企業の特許文書集合に共通して含まれているとして検出に設定した．

された技術トピックであり，右半分に含まれるトピック 0〜10

本手法を適用した結果，図 4 のような結果が得られた．図 4

企業 a

と

企業 b

の特許文書集はそれぞれの企業に固有の成分として検出されたトピックである．図 4 の (c) は (a) と (b) に示された各トピックが時間推移

本当に問題なのか，問題であるなら手法に原因があるのか，実でどのように増減しているかを示す積み上げ折れ線グラフであ

データとの相性にあるのか，など，問題を特定するために実験る．左のグラフが”企業 b”について，右のグラフが”企業 a”にを行いその上で改善を進める必要がある．

ついてのものである．横軸が時間であり各メモリが 2001 年から 2021 年の各年を表す．縦軸はトピック 0〜19 がそれぞれの時期にどれくらい文書に含まれていたを表す重みである．下から順にトピック 0〜19 の値を積み上げて年ごとのトピックの重みを可視化しており，グラフの下から 10 トピック (0〜9) は両グラフの共通トピックである．

6. 3 特許データによる実験の結果の考察
実験結果からそれぞれの企業が強みとしている技術分野とそのトレンドを知ることができる．例えば”企業 a”の固有技術ト
ピックであるトピック 13 は”歩行支援装置”・”体重負荷”などの用語からなる技術トピックで，ここから”企業 a”が歩行支援器
具の技術を持っていることが分かる．”企業 a”のグラフを見るとこのトピック 30 は 2007 年から 2008 年と 2019 年や 2020 年に出願された特許に多く含まれていたことも知ることができる．
一方で，企業間に共通の技術トピックであるトピック 0〜9 は上位の用語を見てもあまりまとまったトピックとして検出されていない．”企業 a”と企業 bの間で共通している技術がなかったために，この結果になっている可能性もあるが，提案手法の問題や提案手法とデータの相性なども考えられる．たとえば，企業ごとに用語の使い方に癖がある場合，同じ技術にも関わらず別の技術トピックとして分類されている可能性なども考えられる．問題の所在の特定と改善のためにさらなる実験・考察が必要であるといえる．

7 結論

本論文では Non-negative Tensor Factorization(NTF) [10]と Joint Non-negative Matrix Factorization (Joint-NMF) [5]の二つの手法を組み合わせて発展させた，二つの時系列文書集
合間で共通するトピックと各文書集合に固有のトピックとそれらの時間推移を同時に発見する新しい手法を提案した．生成
データによる実験では提案手法により共通トピックと非共通ト
ピックをある程度の精度で検出できていることを確認した．実データである特許文書による実験では，本手法を用いて得られた共通・非共通トピックと時系列グラフを見ることで企業が取り組んでいる技術や取り組んでいた時期などについて文書を読まずとも把握できることを示した．
一方で，結果に誤差が含まれることや実データ (特許データ)
において共通トピックが検出されづらい可能性があるという問
題も明らかになった．今後の課題として，第一に生成データによる実験結果に見られたような誤差を減らす方法の検討がある．Joint Non-negative Matrix Factorization(Joint-NMF) [5]の論文で提案されている pseudo-deﬂation method などといった手法を提案手法に応用することで精度が向上する可能性がある．第二に特許データの実験結果のように実データにおいて共通成分があまり抽出されないことについて検討する必要がある．

謝

辞本研究の一部は JST CREST (JPMJCR16E3)，JSPS 科研費（JP21H03552，JP20K23337） および株式会社熊谷組の支
援による．

文

献

[1] David M Blei and John D Laﬀerty. Dynamic topic models. In Proceedings of the 23rd international conference on
Machine learning, pp. 113–120, 2006.
[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. the Journal of machine Learning
research, Vol. 3, pp. 993–1022, 2003.
[3] Sunil Kumar Gupta, Dinh Phung, Brett Adams, and Svetha
Venkatesh. Regularized nonnegative shared subspace learning. Data mining and knowledge discovery, Vol. 26, No. 1,
pp. 57–97, 2013.
[4] Tamir Hazan, Simon Polak, and Amnon Shashua. Sparseimage coding using a 3d non-negative tensor factorization.
In Tenth IEEE International Conference on Computer Vision (ICCV’05) Volume 1, Vol. 1, pp. 50–57. IEEE, 2005.
[5] Hannah Kim, Jaegul Choo, Jingu Kim, Chandan K. Reddy,and Haesun Park. Simultaneous discovery of common anddiscriminative topics via joint nonnegative matrix factorization. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’15, p. 567–576, New York, NY, USA, 2015. Association for Computing Machinery.
[6] Daniel D Lee and H Sebastian Seung. Learning the parts ofobjects by non-negative matrix factorization. Nature, Vol.
401, No. 6755, pp. 788–791, 1999.
[7] Chunshan Li, William K Cheung, Yunming Ye, Xiaofeng
Zhang, Dianhui Chu, and Xin Li. The author-topiccommunity model for author interest proﬁling and community discovery. Knowledge and Information Systems,
Vol. 44, No. 2, pp. 359–383, 2015.
[8] Yasuko Matsubara, Yasushi Sakurai, and Christos Faloutsos. Non-linear mining of competing local activities. In
Proceedings of the 25th International Conference on World
Wide Web, pp. 737–747, 2016.
[9] Bree Nordenson. Overload. Columbia journalism review,Vol. 47, No. 4, pp. 30–42, 2008.
[10] Amnon Shashua and Tamir Hazan. Non-negative tensor
factorization with applications to statistics and computer
vision. In Proceedings of the 22nd international conference
on Machine learning, pp. 792–799, 2005.
[11] Ajit P Singh and Geoﬀrey J Gordon. Relational learning via
collective matrix factorization. In Proceedings of the 14th
ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 650–658, 2008.
[12] Carmen K. Vaca, Amin Mantrach, Alejandro Jaimes, andMarco Saerens. A time-based collective factorization for
topic discovery and monitoring in news. In Proceedings ofthe 23rd International Conference on World Wide Web,
WWW ’14, p. 527–538, New York, NY, USA, 2014. Association for Computing Machinery.