DEIM Forum 2023 3b-1-2

ハイブリッド型メタ学習モデルによるコールドスタート問題の緩和
佐藤

立弥†

伊東

聖矢††

大原

剛三††

† 青山学院大学大学院理工学研究科理工学専攻知能情報コース 〒 252-5258 神奈川県相模原市中央区淵野辺5-10-1†† 青山学院大学理工学部情報テクノロジー学科 〒 252-5258 神奈川県相模原市中央区淵野辺 5-10-1
E-mail: †c5621192@aoyama.jp, ††{s.ito,ohara}@it.aoyama.ac.jp
あらまし 推薦システムには評価履歴が少ないユーザやアイテムの推薦精度が低下するコールドスタート問題がある．
近年，この問題を緩和する手法として，少数データのみでモデルの調整を可能とするメタ学習を推薦システムに適用した手法が提案されている．しかし，従来のメタ学習を用いた推薦システムでは，データをユーザ単位で分割するユー
ザタスクまたはアイテム単位で分割するアイテムタスクのいずれかのみを用いているため，ユーザコールド，アイテ
ムコールドのいずれかしか適切に緩和できない．そこで本研究では，ユーザタスクとアイテムタスクのそれぞれでメタ学習したモデルを統合することで，いずれのコールドスタート問題も緩和可能な手法を提案する．
キーワード ハイブリッド型推薦，セッションベース推薦，メタ学習，コールドスタート問題，深層学習モデル

1 はじめに多くの推薦システムは蓄積された評価履歴を基にユーザの嗜好に合ったアイテムを推薦している．しかし，そのような推薦システムでは，評価履歴が十分にないユーザに対する推薦精度が低くなるコールドスタート問題がある [1]．特に，評価履歴が少数であるユーザに対する推薦精度の低下をユーザコール
ド，評価履歴が少数であるアイテムに対する推薦精度の低下をアイテムコールドと呼ぶ．そして，評価履歴が少数のユーザは新規ユーザである場合が多く，推薦が有用でないと新規ユーザ
はサービスから離れてしまい，サービスの利用者数が増えない．
そのため，新規ユーザへの適切な推薦は重要となる．また，同様に新規アイテムの適切な推薦も重要となる．このような理由から，コールドスタート問題を緩和する研究が行われている．
コールドスタート問題を緩和する研究として，商品の説明テ
キストや推薦対象アイテムとは異なるドメインにおける評価履
歴などの豊富な補助情報を利用する研究がある [2, 3]．しかし，補助情報を利用する研究は特定のデータセットに特化しており，推薦対象によって利用できる特徴が異なることや，他ドメインの情報を利用できるとは限らないため，それらの手法を任意のドメインに適用することは困難である．
そのため，ユーザとアイテムの基本的な属性情報と評価履歴のみを用いた場合でもコールドスタート問題を緩和できる手法が提案されている [4, 5]．その中で，近年ではメタ学習を用いを推薦システムに適用している. また Dong ら [9] は，メタ学
習によって獲得する学習の仕方が 1 つだけという問題点に対して，ユーザの特徴によって学習の仕方を変化させる手法を提案している．しかし，メタ学習を用いた推薦システムでは，ユー
ザ単位またはアイテム単位にデータを分割してメタ学習を行っており，主にユーザコールドまたはアイテムコールドのいずれかしか緩和されないという問題点がある．
そこで本研究では，メタ学習を用いた推薦システムにおいて，ユーザコールドとアイテムコールドの影響を同時に緩和することを目的とする．具体的には，ユーザ単位またはアイテム単位
でそれぞれメタ学習したモデルを組み合わせた手法を提案する．
これにより，各データ分割方法でメタ学習したモデル単体ではユーザコールドまたはアイテムコールドのどちらかのみを緩和可能であっても，両モデルを組み合わせて両者の特徴を備える
ことでコールドスタート問題全体の緩和を可能にする．また，実際に推薦の評価に用いられるベンチマークデータセットを用い，評価履歴が少数であるコールドの場合と十分あるウォー
ムの場合の精度を比較し，ユーザコールドとアイテムコールドのそれぞれの緩和度合から，提案手法の有効性を実験的に評価する．

2 関連研究2. 1 深層学習を用いた推薦システム

た推薦手法が良い結果を出している [6]．メタ学習は複数のタ推薦システムは，協調フィルタリングとコンテンツベース

スクから事前に学習の仕方を獲得することで，新規タスクを少フィルタリング，2 つを組合わせたハイブリッド手法の 3 種類

数データで学習することを可能とする．そのため，評価履歴がに大別できる [10]．基本的には，協調フィルタリングとコンテ

少数の場合にもモデルを最適化することが可能となり，コール

ンツベースフィルタリングそれぞれの短所を相互に補強するハドスタート問題を緩和することができる．メタ学習を最初に推イブリッド手法が多用される．また，深層学習の発展に伴い，薦システムに適用した Lee ら [7] の研究では，代表的なメタ学

ハイブリッド手法とともにコールドスタート問題に対して深層習手法である Model Agnostic Meta Learning（MAML）[8]

学習モデルが広く活用されている．その中でも，単純な構造を持つことから様々な手法の基礎として多く用いられる Neural

Collaborative Filtering [11] という手法がある．この手法では，ユーザの潜在表現の獲得，アイテムの潜在表現の獲得，および，

2 つの潜在表現のかけ合わせに多層パーセプトロンを用いている．これにより，ユーザとアイテムの複雑な相互作用を表現することが可能となる．

2. 2 コールドスタート問題の緩和に関する研究
コールドスタート問題における問題設定は，レビューテキス
トや商品の説明テキスト，推薦対象以外のドメインなどの豊富

図 1: 2 種類のタスクに対するデータ生成法

な補助情報が使える設定，および，ユーザとアイテムの属性情報と評価履歴の限られた情報のみが使える設定に大別できる．

成方法をとることができる．具体的には，ユーザ u の属性情報

豊富な補助情報が使える問題設定であるレビューテキストをや評価履歴の潜在表現などの特徴を xu ，アイテム i の属性情用いた研究として，Tsai ら [2] は，商品の説明テキストを用い報や評価履歴の潜在表現などの特徴を xi ，xu と xi を結合してコールドでないアイテムを基にコールドアイテムの評価履歴

たベクトルを xui ，ユーザ u によるアイテム i の評価値を rui ，に仮想的な履歴を追加する手法を提案している．また，目的とユーザ u により評価済みのアイテム集合を Iu とすると，ユーザ異なるドメインの情報を用いた手法としてクロスドメインレコ

u の評価傾向を捉えるためのタスク Tu に対するデータ集合は

メンデーションがある．Wang ら [3] は，推薦対象ではない補助{(xui , rui )|i ∈ Iu } となる．同様に，アイテム i を評価済みのドメインにおけるユーザ間類似度を利用し，目的ドメインにおユーザ集合を Ui とすると，アイテム i の評価傾向を捉えるためけるコールドユーザに対する推薦精度を向上させている．これのタスク Ti に対するデータ集合は {(xui , rui )|u ∈ Ui } となる．

らの手法では，豊富な補助情報を用いることでコールドスター

また，メタ学習は主に Metric-base，Model-base, Optimization-

ト問題を緩和することは可能であるが，補助情報がないデータ

base の 3 つに大別される [14]．それぞれの分類における代表

セットには対応できない．そのため，限られた情報のみの問題的な手法として，Metric-base の Prototypical Networks [17]，設定においてコールドスタート問題を緩和する方法が研究されModel-base の Neural Process（NP）[15]，Optimization-baseている [4, 5]．
限られた情報のみを用いる研究として，Chae ら [4] は，既知の評価履歴から仮想的な評価履歴を生成し，評価値行列を拡張の Model-Agnostic Meta-Learning（MAML）[8] がある．その中でも，メタ学習を用いた推薦システムでは MAML を基礎とした手法が多い．

する手法を提案している．この手法ではデータセット全体の疎

MAML は様々なタスクに適応しやすいモデルパラメータの性も解消されるため，コールドスタート問題の緩和だけでなく，初期値を獲得する手法である．初期値の獲得は inner update

全体の推薦精度も向上させている．また，推薦システムで用いと outer update の 2 段階のレベルの学習に分かれており，事られるユーザまたはアイテムの埋め込み表現を補強する手法も前に 2 つの学習を繰り返すことでメタ知識を獲得する．Inner

提案されており，Zhao ら [5] は，コールドアイテムの埋め込み

update は 1 つのタスクに特化してモデルを更新する学習であ表現を属性情報を用いて補強する手法を提案している．補強さり，outer update は複数のタスクからメタ知識を獲得する学習

れた埋め込み表現を推薦モデルの入力に用いることで，コールである．ここで，説明変数 x ∈ X と目的変数 y ∈ Y の組み合

ドアイテムに対する推薦精度の向上に成功している．これらのk
わせで構成されるデータ数 Nk のタスクを Tk = {(xn , yn )}n=1

N

研究に対して，近年ではメタ学習を用いた推薦手法が良い結果とし，M 個のタスクで構成される訓練用のデータセットをを出している [6]．

train
Dtrain = {Tm }M
中の各タスクを，
m=1 とする．また，DA

2. 3 メタ学習を用いた推薦システム
メタ学習は，目的のタスクと関連するタスクから学習の仕方を事前に学習することで，少数の学習データに対する性能を高める手法である．具体的には，複数のタスクを用いた事前学習
によってメタ知識と呼ばれる事前知識を獲得し，目的のタスクの学習・推論においてそのメタ知識を活用する． メタ学習は推薦システムにおいてコールドスタート問題の緩和のために用いられ，タスクに応じてデータの分割方法が異なる．タスクは，1人のユーザの評価傾向を捉えることを 1 つのタスクとするユー
ザタスクと，1 つのアイテムの評価傾向を捉えることを 1 つのタスクとするアイテムタスクがある．つまり，図 1 に示すように，1 つの予測対象に対して 2 種類のタスクに対するデータ生k
データ数 Ak のサポートセット Sk = {(xn , yn )}n=1とデータ

Nk
数 Nk − Ak のクエリセット Qk = {(xn , yn )}n=A
に分割す
k +1

る．サポートセットは inner update に，クエリセットは outer

update に用いる．また，パラメータ θ を持つモデルを fθ としたとき，inner update では通常の教師あり学習で勾配法を用いてモデルを更新するのと同様に，以下の式 (1) で特定のタスクに最適化されたパラメータ θTk を獲得する．

θTk = θ − α∇θ L(fθ , Sk )(1)

ここで，α は inner update における学習率を表し，L は損失関数を表す．推薦システムにおける評価値予測では，損失関数として平均二乗誤差が用いられる．また，パラメータ θ は outer

update で獲得するモデルパラメータの初期値から学習が始め

デルとアイテムタスクモデル，および，統合モジュールの 3 つから構成される．2 つのタスクモデルはそれぞれ事前にメタ学
習済みのモデルであり，学習する際のタスクが異なる．ユーザ
タスクモデルはユーザタスク，アイテムタスクモデルはアイテ
ムタスクでメタ学習する．また，統合モジュールは 2 つのタス
クモデルの予測結果のどちらをどのくらい重視するかを調整するモジュールである．統合モジュールが 2 つのタスクモデルの特性を考慮して予測結果を調整することで，いずれのコールド

図 2: 提案手法の概要図

スタート問題も緩和する．
られる．Outer update では，複数のタスクのクエリセットに対して，損失が最小となるパラメータの初期値 θ∗ を以下の式(2) で獲得する．
∗

θ = θ − β∇θ∑

次に，ユーザ u がアイテム i につける評価値 rui を予測する
際の入出力の流れを説明する．ここで，ユーザの特徴を xu ，アイテムの特徴を xi ，ユーザタスクが含むインスタンス数（ユーザタスクサイズ）を su ，アイテムタスクが含むインスタンス数

L(fθTk , Qk )(2)

Tk ∼p(T )（アイテムタスクサイズ）を si とする．提案手法全体ではモデ
ルに xu ，xi ，su ，si を入力し，予測評価値 r̂ui を出力する．具ここで，β は outer update における学習率とし，p(T ) は D train

体的には，ユーザタスクモデルには xu と xi を入力し，予測評におけるタスクの分布とする．以上のように式 (1) と式 (2) をU
価値 r̂uiを得る．アイテムタスクモデルも同様に，xu と xi を各タスクに適用することで，様々なタスクで最適化しやすいモI
入力し，r̂uiを得る．次に，su ，si ，および，2 つのタスクモデ

デルパラメータの初期値をメタ知識として獲得する．

UI
ルから得た r̂ui
，r̂ui
を統合モジュールの入力として r̂ui を得る．

メタ学習を最初に推薦システムに適用した研究として，Lee [7]また，提案手法では大きく 3 種類の学習をする．各タスクモ

らは，MAML [8] をユーザタスクに適用した Meta-Learned User

デルに対するメタ学習とファインチューニング，統合モジュー

Preference Estimator（MeLU）という手法を提案している．具ルに対する学習である．メタ学習で様々なタスクに適合しやす

体的には，MAML を用いてユーザの平均的な嗜好を推薦モデ

くなるようにモデルを訓練し，ファインチューニングで特定のルのパラメータ初期値として獲得する．これにより，ランダムタスクに適合する．統合モジュールに対する学習では，タスクな初期値と比較して少ない学習データでモデルのパーソナライ

サイズを用いてどちらのタスクモデルを重視するかを訓練する．

ズが可能となり，主にユーザコールドの影響を緩和している．

3. 2 2 つのタスクモデルの特性

また，Dong ら [9] は，MeLU において全ユーザに対して 1 つの初期値のみを獲得することを問題と捉えて，MeLU を拡張した手法を提案している．具体的には，まず，主にユーザの属性情報から得たタスクの特徴を基に計算したタスク間の関連性を外部メモリに保存する．その後，推論時に外部メモリと推論
対象のタスクの特徴を照らし合わせることで，タスクの特徴によって初期値のパラメータを変化させる機構を実現している．
また，他の代表的なメタ学習手法を推薦システムに適用した研究もあり，Sankar ら [16] は，Prototypical Networks [17] をア
イテムタスクに適用することでアイテムコールドの影響を緩和する手法を提案している．また，Lin ら [6] は，NP [15] をユー
ザタスクに適用することで，Dong ら [9] と同様の問題を解消
している．
しかし，これらのメタ学習を用いた手法では，タスクに対するデータの分割方法がユーザ単位またはアイテム単位のいずれかであり，ユーザコールドとアイテムコールドの影響を同時に緩和できていない．そこで本研究では，2 つのタスクに対してそれぞれメタ学習したモデルを組み合わせることで，この課題を解決する．

3 提案手法3. 1 提案手法の概要
提案手法の概要を図 2 に示す．提案手法は，ユーザタスクモ

2 つのタスクモデルは異なるタスクが学習対象となるため，それぞれ異なる特性を持つ．それらの特性の違いは，タスクが含むインスタンス数（タスクサイズ）による精度差の分布に，2つの傾向として表れる．1 つは，一定のタスクサイズまでは，タスクサイズが大きいモデルの方がファインチューニングに用いる学習データが多いため，精度が良くなる傾向である．もう 1
つは，いずれかのタスクサイズが一定の値より大きい場合には，
タスクサイズの大小関係に依らずに，いずれかのタスクモデルの方が精度が良くなる傾向である．これらの傾向を実際に予備実験により確認した．予備実験では，ユーザタスクモデルには

MeLU，アイテムタスクモデルには MeLU をアイテムタスクに変更したモデルを用いた．また，精度には，映画のレビュー
データセットである MovieLens-1M [18] における 5 段階評価の評価値予測の絶対平均誤差（MAE: Mean Absolute Error）
を用いた．図 3 に，結果として得られたタスクサイズごとのタスクモデル間の精度差を表すヒートマップを示す．ヒートマッ
プは赤色が濃いほどアイテムタスクモデルの精度が良く，青色が濃いほどユーザタスクモデルの精度が良いことを表している．
また，x 軸と y 軸はタスクサイズごとに範囲を分割し，軸目盛りにはタスクサイズの下限と上限，カッコ内に上限の分位割合を表記している．図 3 に示すように，橙三角内はアイテムタス
クの方がタスクサイズが大きくファインチューニングに用いる学習データが多いため，アイテムタスクモデルの方が精度が良図 4: 改良したシグモイド関数の想定

図 3: ユーザタスクモデルとアイテムタスクモデルの精度差

い傾向を確認できる．逆に，若干アイテムタスクモデルが優勢ではあるが黄三角内ではユーザタスクモデルの精度が良い傾向を確認できる．また，いずれかのタスクサイズがある程度大きい緑枠内では，タスクサイズの大小関係に依らず，ユーザタス
クモデルの方が精度が良い傾向を確認できる．これらの特性を

図 5: データセットの分割方法活かして 2 つのタスクモデルを統合することで，全体の精度を落とさずにユーザコールドとアイテムコールドの影響をどちら

価値 r̂ui を式 (5) のように得る．

も軽減する．

r̂ui =
3. 3 タスクモデルの統合方法
統合モジュールでは，ユーザタスクサイズ su とアイテムタ
スクサイズ si からどちらのタスクモデルをどのくらい重視するかを表す重みを算出し，その重みを用いて 2 つの予測評価値
I
Uの加重平均をとることで最終的な予測評価値 r̂ui をと r̂uir̂ui

出力する．具体的には，パラメータを追加したシグモイド関数に su を入力し，ユーザタスクモデルの重視度を表す重み wu を
式 (3) のように得る．

(5)

3. 4 学習手順の詳細提案手法では統合モジュールの過学習を避けるために，図 5に示すように訓練データをさらに分割する．具体的には，統合モジュール用の訓練データと，タスクモデルが統合モジュール
用訓練データを推論するためのメタ訓練用データに分割する．
統合モジュールを訓練する手順をアルゴリズム 1 に示す．まず，統合モジュール用メタ訓練データを用いて，2 つのタスクモ
デルをメタ学習する．次に，メタ学習後のタスクモデルを用い

wu = c · Sigmoid(a (su + b ))
U

=

I
U
+ wi r̂ui
wu r̂ui
wu + wiUUcU
1 + eaU (su +bU )て統合モジュール用訓練データに対して予測をする．最後に，(3)

同様に，アイテムタスクモデルの重視度を表す重み wi は式(4) のように得る．
wi = cI · Sigmoid(aI (si + bI ))(4)

式 (3), (4) 中の a，b，c を学習することで図 4 のような関数とその予測評価値を用いて統合モジュールを訓練する．最終的なテストデータに対しての推論には，訓練データでメタ学習した
タスクモデルと学習済みの統合モジュールを用いる．

4 評価実験
4. 1 実 験 設 定なることを想定している．このような想定をした理由は主に 3評価実験では，推薦の評価に用いられるベンチマークデータ

つある．まず，一定のタスクサイズからはデータ量が増えてもセットである MovieLens-1M [18] を使用した．MovieLnes-1M

精度の変動が小さいため，一定の重みとなる必要がある．そのは映画のレビューデータセットであり，ユーザがアイテムにつため，シグモイド関数を用いる．次に，3. 2 節で述べた 2 つのけた 5 段階評価およびユーザとアイテムの属性情報が含まれタスクモデルの特性から，一定のタスクサイズまではタスクサ

る．ユーザの属性情報には性別，年齢，郵便番号，職業があり，イズが大きいタスクモデルを重視する必要があるため，その重アイテムの属性情報にはジャンル，監督，主演，レーティング

視度合を a，b で調整する．また，タスクサイズが一定の大きがある．評価実験では，図 6 に示すように特定時刻で分割しさからは片方のタスクモデルを重視する必要があるため，シグたのちに訓練データを削減する前処理を行う．具体的には，特モイド関数の上限を c で調整する．最後に，算出した wu と wi

定時刻で分割したユーザの内，訓練データ中にも評価履歴があUIを重みとして r̂uiと r̂uiの加重平均とることで最終的な予測評

るユーザの半数のデータを削減する．訓練データを削減する理Algorithm 1 統合モジュールの学習
Require: Dintegration meta train , Dintegration train
1: function meta train(model, task name)2:
3:

for outer epoch
for tasktask name ∈ Dintegration meta train

4:

support set, query set ← Split tasktask name5:for inner epoch

6:

Inner update model using support set

7:

Outer update model using query set

8:Initialize model to updated initial parameters9:

図 6: データセットの前処理

return model

10: end function
11:

4. 2 実験結果と考察

12: function task model predict(model, xuser , xitem , task name)13:

Get tasktask name from Dintegration meta train using
xtask name as key

実験結果を表 1 に示す．ここで，U-C は User Cold，U-W
は User Warm，I-C は Item Cold，I-W は Item Warm の問題

14:task size ← Size of tasktask name

設定を表し，カッコ内はタスクサイズの上限の分位割合を表

15:for inner epoch

す．また，太字は各設定における最良の精度を表す．結果とし

16:

Inner update model using tasktask name17:r̂ ← model(xuser , xitem )18:

Initialize model

19:

return r̂, task sizeて，すべてのテストデータに対して提案手法が最良の精度となった．また，U-C（0%）以外の設定において提案手法が最良となった．この結果から，提出手法はユーザコールドとアイテ
ムコールドを同時に緩和できているため，MovieLens-1M [18]20: end function

において提案手法により研究目的を達成できたことが確認でき

21:
22: task modelU ← META TRAIN(task modelU , item)

る．また，U-C の設定において，メタ学習の効果を発揮してほ

23: task modelI ← META TRAIN(task modelI , item)

しい UT が IT より精度が悪い場合があった．これは，ユーザ

24: for xu , xi , rui ∈ Dintegration train

タスクサイズが極端に小さく，アイテムタスクサイズが十分に

25:

U , s ←TASK MODEL PREDICT(task modelU , user)
r̂ui
u

26:

I , s ←TASK MODEL PREDICT(task modelI , item)
r̂ui
i

27:

U , r̂ I , s , s )r̂ui ← integration module(r̂uiui u i28:

update integration module using r̂ui , rui

大きい訓練データに対しては，IT の方がファインチューニン
グに用いる学習データが多く，メタ学習の効果が学習データ数の優位性を上回らなかったためだと考えられる．また，I-C の設定において，IT が UT より精度が悪い場合があったことも，同様の理由だと考えられる．
次に，提案手法と従来手法 [7] の精度差を細かく比較し，精由は，特定時刻で分割した際に，大半が特定時刻をまたがない

度に差が出た要因を考察する．図 7 に，提案手法とユーザタス

ユーザ（Zero-Shot User），および，極端に評価履歴が多いユー

クモデルの精度差の分布を図 3 と同様のヒートマップを用い

ザ（Warm User）であり，評価に必要なコールドユーザを十て示す．ここでは，赤色が濃いほどユーザタスクモデルの精度分に確保できないためである．前処理として，訓練とテストのが良く，青色が濃いほど提案手法の精度が良いことを表していデータ数の比率が 5 対 1 となる時刻で分割し，削減処理を行っる．結果として，まず，橙三角の範囲において青色が濃い箇所

たデータセットは，総評価履歴数 981,217 個，総ユーザ数 6,040が多いことから，提案手法が従来手法であるユーザタスクモデ

人，総アイテム数 3,702 個となった．評価指標には MAE を用ルより大幅に精度を改善していることがわかる．この範囲は提いる．ここで，l をテストデータ数，r を正解評価値，r̂ を予測

案手法によって改善することを想定していた範囲であり，大幅評価値としたとき，MAE は式 (6) で定義できる．

に改善したことからタスクサイズによる優位性を考慮した統合

1∑|r̂j − rj |l j=1

が成功したと考えられる．また，ユーザタスクサイズが 0 の範l

M AE =(6)

囲でも大幅に精度が改善していることが読み取れる．これは，元々ユーザタスクモデルが極端に低い精度であったため，統合本実験では，メタ学習を用いた推薦システムの中で基礎となモジュールによりアイテムタスクモデルの予測結果に多少でもる手法として用いられることが多い MeLU [7] に提案手法を適引っ張られることで，精度が改善したと考えられる．次に，い用し，提案手法の有効性を評価した．評価方法としては，ユー

ずれかのタスクサイズがある程度大きい緑枠の範囲では，微量

ザタスクモデル（UT: User Task model）と，アイテムタスク

な精度改善となっていることがわかる．これは，タスクサイズ

モデル（IT: Item Task model），および，提案手法の予測精度が大きいユーザまたはアイテムは，タスクの分割方法に依らずを比較する．なお，UT は MeLU [7] と同一のモデルである．

学習時に頻出なデータであるため，タスクサイズによる優位性

表 1: MovieLens-1M [18] における MAE
設定（分位割合）

全体

タスクサイズ

U-C

U-C

U-C

U-W

I-C

I-C

I-C

I-W

（0%）

（10%）

（25%）

（75%）

（0%）

（10%）

（25%）

（75%）

0

1〜12

13〜29

305〜

0

1〜10

11〜33

286〜

UT [7]

0.732

1.450

0.858

0.755

0.721

0.858

0.887

0.823

IT

0.761

0.863

0.816

0.796

0.749

0.914

0.860

0.837

0.723
0.757

提案手法

0.715

0.883

0.790

0.746

0.712

0.827

0.856

0.795

0.709

が小さくなり，タスクモデル間で精度の差が出ずに微量な改善にとどまったのだと考えられる．最後に，紫四角の範囲では一部精度が悪化している．これは，タスクサイズが中途半端であるため学習が困難となってしまったと考えられる．その一方で，同様にタスクサイズが中途半端な黄四角では精度が向上している．これは，紫四角内の訓練データ総数 38 個に比べて黄四角内の訓練データ総数は 265 個であり，紫四角と比べて十分に学習できたため，黄四角の範囲では精度が改善したと考えられる．

4. 3 統合モジュールの学習に関する考察
統合モジュールにおけるシグモイド関数の学習結果を想定し

図 7: 提案手法とユーザタスクモデルの精度差

たものと比較し，想定通りの部分の確認，および，想定と異なる部分の要因を考察する．まず，図 8 に学習後のシグモイド
関数のグラフを示す．想定したシグモイド関数のグラフである
図 4 と同様に，途中から 2 つのタスクモデル間の重視度が逆転していることが確認でき，概ね想定と同じ傾向であることがわ
かる．一方，想定より，b のタスク間の差が小さく，c のタスク間の差が大きい．このことは，タスクモデルの重視度の分布に違いが表れると考えられるため，次にシグモイド関数による重視度の分布を確認する．
想定したシグモイド関数による重視度の分布を図 9(a) に示
し，学習後のシグモイド関数による重視度の分布を図 9(b) に

図 8: 学習後のシグモイド関数示す．図 9 では，赤色が濃いほどアイテムタスクモデルを重視
し，青色が濃いほどユーザタスクモデルを重視していることを表している．まず，図 9(a) から想定したシグモイド関数による傾向を確認する．
図 9(a) では主に 3 つの傾向が確認できる．1 つ目は，ヒート
マップの左上または右下へ近づくにつれてタスクサイズの差が大きくなるため，タスクサイズが大きい側の重視度が大きくなる傾向である．次に，橙四角はいずれも小さいタスクサイズであるコールドの範囲を示しており，重視度の均衡が対角線から(b) 学習後

ずれてアイテムタスクモデルが優勢となる傾向が確認できる．

(a) 想定また，緑四角はいずれも大きいタスクサイズであるウォームの

図 9: シグモイド関数の重視度の分布範囲を示しており，コールドの範囲とは逆転してユーザタスク
モデルが優勢となる傾向が確認できる．

あることがわかる．これは，訓練データの分布が想定と異なっ

次に，図 9(a) と図 9(b) を比較する．まず，図 9(b) では，ているためだと考えられる．図 10 に，統合モジュール用訓練

図 9(a) と同様に，ヒートマップの左上または右下へ近づくにつ

データにおける 2 つのタスクモデルの精度差の分布を示す．まれてタスクサイズが大きい側の重視度が大きくなっていることず，図 10 におけるコールドの範囲の分布に関しては，図 9 の 2がわかる．また，コールドとウォームのいずれの範囲でも想定つの分布のうち図 4 に示した想定したシグモイド関数に基づくと同じタスクモデルが優勢となっていることがわかる．しかし，

図 9(a) の分布に近いことがわかる．一方，ウォームの範囲でコールドの範囲では想定よりアイテムタスクモデルが優勢でな

は，ユーザタスクモデルが想定より優勢であり，図 9(b) に示

く，ウォームの範囲では想定よりユーザタスクモデルが優勢でした学習したシグモイド関数による分布に近いことがわかる．

図 10: 訓練データにおける 2 つのタスクモデルの精度差
図 11: シグモイド関数の学習後と想定の精度差
これは，ウォームの範囲の訓練データ総数が 20,270 個，コールドの範囲の訓練データ総数が 203 個とデータ数に差があり，
ウォームの範囲を重点的に学習したためだと考えられる．そのため，実際に学習したシグモイド関数において，想定の場合より b のタスク間の差が小さく，c のタスク間の差が大きい原因

り，タスクサイズを基にした 2 つのタスクモデルの特性を概ね想定通りに学習できていることを確認した．しかし，コールドの範囲では，想定よりアイテムタスクモデルの重視度が優勢でなく，悪い精度であった．

は，想定の場合と比べて，統合モジュールが訓練データにおけ

今後の課題として 3 点挙げる．1 つ目は，統合モジュールにるウォームの範囲の分布をより再現するように学習したためだ

おけるウォームの影響を小さくしたコールドの学習である．2と考えられる．

つ目は，2 つのタスクモデルの精度差の分布が異なる場合の提想定と異なった部分の影響を確認するために，学習したシグモイド関数（図 8）と想定したシグモイド関数（図 4）をそれぞれ用いた場合の精度差分布を確認する．精度差の分布を図 11に示す．赤色が濃いほど想定したシグモイド関数を用いた場合の精度が良く，青色が濃いほど学習したシグモイド関数を用いた場合の精度が良いことを表している．ウォームの範囲では，
重点的に学習したシグモイド関数の方が精度が良く，逆に，コールドの範囲では想定したシグモイド関数の方が精度が良いことがわかる．これは，学習によって，コールドの範囲の重視度の分布がウォームの範囲の傾向に引っ張られたことにより，コールドの範囲の予測に悪影響を与えたためだと考えられる．この悪影響は，ウォームとコールドの訓練データ数の不均衡を解消

案手法の有効性の検証である．データセットが変われば，2 つのタスクモデルの特性とデータ数の分布が変わることが考えられるため，他のデータセットを用いた実験を通して提案手法の性能がデータセットに依存しないことを示す必要がある．3 つ目は，異なるメタ学習を用いた推薦システムに対する提案手法の有効性の検証である．本論文では MeLU [7] に提案手法を適用した場合の評価にとどまったが，提案手法は，ユーザタスク
またはアイテムタスクに分割する任意の手法に適用することができる．そのため，他の手法やユーザタスクモデルとアイテム
タスクモデルで異なる手法に適用した場合を評価することで，メタ学習を用いた推薦システムにおけるアンサンブル手法の選択肢として確立することができると考えている．

することで改善が期待できる．そこで，コールドの訓練データをオーバーサンプリングして，ウォームの範囲のデータ数との不均衡を解消して，統合モジュールを学習した．結果として，不均衡なまま統合モジュールを学習させた場合と比べて，コー
ルドの範囲の重視度の改善とともに精度を平均 0.060 改善することはできたが，想定の場合と比べると平均 0.012 悪い精度であった．そのため，この問題の改善には，単純に不均衡を解消するのみでは十分ではなく，他の方法でもウォームの学習の影
響を小さくする必要があると考えられる．

5 結論

本研究では，メタ学習を用いた推薦システムにおいてユーザ
コールドとアイテムコールドの影響を同時に緩和することを目的とし，事前にメタ学習したユーザタスクモデルとアイテ
ムタスクモデルを組合わせる手法を提案した．評価実験から，

MovieLens-1M [18] において MeLU [7] に提案手法を適用した場合に， 両方のコールドの影響を緩和することができ，全体の精度も向上することを確認した． また，統合モジュールによ文

献[1] Panda, D. K. and Ray, S.: Approaches and algorithms to
mitigate cold start problems in recommender systems: asystematic literature review, Journal of Intelligent Information Systems, Vol. 59, No. 2, pp. 341–366 (2022).
[2] Tsai, C.-Y., Chiu, Y.-F. and Chen, Y.-J.: A two-stage neural network-based cold start item recommender, Applied
Sciences, Vol. 11, No. 9, pp. 42–43 (2021).
[3] Wang, X., Peng, Z., Wang, S., Yu, P. S., Fu, W., Xu, X.
and Hong, X.: CDLFM: Cross-Domain Recommendation
for Cold-Start Users via Latent Feature Mapping, Knowledge and Information Systems, Vol. 62, No. 5, pp. 1723-1750(2020).
[4] Chae, D., Kim, J., Chau, D. H. and Kim, S.: AR-CF: Augmenting Virtual Users and Items in Collaborative Filtering for Addressing Cold-Start Problems, Proceedings of the
43rd International ACM conference on research and development in Information Retrieval (SIGIR), pp. 1251–1260(2020).
[5] Zhao, X., Ren, Y., Du, Y., Zhang, S. and Wang, N.: Improving Item Cold-start Recommendation via Model-agnostic
Conditional Variational Autoencoder, Proceedings of the
45th International ACM Conference on Research and Development in Information Retrieval (SIGIR), pp. 2595–

2600 (2022).
[6] Lin, X., Wu, J., Zhou, C., Pan, S., Cao, Y. and Wang, B.:
Task-adaptive Neural Process for User Cold-Start Recommendation, Proceedings of the World Wide Web Conference(WWW), pp. 1306–1316 (2021).
[7] Lee, H., Im, J., Jang, S., Cho, H. and Chung, S.: MeLU:
Meta-Learned User Preference Estimator for Cold-Start
Recommendation, Proceedings of the 25th ACM International Conference on Knowledge Discovery & Data Mining(KDD), pp. 1073–1082 (2019).
[8] Finn, C., Abbeel, P. and Levine, S.: Model-Agnostic MetaLearning for Fast Adaptation of Deep Networks, Proceedings of the 34th International Conference on Machine
Learning (ICML), Vol. 70, pp. 1126–1135 (2017).
[9] Dong, M., Yuan, F., Yao, L., Xu, X. and Zhu, L.:
MAMO: Memory-Augmented Meta-Optimization for Coldstart Recommendation, Proceeding of the 26th ACM Conference on Knowledge Discovery and Data Mining (KDD),
pp. 688–697 (2020).
[10] 神嶌敏弘：推薦システムのアルゴリズム (2)，人工知能学会誌，Vol. 23, No. 1, pp. 89–103 (2008).
[11] He, X., Liao, L., Zhang, H., Nie, L., Hu, X. and Chua, T.:
Neural Collaborative Filtering, Proceedings of the 26th International Conference on World Wide Web (WWW), pp.
173–182 (2017).
[12] Vincent, P., Larochelle, H., Bengio, Y. and Manzagol, P.:
Extracting and composing robust features with denoising
autoencoders, Proceeding of the 25th International Conference on Machine Learning (ICML), Vol. 307, pp. 1096–1103(2008).
[13] Mirza, M. and Osindero, S.: Conditional Generative Adversarial Nets, arXiv preprint arXiv:1411.1784 (2014).
[14] Hospedales, T. M., Antoniou, A., Micaelli, P. and Storkey,
A. J.: Meta-Learning in Neural Networks: A Survey, IEEE
Transactions on Pattern Analysis & Machine Intelligence,Vol. 44, No. 9, pp. 5149–5169 (2022).
[15] Garnelo, M., Rosenbaum, D., Maddison, C., Ramalho, T.,
Saxton, D., Shanahan, M., Teh, Y. W., Rezende, D. J.
and Eslami, S. M. A.: Conditional Neural Processes, Proceedings of the 35th International Conference on Machine
Learning (ICML), Vol. 80, pp. 1690–1699 (2018).
[16] Sankar, A., Wang, J., Krishnan, A. and Sundaram, H.:
ProtoCF: Prototypical Collaborative Filtering for Few-shot
Recommendation, Proceeding of the 5th ACM Conference
on Recommender Systems (RecSys), pp. 166–175 (2021).
[17] Snell, J., Swersky, K. and Zemel, R. S.: Prototypical Networks for Few-shot Learning, Proceeding of the Advancesin Neural Information Processing Systems (NeurIPS), pp.
4077–4087 (2017).
[18] Harper, F. M. and Konstan, J. A.: The MovieLens Datasets:
History and Context, ACM Transactions on interactive intelligent systems, Vol. 5, No. 4 (2015).