# 検索モチベーションクラスタリングにおける価値のあるクラスタと その応用としての適用条件および検索モチベーション分析システム

Dinh Trong Thang ${ }^{1}$ 岩井千妃呂 ${ }^{1}$ 大西一貫 ${ }^{1}$
${ }^{1}$ 株式会社アイレップ
\{thang_dinh, iwai_chihiro, kazuhiro_onishi\}@irep.co.jp
}

\begin{abstract}
インターネット広告におけるインターネットユー ザが検索したい情報単位での集計分析作業について 実現可否の事前予測を実現するため，クラスタリン グ結果に対する「価値のあるクラスタ」，およびそ のクラスタに基づくキーワード数を用いた適用可能条件を定義し，それらを活用した検索モチベーショ ン分析システムを提案する. 有効な結果が得られる かの事前判別が可能となることで，実務者の負荷が 減り，業務の高品質化につなげることができる. 広告グループ内キーワード数を用いた適用条件評価に おいて $70.9 \%$ の精度で事前に予測できることを確認 し，システムの実務適用における 5 人の実務者によ る有効性評価において，60\%の好意的な回答を得て いることから，提案システムの有効なデータ提示が 実現できていることを確認している. 改善するポイ ントをさらに追及し，より高度な細かいインターネ ットユーザ行動分析，豊かな広告コミュニケーショ ンの実現を目指す。
\end{abstract
## 1 はじめに

インターネットユーザが検索して得たい情報（以下，検索モチベーション）単位で集計や分析を行うことは効果的かつ効率的な広告配信を行う上で重要な分析工程であるが，手作業で行うには集計作業に時間がかかるため自動化のニーズが高まっている.

広告配信を行った際に媒体から提供されるレポート群の 1 つであるキーワードパフォーマンスレポートデータに対して，BERT および HDBSCAN を用いた検索モチベーションクラスタリング[1]では，試験的にいくつかの案件で業務利用可能であるという成果を得ているが，広告配信の規模や運用期間の長さによって十分な成果が得られない場合も観測されており，多数の案件を運営する上で適用可能かどうかを事前に予測することは運用上重要な課題となっている。クラスタリングはキーワードの種類や数に
よって出力が大きく異なることから，キーワードを予め分析することで適用可能かどうかを事前に予測することは可能である.

適用可能かどうかを判定するために「価值のあるクラスタ（以下，価値クラスタ）」を定義し，その活用例として株式会社アイレップにおける適用可能条件を導き，業務に適したアプリケーションとして検索モチベーション分析システムを提案する。より深い分析をシステム化することで手作業の負担が少なく，これまで深い分析を諦めなければいけなかつた時間的猶予のない状況下でも安定した分析が行えるようになり，マーケターはさらに前進的なマーケティング戦略を立案することに集中できる.

Google Ads の Keyword Performance Report を用いた実運用案件において，適用可能かどうかをキーワ ード数で判定するロジックについて，価值のあるクラスタに基づいたデータセットに対する適用条件の精度を評価する.システムの提示が適切であるかどうかは 5 名の専門家に対する使用感アンケートを取り，評価する。

適用可能かどうかを判別する判別条件と業務が利用しやすいデータ構造に整理し表示する検索モチベ ーション分析システムについて 2 で述べ，適用可能判定の精度評価実験を 3 で紹介し，システムの実務者によるアンケート評価実験を 4 に示す.

## 2 価値クラスタの定義および

## 検索モチベーション分析システム

## 2. 1 価値クラスタの定義と適用条件

検索モチベーションクラスタリングを実際の業務に適用する際，データの連携やアカウントの発行手続きなどを通して処理が行われるため，試験的に適用するには処理に時間がかかることが多い. 特に広
告配信の案件を複数持っているような実務者にとって, 複数の案件についてそれぞれが適用可能かどうかを実際にクラスタリングシステムの出力を見てから個別判断する状況では負担が大きいため, 分析する前に適用可能かどうかを予測することは極めて重要な課題である.

検索モチベーションクラスタリングは既に配信されている実績データの出稿時に設定されたキーワー ドに対して行うため, キーワード数から分析に十分に耐えるデータを生成できるかどうかを判定して実務者に前情報として提示できる.

業務上分析対象として有効なクラスタを価値のあるクラスタとみなし，3つ以上のキーワードを含み形態素解析で共通する単語がないクラスタを価値のあるクラスタ（以下，価値クラスタ）とする。価値クラスタの定義を利用して検索モチベーションクラスタリングの業務適用条件を次のように定義することができる.

「適用可能」の広告グループは広告グルー プの中に価値クラスタが 1 つ以上含まれている広告グループ

「適用不可」のグループは広告グループの中に価値クラスタが含まれてない広告グル ープ

価値クラスタが 3 つ以上のキーワードで構成される理由は人の解釈性によるもので，2つのキーワードだけでは互いに反する語であったり，セマンティックにかけ離れたキーワードで構成されてしまったりする場合, 人の解釈が極めて難しいクラスタとなってしまう．より人の解釈性を上げるためには 3 つのキーワードが最低限必要となるため, 価値クラスタは3つ以上のキーワードで構成されている.

価値クラスタが 1 つだけある場合でも「実務者が新しくクラスタを発見できること」などのメリットが生じる可能性があり, 複数の価値クラスタが含まれている場合でもこのメリットは生じる. したがって, 適用条件として価値クラスタが 1 つ以上含まれていることは「適用可能」という判断が妥当である. 価値クラスタが 1 つも含まれていない場合はメリットが発生しないことから, 適用条件の最小条件は価値クラスタが 1 含まれている事である.

価値クラスタの存在確率はキーワード数と相関があるため, 価値クラスタの存在に基づいた適用可能判定はキーワード数を用いて予測可能である.

## 2. 2 検索モチベーション分析システム

広告配信で運用されるアカウントの構造は, 事前にクライアントの合意を得た設計で構築されているが，運用期間が長くなるにつれて設計当初の構成とは異なる粒度（トレンドやインターネットユーザのニーズなど）で分析・集計したいという要求は発生しやすく, 幅広い戦略を行うほどアカウント構造は大きくなっていくため都度分析を手動で行うことが困難になっていく.この集計分析を自動化することで安定した分析が可能となり実行コストが低減されるが，システムは実務者が管理しやすい粒度でデー 夕を管理する必要がある。

実務者が広告のキャンペーン情報とクラスタリングのパラメータを入力してから, 配信実績の画面が表示されるまでのフローを図 1 に示す. 前処理プロセスとして配信実績レポートを取得し，キーワードデータの中に含まれている媒体指定フォーマットの特殊記号や余分なスペースを削除するなどのキーワ ードクレンジングを行い，キーワード数の情報からロジスティック回帰で適用可能判定を行い, 「適用可能」と判定されたデータ内のキーワード群を[1] と同様に BERT，HDBSCANを通して検索モチベー

図 1 実務者の入力から表示までの流れ

ションクラスタリングを行う. 適用不可能だった場合はその旨の通知を画面上に提示する。

集計プロセスではキャンペーン単位で生成されたクラスタについて, 広告運用時の運用粒度である広告グループごとの実績として集計し, 結果を実績表と円グラフと散布図で可視化する. 実績表は広告グループ単位で表示され, システムは既存の実績表にクラスタ番号を付与して表示することで，実務者はこれまでの作業で見慣れているフォーマットから大きく変わることなくデータを分析することが可能となる. クラスタ番号単位での集計結果を同時に提示することで，実務者はこれまで手作業で行っていた「インターネットユーザがなぜ検索しているのか，知りたい情報やモチベーションでクラスタリングした際の費用対効果」などを矢庭に確認することができる. システムは同時にクラスタ単位の円グラフ，インプレッション数—クリック数散布図，およびクリック数—コンバージョン数散布図を出力し,実務者は円グラフから各クラスタの実績比を把握し，散布図で各クラスタ間の相対的なパフォーマンスの比較を視覚的に分析することができる．クラスタ内に含まれている語句から, マーケティングファネルの分析，検索モチベーション動向の探索，各検索モチベーションのパフォーマンスの比較から, 配信強化の必要性や LP 再設計の必要性を検討し, 広告運用に活かすことができる.

検索モチベーションクラスタリングの入力はキー ワード数がある程度の規模が必要であることから広告キャンペーンのキーワード一覧を対象とするため, クラスタリング出力そのものは下位レイヤーである広告グループの構造が破壊された形でクラスタリングされている．通常，広告グループは事前にクライアントの意向に沿って構築された意味のあるまとまりであるため, システムの出力を直接業務に使用すると，実務者がそのクラスタを再度広告グルー プに落とし込まなければならないという課題が生じる.そこで，システムはあらかじめキーワードに広告グループ ID を紐づけた形で管理し，クラスタリングした結果を広告グループ単位に分割, 広告グル ープ内での検索モチベーションクラスタリングを集計することでこの課題を解決し, 実務者の理解を助ける. クラスタの観点次第では異なるクラスタに含まれていると都合が良いキーワードが存在しているため，システムは軽微な修正をドラッグ＆ドロップのようなコストの低い操作で実現する UI を実装す
ることにより，実務者が理解しやすい出力を得ることができる.

## 32022 年の全実績を用いた適用可能判定の精度評価

ロジスティック回帰を用いて予測する適用可能判定について 2022 年にキーワード数が 3 以上の 49 , 795 件の広告グループから 233 件の広告グループをランダムに抽出し，表 1 に示すデータセットとして分割し，学習と検証を行う。

表 1 ロジスティック回帰の学習と検証セット

 & 58 & 55 \\

49,795 件の広告グループについて 95\%信頼区間の許容誤差 $10 \%$ かつ回答比率 0.5 とする場合の統計的な有意性が確認できる数は 96 であり，検証セットの広告グループ数 117 は十分な量である. このデー タに対して価值クラスタが存在する広告グループのラベルを「1」（適用可能），価値クラスタがない広告グループのラベルを「0」（適用不可能）としてデータセットを作成し，ロジスティック回帰は広告グループのキーワード数から適用可能かどうかのラベルを予測する。

表 2 ロジスティック回帰の学習結果

表 2 に示す通り正答率は $70.9 \%$ であり，キーワー ド数に基づいた広告グループの適用可能の判別が十分に機能している事を確認する。

$y$ は適用可能の確率と $x$ はキーワード数とする

と, 学習したロジスティック回帰のモデルの数式は $y=\operatorname{sigmoid}(0.05 \times x-1.11)$

となる。適用可能の確率は 0.5 より高い場合, 広告グループは価値クラスタがあると同じ意味である. それに基づき，キーワード数の条件を見つけられ，

$
\operatorname{sigmoid}(0.05 \times x-1.11) \geq 0.5
$

$\Leftrightarrow \frac{1}{1+e^{-(0.05 \times x-1.11)}} \geq 0.5$

$\Leftrightarrow 0.05 \times x-1.11 \geq 0$

$\Leftrightarrow x \geq 22.2$

を得る. 広告グループのキーワード数は 23 以上の場合, その広告グループに価値クラスタがある確率は 70.9\%であり，検索モチベーションクラスタリング適用可能の広告グループとする. クラスタリングを実施する前に適用可能の広告グループをキーワー ド数に基づいて予測でき, 実務者のシステム体験を向上できる.

## 45 名の実務者によるシステム利用 アンケート調査

Google Ads Keyword Performance Report $の 2022$ 年 01 月 2022 年 12 月までのデータ期間の中で 5 人のキャリアが十分に積まれた熟練の実務者がそれぞれ任意のデータ対象期間を区切ってシステムを利用し, 8 件のキャンペーンについて 2022 年 11 月 22 日～30 日までの 1 週間使用した上でシステムの有効性についてのアンケートを実施する，アンケートは選択形式と自由記述があり, 使用された質問と選択肢を表 3 , 回答の集計結果を表 4 にそれぞれ示す.

表 3 実務適用確認実験におけるアンケートで提示された質問と選択し

 \\

表 4 実務者 5 名による回答集計結果

検索モチベーションで実績集計は業務上に必要と答えた回答は $60 \%$ となっている.「いいえ」と回答した実務者の自由記述の中には「作業自体は必要だと感じています. ただ，私が自分で構築するアカウントについては，そもそもモチベーションごとに広告グループをわけるため, 広告グループ内のキー
ワードでクラスタリングする意味はそこまで感じられなかった.」と，広告グループの整理が行き届いているため好意的な回答に結びつかない案件も存在している事を確認している。一方で，「はい」と回答した実務者からは「システム自体は簡潔で使いやすかったです. 各クラスタの特徴がよりわかりやすくなれば，散布図などは分析に活用できそうだと思います.」と, システムの提示が有効であることを確認している.

実験に使用したシステムに対する UI／UX の改善要求はいくつか自由記述の中でも見られ, 「散布図は各自カスタマイズで指標を選択できるようにすればよりよいかと思いました. 」などの声もあり，実装するシステムは改善する必要があるが，単純にクラスタリングした結果をそのまま実務者に提示するよりも有効なデータ提示が実現できていることを確認する.

## 5 おわりに

価值クラスタ数 1 以上であれば適用可能とした時, 広告グループ内キーワード数を用いた適用判定評価において $70.9 \%$ の精度で適用可能の広告グルー プを事前に予測できることを確認し，システムの実務適用における 5 人の実務者による有効性評価において， $60 \%$ の好意的な評価を確認し，提案システムの実装は改善の余地があるもののクラスタリング結果をそのまま提示するより有効なデータ提示が実現できていることを確認している.

価值クラスタを定義することで判別が一定に定まり, 事前判別が難しかった適用判定の予測が可能となり, マーケティングの戦略立案への注力がより行えることによる業務の高品質化につなげることができる.

改善するポイントをさらに追及し，インターネットユーザの検索モチベーションの活用を広げることで, より高度な細かいインターネットユーザ行動分析や豊かな広告コミュニケーションの実現を目指于.

## 6 参考文献

1. BERT 及び HDBSCAN を用いた検索連動型広告における検索モチベーションに基づくキーワードクラスタリングシステム. ThangDinh, 岩井千妃呂, 大西一貫. 日本: 情報処理学会第 84 回全国大会, 2022 .