# 大規模言語モデルを用いたマイクロブログに対する絵文字予測

花一傑 1 宇津呂武仁 ${ }^{2}$ 陳嘉敏 3 鈴木良弥 1
1 山梨大学工学部メカトロニクス工学科 2 筑波大学システム情報系知能機能工学域
${ }^{3}$ IIJ 技術研究所

## 概要

昨今の SNS では，ユーザーが絵文字を自分の文章に付与することにより，文章の表す感情を増幅，補完することが多く，その絵文字付き日本語文章を利用した感情分析に関する研究も増えている. しかし，英語文章そのものの意味を理解し，その文章に相応しい絵文字を複数のクラスの中から予測し，正しいクラスに分類する絵文字予測タスク [1] [2] [3] は存在するが，日本語文章に対する絵文字予測を目的とした研究は存在しない。そこで本研究では，大規模言語モデル ChatGPT $^{1)}$ を利用し，マイクロブログ (X) の日本語ポスト文に対する絵文字予測を行い，ChatGPT の fine-tuning で高い精度を達成した。

## 1 はじめに

昨今の SNS では，ユーザーが絵文字を自分の文章に付与することにより，文章の表す感情を増幅，補完することが多い，絵文字はテキスト処理において無視できない存在になりつつある。多くの研究は絵文字を利用し，文章の意味を理解しようとしている. 例えば，Golazizian ら [4] の研究では，絵文字予測モデルを転移学習として利用し，アイロニー検出の精度の向上を達成している.

一方，絵文字がない文章からその文章に最も相応しい絵文字を複数のクラスの中から予測し，正しいクラスに分類する絵文字予測タスクも存在する．絵文字予測タスクは，SNS 上のポスト文への理解や意味分析において重要なタスクである。特に ChatGPT のような大規模言語モデルの分類タスクにおいては，従来の分類モデルと異なり，文章の意味だけでなく，その絵文字の意味や使い方も理解し，文章と絵文字を対応させる必要がある.

しかし，これまでの絵文字予測は全て英語を対象としており，日本語を対象とした絵文字予測に関する研究は存在しない。また，これらの関連研究で

1) https://platform.openai.com/docs/models/gpt-3-5
は，ラベルとしての絵文字の妥当性を考慮していない. 絵文字には使い方や意味が似ているものが存在する。従って，絵文字予測はこれまでの分類タスクと違い，予測を行う前にデータセット内の絵文字を適切な絵文字グループに統合する必要がある. そこで本研究では，マイクロブログ $(\mathrm{X})$ の日本語ポストを対象とし，グループ化した絵文字クラスを用い，大規模言語モデル ChatGPT 及び日本語 BERT ${ }^{2}$ で絵文字予測を行い，その結果についての分析を行う.

## 2 関連研究

絵文字予測は自然言語処理の様々なタスクに貢献できる．Felbo ら [5] は，絵文字予測モデルで感情分析，感情認識，皮肉検出のベンチマークにおいて，最先端の精度を達成している．Barbieri ら [1] の研究では，SemEval 2018 Task 2[2] のデータと改良した Felbo ら [5] のモデルを利用し，ラベルごとの attention 付き LSTM による絵文字予測を行い，絵文字予測の精度と絵文字・各単語間の関連の強さを調べている。この手法では，使用頻度の少ない絵文字の予測精度の向上，絵文字と各単語間 attention の可視化を達成している。また, Lee ら [3] の研究では,感情分類を補助タスクとした絵文字予測をマルチタスク学習で行っている.

絵文字予測タスクにおいては，適切にアノテー ションされているデータセットが存在しないことが問題となっている. そのため，Ma ら [6] の研究では，マルチクラスとマルチラベルのアノテーションを機械学習で行い，絵文字予測のためのデータセットを作成している。

## 3 マイクロブログ・データセット

マイクロブログの前処理をする上で二つの技術情報 (絵文字ステータス3) と絵文字バージョン) がある. 特に絵文字バージョンは ChatGPT による絵文

表 1 前処理の各手順後のポスト数

表 $2 M_{20}$ 内の絵文字及びその出現回数

字予測タスクにおいて，重要なフィルタとなる。

絵文字は，fully-qualified，minimally-qualified，unqualified の三つのステータスに分けられている. fully-qualified の絵文字が minimally-qualified と unqualified に含まれる場合，これらは同等の絵文字であるため， minimally-qualified と unqualified の絵文字を fully-qualified に置き換える.

絵文字には複数の絵文字バージョンが存在し， OpenAI 社のモデル gpt-3.5-turbo-1106 はv13.1の絵文字までしか正しく認識できず，gpt-4-1106-preview は v14.0の絵文字までしか正しく認識できない。したがって，本研究では，gpt-3.5-turbo-1106 に準じ， v13.1を認識の上限とする.

上記の絵文字の技術情報を考慮し，データセットの前処理を行う. 本研究では，2023 年 1 月までのマイクロブログ $(\mathrm{X})$ の日本語ポストを収集し，以下の手順で前処理を行う.

1. url およびユーザーへの@を削除し，unqualified と minimally-qualified の絵文字を fully-qualified に置き換える。

2. 本研究では，絵文字予測タスクをマルチクラス分類タスクとして扱うため，ポスト文に 1 種類の絵文字しか使われていないものを抽出する。

3. 前述した ChatGPT モデルの絵文字の認識上限表 3 絵文字グループと置き換え後のクラス

v13.1 以下の絵文字付きポストだけ抽出する.

4. 本研究では，全文の意味を理解し，絵文字を予測するため，絵文字が文の末尾にあるデータだけ抽出する。

5. 上記の手順で抽出したデータセットの中で出現回数上位 20 位の絵文字つきポストを抽出する.

前処理の各手順により抽出されたデータ数を表 1 に示す. 前処理で得られたデータ (約 31 万の絵文字つきポスト) を実験で使うマイクロブログ (X) データセット $M_{20}$ とする.

## 4 予測対象の絵文字

## 4.1 予測対象の絵文字の選定

3 節で作成された $M_{20}$ 内の絵文字及びその出現回数を表 2 に示す。従来のマルチクラス分類タスクにおいては，分類の対象となる文とクラスは一意に定まる。しかし，。と $\cdot$のように，絵文字には意味や使い方が似ているものが存在するため，一意に定まらない場合が多い。そこで，似た絵文字に対し，文とクラスが一意に定まるように絵文字のグループ化を行う．表 2 の絵文字に対し，表 3 のように絵文字をグループ化し，代表の絵文字で置き換える。本研究では，絵文字予測の精度を向上させるために，できるだけ多くの絵文字を第一著者の主観でグループ化している．置き換え前のクラス数は 20 であったのに対し，置き換え後のクラス数は 8 である. 置き換え後のマイクロブログデータセットを $M_{8}{ }^{4)}$ とする.また，6節の結果から，。， 08予測が難しい絵文字と判断し， ， 时きポストを $M_{8}$ から削除したマイクロブログデータセット $M_{6}{ }^{5)}$ を作成する.

4） $M_{8}$ のデータ数は $M_{20}$ と同様で 315,746 件.

5） $M_{6}$ のデータ数は 293,514 件.
表 4 ChatGPT 入力プロンプト

## 4.2 訓練・評価用データセット

人間にとって予測できるものを大規模言語モデルはどれほど予測できるかを検証するために，人手により絵文字予測可能なポストを抽出する。手順を以下に示す.

1. データセット $M_{8}$, もしくは $M_{6}$ の中から無作為に一つのポスト $p$ を取り出し，そのテキストを $t_{p}$ ，絵文字を $e_{p}$ とする。

2. 取り出したポスト $p$ のテキスト $t_{p}$ だけを見て,第一著者が $t_{p}$ に最も相応しい絵文字 $\hat{e}$ を予測する.
3. $\hat{e}=e_{p}$ の場合，ポスト $p$ を人手により絵文字予測可能なデータセット $M_{8 h}$, もしくは $M_{6 h}$ に追加する.

具体的な訓練データ，評価データ等の作成手順を以下に示す.

開発・評価データ $\quad M_{8 h}$ および $M_{6 h}$ から無作為に 400 件 (開発データ) もしくは 360 件 (評価デー タ)を選定した集合を，「人手により絵文字予測可能なポストから構成される開発データセットおよび評価データセット」とする。開発データセットとしては， $V_{8 h}$ および $V_{6 h}$ を作成し，評価データセットとしては， $T_{8 h}$ および $T_{6 h}$ を作成する. また，人手により絵文字予測可能か否かに関わらず， $M_{8}$ および $M_{6}$ から無作為に 360 件のポストを収集したデータセットを，それぞれ，評価データセット $T_{8 M}$ および $T_{6 M}$ とする. さらに，8クラスもしくは6クラスの絵文字の一様分布に従って 360 件のポストを収集したデータセットを，それぞれ，評価データセット $T_{8 u}$ および $T_{6 u}$ とする.
ChatGPT の訓練データ $\quad M_{8 h}$ から開発・評価データセットを削除した集合から，8クラスの絵文字の一様分布に従い，無作為に 40 件，80 件， 120 件， 160 件を選定した集合を，それぞれ， $R_{8}^{40}$ ， $R_{8}^{80}, \quad R_{8}^{120}, \quad R_{8}^{160}$ とする.

BERT の訓練データ $\quad M_{8}$ から開発・評価データセットを削除した集合 $R_{8 b}$ (314,928 件)を，BERT の fine-tuning 用訓練データとする.

モデルの訓練は 8 クラスのデータセットのみで行い，評価時のみ，8クラス，6クラスの両方を用いて行った. また, ChatGPT の訓練データ数の最適化および BERT 訓練時に用いる開発データとして, 開発データ $V_{8 h} ， V_{6 h}$ を使用した。

## 5 絵文字予測手法

本研究では，モデルに OpenAI 社の gpt-3.5-turbo1106, gpt-4-1106-preview, 東北大学の cl-tohoku/bertbase-japanese-v3 を用いる. 予測結果は正解率 (Acc) と F1 值で評価する。

## 5.1 ChatGPT

## 5.1.1 概要

4.2 節で作成された ChatGPT の各種データセットで zero-shot，few-shot，fine-tuning の精度を調べる.

Zero-shot では，評価データのテキストのみを gpt-3.5-turbo-1106, gpt-4-1106-preview に入力し, 予測結果の Acc と F1 値を計算する. Few-shot では, $R_{8}^{160}$ からクラスごとに 1,2 件のポストを抽出し, 8-shot，16-shot の shot とする. shot と評価データを gpt-3.5-turbo-1106, gpt-4-1106-preview に入力し, 予測結果の Acc と F1 值を計算する. fine-tuning では,
表 5 人手により絵文字予測可能な評価データ $\left(T_{8 h}, T_{6 h}\right)$ に対する評価結果 (「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1 を太字で示す. )

 &  &  &  \\

4.2 節で作成した訓練データで gpt-3.5-turbo-1106の fine-tuning を行う。開発データで訓練データ数とエポック数の最適設定を探索する. fine-tuning 後, 評価データのテキストのみを最適設定のモデルに入力し，予測結果の Acc と F1 値を計算する.

## 5.1.2 プロンプト

ChatGPT には日本語に対し，使い方や認識が間違っている絵文字がある。この問題を解決するために，絵文字の日本語においての一般的な使い方を ChatGPT に解説する．8クラスの「絵文字の使用法解説なし」と「絵文字の使用法解説あり」のプロンプトを表 4 に示す. 6 クラスの場合，選択肢の中からをとタ(及びそれらの使用法解説)を削除する.「絵文字の使用法解説なし」と「絵文字の使用法解説あり」の実験は同様に 5.1.1 節で述べた方法で行う.

## 5.2 BERT

4.2 節で作成された $R_{8 b}$ で fine-tuning を行う. 開発データでバッチサイズ, 学習率, エポック数の最適設定を探索する. fine-tuning 後, 評価データのテキストのみを最適設定のモデルに入力し，予測結果の Accと $\mathrm{F} 1$ 值を計算する。

## 6 評価

各モデルの $T_{8 h}, T_{6 h}$ に対する予測結果を表 5 に示す. $T_{8 M}, T_{6 H}, T_{8 u}, T_{6 u}$ に対する予測結果を付録の表 6, 表 7 に示す.

fine-tuning された gpt-3.5-turbo-11066)では $T_{8 h}$ に

6）「絵文字の使用法解説なし」に $R_{8}^{160}$, エポック数 3 ,「絵文字の使用法解説あり」に $R_{8}^{80}$, エポック数 3 を設定している.
おいての Acc，F1 スコアは $0.80,0.63$ であったのに対し，BERT では $0.76 ， 0.48$ であった.また， fine-tuning された gpt-3.5-turbo-1106 では $T_{6 h}$ においての Acc, F1 スコアは 0.83，0.76であったのに対し， $\mathrm{BERT}^{7)}$ では 0.80, 0.64 であった. fine-tuning された gpt-3.5-turbo-1106 では全ての ChatGPT モデルの設定かつ BERT を上回る精度を達成している。

gpt-3.5-turbo-1106 の fine-tuning では，「絵文字の使用法解説なし」と「絵文字の使用法解説あり」でほぼ同様な精度が得られたが，「絵文字の使用法解説なし」には 160 件の訓練データが使われているのに対し，「絵文字の使用法解説あり」の方には 80 件の訓練データが使われている. これは絵文字の使い方の解説が 80 件の訓練データと同じようにモデルに作用していることを意味している。すなわち， ChatGPT の fine-tuning に絵文字の使い方の解説をプロンプトに入力することで，「絵文字の使用法解説なし」より少ない訓練データで同様な精度が得られる。

## 7 おわりに

本研究では、大規模言語モデルによる日本語絵文字予測の精度を調べた. 絵文字のグループ化により，クラス数を減少させ，人手により絵文字予測可能なデータを選出することで高い予測精度を達成した.また，大規模言語モデルの fine-tuning に絵文字の使い方の解説をプロンプトに入力することで，「絵文字の使用法解説なし」より少ない訓練データで同様な精度が得られることが明らかになった。


## 参考文献

[1] F. Barbieri, L. Espinosa-Anke, J. Camacho-Collados, S. Schockaert, and H. Saggion. Interpretable emoji prediction via label-wise attention LSTMs. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4766-4771, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] F. Barbieri, J. Camacho-Collados, F. Ronzano, L. EspinosaAnke, M. Ballesteros, V. Basile, V. Patti, and H. Saggion. SemEval 2018 task 2: Multilingual emoji prediction. In Proceedings of the 12th International Workshop on Semantic Evaluation, pp. 24-33, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] S. Lee, D. Jeong, and E. Park. MultiEmo: Multi-task framework for emoji prediction. Knowledge-Based Systems, Vol. 242, p. 108437, 2022.

[4] P. Golazizian, B. Sabeti, S. Ashrafi Asli, Z. Majdabadi, O. Momenzadeh, and R. Fahmi. Irony detection in Persian language: A transfer learning approach using emoji prediction. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2839-2845, Marseille, France, May 2020. European Language Resources Association.

[5] B. Felbo, A. Mislove, A. Søgaard, I. Rahwan, and S. Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1615-1625, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] W. Ma, R. Liu, L. Wang, and S. Vosoughi. Multi-resolution annotations for emoji prediction. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6684-6694, Online, November 2020. Association for Computational Linguistics.

## A 評価結果の詳細

$「 M_{8}$ における 8 クラスの分布に従った評価データに対する評価結果」および「8クラスが一様分布に従った評価データ $\left(T_{8 u}, T_{6 u}\right)$ に対する評価結果」を，それぞれ，表 6 および表 7 に示す.

表 6 マイクロブログデータセット $M_{8}$ における 8 クラスの分布に従った評価データ $\left(T_{8 M}, T_{6 M}\right)$ に対する評価結果(「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1を太字で示す. )

 &  &  &  \\

表 78 クラスが一様分布に従った評価データ $\left(T_{8 u}, T_{6 u}\right)$ に対する評価結果 (「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1 を太字で示す. )

 &  &  &  \\