言語処理学会 第30回年次大会 発表論文集（2024年3月）

絵文字の量を制御可能な絵文字自動挿入
冨田 龍平 1
田村 晃裕 1
加藤 恒夫 1
藤田 杏樹 2
1 同志社大学大学院 理工学研究科 2 大阪大学大学院 生命機能研究科{ctwh0181@mail4, aktamura@mail, tsukato@mail}.doshisha.ac.jp
u088870i@ecs.osaka-u.ac.jp

概要
本研究では，絵文字の量を制御可能な絵文字挿入手法を提案する．従来の絵文字挿入手法は，1 つの絵文字を挿入することを前提としている．しかし実際には，複数の絵文字が使われることが多々ある．
そこで本研究では，指定された絵文字割合（文中の文字数に対する絵文字数の割合）に基づき絵文字を自動挿入する手法を提案する．提案手法は，まず，BERT により絵文字の挿入位置と各位置における絵文字数を推定する．その後，RNN により挿入する絵文字系列を生成することで，文中の複数箇所に複数絵文字の挿入を可能とする．X から作成したデータを用いた実験の結果，F 値は低い値であったが，人手による主観評価では，人が行った絵文字挿入よりも好ましい挿入ができることを確認した．

1

はじめに絵文字は，書き手の感情など，文字だけでは伝えきれない情報を伝えられたり [8, 11, 9]，読み手に親近感やポジティブな印象を与えられたり [10] できることから，文に対応する絵文字を予測する研究[2, 1, 6] や絵文字を含まない文に絵文字を自動挿入する研究 [4] が行われている．これらの従来研究では，1 文に対応する絵文字は 1 つであると仮定しており，従来の絵文字挿入手法では，1 文に対して 1つの絵文字しか挿入することができない．しかし実際には，書き手が強い感情を伝えたい時などは，複数の絵文字を文に含めることが多々ある．
そこで本研究では，絵文字挿入対象の文と共に，文中の文字数に対する絵文字数の割合を表す絵文字割合を入力として受け付け，指定された絵文字割合で絵文字を自動挿入する手法を提案する．提案手法
は，BERT[3] による「挿入位置推定」と RNN による「絵文字系列生成」により，文中の複数箇所に複数絵文字の挿入を可能とする．具体的には，まず，BERT により，挿入対象文の各単語に対して，直後に挿入される絵文字数を推定する分類問題を解くことで，絵文字の挿入位置と各位置における絵文字数を推定する．その後，1 つ以上の絵文字が挿入されると推定された位置において，RNN により挿入する絵文字系列を生成することで，文中の複数箇所に複数の絵文字を挿入する．
X（旧 Twitter）から作成したデータを用いて提案手法の自動評価と人手による主観評価を行った．主観評価では，絵文字挿入により文の意味が変わっていないか，文が不自然になっていないか，文の感情がより伝わるようになったか，文の印象が良くなったかを評価した．その結果，F 値は 16.4%と低い値となったが，主観評価では人手による絵文字挿入と比較して，提案手法は意味を変えることなくより自然に絵文字を挿入し，文の感情がより伝わり，印象が良い絵文字挿入ができることを確認できた．

2関連研究

本節では，本研究に関連する従来研究を概観する．これまで，文に対応する絵文字を予測する研究が複数行われている．これらの研究は絵文字を文に挿入するものではないが，挿入される絵文字を決めるタスクとして捉えられるため，本研究と関連する．従来の絵文字予測は，1 文に対応する絵文字は1 つであると仮定し，文の分類問題として絵文字予測を解いている．Barbieri ら [2] は，双方向 LSTM を用いて，ポスト（旧ツイート）に対して絵文字を予測するモデルを提案している．このモデルは人手による予測よりも高い性能であることが実験により確認されている．そして，Nusrat ら [6] は，BERT を用いてポストに対する絵文字を予測するモデルを提案している．また，Barbieri ら [1] は，Instagram の写真と説明文に対して絵文字の予測を行うモデルを提案― 467 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

呼ぶ）で表す．図 1 中の<lv3>は，絵文字割合が 6.5%

挿入位置推定以上を示す割合タグである．そして，BERT により，<lv3> /今日 / は /楽し /かっ / た / 、 / ありがとう

指定された絵文字割合に基づき，絵文字の挿入位置
E <lv3>

E 今日

Eは

E 楽し

E かっ

Eた

E、E ありがとうと各位置における絵文字数を推定する．具体的には，挿入対象文の先頭に割合タグを結合したトーク

BERT
h <lv3>

h 今日

hは

h 楽し

h かっ

hたh、ン列を BERT に入力し，割合タグ以外の各トークン

h ありがとうに対して，直後に挿入される絵文字数を推定する．
絵文字数が 0 の場合は絵文字が挿入されないことを表す．𝑡 番目のトークン 𝑥 𝑡 の直後の絵文字数 𝑁𝑡 が 𝑛
中間表現

2😊

😊

である確率 𝑝(𝑁𝑡 = 𝑛|𝒙, 𝑙) は式 1 の通り算出する．

RNNRNNRNN𝑝(𝑁𝑡 = 𝑛|𝒙, 𝑙) = softmax(𝑾 𝒉𝑡 + 𝑩)

😊

😊

<eos>

ここで，𝒉𝑡 は BERT により算出された 𝑥 𝑡 の分散表

(1)

現，𝑾 と 𝑩 はパラメータ行列である．

絵文字系列生成その後，1 つ以上の絵文字が挿入されると推定さ
図 1 提案手法の概要図

れた位置 𝑡 毎に，RNN により挿入する絵文字系列をしている．このモデルは，ResNets を用いて獲得した写真の特徴表現と FastText を用いて獲得した文の生成する．𝑡 番目のトークン 𝑥 𝑡 の直後（位置 𝑡）の絵文字系列 𝒚 𝑡 は式 2 の通りである．
𝒚 𝑡 = RNN(ℎ𝑡 , 𝑁𝑡 )特徴表現を結合した特徴表現に基づき絵文字を予測

for 𝑁𝑡 ≥ 1(2)𝒚 𝑡 の生成では，RNN の隠れ状態の初期値を 𝑥 𝑡 の分するマルチモーダルなモデルである．
テキストに絵文字を自動挿入する研究として，こ散表現 ℎ𝑡 に設定し，生成する絵文字数 𝑁𝑡 を RNNれまで，Kwon ら [4] が絵文字を含まないポストへのに入力して，前方の絵文字から逐次生成する．そし絵文字挿入モデルを提案している．この研究では，絵文字の種類は出現位置と関連があることに着目て，生成された各絵文字系列を各位置に挿入するこし，絵文字の挿入位置の予測と挿入する絵文字の提案手法の絵文字挿入モデルの学習では，挿入とで絵文字挿入を行う．

予測を同時学習するモデルを提案している．提案

位 置 推 定 の 損 失（lossBERT ）と 絵 文 字 系 列 生 成 のされたモデルは，双方向 LSTM でテキストをエン損失（lossRNN ）をあわせた損失（lossBERT + lossRNN ）コードし，Bi-Aﬃne 層で絵文字位置を予測する．そに基づき，BERT と RNN を end-to-end で学習する．

して，予測した絵文字位置に基づき Contextualized

lossBERT は BERT の出力と正解出力との交差エント

Dynamic-Smoothing により挿入する絵文字を予測す

ロピー誤差であり，lossRNN は RNN の出力と正解出力との交差エントロピー誤差である．

る．従来の絵文字自動挿入は，従来の絵文字予測同様，1 文に対応する絵文字は 1 つであると仮定しており，1 文に対して 1 つの絵文字しか挿入することができない．

3

提案手法

4

実験

4.1

実験設定

本実験では，X から作成したデータを用いて提案

本節では，指定された絵文字割合に基づき，文中の複数箇所に複数の絵文字を挿入可能な絵文字自動の絵文字挿入手法を評価する．絵文字の自動挿入挿入手法を提案する．提案手法の概要図を図 1 に示への系列変換問題としても捉えることができる．そす．提案手法は，BERT による「挿入位置推定」として近年では，特殊タグを変換前のテキストに結合RNN による「絵文字系列生成」により絵文字を自動させることで，テキスト生成を制御する手法が数多挿入する．

く提案されている [5]．そこで，提案手法の比較対は，絵文字なしテキストから絵文字を含むテキスト提案手法では，まず，絵文字挿入対象の文 𝒙 と共象として，Transformer[7] により，絵文字挿入対象文に絵文字割合を入力として受け付ける．絵文字割合の先頭に割合タグを結合したテキストを絵文字が挿は，その度合いを示すタグ 𝑙（以降，「割合タグ」と入された文に変換することで絵文字挿入を行う手法― 468 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

も評価する．なお，この Transformer による絵文字挿入では，絵文字挿入後の文において，絵文字以外の部分が絵文字挿入前の文から変わってしまう（入力文が保持されない）可能性があることに注意されたい．
実験データは Twitter API v21）を用いて抽出した

表 1 自動評価指標による性能評価結果
割合
原文
適合率 再現率 F 値
制御率 保持率———0.836
Transformer
0.671
0.053
0.149
0.078
0.923
0.115
0.288
0.164
0.801
提案手法
1.000
0.111
0.323 0.165
0.8202020 年と 2021 年に投稿されたポストから作成した．

8 エポック学習し，開発データにおける F 値が最も具体的には，Unicode13.0 の絵文字を含む日本語文高いエポックのモデルを評価した．

3,451,965 文を収集し，URL やハッシュタグ，アカTransformer に よ る 絵 文 字 挿 入 モ デ ル は，ウント名などの不要な情報の削除と NFKC 形式にOpenNMT-py5）を 用 い て 実 装 し た．エ ン コ ー ダ 層よる Unicode 正規化を行い，各文を BERT Tokenizerとデコーダ層はそれぞれ 6 個スタックし，注意機構によりトークナイズした．ただし，絵文字は 1 個単のヘッド数は 8，埋め込み次元は 512，全結合層の位でトークナイズした．また，絵文字は肌色の情報次元は 2,048 とした．学習では，optimizer は Adamを削除し，絵文字が一箇所に 6 個以上連続する場合は 6 個目以降の絵文字を削除した．そして，各文（学習率は 2e-3，β 1 = 0.9，β 2 = 0.998），ドロップに対して絵文字割合を算出し，算出した絵文字割

プは 200,000 回，warmup ステップは 8,000 とし，損合に応じた割合タグを付与した．本実験では，絵失関数は平滑化 𝜖 が 0.1 のラベル平滑化交差エント

文字割合が 6.5%以上の時は<lv3>，3%から 6.5%の時
は<lv2>，3%未満の時は<lv1>の割合タグを用いた．

アウト率は 0.1，バッチサイズは 4,069，学習ステッロピーを用いた．評価では，開発データに対して原文保持率が最も高いモデルを評価した.

また，emoji モジュール2）を用いて絵文字を除去3）することで，絵文字を含む各文に対して絵文字なし文

4.2

実験結果を付与した．このデータの中から開発データと評価実験結果を表 1 に示す．表 1 において，原文保持データとして 5,000 事例ずつを抽出し，残りの事例率以外は上段が評価データ全体に対する性能であを学習データとした．

る．ただし，Transformer による手法では入力文が保絵文字挿入の性能は，挿入位置と挿入した絵文字持されない場合，適合率，再現率，F 値を求めるこ系列の両方が正しかった場合を正解として算出するとができない．そこで，Transformer による手法で入適合率，再現率，F 値と，割合制御率及び原文保持力文が保持された評価データに対する適合率，再現率で評価した．割合制御率とは，絵文字挿入後の文における絵文字割合から求めた割合タグが入力とし率，F 値，割合制御率を下段に示す．て与えられた割合タグと一致した割合である．原文比較して，割合制御率は劣るものの，Transformer に保持率とは，絵文字挿入後の文から絵文字を除去しよる手法で入力文が保持された評価データに対した文が入力の絵文字なし文と一致した割合である．
提案手法による絵文字挿入モデルでは，挿入位置て，適合率，再現率，F 値が高いことが分かる．また，原文保持率の比較から，提案手法は原理的に入推定で用いる BERT は，東北大学が公開している力文を必ず保持して絵文字を挿入可能（原文保持率BERT-base4）を事前学習モデルとして使用した．ハが 100%）だが，Transformer による手法は入力文をイパーパラメータはデフォルト値を用いた．絵文保持できない場合が多いことが分かる．絵文字の自字系列生成で用いる RNN は，1 層の LSTM モデル

動挿入を実用場面で使用する場合，入力文が変わっを用いた．隠れ層の次元は 756 次元とした．学習でてしまうことは大きな欠点であることも考慮する

は，optimizer は Adam（学習率は 2e-5，β 1=0.9，βと，提案手法の方が Transformer による手法よりも2=0.999），バッチサイズは 32 とした．提案モデルは優れた絵文字自動挿入手法であると考えられる．

表 1 より，提案手法は Transformer による手法と一方で，提案手法も Transformer による手法も適
1） https://developer.twitter.com/ja/docs/twitter-api2） https://github.com/carpedm20/emoji/3） emoji モージュールによる絵文字除去後に残る異体字セレクタも削除した．
4） https://huggingface.co/cl-tohoku/
bert-base-japanese-v3

合率，再現率，F 値の値自体は非常に低かった．これは，異なる絵文字系列であっても同様の感情を表現できる場合が多いが，自動評価では絵文字系列が5） https://opennmt.net/― 469 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 絵文字の挿入位置推定性能

提案手法

適合率

再現率

F値

0.871

0.748

0.805

表 3 主観評価結果（Avg：平均，SD：標準偏差）意味 ↓ 不自然さ ↓ 感情 ↑ 印象 ↑
人手Avg

1.84

1.71

3.77

3.57

SD

1.20

1.11

0.89

0.93

完全一致した場合のみ正解とみなすため，評価が過Trans-

Avg

1.81

1.66

3.76

3.59

剰に厳しくなった可能性が高い．そこで，人手によformer

SD

1.18

1.05

0.89

0.91

る主観評価実験も行った．詳細は 5.2 節に記す．

提案Avg

1.60

1.43

3.94

3.76

手法

SD

1.03

0.83

0.770.82

5考察

5.1

挿入位置推定性能

然さ」は値が低いほど望ましく，「感情」と「印象」は，値が高いほど望ましい．

提案手法は，挿入位置推定と絵文字系列生成によ

主観評価の結果を表 3 に示す．表 3 より，全てのり絵文字を自動挿入する．4 節では end-to-end の性評価項目において，提案手法は Transformer による能を評価したが，本節では，BERT による挿入位置手法や人手による絵文字挿入よりも良い結果である推定の性能を評価する．なお，本評価では，絵文字ことが分かる．この結果から，提案手法はその他のの挿入位置のみに着目し，挿入する絵文字数の正誤方法よりも，意味を変えることなくより自然に絵文は考慮しない．

字を挿入し，絵文字挿入により，文の感情がより伝

表 2 に，挿入位置推定により絵文字が挿入されると判定された箇所の精度，再現率，F 値を示す．表2 より，適合率の方が再現率よりも高いことが分かる．これは，絵文字挿入は書き手による個人差があわるようになり印象良くすることができることが分かった．

おわりに6り，特定の人に独特な挿入の箇所を学習するのが難本研究では，BERT による絵文字位置推定と RNNしかったが，多くの人が挿入する一般的な箇所への挿入は適切に判断できた可能性がある．

能な絵文字挿入手法を提案した．X から作成した
データを用いた実験の結果，F 値は低い値であった

主観評価

5.2

による絵文字系列生成により，絵文字割合を制御可が，人手による主観評価では人が行った絵文字挿入

本節では，提案手法と Transformer による手法のよりも好ましい挿入ができることが確認でき，提案

主 観 評 価 を 行 う．ま た，人 手 に よ り 絵 文 字 を 挿手法の有効性を実験的に確認できた．本研究では絵入した文の評価も行い比較する．主観評価では，文字挿入において絵文字割合を制御したが，絵文字Transformer による手法で入力文が保持された評価の挿入傾向は書き手の年代や性別によっても変わり

データから，割合タグ毎に 35 文ずつランダムで抽うる．今後は絵文字割合以外の観点で制御可能な絵出し，提案手法と Transformer による手法の絵文字文字挿入手法にも取り組みたい．

挿入結果及び 4 節の定量評価において正解データとして使用した絵文字つき文を評価した．つまり，評価対象は各手法で 105 文ずつ合計 315 文である．
評価者は 29 名（全員 20 代で男性 23 名，女性 6 名）で，各評価者は 315 文全てを評価した．評価は，絵文字が含まれない入力文と絵文字挿入後の文を比較し，以下の 4 つの項目を評価した．
意味

絵文字挿入により文の意味が変わったか？

自然さ 絵文字挿入により文が不自然になったか？
感情

絵文字挿入により文の感情がより伝わるようになったか？
印象

絵文字挿入により文の印象が良くなったか？

各項目は 1 から 5 の値で評価した．「意味」と「不自参考文献[1] Francesco Barbieri, Miguel Ballesteros, Francesco Ronzano, and Horacio Saggion. Multimodal emoji prediction.
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (ShortPapers), pp. 679–686, 2018.
[2] Francesco Barbieri, Miguel Ballesteros, and Horacio Saggion. Are emojis predictable? In Proceedings of the 15th
Conference of the European Chapter of the Association for
Computational Linguistics: Volume 2, Short Papers, pp.
105–111, 2017.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the2019 Conference of the North American Chapter of the― 470 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers),
pp. 4171–4186, 2019.
Jingun Kwon, Naoki Kobayashi, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Making yourtweets more fancy: Emoji insertion to texts. In Proceedings of the International Conference on Recent Advancesin Natural Language Processing (RANLP 2021), pp. 770–779, 2021.
Louis Martin, Éric de la Clergerie, Benoı̂t Sagot, and Antoine Bordes. Controllable sentence simpliﬁcation. InProceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4689–4698, 2020.
Muhammad Osama Nusrat, Zeeshan Habib, Mehreen
Alam, and Saad Ahmed Jamal. Emoji prediction in tweets
using bert. arXiv preprint arXiv:2307.02054, 2023.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention is all you need. In Advancesin neural information processing systems, pp. 5998–6008,2017.
Joseph B Walther, Kyle PD addario. The impacts of emoticons on message interpretation in computer-mediated communication. Social science computer review, Vol. 19,
No. 3, pp. 324–347, 2001.
高橋直己, 上野舞夕, 浜田百合, 庄司裕子. 絵文字を用いた文章における感情伝達効果に関する研究. 日本
感性工学会論文誌, Vol. 21, No. 1, pp. 135–142, 2022.
北村英哉, 佐藤重隆. 携帯メールへの絵文字付与が女子大学生の印象形成に与える効果. 感情心理学研究,
Vol. 17, No. 2, pp. 148–156, 2009.
廣瀬信之, 牛島悠介, 森周司. 携帯電話メールによる感情の伝達に顔文字と絵文字が及ぼす影響. 感情心理学研究, Vol. 22, No. 1, pp. 20–27, 2014.

― 471 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).