T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

ラップバトルにおけるアンサーの類型化および類型の自動分類
三林

亮太†

佃

洸摂††

渡邉 研斗††

山本 岳洋†

中野倫靖††

後藤 真孝††

大島 裕明†† 兵庫県立大学 情報科学研究科 〒 651–2197 兵庫県神戸市西区学園西町 8–2–1†† 産業技術総合研究所 〒 305–8568 茨城県つくば市梅園 1–1–1
E-mail: †af22h007@guh.u-hyogo.ac.jp, ††{k.tsukuda,kento.watanabe,t.nakano,m.goto}@aist.go.jp,†††t.yamamoto@gsis.u-hyogo.ac.jp, ††††ohshima@ai.u-hyogo.ac.jp
あらましラップバトルとは，2 名のラッパーが即興のラップを交互におこなう競技で，その勝敗を判定するための評価指標に，相手のラップへの返答であるアンサーの質がある．アンサーの質は判別が難しく，どのような場合にアンサーとして成立するのか，どのような種類のアンサーがあるのかは明らかでなく，勝敗を判定することは容易ではない．アンサーの類型化とその自動分類が可能になれば，どのようなアンサーが即興ラップに含まれているのかを明確にすることができ，勝敗の判定補助が可能となる．そこで本研究では，ラップバトルにおけるアンサーの類型化および類型の自動分類に取り組む．まず，ラップバトルの動画を文字起こししたコーパスから，アンサーとして成立するラップ文のペアを 429 件作成した．それらに対して，3 年間以上ラップバトルの視聴経験があるアノテータ 2 名によるカテゴリの作成とアノテーションをおこなうことで，アンサーを類型化した．結果として，アンサーかアンサーでないかを判別する 3 種類のメインカテゴリと，アンサーがどのような表現かを判別する 1 種類のメインカテゴリの合計 4 種類のメインカテゴリから成る類型を作成した．さらに，アンサーの類型をより詳細に分類可能にするため，4種類のメインカテゴリに対して合計 24 種類のサブカテゴリの類型を作成した．作成した類型の内，2 種類のメインカ
テゴリにおいて，アノテーションにおける Krippendorﬀ の α が 0.5 を超える一致率を示した．アンサーの自動分類では，BERT を用いた自動分類に取り組んだ．相手のラップ文に対する返答のラップ文が，作成した 3 つの類型の内の少なくとも 1 つに該当するか否かを判別する分類タスクに取り組み，正解率が 0.8554 と高い分類結果を示した．さらに，アンサーがどのような表現かを判別する分類タスクにも取り組み，F 値が 0.4641 と中程度の分類性能を示した．
キーワード ラップバトル，アンサー，類型化，自動分類

1 はじめに
ラップバトルとは，2 名のラッパーが即興のラップを交互におこなう競技である．ラッパーが自分の番で発言する即興のラップをバースと呼び，バースは複数のラップ文で構成される．
図 1 にラップバトルの例を示す．ラッパー A の「まずはリズムに乗せる小節/俺のライムは特別」というバースに対して，ラッパー B は「一体お前のどこが特別/ラップ上手い順ならお前は
図1

後列」というバースを返答する．このようなやり取りを複数回繰り返すことでラップバトルは終了する．一般的に，ラップバ
トルの勝敗は，観客による多数決によって決められる．
ラップバトルでは，バースの質が勝敗の判断基準となる．バー
スの質は主に，ライム，アンサー，フローの 3 つを対象に評価される [1], [2]．ライムは母音列が一致する単語のペアを指し，そのような単語のペアをバースに含むことができていたかを評価する．たとえば，図 1 のバース 2 の「特別（TOKUBETSU）」と「後列（KOURETSU）」は「OUEU」という母音が一致するためライムである．次に，アンサーは相手のバースを理解し，その内容に沿った返答をする行為を指し，そのような返答をバースに含むことができていたかを評価する．たとえば，図 1

ラップバトルの例のバース 1 内の「俺のライムは特別」に対して，バース 2 内の「一体お前のどこが特別」は，相手の「特別」というバースの内容に沿ったアンサーである．最後に，フローはラップの歌い方のことを指し，バースをどれだけリズム良く歌うことができたかを評価する．
これら 3 つの中でも特に，アンサーの質はラップバトルにおいて重要な評価指標である．即興でおこなわれるラップバトル
では，その場で即興のバースを考えたことを証明する必要がある．つまり，事前にクオリティの高いバースを準備していない
ことを示す必要がある．アンサーは，相手の内容に沿ったバー
スを事前に準備できないため，即興で考えた証明としても利用- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラムされる．また，ライムとフローは一般的なラップの楽曲においても評価対象として用いられるのに対して，アンサーは対話形
式のラップバトルに特化した評価対象である点でも重要であると言える．
しかし，アンサーの質は判別が難しい評価指標であり，どのようなバースの掛け合いがアンサーとして成立するかは，これまでに分析されていない．さらに，アンサーが成立した場合

2 関連研究類型化に関する研究は多くおこなわれており，これまでに，類型化の方法，対話に関する類型化，コーパスに対する時間表
現の類型化，有害表現の類型化などが取り組まれてきた．

2. 1 類型化の方法においても，そのアンサーがどのような種類の表現であるか類型化の代表的な方法として，MAMA(Model-Annotate-

は，基準が明らかになっていない．そのため，観客にとってア

Model-Annotate) サイクルがある．MAMA サイクル [4] はンサーを評価することは容易ではなく，ラップバトルの勝敗をPustejovsky らが提案したアノテーション方法で，基準策定，

公平に決めることは難しい．もし，バース内にアンサーが含ま

アノテーション作業，評価，修正作業を繰り返すことで，最れているかを判別することができ，それがどのような表現であ適な類型を作成する．類似する手法として，Pustejovsky らはるかを自動的に提示できれば，観客は勝敗の判定が容易になる．

MATTER サイクル [4] を提案している．MATTER サイクル

そこで本研究では，ラップバトルにおけるアンサーの類型化をは，構造学習器を学習するステップを MAMA サイクルに追加おこない，その類型を基にアンサーの自動分類に取り組む．

した手法である．ただし，アノテーションの方針が決まってい具体的には，まずラップバトルの動画を文字起こししたコー

ない初期の状態では MAMA サイクルをおこなうことが多く，パスからアンサーのペアを 429 件作成し，3 年間以上ラップバ

後述する類型化の関連研究においても，MATTER サイクルでトルの視聴経験があるアノテータ 2 名によるカテゴリの作成とはなく，MAMA サイクルが採用されている [4] [5]．

アノテーションによってアンサーを類型化する．本研究では，「単語」「ライム」「対話」の各観点でアンサーに該当するか否2. 2 対話に関する類型化かを判別するための 3 種類のメインカテゴリと，アンサーの表対話に関する類型化の研究は多く取り組まれている．Trippas

現の種類を判別するための 1 種類のメインカテゴリの合計 4 種ら [6] は，音声対話に関する類型化をおこない，「タスク」「会類のメインカテゴリから成る類型を作成した．

話」「その他」の 3 つのカテゴリとそれらに対するサブカテゴリ

さらに，アンサーの類型をより詳細に分類可能にするため， （「タスク」のサブカテゴリとしては「情報要求」や「検索支援」

4 種類のメインカテゴリに対して合計 24 種類のサブカテゴリなど）を定義している．類型は Cohen の k 係数 [7] を用いて，の類型を作成した．作成したメインカテゴリとサブカテゴリのサブカテゴリレベルで評価され 0.71 の高い一致率を示した．

妥当性を検証するため，クラウドソーシングを用いたラベル付

Higashinaka ら [8] は，対話破綻の誤り分類に取り組んでいけタスクをおこなった．その結果，4 つのメインカテゴリの内

る．1,146 件のデータを作成し，その中からランダムに選択し2 つのメインカテゴリで Krippendorﬀ の α が 0.5 を超える一た 100 件の対話データに対して 24 名がアノテーションをおこ致率を，残りの 2 つのメインカテゴリで 0.2 を超える一致率をない，そこで付与したコメントを基に対話破綻の誤りを分類し示した．また，サブカテゴリについても，Krippendorﬀ の α をた．
「文法エラー」「解釈不能」「発話無視」などの，17 のメイン

調べた結果，24 種類のサブカテゴリの内 4 種類で 0.5 を超える

カテゴリからなる類型を作成し，それらを「破綻」「破綻の可能一致率を，16 種類で 0.2 を超える一致率を得られた．

性がある」「破綻でない」の 3 クラスと，「破綻」「破綻でない」

次に，作成した類型を基に，BERT [3] を用いたアンサーのの 2 クラスに分け，評価をおこなっている．評価では，Fleiss

自動分類をおこなった．その結果，「単語」「ライム」「対話」のの k 係数 [9] が 3 クラスの分類において 0.276 の一致率を示し，3 種類のメインカテゴリの少なくとも 1 つでアンサーに該当す

2 クラスの分類では 0.396 の一致率を示している．

るか否かを分類する 2 値分類タスクにおいて正解率は 0.855 とまた，このようなデータに基づく類型化とは異なる類型化のなり，高い性能でアンサーの自動分類が可能であることを示し

アプローチとして，Higashinaka ら [10] は，対話理論から逸脱た．さらに，アンサーがどのような表現かを判別する分類タス

した対話を対話破綻とみなし，類型を作成している．結果としクにも取り組み，F 値が 0.4641 と中程度の分類性能を得た．

て，
「発話」
「応答」
「文脈」などの，16 のメインカテゴリと，それらに対するサブカテゴリ（「発話」のサブカテゴリとしては

本研究の貢献を以下に示す．
ラップバトルコーパスから抽出した 429 件のアンサーペ「構文的誤り」や「意味的誤り」など）を定義している．作成しアに基づいて，4 種類のメインカテゴリと 24 種類のサブカテゴた類型を基に，1,046 件の対話に対して，アノテーションをおリから成る，ラップバトルにおけるアンサーの類型を作成した．

こなっている．評価では，Fleiss の k 係数 [9] がメインカテゴ

作成したアンサー類型を基に，クラウドソーシングを用

リでは 0.400，サブカテゴリでは 0.239 の一致率を示している．

いたアンサー類型のラベル付けタスクを実施し，メインカテゴ

さらに，Higashinaka らはこれら 2 つの類型を統合した新

リとサブカテゴリのいずれにおいても作成した類型に一定の妥たな類型を提案している [11]．この類型では，Fleiss の k 係

当性があることを示した．

数 [9] において，専門作業者によるアノテーションでは一致率

•

•

•

BERT を用いたアンサーの自動分類に取り組み，正解率

が 0.855 という高い分類性能が得られることを示した．

が 0.567，クラウドワーカによるアノテーションでは一致率が0.488 となって，いずれも高かった．

- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

2. 3 コーパスに対する時間表現の類型化
保田ら [5] は，現代日本語書き言葉均衡コーパスを対象に，時3 アンサーの類型化

間的順序関係の解析を補助するための類型を提案している．類

本節では，アンサーの類型化の方法について述べる．まず，

型の作成には，MAMA サイクルを用いている．類型は，Cohen

ラップバトルの動画を文字起こししたコーパスを用いて，アンの k 係数 [7] により評価し，0.653 の高い一致率を示した．まサーのペアデータを作成する．作成したアンサーのペアデータ

た，MAMA サイクルでは一般的に，アノテーション一致率とに対して，3 年間以上ラップバトルの視聴経験があるアノテーいう指標を良くする方向に最適化するが，言語学的には多様な

タ 2 名によるカテゴリの作成とアノテーションをおこない，ア

ラベルも必要であり，必ずしも一致率を最適化することが適し

ンサーを類型化する．作成した類型は Fleiss の k 係数 [9] とているわけではないと保田らは主張している．

Krippendorﬀ の α [13] によって，アノテータ間のラベルの一致

坂口ら [12] は，京都大学テキストコーパスを対象に，時間表率を評価する．

現のアノテーションをおこなっている．類型は，Krippendorﬀの α [13] により評価され，厳しい条件において 0.526，緩和し

3. 1 アンサーのペアデータの作成

た条件において 0.867 の一致率を示している．次に，作成した

我々は，Mibayashi ら [18] が作成した，ラップバトルの動画類型を基に，双方向 GRU モデル [14] を用いた自動分類に取りを文字起こししたコーパスを利用した．3 つの大会 (UMB 1 ，凱組んでいる．結果として，時間性判定タスクでは，0.905，事象

旋 MCbattle 2 ，戦極 MCBATTLE 3 ) と 1 つのテレビ番組 (フの時間的長さ分類タスクでは 0.606，事象の発生時期分類タス

リースタイルダンジョン) について，それぞれ 25 件のバトルを

クでは 0.496 の正解率を示している．

コーパスからランダムにサンプリングすることで，合計 100 件のバトルを取得した．

2. 4 有害表現に関する類型化

取得した 100 件のバトルに対して，アンサーのペアデータを

有害表現を類型化する研究もおこなわれている．小林ら [15]作成する．その作成方法は，図 2 の左側に示すように，まず，は日本語の有害表現の類型化に取り組み，Twitter，ガルちゃ

1 つのバトルからバースのペアを取得する．ただし，これらのん，5ch といったプラットフォームから取得したコーパスを使

バースはすべてがアンサーで構成されているわけではなく，ア用している．アノテーションは 2 種類おこない，有害レベルとンサーでない内容も含まれている．そこで，このバースのペア

有害カテゴリの 2 種類に対してラベルを付与した．有害レベルから，アンサーとそのアンサーをするに至った相手のラップ内

は 4 段階のスコアをつけており，有害カテゴリは MAMA サイ

容（アンサーの対象）をアンサーのペアとして文単位で人手でクル [4] を用いて類型を作成している．結果として，「差別」「卑抽出する．バースのペアには，アンサーとアンサーの対象が複語」「迷惑行為」などの 7 つのメインカテゴリと，それらに対数件含まれている場合があるため，その場合は該当するものをする 41 つのサブカテゴリ（「差別」のサブカテゴリとしては

すべてアンサーのペアとして抽出する．

「人種差別」や「職業差別」など）を定義している．これらを，たとえば，図 2 に示すように，「俺のライムは特別」というア

Krippendorﬀ の α [13] を用いて評価し，有害レベルにおいて，ンサーの対象の文と，「一体お前のどこが特別」というアンサー

4 値分類では 0.40，2 値分類では 0.78 の一致率を示した．また，の文はアンサーのペアである．バースによっては，アンサーが作成した類型を基に，BERT を用いた有害検知器を作成してお複数文にまたがることもあるため，その場合は文同士を連結しり，回帰問題として解いている．結果として，いくつかの評価た．たとえば，「まじでお前はつまらない」に対して「つまらな尺度に対して高い性能で有害検知ができている．

いのはお前の方/俺は即興でも決して詰まらない」といったよ

2. 5 本研究の位置づけ

うに，アンサーが 2 文にまたがる場合，「まじでお前はつまら

これまでに紹介した関連研究では，対話破綻，時間表現，有害表現を対象に類型を作成している．著者らの知る限り，ラップバトルにおけるアンサーの表現を対象にした類型はまだ作成されていない．これはラップバトルが比較的新しい競技であり，まだ十分に分析がおこなわれていないためだと考えられる．しかし，近年では，ラップバトルの言語学的側面からの分析がおこなわれており [1], [16]，ラップバトルという競技において，アンサーに関する類型を定義することは重要な貢献となる．

ない」に対して「つまらないのはお前の方俺は即興でも決して詰まらない」と連結した文をペアにした．100 件のバトル内のバースのペアすべてに対して，10 年間以上ラップバトルの視聴経験がある筆頭著者が，アンサーと判断したものをアンサーのペアとして取得した．結果として，429 件のアンサーのペア
データを作成した．

3. 2 ラベル付けの基準作成
本研究ではラベル付けの基準作成のために，ラップバトル

さらに，ラップバトルにおけるバースの自動生成に関する研の戦略やテクニックについて詳細な情報が書かれた著名なラッ究もいくつか提案されている [17], [18], [19]．本研究において，パーらの書籍 [2], [20] を参考にした．書籍内には，実例を基にアンサーの自動分類に取り組むことで，バースの自動評価やしたラップバトルの解説があり，プロのラッパーがどのようなラップバトルの勝敗判定の補助など，バースの自動生成に対する応用が可能になると考えられる．そのため，坂口ら [12] や小1：https://www.youtube.com/user/umbofficial

林ら [15] と同様に，作成した類型の自動分類にも取り組む．

2：https://www.youtube.com/channel/UCe_EvY8GrvYgx8PbwRBc75g
3：https://www.youtube.com/user/senritumc- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

図2

アンサーペアデータの作成方法

返答をアンサーと判別しているかが書かれている．これらの内

これは，直接的に相手の発言を含んでいるわけではないが，相容を参考に，以下の 3 つの各観点においてアンサーに該当する

手の発言に対して，肯定や否定といった，対話的な返答が含まか否かを判別するためのメインカテゴリを設計した．

れているアンサーである．

4 つ目のアンサーの表現の種類は，アンサーが成立した際に，（ 1 ） 相手の発言を考慮した単語が返答に含まれるかどのような表現の種類のアンサーであるかを返答の内容のみ（ 2 ） 相手の発言を考慮したライムが返答に含まれるかで判別するカテゴリである．たとえば以下のような例が挙げられる．

（ 3 ） 相手の発言を考慮した対話が返答に含まれるか

返答：お前のラップは下手くそだ

以下，メインカテゴリ 1 を「単語によるアンサー」，メインカ
テゴリ 2 を「ライムによるアンサー」，メインカテゴリ 3 を「対話によるアンサー」と呼ぶ．

これは，返答自体に含まれる表現の種類のことであり，上記の例では，相手を否定する表現が含まれている．

3. 3 メインカテゴリに対するサブカテゴリの作成

3 つのアンサーの該当を判別するメインカテゴリに加えて，前節で作成したメインカテゴリをさらに細かく分類できるよ

アンサーがどのような表現であるかを判別する以下のカテゴリ

うに，4 つのメインカテゴリそれぞれに対するサブカテゴリをも作成した．

作成する．まず，サブカテゴリの作成のため，10 年間以上ラップバトルの視聴経験がある筆頭著者 1 名と 3 年以上ラップバト（ 4 ） アンサーの表現の種類

ルの視聴経験がある著者ではないアノテータ 1 名の合計 2 名
まず，1 つ目の単語によるアンサーは，相手の発言を考慮しで，アンサーペアに対するアノテーションをおこなった．アノ

た単語が返答に含まれるかを判別するカテゴリである．たとえテーションでは，同じアンサーペアに対して，2 名のアノテー

ば以下のような例が挙げられる．

タ間で協議をしながらサブカテゴリを付与した．3.1 節で作成

相手：俺のテンションは高いぞした 429 件のアンサーペアから 300 件をランダムに選択し，そ

返答：テンション確かにいいね

れらに対してサブカテゴリを付与した．300 件のアノテーショ

これはラッパー A の「テンション」という単語がラッパー B のン後，さらに残りの 129 件のアンサーペアからランダムに選択

発言に含まれているため，相手の発言を考慮しているというアした 100 件のアンサーペアに対してアノテーションをおこない，ンサーである．

それらに対して新しいサブカテゴリが付けられなかったことを2 つ目のライムによるアンサーは，相手の発言を考慮したラ

確認した上で，アノテーションを終了した．アノテーションしイムが返答に含まれるかを判別するカテゴリである．たとえばたサブカテゴリを精査し，各サブカテゴリは「単語によるアン

以下のような例が挙げられる．

サー」において 4 種類，「ライムによるアンサー」において 2 種

相手：俺のテンションは高いぞ類，「対話によるアンサー」において 5 種類，「アンサーの表現の返答：でもファッションは残念だな

種類」において 13 種類作成した．

これは，ラッパー A の「テンション」という単語に対して，ライムである「ファッション」という単語がラッパー B の発言に含まれているため，相手の発言をライムで考慮しているアン

3. 4 アンサーの類型の詳細作成したアンサーの類型の概要を表 1 に示す．以下では，各メインカテゴリに対するサブカテゴリについて，具体例を用いサーである．

3 つ目の対話によるアンサーは，相手の発言を考慮した対話て説明する．

が返答に含まれるかを判別するカテゴリである．たとえば以下

3. 4. 1 単語によるアンサーのような例が挙げられる．

単語によるアンサーでは，相手のバース内の単語に関連する

相手：俺のテンションは高いぞ単語を含むことで，本メインカテゴリのアンサーに該当すると返答：そうだな確かにそう見える

判別する．単語は同じものとは限らず，類義語やその他の関連語を含む．

- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

表1

作成したアンサーの類型とアノテータ間のカテゴリの一致率

メインカテゴリ

サブカテゴリサブカテゴリの説明（1）単語によるアンサー

同じ語

相手のバース内の単語を含む

0.6994

類義語

相手のバース内の単語に類似する単語を含む

0.1846

その他関連語相手のバース内の単語に関連する単語を含む

0.4153

関連語なし

相手のバース内の単語に関連する単語を含まない

0.6497

ライムあり

相手のバース内の単語に対するライムを含む

0.2372

ライムなし

相手のバース内の単語に対するライムを含まない

0.2372

肯定

相手のバースに対して肯定している

0.3629

否定

相手のバースに対して否定している

0.3865

肯定と否定の両方

相手のバースに対して肯定と否定をしている

0.2642

肯定でも否定でもない相手のバースに対して肯定も否定もしていない

0.0335

対話になっていない

相手のバースに対する返答になっていない

0.2273ライム

同じ母音列を持つ単語を返答に含むこと

0.3669

ディス

暴言や相手が嫌がる内容を含むこと

0.5028

否定

相手の主張や発言を認めないこと

0.1851

指摘

相手の発言に対して指摘をすること

0.2952

自己賛美

自分の能力をアピールすること

0.3557

賛同

発言に対して称賛したり認めたりすること

0.4725

文意不明

発言の意味が不明であること

0.2061

開き直り

相手の発言は正しいがそれに対して開き直ること

0.2680優勢

自分が有利な立場にあることを主張すること

0.1644

平気

相手の発言を気にしていないことをアピールすること

0.0721

レペゼン

自分の地元や所属をアピールすること

0.6065

観客

観客に対してアピールすることや観客に喋りかけること

0.3060

表現なし

これまでのカテゴリのどれにも属さないもの

0.0927（2）ライムによるアンサー（3）対話によるアンサー（4）アンサーの表現の種類

表2

Krippendorﬀ の α [13]アンサーの表現の種類の類型

サブカテゴリ

説明

返答の例

ライム

同じ母音列を持つ単語を返答に含むこと

ラップにおいてスキルは重要な内容

ディス

暴言や相手が嫌がる内容を含むこと

お前のラップは下手くそだ

否定

相手の主張や発言を認めないこと

理解できないその思想

指摘

相手の発言に対して指摘をすること

こないだもそれ言ってたけど

自己賛美

自分の能力をアピールすること

俺はめちゃくちゃラップ上手い賛同

発言に対して称賛したり認めたりすること

お前のアンサーは最高だな

文意不明

発言の意味が不明であること

俺はラップで崩壊する火事だ

開き直り

相手の発言は正しいがそれに対して開き直ること

たしかに俺はこの前逃げたけどそれがなんだ

優勢

自分が有利な立場にあることを主張すること

会場を沸かした数は俺のほうが多い

平気

相手の発言を気にしていないことをアピールすること別に構わないぜ俺はそんなことでは動じない

レペゼン

自分の地元や所属をアピールすること

俺は地元大阪からはるばる来たぜ

観客

観客に対してアピールすることや観客に喋りかけること

お客さんどっちについていくか決めな

表現なし

これまでのカテゴリのどれにも属さないもの

俺はそうやってやってる•

同じ語：相手のバース内の単語を含む

3. 4. 2 ライムによるアンサー–

相手：俺のテンションは高いぞ

ライムによるアンサーでは，相手のバース内のライムに関連–

返答：テンション確かにいいねする単語を返答のバース内に含むことで，本メインカテゴリの•類義語：相手のバース内の単語に類似する単語を含む

アンサーに該当すると判別する．

–

相手：俺のテンションは高いぞ

•

ライムあり

–

返答：そうだな気持ちは大事–

相手：俺のテンションは高いぞ•その他関連語：相手のバース内の単語に関連する単語を–

返答 1：でもファッションは残念だな–

返答 2：つまりダンジョンでやろうセッション
ライムなし（本メインカテゴリのアンサーに該当しない）

含む–

相手：俺のテンションは高いぞ•–

返答：じゃあ体育会の飲み会みたいに盛り上げろ–

相手：俺のテンションは高いぞ•関連語なし：相手のバース内の単語に関する単語を含ま–

返答 1：楽しそうでなにより–返答 2：テンションがどうこう俺は知らんな 4ない（本メインカテゴリのアンサーに該当しない）–

相手：俺のテンションは高いぞ

3. 4. 3 対話によるアンサー–

返答：俺は今日もラップがうまい

対話によるアンサーでは，相手のバース内の単語やライムを
4：同じ語を含むだけではライムにはならない．

- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

返答のバース内に含むのではなく，対話として成立する返答がバース内に含まれていれば，本メインカテゴリのアンサーに該当すると判別する．対話には，肯定や否定といった基本的なサ
ブカテゴリに加え，肯定と否定の両方や肯定でも否定でもない，といったサブカテゴリも考慮した．

•

肯定

–

相手：俺のテンションは高いぞ–

返答：そうだな確かにお前は高い

•

否定

–

相手：俺のテンションは高いぞ–

返答：いや俺のほうが上回ってるテンション•

肯定と否定の両方–

相手：俺のテンションは高いぞ–

返答：確かにお前は高いでも低いときもあるだろが•肯定でも否定でもない–

相手：俺のテンションは高いぞ–

返答：テンションをアピールしているお前•対話になってない（本メインカテゴリのアンサーに該当

しない）

–

相手：俺のテンションは高いぞ–

返答：高い低いでも俺の価値は高い

3. 4. 4 アンサーの表現の種類
アンサーの表現の種類では返答のみを対象とし，アンサーがどのような表現であるかを判別する．その種類は 13 種類と多いため，サブカテゴリの説明と具体例は表 2 に示す．

3. 5 ラップバトルに精通したアノテータによるアノテーション
前節で作成したアンサーの類型を評価するために，ラップバトルに精通したアノテータによるアノテーションをおこなった．アノテータは，クラウドソーシングサービス Lancers にて，ラップバトルの視聴歴が 3 年以上の者を 3 名採用した．ア
ノテータは，著者らが作成したアノテーション作業用のサイトにアクセスし，3.1 節で作成した 429 件のアンサーペアデータに対してアノテーションをおこなった．
アノテータには，4 種類のメインカテゴリのそれぞれに対し

図 3 4 つのメインカテゴリに対するアノテーションによるサブカテゴ
リの割合（横軸：割合）てサブカテゴリを付与するように指示した．まず，「単語によるアンサー」「ライムによるアンサー」「対話によるアンサー」のトされる．全員が「同じ語」なら，それに n = 3 が 1 つカウ

3 種類のメインカテゴリに対しては，サブカテゴリを 1 つだけントされる．アノテーションの信頼性の観点から n = 1 は扱わ付与するように指示した．これら 3 種類のメインカテゴリ内のず，アノテータ 2 名以上が同じサブカテゴリを付与した事を示

サブカテゴリは排反であるため，複数付与することはできない．

す n = 2 と n = 3 を合算した割合（n が 2 以上の割合）に基づ

次に，「アンサーの表現の種類」に対しては，サブカテゴリの複いて考察する．そこで n = 2 と n = 3 のそれぞれをカウントし数付与を可能とし，どれにも当てはまらない場合は「表現なし」

た後，アンサーペアデータの総数 429 で割ることで，各サブカを付与するように指示した．アノテータに提示するアンサーペ

テゴリの割合を計算した．図 3 の各グラフでは，合算した割合

アデータの順序はアノテータごとにランダムに決め，作業の順の降順にサブカテゴリを表示している．
まず，(1)「単語によるアンサー」については，「同じ語」が番がアノテータ間で同じにならないようにした．
結果を図 3 に示す．図中の n の値は，アノテータ 3 名が 1 つ

68.29%と最も高い割合で，「関連語なし」は 13.98%と低い割合のアンサーペアに対して付与したサブカテゴリの一致数を示しであった．このことから，相手のバースに対して何らかの関連ている．たとえば，(1)「単語によるアンサー」において，アノする単語がアンサーに含まれる傾向にあり，中でも「同じ語」

テータ 3 名が付与したサブカテゴリがそれぞれ「同じ語」「同が最も含まれていることがわかる．次に，(2)「ライムによるアじ語」「類義語」だった場合，「同じ語」に n = 2 が 1 つカウンンサー」については，「ライムあり」が 27.03%と「ライムなし」- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

表3

メインカテゴリ別の評価

メインカテゴリ

Fleiss の k 係数 [9] Krippendorﬀ の α [13]（1）単語によるアンサー

0.5582

0.5585（2）ライムによるアンサー

0.2366

0.2372（3）対話によるアンサー

0.24500.2456（4）アンサーの表現の種類（複数ラベルの完全一致）

0.0955

0.0962（4）アンサーの表現の種類（複数ラベルの内どれか一つでも一致）

0.55330.5536より低い割合で，ライムは望ましいもののアンサーにはライムしなかったと考えられる．

が含まれない場合が多いことがわかる．そして，(3)「対話によ

ライムによるアンサーについては，Fleiss の k 係数は 0.2366

るアンサー」については，「対話になっていない」は 9.32%と低であり，Krippendorﬀ の α は 0.2372 であった．これは Hi-

い割合なので，多くは対話になっていたことがわかる．対話にgashinaka ら [8] による，対話破綻の 3 クラスの分類におけるなっている中では，「否定」が 36.36%と最も高い割合な一方でFleiss の k 係数 0.276 に近い一致率であり，少し低い一致率と「肯定」は 10.02%と低い割合であり，アンサーでは否定的にな言える．原因としては，ライムが含まれているか否かをテキス

りがちなことがわかる．

トで判別することは難しく，アノテータ間でラベルが一致しな

最後に，(4)「アンサーの表現の種類」については，「ライム」

かったと考えられる．具体的には，「お前は枚方を上げれず終わが 34.96%と最も割合が多かった．これはラップバトルでライムるぜ」と「イカサマもしくは枚方」というアンサーペアに対しが多用されているために，アノテータが付与したサブカテゴリて，「ライムあり」のラベルが 2 件，
「ライムなし」のラベルが（ラベル）が多かったと考えられる．次に多い「ディス」「否定」

1 件付けられている．これは「枚方 (HIRAKATA)」と「イカ「指摘」は相手に対して否定的な表現や攻撃的な表現を含む類

サマ (IKASAMA)」が「IAAA」という母音で一致するライム型である．これらの割合が 18%を超えていることから，ラップである．しかし枚方という大阪の地名が正しく読めなかったた

バトルではそうした表現が多いことがわかる．
「自己賛美」「開め，「ライムなし」が付けられた可能性が高い．このように本来き直り」「優勢」「平気」は自身が優位な状態にあることを表現

音声として聞いていればライムと判別できるものが，テキストする類型であり，「賛同」は相手を褒めることを表現する類型でだけでは判別が難しくなり，不一致が起きたと考えられる．

ある．これらの類型の割合が 5%から 15%の間にあることから，対話によるアンサーについては，Fleiss の k 係数は 0.2450 で自身の優位な状態を示すことや相手を褒めることより，上記のあり，Krippendorﬀ の α は 0.2456 であった．これも先ほどと相手に対して攻撃的な表現を含む場合のほうが多いことがわか

同じく，少し低い一致率である．これは，「肯定でも否定でもなる．
「文意不明」も割合が 5%から 10%の間にあるが，これは即い」が判別しにくく，一致率が低いことが影響していると考え興で的確な表現を考えてアンサーを返すことがいかに難しいかられる．実際に 3 名のアノテータによるラベルの組み合わせをを示している．最後に，「表現なし」は 0.69%とかなり低い割合

調べると，「否定，否定，肯定でも否定でもない」が 78 件，「否であることから，これらの類型により，アンサーの表現は十分定，肯定でも否定でもない，肯定でも否定でもない」が 23 件に網羅できていると考えられる．

あり，「否定」と「肯定でも否定でもない」が判別しにくいことがわかる．さらに，「対話になっていない，対話になっていない，

3. 6 類型に対するアノテーションの評価

肯定でも否定でもない」が 25 件，「対話になっていない，肯定

前節でアノテーションしたアンサーの類型を評価する．今回，でも否定でもない，肯定でも否定でもない」が 16 件あり，
「対

アノテータが 3 名であるため，3 名以上の評価に対応している話になっていない」と「肯定でも否定でもない」も判別しにく

Fleiss の k 係数 [9] と Krippendorﬀ の α [13] を用いて評価した．

いことがわかる．

Fleiss の k 係数は −1 から 1 までの値を取り，Krippendorﬀ の
α は理論上負の値を取ることが可能であるが，一般的には 0 か
ら 1 までの値を取る．どちらの評価尺度も 1 に近づくほど一致率が高いことを示す．本実験では，Krippendorﬀ の α については名義尺度で評価をおこなった．

アンサーの表現の種類については，複数ラベルの完全一致において，Fleiss の k 係数は 0.0955 であり，Krippendorﬀ の α
は 0.0962 であった．アンサーの表現の種類は複数ラベルであるため，完全一致することは非常に難しく，0.0962 という低い
一致率は自然であると考えられる．しかし，アノテータが付与

評価結果を表 3 に示す．まず，単語によるアンサーでは，

Fleiss の k 係数は 0.5582 であり，Krippendorﬀ の α は 0.5585であった．これは Higashinaka ら [10] の研究における，専門業者らによるアノテーション結果である Fleiss の k 係数 0.567 にした複数のサブカテゴリの中から，どれか 1 つでもサブカテ
ゴリが全アノテータ間で一致していれば完全一致とみなすという緩和した条件においては，Fleiss の k 係数は 0.5533 であり，

Krippendorﬀ の α は 0.5536 と高い一致率を示している．

匹敵する高い一致率を示している．このような一致率になったのは，単語によるアンサーのサブカテゴリは比較的容易に判断

4 アンサーの自動分類できるものが多いためであると考えられる．ただし，表 1 に示すように，「類義語」と「その他関連語」の一致率が低い．これ

ラップバトルにおいて，相手の発言に対する返答のラップ文

は両者の違いが曖昧であるため，アノテータ間でラベルが一致が与えられたときに，作成したアンサーの類型に基づくアン
サーの自動分類がどの程度できるかを検証するため，評価実験- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

表 4 3 つのメインカテゴリに対する分類結果
メインカテゴリ

正解率（1）単語によるアンサーの分類

0.7222（2）ライムによるアンサーの分類

0.8139（3）対話によるアンサーの分類

0.8253（1-3）単語，ライム，対話によるアンサーの分類

0.8554図 4 BERT を用いたアンサーの分類方法をおこなった．まず，「単語によるアンサー」「ライムによるアンサー」「対話によるアンサー」の 3 つのメインカテゴリを対象として，返答のラップ文が，各メインカテゴリのアンサーに該当するか否かの 2 値分類をおこなった．本章では簡単のため，「本メインカテゴリのアンサーに該当する」「本メインカテゴリのアンサーに該当しない」という表記を，「アンサーである」「ア
ンサーでない」と記述する．次に，これら 3 つのメインカテゴ
リの内，少なくとも 1 つに該当するか否かを判別する 2 値分類

図5にも取り組んだ．最後に，「アンサーの表現の種類」のメインカ

各分類タスクにおける 2 値分類の混同行列

テゴリを対象として，返答のラップ文を 13 種類のサブカテゴ

じ語」「類義語」「その他関連語」を正例とした，相手の発言とリに分類する評価実験をおこなった．

返答文のペアデータを 356 件取得した．それに対して，データセット内の別の返答文を付与したデータを負例として 356 件作

4. 1 BERT によるアンサーの自動分類

成し学習をおこなった．結果として，データセットは 712 件と4.2 節から 4.5 節の評価実験では，共通の枠組みを用いてアンサーの分類をおこなっているため，まず以下でその共通の枠組
みについて説明する．本実験では，アノテーション済みの 429
件のアンサーペアデータを基に分類タスクに取り組んだ．それ
ぞれのメインカテゴリに対して，アノテーションしてもらった
ラベルを正解として学習用のデータを作成した．本実験では，

3 名のアノテータによって付与してもらったラベルの多数決をなり，これを訓練用 569 件，検証用 71 件，テスト用 72 件に分けて学習をおこなった．
分類結果は，表 4 に示すように，正解率が 0.7222 となり，ある程度高い性能で分類ができていることがわかる．図 5 に示す
混同行列では，本カテゴリに該当するアンサーは正しく分類できているが，アンサーであるものを，アンサーでないと間違えて分類していることがわかる．

取って正解のラベルとした．多数決が取れない場合は学習用

4. 3 ライムによるアンサーの分類

データから削除した．
アンサーの自動分類をするためのモデルとして，BERT [3]ライムによるアンサーの分類についても，多数決によってラを用いた．BERT の事前学習モデルは東北大学が公開してベルを定義し，429 件のデータセットを取得した．本実験では，いる bert-base-japanese-v3 5 を用いた．BERT の学習に用い返答文がライムカテゴリにおけるアンサーに該当するか否かをたハイパーパラメータは，バッチサイズは 32，Optimizer は判別する 2 値分類に取り組むため，「ライムあり」のラベルを正AdamW [21]，ロス関数は Cross Entropy Loss，学習率は 2e-7，

例，「ライムなし」のラベルを負例とした，相手の発言と返答文

Dropout は 0.1，最大文長は 256 とした．

のペアデータを 429 件（「ライムあり」が 116 件，「ライムなし」BERT を用いたアンサー分類は図 4 に示すように，相手の発言を 1 文目，返答文を 2 文目とすることで入力とした．前が 313 件）取得した．これを訓練用 343 件，検証用 43 件，テ
スト用 43 件に分けて学習をおこなった．

処理として，1 文目の先頭に [CLS] トークンを付与し，1 文目

分類結果は，表 4 に示すように，正解率が 0.8139 となり，高と 2 文目の末尾には [SEP] トークンを付与した．本実験では，

い分類性能となった．しかし，図 5 に示す混同行列では，予測

BERT から出力される，[CLS] トークンに対応する 768 次元の結果のほとんどが「アンサーでない」となってしまっているこ

ベクトルを用いて分類問題を解いた．

とがわかる．これは，データセット全体において，「ライムなし」のラベルが 313 件と多いことにより，このような偏った分類結4. 2 単語によるアンサーの分類

果になっていると予想される．
「ライムあり」の正例データのよ

単語によるアンサーの分類については，多数決によって正解
ラベルを定義し，416 件のデータセットを取得した．本実験では，返答文が単語カテゴリにおけるアンサーに該当するか否かを判別する 2 値分類に取り組むため，「関連語なし」以外の「同うに，返答文中に相手の発言を考慮した自然なライムを含むことは，自動生成では困難であり，手作業でも時間がかかるため，
正例と負例を同数にした学習は本実験ではおこなえなかった．
今後はクラスウェイトを使用するなど，データセットのラベルを考慮した学習の改善が必要である．

5：https://huggingface.co/cl-tohoku/bert-base-japanese-v3- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

4. 4 対話によるアンサーの分類
対話によるアンサーの分類についても，多数決によってラベルを定義し，351 件のデータセットを取得した．本実験では，返答文が対話カテゴリにおけるアンサーに該当するか否かを判別する 2 値分類に取り組むため，「対話になっていない」（40 件）
以外の「肯定」「否定」「肯定と否定の両方」「肯定でも否定でもない」を正例とした，相手の発言と返答文のペアデータを 311件取得した．それに対して，データセット内の別の返答文を付与したデータを負例として 311 件作成した．結果として，デー
タセットは 622 件となり，これを訓練用 497 件，検証用 62 件，
テスト用 63 件に分けて学習をおこなった．
分類結果は，表 4 に示すように，正解率が 0.8253 となり，高図 6 BERT を用いたアンサーの表現の分類

い分類性能を示した．図 5 に示す混同行列では，本メインカテ

解のサブカテゴリとして加えた．この操作によってラベルが付

ゴリのアンサーに該当するか否かを適切に分類できていること

けられなかった 23 件のデータを除いた，406 件をデータセットがわかる．これは，BERT の文同士の繋がりを考慮した事前学とした．これを訓練用 324 件，検証用 41 件，テスト用 41 件と習により，少量のデータセットでもうまく分類ができたためだ

して使用した．
また，マルチラベル問題を正しく学習するためにクラスウェと考えられる．

イトを使用した．マルチラベル問題では，図 6 に示すように，

4. 5 単語，ライム，対話によるアンサーの分類

各サブカテゴリの有無を 0 と 1 で表したマルチホットベクトル

単語，ライム，対話によるアンサーのカテゴリに対して，分を正解ラベルとして使用する．本実験で使用する正解ラベルの類をおこなう．学習に使用するデータは 429 件の相手の発言とマルチホットベクトルには 0 が多く含まれているため，予測値

返答文のペアデータの内，3 つのメインカテゴリのうちの少なをすべて 0 にするといった過学習が起きる可能性がある．そのくとも 1 つのメインカテゴリにおいてアンサーに該当すれば正ため，本実験ではサブカテゴリが含まれていることを示す 1 に例とした．今回，412 件のデータがアンサーと判断されたため，対して，5.0 のクラスウェイトをかけて学習をおこなった．学

それらのデータを正例とした．それに対して，データセット内

習後の推論時では，予測値に対して，0.5 以上を 1，0.5 未満をの別の返答文を付与したデータを負例として 412 件作成した．

0 として扱った．

結果として，データセットは 824 件となり，これを訓練用 659

アンサーの表現の種類の分類結果を表 5 に示す．正解率は，件，検証用 82 件，テスト用 83 件に分けて学習をおこなった．

予測値と正解ラベル内の 13 個の要素がすべて一致する際に正分類結果は，表 4 に示すように，正解率が 0.8554 となり，高解とする場合（完全一致）と，予測値と正解ラベル内のそれぞい分類性能を示した．図 5 に示す混同行列を見ると，本カテれ対応する要素が一致する際に正解とする場合（要素ごとの一ゴリでは「アンサーである」と「アンサーでない」の両方に対致）の 2 種類を計算した．まず，完全一致においては，クラスして適切に分類できていることがわかる．このことから，アン

ウェイトの有無に関わらず 0.0243 と非常に低い結果となった．

サーを判別する 3 つのメインカテゴリを同時に考慮することで，これは，13 種類のサブカテゴリの有無を完全に一致させる必要

メインカテゴリを個別に分類する場合と比べて，高い性能で分があるため，このような非常に低い正解率になったと考えられ類ができることを示した．

る．次に，要素ごとの一致においては，クラスウェイトなしが0.8592 であり，クラスウェイトありが 0.7617 となった．これ

4. 6 アンサーの表現の種類の分類
最後に，アンサーの表現の種類を分類する．アンサーの表現の種類では，ある返答文に対して複数のサブカテゴリを同時に持つため，複数のサブカテゴリを同時に予測するマルチラベル問題として解いた．本実験では，図 6 に示すように，返答文のみを入力とし，返答文のサブカテゴリを表すベクトルを出力す
る．入力の前処理として，返答文の先頭に [CLS] トークンを付
与し，末尾には [SEP] トークンを付与した．アンサーの表現の種類は 13 種類であるため，[CLS] トークンに対応する 768 次
元のベクトルを FC 層によって，13 次元のベクトルとして出力
し，Binary Cross Entropy Loss によって正解のサブカテゴリとの誤差を計算した．
学習に使用するデータは，アノテータ 3 人の内，2 人以上が同じサブカテゴリを付与している場合，そのサブカテゴリを正は，クラスウェイトなしの方が良い正解率に見えるが，実際はクラスウェイトなしの予測値がほとんど 0 であったため，0 が多い正解ラベルにおいて正解率が高くなっている．
このように，マルチラベル問題において，正解率だけで分類の性能を評価することは難しいため，正解率以外にも，適合率，再現率，F 値を計算した．まず，適合率はクラスウェイトなし
では 0.0512，クラスウェイトありでは 0.7051 であった．クラス
ウェイトありにおいては，サブカテゴリを含むと予測した際には，予測が正しくできていることがわかる．次に，再現率はク
ラスウェイトなしでは 0.8000，クラスウェイトありでは 0.3459であった．クラスウェイトなしはモデルの予測値がほとんど 0であるため，再現率が 0.8000 と高くなっていることがわかる．
クラスウェイトありは再現率が 0.3459 と低く，本来サブカテ- T1-B-4-02 -T1-B-4-02

第16回データ工学と情報マネジメントに関するフォーラム

表5
実験設定

アンサーの表現の種類の分類結果

正解率（完全一致）

正解率（要素ごとの一致）

クラスウェイトなし

0.02430.85920.0512 0.8000 0.0963

クラスウェイトあり

0.02430.76170.7051 0.3459 0.4641

ゴリを含むと予測すべきものを予測できていないことがわかる．
最後に，F 値はクラスウェイトなしでは 0.0963，クラスウェイ
トありでは 0.4641 であった．クラスウェイトなしでは適合率が非常に低いため，F 値も 0.0963 と低くなっている．クラス
ウェイトありでは，F 値が 0.4641 と中程度の値を示していることがわかる．これらのことから，アンサーの表現の種類の分類においては，クラスウェイトを使用した場合，サブカテゴリを含むと予測した場合には高い割合で正解できるが，本来予測すべきサブカテゴリを見逃してしまうことが多いことがわかる．
しかし，F 値は中程度の値を示しているため，本分類モデルは中程度の性能で分類が可能であると言える．

5 まとめと今後の課題
本研究では，アンサーの自動分類に向けた類型化に取り組んだ．まず，ラップバトルコーパスからアンサーのペアデータを作成し，ラップバトルに精通した 2 名のアノテータによるラベルの作成とアノテーションにより，アンサーを類型化した．類型化の結果として，作成した類型の内，2 種類のメインカテゴ
リにおいて，Krippendorﬀ の α が 0.5 を超える一致率を示した．また，作成したアンサー類型を基に，BERT を用いた自動分類に取り組んだ．結果として，作成した 3 つのいずれかの類型のアンサーに該当するか否かを判別する分類タスクの正解率
は 0.8554 となり，高い性能で分類ができていることがわかった．さらに，アンサーがどのような表現かを判別する分類タス
クにも取り組み，F 値が 0.4641 と中程度の分類性能を示した．
今後はアンサーをバースの中から自動的に検知し，バース単位でのペアに対して，自動的にアンサーを分類できる手法に取り組む予定である．
謝 辞

本 研 究 は JSPS 科 研 費 JP21H03775，JP21H03774，

JP21H03554，JP22H03905 の助成を受けた．

文

献[1] V. Sykäri. Interactive oral composition: Resources, strategies, and the construction of improvised utterances in a
Finnish freestyle rap battle. The Journal of American Folklore, Vol. 132, No. 523, pp. 3–35, 2019.
[2] DARTHREIDER. MC バトル史から読み解く日本語ラップ入門. KADOKAWA, 2017.
[3] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT:
Pre-training of deep bidirectional transformers for language
understanding. In Proceedings of the 2019 Conference of
the North American Chapter of the Association for Computational Linguistics, NAACL 2019, pp. 4171–4186, 2019.
[4] P. James, B. Harry, and Z. Annie. Designing annotation
schemes: From theory to model. Handbook of Linguistic
Annotation, pp. 21–72, 2017.
[5] 保田祥, 小西光, 浅原正幸, 今田水穂, 前川喜久雄. 『現代日本語
書き言葉均衡コーパス』に対する時間情報表現・事象表現間の時間的順序関係アノテーション. 自然言語処理, Vol. 20, No. 5,
pp. 657–681, 2013.

適合率

再現率

F値

[6] JR. Trippas, D. Spina, P. Thomas, M. Sanderson, H. Joho,and L. Cavedon. Towards a model for spoken conversational
search. Information Processing & Management, Vol. 57,
No. 2, pp. 1–19, 2020.
[7] V. Susana, K. Uzay, and S. João. Cohen’s kappa coeﬃcient as a performance measure for feature selection. In The
2010 IEEE World Congress on Computational Intelligence,
WCCI 2010, pp. 1–8, 2010.
[8] R. Higashinaka, M. Mizukami, K. Funakoshi, M. Araki,
H. Tsukahara, and Y. Kobayashi. Fatal or not? Finding
errors that lead to dialogue breakdowns in chat-oriented
dialogue systems. In Proceedings of the 2015 Conferenceon Empirical Methods in Natural Language Processing,
EMNLP 2015, pp. 2243–2248, 2015.
[9] JL. Fleiss. Measuring nominal scale agreement among many
raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378–382,
1971.
[10] R. Higashinaka, K. Funakoshi, M. Araki, H. Tsukahara,
Y. Kobayashi, and M. Mizukami. Towards taxonomy oferrors in chat-oriented dialogue systems. In The 16th Annual SIGdial Meeting on Discourse and Dialogue, SIGDIAL
2015, pp. 87–95, 2015.
[11] 東中竜一郎, 荒木雅弘, 塚原裕史, 水上雅博. 雑談対話システム
における対話破綻を生じさせる発話の類型化. 自然言語処理,
Vol. 29, No. 2, pp. 443–466, 2022.
[12] 坂口智洋, 河原大輔, 黒橋禎夫. 事象に対する網羅的な時間情報
アノテーションとその分析. 自然言語処理, Vol. 26, No. 1, pp.
179–206, 2019.
[13] K. Krippendorﬀ.
Computing Krippendorﬀ’s alphareliability. Departmental Papers (ASC). 43, pp, 1–10, 2011.
[14] R. Dey and FM. Salem. Gate-variants of gated recurrent
unit (GRU) neural networks. In IEEE 60th International
Midwest Symposium on Circuits and Systems, MWSCAS
2017, pp. 1597–1600, 2017.
[15] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキーマの提案と評価. 言語処理学会第 29 回年次大会, NLP 2023, pp. 933–938, 2023.
[16] HS. Alim, J. Lee, LM. Carris, and QE. Williams. Linguistic creativity and the production of cisheteropatriarchy: A
comparative analysis of improvised rap battles in Los Angeles and Cape Town. Language Sciences, Vol. 65, pp. 58–69,
2018.
[17] D. Wu and K. Addanki. Learning to rap battle with bilingual recursive neural networks. In Proceedings of the 24th
International Joint Conference on Artiﬁcial Intelligence,
IJCAI 2015, pp. 2524–2530, 2015.
[18] R. Mibayashi, T. Yamamoto, K. Tsukuda, K. Watanabe,
T. Nakano, M. Goto, and H. Ohshima. Verse generation by reverse generation considering rhyme and answer
in Japanese rap battles. In Proceedings of the 16th International Symposium on Computer Music Multidisciplinary
Research, CMMR 2023, pp. 30–41, 2023.
[19] R. Savery, L. Zahray, and G. Weinberg. Shimon the rapper: A real-time system for human-robot interactive rap
battles. In Proceedings of the 11th International Conference on Computational Creativity, ICCC 2020, pp. 212–219,
2020.
[20] 晋平太. フリースタイル・ラップの教科書. イースト・プレス,
2016.
[21] I. Loshchilov and F. Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning
Representations, ICLR 2019, pp. 1–8, 2019.

- T1-B-4-02 -