情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-542024/2/28

大規模言語モデルを用いた日本語ラップ創作支援システム
廣晴輔1,a)塚田浩二1

概要：近年ラップ（HIPHOP）は世界的に人気のある音楽ジャンルであり，J-POP など別ジャンルにおいても，歌詞の一部にラップや押韻表現を取り入れる例が増えている．ラップ歌詞（Verse）の作成は，意味的な表現に加えて，押韻表現（Rhyme）を組み合わせる必要があるため，難易度が高い．そこで，本研究では Verse 生成の初級者を対象として，任意のキーワードを入力として，大規模言語モデルを介して，意味表現・押韻表現を備えた Verse を生成する創作支援システムを提案する．キーワードの入力やシステムの提示する歌詞候補からの選択を対話的に行うことで，歌詞のテーマやユーザの意思を反映した一貫性のある Verse の生成を目指す．

1. 背景と目的
アメリカ 3 大音楽賞の一つであるビルボード・ミュー
ジック・アワード 2022*1 のトップアーティストにラッパーの Drake が選出されたように，近年世界的にラップ（HIPHOP）は人気のある音楽ジャンルである．また

J-POP など別ジャンルにおいても，歌詞の一部にラップや押韻表現を取り入れる例が増えている．一方，ラップ歌詞（Verse）の作成は，意味的な表現に加えて，押韻表現（Rhyme）を組み合わせる必要があるため，難易度が高い．
図 1 に通常の歌詞作成と Rhyme 表現を用いた歌詞作成手順を比較した例を示す．このように，「押印を考慮」するプロセスが増えることで，歌詞作成の難易度が高くなっていると考える．
そこで，本研究では Verse 作成の初級者を対象として，大規模言語モデルを用いて，意味表現・押韻表現を備えたVerse を生成する創作支援システムを提案する．キーワー
ドの入力やシステムの提示する歌詞候補の選択を対話的に

図 1

歌詞作成手順の比較行うことで，ユーザの意思を反映した一貫性のある Verseの生成を目指す．

ベースを活用して，既存の歌詞を入力として新しい歌詞を生成する手法を提案した．Barbieri ら [2] はマルコフ過程

2. 関連研究
ラップの自動生成に関する研究は英語圏を中心に多数行われている．

Nguyen ら [1] は，ラップ歌詞や韻を踏んだ単語のデータを用いてラップ歌詞の半自動生成システムを実装した．
ま た LSTM モデルを使用した研究も行われている。

LSTM（Long Short Term Memory）モデルとは再帰ニューラルネットワークの一種であり，短期的な情報と長期的な情報の両方を効果的に保持することができるため，自然言語のような複雑なデータ構造に適したモデルとして広く使

1a)*1

公立はこだて未来大学
b1020189@fun.ac.jp
https://www.billboardmusicawards.com/2022/05/winnersannounced-for-the-2022-bbmas/© 2024 Information Processing Society of Japan

用されている．Potash[3] らは LSTM モデルを作成し，対象にしたラッパーに似ている歌詞の自動生成に取り組んだ．また Yu ら [4] は LSTM モデルを改良して，歌詞のみ

416

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

でなく楽曲の自動生成にも取り組んだ．

1B-54
2024/2/28

図中の m（小節数）は 7，n（候補数）は 3 としている．

Wentink[5] は韻密度に着目して，ラップ歌詞の自動生成モデルを評価する手法を提案した．また Nikolov ら [6] は入力した文章をラップ調に変換する手法，Rapformer を提案した．例えば，新聞記事をラップ調に変換する事例を紹介している．
日本語ラップの生成に関する研究として，三林ら [7] はRapformer を拡張して，日本語ラップバトルを想定した
Verse 生成システムを構築した．日本語の文章を入力すると，Rapformer 等を用いて応答文を作成し，更に双方向のエンコード表現を可能にした自然言語処理モデル BERT
（Bidirectional Encoder Representations from Transform-ers）[8] を用いて韻の付与を行うシステムである．さらに，三林ら [9] は GPT-2 と BERT を用いたラップバトル体験
システムも開発している．これはユーザが音声入力したVerse に対して，システムで返答 Verse を生成し，それを音声で出力するシステムである．GPT-2 は大規模言語モデル（Large Language Model:LLM）の一種であり，大量のテキストデータから学習された，非常に大規模なパラメー

図 3システムのシーケンス図タセットを持つ．本研究でも，大規模言語モデルと BERTを用いた Verse 生成システムを提案するが，歌詞の創作支以下にシステムの流れを記述する．

援に注目する点が異なる．歌詞の創作においては，一曲を( 1 ) ユーザはシステムにキーワードを入力する．

通して一貫したテーマが重要となるため，システムから提( 2 ) システムは LLM を用いて，1 小節目の文章候補を n示した Verse 候補をユーザに都度選択させ，ユーザの意思個生成し，ユーザが選択する．（なお，選択した候補を反映しやすくするように工夫する．

をユーザが改変することもできる．
）( 3 ) システムは日本語 Wordnet を用いてキーワードから類義語を取得する．

3. 提案( 4 ) システムは取得した類義語を新たなキーワードとして

本研究ではユーザが入力したキーワードを基に，大規模LLM を用いて，2 小節目の文章候補を n 個生成する．

言語モデル（LLM）を用いて日本語ラップの Verse を生成( 5 ) 2 小節目の文章候補の文末に MASK トークンを付与する創作支援システムを提案する．
図 2 にシステムの概要図を示す．

する．

( 6 ) システムは BERT を用いて，1 小節目の文章の文末と母音が一致するように 2 小節目の文章候補の MASKトークンを置き換える．

( 7 ) ユーザは生成された文章候補から一つを選択する．（なお，選択した候補をユーザが改変することもできる．
）
こうした処理を m 回繰り返すことで，Verse を生成する．
キーワードの入力や一小節毎に歌詞の選択を求めることで，ユーザの意思に沿った形で，テーマに一貫性のあるVerse の生成を目指す．
またユーザとシステムの対話的な創作支援を行うため

GUI を実装することで，生成された文章の改変や，自身で
図 2システムの概要図の歌詞入力等をサポートしつつ，初級者でも扱いやすいように工夫する．

BERT は双方向のエンコード表現を可能にした事前学習モデルであり，文章内の一部に対して MASK トークンを付与して，単語の置き換え処理を行う学習方法がある．
図 3 にシステムのシーケンス図を示す．現在の実装では© 2024 Information Processing Society of Japan

4. 実装
ここでは，システムの実装について説明する．
まず，メインプログラムは Python で実装している．プ417

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-54
2024/2/28

ログラムの動作としては，ユーザからの入力を受け，LLMることで画面下部のテキストボックスに文章が反映される．

や BERT，Wordnet との橋渡し役を担っている．

ここでユーザは文章を任意に書き換えることができ，確定LLM として OpenAI 社から提供されている API を使用

ボタンを押下すると画面右側のキャンバスにテキストが反してファインチューニングを行った gpt-3.5-turbo モデル

映される．また類義語を新たなキーワードとして LLM でを使用している. 日本で活躍しているラップアーティスト・生成された文章を画面上に表示する．なお，更新ボタンをラップグループから約 800 件の歌詞データをスクレイピン押下することで，LLM を用いて文章を再生成することもグし，日本語で構成された小節のみをデータセットとしてできる．

ファインチューニングを行った．
データセットの作成手順は，まず全ての歌詞データを 1小節ごとに分解した．次に分解した歌詞データから日本語・数字以外の文字が含まれる小節を全て取りいて形態素解析を行い，小節内のランダムな名詞を取得した．これらの名詞を用いて，小節毎に以下のような構造のレコードを作成した．なお，【名詞】には抽出された名詞が，【小節】には各小節の全文が記載される．

• { messages : [{ role :user ,content :【名詞】をキーワードとして 1 小節のラップを出力}, { role : assistant ,content :【小節】 }]}合計 7611 レコードのデータセットを構築した．OpenAIの API では処理するテキストの最小単位を Token として定めているが，ファインチューニングを行う場合データセットは仕様上*2 16,385Token 以下である必要があり，構築したデータセットからレコード数を限定する必要があった．よって，曲やアーティストに偏りが出ないように 300
レコードを抽出した．このようにして，ファインチューニングした LLM を文章生成等に使用する．
本研究ではファインチューニング後の LLM を，入力キーワードや類義語からの文章生成に使用する．

BERT を基盤としたさまざまなモデルが提案されており，本研究では，東北大学自然言語処理研究グループから公開されている bert-base-japanese-whole-word-masking
モデル*3 を使用する．本研究では類義語から生成された文章の一部を MASK として BERT に入力することで，母音の一致度から韻を付与した単語で MASK を置き換える．
キーワードの類義語変換を行うために国立研究開発法
人情報通信研究機構が公開している日本語 Wordnet[10] を使用する．日本語 Wordnet は日本語の概念辞書である．
ユーザが入力したキーワードや一つ前に得られた類義語を，Wordnet で検索し，キーワードに紐づいた概念から類義語を複数出力する．

図 4システムの動作例

システムの GUI は Tkinter を用いて実装を行った．（図4）．まず，ユーザはキーワードを入力する．次に LLM から生成された文章がボタンとして表示され，一つを選択す5. 議論
表 1 に，「未来」というキーワードからシステムを用い*2*3

https://platform.openai.com/docs/guides/ﬁnetuning/preparing-your-dataset
https://huggingface.co/cl-tohoku/bert-base-japanesewhole-word-masking© 2024 Information Processing Society of Japanて対話的に生成した Verse の出力例を示す．これは，明らかな誤字を訂正し，文章の長さも整えて対話的に生成した例である．

418

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

表 1

1B-54
2024/2/28

未来をキーワードにした対話的な出力例

小節数

出力 verse

1

諦める勇気なんてないだけでもえぐる未来がくる

2

信じろ未来（Future）どこにだってフューズム

3

取るも捨てるも後あとの自己言及

4

オチが添えりゃ此後が大変だ安シングル

5

未来は金がじゃぶじゃぶ汚れた足跡描いた配り人数

6

降り積もる終雪どんな現場か知らんとおまえが口入

7

街の子供孫にも語るぜこの話に対して

8

流すテープあの頃の後皆一緒にて

[9]

[10]

Kristina Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,North American Chapter of the Association for Computational Linguistics 2019(NAACL 19), pp.4171–4186,
2019.
三林亮太，山本武洋，大島裕明，GPT-2 と BERT を用いたバース生成によるラップバトル体験システム，WISS
2021 論文集，2021．
Francis Bond, Timothy Baldwin, Richard Fothergill andKiyotaka Uchimoto, Japanese SemCor: A Sense-tagged
Corpus of Japanese, The 6th International Conference of
the Global WordNet Association （GWC-2012）, 2012.

6 小節目の「口入」という単語は，5 小節目の「配り人数」から「ku・nyu・u」という音節で生成されているが，「ku・ti・i・re」という音節で 7 小節目の単語「対して」の生成に利用されている．このような複数音節を有する単語への対応も検討していく．

6. まとめと今後の展望
本研究では Verse 作成の初級者を対象として，任意のキーワードを入力として，大規模言語モデルを介して，意味表現・押韻表現を備えた日本語 Verse を生成する創作支援システムを作成した．
今後の展望としてモデルの再学習・韻の付与や類義語選定手法の改善を進める．また，歌詞生成の初心者を対象とした評価実験を行う．Rhyme 表現を用いた歌詞作成を本
システム有り／無しの状態で体験してもらい，システムの効果や使いやすさを検証する．さらに，生成された Verse自体に対する印象評価も実施する．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

Hieu Nguyen and Brian Sa, Rap lyric generator, Stanford, CS224N Final Projects, 2009．
Gabriele Barbieri, Francois Pachet, Pierre Roy, Mirko
Degli Esposti, Markov constraints for generating lyrics
with style, In Proceedings of the 20th European Conference on Artiﬁcial Intelligence （ECAI’12）, pp.115–120,
2012.
Peter Potash, Alexey Romanov, Anna Rumshisky,Ghostwriter: Using an LSTM for automatic rap lyricgeneration, EMNLP 15, pp.1919-1924, 2015.
Yi Yu and Simon Canales, Conditional LSTM-GAN formelody generation from lyrics, “ACM Transactions on
Multimedia Computing, Communications, and Applications”, Volume 17, Issue 1, Article No.:35, pp.1-20, 2021.
Matthias Wentink, Creating and Evaluating a Lyrics
Generator Specialized in Rap Lyrics with a High Rhyme
Density, TScIT 38, February 3, 2023.
Nikola I Nikolov, Eric Malmi, Curtis Northcutt, Loreto
Parisi, Rapformer: Conditional rap lyrics generation
with denoising autoencoders, International Natural Language Generation Conference 2020(INLG 20), pp.360373, 2020.
三林亮太，橋口友哉，山本武洋，大島裕明，ラップバトル
におけるライムの意味類似性を考慮したバース生成シス
テム，DEIM Forum 2021 F14-5，2021．
Jacob Devlin, Ming-Wei Chang, Kenton Lee and© 2024 Information Processing Society of Japan419