情報処理学会研究報告
IPSJ SIG Technical Report

能動学習と局所対話への特化を考慮した
対話文における言い淀み検出
中島 寛人1

嶋田 和孝2

概要：話し言葉に含まれる言い淀み表現は，可読性を下げるのみならず，機械学習モデルで話し言葉を使用する際のノイズにもなり得る．したがって，事前に自動的な整形を行うことが望ましい．既存の研究では，
深層学習モデルをファインチューニングによってタスクに適応させるものが多い．通常，ファインチュー
ニングでは，タスクへの汎用的な学習のみを行う．したがって，方言話者を含む対話のように，特定の 1
対話単位に存在する局所的傾向にも頑健なモデルを作成することは難しい．そこで，本論文では能動学習の考え方に着目する．対象の 1 対話内から追加の学習データを獲得することで，局所的傾向に特化した検出を試みる．
キーワード：冗長表現, 言い淀み, 能動学習

Dialogue Disﬂuency Detection
with Active Learning based on Local Tendency
Abstract: Disﬂuency in dialogue not only decreases the readability of the transcript but also introduces
noise in Machine Learning data. Recent works in the disﬂuency detection task use deep-neural models ﬁnetuned by general knowledge about the task. However, dialogue sometimes includes local tendencies likedialects or specialized terminology. Such tendencies may negatively aﬀect the detection by models withgeneral knowledge. In this paper, we propose disﬂuency detection with Active Learning (AL) to specialize
in local tendencies. We also discuss the eﬀectiveness of diﬀerent sampling methods in this task.
Keywords: Redundant expressions, Disﬂuency, Active Learning

1. はじめにされるものである．これらは基本的に文意に関係しないため，単に読みづらいだけでなく機械学習に使用される場合

論文のような書き言葉と異なり，実際の人の発話によっにもノイズとして影響を与えることがある．したがって，て構成される話し言葉には，特有の冗長な表現が多く含ま

言い淀み表現の自動的な検出や整形は可読性・応用性の両れている．冗長表現の中でも代表的なものが言い淀み表現観点から必要不可欠である．

である．「やす，安くて」のような，「安くて」を途中で一言い淀みの検出は系列ラベリングとして解かれることが度中断して繰り返す言い直し，もしくは「こと、今年度」

多く，固有表現認識 (NER: Named Entity Recognition) タのように「今年 (ことし)」を言いかけて「今年度 (こんねスクに類似した枠組みが用いられている．近年では，深層んど)」と別の言葉に変える言い換えなどが言い淀みに内包

学習モデルを使用した研究が主流となっており，ファイン
チューニングによって従来より高い精度で検出を行うこと

1

2

九州工業大学 大学院情報工学府
Department of Creative Informatics, Kyushu Instituteof Technology 680-4 Kawazu, Iizuka, Fukuoka 820-8502,
JAPAN
九州工業大学 大学院情報工学研究院 知能情報工学研究系
Department of Artiﬁcial Intelligence, Kyushu Instituteof Technology 680-4 Kawazu, Iizuka, Fukuoka 820-8502,
JAPAN

c 2023 Information Processing Society of Japan⃝が可能になっている．しかし，専門用語や方言といった頻出しない単語を含む対話や，珍しいテーマで行われている
対話にも頑健なモデルを作成することは難しい．例えば以下のような事例を考える．

• …これはきゅう、九で、九州の九ですね。でその次が1

情報処理学会研究報告
IPSJ SIG Technical Report

こう、こうは工事の工で…

ていないが，能動学習時の訓練データは特化する特定の 1

この事例では，一見中断や繰り返しが多数発生しており，

対話内にある文脈そのものであるため，その対話内におけ言い直しが何度も生じているように考えられる．しかし，る言い淀みの出現傾向のような事実上の文脈情報を学習す

実際にはこの対話では漢字の書き取りが行われており，こることを期待している．

の発話内に言い淀み表現は存在しない．このような，レアケースへの過度な適合はモデルの汎化性能を下げ，結果的

2.2 能動学習に精度が低下することもある．しかし，レアケースをター

能動学習は NER タスクでも有効性が示されてきた [8] 手

ゲットとする場合に 1 からモデルを訓練・ファインチュー法である．能動学習において基本的な論点となるのは，「ア

ニングすることは，学習そのものやデータセット作成など

ノテータに対してどの事例を提示するか」である．Queryにかかるコストの面から現実的ではない．

By Commitee (QBC) [9] は Seung らによって提案された，

本研究では，このような問題を解決するために能動学習

複数のモデルによる合議が最も難しかった事例を選択する(Active Learning) の考え方に着目する．能動学習では，大手法である．このような高難度事例を発見する手法は難易

規模な元データのすべてに対して正解ラベルのアノテー度の高い事例を発見できる一方で，実際にはアノテータにションを付与する代わりに，モデルに予測させる中で人間負担を預けている可能性が存在する．Gabriel ら [10] は簡に一部データのアノテーションを要求し，再度モデルを学

単な一部の事例について提示の際は二値分類タスクにす

習する．これにより，大規模データの中から効率的に学習ることで，アノテータの負担軽減を行っている．BERT を可能なデータのみを選出することで，アノテーションにかはじめとして RoBERTa [11]，DistillBERT [12] など複数

かるコストを削減できる．つまり，言い淀みを検出したいの深層学習モデルからなる Committee によって精度を改

対話から小規模な事例を学習データとして選出し，モデル

善しつつ 20 ％弱の労力削減を達成している．また，Kileを追加学習させることで，検出対象である対話における検ら [13] はエンティティに対するラベル付けを行う NER タ

出精度を向上できる可能性がある．

スクで，自動推測機能を組み込んだ能動学習によってアノ本論文では，タスクにファインチューニングされたモデテーションに掛かる時間的コストを削減している．このよルを更に能動学習によって追加学習することで，検出対象

うに，能動学習においてはアノテータの負担軽減も論点とのデータに特化させる手法を提案する．実験では，提案手なることがある．系列ラベリングはタスクとしては比較的法の有無による検出精度の変化や，能動学習における訓練

複雑なため，アノテータの負担は重要な要素であると言えデータ選出手法による精度の差について論じる．

る．本論文では，選出してアノテータに提示する能動学習

2. 関連研究
本節では，本論文のタスクである言い淀み検出と能動学
習について関連する研究を中心に述べる．

用訓練データをごく小さな規模に留めることで，アノテー
タの量的な負担を軽減するアプローチを取った．
一方で，QBC は前提として複数のモデルを要求するため，先述のような大きなモデルを複数同時に動かす必要があり動作コストの面では望ましくない場面も存在する．最2.1 言い淀み検出

小確信度スコアは最も基本的な不確実性サンプリング手法

言い淀み表現の機械的な検出においては様々な研究がなの 1 つで，系列ラベリングにおいても研究が存在する [14]．

されてきた．言い淀みの出現に周囲の文脈が関連している

本論文では，NER タスクに類似したタスクである言い淀

ことは，その中でも多くの研究で論じられている．この周み検出タスクにおいて，最小確信度スコアに基づいた能動

囲文脈に関する研究の一例として，RIM(Repair-Interval-

学習について検証する．

Model) [1] が存在する．言い淀みの一種である自己修復 (所謂言い直しに近い表現) が出現する際に特定の文法的構造

3. データセットを伴うとされるもので，同じく冗長表現のひとつである，

本節では，本論文で使用するデータセットについて説明「えー」「あー」などで表されるフィラーとの関わりも示唆する．本論文では，対話文のデータセットとして話し言されている．文脈情報を用いた言い淀み検出についても尾葉コーパスの書き起こし文を使用する．『日本語話し言葉

嶋ら [2] や Tanaka ら [3] など多くの研究が存在する．文脈コーパス』（Corpus of Spontaneous Japanese，以降 CSJ）

情報を考慮できる深層学習モデルの登場後はこれを用いた[15] は，日本語で収録された講演や発表などの独話データ，検出が盛んになっており [4]，生成モデルによる仮文脈の有インタビューや自由対話などの対話データを含む話し言葉

効性 [5] なども示されている．自身の先行研究 [6] においてコーパスである．各データには，対応する音声データの他は，前後文脈の補完によって文長の短い対話文における精に，音声を基にして人手で書き起こしを行った転記テキス

度向上を示し，GPT2 [7] による補完についても検証した．

トがテキストデータとして収録されている．本論文では，

本論文では，文脈情報を直接的に補完する手法は用いられ

対話文にあたる全 58 対話に対応する転記テキストをデー

c 2023 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report
表 1

CSJ に付与されているタグの一例．本論文で使用する言い淀み (D タグ) は言い淀んでいる部分のみを範囲としている．
タグ
例文
言い淀み

表 2

…原型と変形の (D しょうちゅし) 聴取時間の差…

前処理後の CSJ 対話データの一例 (ただし，話者交替を明示するために話者 ID を，結合位置を明示するために IPU 単位

での区切りだった位置に/(スラッシュ) を付与している)．
ID 発話

A

気質なのか

B

何だろう

A

結構 (D ん)(D き) 多分アメリカ人気質に似てるようなB(F あ) / (D なん) そうかもしれないですね

したモデルを，能動学習によって更に検出対象となるデータにA(F うーん) 気がする (D う)

特化させる．

B(F うん) / (F うん) 凄い主張するしA

主張が激しい

表 3

図 1

提案手法の概要．ファインチューニングによってタスクに適応

前処理後の CSJ 対話データ内の発話内訳．発話内で複数回言い淀みが発生している場合があるため，言い淀みを含む発話の数と言い淀みの総数は異なることに注意．
全発話
19551
言い淀みを含む発話

2147

言い淀みの総数2629

図 2

提案手法における特化対象．データセットに含まれる対話の中から任意の 1 対話を選出し，特化データとする．

タセットとして使用する．転記テキスト中では，フィラー
や言い淀みなど，話し言葉で発生する様々な言語現象に対例を選出して追加で学習を行い，能動学習モデルを作成すしてラベリングが行われている．本論文では，表 1 に示す

る．なお，本論文における検出対象とは，図 2 に示すようような，言い淀みに対応する D ラベルの情報を基にして正に，3 節で示したデータセット全 58 対話の中から 1 対話

解ラベルを作成する．

選出されたものである．したがって，能動学習によって学

CSJ では発話毎の区切りに「200 ミリ秒以上のポーズ」
を基準とした転記基本単位 (IPU：Inter-Pausal Unit) を使

習を期待するのは，対話の話題や参加話者の言い淀み方といった，対話内に存在する大きな傾向である．

用している．しかし，この区切り単位での発話長は短くなっており，深層学習モデルにおいて極端に短い入力では4.1 言い淀み検出モデル：BERT

文脈情報を活かしにくい．したがって今回は転記基本単位

本論文では，BERT をベースとして言い淀み検出モデルをを使用せず，「話者が交代するか，終止形文末が出現する

作成する．BERT(Bidirectional Encoder Representationsまで」を基準として同一話者による連続した発話を結合すfrom Transformers) [16] はファインチューニングを行うこる前処理を行っている．前処理後の対話データの例を表 2とで様々なタスクに適応可能な汎用言語モデルであり，自然に，前処理後の対話データ全体における発話数と言い淀み

言語処理に関する多くのタスクで活用されている．本論文を含む発話数を表 3 に示す．

では，東北大学によって公開されている BERT モデル*1 を

4. 提案手法
本節では，まず本論文で提案する手法の概要を説明し，続く各節で手法内で使用される事前学習モデルや学習法に事前学習済みモデルとして使用する．日本語 Wikipedia から抽出された約 2.6GB 相当のテキストデータによって学習が行われているモデルであり，日本語の汎用的な知識を事前学習している．
ファインチューニングでは，事前学習済み BERT を系

ついて説明する．
提案手法の概要を図 1 に示す．提案手法では 2 段階に分列ラベリングによる言い淀み検出タスクに適応させ，言いけてモデルの学習を行うことで，特定の対話へ特化した言

淀み検出モデルとする．言い淀み検出モデルの概要図を図

い淀み表現の検出を試みる．1 つ目は事前学習済みモデル

3 に示す．ファインチューニング後のモデルでは，トークを言い淀みタスクに適応させるファインチューニング段階ンと呼ばれる単語のような小単位で区切られた文章を入で，言い淀みを含む事例群の学習によって言い淀み検出モ

力として，各トークンにおける BERT の出力ベクトルにデルを作成する．2 つ目は言い淀み検出モデルを更に検出

softmax, argmax の各関数を適用したものを推測ラベル列

対象に特化させる能動学習段階で，検出するデータから事c 2023 Information Processing Society of Japan⃝*1

https://huggingface.co/cl-tohoku/bert-base-japanese3情報処理学会研究報告
IPSJ SIG Technical Report

ルの予測確率との差分である．

LCScore = 1.00 − max(sof tmax(p))(1)

最小確信度スコアはモデルが推測したラベルの予測確率
が他ラベルより飛び抜けているほど小さく，また各ラベル
図 3ファインチューニング後の言い淀み検出 BERT モデル．各
トークンに対して IOB2 形式のラベルを付与し，言い淀みのチャンクを推測する．

の予測確率が拮抗しているほど大きくなる．したがって，
最小確信度スコアの大きい順にデータを選ぶことで，モデルの学習にとって効率的なデータを抽出できる．
文章分類のように，ひとつの事例に対してひとつのラベとする．

ルがモデルに推測されるタスクでは，事例全体の最小確信

正解ラベルには，系列ラベリングによる言い淀み検出で度スコアはモデルの推測ラベルを用いた最小確信度スコア

多く用いられているチャンクタグによるラベルを採用した．

と同等であると見なせる．しかし，本論文のタスクである

チャンクタグでは複数のトークンにまたがる事例を考慮し系列ラベリングにおいては，モデルは各トークンに対しててラベルを付与するため，単純に各トークンそれぞれについそれぞれラベルを推測する．つまり，ひとつの事例に対して言い淀み表現であるかないかを判定する場合より系列情て入力されたトークン列の長さと同数のラベルが推測され報を考慮しやすい．本論文では，チャンクの先頭に B タグ，

る．したがって，各トークンが最小確信度スコアを持って先頭以外のチャンク範囲に I タグ，チャンクに属さない部

おり，事例全体の最小確信度スコアを決定するための手法

分に O タグを付与する，IOB2 (Inside-Outside-Beginning)が必要である．以下では，本研究で使用する各スコア決定

方式によってラベリングを行う．図 3 に示す例では，B タ

手法について取り上げる．各手法が事例全体の最小確信度

グの付与された「や」と I タグの付与された「す」の部分

スコアを決定する過程を図 4 に示す．

がまとめて一つの言い淀みチャンク「やす」として検出さ事例内平均値による最小確信度スコアれている．

この手法では，トークン毎の最小確信度スコアを平均したものが事例全体の最小確信度スコアとなる．平均

4.2 能動学習モデルを取ることによって事例全体の混乱度合いを見ること

能動学習では，4.1 節で作成したモデルに対して，検出ができ，外れ値的な 1 トークンに事例全体のスコア決対象となる特化データ内の発話の中から小規模な事例を選定を左右されない．したがって，事例全体を満遍なく出して能動学習用データとし，特定の 1 対話に特化する学考慮するという側面では，対話中にある大きな傾向を習を行う．この際，通常テストデータの正解ラベルを知る

学習するという本論文での目的に近い選出を期待されことはできないため，人間のアノテータに選出したデータる点が，平均値手法の利点である．

を提示し，付与されたアノテーションを正解ラベルとして使用する．
能動学習ではアノテータを経由してラベリングを行うた

事例内最小値による最小確信度スコア
この手法では，各トークンの中で最も小さい最小確信度スコアが事例全体の最小確信度スコアとなる．このめ，アノテータの作業コストの観点から提示する事例群は手法による最小確信度スコアを基に選ばれる事例は，可能な限り小規模となることが望ましい．また，小規模な「事例全体で最も確信度の高いトークン」の確信度がデータでモデルの学習を行う観点では，各事例が「検出対最も小さい事例である．したがって，事例全体で最も象に特化する学習」のためにより効率的なものであること混乱している事例を選ぶことができる．平均値を取っが望ましい．このような条件を満たす，「良質な」能動学

た場合，トークン長の短い文ほど各トークンが最小確

習用データを選出する戦略は多岐にわたる．ランダムサン

信度スコアに与える影響は大きくなる．トークン長にプリング，不確実性サンプリングなどが基本的な戦略群でよって最小確信度スコアの決定にギャップが存在する

ある．

ことは好ましくないが，本論文で扱う対話文では，短不確実性サンプリングは，機械学習モデルが推測に悩んい発話も多く存在している．トークン長による影響なだ際の予測確率の混乱に着目しており，「モデルがデータ内

く事例全体での混乱度を測ることが可能な点が，最小で最も推測を困難としている事例が最も効率的な訓練デー

値手法の利点である．

タである」という考え方による戦略である．本論文で用い事例内最大値による最小確信度スコアるのは不確実性サンプリングの中でも一般的な，最小確信

この手法では，各トークンの中で最も大きい最小確信

度 (Least Conﬁdence) に基づく選出法である．予測毎の最度スコアが事例全体の最小確信度スコアとなる．この小確信度スコアは，モデルの出力ベクトルを p として式 1

手法により選ばれる事例は，「最もモデルが混乱していで表され，100 ％の確信度 (1.00) とモデルが推測したラベ

るトークンの確信度を事例全体の最小確信度スコアに

c 2023 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

図 5

データ分割の概要．特化データは未知データを除いたデータ
セット内のある 1 対話で，残りをファインチューニング用訓

図 4

各手法で事例全体の最小確信度スコアを決定する過程の例．同

練データとしている．能動学習用訓練データが選出されるほどじ事例に対しても，どの値を採用するかによって事例全体の最評価データの総量は少なくなることに注意．

小確信度スコアは大きく変動する．

利用する．本論文のタスクである言い淀み検出では，

手法

言い淀み部分以外はチャンク外となるため，事例中のベースライン

大部分のトークンが O タグと判定される．このようランダムなチャンク外のラベルは基本的にモデルの確信度も大きくなるため，O タグを含むほとんどの事例では平均

表 4 本実験で使用するモデル一覧．
モデル名
能動学習用データの選出

不確実性

値・最小値ともに O タグの確信度に大きく左右されてBaseなし (ファインチューニングのみ)

Random

ランダム選出LCAve

最小確信度スコア [事例内平均値]

LCM in

最小確信度スコア [事例内最小値]

LCM ax

最小確信度スコア [事例内最大値]

しまう．これにより，トークン長の長い文に存在するきることに等しい．このような状態では，ベースモデルとB タグや I タグなど，タスクに関わるラベルの誤りの提案手法モデルの比較は対等な条件とは言いがたい．したように重要な事例が見逃されてしまう可能性がある．

がって，特化性能の評価に使用する評価データは特化デー

確実にモデルが最も予測困難なトークンを含む事例をタ内の全事例中でどの提案手法モデルからも能動学習用訓取り出せる点が，最大値手法の利点である．

練データとして選出されなかった事例のみで構成される．

5. 実験

5.2 実験設定

本節では，提案手法の有効性を確認するために行った実ベースラインには，ファインチューニングのみを行った験に関する設定や結果・考察について述べる．実験では，言い淀み検出モデルにあたるモデル Base を使用する．提能動学習を行ったモデルに関する比較検証を行う．また，

案手法モデルとしては能動学習モデルの中から，選出法に

4.2 節で論じた能動学習における各種選出手法の有効性によってランダムサンプリングから Random を，不確実性サ

ついても調査する．

ンプリングから LCAve ，LCM in ，LCM ax の 3 モデルを使用する．各提案手法モデルでは，能動学習時に特化データ

5.1 データ分割についての中から対応する選出手法によって選出された 5 事例を追本論文におけるモデルの性能評価にあたっては，「検出の加の訓練データとして学習を行う．本来能動学習ではアノ対象とするデータに対してどれだけ特化できたか」を特化

テータを通じて正解ラベルを得るが，本論文では擬似的な性能として評価するが，加えて「未知のデータに対する汎アノテーションラベルデータとして，選出されたデータに化性能をどこまで維持できたか」を汎化性能として評価す

対応する正解ラベルデータを与えている．使用するモデル

る．これは，検出対象に特化させる過程で過学習に至り，は表 4 の通りである．なお，訓練時のエポック数は，ファモデルの言い淀み検出モデルとしての性能が悪化していな

インチューニング時は 15 エポック，能動学習時は 3 エポッ

いかを調べるためである．

クとした．評価指標には Precision，Recall，F 値を使用す

本論文におけるデータ分割の概要を図 5 に示す．対話る．また，結果では特化データによる結果のブレを均す目

データ全 58 対話をファインチューニングに用いる訓練デー

的で特化データ 1 対話の選び方によって 8 回実験を行い，

タ 39 対話，提案手法による特化の対象となる特化データ

各指標の 8 回分の平均によって評価する．

1 対話，どちらにも含まれない未知データ 18 対話に分割する．

5.3 実験結果

能動学習を行う各モデルでは，学習にあたって特化デー

実験結果を表 5 に示す．能動学習を使用する各モデル

タから 5 事例を選出して追加の訓練データとして学習す

は，LCM ax を除いてベースモデルである Base を上回る Fる．したがって，提案手法モデル群が選出するこれらの事

値を評価・未知データの双方において示している．これに例が特化性能評価の際に含まれることは，各提案手法モデ

より提案手法である能動学習による特化の有効性が確認でルが自身で選出した 5 事例の系列についてすべて正解できた．今回の実験結果では汎化性能を評価する未知データ

c 2023 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report
表 5

各モデルによる言い淀み検出実験結果．指標毎の最高値を太字

表 6 各モデルにおける能動学習用訓練データの実例．
モデル
平均トークン長で，2 番目に高い値を下線付きで示している．
特化性能
汎化性能
モデル
Pre.
Rec.
F1
Pre.
Rec.
F1

Random

Base

0.250

0.677

0.351

0.235

0.722

0.351

それを聞かれるとやだなと思ってたの実はRandom

0.593

0.513

0.509

0.559

0.544

0.514

自分で思う訳ですよ

LCAve

0.567

0.464

0.491

0.459

0.482

0.440

LCM in

0.259

0.653

0.359

0.241

0.703

0.355

モデル

LCM ax

0.316

0.290

0.230

0.385

0.317

0.218

LCAve

7.925
発話例

平均トークン長5.85
発話例

においても精度の向上が見込めていることから，特化を行いながらも過適合は抑えられていると考えられる．
一方で，サンプリング手法間での比較を行うと，ランダ
ムサンプリングのモデルが最も高い精度を示しており，次(D は) はいあはい
モデル

平均トークン長LCM in20.575

点に平均値による最小確信度を用いた不確実性サンプリン

発話例

グ (以降，平均値手法) のモデルが続いている．結果からは

本当に (D にん) うーんあんまり好きじゃないんですね

不確実性サンプリングはランダムサンプリングより良い発

どうして嫌いなの甘いもの何が嫌なの話を選出できていなかったと考えられる．
実際に選出された発話を確認すると，表 6 に示すように

モデル

不確実性サンプリングにより選ばれる発話は，最小値手法

LCM axを除き発話長が極端に短い傾向があった．発話長の短い発話を選出しやすい平均値手法のみならず，トークン長に依平均トークン長

2.25
発話例

はい
うんん

らない最大値手法においても発話長の短い発話を選んでいた．これは，最小確信度スコアが上位 5 位であるトーク
ンは短い発話中の事例であったことを意味している．つまを表 4 のモデル群に加えて，同一の実験設定で再度実験をり，周囲の文脈情報を活用することができる BERT モデル行った．

においては，文脈情報の乏しい短い発話こそが最もモデル

実験結果を表 7 に示す．5.3 節と同じく，最高精度は閾値にとって推測困難な事例であると考察できる．不確実性サ無しランダムサンプリング手法の Random となった．閾

ンプリング手法はモデルが混乱する事例を選出するが，発値付きのモデルは最小値・最大値手法においては閾値無し

話長の短い発話はそもそも文脈情報が乏しいことに原因がの同手法モデルを上回ったが，ランダム・平均値手法ではある．したがって，このような事例を選出しても言い淀み

逆に精度が悪化した．

検出や対話内の局所的傾向に関する有効な情報を得ることは難しかったと考えられる．

6. 追加実験

全体的な傾向として，閾値付きモデルは Recall が高くなる傾向にあった．これは，ある程度長い発話の中から難しい事例を選出した結果，「ある程度長い発話には言い淀みが存在する」という仮定を持って言い淀み判定が過剰になっ

本節では，5 節の実験とその結果を受けて，提案手法に関た可能性が考えられる．5.3 節の実験において選出発話のする考察を深めるために行った追加実験について述べる．

平均文長が最も長かった LCM in が Recall で高い値を示していたことも，この考察を支持している．文脈情報に富ん

6.1 閾値付きサンプリング手法による能動学習
5.3 節で述べたとおり，多くの不確実性サンプリング手

だ，モデルにとって得意な事例であるだけでは，特定対話の局所的傾向を学習するには不十分だったと考えられる．

法は発話長の短い発話を選出しており，またその原因は

BERT が極端に短い入力を不得手とするためであると考6.2 他コーパスの対話への特化えられる．そこで，本実験では各選出手法にトークン長のここまでの実験では，使用データは特化データから未閾値を加えた手法を作成し，モデルにとって得意な事例で知データまですべて CSJ 内の対話データを使用していた．

あるという前提を置いた能動学習での効果を検証する．閾

しかし，システムを実際に運用する際はファインチューニ

値を越えるトークン長の事例内から，ランダムおよび不確ングに使用したデータセットとは属性の異なる対話が特化

実性の各手法に基づく選出を行ったモデル RandomLong ，データとして入力されることもあり得る．そこで，本実験

LCAveLong ，LCM inLong ，LCM axLong を作成する．本実験

では他の対話コーパス内の対話に対する特化を行い，能動では閾値を 5 トークンに設定し，これらの閾値付きモデル

学習の特化性能がコーパス間の大きなギャップを埋められ

c 2023 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report
表 7

表 8

閾値付きモデルを加えた言い淀み検出実験結果．指標毎の最高値を太字で示している．
特化性能
汎化性能
モデル
Pre.
Rec.
F1
Pre.
Rec.
F1

Base

0.232

0.663

0.329

0.235

0.722

0.351

Random

0.532

0.494

0.464

0.547

0.560

0.517

RandomLong

0.258

0.621

0.350

0.256

0.702

0.371

LCAve

0.529

0.447

0.453

0.588

0.499

0.451

LCAveLong

0.225

0.664

0.318

0.228

0.728

0.343

LCM in

0.222

0.630

0.321

0.233

0.706

0.348

LCM inLong

0.250

0.646

0.350

0.248

0.703

0.364

LCM ax

0.307

0.298

0.250

0.350

0.334

0.237

LCM axLong

0.236

0.655

0.333

0.240

0.715

0.356

Kyutech コーパス対話データの一例 (ただし，結合位置を明ファインチューニングや更なる能動学習用データを要する

示するために IPU 単位での区切りだった位置に/(スラッシュ)

可能性がある．

を付与している)．実在市外や店舗の話題では英字による置換がなされている．
発話(F まあ) うどんもありとは思う

7. おわりに
本論文では，話題や話し手の特性などの要因によって局

俺の中じゃバイキングはちょっと / ちょっとないかな

所的に変動する対話文の言い淀み検出を行った．能動学習

いやでもーどうでしょうの仕組みを利用した多段階の学習によって，対話単位に特(D 寿司) 寿司って他にないんですかね
もう、なんか結構ありそうな気がするんですよね

るか確認する．

Kyutech コーパス [17] は，複数人の話者によって行われる議論を収録したコーパスで，飲食店の誘致に関する議論など全 9 対話が映像，音声，書き起こしデータでそれぞれ収録されている．実際の書き起こしテキストデータの例を
表 8 に示す．例にも見られるように，書き起こしデータ内
では言い淀みのラベルも CSJ と同様の方式で付与されているため，同様の手順で入力データとして使用することができる．
実験では，ファインチューニング用の訓練データとして

CSJ から対話文 39 対話，特化データに Kyutech コーパスから 1 対話，未知データに Kyutech コーパスから 1 対話を使用する．使用モデルは 6.1 節と同様閾値付きモデルを含めた 9 モデル，評価は特化データの選び方によって 8 回実験を行い，8 回分の平均によって評価する．
実験結果を表 9 に示す．Random が最高精度となったが，全体的に改善幅は小さく，また数値的にも悪い結果となった．Base の精度からも分かるとおり，CSJ と Kyutech
コーパスの間には対話のスタイルや参加者の人数，話し方など様々な差があるため，一方で訓練されたモデルではもう一方の問題を解くことはできない．本実験では能動学習によって対話内の傾向を学習することでこのギャップが埋まることを期待していたが，多くのモデルでは学習に失敗しており，効果は不十分なものだったと言える．CSJ 対話
文同士ではこのようなギャップが比較的小さかったため，

5 件という超小規模なデータでも特化データに特化できた．
しかし，大きく性質の違うコーパスを扱う場合は，追加のc 2023 Information Processing Society of Japan⃝化した言い淀み検出手法を提案し，能動学習を行わないモデルとの比較検証によって提案手法の有効性を確認した．
また，能動学習においてアノテータに提示するデータの選
出手法についてもいくつかの手法を比較して論じた．
実験では，能動学習モデルに使用する事例の選出手法として，ランダムサンプリングと最小確信度に基づく不確実性サンプリングのみを使用した．しかし，能動学習における選出手法は多岐に渡り，異なる手法についても検証の余地があると考える．本論文の結果では，特定の恣意性がな
くランダムに選出するランダムサンプリングが最高精度を示していた．またモデルにとって解くのが難しい事例や，モデルが有効活用できる文脈情報を多く含んだ事例である
だけでは，必ずしも対話単位の傾向にリーチできていないことも示されている．したがって，ランダムサンプリングを発展させた，データ内の多様性を意識した手法こそが有効である可能性がある．
一方で，能動学習用訓練データとして選出する事例数については課題が存在する．異なる選出手法を同時に比較する場合，本論文の実験で行ったような，各能動学習用訓練
データとの重複を避けたテストデータの作成が必要となる．しかし，特化データから複数の手法が訓練データを選出するほど，テストデータのサイズは小さくなってしまう．
本論文では，能動学習を用いる手法を最大 8 手法同時に実験した．実際に選出された事例は必ずしも言い淀みを含んでいなかったが，もし選出される事例がすべて言い淀みを含む事例であったならば，各手法が重複なく 5 事例ずつ選出した場合 40 事例の有効なテストデータが消滅してしまう．これは今回使用したデータセットにおける 1 対話あたりの平均言い淀み事例数である 37 事例を上回るものであ7情報処理学会研究報告
IPSJ SIG Technical Report
表 9

Kyutech コーパスでの言い淀み検出実験結果．指標毎の最高値を太字で示している．
特化性能
汎化性能
モデル
Pre.
Rec.
F1
Pre.
Rec.
F1
Base

0.053

0.340

0.087

0.085

0.398

0.140

Random

0.311

0.098

0.115

0.426

0.198

0.219

RandomLong

0.067

0.270

0.099

0.109

0.337

0.163

LCAve

0.125

0.004

0.007

0.625

0.017

0.032

LCAveLong

0.057

0.270

0.087

0.114

0.336

0.163

LCM in

0.054

0.278

0.089

0.099

0.341

0.152

LCM inLong

0.054

0.286

0.089

0.101

0.351

0.155

LCM ax

0.000

0.000

0.000

0.250

0.002

0.005

LCM axLong

0.059

0.260

0.090

0.116

0.312

0.162

る．したがって，多くの選出法を並列で実験する場合や，各手法で選出する事例数を増やす場合は十分に言い淀み事
例を含んだ対話データを特化データとすることが重要であ[9]ると考える．

謝辞[10]

本研究は科研費 23K11368 の一部です．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

Christine Nakatani and Julia Hirschberg. A speech-ﬁrst
model for repair detection and correction. In Proceedings of the 31st Annual Meeting of the Association for
Computational Linguistics, pages 46–53, 1993.
尾嶋憲治, 河原達也, 秋田祐哉, and 内元清貴. 話し言葉の整形作業における削除箇所の自動同定. 情報処理学会研究報告自然言語処理 (NL), 185:85–91, 2008.
Tomohiro Tanaka, Ryo Masumura, Takafumi Moriya,
Takanobu Oba, and Yushi Aono. Disﬂuency detection
based on speech-aware token-by-token sequence labelingwith blstm-crfs and attention mechanisms. In Proceedings of the 2019 Asia-Paciﬁc Signal and Information
Processing Association Annual Summit and Conference(APSIPA ASC), pages 1009–1013, 2019.
Johann C. Rocholl, Vicky Zayats, Daniel D. Walker,
Noah B. Murad, Aaron Schneider, and Daniel J.
Liebling. Disﬂuency Detection with Unlabeled Dataand Small BERT Models. In Proceedings of Interspeech2021, pages 766–770, 2021.
Morteza Rohanian and Julian Hough.
Best ofboth worlds: Making high accuracy non-incremental
transformer-based disﬂuency detection incremental. In
Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 3693–3703,
2021.
Hiroto Nakashima and Kazutaka Shimada. Disﬂuency
detection with context information from real utterancesand generative utterances. In 2023 14th IIAI International Congress on Advanced Applied Informatics(IIAI-AAI), pages 462–467. IEEE, 2023.
Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,
Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog,
1(8):9, 2019.
Yanyao Shen, Hyokun Yun, Zachary C. Lipton, Yakovc 2023 Information Processing Society of Japan
⃝

[11]

[12]

[13]

[14]

[15]
[16]

[17]

Kronrod, and Animashree Anandkumar. Deep active
learning for named entity recognition, 2017.
H. S. Seung, M. Opper, and H. Sompolinsky. Query bycommittee. In Proceedings of the ﬁfth annual workshop
on Computational learning theory, COLT92. ACM, July
1992.
Gabriel Corvino, Vitor Vasconcelos Oliveira, Angelo C.
Mendes da Silva, and Ricardo Marcondes Marcacini.
On the use of query by committee for human-in-theloop named entity recognition. In Anais do X Symposium on Knowledge Discovery, Mining and Learning(KDMiLe 2022), KDMiLe 2022. Sociedade Brasileira deComputação - SBC, November 2022.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly
optimized bert pretraining approach. arXiv preprint
arXiv:1907.11692, 2019.
Victor Sanh, Lysandre Debut, Julien Chaumond, andThomas Wolf. Distilbert, a distilled version of bert:
smaller, faster, cheaper and lighter, 2019.
Jan-Christoph Klie, Richard Eckart de Castilho, andIryna Gurevych. From zero to hero: Human-in-the-loop
entity linking in low resource domains. In Proceedings of
the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020.
Ankit Agrawal, Sarsij Tripathi, and Manu Vardhan. Active learning approach using a modiﬁed least conﬁdence
sampling strategy for named entity recognition. Progressin Artiﬁcial Intelligence, 10(2):113–128, January 2021.
前川喜久雄. 『日本語話し言葉コーパス』 の概要. 日本語
科学, 15:111–133, 2004.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, Volume 1, pages 4171–4186, 2019.
Takashi Yamamura, Kazutaka Shimada, and Shintaro
Kawahara. The Kyutech corpus and topic segmentation
using a combined method. In Proceedings of the 12th
Workshop on Asian Language Resources (ALR12),
pages 95–104, 2016.

8