DEIM Forum 2014 C6-3

単語の出現度合いを考慮した質問文マルチタスク分類
徳永 陽子†

数原 良彦†

戸田 浩之†

鷲崎誠司†† 日本電信電話株式会社 NTT サービスエボリューション研究所 〒 239–0847 神奈川県横須賀市光の丘 1 番 1 号
E-mail: †{tokunaga.youko,suhara.yoshihiko,toda.hiroyuki,suzaki.seiji}@lab.ntt.co.jp
あらまし

音声によって入力された質問文に対して回答を返す検索サービスでは，カテゴリごとに用意されたデータ

ベースを用いた検索方式が取り入れられている．検索の際には，予め質問文がどのカテゴリに関するものなのかを判定することで，検索対象とするデータベースを絞ることが出来，回答精度を向上することができる．本研究では，まず，約 45,000 文の質問文の分析を行い，単一のカテゴリのみに出現する頻度が高い単語を含む質問文とそうでない質問文が含まれていることがわかった．そこで，後者のような質問文についてカテゴリを判定する課題を，教師あり学習を用いたマルチクラス分類問題として解く．質問文は短文である場合が多く，単語の出現を特徴とする方法では分類性能に限界がある．そこで本稿では，全クラスにおける単語の出現度合いを数値化した拡張特徴表現を提案し，これを用いることで分類性能を向上し，高精度なカテゴリ判定を実現する．
キーワード

音声対話エージェント，マルチクラス分類，教師あり学習

1. ま え が き答となる部分を抜粋し回答文を生成する．本研究では１つ目のステップのデータベース検索の部分に注目する．

近年，スマートフォンやタブレット端末の普及とともに，ユー

音声対話エージェントでは，施設検索，レシピ検索，画像検ザが知りたい内容について音声で入力して情報を得るような索など，様々なカテゴリに関する質問文の入力を全て１つのイ

音声入力による検索サービスが普及している．ユーザが音声

ンタフェースから受け付けている．そのため，音声対話エージェで入力した質問に対して回答を提示するようなサービスを音

ントはユーザの入力に応じて，回答文を生成する情報が格納さ

声対話エージェントと呼ぶ．音声対話エージェントは，従来のれたデータベースを選択する必要がある．そこで，質問文が入キー入力を敬遠していた情報リテラシの低い高齢者や，運転中力された際にまず質問文のカテゴリを判定し，そのカテゴリのなどキー入力が不可能な状況で情報を得たいユーザに有効でデータベースを選ぶことで回答精度の向上につながる．我々は，あり，今後益々利用者が増えると推測される．本研究では音声

質問文のカテゴリ判定の精度向上について検討する．

対話エージェントの品質向上に取り組む．音声対話エージェン

本研究では，最初に，音声対話エージェントを想定して生成トのサービス例としては，NTT ドコモのしゃべってコンシェ

した質問文約 45,000 件について傾向を分析し，カテゴリに分ル（注 1）や Siri（注 2）などが挙げられる．

ける特徴となる要素が質問文にどれほど含まれているかを検証

音声対話エージェントでは，入力された音声データをテキスした．その結果，多くの質問文については一定以上の確率で単トデータに変換し，それに基づいてクエリを生成して検索エン一カテゴリのみに出現する単語が含まれており，容易にカテゴ

ジンに問い合わせる．次に，検索エンジンから得られた結果かリを判定できることがわかった．一方，一部の質問文についてら回答として出力する文等を生成し，画面表示または音声に変はいくつか特徴を持つ単語が出現しているものの，質問文全体換してユーザに提示する．入力された音声データをテキストでは特徴が表れにくく分類が難しいことがわかった．

データに変換したものを質問文と呼び，ユーザに提示するため

そこで，一定以上の確率で単一カテゴリのみに出現する単語に検索結果から得られた回答に基づきシステムが生成した文をを含まない質問文について，分類候補となるカテゴリをクラ

回答文と呼ぶ．

スと捉え，マルチクラス分類の問題として解く．この問題に対音声対話エージェントにおいて回答を得るための検索方法とし，正解クラスのラベルを付与した学習データを使って教師あしては，予め用意されたデータベースから探す方法が広く取りり学習で予測モデルを作り，未知の質問文のクラスを予測する入れられている．この検索方法は，大きく 3 段階に分かれてい機械学習のアプローチで取り組む．質問文を始めとする様々なる．１つ目のステップでは，質問文について問い合わせるデー

文書分類において，各質問文の単語の unigram を特徴とする

タベースを判定する．次に，質問文からキーワードを抽出し，bag-of-words を特徴として学習する手法が多く取り入れられてデータベースに問い合わせる検索式を生成する．最後に，生成きた．しかし，このような質問文については，bag-of-words をした検索式による検索結果から，該当するレコードの中から回特徴として生成した予測モデルでは分類誤りが発生する可能性がある．

（注 1）：https://www.nttdocomo.co.jp/service/information/shabette_

本研究では，文中に含まれる各単語がどのような特徴を持つ

concier/

単語であるかという観点から，各単語とそれぞれのクラスと（注 2）：http://www.apple.com/jp/ios/siri/の関連の強さの分布を用いた特徴抽出手法を提案する．また，

bag-of-words を特徴とした予測モデルと提案手法を用いて抽出

含まれている可能性があり，これらを学習に用いることで元のした特徴を用いた予測モデルを比較し，有効性を検証する，特クエリのカテゴリを推定することができる．質問文でも同様に，に学習に用いる質問文データ数が少ない場合に，bag-of-words

質問文と回答文のペアを用いて，回答文に含まれる単語や，そを特徴とする手法に比べて高精度に分類可能であることを示す．

の単語に関連するウェブ上の文書などを学習に用いてカテゴリ

本研究の貢献は以下の 2 点である．

を推定できる可能性がある．しかし，分類の候補となる全カテ•

質問文データを分析し，各カテゴリに出現する単語の頻

ゴリについて，このようなペアのデータを大量に用意するには度分布を分析することで，特定の単語を含む文は特定のカテゴ

コストがかかる．よって，本研究では，回答文を用いることな

リに属するというルールを予め作って分類できるものと，そうく質問文のカテゴリを推定する手法を検討する．

でないものが存在することがわかり，これらを判別する方法に関する知見を得た．

•

Qu ら [6] は，QA のカテゴリ分類において単語の出現を特徴とした bag-of-words と n-gram を特徴とし，Naive Bayes，

単語のカテゴリ別の出現頻度を考慮する特徴抽出手法をMaximum Entropy，Support Vector Machines(SVM) の 3 種

提案し，ルールを用いた判別が難しい質問文に対して有用であ類の分類器を用いた場合の比較を行っている．これによると，ることを確認した．また，学習データが少ない場合でも高い精学習・推定それぞれに必要な時間，分類精度を合わせて総合的度で分類できることがわかった．

に考えると，SVM が最も実用的であると結論づけている．ま以下，本稿の構成を述べる．2 章では，関連研究と本研究のた，Aikawa ら [1] は，コミュニティー型の QA サイトの投稿に位置づけについて述べる．3 章では，質問文データの傾向を分おける質問文のカテゴリ推定を行っている．QA の質問は自然析した結果について説明する．4 章では，質問文の特徴抽出手文で検索要求が表されており，音声対話エージェントでの質問

法の提案を行い，５章では提案手法の評価実験の方法と結果に文にも類似したものが含まれていることから，類似した特徴をついて述べる．6 章では実験で得られた知見について述べ，7持っているものも多いと考えられる．一方，音声対話エージェ章でこれらをまとめる．

ントの場合，タブレットやスマートフォンを用いて質問をする

2. 関 連 研 究
これまでも，機械学習を用いたテキスト分類に関する研究が進められてきた．

ため，「音楽を聞く」「写真を見せて」というような端末内にあるデータベースからの検索を支持するものも含まれている．しかし，QA サイトでは端末内のデータに関する操作を要求する
質問はほとんどない．また，外出先での質問や，天気や放送中

Sebastiani ら [8] の調査によると，テキストに出現する単語のテレビ番組情報に関する質問など，現在の時間と場所に依存

に対し，出現頻度に基づいた重要度を付与したものを特徴としした質問文が入力されることも多い．このような質問文には，て，機械学習を用いて分類することで，テキストのカテゴリを

時間を表す際に特定の日時を表現せず，「今」「これからの」と精度高く推定することができる．この中では，マルチクラス分

いった表現が用いられたり，場所を表す際に「近所の」「この類の場合にも機械学習を用いた分類が利用可能であると述べらあたりの」というような現在地からの相対的な表現が用いられれている．

たりすることも多い．QA サイトにおける質問では，回答者か質問文は，一般の文書と比較するとテキストの長さが短い場

ら適切な情報を得るために，調べたい時間や場所の情報は具体

合が多く，出現する単語も多くはないため，抽出できる特徴が的に説明されることが多い．このように，音声対話エージェン

少ないと考えられる．そこで，予測モデルを生成する学習の際

トの質問文には QA の質問文と性質が異なるものも多く含まれに用いる特徴を工夫する必要がある．質問文のように短い文書ている．そのため，QA サイトでの質問のカテゴリ分類手法は，の分類としては，Sriram ら [9] や Rao ら [7] がマイクロブログ

そのままでは適応できないと考えられる．

のカテゴリ分類手法を提案している．ここでは，ユーザが登録している居住地などの属性情報や，マーク付きのメンションや

3. 質問文の分析

リツイートなど，ツイッター独自の特徴を用いている．しかし，本章では，音声対話エージェントの質問文の分析して得た知音声入力による検索サービスの質問文はツイッターとは性質が見を述べる．本研究で用いた質問文は，作成者 200 人が，音声異なり，このような情報が付加されていないため，適用不可能

入力による検索サービスを想定し，カテゴリ別に調べたいことである．

を問い合わせる文を一人あたり 300 個作成したものである．そまた，質問文のようにユーザの検索要求を表したテキストのこから重複，誤字，カテゴリ誤り等を除いたものを質問文デー

カテゴリ推定手法も多く提案されている．Li ら [5] や Cao ら [2]，タと呼び，これを利用する．質問は 1 文のみの自然文か単語のZhou ら [10] は，一般の検索エンジンに入力されたクエリをカ羅列とする．作成する質問文のカテゴリは，日常で検索する機

テゴリに分類するために，クリックログやクリックスルーログ

会が多いと思われるものを 15 種類選んで用いた．質問文のカを用いて，ユーザが閲覧した文書の情報を利用した手法を提案

テゴリと作成数を表 1 に示す．

している．また，Kang ら [4] はクエリのカテゴリ分類に文書の作成者には，質問文が考えやすいように，例えばレシピカテ

URL やリンク情報を用いた手法を提案している．検索結果にゴリについてはクックパッド（注 3）といったように，各カテゴリ提示される文書やユーザがクリックした文書には文字数の多い文書も含まれており，クエリのカテゴリに関する情報が豊富に（注 3）：http://cookpad.com/

のデータベースに対応した商用の専門検索サービスの例を示カテゴリした．また，カテゴリによっては，調べる際に指定できる検索

画像

1103

条件のパターンが多い．例えばレシピカテゴリの場合は，料理

動画

1054

245

名，材料，カロリー，時間など，ショッピングカテゴリの場合

音楽

2086

1198

は，商品の名前，値段，商品ジャンル，購入目的などの様々な

天気

731

58

レシピ

6158

1297

求人

1915

351

習い事・資格2122

279

ショッピング

6335

2427

条件に含むレシピの質問文」，「材料を検索条件に含むレシピの

テレビ

6938

1561

質問文」というように必ず含むべき検索条件とカテゴリの組み

イベント

5078

1156

合わせを設定し，その組み合わせ毎に一定件数以上の質問文を施設・店舗検索1693

270

作成するよう指定した．

交通路線・ルート検索

2955

486

銀行・ATM

1078

102

コンビニ

1086

148

検索条件があり，この組み合わせも考えられるため，聞き方のバリエーションが多いと考えられる．そのため，作成する質問
文の検索条件にばらつきが出るように，例えば「料理名を検索

これにより，質問文の検索条件の種類が多いカテゴリは作成する質問文も増えるため，バリエーションが多いカテゴリについては質問文の数が他のカテゴリより多くなっていることから，一般の音声対話エージェントに入力される質問文のバリエー

文書数 カテゴリ特徴語数

275

レストラン

4391

453

合計

44723

10306

表 1 質問文のカテゴリとデータ数

ション数に近いデータであると考えられる．
作成した質問文が含む全単語数は平均 7.8 個（標準偏差 9.3個），名詞・形容詞・動詞のみに限ると平均 4.2 個（標準偏差2.7 個）であり，質問文のカテゴリの特徴を表すことが期待される単語の数が少ないことがわかる．なお，形態素解析にはJTAG を用いた [3]．このため，bag-of-words では値を持つ特徴が少なく，質問文が持つ特徴の数が少なくなると考えられる．
次に，カテゴリ別に質問文を分析したところ，単一カテゴリ

!"#
$!#
%&#
'(#
)*+#
,-#
./0123#*45+67#8)9#:;6<#での出現回数の割合が大きい単語を含む質問文があることがわ=>1?@AB#

かった．例えば，“レシピ” という単語を含む質問文の 99%はCDEF1GH<AB#

レシピカテゴリの質問文である．また，“画像” という単語を含む質問文の 99%，“写真” という単語を含む質問文の 95%はIJ1-./#K69L#)M<N6#!"#

画像カテゴリの質問文である．このように，一定以上の確率で

O8PQRSTUV#

単一カテゴリのみに出現する単語をカテゴリ特徴語と呼ぶ．ここでは，単語 w が，全カテゴリの中で 1 つのカテゴリ C に出現する確率が 0.9 以上の場合，すなわち P (C|w) >= 0.9 である
場合に単語 w はカテゴリ C の特徴語とする．各カテゴリの質問文に含まれている特徴語の種類数を表 1 の右列に示す．質問
文データにおいて，カテゴリ特徴語を含む質問文の割合をカテ
ゴリ別に調べた結果を図 1 に示す．画像，音楽，テレビ，習い事・資格のカテゴリではカテゴリ特徴語を含む質問文が多い一
方，施設・店舗検索では半分以上が含まない質問文であることがわかる．このようなカテゴリ特徴語を含む質問文の場合，予め「単語 w が出現する質問文はカテゴリ C の質問文と判断する」という分類ルールを記述することで，高い精度で正しいカ
テゴリに分類することができる．
次に，カテゴリ特徴語を含まない質問文について，文中に含まれる各単語の特徴を調べた．例えば，「海が見える鎌倉のイタ
リアンは」という質問文について考える．この質問文に含まれている単語のうち，“海”，“見る”，“鎌倉”，“イタリアン” の4 つはカテゴリ特徴語ではないものの，ある程度カテゴリの特徴を表す単語であると考えられる．この 4 つの単語の全質問文
データにおけるカテゴリ別の出現割合を表したものを図 2 に示す．“イタリアン” はレストランカテゴリで出てくる割合が最も$!"# %!"# &!"# '!"# (!"# )!"# *!"# +!"# ,!"# $!!"#

図1

O8PQRSTWX#

カテゴリ特徴語を含む質問文の割合．

多く，全カテゴリ中ではレストランカテゴリと関わりが強い単語であると推測される．また，“海” もレストランカテゴリにおける出現割合が最も大きい．“見る” は２割程度がテレビカテゴ
リに出現しているが，“イタリアン”とレストランカテゴリほど強い関わりではない．“鎌倉” は，場所を表す単語であるため，場所と関わりがある施設・店舗検索やレストラン，天気，イベ
ント，交通路線・ルート検索などのカテゴリで出現しているが，特定のカテゴリとの強い関わりはない．よって，レストランカ
テゴリと関わりの強い “イタリアン” と “海” が出現していることから，この単語の出現を特徴とすることで，質問文を正しくレストランカテゴリに分類することができると考えられる．このように，カテゴリ特徴語が含まれていない質問文でも，カテゴリごとに出現する割合が比較的大きい単語が含まれている場
合もあり，この単語が出現するという特徴を用いることで，質問文自体の特徴を表すことができるものがある．
しかし，単語とカテゴリの関わりの強さを実世界における関
わりの強さに近似した値で表すためには，質問文とカテゴリの

GH(IEJKLMANO#'"#!

%5-6,#

布と呼ぶこととする．

78#%5-6,#./0! 9:;<0!
1234# =>-34#

9:;<0!
=>-34#

(""#!

*+,-#

本手法では，質問文中に出現したある単語について，その単語と各カテゴリとの単語特徴分布の値を全て用いて特徴ベ78#

クトルを構築する．従来のように bag-of-words を特徴とする%5-6,#

場合，ある単語 w が出現すると，対応する特徴の値を 1 とす./01234#&"#!

%5-6,#

る．ここで，単語 w の i 番目のカテゴリ Ci における単語特

*+,-#
(%)#
%"#!

徴分布を r(w, Ci ) と置く．ただし，カテゴリは全 |C| 種類と./01234#(%)#

し，i = 1, ..., |C| とする．本手法では，単語 w の出現に対して，

$!#
$!#

$"#!
!"#

*+,-#

!"#

"#!
?#

@A#

r(w, C1 ), ..., r(w, C|C| ) の |C| 種類の特徴を用いる．よって，質

%&'#
$!#
%&'#
!"#

BC#

問文中に単語が t 種類出現した場合，特徴ベクトルは (t × |C|)
個の要素が値を持つ．

*DEF,#

本稿では，単語特徴分布として，以下の３つの方法の利用を
図2

単語のカテゴリ別出現割合．

検討し，実験で有効性の評価を行う．

P (C|w):(!!"#

単語 w が全学習データ中の nw 個に出現し，そのうち kwC 個(5-6,#(5-6,#;<'=>?@ABCDE#

'!"#
$!#

(5-6,#(5-6,#

れは，単語 w が出現するときのカテゴリ C の条件付き確率を*+,-#./01234#
'()#

&!"#

*+,-#
$!#

%!"#

'()#
%&#
$!#

*+,-#
'()#
%&#
$!#

!"#

!"#

!"#

表す．

*+,-#

P (w|C):'()#

学習データにおいて，カテゴリ C の質問文が iC 個あり，そ
%&#

$!#

!"#
$!"#

がカテゴリ C の質問文である場合，P (C|w) = kwC /nw ．このうち kwC 個に単語 w が出現する場合，P (w|C) = kwC /iC ．
これは，カテゴリ C である質問文の単語 w の条件付き確率を

!"#

表す．
!"#
$$%!#

%%'!#

&)$!#

'*&!#

789:#

FGCHIJK#

図 3 “海” の出現カテゴリ割合と用いるデータ数の関係．

ペアが大量に必要となる．質問文の分類候補となるカテゴリが増えるほど必要なデータ数は増え，データ作成に膨大なコストがかかる．例えば，“海” について，各カテゴリとの関わりの計算に用いる質問文数を変えて出現割合を求めた．質問文数と出現割合の関係を図 3 に示す．質問文数が 2240 個のとき，“海”
は画像カテゴリと動画カテゴリでのみ出現しており，レストラ
ンカテゴリとの関わりはない．また，4480 個に増やしても，レストランカテゴリよりも画像カテゴリで多く出現しており，画像カテゴリとの関わりの方が強いことがわかる．よって，カテ
ゴリのラベルが付いた質問文数が少ない場合には，レストラン
カテゴリとの関わりの強さを表す特徴が少なくなり，質問文を誤ったカテゴリに分類してしまう可能性がある．
このことから，少量の質問文データしか用いることができな
い場合，本来の単語とカテゴリの関わりの強さを正確に表すことができない可能性がある．このような場合，文中に出現する
単語と関わりの強い特定のカテゴリのみを考慮すると判定を誤ってしまう可能性が考えられる．

4. 単語の出現度合いを考慮した質問文分類
本章では，単語の各カテゴリでの出現度合いを表す特徴を用いることで，単語の特徴を考慮した予測モデルの生成を目指す．
単語の各カテゴリにおける出現度合いを表す特徴を単語特徴分

qT F IDF (w, C):
学習データにおいて，カテゴリ C の質問文のうち kwC 個に単語 w 出現する場合，qT F = kwC とする．また，学習データ数 N 個のうち w が出現する質問文数が nw 個ある場合，

qDF = log(nw /N ) とする．このとき，qT F IDF = qT F/qDFと表す．これは，カテゴリ C の質問文のうち，w を含む質問文
数を T F ，全質問データにおいて w を含む質問文数を DF とした時の T F IDF の値と同じ性質の値であり，そのカテゴリに特化して出現する単語では値が高くなる．

5. 評 価 実 験
本章では，提案手法の評価手法とその結果について述べる．
まず，前章で挙げた単語特徴分布の 3 つの計算方法のうち，最適な方法を検証する（実験 1）．次に，bag-of-words と単語特
徴分布を特徴とした場合の予測モデルによる分類精度を比較す
る（実験 2）．

5. 1 実験 1: 単語特徴分布に用いる値による分類精度の比較
4 章で述べた 3 種類の単語特徴分布を特徴とした予測モデルを生成し，分類精度を比較する．まず，全質問文データを半分に分け，その片方についてカテゴリ特徴語を含む質問文は除外
し，テストデータとした．これは，3 章で述べたように，カテゴリ特徴語を用いた分類のルールを定めることでカテゴリを推定可能な質問文は対象外とするためである．カテゴリ特徴語を含む質問文を除外すると，テストデータは 2359 個となった．
データの内訳を表 2 に示す．
分類器には SVM を用いた．マルチクラス分類にはペアワイ

カテゴリ

文書数

画像

11

動画

31

音楽

39

!"*$

天気

40

レシピ

243

求人

39

習い事・資格31

ショッピング

237

テレビ

61

イベント

291

施設・店舗検索473

交通路線・ルート検索

163!"#$%&!"'&()*

!")$

!"($

!"'$

!"&$

!"%$

!"#$
!$

+!!!$

#!!!$

%!!!$

&!!!$

-./012031456$

銀行・ATM

77

コンビニ

120

レストラン

503

合計

2359

'!!!$

(!!!$

)!!!$

*!!!$

,!!!$

+!!!!$+,-./0*123456*

図 4 学習に用いる質問文数と分類精度の関係．

数の 223 個から 1%ずつ質問文を増やす毎に予測モデルを生成

表 2 テストデータの正解カテゴリ．

し，テストデータの分類を行った．事前に単語特徴分布を求める際には，学習データに含まれる質問文のみを利用することとP (C|w) P (w|C) qT F IDF

表3

平均適合率

0.760

0.699

0.703

平均再現率

0.725

0.589

0.586

平均 F1 値

0.733

0.608

0.607

単語特徴分布として用いる値による分類精度の違い．

し，学習データを増やす毎に単語特徴分布を計算して値を更新して用いる．テストデータは，前節と同様に，全質問文データの半分からクラス特徴語を除いた 2359 個とし，これをベース
ラインと提案手法による予測モデルで分類した．実験条件は5.1 と同じである．評価指標には，カテゴリ別の F1 値のマクロズ法を用いた．実装には LIBSVM（注 4）を利用し，実験では RBF
カーネルを用いた．トレードオフパラメータ C の選択には，学習データにおいて 5 分割交差検定を行い，正解率が最大のものを選択した．
質問文データが少ない場合を想定し，モデルの生成に用いる学習データは残り半分のデータのうち 20%の 4459 件とした．
学習データは，全質問文データと同じ割合で各カテゴリの質問文を含むようにした．3 種類それぞれの方法で，学習データを用いて単語特徴分布を計算し，それを特徴とした予測モデルを用いてテストデータのカテゴリ分類を行った．評価指標は，カテゴリ別に適合率，再現率，F1 値を計算し，マクロ平均を取ったものである．
結果を表 3 に示す．P (C|w) を単語特徴分布の値としたとき，適合率・再現率ともに，最も高い数値を示した．このことから，例に挙げた３種類の単語特徴分布の値のうち，P (C|w) が最も適した値であることを確認した．

5. 2 実験 2: bag-of-words との比較
単語の unigram の出現を表した bag-of-words を特徴として学習した予測モデルをベースラインとし，提案手法である単語
特徴分布を特徴として学習した予測モデルの分類精度を比較した．提案手法では，前節で最も高い分類精度を示した P (C|w)
を単語特徴分布として利用する．また，ベースラインでは単語の出現をバイナリで表したものを特徴とする．
質問文データが少ない状況を想定し，学習データの数を減らした場合の分類精度の傾向を調べた．学習データ全体の 1%の平均を用いた．
全カテゴリでの F1 値の平均値の推移を図 4 に示す．学習デー
タ数が 223 個から 5000 個前後の間で，ベースラインを上回っている．その後は，学習データ数を増やしても F1 値はあまり変化せず，ベースラインと提案手法の間でもほとんど差がないように見える．学習データを 10000 個以上用いた場合，ベース
ラインによる予測モデルでのみ正しく分類できた質問文は 77個あったのに対し，提案手法による予測モデルのみで正しく分類できた質問文は 209 個あった．このことから，単語特徴分布
を用いた場合，学習データが最も少ない場合にベースラインより高い精度で分類出来たことがわかった．
次に，カテゴリ毎に比較し，特にベースラインと提案手法の間で違いが見られた 6 つのカテゴリについて図 5 に示す．天気カテゴリでは，学習データ数が 1000 個前後を除き，それ以降
から 6000 個を超えるまではベースラインを上回る結果となった．また，6000 個を超えたあたりから，ベースラインではデー
タ数が増えるたびに F1 値が上下に振れているが，提案手法では安定して高い値を示している．求人カテゴリでは，学習デー
タ数が最も少ない場合，ベースラインでは全てのテストデータ
で分類を誤り，適合率・再現率ともに 0 となったが，提案手法
では F1 値が 0.34 となり，精度は高くはないものの正しいカテゴリに分類できた質問文があることがわかる．ベースラインでF1 値が 0.34 を超えるためには，1344 個以上のデータが必要であった．テレビカテゴリでは，ベースラインではデータ数を最少の 224 個から 3808 個まで増やす間に F1 値が 0.3 から 0.6 ま
で線形に上昇しているが，提案手法では 2016 個の時にすでに0.6 を超えており，データ数の増加とともに精度が急激に向上（注 4）：http://www.csie.ntu.edu.tw/~cjlin/libsvm/

+,"

-./"
"$

#%)$

#%)$

#%)$

#%($
#%'$
#%&$
#$

#%($

&###$

'###$

(###$

)###$

#%($

#%'$

#%'$

#%&$

#%&$

#$
#$

#$

"####$

#$

&###$

'###$

(###$

)###$

"####$

#$

'###$

(###$

#$%&'("#$%&'("<=4>?78!

012345&678!

.96:;!

"$

"$

#%)$

#%)$

#%)$

#%($
#%'$
#%&$

!"!"

"$

#%($
#%'$

#$
'###$

(###$

)###$

"####$"####$)###$"####$

#%($
#%'$

#$

#$
&###$

)###$

#%&$

#%&$

#$

&###$

#$%&'("

!"!"

!"!"

!"!"

"$

!"!"

!"!"

)*"
"$

#$

&###$

'###$

(###$

)###$

"####$#$%&'("#$%&'("

#$

&###$

'###$

(###$

#$%&'("*+,-./-0.123$$$$$$$$$$@ABCDEF"
図5

カテゴリ別の分類精度と学習データの質問文数の関係．

している．下の段の施設・店舗検索カテゴリ，交通路線・ルート

一方，画像カテゴリにおいては，ベースライン，提案手法と検索カテゴリ，レストランカテゴリでは，どれも曲線のカーブ

もに学習データの数を増やしても正しいカテゴリに分類するこはベースラインと提案手法で似ており，学習データを増やすととができなかった．他のカテゴリでも，学習データを最大限用同じ値に収束しているように見える．データ数が最も少ない時

いて予測モデルを生成しても誤ったカテゴリに分類されてしまに着目すると，提案手法の F1 値がベースラインを上回っておう質問文があった．このような質問文について分析した結果，り，施設・店舗検索カテゴリでは 0.18，交通路線・ルート検索

カテゴリを表していると考えられる特徴的な単語を含んでいてカテゴリでは 0.35，レストランカテゴリでは 0.19 の差がある．

も，その単語が学習データ中に一度も出現していないため，分

これらの結果から，学習データが少ない場合，単語特徴分布

類の際にその単語の出現を特徴として反映することができないを特徴とした予測モデルを生成することで，単語の出現のみをことが原因の多くを占めているとわかった．例えば，「泳ぐ子特徴とした場合よりも高い精度で分類できる可能性があること供がわかった．

リらしさを表していると捉えることができる．しかし，“イラ

6. 考

察

イラスト」という質問文では，“イラスト” が画像カテゴスト” を含む質問文は学習データに存在しないため，“泳ぐ” と“子供” の２つの単語からカテゴリを推定しなければならない．

個々の質問文において，正しいカテゴリに分類するために必このような特徴分布の偏りが，適切な分類を行う分類器の生成

要な学習データ数を比較した．3 章で例に挙げた，「海が見えるを妨げている．また，全質問文データにおいて，“泳ぐ”を含む

鎌倉のイタリアンは」という質問文を正しくレストランカテゴ

質問文は，画像カテゴリ 2 個と動画カテゴリに 1 個の合計 3 個

リに分類するためには，ベースラインでは 2912 個以上の学習しか出現していない．このデータから単語特徴分布を求めると，データが必要だったが，提案手法では 448 個のみで達成するこ“泳ぐ” は画像カテゴリで高い値となるが，実世界においては画とができた．カテゴリを推定した質問文のうち 369 個の質問文

像カテゴリとそれほど関わりの強い単語であるとは考えにくい．

については，提案手法を用いることで，ベースラインを用いてこれらのことから，学習データ中に含まれない未知の単語や，正しく分類するのに必要な学習データ数の半分以下で分類する

出現する質問文が極端に少ない単語については，実世界に近似ことができた．このことから，単語特徴分布を用いることで，した単語特徴分布を計算することができず．分類に適した特徴

単語が最も多く出現するカテゴリとの関わりだけでなく，各カを付与することができない．また，質問文データをどれだけ膨

テゴリとどのくらい関わりがある単語であるかを十分に考慮す

大に用意しても，実世界に存在する全ての単語を網羅し，そのることができ，学習データ数が少なくても正しく分類すること

特徴分布を表すデータを作成することは困難である．そのため，ができたと考えられる．

入力された質問文に未知の単語や出現頻度が低い単語が含まれているような場合，質問文データだけでなく，その単語を含む
ウェブ文書や検索クエリログなど，外部のデータを分析することで，実世界に近似した単語特徴分布を求められる可能性があると考えている．

7. ま と め
本研究では，音声対話エージェントに入力される質問文のカ
テゴリを推定する方法について述べた．まず，質問文データを分析した結果，特定のカテゴリでの出現頻度が高い単語を含む
質問文とそうでない質問文に分かれることがわかった．後者のような質問文のカテゴリ分類は，教師あり学習によるマルチク
ラス分類の問題として捉え，質問文に含まれる各単語の全カテ
ゴリそれぞれにおける単語の出現度合いに基づいた単語特徴分
布を抽出し，これを特徴として学習に用いる方法を提案した．
評価実験を通して，特に学習データが少ない場合，単語特徴分布を特徴とした予測モデルは単語の出現のみを特徴とした場
合よりも高い精度で分類できることがわかった．今後は，学習データに出現しない未知の単語や，出現頻度が少ない単語の特徴を外部データを用いて補うことで，より分類精度の高い予測モデルの生成を目指す．
文

献[1] Naoyoshi Aikawa, Tetsuya Sakai, and Hayato Yamana.
Community qa question classification: Is the asker looking
for subjective answers or not? IPSJ Online Transactions,Vol. 4, pp. 160–168, 2011.
[2] Huanhuan Cao, Derek Hao Hu, Dou Shen, Daxin Jiang,
Jian-Tao Sun, Enhong Chen, and Qiang Yang. Contextaware query classification. In Proceedings of the 32Nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’09, pp. 3–10,
2009.
[3] Takeshi Fuchi and Shinichiro Takagi. Japanese morphological analyzer using word co-occurrence: Jtag. In Proceedingsof the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on
Computational Linguistics - Volume 1, ACL ’98, pp. 409–
413, 1998.
[4] In-Ho Kang and GilChang Kim. Query type classification
for web document retrieval. In Proceedings of the 26th Annual International ACM SIGIR Conference on Researchand Development in Informaion Retrieval, SIGIR ’03, pp.
64–71, 2003.
[5] Xiao Li, Ye-Yi Wang, and Alex Acero. Learning query intent from regularized click graphs. In Proceedings of the
31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR’08, pp. 339–346, 2008.
[6] Bo Qu, Gao Cong, Cuiping Li, Aixin Sun, and Hong Chen.
An evaluation of classification models for question topic categorization. JASIST, Vol. 63, No. 5, pp. 889–903, 2012.
[7] Delip Rao, David Yarowsky, Abhishek Shreevats, and Manaswi Gupta. Classifying latent user attributes in twitter. In
Proceedings of the 2Nd International Workshop on Searchand Mining User-generated Contents, SMUC ’10, pp. 37–
44, 2010.
[8] Fabrizio Sebastiani. Machine learning in automated text
categorization. ACM Comput. Surv., Vol. 34, pp. 1–47,
2002.
[9] Bharath Sriram, Dave Fuhry, Engin Demir, Hakan Ferhatosmanoglu, and Murat Demirbas. Short text classifi-

cation in twitter to improve information filtering. In Proceedings of the 33rd International ACM SIGIR Conference
on Research and Development in Information Retrieval, SIGIR ’10, pp. 841–842, 2010.
[10] Ke Zhou, Ronan Cummins, Martin Halvey, Mounia Lalmas, and Joemon M. Jose. Assessing and predicting vertical intent for web queries. In Proceedings of the 34th European Conference on Advances in Information Retrieval,
ECIR’12, pp. 499–502, 2012.