DEIM Forum 2016 B1-3

プログラマー向け QA サイトにおける質問形式の調査・検討
小瀬川博将†

佐藤哲司††† 筑波大学 情報学群 知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †{hiromasa,satoh}@ce.slis.tsukuba.ac.jp
あらまし プログラマー向け QA サイトに Stack Overflow がある．Stack Overflow では，質問や回答の質を向上するために，不明確な質問には質問の編集またはコメントを追加できる機能が提供されている．しかし，このような機能
では質問解決までに多くの時間と労力が必要となる．本論文では，質問の意図を明確することを目的に未回答質問における記述の不明確さや回答が付けられていない原因を明らかにする．投稿される質問の多くは，動作の不具合や使い方に関する解決法を求めていることから，動作環境や不具合の症状，質問するまでに調べた状況などの情報が不可欠である．これらの情報が十分に記述されているかを調査し，未回答質問と認証済み質問の比較を行った．
キーワード

QA サイト, 特徴付け, 質問解析,Stack Overflow
質問解決までに多くの時間と労力が必要となる．また，Stack

1. は じ め にOverflow に向かないタイプの質問と判断された場合，その質問現代社会において，インターネットを介したコミュニケーがクローズ（一定の基準を満たしたユーザがクローズ票を投票ションや情報共有は必要不可欠であり，QA サイトを利用するすることで回答が受け付けられなくなる状態）される．このたことは一つのツールとして知られている．QA サイトとは，電め，未回答質問と認証済み質問にどのような違いがあるのかを子掲示板上で質問の投稿や解答が利用者によって行われ，質明確にすることが課題となっている．また，プログラマー向け問・回答が蓄積される Web サイトである．また，QA サイトをQA サイトであれば，未解決や未回答のまま残されている状況用いた情報共有は問題解決に有効な手段である．プログラマーの解決は共通の課題だといえる．

向け QA サイトに Stack Overflow がある．Stack Overflow で（注 1）

本論文は，未回答質問における記述の不明確さや回答が付けを示している．回られていない原因を明らかにすることを目的とする．質問解析

答に関しては「回答を得ることがこのサイトの全て」，「将来そとして未回答質問における特徴付けを行い，質問として成り立の問題を検索する人のためにもなるような回答ができればベスつには何が書かれてればよいのかを調査する．

は，回答と質問に関してそれぞれ方針

ト」と定めている．質問に関しては「主観性の高い質問は避け具体的には，Stack Overflow において投稿される質問の多る」，「質の低い質問を避ける」と定めている．このようなこと

くは，動作の不具合や使い方に関する解決法を求めていることから，投稿される質問・回答の数より質を重要視している．まから，動作環境や不具合の症状，質問するまでに調べた状況なた，どの質問に対しても回答が用意されており，利用者が閲覧どの情報が不可欠であると考えられる．これらの情報が十分にしたとき納得できる情報の共有・蓄積していくことを目指して記述されているかを調査し，回答を得るために有効であるかをいるといえる．Stack Overflow には良質な質問・回答を残すた検討する．回答が付けられていない原因を明らかにすることにめに内容を編集する機能が付けられている．また，Yahoo!知恵よって，利用者間にかかる時間と労力を軽減し，QA サイトを袋における最も良い回答に付けられる「ベストアンサー」に対より良い問題解決の場としていくことに貢献する．

して，Stack Overflow では「認証済み」が付けられる．認証済

本論文の構成を以下に示す．第 2 章では，研究を行う準備とみとは，その回答が基準は質問者に役に立ったかどうかである

して関連研究について説明する．第 3 章では，Stack Overflow

ことからベストアンサーとほぼ同等の機能といえる．

におけるデータの収集および分析手法について述べる．第 4 章

本論文では Stack Overflow を扱う．なぜなら，Stack Over-では，分析により明らかになった結果を示す．第 5 章で分析でflow には良質な質問・回答を残すために内容を編集する機能が得られる特徴について考察した後，第 6 章でまとめと今後の課付けられているにもかかわらず，Stack Overflow に向かない質題を述べる．

問が未解決や未回答のまま残されていることによる．特に，主観性の高い質問や質の低い質問（Stack Overflow に向かないタ

2. 関 連 研 究イプの質問）では編集が必要である．Stack Overflow に向かな

本論文では，未回答質問における質問解析を行うことから，いタイプの質問の問題解決には質問の編集や内容を編集するよ

QA サイトの分析に関する先行研究と QA サイトにおける推薦うなコメントが行われている．しかし，このような機能では，に関する先行研究について説明する．

2. 1 QA サイトの分析に関する先行研究（注 1）：http://ja.stackoverflow.com/tour

本研究の分析に関する先行研究として，片山ら [6] は，回答者が実際に回答している質問間にどのような特徴があるかを回回答者に適切な質問を推薦する手法を提案している．QA サイ

答者の履歴に着目し分析を行っている．分析手法として，質問

トでは教えて!goo を扱っており，ユーザをノード，回答をエッの履歴と質問の文書をベクトル化し類似度計算を行っている．

ジとして，QA サイト上のコミュニケーションをグラフにモデ

また，使用する質問には実際に回答している質問とそれ以外のル化したもの QA ネットワークに着目している．特に，3 ノー質問に分け比較実験を行っている．その結果，実際に回答してド部分グラフに着目している．推薦手法として，ある時点 t0いる質問のほうが回答していない質問よりも類似度が高くなるの QA ネットワークに含まれる 3 ノードからなる構造を全て抽傾向から，過去に回答した質問 (履歴にある質問) と回答する質出し，回答までの時間を指標に，次の回答が発生しやすそうな問では，回答していない質問よりも語の重なりが多いことを明ユーザを発見している．提案手法の有効性の評価について，カらかにしている．ユーザの特徴を履歴データから抽出できる可イ二乗検定を行った結果，上位にランクインされたユーザ間に能性を示している．

は，実際に回答が発生する傾向があることを明らかにしている．

甲谷ら [4] は，教えて!Goo において，三つのコミュニケー
ションタイプを定義し教えて!Goo のデータのログを用いて，各また，提案手法とランダム選択した場合を比較し，回答者に適切な質問を推薦するのに有効である可能性を示している．

カテゴリの分類を行っている．また，コミュニケーションは時石川ら [3] は，QA サイトのベストアンサーを計算機が推定間とともに変化することがわかっており，QA ネットワークが可能かの検証を行っている．推定実験の質問（2〜4 件の回答付

時間とともにどう成長するのか分析を行っている．評価実験ときに限定し，全 50 件）を作成し，推定結果が人間の推定結果にして，各カテゴリを「知識交換」「相談」「議論」という三種どの程度接近かの調査を行っている．結果として，「パソコン」類のコミュニケーションタイプに分類した上で，先行研究でわにおいては判定者らの結果を上回っており，「一般教養」「政治」

かっている Yahoo Answers における同様の分析結果との比較はほぼ同等であり，「恋愛相談」においては判定者らの結果を下を行っている．その結果，一回答あたりの平均語彙数に関して回ったという結果を示している．

ふるまいが異なることを明らかにしている．

見市ら [2] は，QA サイト内において質問者の質問意図と検索

栗山 [7] は，投稿者の質問・回答 (OKWave の「恋愛・人生利用者の検索意図に差が生じるため，求める回答にも差が生じ，相談」カテゴリに投稿された質問・回答) と読売新聞における結果的に検索利用者の意図した回答が得られないという問題点

質問の特徴について比較を行っている．比較では，タイトルとを解消するために，検索利用者の検索意図は複数存在すること本文に分け，質問中に出現する語の抽出と特徴語の抽出を行に着目し，検索利用者の意図を考慮した回答検索システムを提い，TF-IDF で重み付けを行っている．扱うデータは読売新聞案している．使用するデータは Yahoo!知恵袋を使用している．の「人生案内」の質問と OKWave の「恋愛・人生相談」の質

検索利用者における複数存在する検索意図を S 項目と定義して問であり，それぞれのデータついて形態素解析を行っている．

おり，二つの提案について比較を行っている．S 項目を用いた

また，質問者がどのような悩み・質問を抱いているかを，イン

回答検索手法における，一つ目の提案はベクトル間類似度を用

ターネット以外の媒体を参照することで，より適切な回答が得いた回答検索手法である．二つ目の提案は回答抽出による回答られる可能性があるのかについて考察している．考察として，検索手法である．Yahoo!知恵袋の検索結果と提案 1,2 の比較で共通点と相違点をまとめている．共通点として，人間関係に関は，一つ目の提案は全ての検索クエリにおいて検索精度の上昇する質問，特に自分のパートナーに関する質問が多く，質問文を示している．二つ目の提案は三つの検索クエリにおいて検索にはパートナーや身近な人間を表す語や評価や感情を表す語が精度の上昇を示している．このため，S 項目を考慮することでよく用いられることを明らかにしている．また相違点として，より回答検索の際に検索利用者の検索意図を反映することが可

新聞の相談者は女性の割合が高く年齢層があまり偏ってないの能であることを示している．また，提案システムによる検索利に対し，QA サイトの質問者はほぼ男女半々で 10〜20 代の若用者の意図を反映した回答の推薦が可能であると示している．

年層に偏っており，回答者はそれよりも少し上の 20〜30 代が多いことがわかっている．これらの共通点と相違点から相補的に利用することで有用な回答を広く探すことが可能であることを明らかにしている．

3. 質問形式の分析手法
3. 1 使用するデータ
本論文では Stack Overflow が提供するアーカイブデータのLi ら [1] は，Research Gate(RG) という QA サイトを使用分析手法を提案する．使用するアーカイブデータは 2015 年 8

し，質問の質の特徴付けを行っている．手法としては，SVM 分

月 18 日に更新されたデータ（注 2） である．Stack Overflow では類アルゴリズム，三予測モデルの対照分析，特長の対照分析のApple や Codereview，Unix，Tex など様々な専門性に特化し分類モデルを提案している．各提案手法に対して，回答品質のたサイトを複数運営している．本論文では Stack Overflow をための最適化を行った結果，挨拶や他の感情の言葉は実際の回構成する個々のサイトをカテゴリと称する．

答品質にネガティブな影響があると示している．

アーカイブデータはカテゴリ分けされている．表 1 に，Stack

2. 2 QA サイトにおける推薦に関する先行研究

Overflow における質問データについて，表 2 に，Stack Over-

本研究の背景や課題に関する先行研究として，甲谷ら [5] は，flow における回答データについて示す．また，使用するデータ

これまでの QA サイトの問題点として回答者は回答したい質問を自分で見つけてくる必要があるという点を解決するために，（注 2）：https://archive.org/download/stackexchange

ではアーカイブデータの apple カテゴリとする．アーカイブ

表 2 回答における収集データデータ以外のデータとして Stack Overflow の実際のサイトか

ラベル (タグ名)

説明

らコメント文を取得したので，表 1 の下部に追加した．追加し投稿 Id(Id)

投稿順に付与される Id

た理由として，コメント文は質問の補足情報や意見を受け付けるために作られた機能なのでコメント文を分析することで，未を表す
投稿タイプ (PostTypeId)

質問か回答かを判断する
タイプを表す．タイプが回答質問においてどのような情報が不足しているのかが明らか

1 の場合は質問を表し，になると考えたことによる．

タイプが 2 の場合は回答を表す

表 1 質問における収集データ
ラベル (タグ名)

説明

投稿 Id(Id)

投稿順に付与さ回答の親 Id(ParentId)を表す Id が付けられる．
また投稿タイプが 2 のもれる Id を表す
投稿タイプ (PostTypeId)

を 表 す．タ イ プ
が 1 の場合は質問を表し，タイプが 2 の場合は回答を表す
認証済み回答 Id(AcceptedAnswerId)

それぞれのユー

11,55319.2

認証済み質問数

23,54939.0

ける投稿 Id に存在しないものとする．認証済み質問では，表 1に示す投稿タイプが 1 であるものかつ認証済み回答 id が付いたものとする．また，未回答質問と認証済み質問との比較を行う．

3. 2 回答件数に関する調査＋か−の票を入Stack Overflow において未回答質問がどのくらいの件数なれることができ，のか調査する．調査を行う理由としては，未回答質問の件数を数値が高いほど調査することで，研究の有用性がより明確となることによる．

上位に，低いほapple カテゴリにおける全質問数，未回答質問数，認証済み質

質問の本文を表
最後に質問を編問数を調査することで，全体の質問数に対して研究対象となるデータ数がどのくらい占めているのかわかる．また，表 3 は，apple カテゴリの質問の件数を示す．
未回答質問が全体のどのくらい占めているのか調査した．こ

Id を表すの調査を踏まえた上で，質問内容が不明確な質問にはどのよう質問のタイトルな特徴が見られるのかを調査する．

を表す
質問に関連する単語を最大五つ付けられる．ま表 3 から，未回答質問数は全体の質問の 19.2 ％であることがわかる．また，認証済み質問数は全体の質問の 39.0 ％である．
認証済み質問数の割合については，質問全体の約 39 ％を除いた関連する単た 61 ％の質問は問題解決していないや未回答質問の可能性が語についてはある．未回答質問数の割合については，質問全体の約 19 ％がStack Overflow

回答が付けられていないので，少なくとも約 19 ％中に質問内が定めている単容が不明確な質問も含まれている可能性がある．

語となる
コメントの数を表す
お気に入り数 (FavoriteCount)-

未回答質問数

ザ自身の判断で集したユーザのコメント数 (CommentCount)％

本論文における質問分析について，未回答質問では，表 1，2

すタグ (Tags)

60,327に示す投稿タイプが 1 であるものかつ回答の親 Id が質問におど下位となる

質問タイトル (Title)

データ数

質問総数

けられる．またれる

最終編集者 Id(LastEditorUserId)

データ種別

た回答の Id が付のものに付けら質問文 (Body)

表 3 2015 年 8 月 18 日における Stack Overflow の質問件数認証済みとされ投稿タイプが 1

投票スコア (Score)のに付けられる質問か回答かを判断するタイプ

どの質問に対する回答かお気に入りの数を表す

図 1 に apple カテゴリにおける回答のデータ分布（回答が 0件も含む）を示す．図 1 では回答が 1 件付与されている質問が最も多く，次いで 0 件と 2 件付与されている質問が多い．2 件以降は回答数が増えるたびに減少していく傾向にある．図 1 に

コメント文 (comment-text(実サイトから取得)) 質問者とその他示した 0 件が未回答質問である．より良い質問・回答を閲覧すのユーザによるるサイトにしていくためには，未回答質問として残されている質問に対しての原因を明らかにする必要がある．

コメントの文

未回答質問の本文と未回答質問に付与されたコメントの分析を行う．また，コメントやプラスマイナスの評価投票やお気にていないと回答が困難であると考える．また，関連する質問を調べるための方法やどんな質問が関連しているかプログラマー
向け QA サイト以外で情報収集する能力が必要であると考える．

4. 未回答質問となる原因の検討
4. 1 未回答質問の特徴付け
Stack Overflow が提供するアーカイブデータにおける，appleカテゴリの未回答質問 100 件に対して特徴付けを行った．具体
図 1 apple カテゴリにおける回答のデータ分布

的にどのような特徴に着目したか以下に箇条書きで示す．列挙
する項目として，未回答質問の本文，その質問に付与されたコ入りが付与されている場合でも回答が付与されていなければ未回答質問として扱う．未回答質問は Stack Overflow のアーカ

メント，最終編集者 Id の三点を挙げる．

•質問文

イブデータから抽出を行うので，閲覧数が 0 でない質問を対象

文と文をつなぐときの単語が本文中に出現の有無およびそのとしている（アーカイブデータに存在しない投稿されたばかり単語頻度に着目した．質問文の内容を読み，質問に付与されての新規質問は未回答質問として扱わない）．

いるタグと一致する単語はどのくらいあるのかに着目した．ま3. 3 未回答質問の特徴抽出た，？マークや改行・空行の数や他者からの編集がされたのか未回答質問の特徴付けを行った．apple カテゴリのデータかについて着目した．

らランダムに 100 件を抽出する．ランダム抽出では，投稿日時が古いものと新しいものからそれぞれ 50 件ずつ抽出する．未回答質問において着目した点を以下に箇条書きで列挙する．

•

コメント文

何人のユーザからコメントがされているかの件数に着目した．
コメント内容に書き加える指示がされているかに着目した．ま•質問文 (Body)

た，別の方法を試しているかどうかの確認がされているかに着•タグ (Tags)

目した．最終投稿されているコメントに関して，そのコメント•

コメント文 (comment-text)

が質問者で？マークで終わっているか着目した．最終投稿され•最終編集者 Id（LastEditorUserId）ているコメントを着目した理由としては，質問に加えてコメン•

投票スコア (Score)

トでも問題が発生し，その問題も解決されていない可能性があ•お気に入り数 (FavoriteCount)ることによる．

未回答質問となる原因を明らかにするために特徴付けを行う．

•最終編集者 Id

また，箇条書きで示した点に注目し 100 件の未回答質問に特徴

Stack Overflow では投稿した質問や回答やコメントをすべて付けを行う．未回答質問の特徴として，質問文に環境，症状，の利用者が編集を行うことができる．編集の有無に関しては，状況についての内容が含まれるという仮説を立てる．また，環未回答質問にはどのくらい質問者以外のユーザから編集される境，症状，状況の全ての内容が少しずつ含まれている質問よりか着目した．

環境，症状，状況のうちどれか一つだけが詳しく書かれている

4. 2 未回答質問の特徴付けを行った結果内容の方が未回答質問にとなるという仮説を立てる．環境，症

表 4 は 100 件中に含まれた各特徴の件数を表す．表 4 に未回状，状況について，どのようなことが述べられているとそれぞ答質問と認証済み質問に対する特徴付けの比較を示す．また，れに判断されるのかの基準を以下に箇条書きで示す．

表 4 の OS 名，Ver. 名，コード等，関連質問 URL，関連 URL,•

環境について箇条書き，他者による質問編集が質問文の特徴付けであり，書開発環境や OS やソフト名が記載されていないと回答が困難

き加えコメント，別の方法の確認がコメント文の特徴付けであであると考える．また，記載されていない場合プログラマー向る．表 4 に示す関連質問 URL とは，Stack Overflow に投稿

け QA サイトを使用する際の周辺知識が必要であると考える．

された質問で関連している質問の URL であり，関連 URL は•症状についてエラーメッセージや問題が起こる前に何をしたかやどのよう

Stack Overflow 以外のサイトへの URL である．
4. 3 コメントによる補足情報の追加調査

なコードを書いているのかが記載されていないと回答が困難で追加調査で用いるアーカイブデータは 2016 年 1 月 5 日に更あると考える．また，コードの変数名や使用されるデータをそ新されたデータ（注 3） である．追加調査理由として，コメント機のまま使うことについて，Stack Overflow ではサンプルを用意

能は回答に至るヒントやきっかけの情報が投稿されるためコメするように定めている．プログラミングの構造についての理解

ントの分析が重要だと考えることによる．また，apple カテゴが必要であると考える．

リには削除された質問や別リンクで回答付き質問に統合された•状況について問題解決のために何を調べたのかやどこまで問題を把握して質問があり，サイト運営が未回答質問を減らすような操作が行われている．このため，時間の経過で未回答質問がどのくらいいるのかや解決してほしいポイントが明確であるかが記載され（注 3）：https://archive.org/download/stackexchange

コメントや質問者の対応状況の類型化などの調査が必要だと考表 4 特徴付けした結果の比較
特徴

未回答質問 認証済み質問

えられる．

OS 名

32

62

Ver. 名2028

コード等1631

関連質問 URL

56

関連 URL1611flow における未回答質問の特徴付けを行い，質問として成り箇条書き

107

立つには何が書かれていれば良いかを調査し検討した．また，書き加えコメント

1610

apple カテゴリにおけるアーカイブデータの 2015 年 8 月 18 日

別の方法の確認134〜2016 年 1 月 5 日期間の追加調査を行った．

他者による質問編集

2150

6. 結論

本論文は，プログラマー向け QA サイトである Stack Over-

質問として成り立つには何が書かれていれば良いかを調査したことによって，未回答質問における不明確さは関連する情報が不足していることによるものだとわかった．具体的には，未変化するのか追加調査を行った．

2015 年 8 月 18 日〜2016 年 1 月 5 日の変化として，3 件未回答質問には関連する情報が不足することにより，動作環境や回答質問に回答が付与された（未回答：78 件→ 75 件，回答付：不具合の症状，質問するまでに調べた状況の情報が不可欠であ

2 件→ 5 件）．また，当初特徴付けに想定していなかった情報るということがわかった．また，これらの情報が回答を得るたが追加調査によりわかった．表 5 はに示す．

めに有効であるかを検討した．
未回答質問における約 5 カ月間変化として，3 件回答が付与

表5

特徴付けに必要となったコメント文

補足情報

類型

どうやってインストールしたのか 不具合に至る過され，どのようなプロセスを経て変化したかについて別の視点を踏まえる必要があるとわかった．

程の確認

最後に，未回答質問における記述の不明確さや回答が付かな

この方法はやってみたか

方法の提案

い原因が明らかになったので，今後プログラマー向け QA サイ

その質問はどういうこと

質問内容の確認

トに質問を投稿するユーザや質問を投稿したが回答が付かない

または質問者とユーザに対して，どのように不明確なのかの確認や具体的な原コメント者の相因の提示を行うことができる．そこで，今後の研究として未回

互理解

答質問における内容の不明確さや回答が付与されていない原因

OS は何かなどの追記要請

質問状況の確認に基づき，質問解決支援を行う．質問解決支援とは，質問内容が不明確であっても Stack Overflow からベストアンサー付き

5. 未回答質問の特徴についての考察
5. 1 特徴付けした結果の比較についての考察
未回答質問の本文と未回答質問に付与されたコメントと未回答質問に対して付けられた評価の考察を行う．
前節で，未回答質問より認証済み質問の方が OS 名やコード，関連質問 URL が多いことがわかった．このことから未回答質
問にとって OS 名やコード，関連質問 URL は，必要な情報であると考えられる．
未回答質問に付与されたコメントに関しては，回答者になりうるユーザから開発環境はどのようになっているか，OS は何か，バージョンは何かを質問文に追記させるコメントや質問解決に近づく作業は既に行っているかの確認がされていることがわかった．このことから，未回答質問には関連する情報が不足すると回答することが困難だと考えられる．
他人による質問編集では，未回答質問より認証済み質問の方が多いことがわかった．このことから，認証済み質問は必要な情報を含むため，ユーザが積極的に参加したと考えられる．

5. 2 コメントによる補足情報の追加調査についての考察
補足情報の追加調査では 2015 年 8 月 18 日〜2016 年 1 月 5日の約 5 カ月間の変化として，3 件未回答質問に回答が付与されたことがわかった．このことに関して，本研究の特徴付けのみでは困難であるため，どのようなプロセスを経て変化したか質問・回答を質問仕方事例集として提示することである．

謝辞

本研究は，JSPS 科研費 25280110 および 25540159 の助成を受けたものです．ここに記して謝意を示します．
文献[1] Lei Li, Daqing He, Wei Jeng, Spencer Goodwin, andChengzhi Zhang. Answer quality characteristics and prediction on an academic Q&A site: A case study on researchgate. In Proceedings of the 24th International Conferenceon World Wide Web, WWW ’15 Companion, pp. 1453–1458, 2015.
[2] 見市高一, 川越恭二. QA サイトにおける s 項目による回答検索システム. Technical Report 25, 立命館大学大学院, 立命館大
学情報理工学部, nov 2010.
[3] 石川大介, 栗山和子, 酒井哲也, 関洋平, 神門典子. Q&A サイト
におけるベストアンサー推定の分析とその機械学習への応用. 情報知識学会誌, Vol. 20, No. 2, pp. 73–85, may 2010.
[4] 甲谷優, 川島晴美, 藤村考. QA サイトにおける質問応答グラフの成長パターン分析. 日本データベース学会論文誌, Vol. 7, No. 3,pp. 61–66, dec 2008.
[5] 甲谷優, 川島晴美, 藤村考. QA コミュニティの成長パターンに基づく回答者への質問推薦. 日本データベース学会論文誌, Vol. 8,
No. 1, pp. 89–94, jun 2009.
[6] 片山亮, 川村秀憲, 鈴木恵二. QA サイトにおける質問推薦へ向けた履歴データの分析 (社会システムと情報技術研究ウィーク).
電子情報通信学会技術研究報告. AI, 人工知能と知識処理, Vol.

109, No. 439, pp. 11–16, feb 2010.
[7] 栗山和子. 新聞と Q&A サイトにおける人生相談の分析. 電子情報通信学会技術研究報告. 研究報告デジタルドキュメント（DD）, Vol. 2015, No. 8, pp. 1–8, mar 2015.