Q&A サイトと公共図書館レファレンスサービスの質問回答力比較：正答率を中心として
辻慶太（筑波大学大学院 図書館情報メディア研究科：keita@slis.tsukuba.ac.jp）
楳原衣恵（ビックカメラ：s0512148@ipe.tsukuba.ac.jp）
木川田朱美（筑波大学大学院 図書館情報メディア研究科：akemi@slis.tsukuba.ac.jp）
要旨：本研究では近年急速に成長している Q&A サイ
トと公共図書館レファレンスサービスに同じ質問を行い，正答率などを比較した。前者には「教えて！goo」を，後者には首都圏近郊の 32 館を選び，60 個の質問を行った。結果，直接的に完全な正答が与えられる割合は共に 32％で，全般に両者の正答率に大きな差は見られなかった。こうした状況を踏まえ公共図書館は今後新たなレファレンスサービスのあり方を検討する必要がある。

1. はじめに
近年，Web の発達でレファレンスサービスを取り巻く環境は大きく変化している。その中の 1 つに Q&A サイトの急速な成長がある。ここで Q&A サイトとは簡単な登録で誰でも無料で質問でき，多くの場合何らかの回答を他の登録者や専門家から得られるものとする。日本では教えて!goo や Yahoo!知恵袋が代表的である。
これまで図書館ではレファレンスサービスの充実が提唱されてきたが，Q&A サイトが一般的になるにつれ，従来図書館に持ち込まれていた質問のいくつかはこれら Q&A サイトに持ち込まれ，かつ解決してしまうということはないのだろうか。その場合図書館はどのような方向を今後見出していくべきか。そのような問題関心のもと，本研究では Q&A サイトと公共図書館レファレンスサービスに，いわゆる覆面調査の形で同じ質問を行い，正答率を比較した。
Q&A サイトには教えて!goo を，図書館には首都圏近郊の 32 館を選んだ。後述のようにこれまでレファレンスサービスについては様々な評価研究が行われてきたが Q&A サイトと比較する研究はほとんど行われていない。
本研究が用いた覆面調査という手法には様々な批判があるだろう。調査された者の士気を下げるという懸念や，答えそのものを知りたいわけではない質問をレファレンスサービスにすることはリソースの無駄遣いという批判もあると思われる。だがレファレンスサービス先進国である米国ではレファレンスの覆面調査は後述のように頻繁に行われている。また得られた知見を図書館界にフィードバックすることでサービス改善につなげることができる[1]。さらに本研究では上記図書館 32 館と教えて!goo に対して，調査終了後に研究概要と質問を行った旨を伝えた。結果，教えて！goo からは承諾を頂くことができ，図書館からもクレームや削除を求める返信は頂いていない[2]。

外主に米国の状況を述べる。
日本の Q&A サイトとしては，教えて!goo，
OKWave，Yahoo!知恵袋，人力検索はてな，livedoor ナレッジ，答えてねっと，知識 plus，などがある。最も歴史があるのは OKWave で，2000 年 1 月に「OKWeb コミュニティ」という名称で開始された。教えて!goo も古く 2000
年 11 月に開始されている。現在 OKWave と教えて!goo は提携しており，両者が蓄積するQ&A は更新のタイムラグを除いて同じである。
2009 年 4 月現在 400 万件以上の Q&A が公開されている。Yahoo!知恵袋は両者に比べれば後発で 2004 年 4 月に開始された。だがその成長は著しく，2009 年 4 月現在 2,500 万件以上のQ&A が公開され，350 万人以上が登録している。Yahoo!知恵袋は，2008 年 3 月の利用者数が前年同月の 2.7 倍に，月間ページビュー数も前年同月から 2 倍近くにまで増加し，教えて!goo も 2008 年 3 月の利用者数は前年同月の1.5 倍を超えていた[3][4]。
Hitwise の調査によると米国でも Q&A サイト利用者は著しく増加しており，2008 年 2 月の Q&A サイト訪問者数は 2006 年 2 月に比べ889%も増加していた。米国での Q&A サイト利用者シェアの大半は Yahoo! Answers が占めており，次いで WikiAnswers，AnswerBagとなっている（上位 3 サイトだけで全体の約97％を占める[5]）。Coffman & Arret (2004)は，図書館員を非常に心配させた Q&A サイトの多くは消滅するか，脅威とは言えなくなったと2004 年に述べているが[6]，そうした楽観が今後も通用するかは分からない。

3. 関連研究

海外の Q&A サイトの正答率を調査した研究はいくつかあるものの[7][8][9][10]，日本ではほとんどない。
レファレンスサービスの正答率に焦点を当てそれを覆面調査（Unobtrusive testing）で調べた研究は非常に多い[11] [12][13][14][15][16][17]。
よ く 引 用 さ れ る 研 究 と し て は Hernon &McClure (1986)がある[18]。また Crews (1988)
は覆面調査によってレファレンスサービスの正答率を調べた 39 の論文を取り上げ，正答率が 60％を超えた研究はほとんど無いとしている[19]。
近年では DRS における正答率を覆面調査で調べるものもある [1][8][17] 。Lochore (2004)はDRS2 つと Q&A サイト（AllExperts）を比較
2. Q&A サイトの概況している点で本研究に近い。そこでは DRS とQ&A サイトとで正答率にあまり差がないこと
Q&A サイトは近年急速に成長を続けている。 が示されている[8]。
以下ではまず日本における状況を述べ，次に海4. 調査方法
4.1 調査対象
本研究では以下の 3 条件を満たす公共図書館 32 館を調査対象とした。即ち，(1)首都圏近郊にあり，(2)蔵書冊数が 12 万冊以上ある市区立図書館で，(3)『日本の図書館：統計と名簿2006』で「参考業務実施コード」が 1 である図書館，である。(1)については筆者らの居住区域で調査が容易である為，(2)と(3)は一定のレファレンス能力がある図書館を調査対象とする為である。逆に言うと本研究はある程度レファレンス能力がある図書館を調査対象にしたと言える。Q&A サイトとしては先述のように歴史のある「教えて！goo」を調査対象とした。他のサイトや図書館は今後の課題としたい。

4.2 用いた質問
本研究では筑波大学における学部生向けのレファレンスサービス演習で用いられている課題質問 60 問を調査に用いた。本研究用の質問は，市販のレファレンスサービス演習書やレファレンス事例集から入手することも考えられる。だがそれらは図書館員には既知になっている可能性があり，入手可能性の点でも難があるため採用しなかった。本研究の質問も既知である可能性や，また授業で用いられる課題質問は多分に教育を意識しており，実際の利用者の質問からは乖離している可能性もあるのだが，この点については今後の課題としたい。

図書館・Q&A サイト共に 19 問で全体の 31.6％であった。B 判定は Q&A サイトの方が図書館より多かった（30.0％と 20.0％）。だが C 判定は逆に図書館の方が多かった（18.3％と 6.7％）。
C は「利用者によっては正答に辿り着けなかった」と思われる点で B と異なるのだが，B と Cを特に区別しないならば図書館と Q&A サイトとで正答率にあまり差がないと言える。
誤った回答の数（ここでは D，F，H 判定の合計とする）も図書館と Q&A サイトとで差はなかった。
AB
C
D
EF
GH

4.3 質問方法
先述の 60 問を図書館 32 館と Q&A サイトに行った。図書館 1 館には約 2 問質問したことになる。図書館への質問は主に第 2 著者が2008 年 2 月 10 日から 4 月 29 日に行い，Q&A
サイトには 2008 年 5 月 9 日から 6 月 11 日に行った[20]。その際，予断が入らないよう質問に対する正しい答えは知らずに質問を行った。
正しい答えは Q&A サイトでの回答受付（2 週間）終了後，筆者らが各種情報源を用いて調べた。

4.4 回答のタイプ
本研究が用いた質問に対する答えはいくつかの観点から分類できる。ここでは[11]の分類を参考に，複数の答えが得られるという Q&A
サイトの特性も考慮しながら，主に(a)正しい答えの量，(b)誤った答えの量，(c)答えが得られるまでの入手経路，の観点から分類することにした。今回の 60 問は表 1 のような A～H のタイプに分けられた。なお以下では煩雑さを避ける為，A，B は“○”，C，D は“△”，E，F，G，H は“×”と略記する場合がある。

正しい答えを完全にかつ直接示され，誤答はなかった。
正しい答えを完全に含む資料・ページ・方法が示され，容易に答えを得ることができ，誤答はなかった。
正しい答えを完全に含む資料・ページ・方法が示されたが，答えを得るには一定の能力・労力が必要であった。誤答はなかった。
正しい答えを完全に含む資料・ページ・方法が示されたが，答えを得るには一定の能力・労力が必要で，かつ誤答があった。
正しい答えを一部のみ直接的に示された。誤答はなかった。
正しい答えを一部のみ直接的に示された。だが誤答も含まれていた。
正しい答えも資料・ページ・方法も示されなかった（例えば図書館においては「分からない」と言われる。Q&A サイトにおいては回答がつかないなど）。だが誤答もなかった。
正しい答えも資料・ページ・方法も示されなかった。しかも誤答があった。

表 1：回答のタイプ○ABCDEFGH△×計

図書館
質問数 割合(％)
1931.61220.01118.3
00.0
7
11.7
11.7
711.7
35.0
60
100.0

Q&Aサイト
質問数 割合(％)
1931.6
1830.046.7
11.7
1016.723.3
58.311.760
100.0

表 2：判定ごとの分布5.2 質問の主題ごとの正答率
質問を『問題解決のためのレファレンスサービス：新版』に基づいて 8 つの主題に分類し，それぞれの正答率を調べたところ表 3 のようになった[21][22]。
「図書・叢書」の質問は，図書館の方が正答率が高いと予想していたが，むしろ Q&A サイトの方が高かった。

5. 結果

5.3 所要時間

5.1 全体の正答率

図書館や Q&A サイトで答えが得られるまでの時間は表 4 のようになった。ここで「答えが得られるまでの時間」とは質問してから図書館員や Q&A サイト回答者から回答が与えられ図書館と Q&A サイトにおける 60 問全体の正答率は表 2 のようになった。これら 60 問において，回答が表 1 の A 判定となったものはるまでの時間と，回答に基づいて資料や Webページにあたり何らかの答えが得られるまでの時間の和を表す。表 4 に記したように 10 分未満で答えが得られた質問は図書館で 13 問，
Q&A サイトで 10 問であった。その中で○の割合は図書館よりも Q&A サイトの方が高かった。従って Q&A サイトは比較的迅速に正答を与えてくれる可能性がある。（ネットにつながったパソコンがある）自宅で質問を思いついた
場合は，図書館まで行く時間を考えると Q&Aサイトに質問した方が早い場合もありそうである。ただし Q&A サイトでは回答が得られるまで 2 時間以上かかった質問も全体の 3 割を占め，この点では図書館の方が優れていた。

5.4 回答者
図書館における回答者数は 99 人であった（担当者に取り次いだだけの者を除くと 86人）
。図書館では 1 つの質問に複数の図書館員が関わる場合が多く，一人だった場合でもその回答者の職位などは判別しがたいことが多い[12] 。そこで図書館に関しては，回答者に基づく分析は行わず，その図書館の専任職員数に応じて正答率が変化するかを調べた。専任職員数には『日本の図書館：統計と名簿 2007』の「職員数（専任計）」を用いた。結果は表 5 のようになった。○の割合は，専任職員数が 10 人未満の図書館では 45%であるのに対して，20 人以上の図書館では 77%に上った。即ち専任職主題
レファレンスブック
言語・文字
事物・事象
歴史・日時
地理・地名
人物・団体
図書・叢書
新聞・雑誌

質問数
55855
720
5

○ (%)
4 ( 80)3 ( 60)4 ( 50)4 ( 80)2 ( 40)5 ( 71)8 ( 40)1 ( 20)

図書館
△ (%)
0(0)
2 ( 40)3 ( 37)0(0)0(0)
2 ( 29)2 ( 10)2 ( 40)

員数が多いほど正答率が高いことが示された。
Q&A サイトにおける異なり回答者 ID は 72個であった。回答数は 98 であり，複数の質問に回答する者もいた。その中では 5 問に回答する者が最大であった。Q&A サイトにおける回答を，回答者の過去の質問回数と回答回数に応じて分類したところ，全般に質問回数が同じ場合はこれまでの回答回数が多い者の方が正答率が高いことが分かった（例えば質問回数が 0の者では回答回数が 1,000 以上／未満の者の正答率はそれぞれ 64％，53％などである）。

5.5 図書館の各種属性
図書館については中央館／分館別，地域別，レファレンスカウンターの有無別にも正答率を調べてみた。まず中央館 17 館，分館 15 館とでは中央館の方が若干正答率が高かった（○の割合がそれぞれ 57％，47％）。
地域別に見た場合，神奈川，千葉，茨城では○の割合が 60％を超えていたのに対し，東京はやや低く 48％にとどまった。全体に東京都の西部は○の割合が高いのに対し，東部は低く，25％以下の区もいくつか見られた。
『日本の図書館：統計と名簿 2007』の「参考業務」の「専用カウンター」が 0 の図書館は○が 62％，1 の図書館は 44％で，カウンターのない図書館の方が正答率は高かった。地域別の結果も含めて原因は今後の課題としたい。

× (%)
1 ( 20)0(0)1 ( 13)1 ( 20)3 ( 60)0(0)10 ( 50)
2 ( 40)○ (%)
3 ( 60)5 ( 100)
6 ( 75)
3 ( 60)4 ( 80)4 ( 57)11 ( 55)
1 ( 20)

Q&Aサイト
△ (%)
0(0)
0(0)
0(0)
0(0)
0(0)
2 ( 29)2 ( 10)0(0)表 3：質問の主題ごとの正答率答えが得られるまでの時間

10分未満
10分以上20分未満
20分以上30分未満
30分以上1時間未満
1時間以上2時間未満
2時間以上1日未満
1日以上2日未満
2日以上(回答がなかった)
その他図書館
Q&Aサイト
質問数 ○の割合 質問数 ○の割合
1361.510100.0
1963.1862.5
1741.2
7
28.6
633.3
580.0
333.3
977.8
0－
1154.50－3100.0
0－
30.0
0－
3－
250.0
10.0

表 4：答えが得られるまでの時間と正答率
専任職員数
10人未満
10人以上20人未満
20人以上
記入無し

館数 質問数
1020
13
23
7
13
2
4

○ (%)
9 ( 45.0)
11 ( 47.8)
10 ( 76.9)
1 ( 25.0)

表 5：専任職員数と正答率△ (%)
6 ( 30.0)
2 ( 8.7)
2 ( 15.4)
1 ( 25.0)× (%)
5 ( 25.0)
10 ( 43.5)
1 ( 7.7)
2 ( 50.0)× (%)
2 ( 40)0(0)2 ( 25)
2 ( 40)1 ( 20)1 ( 14)
7 ( 35)4 ( 80)6. おわりに本研究では Q&A サイトと図書館レファレンスサービスの正答率を比較した。調査では(1)レファレンスサービスが相対的に充実していると思われる館を選び，(2)レファレンス向きの質問を選んで調査を行った。それでも Q&A サイトと図書館とで正答率に大きな差はなかった。従って他の館やレファレンス向きでない質問（IT 機器のトラブルなど）では Q&A サイトの方が図書館より正答率が高い可能性がある。このような状況で図書館あるいはレファレンスサービスは今後どうあるべきか。以下のような方向が考えられる：(a) 情報提供から学習支援といった他の機能を重視する場への転換（図書館員は，情報要求が明示できない利用者に対してカウンセラーとして振る舞うなど）[23](b) Web で答えが見出せなかった高度な調査型質問への対応力強化（簡単な質問が減っていることはしばしば指摘されている）(c) Q&A サイトはもちろん Web 全般が使えない
IT 弱者へのサービス重視(d) 非同期型ではなく同期型の DRS の重視（チャットで回答する Q&A サイトは今のところ無い。co-browsing など高度な機能を使いながら図書館員が同期的に回答するサービス
は，それにかかるコストは別として人気を呼ぶ可能性がある）(e) 専任職員数に代表される資源確保（最も難しいが，先述の調査結果からは支持される）
今後は本稿中に挙げてきた数多くの「今後の課題」に対応し，検証を進めたい。
注・引用文献Kaske, N. and Arnold, J. (2002) "An Unobtrusive
Evaluation of Online Real Time Library Reference
Services," Library Research Round Table, Annual
Conference of American Library Association.
<http://www.lib.umd.edu/groups/digref/kaskearnolduno
btrusive.html>
2 本研究については(1)回答の比較可能性と(2)正答率中心，という問題を指摘することもできるだろう。(1)口頭で質問するレファレンスサービスと文章で質問する Q&A サイトとでは，当然ながら質問の形が微妙に異なる。異なる質問に対する回答は比較できるのかという問題である。だが本研
究では，同じ情報要求から発せられる質問のあり方をもレファレンスサービスや Q&A サイトの質問回答力の一部とみなす。即ち，どのような表現形態で質問を「行わざるを得ないか」という点までもある種の回答力の一部とみなし，そのレベルにおいて両者は比較可能と考える。次に(2)だが，レファレンスサービスを評価する観点としてはこれまで様々なものが提案されてきた。例えば利用者満足度やコスト，図書館員の振る舞い，レファレンスコレクションの充実度などである。Q&A サイトとの比較でも利用者満足度など他の側面も考えるべきであろう。この点については今後の課題としたい。本研究は議論の出発点として正答率を取り上げた。
3 国立国会図書館 (2008)「日本の Q&A サイト急成長をとげる」カレントアウェアネス・ポータル<http://current.ndl.go.jp/node/7775>
4 日経 BP 社 (2008)「Q&A サイトの利用，この 1 年で大幅1増」ITpro <http://itpro.nikkeibp.co.jp/article/Research/20080423/299899/>
5 Hitwise (2008) "U.S. Visits to Question and Answer
Websites Increased 118 Percent Year-over-Year"<http://www.hitwise.com/press-center/hitwiseHS2004/q
uestion-and-answer-websites.php>
6 Coffman, S. and Arret, L. (2004) "To Chat Or Not toChat: Taking Another Look at Virtual Reference, Part
1," Searcher, 12(7). <http://www.vrd2003.org/
proceedings/presentation.cfm?PID=196>
7 Margariti, A. and Chowdhury, G. G. (2003) "DigitalReference Services: Do We Still Need Libraries,"

Proceedings of the 6th International Conference on
Asian Digital Libraries (ICADL 2003), 158-167.
Lochore, S. (2004) "How Good are the Free Digital
Reference Services? A Comparison of Library-based andExpert Services," Library Review, 53(1), 24-29.
9 Roush, W. (2006) "What's the Best Q&A Site?"Technology Review <http://www.technologyreview.com/
InfoTech/17932/>
10 Bivens-Tatum, W. (2001) "Expert Services on the Web:The Commercial Competition for Libraries," C&RLNews, 62(7). <http://www.ala.org/ala/mgrps/divs/acrl/publications/crlnews/2001/jul/expertservices.cfm>
11 Gers, R. and Seward, L. J. (1985) "Improving Reference
Performance: Results of a Statewide Study," LibraryJournal, 110(18), 32-35.
12 Durrance, J. C. (1989) "Reference Success: Does the 55
Percent Rule Tell the Whole Story?" Library Journal,114(7), 31-36.
13 Dewdney, P. and Ross, C. S. (1994) "Flying a Light
Aircraft: Reference Service Evaluation from a User
Viewpoint," RQ, 34(2), 217-231.
14 Baker, L. M. and Field, J. J. (2000) "Reference Success:
What Has Changed over the Past Ten Years?" PublicLibraries, 39(1), 23-28.
15 Dilevko, J. and Dolan, E. (2000) "Government
Documents Reference Service in Canada: A Nationwide
Unobtrusive Study of Public and Academic Depository
Libraries," Library & Information Science Research,
22(2), 185-222.
16 Norlin, E. (2000) "Reference Evaluation: A Three-Step
Approach: Surveys, Unobtrusive Observations, andFocus Groups," College & Research Libraries, 61(6),546-553.
17 Nilsen, K. and Ross, C. S. (2005) "Evaluating Virtual
Reference from the Users' Perspective," The Reference
Librarian, 11(2), 175-82.
18 Hernon, P. and McClure, C. R. (1986) "Unobtrusive
Reference Testing: The 55 Percent Rule," LibraryJournal, 111(7), 37-41.
19 Crews, K. D. (1988) "The Accuracy of Reference Service:
Variables for Research and Implementation," Libraryand Information Science Research, 10(3), 331-355.
20 その後 2008 年 11 月 15 日に図書館，2008 年 11 月 20 日
から 12 月 4 日に Q&A サイトに，追加で質問を行った。
21 長澤雅男, 石黒祐子 (2007)『問題解決のためのレファレン
スサービス：新版』日本図書館協会, 294p.
22 本研究では「図書・叢書」の質問数が 20 問と最も多く，次は「事物・事象」の 8 問，「人物・団体」の 7 問となっている。これはレファレンス質問ではこのような質問が他より多いと判断した為である。ただ 20 や 8 といった数値が実際に図書館で行われている質問の主題分布とどの程度一致しているかは今後の課題としたい。
23 齋藤泰則 (2007)「デジタル環境の進展による図書館と利用者との関係の変容：レファレンスサービスの仲介的機能の展開を中心に」情報の科学と技術, 57(9), 429-433.
8