\section{はじめに}
ここ数年，Webなどの大量の電子化テキストに現れる他者が発信した意見情報を抽出し，集約や可視化を行うことで，世論調査や評判分析といった応用を実現する研究が進んでいる\cite{pang2008,liu2010,otsuka2007,inui2006}．これらの研究を総称して，意見分析({\itSentimentAnalysis})あるいは意見マイニング({\itOpinionMining})と呼ぶ\cite{pang2008}．対象となる文書ジャンルは，報道機関が配信するニュース，Web上のレビューサイト，個人が自身の体験や意見を記述するブログやマイクロブログなどであり，政策や選挙のための情報分析，世論調査，商品や映画やレストラン・ホテルなどのサービスの評判分析，トレンド分析，などについて実用化が進められている．現在の意見分析の研究は，技術は洗練され，応用範囲は広がりつつあるものの，ここ数年，従来のやり方を大きく変えるような提案は著者の知る限りではあまり見当たらない．その結果，意見質問応答や，ドメインを横断した意見分析といった難易度の高い応用は，技術の壁にぶつかっている印象を持っている．意見質問応答は，factoid型，すなわち従来の質問応答技術に比べて，回答が長くなる傾向があり，また，質問に対する正答は，1つだけではなく，複数の意見を集約したほうが適切である場合が多い．初期の研究\cite{stoyanov2005emnlp}では，文や節などの単位を主観性などの情報に基づきフィルタリングすることで，回答が得られる可能性が増すことが指摘されていた．その後の研究\cite{balahur2010ecai}によると，評価型会議TAC(TextAnalysisConference)で提供されたブログからの意見質問応答・要約のデータセット\cite{dang2008tac}\footnote{http://www.nist.gov/tac/data/past/2008/OpSummQA08.html}を用いた実験では，ブログを対象として，特定の事柄に対する意見を問い合わせ，回答を得るというタスクについて，質問，回答を同一の極性や話題によりフィルタリングすることが有効であり，また複数の連続する文を抽出することが効果的であるが，意味役割付与などに基づくフィルタリングは必ずしも有効な結果が得られていない．さらに，さまざまな識者や組織により表明されている意見を話題別に集約するタスク\cite{stoy2011ranlp}などの提案もある．本研究では，複数の個人的な意見や体験が含まれる情報を集約して，回答として適切に構成するためには，従来の意見の属性，主観性，極性，意見保有者などにとどまらず，意見の詳細なタイプをアノテートし，質問と回答の構造について分析を進める必要があると考える．これにより，複数の個人的な意見や体験を，詳細なタイプに基づき，適切な順序で配置することにより，文章として自然な回答を提供できると考えている．また，質問と回答を含む文書ジャンルとして，Yahoo!知恵袋\footnote{http://chiebukuro.yahoo.co.jp/}などのコミュニティQAサイトがあり，意見質問の判別のために利用されている．具体的には，質問について主観性を判別するためには，質問と回答中の手がかりを区別して利用することが有効という研究\cite{li2008sigir}や，主観を伴う回答を求める質問を厳密に定義し，そのような質問は人間に対して回答を求めるという応用を目指している研究が存在する\cite{aikawa2011tod}．これらの研究は，主観性を判別する特徴が，質問と回答との間で明確ではないが関連があることと，意見を問う質問が判別できたとしても，適切な回答を自動的に構成することが難しいことを示唆している．一般に，質問に対する回答を検索するためには，質問に出現しやすい語彙と回答に出現しやすい語彙とのギャップを解消するために，その対応関係をコーパスから学習することにより，解決するための研究が行われている\cite{abe2011yans,berger2000sigir}．一方で，意見分析の研究は，文書ジャンル\footnote{文書ジャンルとは，文書の書き手と読み手との間で，読む行為を通じたコミュニケーションの共通パタンを想定できる文書群を指す概念と位置づけることができる\cite{bazerman2004}．}に応じて要求されるタスクが異なり，文書に現れる意見の性質も異なる．したがって，意見分析の研究にはコーパスが欠かせないが，現状では，ニュース，レビュー，ブログなどの文書ジャンルが主な対象となっている\cite{seki2013tod}．本研究では，従来の研究とは異なり，質問と回答を含む対話型の文書ジャンル，具体的には，国立国語研究所の『現代日本語書き言葉均衡コーパス』(BCCWJ)\cite{maekawa2011bccwj,yamasaki2011bccwj,bccwj2012}\footnote{http://www.ninjal.ac.jp/corpus\_center/bccwj/}中のYahoo!知恵袋\footnote{http://chiebukuro.yahoo.co.jp/}を対象として，質問とそれに対する回答に詳細な意見情報のアノテーションを行うことにより，質問と回答中の意見の構造やその対応関係を明らかにするための，基盤となるコーパスの提供を目指している．ただし，一口に意見といっても，その特徴はさまざまである．意見の定義の範囲は広く，主観性などの広い概念を対象とした場合，評価，感情，意見，態度，推測などの何を対象とするかを決定することも重要である\cite{wiebe2005lre,koba2006signl}．本研究では，態度の詳細分類であるアプレイザル理論\cite{martin2005}を参考に，詳細な分類体系に基づく意見情報をアノテートすることにより，質問に対する回答として出現する意見の傾向を，意見の性質の違いから明らかにすることを目指す．一方で，従来の意見分析では，単一のドメインを対象として研究がなされてきた．それは，ドメインに応じて，主観性，極性を判別したり，意見の対象やそのアスペクトを抽出するための教師あり学習に用いる素性が異なるからである．しかし，現実社会では，複数のドメインを横断して，意見分析を行うことが求められる場面が少なくない．この課題に向けた解決のための研究として，複数のドメインを対象とした意見分析に関する研究\cite{blit2007acl,pono2012emnlp,he2011acl,bolle2011acl,li2012acl}がある．これは，複数ドメインにおいて共通に出現する意見表現や，意見表現間あるいは意見の対象間の類似性を手がかりとして，訓練データと評価データとの不整合を緩和させようという試みである．英語については，Amazonレビューを対象としたコーパス\footnote{http://www.cs.jhu.edu/$\sim$mdredze/datasets/sentiment/}が公開されており，一連の関連研究ではこのコーパスを使用した研究が行われているが，日本語で同様のコーパスは流通していない\cite{seki2013tod}．したがって，こうした研究を促進するためには，日本語で同様のコーパスを開発する必要がある．また，レビューにとどまらない広い範囲のドメインを対象とした意見の違いなども明らかにする必要がある．本研究が対象とするコミュニティQAは，ブログなどと比較して，カテゴリに対して投稿内容が適合しているという特徴がある．具体的には，コミュニティQAサービスにおいて，ユーザは，適切な回答を得る必要性から，提供している質問カテゴリ\footnote{http://list.chiebukuro.yahoo.co.jp/dir/dir\_list.php?fr=common-navi}に対して適合した投稿を行う．これは，さまざまな話題を投稿するため，必ずしも事前に設定したカテゴリにはそぐわない話題を投稿する傾向のあるブログとの大きな違いである．また，ニュースやレビューと比べると，生活に密着した多様な話題が投稿される．これらを踏まえ，Yahoo!知恵袋の複数の質問カテゴリを対象としたコーパスを開発し，詳細な分類体系に基づく意見情報を重ね合わせて分析することにより，ドメインごとの意見の傾向の違いを明らかにすることを目指す．本論文の構成は以下のとおりである．\ref{sec:related}節では，関連研究を紹介する．\ref{sec:corpus}節では，コミュニティQAを対象とした意見分析のためのアノテーションの方針について述べる．\ref{sec:communityQA_annotation}節では，コミュニティQAを対象とした意見情報のアノテーション作業の特徴について議論する．\ref{sec:analysis}節では，Yahoo!知恵袋を対象として構築した意見分析コーパスを使用して，質問と回答や，ドメインあるいはコミュニケーションの目的に応じて出現する意見の性質の違いを明らかにする．最後に，\ref{sec:conclusion}節で結論をまとめる．
\section{関連研究}
\label{sec:related}本節では，まず，対話型の文書ジャンルを対象とした意見分析についての関連研究を紹介する．次に，複数のドメインを対象としたコーパスとその関連研究について紹介する．最後に，意見分析のアノテーションに関する関連研究を紹介する．\subsection{対話型の文書ジャンルを対象とした意見分析}\label{subsec:dialogue}\citeA{soma2007icwsm}は，Web掲示板やニュースからの質問応答において，質問と回答の態度を詳細に分類してフィルタリングすることが有効だという仮説を立て，実際に分類可能なタイプとして，意見(sentiment)に加えて議論(arguing)を設定し，その有効性を示した．ただ，この概念はかなり広いものであり，より詳細なカテゴリを設定しないと，質問と回答の関係は必ずしも明らかにならない．また，質問と回答が同一のタイプであることを仮定しているが，意見と議論が明確に区別できず，相互に混在する場合も避けきれないことから，平均的な回答精度の向上は見られても，完成度の高い戦略とはなりにくい．本研究では，より詳細な分類体系に基づき，質問と回答の関係について分析を行う．また，彼らはその後，議論のタイプを利用して，政治や宗教などのイデオロギー的な討論\cite{soma2010naacl}や，製品の比較\cite{soma2009acl}を対象として，スタンス（賛成，反対）\footnote{肯定(positive)，否定(negative)とはそのまま必ずしも対応しない．}の判別に取り組んでいる．彼らの知見で重要な点は2つあり，ひとつは，イデオロギー的な討論と，製品の比較とで，スタンスの判別に有用な意見のタイプが異なること，もうひとつは，スタンスの判別には，``議論''や``意見''がそれ単体では有効ではなく，その対象となる単語と組み合わせることが，有効なことを示している点にある．本研究では，これらの知見を踏まえ，詳細な意見タイプと，意見対象のタイプとの組合せに基づき，コーパスの分析を進める．一方で，コミュニティQAを対象とした意見分析の研究も行われている\cite{kucu2012wsdm}．この論文では，質問カテゴリ間の意見の性質の差，性差，年齢差，時間帯の差，経験による差，ベストアンサーにおける差など，コミュニティQAの分析に研究の重点が行われているが，意見分析自体は，汎用的なシステムを利用しており，極性（肯定・否定）の判別のみに重点が置かれている．また，コミュニティQAでは，質問カテゴリごとに，情報や知識を求めるものや，広くみんなの意見や体験を聞きたいもの，など，質問のタイプの出現傾向が異なることが知られている\cite{kuriyama2009fi}．本研究では，より詳細な意見タイプを人手でアノテートすることにより，各カテゴリにおいてどのような意見の差異があるかをより明確なかたちで述べる．本研究では，意見の詳細タイプとして，より一般化されたアプレイザル理論\cite{martin2005}に着目する．アプレイザル理論の関連研究として，\citeA{arg2009lang}は，11の態度評価の下位タイプの自動分類に取り組んでおり，精度は高くないものの，将来的な発展が見込める．\citeA{sano2010a,sano2010b}は，ブログを対象としてアプレイザル理論に基づく評価語彙と評価対象の関係などの分析を進めている．本研究では，質問と回答を含む対話型の文書ジャンルとして，Yahoo!知恵袋を対象として，アプレイザル理論を参照した詳細な意見タイプをアノテートすることで，質問カテゴリ間の意見の差異と，質問と回答間の意見の関係を明らかにすることを目指す．\citeA{kabutoya2008dbsj}は，日本語のコミュニティQAサービスにおけるコミュニケーションのタイプとして，\citeA{adamic2008www}を踏まえて，「知識交換」「相談」「議論」の3つを設定し，質問カテゴリと相関があることを示している．本研究では，これらのタイプと質問カテゴリを組み合わせることにより，意見の詳細タイプの出現傾向を明らかにする．\subsection{ドメインを横断した意見分析}\label{subsec:domain}各ドメインごとに文書中で使用される概念や語彙の傾向は異なることから，あらゆるドメインに対応した意見分析システムを構築するのは手間である．そこで，ドメインに適応する技術(domainadaptation)\cite{soggard2013domain}を用いて，意見分析を実現する研究\cite{pono2012emnlp,he2011acl,bolle2011acl,li2012acl}が進められている．たとえば，あるドメインの少数の訓練データに基づき，別のドメインの大量のデータから類似度により重み付けをして選別・拡張する方法\cite{pono2012emnlp}が用いられている．また，学習にあたっての素性を，対象データに適合したものになるように拡張するアプローチ\cite{he2011acl,bolle2011acl}も研究されている．素性の拡張に当たっては，元のドメインと対象ドメインで共通する特徴に着目する必要があり，トピックと極性を共有する単語\cite{pono2012emnlp}，周辺語と極性を共有する単語\cite{bolle2011acl}などが用いられる．また，ドメインごとに意見の対象となる表現を抽出するためには，一般的な意見表現を利用することが行われる\cite{li2012acl}．以上のように，ドメインを横断した意見分析の研究では，ドメインごとの意見表現と，ドメインを横断した意見表現を識別することが重要となる．上記の研究は，{\itAmazon}レビューの複数のドメインを対象としたデータセット\footnote{http://www.cs.jhu.edu/$\sim$mdredze/datasets/sentiment/}を用いている\cite{blit2007acl}．このデータセットでは，書籍，DVD，電気製品，台所用品の4つのドメインに関する製品データを取り扱っている．それぞれのドメインでは，1,000の肯定・否定のラベルが付いたレビュー文書と，ラベルの付いていない，より多くのレビュー文書が含まれている．本研究では，Yahoo!知恵袋の質問カテゴリのうち，質問数の多い主要7カテゴリを，質問者の情報要求を反映したドメインとみなし，意見分析コーパスを構築する．また，各ドメインにおいて，意見とその対象となる単語としてどのような組合せが現れるかを，意見の詳細タイプをアノテートしたコーパスを用いて分析することにより明らかにする．\subsection{意見分析のためのアノテーション}\label{subsec:mpqa}次に，意見分析のためのアノテーションを行った代表的な意見分析コーパスとして，{\itMPQA}({\itMulti-PerspectiveQuestionAnswering})意見コーパス\footnote{http://www.cs.pitt.edu/mpqa/}を紹介する．本コーパスは，2002年に，従来の質問応答システムとは異なる多観点の質問応答を対象としたコーパスを開発したことに端を発する\cite{wiebe2002mpqa}．具体的なタスクとしては，政府機関で働く情報分析者が行う作業を自動化することを目的としており，ニュース記事から意見の断片をあらわすテキストを抽出し構造化することで，米国の京都議定書への対応に対して日本人が同意しているか，などの意見（見方）を問う質問に対する回答を提供できるような応用を検討していた．この時点で，8つのトピック（のちに，10トピック）に関連する{\itWorldNewsConnection}(\textit{WNC})\footnote{http://wnc.fedworld.gov/}の575の記事（Ver1.2で，535記事に選別）を対象としたコーパスが作成された．このコーパスは，Version2.0で，692文書に拡張されている．ただし，文書数で見ると，元のWorldNewsConnectionの記事数が535文書なのに対して，{\itWallStreetJournal}の記事が85文書，{\itAmericanNationalCorpus}（旅行ガイド，話し言葉の書き起こし，9/11レポートなど）が48文書，{\itULA言語理解サブコーパス}（{\itEnron}社破たんに関する社員の電子メール，アラブ言語の翻訳などの文書）から24文書と，文書ジャンルは多岐に渡るもののそのバランスは悪く，ニュース記事が圧倒的に多い．本研究では，コミュニティQA以外にも，現代日本語書き言葉均衡コーパス(BCCWJ)などを活用することにより，各文書ジャンルのバランスを考慮した意見分析コーパスを開発する．この研究の貢献の一つは，意見情報のアノーテションのフレームワークを，多数の判定者による実験を通して厳密に定めた点にある\cite{wiebe2005lre}．アノテーションの方針については，サンプルを使ってアノテータを訓練することにより，方針を自分だけではなく他人とも一貫させるように訓練することを重視している．アノテータ間の一貫性の判定には，$\kappa$係数\cite{cohen1960}を用いている．これらの方針は，本研究の意見分析コーパスの構築の際にも，参考にする．
\section{コミュニティQAデータを対象とした意見情報のアノテーション}
\label{sec:corpus}本節では，Yahoo!知恵袋を利用した意見分析コーパスの作成の取り組みについて紹介する．\subsection{対象コーパスの概要}\label{subsec:corpus}本研究では，国立国語研究所の『現代日本語書き言葉均衡コーパス』（以降，BCCWJ）\cite{maekawa2011bccwj,yamasaki2011bccwj,bccwj2012}\footnote{http://www.ninjal.ac.jp/corpus\_center/bccwj/}の中からYahoo!知恵袋を対象として，意見分析コーパスを作成した．データの選択は，複数の研究機関が異なるアノテーションを提供している共通の文書群である{\bfコアデータ}を対象として，その中から質問数の多い主要7カテゴリを対象とした．これらのカテゴリ中の文書は，BCCWJにおいて提供されるYahoo!知恵袋のデータ全体に対しては，28.3\%の文書を，コアデータに対しては，26.8\%の文書をカバーしている．他の研究機関が提供するアノテーションのうち，一部のデータは，\ref{subsec:targettype}節で後述するように利用し，アノテーションの重ね合わせを行った．また，データの仕様上，質問とベストアンサー\footnote{質問者の選択あるいはYahoo!知恵袋のユーザの投票に基づく最良の回答．}とのペアを1文書としている．文書のデータサイズを表\ref{table:yahoo_opinioncorpus}に示す．また，比較のために，新聞記事，BCCWJのYahoo!ブログ，国会会議録についても意見分析コーパスを作成した．新聞記事は，{\itNTCIR-6,7}意見分析コーパス\footnote{http://research.nii.ac.jp/ntcir/data/data-ja.html}を，Yahoo!ブログと国会会議録は，BCCWJのコアデータに含まれるものを利用している．対象となる文書の統計量を表\ref{table:other_opinioncorpus}に示す．また，\ref{subsec:annotation_methodology}節で説明するように，アノテータ間の判定の一致度を調査するために，これらのデータからサンプリングを行っている．サンプルデータのサイズを，表\ref{table:sample}に示す．Yahoo!知恵袋のサンプルは，各質問カテゴリについて10文書ずつ選択しており，他の文書ジャンルについても，話題のバランスを考慮してサンプルの文書を選択している．なお，本節以降において表に示す結果は，サンプルデータを用いている表\ref{table:kappa_communication}と表\ref{table:kappa}を除き，意見分析コーパスの全データを対象としている点に注意されたい．\begin{table}[t]\caption{Yahoo!知恵袋を対象として作成した意見分析コーパスのサイズ}\label{table:yahoo_opinioncorpus}\input{ca10table01.txt}\end{table}\begin{table}[t]\caption{新聞記事，Yahoo!ブログ，国会会議録を対象として作成した意見分析コーパスのサイズ}\label{table:other_opinioncorpus}\input{ca10table02.txt}\end{table}\begin{table}[t]\caption{判定一致度の計算に用いるサンプルデータのサイズ}\label{table:sample}\input{ca10table03.txt}\end{table}\subsection{アノテーションの基本属性}\label{subsec:basic}本研究の目的は，コミュニティQAという質問と回答を含む対話型の文書ジャンルへのアノテーションを通して，対話中に出現する意見情報の傾向を明らかにして，複数ドメインの意見分析ならびに意見質問応答の研究に応用できる日本語コーパスを開発することにある．具体的な応用としては，ドメインやコミュニケーションの目的に応じた情報要求や回答の傾向を明らかにすることによる，ドメインを横断した意見分析や，コミュニケーションの目的に適したかたちで意見を集約する意見質問応答を考える．意見分析コーパスの作成では，一般に，文やフレーズを単位として，意見性（主観性），極性（ポジネガ），意見保有者（誰がその意見を表明あるいは保有しているか），意見対象（何についての意見か）などの情報をアノテートする\cite{wiebe2005lre,seki2010ntcirov}．本稿でも，これらの研究の方針に従い，意見性（あり，なし），極性（肯定，否定，中立），意見保有者（文字列），意見対象（文字列）を意見の基本属性としてアノテートする．アノテーションの単位は，知恵袋中の1文が短いことから，基本を1文単位として，1文中の別々の節に異なる意見が含まれる場合には，節を分割してアノテーションを行う．節の分割は\ref{subsec:annotationtool}節で述べるアノテーションツールを使用して行う．一方，自らの悩みや問題を解消するために，回答者に問い合わせるという目的のコミュニティQAサービスでは，個人的な情報として体験情報あるいは経験情報\cite{inui2008nlp,kurashima2008dews,seki2008wi2}も，対話型のコミュニケーションにおいて重要な役割を果たす．本研究では，\citeA{seki2008wi2}を参考にして，体験性（あり，なし），体験主（著者，著者の家族，著者の友人，その他），体験タイプ（最近の体験，過去の体験，近い未来の確実な予定，その他）についてもアノテーションを行う．また，\ref{subsec:dialogue}節でも述べたコミュニケーションタイプ\cite{adamic2008www,kabutoya2008dbsj}（``相談''，``議論''，``知識交換''）を，1つの文書（質問と回答（ベストアンサー）とのペア）を単位としてアノテートし，質問カテゴリと組み合わせて，意見・体験情報の質問・回答間における出現傾向や，ドメインごとの差異について，詳細な分析を行う．ただし，この3つのタイプに含まれない雑談などを目的としたコミュニケーションについては，``その他''のタイプとする．このほかに，意見の詳細タイプ，意見対象のタイプについてアノテーションを行うが，これらの属性については，\ref{subsec:opiniontype}節，\ref{subsec:targettype}節で，後述する．\subsection{意見の詳細タイプの定義}\label{subsec:opiniontype}大量のソーシャルメディアにおけるデータを対象とした，時系列・地域あるいは何らかのカテゴリごとの意見の出現傾向の変化は，極性分類（肯定，否定，中立）により分析を行うことがあるが，対話における意見の役割の違いを分析する上では，この分類は粒度が粗すぎて，必ずしも傾向が明らかとならない．また，極性の判定はドメインごとに傾向が変化するため，自動的にアノテートして傾向を分析\cite{kucu2012wsdm}しても，その傾向の信頼性は必ずしも保障できない．本研究では，以上の問題点を意識し，意見の詳細タイプを定義し，人手でアノテートすることで，質問カテゴリごと，あるいは質問と回答とを関係づける意見の傾向を分析することを試みる．意見は，大きく分けて，(1)肯定，否定的なニュアンスを含む態度と，(2)提案などの言語行為や推測などの話者の認識をあらわす中立的な意見に分類される．本研究では，前者については，アプレイザル理論\cite{martin2005}に基づき定義を行った．アプレイザル理論は，システミック文法の対人メタ機能(interpersonalmeta-function)を，談話意味論(discoursesemantics)の観点から整理した体系である．\citeA{martin2005}は，テキスト中に現れる対人メタ機能の意味は，仮想的な読者(putativereader)に対する感情や対話であるという信念に基づき，appraisal,negotiation,involvementの3つのシステムから構成されるものとした．また，appraisalは，態度評価(attitude)，形勢・やり取り(engagement)，程度評価(graduation)の3つのシステムから構成されるものとした．このうち態度評価は，感情(emotion)，倫理(ethics)，美学(aesthetics)の区別に基づき，以下に記述する通り，自発的な感情の表明(affect)，人間や組織の振舞や行為の判断や批評(judgment)，事物や事象に対する評価(appreciation)の3つに分類される．本研究では，\citeA{martin2005}の中で定義されている，14の下位タイプを意見の詳細タイプ（{\bf態度タイプ}）としてアノテートする．以下では，それぞれのタイプについて，本研究におけるアノテーションのための定義と例について述べる．\begin{enumerate}\item自発的な感情の表明(affect)\\感情の表明は，心理状態を記述する動詞，属性形容詞，叙述形容詞，形容詞に関連した副詞や名詞（恐怖，嫌悪等）などで表現され，感情を表明する人に焦点を当てる．また，主体の感情を記述するほか，感情を誘発する体験（痛み，恋愛），感情を示唆する振舞（涙，笑い，感謝等），対象に対する心情（好き，誇り，トラウマ）の記述も含まれる．下位タイプとして，肯定・否定の両面から，以下に要素と具体例を示す．\begin{itemize}\item切望・敬遠（未事実的）：要求，切望する，〜たい／用心深い，震える，恐れ（て…しない）\item幸せ・不幸（好悪自発感情的）：うれしい，笑う，愛する／泣く，かなしい，嫌悪する\item安心・不安（生態環境・精神安定的）：信頼，任せる，保証／驚く，心配する，不安定な\item満足・不満（目標活動・欲求充足的）：報いる，充実，うれしい／怒る，陳腐，あきあきした\end{itemize}\item人間や組織の振舞や行為の判断や批評(judgment)\\人間や組織の振舞，行為，信念，性格に焦点を当て，規範，規則，社会的期待，価値体系に基づく（提案的なニュアンスの）批評や賞賛を分類する．これらは，副詞（正直に），属性形容詞（腐敗した政治家），叙述形容詞（残酷な），名詞（暴君，嘘つき），動詞（だます）で表される．批評を誘発する具体的な振舞や行為の記述も含む．モダリティ助動詞（可能，義務，意思）や副詞（確率，程度）は，批評を強調する．肯定・否定の両面から，以下の下位タイプを指定する．\begin{enumerate}\item世評に基づく尊敬・軽蔑（比較しやすい）\begin{itemize}\item通常・特別（特殊性）：精通した，自然な，ラッキー／奇妙，風変わり，独特な\item有能・無能（有能さ）：強力な，健全な，成熟した／弱い，愚かな，鈍い\item頑強・軽薄（信頼性）：勇敢，信頼に足る，忠実／軽率，せっかちな，臆病な\end{itemize}\item道徳に基づく是非（(a).より対象に固有で比較されていない）\begin{itemize}\item真実・不実（誠実さ）：正直，信憑性ある，率直／だます，嘘つき，ひねくれた\item倫理（親切・謙虚等）・邪悪（我侭・高慢等）（倫理的是非）：寛容，親切，礼儀正しい／邪悪，残酷な，わがままな\end{itemize}\end{enumerate}\item事物や事象に対する評価(appreciation)\\事物（自然物，人工物，芸術作品，建造物，構造，人間（ハンサム，ブ男）等）や抽象物（計画，政策等）に焦点を当て，美的感覚，社会的な意義に基づく評価を，客観化（あるいは一般化）された事物の属性や命題のように表現する．この意見は，商品の評判分析などで重要な役割を果たす．肯定・否定の判断基準と用語の選択は，ドメインに依存する．抽象物を対象とした場合は，(2)判断や批評とあいまいになる場合があるが，文脈で判断する．肯定・否定の両面から，以下の下位タイプを指定する．\begin{enumerate}\item対象に対する主体の反応\begin{itemize}\item衝撃・退屈（感想・反応）：目立つ，刺激的，強烈な／うんざり，単調な，あきあきする\item魅力・嫌悪（質感・反応）：華麗，美しい，魅惑的／不愉快な，グロテスクな，むかつく\end{itemize}\item対象の構成・構造に対する形状的・観念的美醜\begin{itemize}\item調和・混乱（構成・構造）：均整のとれた，一貫／むらのある，矛盾，ずさん\item明瞭・複雑（構成・構造）：純粋，わかりやすい／飾り立て，仰々しい，わかりにくい\end{itemize}\item対象の価値評価\begin{itemize}\item有用・無用や有害（社会的意義を反映した観念の認識，ドメインや文化に依存）：鋭い，革新的な，タイムリーな／つまらない，従来の，浅はかな，有害な\end{itemize}\end{enumerate}\end{enumerate}また，上記では含まれない認識や言語行為を表す中立的な意見のタイプを，新たな意見の詳細タイプ（{\bf認識・行為タイプ}）として定義した．このタイプは，態度タイプを付与できないが意見を含んでいると考えられる文について，アノテータから提案されたタイプを検討することで定義した．以下に8つの下位タイプを示す．\begin{itemize}\item推測：〜ではないか／〜だと思う等．個人的な見通しを述べている．\item提起：〜しよう（誘い）／〜すべきだ・すべきではないか．\item賛否：そうですね／そうではないと思う．\item感謝：感謝します／ありがとうございます．\item謝罪：申し訳ないです／すみません．\item同情：可哀想だ／大変ですね．\item疑問：そうでしょうか．\item同意要求：〜ですよね／〜するほうがいいでしょうか．\end{itemize}\subsection{意見対象タイプの定義と既存アノテーションの活用}\label{subsec:targettype}\ref{subsec:dialogue}節でも述べたように，対話型の文書ジャンルにおいて意見を分析する上では，意見の詳細タイプだけではなく，意見対象と組み合わせて分析を行うことが重要となる．意見対象，すなわち何についての意見かという情報は，\ref{subsec:basic}節で述べたように，本コーパスでは文字列単位でアノテートをしている．ただ，意見情報を詳細に分析し，質問や回答やドメインに応じた意見の傾向を分析しようと考えた場合，文字列をそのまま使用するのではなく，分類体系に基づく抽象化が必要となる．このような情報を利用できるリソースとして，BCCWJのコアデータを対象として，拡張固有表現\cite{sekine2007ene}をアノテートして公開されたコーパス\cite{hasimoto2009nl}がある．拡張固有表現の表現体系は，3階層の200のカテゴリから構成されているが，意見対象をタイプ分類する上では，詳細すぎない体系が良いと考え，第1階層の26のタイプ（人名，組織名，製品名，自然物名など）を意見対象タイプの分類体系として採用する．また，意見対象のタイプは，拡張固有表現の分類体系と必ずしも対応しておらず，一般名詞が反映する概念も重要である場合があることから，新たに，抽象概念（例，措置,耕作放棄地,善悪,正義），行為概念（例，発言,マデシ政権の要求,片付け,散歩），人間属性概念（例，体重,健康,血圧）の3つのタイプを追加した．以上を踏まえ，意見対象タイプは，拡張固有表現を参考にし，以下の手順でアノテーションを行った．\begin{enumerate}\item本研究でアノテートした意見対象の文字列と，拡張固有表現コーパスの同一文書中のアノテートされた文字列とを比較し，完全一致の場合には，そのまま拡張固有表現のタイプを意見対象タイプとして採用した．\item完全に一致する文字列がない場合には，文字列間の編集距離が近い順に候補を提示し，その中からアノテータが選択することにより，半自動的にアノテートした．\item1と2の作業が終了した後で，一般名詞などの文字列で表現される意見対象について，アノテーションを追加した．\end{enumerate}\subsection{アノテーションツール}\label{subsec:annotationtool}\begin{figure}[b]\begin{center}\includegraphics{21-2iaCA10f1.eps}\end{center}\caption{使用したアノテーションツール}\label{fig:annotationtool}\end{figure}本研究では，ウェブブラウザでアクセスできるアノテーションツール\footnote{本ツールは，他の意見分析タスク\cite{seki2010ntcirov}でも使用されている．}をアノテータに公開して使用させ，コーパスを構築した．アノテーションツールを図\ref{fig:annotationtool}に示す．本ツールでは，右フレームに作業対象全文が示されており，文の区切りを修正することができる（修正した文については，他のアノテータと区切りを共有する）．そのうちの1つの文を対象として，左フレームで各属性についてアノテーションを行う．必要なアノテーションを行ったら，結果の保存ボタンを押す．この段階で，アノテーションが必要な属性についてチェックが行われていない場合には，そのことを注意するウィンドウがポップアップする．必要な属性をすべてアノテートし，結果の保存に成功すると，次の文のアノテーションが行えるようになる．一度保存された結果は，次にツールにアクセスするときには，読み込まれてチェックボックスがチェックされた状態で，以前にアノテートした属性を確認あるいは修正できる．複数のアノテータ同士では，各文の区切り方のみ情報が共有されており，各アノテータによるアノテーション情報は，別々に保存されている．各アノテータは，ツールにアクセスするときに自分のアノテータIDでログインすることにより，自らがアノテートした以前の情報にアクセスできる．\subsection{アノテータについて}アノテータは，Yahoo!知恵袋を日常的に閲覧する社会人（情報収集を日常業務とする職種）を対象として，2名のアノテータ（男女1名ずつ）を雇用した．これとは別に，新聞記事に同様の意見情報を付与するアノテータを2名雇用し，両文書ジャンルのアノテーション方針の調整役を1名，全体の取りまとめ役を1名雇用した．新聞記事のアノテーションを並行して行ったのは，従来の意見分析コーパスの文書ジャンルとの共通性ならびに違いを明らかにする目的で行った．また，これらのアノテーションが終わった後に，Yahoo!ブログと国会会議録を対象として，同様にアノテータを2名ずつと取りまとめ役を1名雇用して，アノテーションを行った．\subsection{アノテーションの手順}\label{subsec:annotation_methodology}意見分析の代表的なコーパスのひとつに，\ref{subsec:mpqa}節でも紹介した，{\itMPQA}({\itMulti-PerspectiveQuestionAnswering})意見コーパス\footnote{http://www.cs.pitt.edu/mpqa/}があり，意見情報のアノテーションのフレームワークを，多数のアノテータによる実験を通して厳密に定めている\cite{wiebe2005lre}．アノテーションの方針としては，(1)文脈を考慮して判定する(2)方針を一貫させる，などがあり，サンプルを使ってアノテータを訓練することにより，アノテーションの方針を自分だけではなく他人とも一貫させるように訓練することにより，方針のずれを修正することを重視している．以上を踏まえ，本研究のアノテーションの手順は，以下のとおりとした．\begin{enumerate}\itemアノテータは遠隔で判定作業を行った後で，疑問に思った点などを書き出す．\itemアノテータ全員と直接対面することで，不明確な方針について議論を行い，方針を固めた後で，アノテーションマニュアルを作成する．\itemマニュアルに基づき，サンプルデータについてアノテータ同士の判定の一致度を調査し，判定が一致してきたことを確認した後，すべてのデータについて判定を行う．\end{enumerate}作業は，アノテータを決定した後，\ref{subsec:corpus}節で紹介したサンプルデータ（70文書，各質問カテゴリ10文書）を対象として，20日間にわたりアノテーションを行い，疑問点などを洗い出した後，著者を含む7名が直接対面し，方針について議論セッションを行った．これに伴い，一部アノテーション属性などについて修正を行った後，2週間ほどかけて著者と取りまとめ役との間で調整を行い，アノテーションのガイドラインを取りまとめた．このアノテーションガイドラインに基づき，約1ヶ月をかけて残りの文書についてアノテーションを行った．作業に要した時間は，サンプルデータのアノテーションが12時間，議論セッションが約4時間，残りのアノテーションの時間が46時間であった．
\section{コミュニティQAを対象とした意見情報のアノテーション作業の特徴}
\label{sec:communityQA_annotation}コミュニティQAのような対話的な文書は，新聞記事のようなモノローグ的な文書と比べると，対話相手に（できるだけ早い段階の）反応を喚起するような言い回しを積極的に活用する点に特徴がある．コミュニティQAにおいては，質問者は，一般には，そのスタンス，あるいは立場や価値観を，短い文書を通じて共有してもらいつつ回答を促す．回答者は，同様に，質問者に回答を通じて回答者のスタンス，立場，価値観を共有，あるいは覆すよう働きかける．こうした分析のために，本研究では，\ref{sec:corpus}節で導入した態度タイプ\cite{martin2005}や認識・行為タイプなどの意見の詳細タイプを採用することにより，質問者や回答者，あるいはその他のスタンスを区別することが可能となると考える．コーパスを用いた分析については，\ref{sec:analysis}節で述べる．本節では，最初に意見・体験情報の基本属性の分布を示した後で，意見の詳細タイプをアノテートする上での課題や解決策について議論する．\subsection{コミュニティQAにおける意見情報アノテーションの分布}\label{subsec:distribution}まず，Yahoo!知恵袋コーパスにおける意見・体験情報の基本属性の分布を，全体ならびにコミュニケーションタイプ\cite{adamic2008www,kabutoya2008dbsj}別に表\ref{table:yahoo_distribution}に示す．\begin{table}[b]\caption{Yahoo!知恵袋コーパス中の意見・体験情報の分布}\label{table:yahoo_distribution}\input{ca10table04.txt}\end{table}全体の分布から，Yahoo!知恵袋においては，質問・回答ともに意見情報が多く現れているが，特に回答に多く現れている\footnote{t-検定（有意水準1\%，両側検定）で，各カテゴリの質問中の意見に対する有意差あり．}こと，それに対して体験情報は，質問にやや多く現れている\footnote{t-検定（有意水準5\%，両側検定）で，各カテゴリの回答中の体験に対する有意差あり．}ことがわかる．また，肯定意見は質問において特に少ない\footnote{Dunnettの多重比較検定（有意水準5\%）で，各カテゴリの質問中の否定意見，中立意見の構成比に対する有意差あり．}．これは，何らかの悩みを持ったユーザが，コミュニティQAサイトにおいて質問をしていることを考えれば自然な結果である．また，回答においては，特に中立的な回答が多い\footnote{Dunnettの多重比較検定（有意水準5\%）で，各カテゴリの回答中の肯定意見，否定意見の構成比に対する有意差あり．}．これは，ベストアンサーにおいては，中立的な意見が好まれる傾向があることを反映していると考えられる．コミュニケーションタイプについては，``知識交換''タイプでは，``相談''や``議論''に比べて意見情報が少ない傾向が見られる．また，``議論''タイプの質問では，体験情報が少ない傾向が見られる．さらに，従来の意見分析の文書ジャンルである新聞記事，ブログと，コミュニティQAの間で，意見の詳細タイプの構成比を比較した結果を表\ref{table:attitude_rate}，表\ref{table:act_rate}に示す\footnote{なお，Yahoo!知恵袋とYahoo!ブログについて，表3，表4の構成比の合計値が100\%を超えているのは，態度タイプと認識・行為タイプとの重複付与を許していることによる．}．構成比は，意見の総数を分母とし，該当する意見タイプに分類された頻度を分子とした100分率を求めてから，すべての質問カテゴリ（またはトピック）に対するマクロ平均を計算した．これらの表から，コミュニティQAに対する意見のアノテーションは，認識・行為タイプが3分の1以上の意見に対して付与されているのに対して，他の文書ジャンルは20\%弱，5\%強となっており，特に，``提起''のような，質問者や回答者に働きかけを行う意見が多く出現する傾向が見られる．\begin{table}[b]\caption{各文書ジャンルの意見の態度タイプの構成比(\%)}\label{table:attitude_rate}\input{ca10table05.txt}\end{table}\begin{table}[b]\caption{各文書ジャンルの意見の認識・行為タイプの構成比(\%)}\label{table:act_rate}\input{ca10table06.txt}\end{table}\subsection{コミュニケーションタイプごとのアノテーションの課題}\label{subsec:communication_annotation}アノテータ間の判定の一致度は，$\kappa$係数\cite{cohen1960}を用いて計算した．サンプルは，\ref{subsec:corpus}節でサンプルデータとして紹介した70文書を選択した．2名のアノテータ間での判定一致度（$\kappa$係数）を確認した結果を表\ref{table:kappa_communication}に示す．なお，片方のアノテータが意見性がないと判定した場合などは，片方の意見者の値は空値となるため，空値をタイプの1つとみなして$\kappa$係数を計算していることに注意されたい．また，\ref{subsec:basic}節で述べた意見を分割する場合についてであるが，この点については，取りまとめ役の第3者を通して，事前に区切る場所のみアノテータ同士で協議一致させた上で，値を計算している\footnote{ただし，Yahoo!知恵袋については，1文を区切って複数の意見をアノテートするケースはさほど多くない．}．表\ref{table:kappa_communication}の結果から，意見性，極性については，almostperfect/ほとんど一致，あるいは，substantial/かなりの一致\cite{landis1977}という結果になったが，その他の属性については，moderate/中程度の一致となった．\begin{table}[t]\caption{サンプルデータを用いた各コミュニケーションタイプのアノテータ間判定一致度（$\kappa$係数）}\label{table:kappa_communication}\input{ca10table07.txt}\end{table}また，2名のアノテータによるコミュニケーションタイプのアノテーションが一致した結果により，アノテーションを分類した結果についても，一致度を計算した．この結果と\ref{subsec:distribution}節の表\ref{table:yahoo_distribution}の結果を比較することで，そのコミュニケーションタイプにおいて少ない傾向が見られた，``知識交換タイプ''の``態度''と``認識・行為''や，``議論タイプ''における``体験情報''などの一致度が低いことが分かる．この結果から，コミュニケーションの目的から直感的に連想されにくい情報のアノテーションは，判定がゆれる傾向が見られる．たとえば，質問カテゴリ「インターネット」における，以下のような回答を考える．\begin{itemize}\item「ＰＯＷＥＲＭＡＮＡＧＥＭＥＮＴの項目で設定ができます。」\item「具体的には、ＰＣをがばっと広げて、メモリーと呼ばれる板っ切れを、ぶすっと突き刺せば、ＯＫです。」（一部抜粋）\end{itemize}このような文は，質問に対する手続き的な回答を示していると考えれば，意見性はないと判断することもできる一方で，機能の有用性を示す意見，提起を示す意見と判断される場合もある．\subsection{アノテーションが一致しない事例とその解決策}態度タイプについて，不一致の多い意見タイプを調査したところ，``頑強・軽薄（信頼性）''と``真実・不実（誠実さ）''に不一致があることがわかった．この点については，前者は，世評に基づく尊敬・軽蔑であり，後者は，道徳に基づく是非であることをアノテーションマニュアル中に強調した．その他の問題点としては，\ref{subsec:communication_annotation}節の例にも関連するが，片方のアノテータが，別のアノテータの付与した属性を，付与していないケースが散見された．これは多属性のアノテーションにおいては避けがたい問題であるが，認識・行為タイプと，態度タイプについては，共に付与する場合と，片方だけ付与する場合がある．これについては，以下のような記述をアノテーションマニュアル中に用意し，アノテータに教示することで改善を試みた．\begin{enumerate}\item態度タイプに該当するものがなく，認識・行為タイプのみを選択する例．\begin{itemize}\itemかつて海南市内にも町内に一軒位の割合でお好み焼き屋さんがあったように思う．\\\hfill（推測）\item米国，日本のファンの後押しには感謝しています．\hfill（感謝）\item私は，ハイレベル委員会の指摘に基本的に賛成です．\hfill（賛否）\itemそれはショックですよね．\hfill（同情）\item落札する前に聞いたほうがいいですよね？\hfill（同意要求）\end{itemize}\item態度タイプを分類しながら，認識・行為タイプにも該当するものがある場合の例．\begin{itemize}\itemみんなで周辺に空いている土地を探そう．\hfill（態度タイプ（切望・敬遠）＋提起）\item多数の職員において民間金融機関等との間に公務員としての節度を欠いた関係があったことはまことに遺憾であり，改めて国民の皆様に深くおわび申し上げます．\\\hfill（謝罪＋態度タイプ（幸せ・不幸））\itemところで皆さんは福田総理を信用できますか？\hfill（疑問＋態度タイプ（頑強・軽薄））\itemこれは，明らかに異常な状況だが，今の内務大臣の解決能力を超える事態であるのかもしれない．\hfill（態度タイプ「調和・混乱」，認識・行為「推測」）\end{itemize}\end{enumerate}BCCWJ中の別の文書ジャンルである国会会議録やブログについては，これらの知見を踏まえた上でアノテーションを行い，\ref{subsec:corpus}節で説明したサンプルデータを用いて，$\kappa$値を計算しており，表\ref{table:kappa}に示すとおり一致度は改善した．\begin{table}[t]\caption{サンプルデータを用いた各文書ジャンルのアノテータ間判定一致度（$\kappa$係数）}\label{table:kappa}\input{ca10table08.txt}\end{table}
\section{Yahoo!知恵袋コーパスを用いた意見・体験情報の分析}
\label{sec:analysis}本節では，\ref{sec:corpus}節で作成したYahoo!知恵袋を対象としたコーパスを用いて，以下の3つの分析を行う．\begin{enumerate}\item質問，回答に出現する意見・体験情報の傾向の分析．\item質問，回答に出現する意見・体験情報の対応関係の分析．\item質問，回答に出現する意見・体験情報の構造の分析．\end{enumerate}\ref{subsec:dialogue}節で紹介した関連研究によると，意見と意見の対象との関係は，著者のスタンスを反映している．この考えに基づき，本研究では，\ref{subsec:opiniontype}節と\ref{subsec:targettype}節で定義した，意見の詳細タイプと意見対象タイプのペアを基本単位として，質問と回答を含む対話型の文書ジャンルであるコミュニティQAにおける意見の特徴について分析する．また，\ref{subsec:domain}節でも議論した，意見のドメインあるいはコミュニケーションの目的に応じた差異を明らかにするために，各ドメイン（Yahoo!知恵袋の質問カテゴリ\footnote{http://list.chiebukuro.yahoo.co.jp/dir/dir\_list.php?fr=common-navi}）ならびにコミュニケーションタイプ\cite{adamic2008www,kabutoya2008dbsj}ごとに分析を行い，それぞれの質問カテゴリやコミュニケーションタイプに応じた意見・体験情報の特徴を明らかにする．これにより，特定のドメインやコミュニケーションの目的において意見を求める情報要求に応じて，トピックを表す語彙の分布を考慮するだけではなく，意見の詳細タイプに基づき，適切な回答を構成する応用を実現するための知見を提供する．\subsection{質問，回答に出現する意見・体験情報の傾向の分析}\label{subsec:analysis1}まず，質問カテゴリとコミュニケーションタイプとの対応関係を表\ref{table:yahoo_correspondance}に示す．各カテゴリには，コミュニケーションタイプに対する偏りがあることが明らかであり，\citeA{kabutoya2008dbsj}の主張とも合致する．\begin{table}[p]\caption{Yahoo!知恵袋の質問カテゴリとコミュニケーションタイプの対応}\label{table:yahoo_correspondance}\input{ca10table09.txt}\end{table}これを踏まえて，意見の詳細タイプ（態度タイプ，認識・行為タイプ）と意見対象タイプの組合せ，ならびに体験主と体験タイプの組合せのうち，特定のコミュニケーションタイプを反映したカテゴリの質問あるいは回答として，コーパス中に3件以上出現する組合せを，表\ref{table:yahoo_consult}，表\ref{table:yahoo_discussion}，表\ref{table:yahoo_knowledge}に示す．なお，意見情報については``意見の詳細タイプ—意見対象タイプ''，体験情報については，``体験主：体験タイプ''といった表記をしている．意見の詳細タイプについては，\ref{subsec:opiniontype}節の表記に従う．なお，表中に掲載されていない質問カテゴリは，3件以上出現する組合せがなかったことを意味する．以上の点は，これ以降の表でも同じ表記を採用する．\begin{table}[t]\caption{相談タイプの質問・回答に頻出する意見・体験情報}\label{table:yahoo_consult}\input{ca10table10.txt}\end{table}表\ref{table:yahoo_consult}から，全般に，``相談''タイプの質問においては，``最近の体験''が多い傾向が見られる．また，同じ``相談''を対象とした意見でも，質問カテゴリごと，あるいは質問と回答ごとに傾向が異なる．もっとも顕著な傾向が出ているのは``恋愛相談，人間関係の悩み''のカテゴリで，\\``人間''，``行為''に関係する``魅力・嫌悪''などの評価や，``不安''などが出現している．また，回答は，質問と比べて肯定・否定のバランスが取れてきていると同時に，``行為の提起''などの中立意見が増えている．``病気，症状，ヘルスケア''も同様の傾向が見られるが，対象に``病気''や\\``自然物名''（体の一部）が含まれる点が異なる．``Yahoo!オークション''については，``有用・無用''に関わる意見が含まれたり，``製品名''が対象となっている点が異なる．表\ref{table:yahoo_discussion}からは，``議論''タイプについては，``政治，社会問題''，``テレビ，ラジオ''などのカテゴリが増えていることがわかる．``政治，社会問題''については，``組織名''を対象として，``軽薄''あるいは``倫理''的に問題があるといった意見が出現している．``テレビ，ラジオ''については，\\``製品名''（番組名）の``魅力''について議論している．``恋愛相談，人間関係の悩み''については，``相談''の場合と比較して大きくは異ならないが，回答に肯定的な意見が少ない傾向が見られる．また，全般に体験の情報は，``相談''タイプと比べて少ない傾向が見られる．表\ref{table:yahoo_knowledge}からは，``知識交換''をするための意見は，回答のあいまい性の少ない知識に関係した質問カテゴリに出現することがわかる．``最近の体験''は，``相談''と同じく全般に質問中によく出現する傾向が見られる．``パソコン，周辺機器''のカテゴリにおいては，質問には，``製品名''を対象とした``切望''や``不満''などの意見が多い傾向が見られるのに対して，回答には，``製品名''を``提起''するなどの意見が見られる．``病気，症状，ヘルスケア''や``Yahoo!オークション''などのカテゴリにおいても，回答については，``病気名''や``製品名''（薬品名）あるいは``行為''について，``提起''あるいは``推測''するといった傾向が見られる．\begin{table}[t]\caption{議論タイプの質問・回答に頻出する意見・体験情報}\label{table:yahoo_discussion}\input{ca10table11.txt}\end{table}\begin{table}[t]\caption{知識交換タイプの質問・回答に頻出する意見・体験情報}\label{table:yahoo_knowledge}\input{ca10table12.txt}\end{table}\subsection{質問，回答に出現する意見・体験情報の対応関係の分析}\label{subsec:analysis2}次に，質問と回答の対応関係について分析を行う．\ref{subsec:analysis1}節と同様に，今度は質問と回答（ベストアンサー）とのペアについて，出現する意見・体験情報の対応がつくもののうち，出現頻度が3を超えるものを表\ref{table:yahoo_qaseq_consult}と表\ref{table:yahoo_qaseq_knowledge}に示す．なお，``議論''タイプについては，質問と回答のペアで出現頻度が3を越えるものがなかったため，提示していない．表\ref{table:yahoo_qaseq_consult}から，``相談''タイプにおいては，3つのカテゴリにおいて質問・回答の対応が見られる．``恋愛相談，人間の悩み''では，質問者の``最近の体験''に対して，何らかの``行為''の``提起''が返答される傾向が見られる．また，何らかの``敬遠''すべきあるいは``不安''を覚える\\``行為''について質問した場合，同じく``行為''の``提起''が回答される傾向が見られる．これに対して，``Yahoo!オークション''では，``製品''あるいは``行為''についての``疑問''に対して，\\``製品''や``行為''を``提起''するといった回答がある．また，質問者の``最近の体験''に対して，\\``行為''の``有用・無用''について回答をする場合もある．``病気，症状，ヘルスケア''では，回答に``病気名''を``提起''したり，``安心''感を与えるようなことを中立的に回答することがある．\begin{table}[t]\caption{相談タイプの質問と回答のペアに頻出する意見・体験情報}\label{table:yahoo_qaseq_consult}\input{ca10table13.txt}\end{table}\begin{table}[t]\caption{知識交換タイプの質問と回答のペアに頻出する意見・体験情報}\label{table:yahoo_qaseq_knowledge}\input{ca10table14.txt}\end{table}表\ref{table:yahoo_qaseq_knowledge}から，``知識交換''タイプにおいては，``パソコン，周辺機器''のカテゴリでは，質問者の``最近の体験''に基づき質問をすると，``製品名''を``提起''したりその``有用''性を回答する傾向が見られる．また，``製品''の``不満''を訴える質問に対しても，``製品名''を``提起''する回答がある．その他，``病気，症状，ヘルスケア''や``Yahoo!オークション''のカテゴリでは，質問者の``最近の体験''に対して，``製品名''や``病気名''を``提起''したり，``著者の過去の体験''に基づき明確な知識を回答する場合がある．\subsection{質問，回答に出現する意見・体験情報の構造の分析}最後に，質問，回答における意見・体験情報の構造を分析するために，前節と同様に，意見情報あるいは体験情報の前後に続く組合せのうち，出現頻度が3を超えるものを対象として分析を行った．その結果，Yahoo!知恵袋の質問または回答では，コミュニケーションタイプに関わらず，同じタイプの意見・体験情報を続けることが多い傾向が見られた．また，``パソコン，周辺機器''のカテゴリにおいて``知識交換''をする場合には，``製品''に対する``満足・不満''と質問者の``最近の体験''が連続する場合があることもわかった．
\section{おわりに}
\label{sec:conclusion}本稿では，従来，ニュース，レビュー，ブログなどが対象となって構築されていた意見分析コーパスについて，質問と回答を含む対話型の文書ジャンル，具体的にはBCCWJのYahoo!知恵袋を対象として意見分析コーパスを構築した．意見分析コーパスの構築にあたっては，従来の意見分析では行われてこなかった詳細な分析を目指し，態度タイプ\cite{martin2005}や，アノテータとの協議を通じて定義した認識・行為タイプといった意見の詳細タイプのアノテーションを行った．また，多数の属性の判定にあたり，一貫したアノテーションを実現するための課題や工夫点を紹介した．さらに，コミュニケーションタイプ\cite{kabutoya2008dbsj}や体験情報\cite{seki2008wi2}をアノテートし，意見対象タイプを拡張固有表現コーパス\cite{hasimoto2009nl}を利用してアノテートすることにより，意見の詳細タイプや質問カテゴリと重ね合わせることで，従来の極性分類に基づくコミュニティQAを対象とした意見分析\cite{kucu2012wsdm}では明らかにできなかった，質問カテゴリやコミュニケーションタイプごとの詳細な意見の傾向の違いや，質問と回答間の意見・体験情報の関係を明らかにした．今後の課題は，これら多数の属性を自動的にアノテーションすることにより，より大規模なデータを対象とした傾向を分析することにある．態度タイプなどの自動アノテーションに関する研究は，\citeA{arg2009lang}など，あまり数多くないが，態度評価辞書\footnote{http://www.gsk.or.jp/catalog/gsk2011-c/}の公開なども進んでおり，引き続き取り組んでいきたい．また，多属性のデータは，個別の属性の教師データが十分に得られないという課題があるが，この点は半教師ありトピックモデル\cite{kim2012icml}などの知見を活用することを検討している．{\addtolength{\baselineskip}{-1pt}\acknowledgment『現代日本語書き言葉コーパス(BCCWJ)』は，国立国語研究所により提供されたものを利用した．ここに深く感謝する．本研究の一部は，科学研究費補助金基盤研究C（課題番号24500291），基盤研究B（課題番号25280110），萌芽研究（課題番号25540159），ならびに筑波大学図書館情報メディア系プロジェクト研究による助成に基づき遂行された．\par}\vspace{-0.5\Cvs}\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{{阿部}\JBA{古宮}\JBA{小谷}}{{阿部}\Jetal}{2011}]{abe2011yans}{阿部}裕司\JBA{古宮}嘉那子\JBA{小谷}善行\BBOP2011\BBCP.\newblock相互情報量を用いた質問応答システムのためのクエリ拡張.\\newblock\Jem{NLP若手の会第6回シンポジウム}.\bibitem[\protect\BCAY{{Adamic},{Zhang},{Bakshy},\BBA\{Ackerman}}{{Adamic}et~al.}{2008}]{adamic2008www}{Adamic},L.~A.,{Zhang},J.,{Bakshy},E.,\BBA\{Ackerman},M.~S.\BBOP2008\BBCP.\newblock\BBOQKnowledgeSharingandYahooAnswers:EveryoneKnowsSomething.\BBCQ\\newblockIn{\BemProceedingsofthe17thInternationalConferenceonWorldWideWeb(WWW2008)},\mbox{\BPGS\665--674},Beijing,China.\bibitem[\protect\BCAY{{Aikawa},{Sakai},\BBA\{Yamana}}{{Aikawa}et~al.}{2011}]{aikawa2011tod}{Aikawa},N.,{Sakai},T.,\BBA\{Yamana},H.\BBOP2011\BBCP.\newblock\BBOQCommunityQAQuestionClassification:IstheAskerLookingforSubjectiveAnswersorNot?\BBCQ\\newblock{\Bem{IPSJTransactionsonDatabases}},{\Bbf4}(2),\mbox{\BPGS\1--9}.\bibitem[\protect\BCAY{Argamon,Bloom,Esuli,\BBA\Sebastiani}{Argamonet~al.}{2009}]{arg2009lang}Argamon,S.,Bloom,K.,Esuli,A.,\BBA\Sebastiani,F.\BBOP2009\BBCP.\newblock\BBOQ{AutomaticallyDeterminingAttitudeTypeandForceforSentimentAnalysis}.\BBCQ\\newblockIn{\Bem{HumanLanguageTechnology.ChallengesoftheInformationSociety}},\lowercase{\BVOL}\5603of{\BemLectureNotesinComputerScience},\mbox{\BPGS\218--231},Poznan,Poland.\bibitem[\protect\BCAY{Balahur,Boldrini,Montoyo,\BBA\Martinez-Barco}{Balahuret~al.}{2010}]{balahur2010ecai}Balahur,A.,Boldrini,E.,Montoyo,A.,\BBA\Martinez-Barco,P.\BBOP2010\BBCP.\newblock\BBOQ{OpinionQuestionAnswering:TowardsaUnifiedApproach}.\BBCQ\\newblockIn{\Bem{ProceedingsofEuropeanConferenceonArtificialIntelligence(ECAI)}},\mbox{\BPGS\511--516}.IOSPress.\bibitem[\protect\BCAY{{Bazerman}\BBA\{Prior}}{{Bazerman}\BBA\{Prior}}{2004}]{bazerman2004}{Bazerman},C.\BBACOMMA\\BBA\{Prior},P.\BBOP2004\BBCP.\newblock{\Bem{WhatWritingDoesandHowItDoesIt}}.\newblockLawrenceErlbaumAssociates.\bibitem[\protect\BCAY{{Berger},{Caruana},{Cohn},{Freitag},\BBA\{Mittal}}{{Berger}et~al.}{2000}]{berger2000sigir}{Berger},A.,{Caruana},R.,{Cohn},D.,{Freitag},D.,\BBA\{Mittal},V.\BBOP2000\BBCP.\newblock\BBOQ{BridgingtheLexicalChasm:StatisticalApproachestoAnswer-finding}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe23rdAnnualInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval}},\mbox{\BPGS\192--199},{Athens,Greece}.\bibitem[\protect\BCAY{{Blitzer},{Dredze},\BBA\{Pereira}}{{Blitzer}et~al.}{2007}]{blit2007acl}{Blitzer},J.,{Dredze},M.,\BBA\{Pereira},F.\BBOP2007\BBCP.\newblock\BBOQ{Biographies,Bollywood,Boom-boxesandBlenders:DomainAdaptationforSentimentClassification}.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationofComputationalLinguistics(ACL2007)},\mbox{\BPGS\440--447},Prague,CzechRepublic.\bibitem[\protect\BCAY{{Bollegala},{Weir},\BBA\{Carroll}}{{Bollegala}et~al.}{2011}]{bolle2011acl}{Bollegala},D.,{Weir},D.,\BBA\{Carroll},J.\BBOP2011\BBCP.\newblock\BBOQ{UsingMultipleSourcestoConstructaSentimentSensitiveThesaurusforCross-DomainSentimentClassification}.\BBCQ\\newblockIn{\BemProceedingsofthe49thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2011)},\mbox{\BPGS\132--141},Portland,Oregon.\bibitem[\protect\BCAY{{Cohen}}{{Cohen}}{1960}]{cohen1960}{Cohen},J.\BBOP1960\BBCP.\newblock\BBOQ{ACoefficientofAgreementforNominalScales}.\BBCQ\\newblock{\Bem{EducationalandPsychologicalMeasurement}},{\Bbf20}(1),\mbox{\BPGS\37--46}.\bibitem[\protect\BCAY{{Dang}}{{Dang}}{2008}]{dang2008tac}{Dang},H.~T.\BBOP2008\BBCP.\newblock\BBOQ{OverviewoftheTAC2008OpinionQuestionAnsweringandSummarizationTasks}.\BBCQ\\newblockIn{\Bem{ProceedingsofTextAnalysisConferences2008(TAC2008)}},\mbox{\BPGS\24--35}.\bibitem[\protect\BCAY{{橋本}\JBA{乾}\JBA{村上}}{{橋本}\Jetal}{2009}]{hasimoto2009nl}{橋本}泰一\JBA{乾}孝司\JBA{村上}浩司\BBOP2009\BBCP.\newblock拡張固有表現タグ付きコーパスの構築.\\newblock\Jem{情報処理学会第188回自然言語処理研究会},\mbox{\BPGS\113--120}.\bibitem[\protect\BCAY{{He},{Lin},\BBA\{Alani}}{{He}et~al.}{2011}]{he2011acl}{He},Y.,{Lin},C.,\BBA\{Alani},H.\BBOP2011\BBCP.\newblock\BBOQ{AutomaticallyExtractingPolarity-BearingTopicsforCross-DomainSentimentClassification}.\BBCQ\\newblockIn{\BemProceedingsofthe49thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2011)},\mbox{\BPGS\123--131},Portland,Oregon.\bibitem[\protect\BCAY{乾\JBA原}{乾\JBA原}{2008}]{inui2008nlp}乾{健太郎}\JBA原{一夫}\BBOP2008\BBCP.\newblock{経験マイニング：Webテキストからの個人の経験の抽出と分類}.\\newblock\Jem{{言語処理学会第14回年次大会発表論文集}},\mbox{\BPGS\1077--1080},東京大学.\bibitem[\protect\BCAY{{乾}\JBA{奥村}}{{乾}\JBA{奥村}}{2006}]{inui2006}{乾}孝司\JBA{奥村}学\BBOP2006\BBCP.\newblock{テキストを対象とした評価情報の分析に関する研究動向}.\\newblock\Jem{自然言語処理},{\Bbf13}(3),\mbox{\BPGS\201--241}.\bibitem[\protect\BCAY{{甲谷}\JBA{川島}\JBA{藤村}\JBA{奥}}{{甲谷}\Jetal}{2008}]{kabutoya2008dbsj}{甲谷}優\JBA{川島}晴美\JBA{藤村}考\JBA{奥}雅博\BBOP2008\BBCP.\newblockQAサイトにおける質問応答グラフの成長パターン分析.\\newblock{\Bem{DBSJJournal}},{\Bbf7}(3),\mbox{\BPGS\61--66}.\bibitem[\protect\BCAY{{Kim},{Kim},\BBA\{Oh}}{{Kim}et~al.}{2012}]{kim2012icml}{Kim},D.,{Kim},S.,\BBA\{Oh},A.\BBOP2012\BBCP.\newblock\BBOQ{DirichletProcesswithMixedRandomMeasures:ANonparametricTopicModelforLabeledData}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe29thInternationalConferenceonMachineLearning(ICML2012)}},\mbox{\BPGS\727--734},{Edinburgh,Scotland,UK}.\bibitem[\protect\BCAY{小林\JBA乾\JBA松本}{小林\Jetal}{2006}]{koba2006signl}小林のぞみ\JBA乾健太郎\JBA松本裕治\BBOP2006\BBCP.\newblock意見情報の抽出／構造化のタスク使用に関する考察.\\newblock\Jem{情報処理学会,第171回自然言語処理研究会},\mbox{\BPGS\111--118}.\bibitem[\protect\BCAY{{Kucuktunc},{Cambazoglu},{Weber},\BBA\{Ferhatosmanoglu}}{{Kucuktunc}et~al.}{2012}]{kucu2012wsdm}{Kucuktunc},O.,{Cambazoglu},B.~B.,{Weber},I.,\BBA\{Ferhatosmanoglu},H.\BBOP2012\BBCP.\newblock\BBOQ{ALarge-ScaleSentimentAnalysisforYahoo!Answers}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe5thInternationalConferenceonWebSearchandWebDataMining(WSDM2012)}},\mbox{\BPGS\633--642},Seattle,WA,USA.\bibitem[\protect\BCAY{{倉島}\JBA{藤村}\JBA奥田}{{倉島}\Jetal}{2008}]{kurashima2008dews}{倉島}健\JBA{藤村}考\JBA奥田{英範}\BBOP2008\BBCP.\newblock{大規模テキストからの経験マイニング}.\\newblock\Jem{{電子情報通信学会第19回データ工学ワークショップ(DEWS2008)}},\mbox{\BPGS\A1--4}.\bibitem[\protect\BCAY{{栗山}\JBA{神門}}{{栗山}\JBA{神門}}{2009}]{kuriyama2009fi}{栗山}和子\JBA{神門}典子\BBOP2009\BBCP.\newblock{Q\&Aサイトにおける質問と回答の分析}.\\newblock\Jem{情報処理学会研究報告情報学基礎研究会報告},95\JVOL.\bibitem[\protect\BCAY{{Landis}\BBA\{Koch}}{{Landis}\BBA\{Koch}}{1977}]{landis1977}{Landis},J.~R.\BBACOMMA\\BBA\{Koch},G.~G.\BBOP1977\BBCP.\newblock\BBOQ{TheMeasurementofObserverAgreementforCategoricalData}.\BBCQ\\newblock{\BemBiometrics},{\Bbf33},\mbox{\BPGS\159--174}.\bibitem[\protect\BCAY{{Li},{Liu},{Ram},{Garcia},\BBA\{Agichtein}}{{Li}et~al.}{2008}]{li2008sigir}{Li},B.,{Liu},Y.,{Ram},A.,{Garcia},E.~V.,\BBA\{Agichtein},E.\BBOP2008\BBCP.\newblock\BBOQ{ExploringQuestionSubjectivityPredictioninCommunityQA}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe31stACMSIGIRConference}},\mbox{\BPGS\735--736},Singapore.\bibitem[\protect\BCAY{{Li},{Pan},{Jin},{Yang},\BBA\{Zhu}}{{Li}et~al.}{2012}]{li2012acl}{Li},F.,{Pan},S.~J.,{Jin},O.,{Yang},Q.,\BBA\{Zhu},X.\BBOP2012\BBCP.\newblock\BBOQ{Cross-DomainCo-ExtractionofSentimentandTopicLexicons}.\BBCQ\\newblockIn{\BemProceedingsofthe50thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2012)},\mbox{\BPGS\410--419},Jeju,Korea.\bibitem[\protect\BCAY{{Liu}}{{Liu}}{2010}]{liu2010}{Liu},B.\BBOP2010\BBCP.\newblock\BBOQSentimentAnalysisandSubjectivity.\BBCQ\\newblockIn{Indurkhya},N.\BBACOMMA\\BBA\{Damerau},F.~J.\BEDS,{\BemHandbookofNaturalLanguageProcessing},\mbox{\BPGS\627--664}.CRCPress.\bibitem[\protect\BCAY{{前川}}{{前川}}{2011}]{maekawa2011bccwj}{前川}喜久雄\BBOP2011\BBCP.\newblock特定領域研究「日本語コーパス」と『現代日本語書き言葉均衡コーパス』.\\newblock\Jem{『現代日本語書き言葉均衡コーパス』完成記念講演会予稿集},\mbox{\BPGS\1--10}.\bibitem[\protect\BCAY{{Martin}\BBA\{White}}{{Martin}\BBA\{White}}{2005}]{martin2005}{Martin},J.~R.\BBACOMMA\\BBA\{White},P.R.~R.\BBOP2005\BBCP.\newblock{\BemTheLanguageofEvaluation:AppraisalinEnglish}.\newblockPalgraveMacmillan.\bibitem[\protect\BCAY{{大塚}\JBA{乾}\JBA{奥村}}{{大塚}\Jetal}{2007}]{otsuka2007}{大塚}裕子\JBA{乾}孝司\JBA{奥村}学\BBOP2007\BBCP.\newblock\Jem{意見分析エンジン}.\newblockコロナ社.\bibitem[\protect\BCAY{{Pang}\BBA\{Lee}}{{Pang}\BBA\{Lee}}{2008}]{pang2008}{Pang},B.\BBACOMMA\\BBA\{Lee},L.\BBOP2008\BBCP.\newblock{\BemOpinionMiningandSentimentAnalysis}.\newblockNowPublishersInc.\bibitem[\protect\BCAY{{Ponomareva}\BBA\{Thelwall}}{{Ponomareva}\BBA\{Thelwall}}{2012}]{pono2012emnlp}{Ponomareva},N.\BBACOMMA\\BBA\{Thelwall},M.\BBOP2012\BBCP.\newblock\BBOQDoNeighboursHelp?AnExplorationofGraph-basedAlgorithmsforCross-domainSentimentClassification.\BBCQ\\newblockIn{\BemProceedingsofConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2012)},\mbox{\BPGS\655--665},Jeju,Korea.\bibitem[\protect\BCAY{{佐野}}{{佐野}}{2010a}]{sano2010a}{佐野}大樹\BBOP2010a\BBCP.\newblock{ブログにおける評価情報の分類と体系化〜アプレイザル理論を用いて〜}.\\newblock\Jem{{電子情報通信学会第1回集合知シンポジウム}}.\bibitem[\protect\BCAY{{佐野}}{{佐野}}{2010b}]{sano2010b}{佐野}大樹\BBOP2010b\BBCP.\newblock{評価表現に基づくブログ分類の試み〜アプレイザル理論を用いて〜}.\\newblock\Jem{{言語処理学会第16回年次大会}}.\bibitem[\protect\BCAY{{関}\JBA{稲垣}}{{関}\JBA{稲垣}}{2008}]{seki2008wi2}{関}洋平\JBA{稲垣}陽一\BBOP2008\BBCP.\newblock日常的な体験を記述したブログ文書におけるライフイベントの判定.\\newblock\Jem{電子情報通信学会第2種研究会資料WI2-2008-20}.\bibitem[\protect\BCAY{{関}}{{関}}{2013}]{seki2013tod}{関}洋平\BBOP2013\BBCP.\newblock意見分析コーパスの現状と課題.\\newblock\Jem{{情報処理学会論文誌データベース}},{\Bbf6}(4),\mbox{\BPGS\85--103}.\bibitem[\protect\BCAY{{Seki},{Ku},{Sun},{Chen},\BBA\{Kando}}{{Seki}et~al.}{2010}]{seki2010ntcirov}{Seki},Y.,{Ku},L.~W.,{Sun},L.,{Chen},H.~H.,\BBA\{Kando},N.\BBOP2010\BBCP.\newblock\BBOQ{OverviewofMultilingualOpinionAnalysisTaskatNTCIR-8-AStepTowardCrossLingualOpinionAnalysis}.\BBCQ\\newblockIn{\Bem{ProceedingsoftheEighthNTCIRWorkshopMeeting}},\mbox{\BPGS\209--220},{NII,Japan}.\bibitem[\protect\BCAY{{関根}\JBA{竹内}}{{関根}\JBA{竹内}}{2007}]{sekine2007ene}{関根}聡\JBA{竹内}康介\BBOP2007\BBCP.\newblock{拡張固有表現オントロジー}.\\newblock\Jem{{言語処理学会第13回年次大会ワークショップ「言語的オントロジーの構築・連携・利用」}},\mbox{\BPGS\23--26}.\bibitem[\protect\BCAY{{Sogaard}}{{Sogaard}}{2013}]{soggard2013domain}{Sogaard},A.\BBOP2013\BBCP.\newblock{\Bem{Semi-SupervisedLearningandDomainAdaptationinNaturalLanguageProcessing}}.\newblock{SynthesisLecturesonHumanLanguageTechnologies}.Morgan\&Claypool.\bibitem[\protect\BCAY{{Somasundaran}\BBA\{Wiebe}}{{Somasundaran}\BBA\{Wiebe}}{2009}]{soma2009acl}{Somasundaran},S.\BBACOMMA\\BBA\{Wiebe},J.\BBOP2009\BBCP.\newblock\BBOQ{RecognizingStancesinOnlineDebates}.\BBCQ\\newblockIn{\Bem{Proceedingsofthe47thAnnualMeetingoftheAssociationforComputationalLinguisticsandthe4thInternationalJointConferenceonNaturalLanguageProcessingoftheAsianFederationofNaturalLanguageProcessing}},\mbox{\BPGS\226--234},Suntec,Singapore.\bibitem[\protect\BCAY{{Somasundaran}\BBA\{Wiebe}}{{Somasundaran}\BBA\{Wiebe}}{2010}]{soma2010naacl}{Somasundaran},S.\BBACOMMA\\BBA\{Wiebe},J.\BBOP2010\BBCP.\newblock\BBOQ{RecognizingStancesinIdeologicalOn-lineDebates}.\BBCQ\\newblockIn{\Bem{ProceedingsoftheNAACLHLT2010WorkshoponComputationalApproachestoAnalysisandGenerationofEmotioninText}},\mbox{\BPGS\116--124},LosAngeles,CA.\bibitem[\protect\BCAY{{Somasundaran},{Wilson},{Wiebe},\BBA\{Stoyanov}}{{Somasundaran}et~al.}{2007}]{soma2007icwsm}{Somasundaran},S.,{Wilson},T.,{Wiebe},J.,\BBA\{Stoyanov},V.\BBOP2007\BBCP.\newblock\BBOQ{QAwithAttitude:ExploitingOpinionTypeAnalysisforImprovingQuestionAnsweringinOnlineDiscussionsandtheNews}.\BBCQ\\newblockIn{\Bem{ProceedingsofInternationalConferenceonWeblogsandSocial(ICWSM)}},Boulder,Colorado,USA.\bibitem[\protect\BCAY{{Stoyanov}\BBA\{Cardie}}{{Stoyanov}\BBA\{Cardie}}{2011}]{stoy2011ranlp}{Stoyanov},V.\BBACOMMA\\BBA\{Cardie},C.\BBOP2011\BBCP.\newblock\BBOQ{AutomaticallyCreatingGeneral-PurposeOpinionSummariesfromText}.\BBCQ\\newblockIn{\BemProceedingsofRecentAdvancesinNaturalLanguageProcessing(RANLP2011)},\mbox{\BPGS\202--209},Hissar,Bulgaria.\bibitem[\protect\BCAY{{Stoyanov},{Cardie},\BBA\{Wiebe}}{{Stoyanov}et~al.}{2005}]{stoyanov2005emnlp}{Stoyanov},V.,{Cardie},C.,\BBA\{Wiebe},J.\BBOP2005\BBCP.\newblock\BBOQMulti-PerspectiveQuestionAnsweringUsingtheOpQACorpus.\BBCQ\\newblockIn{\Bem{ProceedingsoftheConferenceonHumanLanguageTechnologyandEmpiricalMethodsinNaturalLanguageProcessing}},\mbox{\BPGS\923--930},{Vancouver,BritishColumbia,Canada}.\bibitem[\protect\BCAY{{Wiebe},{Wilson},\BBA\{Cardie}}{{Wiebe}et~al.}{2005}]{wiebe2005lre}{Wiebe},J.,{Wilson},T.,\BBA\{Cardie},C.\BBOP2005\BBCP.\newblock\BBOQ{AnnotatingExpressionsofOpinionsandEmotionsinLanguage}.\BBCQ\\newblock{\BemLanguageResourcesandEvaluation},{\Bbf39}(2-3),\mbox{\BPGS\165--210}.\bibitem[\protect\BCAY{{Wiebe},{Breck},{Buckley},{Cardie},{Davis},{Fraser},{Litman},{Pierce},{Riloff},\BBA\{Wilson}}{{Wiebe}et~al.}{2002}]{wiebe2002mpqa}{Wiebe},J.,{Breck},E.,{Buckley},C.,{Cardie},C.,{Davis},P.,{Fraser},B.,{Litman},D.,{Pierce},D.,{Riloff},E.,\BBA\{Wilson},T.\BBOP2002\BBCP.\newblock\BBOQ{NRRCSummerWorkshoponMultiple-PerspectiveQuestionAnsweringFinalReport}.\BBCQ.\bibitem[\protect\BCAY{{山崎}}{{山崎}}{2011}]{yamasaki2011bccwj}{山崎}誠\BBOP2011\BBCP.\newblock『現代日本語書き言葉均衡コーパス』の構築と活用.\\newblock\Jem{『現代日本語書き言葉均衡コーパス』完成記念講演会予稿集},\mbox{\BPGS\11--20}.\bibitem[\protect\BCAY{{山崎}}{{山崎}}{2012}]{bccwj2012}{山崎}誠\BBOP2012\BBCP.\newblock『現代日本語書き言葉均衡コーパス』による日本語研究の展開.\\newblock\Jem{{言語処理学会第18回年次大会チュートリアル資料}}.\end{thebibliography}\begin{biography}\bioauthor{関洋平}{1996年慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了．2005年総合研究大学院大学情報学専攻博士後期課程修了．博士（情報学）．同年豊橋技術科学大学工学部情報工学系助手．2008年コロンビア大学コンピュータサイエンス学科客員研究員．2010年筑波大学図書館情報メディア系助教，現在に至る．自然言語処理，意見分析，情報アクセスの研究に従事．ACM,ACL,情報処理学会，電子情報通信学会，言語処理学会，日本データベース学会，人工知能学会各会員．}\end{biography}\biodate\end{document}