言語処理学会 第24回年次大会 発表論文集 (2018年3月)

メールデータを活用した社内情報の推薦システム
谷口 友紀

上田 良寛
谷口 元樹
大熊 智子
三沢 翔太郎
三浦 康秀
富士ゼロックス株式会社{Taniguchi.Tomoki, Ueda.Yoshihiro, motoki.taniguchi, misawa.shotaro,
Yasuhide.Miura, Ohkuma.Tomoko}@fujixerox.co.jp

1

はじめにに投稿された質問に回答するために，CQA から知識個々のワーカーが有する業務知識の利活用に対する需要が高まっている．従来より業務に必要な知識はマニュアルや FAQ で文書化され，会社や部門などの組織で共有されてきた．しかし，近年では業務内容が多様化しており，文書化で対応しきれない事例が増えてきている．
業務における重要なコミュニケーション手段のひとつにメールがある．文書化でカバーしきれない知識はワーカー間のコミュニケーションによって伝えられるため，メールデータにはワーカー個別のノウハウが蓄積されている．本研究では，メールデータの利活用に焦点をあて，メールデータを利用者間で共有することにより，ワーカーが持つ個別の業務知識を活用するシステムを提案する．そして構築したシステムを展開し，被験者によるアンケートを実施することでメールデータ共有の有効性を検証する．
本稿では事務手続き業務を対象に選定した．事務手
続きとは「旅費清算」などの諸手続きや「委託契約」「共同研究」などの契約手続きを指す．事務手続きは繰り返し行われる業務であるため，過去の知識が再利用できる一方で，部門や組織ごとにローカルルールが存在し，文書により明文化されないことが多い．個人にとってはじめての取り組みであったり，過去に実施してから時間が経過しているために詳細を記憶していないこともある．そのため，経験者のノウハウを求めを抽出する手法を提案している．また，[2] は類似質問を探し出すタスクを提案している．しかし，これらの研究はメールデータを対象としたものではない．
メールデータを活用して，メールによるコミュニケーションを支援する研究が盛んに行われている．[3]はメールの送受信履歴に基づいて，宛先や CC に含めるべき人物を推定する手法を考案している．[4] は添付すべきファイルを受信ボックスから検索して，提示するシステムを提案している．さらに [5] は，本文候補の提示により返信文作成を支援するシステムを構築している．しかしながら，これらの研究では，メールデータから抽出した知識の共有を目的としていない．

3

メール推薦システム

3.1

システムの概要

メールデータは機密性の高い情報である．ゆえに所有者本人による共有可否の判断が不可欠である．しかし，判断対象であるメールデータは大量に存在するうえ，判断結果は開示する相手に依存するため，事前に共有の可否判断を行うことはできない．そこで，各利用者間における情報共有の要否および共有する情報をシステムが自動で決定し，他者に情報を提供するときのみ開示可否の問い合わせを行う推薦システムを考えた．メール推薦システムの構成を図 1 に，メールの推薦処理手順を以下に示す．て，直近に手続きを実施した社員に依頼し，関係するメールデータを提供してもらうことが頻繁に行われている．提案システムによりこれらの情報共有作業を自動化する．

2

関連研究
コミュニティー型質問応答サイト（CQA）を対象として，個々の利用者が持つ知識を活用する研究がある．

CQA に投稿された質問や回答の質は様々であるため，これらの研究では CQA からの知識抽出に主眼を置いている．[1] はソーシャルネットワーキングサービス― 564 ―

1. 「メール収集」では，メールサーバーから定期的にメールデータを収集してシステムのデータベースに登録する．
2. 「推薦要否判断」では，新着のメールデータを監視し，その内容に基づいてメール受信者への推薦の要否を決定する．推薦のトリガーとなるメールデータをトリガーメールと呼称する．
3. 「検索」では，トリガーメールからクエリを生成する．クエリを利用して過去のメールデータを検索し，推薦するメールデータを抽出する．
4. 「許諾問い合わせ」では，検索で得たメールデータの所有者に開示可否の判断を依頼する．

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 1: メール推薦システムの構成

5. 「許諾承認」では，メールデータの所有者が開示

表 1: 事務手続きに関する表現の例

可否を判断する．

6. 「情報提供」では，開示可と判断されたメールデータをトリガーメールの受信者に推薦し，情報共有が完了する．推薦結果はポップアップで通知される．実際に推薦されたメールを推薦メールと呼称する．
次節では「推薦要否判断」「検索」「許諾承認」処理を取り上げ，詳細を説明する．

3.2

手続き名

文書名

社外発表許可申請
海外出張申請共同実験契約研究実施計画書
情報資産社外持ち出し申請書
機密保持・著作権契約書

3.3

検索

検索には，オープンソースソフトウェアの Apache

Solr1 を利用する．Apache Solr では文書に検索対象となるフィールドを複数設置することが可能である．文書の検索スコアはフィールドごとの検索スコアの重み

推薦要否判断付き和であらわされ，フィールドごとの検索スコアは推薦の要否は「依頼」「質問」「要望」を意味する検検索キーワードの TFIDF をもとに計算される．

索語を件名に含むか否かで判断される．検索語を含む

提案システムでは，メールデータを文書として，イメールの受信者は業務の当事者として何らかの対応をンデックス作成と検索を実行する．メールサーバーか求められていると推測できるため，メールデータの推ら定期的に未取得のメールデータを取得し，検索に利薦タイミングとして適切であると考えた．ただし，単用するフィールド（件名，本文，添付ファイル名）をなる日程調整など明らかに推薦のトリガーとして不適

Apache Solr に登録する．検索には CRF で抽出したなものを除去するためにストップワードを使用する．

「手続き名」「文書名」および「件名に含まれる語」を推薦要否判断の精度はシステムの性能に大きく影響クエリとして利用する．件名と本文フィールドを検索する．そこで，検索語による要否判断に加え，Condi-対象とし，Apache Solr で検索した結果中で最もスコ

tional Random Field (CRF) を使った固有名抽出技術

アの高いメールデータを推薦候補として選択する．なによる要否判断を導入する．事務手続きに関するメー

お，利用者が過去に実施した手続きであっても，やりルデータには固有の手続き名や文書名が頻繁に出現す方を忘れている可能性がある．そのため，他者と利用る．これらの表現が件名または添付ファイル名に含ま者本人の送受信ボックスを検索対象に加える．

れることを確認して，トリガーが発火する対象を事務手続きに絞る．CRF モデルを構築するために，実際の業務でやり取りされたメールデータ 1715 件から独自のコーパスを作成している．表 1 に作成したコーパスに含まれる表現の例を示す．事前実験から件名における表現抽出の F 値は手続き名で 0.735，文書名で 0.808

3.4

許諾承認

許諾承認では，メールデータの所有者に開示可否の判断を行うための情報が提供される．提示されるのは「開示する相手名」「送受信日時」「件名」「本文」「添であった．添付ファイル名では手続き名で 0.270，文書名で 0.446 であった．

― 565 ―

1 http://lucene.apache.org/solr/Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 被験者によるアンケート結果(b) 有用性と関連性(a) 拒絶理由

分類

開示可否

開示可
機密
不正確
理由なし
回答なし

可
不可
不明

説明件数 (%)

分類

有用性

関連性

提供できる
機密を含む
誤りを含む
理由なし
未許諾

125 (77.2)
2 ( 1.2)
9 ( 5.6)
1 ( 0.6)
25 (15.4)◯△−関係あり×−既知×−期待はずれ×−関連なしトリガーが不適切

役に立つ
関連あり
どちらともいえない 関連あり
既知で役に立たない 関連あり
役に立たない関連あり
役に立たない関連なし
推薦要否の判断が適切でない

件数 (%)

25 (22.5)
27 (24.3)
21 (18.9)
4 ( 3.6)
24 (21.6)
10 ( 9.0)

付ファイル名」である．メールデータの所有者はこれらの情報を参考に開示の可否を判断する．

4

実証検証

4.1

参加者と検証期間
図 2: 所有者による層別結果開発したメール推薦システムを研究開発部門に展開して実証検証を行った．検証に参加した被験者は 11名である．2017 年 3 月から 2017 年 9 月までの約 7ヶ月間の検証を行った．推薦対象となるメールデータは108535 件であった．運用期間で推薦されたメールデー
タは 162 件であった．

4.2

図 3: 受け手の立場（宛先）による層別結果

被験者によるアンケート

4.4

開発したシステムを評価するために，被験者に対して以下の 2 種類のアンケートを実施した．

有用性は推薦結果が業務活動に役立つか否かを，関連性はトリガーメールと推薦メール間の関連の有無を表している．開示可となった 125 件のうちで，未評価• メールデータを開示しなかった拒絶理由を除いた 111 件に対する有用性と関連性を評価した• 推薦結果の有用性および関連性

結果を表 2b に示す．表 2b から全推薦のうち 22.5%

前者のアンケートで機密度の高いメールデータを共有することに対する障壁を調査する．そして，後者のアンケートで構築したシステムの有効性を検証する．
被験者は回答候補から選択する形でアンケートに答える．回答候補に該当しない場合や補足情報を入力するために自由記述欄を設けた．自由記述欄の内容を加味してアンケート結果を分類したものを表 2 に示す．次が「〇」であり，業務の役に立っていることがわかった．関連があるものは「〇」「△-関連あり」「×−既知」「×−期待外れ」を合計した 77 件あり，全体のうち 69.4%で関連したメールデータが推薦されているという結果が得られた．これらの結果は関連するメールデータが必ずしも有益でないことを示している．

4.5

節以降では被験者から集めたアンケート結果を分析する．

4.3

有用性および関連性考察

被験者が有益と判断したメールデータの特徴を考察するためにアンケート結果を層別し，以下の調査を実施した．

拒絶理由• 推薦メールの所有者による有用性を調べる

表 2a から開示可が 125 件 (77.2%) であり，大部分• トリガーメールの受け手の立場による有用性を調のメールデータは他者に公開可能であることが明らかべるになった．加えて開示不可の中で機密情報を含むものは 2 件 (1.2%) しか存在しないことが確認できた．ま推薦メールの所有者は自分と他者に，トリガーメールた，情報が古い，情報が不足しているなど不正確さをの受け手の立場は TO と CC に層別した．TO は自分理由に挙げたものが 9 件 (5.6%) であった．ただし，検宛てに送られたものを，CC はカーボンコピーとして証実験の被験者の所属部門は同じである．面識のない受信したものを指す．TO と CC の層別ではメーリン利用者間における共有については再考を要する．

グリスト宛てに送信されているケースを目視で除去し― 566 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

た．表 2b からトリガーが不適切となったものを除去して層別した結果を図 2 および図 3 に示す．
図 2 から，自分の送受信ボックスから推薦された場
合において「〇」の割合が 28.1%と高いことがわかった．自分の送受信ボックスからの推薦は一度は知った情報の再提示であるが，必ずしも被験者が過去の情報を記憶しているわけではなく，有益となったのではないかと考えられる．この結果は自分の送受信ボック
スを検索対象とすることの妥当性を示している．その一方で「×−既知」に 26.3%の評価結果が集中していることから，推薦が余計であった事例を多く含んでいると考えられる．また，他者から有益な情報が提供さ
図 4: 有益であった事例れるのは 20.5%であった．自分が所有しているメールデータには及ばないものの，他者とのメールデータののフィードバック結果を活用して，システムの改善に共有が有効であることが確認できた．

取り組みたい．

続いて TO と CC で比較する．図 3 から TO では役に立つものが 32.8%であり，CC に比べて高くなって

6

商標についてApache Solr は Apache Software Foundation の登いる．自分向けに送られたメールは業務の当事者として直接的な対応が求められ，推薦に対する有用性が高録商標または商標です．

まったと考えられる．言い換えれば，対応を行うため参考文献に有益な参考情報を求めていると考えられる．

4.6[1] M. Bagdouri and Douglas D. W. Oard. Build-

事例

ing Bridges across Social Platforms: Answering

推薦が有益な事例では，過去の類似事例が推薦されTwitter Questions with Yahoo!ていた．実例を図 4 に示す．事例 (a) は海外出張の申Answers.

InProc. of SIGIR’17, pp. 1181–1184, 2017.

請が必要となった状況で，他者が作成した申請書が提供された．事例 (b) では詳細な実施計画を立てる段階[2] P. Nakov, D. Hoogeveen, L. Màrquez, A. Mos-

で、当初の依頼内容の全容が再確認できる文書が推薦

chitti, H. Mubarak, T. Baldwin, and K. Verspoor.

された．

SemEval-2017 Task 3: Community Question An-5swering. In Proc. of SemEval’17, pp. 27–48, 2017.

おわりに
本稿では，事務手続き業務を支援するシステムの事[3] D.

例として，メールデータを活用した社内情報の推薦シGraus,D.

vanDijk,M.

Tsagkia,W. Weerkamp, and M. de Rijke.

Recipient

Recommendation in Enterprises using Commu-ステムを開発した．そして被験者に対してアンケート

nication Graphs and Email Content. In Proc. ofを実施することによりシステムの有効性を検証した．

SIGIR’14, pp. 1079–1082, 2014.

その結果，多くのメールデータが利用者間で共有できることがわかった．また，自分および他者のメール[4] C. van Gysel, B. Mitra, M. Venanzi, R. Rose-

データの推薦は業務に有益となることを示した．さらmarin, G. Kukla, P. Grudzien, and N. Can-に被験者が有益と感じたメールデータの特徴について

cedda. Reply With: Proactive Recommendation

考察を行った．

of Email Attachments. In Proc. of CIKM’17, pp.
327–336, 2017.

構築したシステムは Apache Solr による検索を用いて，トリガーメールに類似するメールデータを抽出し[5] A. Kannan, K. Kurach, S. Ravi, T. Kaufmann,ている．そのため，トリガーメールと類似しているだ

A. Tomkins, B.Miklos, G. Corrado, L. Lukacs,

けで，解決策が記載されないメールデータが推薦され

M. Ganea, P. Young, and V. Ramavajjala.

る事例がみられた．実証検証で利用したアンケート機

Smart Reply: Automated Response Suggestion

能を活用すれば，評価結果のフィードバックデータをfor Email. In Proc. of SIGKDD’16, pp. 955–964,利用者から収集することが可能である．今後はこれら

2016.

― 567 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.