2017年12月4日
国立情報学研究所

パネルセッション２
モデレータ: 角谷 和俊
関西学院大学
総合政策学部 メディア情報学科・教授（社会情報学研究センター・センター長）
IDRユーザフォーラム 2017

パネルセッション・テーマ「今, アカデミアが必要としているデータセットとは」16:10～17:20

パネリスト
酒井 哲也 氏（早稲田大学）

河合 由起子氏（京都産業大学）
櫻井 一貴氏（株式会社リクルートテクノロジーズ）
原島 純 氏（クックパッド株式会社）
三澤賢祐 氏（株式会社Insight Tech）

3

アジェンダ
1. データ・リポジトリを利用した研究[アカデミア] 酒井氏・河合氏

2. データ活用で役立った事例[企業] 櫻井氏・原島氏・三澤氏

3. ディスカッション

4お題:「今，アカデミアが必要としているデータセットとは」早稲田大学 情報理工学科
酒井 哲也
tetsuyasakai@acm.org

December 4, 2017@IDRユーザーフォーラム2017

早稲田大学酒井研の守備範囲
Information
retrieval/accessnatural language
processinghuman computerinteraction

企業との共同研究@酒井研• ヤフー研究所（日本） モバイル検索ログ・知恵袋・画像データなどを活用した研究 [Kadotami+17][Kato+17]• Wider Planet (韓国) 広告データ・ショッピング履歴などを活用した研究• Naver (韓国) モバイル検索ログなどを活用した研究[Kawasaki+17]• Microsoft (中国) インターン派遣による対話の研究• Huawei (中国) ヘルプデスク対話の研究 [Zeng+17][Kadotami+17] Mobile Vertical Ranking based on Preference Graphs, ACM
ICTIR 2017.
[Kato+17] LSTM vs. BM25 for Open‐domain QA: A Hands‐on Comparison ofEffectiveness and Efficiency, ACM SIGIR 2017.
[Kawasaki+17] Ranking Rich Mobile Verticals based on Clicks andAbandonment, ACM CIKM 2017.
[Zeng+17] Test Collections and Measures for Evaluating Customer‐Helpdesk
Dialogues, EVIA 2017.

NTCIR‐14 STC‐3 (Chinese and English)
Dialogue Quality subtask
INPUT:
a customer‐helpdesk
dialogue d ∈ D
Customer post
Customer post
Helpdesk post
Customer post
Helpdesk post
Helpdesk post
Customer post
Helpdesk post
Gold distribution p* based on
N annotators reflecting
subjective views

OUTPUT: an estimated probability
distribution p of dialogue quality score(e.g. customer satisfaction)
NTCIR最大のタスク
Short Text Conversationでは対話品質サブタスクを立ち上げるが、データはWeiboの企業公式ヘルプ
M(d): how p アカウントから抽出したもの

differs from p*とどのつまり大量の対話データが欲しい（タスク指向・非タスク指向）
なんでも「AIで何とかならないの」の世の中だし、みんな欲しいはず情報推薦と可視化〜データ利活用研究事例紹介〜

河合由起子
京都産業大学(C) Yukiko Kawai. All right reserved1Research Topics• IR and UIRecommendation basedon BMI
Recipe recommendation
iPoster– personalization– Spatio-temporal analysis– Visualization

News reader
Fair News reader
Sentiment Map
Reader chart searchsentiment searchcommunication & search
TV-Milan

2014.7.9

personalization

Spatio-temporalanalysis

Visualization(C) Yukiko Kawai. All right reserved

Tweets analysisTWinChat
landmark Navi
3D Manual2

データコレクション• 映像データ： 映像、音声、（closed caption）• 地理データ： 緯度経度、建物や道名、（高さ、面積、道路幅）• ユーザデータ– センサデータ： 端末ID、時間、緯度経度、（年齢、性別、MACアドレス）– アクセスデータ: ユーザID、時間、場所（URL）、（年齢、性別、MACアドレス）– ログデータ： ユーザID、クリックや入力ログ、（年齢、性別、 MACアドレス）– 生体データ: ユーザID、時間、場所、年齢、性別(C) Yukiko Kawai. All right reserved

3SNSデータ分析事例• ユーザの興味関心抽出– 過去と未来に対するユーザの興味[WWW2015]– 場所に対するユーザの興味抽出[KDD2015,WWW2016](C) Yukiko Kawai. All right reserved

Crowd’s
lifelogs

Location
information

4

地理データ分析事例• 視認性と認知度に基づくランドマークナビゲーション[UbiComp2016,IPSJ論文誌2016,インタラクション2015 ]Crowd’slifelogs

Point Landmarks

Location
information

GIS dataLineLandmarks

Area Landmarks(C) Yukiko Kawai. All right reserved

5

映像データ分析事例• 異種メディア検索– 映像データの時空間分析および意味的分析に基づく映像、写真、地図、SNSデータ検索と融合[IDR’17,
DEIM2017, IJMDEM(2016), LBS(2016), WebDBf2016](C) Yukiko Kawai. All right reserved

6不満データ分析事例• E-Commerceにおける不満情報とレビューに基づいた不満解決商品推薦手法の提案[IDR’17,
WebDBf2017](C) Yukiko Kawai. All right reserved

7レシピデータ分析事例• レシピ推薦– 地域性に基づく品目に対する付け合わせマップ[IPSJ全国大会(2017)]• ネーミング支援– 投稿レシピのネーミングに対する多義的コンセプト抽出[Transactions onEngineering Technologies(2014)]• 動画レシピ推薦– レシピ動画の調理動作区間に基づく難易度判定とその応用[IDR’17](C) Yukiko Kawai. All right reserved8データコレクション• 映像データ： 映像、音声、（closed caption）• 地理データ： 緯度経度、建物や道名、（高さ、面積、道路幅）• ユーザデータ– センサデータ： 端末ID、時間、緯度経度、（年齢、性別、MACアドレス）– アクセスデータ: ユーザID、時間、場所（URL）、（年齢、性別、MACアドレス）– ログデータ： ユーザID、クリックや入力ログ、（年齢、性別、MACアドレス）– 生体データ: ユーザID、時間、場所、年齢、性別• 都市データ: 店舗情報、医療情報、事件事故(C) Yukiko Kawai. All right reserved

910

Thank you for your attention.

IDRユーザフォーラム 2017
パネルセッション

我々がデータを公開する意義と課題＋今後の⽅向性♥⾃⼰紹介

櫻井 ⼀貴 Kazutaka Sakurai
株式会社リクルートテクノロジーズ

経営企画部 広報コミュニケーショングループ
兼 アドバンスドテクノロジーラボ

情報処理学会 DBS研究会 幹事
関⻄学院⼤学 社会情報学研究センター 客員研究員

アジェンダ１

リクルートとリクルートテクノロジーズ

２

IDRで公開したデータセットの概要

３

公開する意義４

データ公開に向けて感じた課題

５

今後にむけて１-1 リクルートについて

私たちは、誰かと誰かを結ぶ「場」を提供しています１-1 リクルートについて主なビジネスドメイン

１-1 リクルートについて主なビジネスドメインと代表的なサービス

１-2 リクルートテクノロジーズについて事業横断でデータを取り扱うことができるポジション
Solutions (IT & Internet marketing)
Development

PC & N/W Support

Marketing Support

Infrastructure

Smart Device

Impact Analysis

Big Data Solution

Service Design

Research & Development

２ 公開したデータセットの概要

２ 公開したデータセットの概要

２ 公開したデータセットの概要（実際の活⽤状況、抜粋）
主な活⽤状況

・論⽂「感情極性値を⽤いたレビューの有⽤性⾃動評価」
・論⽂「価値観ベース協調フィルタリングのユーザ特性解析による推薦性能向上に関する研究」（修⼠論⽂）
・⼝コミデータを使った時系列分析、計量テキスト分析
・⾃作⾃演の印象を与える⼝コミにどのような特徴があるかの分析

ご意⾒・感想・たくさんの種類のデータがあって、さまざまな⾓度から分析できる・データの形式がそろっていない部分があり、扱いにくい
・肯定的なレビューの数の⽅が圧倒的に多く、学習時などその偏りをどう克服するかが⼤変だった
・売上データなどもわかると分析の幅が広がるためありがたい３ 公開する意義① CSRの観点：研究レベル向上のために⺠間企業として資することのできる余地？

② 新しい技術やアイディアの獲得：最先端の研究結果をビジネスに接続できないか？

③ プレゼンス向上：分析しがいのあるデータを保有する企業であることを訴求

４ データ公開に向けて感じた課題① リスクテイク（ パーミッション済みとはいえ”最悪のシナリオ”をどう捉えるか）② 機能組織ならではの悩み（「データにアクセスできる」↔「データを取り扱う権限を持つ」）③ ROI？
（公開準備タスクもろもろ ↔ [CSR/技術獲得/プレゼンス]）

４ データ公開に向けて感じた課題① リスクテイク（ パーミッション済みとはいえ”最悪のシナリオ”をどう捉えるか）「公開をするとどんなリスクがあるのか、万⼀発⽣したら問題ないのか」※クライアント、カスタマーのデータを活⽤するため、事業は慎重にならざるをえない↓
・想定範囲(学術利⽤)外に流出する可能性が極めて低いことを説明
・想定される「最もよくないシナリオ」を列挙、事業に共有をした(例) USBメモリの置き忘れ等でデータが流出したら？
(例) 利⽤者がデータを商⽤利⽤したら？

４ データ公開に向けて感じた課題② 機能組織ならではの悩み（「データにアクセスできる」⇔「データを取り扱う権限を持つ」）

事業との調整によりスピード感がスポイルされることも４ データ公開に向けて感じた課題③ ROI？
（公開準備タスクもろもろ ↔ [CSR/技術獲得/プレゼンス]）
１）協⼒(賛同)を得られるサービスを探す
２）公開対象データの選定
３）データの取得
４）データ整形＞⼯数割いてまで…リスク…

＞個⼈情報含まず、パーミッション済み…

＞⾃社内securityレベルも⾼まり、意外と⼿間＞マスキング、カラム除外、暗号化…

５）受け渡し↑ここまで辿り着くのに実は数ヶ⽉以上も・・・

５ 今後にむけて 〜とはいえ前向きにデータ公開を推進するために① 公開までのタスクの簡素化、効果の可視化② データ多様化への対応③ コントローラブルに展開（期間や範囲を限定）

① 公開までのタスクの簡素化、効果の可視化（タスク簡素化）→⼿間・ステップをシンプルにできればより多くのデータ公開をスピーディに展開できる。ROIも向上する（効果の可視化）→「どれだけ世の役に⽴っているか」に加え、具体的なビジネス⾯での成果が⽣まれる＆可視化されると、事業のメリットに繋がる② データ多様化への対応（ビッグデータの “3V”）

VolumeVarietyVerocity

② データ多様化への対応

② データ多様化への対応

画像や⾳声等のデータ提供も模索していきたい③ コントローラブルに展開（１：期間限定のプログラム）
ポンパレモールより…
・検索されたキーワー
ドのリスト
・実際にクリックされたアイテム
・ジャンル
コードとア
イテム名

半年間かつ数⼤学限定のプログラム向けに提供（事業サイドからも快諾を得られた）

③ コントローラブルに展開（２：⾃社主催のハッカソン）

リクルート 自然言語処理ハッカソン

事業サイドも審査員として巻き込み理解を得る

今後に向けて「いかに⾼いROIを担保できるか」を意識しつつもVariety を豊富にできないか 引き続き検討します！

（最後に…）⼤事なことなのでもう⼀度間もなくエントリー締め切りです（〜2017/12/17）

リクルート 自然言語処理ハッカソン

リクルートテクノロジーズ

ご清聴ありがとうございましたクックパッドデータとその現状

クックパッド株式会社
原島 純

原島 純
2006年4月

京都大学黒橋・河原研究室配属
情報検索・文書要約
・同義表現の獲得（IJCNLP 2008）
・検索結果の要約（NLPIX 2010）
・検索結果のリランキング（IJCNLP 2011）
・日本語文の圧縮（COLING 2012）2013年3月

博士（情報学）取得

2013年4月クックパッド入社
サービス開発部門

2016年4月

研究開発部門（新設）配属
レシピ情報処理・レシピコーパスの構築（LREC 2016）
・レシピの翻訳（WAT 2016）
・レシピ画像データセットの構築（SIGIR 2017）
・手順画像の解析（CEA 2017）クックパッド
インターネット上でレシピの投稿・検索等ができる
日本最大の料理レシピサービス

公開データ（レシピ）
・タイトル
・概要
・材料
・手順・コツ・ポイント
・このレシピの生い立ち
・つくれぽ・etc

公開データ（献立）・タイトル・この献立のポイント
・調理時間
・段取りのコツ・主菜・副菜・参考になった！
・この献立の主な食材/ジャンル/シーン

利用状況

公開前（〜 2015 年 2 月）
5 大学 6 研究室

公開後（2017 年 12 月）
82 大学 135 研究室

研究成果の活用

直接的には活用できていない・論文（数十本/年）に目を通せていない
・企業と大学で、取り組むタスクがずれている（※悪いことではない）

間接的には活用されていそう・論文を通してレシピ情報処理とクックパッドのプレゼンスが拡大→ R&D 系人材の採用面で効果あり？

不満買取センターとは？
いわゆる「ソーシャルリスニングツール」「世間のあらゆる不満を買取してくれる」Webサービス

不満買取センター
1Insight Techではよく分析作業を実施
投稿文データを自社で分析するから、データだけほしいな

不満インサイトデータ販売

分析する手間をかけられないから、分析した結果を教えてほしいな

不満インサイトサーベイ

常温で保存可能なヨーグルトがあればいいのに。毎日食べるも 店で買ったショーツの内側にタグのだから、冷蔵庫に出し入れす が付いている。取りにくいし、そ保育園に関する情報って、どうし店で買ったショーツの内側にタグのまま履くとおしりがかゆい。
るのがそもそも面倒ですてこんなに探しにくいのでしょう。
が付いている。取りにくいし、そ近隣の待機児童の数や、一時のまま履くとおしりがかゆい。
保育の料金などが一覧で見られたらいいのに。

2

分析レポートの一例
一般向けに分析情報の公開も実施しています
ホワイトデーへの不満調査レポート

不満買取センター ホワイトデー〜選択は良くても特別感がないと喜ばれない!?〜3

Insight Techとして嬉しい研究とは？
分析者がデータを俯瞰するときの補助になること
分析者のおおまかな作業フロー

分析課題の検討

レポート完成不満意見投稿
サンプリング

意見
観察集計軸
決定

ラベリング & 分析
レポート執筆集計

4

Insight Techとして嬉しい研究とは？
分析者がデータを俯瞰するときの補助になること
分析者のおおまかな作業フロー
分析上で多くの時間がかかる部分

分析課題の検討

レポート完成不満意見投稿
サンプリング

意見
観察

集計軸
決定

ラベリング & 分析
レポート執筆集計

5

Insight Techとして嬉しい研究とは？
分析者がデータを俯瞰するときの補助になること
分析者のおおまかな作業フロー
分析上で多くの時間がかかる部分

この部分の時間が短縮できるととてもありがたい！

分析課題の検討

レポート完成不満意見投稿
サンプリング

意見
観察

集計軸
決定

ラベリング & 分析
レポート執筆集計

6

Insight Techとして嬉しい研究とは？
分析者がデータを俯瞰するときの補助になること
分析者のおおまかな作業フロー
分析上で多くの時間がかかる部分
Insight Techに限らずテキスト分析者全般的にレポート完成役にたつのではないかな？

分析課題の検討
不満意見投稿
サンプリング

意見
観察

集計軸
決定

ラベリング & 分析
レポート執筆集計

7

Insight Techとして嬉しい研究とは？
不満投稿と景気指標の関係性
１日に数万件寄せられる不満。
きっとその中には人の消費行動に関係する投稿も多く潜んでいるはず。

8

Insight Techとして嬉しい研究とは？
不満投稿と景気指標の関係性
景気指数・消費指数の予測に利用できないだろうか？

9

Insight Techとして嬉しい研究とは？
不満投稿と景気指標の関係性で例えば・・・
うう、寒い・・・。
きょうは気温が高いはずなのに、体感温度はぜんぜん違うよ！

10

Insight Techとして嬉しい研究とは？
不満投稿と景気指標の関係性で例えば・・・
気温だけでは予測できなかった人々の「体感温度」で、おでんの売り上げ増加を予測

11ディスカッション• アカデミアが欲しいデータセットは？
• 複数データセットを用いた”ハイブリッド”研究？
• 会場からのトピック

5