学生・若手研究者のためのBERTワークショップ２（固有表現タスク １回目）

理化学研究所
革新知能統合研究センター
言語情報アクセス技術チーム

オープニング本日の概要• BERTおさらい（前回のふりかえり）（10分）• 前回のワークショップの資料やビデオはこちら
http://shinra-project.info/shinra2022/bert_workshop_shinra2022/• BERT 体験(60分）• Google Colabを使って自分で動かしてみる• Googleアカウントが必要• コードの説明• 森羅プロジェクトの説明、今後の説明（15分）
森羅Slack ：shinra2022.slack.com
チャンネル：#bert_workshop2022
招待リンク： https://join.slack.com/t/shinra2022/shared_invite/zt-14qkpf21i-lQNKlT0aIOU5We7xlZBqfQ

学生アルバイト募集
このWSのその先に• 森羅プロジェクトでアルバイトを募集しています
対象：Ｂ４~D１を対象
形態：アルバイト（１年程度、週に１５時間前後、リモート可）
インターン（２〜３ヶ月程度集中的に。リモート相談）
業務内容：森羅プロジェクトのシステム開発、データ開発
指導教官との相談の上、卒論、修論とすることも可能
理研のRIDEN（超巨大GPUマシン）を利用可能• 社会人の兼業希望者も応相談
相談、希望は下記までメイルを
satoshi.sekine@riken.jp

本日の講師：中山功太
学歴
2014年4月 – 2018年3月(学部), 2018年4月 - 2020年3月 (修士課程)
豊橋技術科学大学 システムAIラボ(石田研)2020年4月 – 現在(博士課程)
筑波大学 ヒューマンコンピュテーション研究室(馬場研)

職歴2018年8月 – 2020年10月
理研 言語情報アクセス技術チーム(関根チーム) 研究パートタイマー
2020年11月 – 現在
同上 リサーチアソシエイト

論文(査読付き)• Kouta Nakayama, Shuhei Kurita, Akio Kobayashi, Yukino Baba, and Satoshi Sekine. 2021. Co-Teaching Student-Model throughSubmission Results of Shared Task. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 4525–4535, Punta
Cana, Dominican Republic. Association for Computational Linguistics.
• Satoshi Sekine, Kouta Nakayama, Maya Ando, Yu Usami, Masako Nomoto and Koji Matsuda, SHINRA2020-ML: Categorizing 30language Wikipedia into fine-grained NE based on “Resource by Collaborative Contribution” scheme, In Proceedings of the 3rd
conference on the Automated Knowledge Base Construction (AKBC 2021), 2021.
• Satoshi Sekine, Akio Kobayashi, Kouta Nakayama, SHINRA: Structuring Wikipedia by Collaborative Contribution, In Proceedings of the
1st conference on the Automated Knowledge Base Construction (AKBC 2019), 2019.

クロージング本日の概要• BERTおさらい（前回のふりかえり）（10分）• 前回のワークショップの資料やビデオはこちら
http://shinra-project.info/shinra2022/bert_workshop_shinra2022/• BERT 体験(60分）• Google Colabを使って自分で動かしてみる• Googleアカウントが必要• コードの説明• 森羅プロジェクトの説明、今後の説明（15分）
森羅Slack ：shinra2022.slack.com
チャンネル：#bert_workshop2022
招待リンク： https://join.slack.com/t/shinra2022/shared_invite/zt-14qkpf21i-lQNKlT0aIOU5We7xlZBqfQ

森羅プロジェクト
今回のWSのサンプルデータ• Wikipediaの構造化プロジェクト• 「説明できる人工知能」を作るために知識グラフを構築• 協働による知識構築• リーダーボードを作り、参加者とともに実施• 3つのタスク

今回のタスク• Wikipediaページを約200種類のカテゴリーに分類• ページの属性情報を抽出• 抽出した情報をリンキング• 進捗• 2018年からタスクを実施。今年度、来年度は3つのタスク

知識グラフを作ろう！
３つのステップ
ステップ１（分類）
各Wikipediaページを約220種類の拡張固有表現に分類（「島崎藤村」は人名！）
ステップ２（属性値抽出）
固有表現定義にある属性値をページから抽出（「島崎藤村」の「作品」には「嵐」がある！）
ステップ３（リンクの紐付け）
抽出した属性値を該当するWikipediaページに紐付け（「嵐」はWikipediaページの「嵐（作品）」のこと！）
8Wikipediaページ(日本語は100万、英語は600万）

9ステップ１（分類）
都市

国名

国名県戦
争

州人名

船本戦争人
名

都市
名
詞

空
港

組
織
番
組

空
港
番組

県
人
名

企
業

10

ステップ２（属性値抽出）
都
市

国
名

国
名

県

イ
ベ

州

船

属性
国

イ
ベ

人
名

本

属性値

アメリカ合衆国
属性

都
市

所在地

空
港

設立

空
１８３７年３月４日

人口２６９５万人

人口データの年

空港
。。。
人
名

属性値人

イリノイ州
名
詞

港

本名
生年月日

名

島崎春樹

１８７２年３月２５日
番
組

国籍

日本

出身地

筑摩郡（現在の岐阜県）

２０１０年

オヘラ空港、ミッドウェー空港

番
組
地位職業名

小説家

県

作品
。。。

若菜集、嵐、夜明け前、。。
企業11ステップ３（リンキング）
旧称
国名

参加国

参加国
国名

参加国
参加国

出身

出身

国名

戦い

作品

作品

所在地
国籍
謂れ

空港
出演地
空港

作品
出演地
出演
謂れ参加姉妹都市被害

作品
作品

出演地

12

知識グラフがあると雑談対話

物知り博士
第二次世界大戦に由来した名前を持つ２つの空港がある米国の都市はどこ？
第二次世界大戦の英雄に由来するオヘア空港と戦場名に由来するミッドウェー空港があるシカゴ！

情報アクセス

教育支援

営業支援

多言語情報アクセス
他にも。。。

特定応用展開おじいちゃんの好きな田中絹代が出演した1957年の「嵐」って映画の原作は、島崎藤村の小説なんだって認知症予防
観光

介護福祉

外国語教育

ビジネス

特許検索・分析

法律文書解析

オンライン医療健康自己管理13

WSの今後• ２日目（１０月末）• 質疑応答• Slackで挙がった質問なども含む• ベースラインを超えたシステムの紹介• 精度向上のためのヒントなど共有• BERTによる他の属性抽出タスクの紹介• 森羅プロジェクトの紹介

学生アルバイト募集
このWSのその先に• 森羅プロジェクトでアルバイトを募集しています
対象：Ｂ４~D１を対象
形態：アルバイト（１年程度、週に１５時間前後、リモート可）
インターン（２〜３ヶ月程度集中的に。リモート相談）
業務内容：森羅プロジェクトのシステム開発、データ開発
指導教官との相談の上、卒論、修論とすることも可能
理研のRIDEN（超巨大GPUマシン）を利用可能• 社会人の兼業希望者も応相談
相談、希望は下記までメイルを
satoshi.sekine@riken.jp