# 株主招集通知における議案タイトルとその分類及び開始ページの 推定システム

岡田 奈奈 ${ }^{\dagger \dagger \dagger} \cdot$ 水内 利和 ${ }^{\dagger+\dagger \dagger}$
}

本論文では，テキストマイニング技術を用いて，株主招集通知の情報をデータベー スに格納する業務の効率化を実現するための応用システムの研究について述べる.効率化したい業務とは，株主招集通知に記載されている議案の開始ぺージを予測し， その開始ぺージにおける議案の議案タイトルと議案内容を分類する業務である。本研究では, これらの業務を株主招集通知のテキスト情報を用いて自動的に行うシス テムを開発し，実際に運用している。本研究によって実装したシステムと従来の人手による作業の比較実験の結果, 作業時間は $1 / 10$ 程度に短縮された. 議案分類の手法としては, 学習データから抽出した特徴語の重みを用いた分類, 多層ニューラル ネットワーク (深層学習) を用いた分類, 抽出した議案タイトルを用いた分類の三手法を用いた。さらに，各手法の評価を行い，各手法の議案ごとの有効性を確認した. キーワード：株主招集通知，議案分類，深層学習，テキストマイニング
## A System for Classifying Proposals and Estimating Start Pages Stated in Notice of Annual Meeting of Shareholders

\author{
Kaito Takano ${ }^{\dagger}$, Hiroyuki SakaI ${ }^{\dagger \dagger}$, Hiroki Sakaji ${ }^{\dagger \dagger}$, Kiyoshi Izumi $^{\dagger \dagger \dagger}$,
}

Nana OKada ${ }^{\dagger \dagger \dagger}$ and Toshikazu Mizuuchi ${ }^{\dagger \dagger \dagger}$

In this paper, we describe research on applied systems for realizing efficiency of work to store information of notice of annual meeting of shareholders in the database by using text mining technology. We aim to estimate start pages of proposals stated in notice of the meeting of shareholders and classify which proposal the page is. And we developed a system that automatically performs these tasks using text information of the notice of convocation of shareholders, and actually operates it. As a result of comparative experiment between our implemented system and conventional manual work, the working time was shortened to about $1 / 10$. We propose three methods for classifying proposals. The first method classifies proposals by specialized terms extracted

from training data. The second method classifies proposals by using deep learning. The final method classifies proposals by extracted proposal title. We evaluated our methods, and the effectiveness of each method was verified.

Key Words: Notice of Annual Meeting of Shareholders, Proposal Classification, Deep Learning, Text Mining

## 1 はじめに

人工知能分野の手法や技術を，金融市場における様々な場面に応用することが期待されており，例えば，膨大な金融情報を分析して投資判断の支援を行う技術が注目されている。その一例として，日本銀行が毎月発行している「金融経済月報」や企業の決算短信，経済新聞記事をテキストマイニングの技術を用いて，経済市場を分析する研究などが盛んに行われている (和泉,後藤, 松井 2011; 北森, 酒井, 坂地 2017; Peramunetilleke and Wong 2002; Sakai and Masuyama 2008 ; 坂地, 酒井, 増山 2015).

日経リサーチでは，各種データを収集し，様々なデータベースを構築している。データ処理にあたっては，たとえばXBRL 形式のように値に付与されたタグ等の付加情報を利用し，自動分類によるデータベース化を行っている。しかしデータ分類用付加情報が付与されているデー 夕はまだ少数で，データベース構築の多くは自動分類化がすすんでおらず，人手をかけた作業による分類が大半を占めている，手作業で必要な情報を抽出するには，専門的知識や経験が必要となる。

そのような環境の中,「株主招集通知の議案別開始ページの推定」を研究課題として設定し $た^{1}$.

企業が株主総会を開催する場合，企業は招集の手続きが必要になる．会社法では公開会社である株式会社が株主総会を招集する場合，株主総会の日の二週間前までに，株主に対してその通知を発しなければならないと定めている（会社法第二百九十九条）。また，株式会社が取締役会設置会社である場合, その通知は書面で行わなければならない（会社法第二百九十九条第二項)。この株主総会に関する書面通知が株主招集通知である. 取締役会設置会社においては, 定時株主総会の招集の通知に際し, 取締役会の承認を受けた計算書類及び事業報告を提供しなければならない, 株主総会の目的が役員等の選任, 役員等の報酬等, 定款の変更等に係る場合, 当該事項に係る議案の概要を通知する必要がある等, 会社法および株主招集通知にて通知する事項は会社法および会社法施行規則で定められている（会社法第二百九十八条, 会社法施行規則第六十三条).

一般的な株式公開会社の株主招集通知は，株主総会の日時・場所 - 目的事項（報告事項・決

議事項）が記載される他, 参考書類・添付書類として決議事項の議案概要, 事業内容等の株式会社の現況に関する事項，株式に関する事項，会社役員に関する事項，会計監査人の状況，計算書類, 監査報告書等が記載される。記載内容が法令で定められている株主招集通知だが，有価証券報告書等のように様式が定められておらず，その形式は記載順序や表現方法を含め各社で異なっており， ページ数も数ページのものから 100 ページを超えるものもある.

今回の研究の対象は, 株主招集通知に記載されている決議事項に関する議案である。議案については，その記載がどのページにあるか, 何の事項の前後に記載されるかは各社各様であり,多様なパターンを識別するには株主招集通知を読み解く経験を積む必要があった. 従来は抽出したい議案（「取締役選任」「剰余金処分」などの項目）が報告書のどのページに記載されているか人手により確認し, データを作成していたが, 各社で報告書のページ数や議案数が異なるため, 確認に時間を要していた，現状は，株主招集通知を紙で印刷するとともに，PDFファイルで取得, 人手にてデータベースに収録, 校正リストの出力, チェックという流れで収録業務を行っている。ここで，抽出したい議案がその報告書にあるのか, どのページに記載されているのかが自動で推定できれば，時間の短縮やペーパーレス化などの業務の効率化につながる．したがって本研究の目標は, 株主招集通知の各ぺージが議案の開始ぺージであるかそうでないかを判別し，さらに，開始ページであると判断されたぺージに記述されている議案が，どのような内容の議案であるかを自動的に分類することである².

株主招集通知の開示集中時期には，短時間に大量の処理を進めるため，臨時的に収録作業者を配置し，データ入力を行う．臨時作業者には，株主招集通知の理解から始まり，収録定義に関する教育時間や練習時間が 2 日程度必要となる。この教育時間を経て, 実際のデータ入力を始めると，慣れるまでは 1 社あたりのデータベース化に 1 時間半 2 時間を要し, 本研究で対象としている議案分類のみの作業でも，慣れた作業者さえ数分かかる. 特に議案など必要なぺー ジにたどりつくまでに株主招集通知を一枚一枚めくって探すこと, 議案分類について議案タイトルやその詳細から対応する語を見つけ出すことに時間を要している. 処理・判断が早くなるには，各社で異なる株主招集通知の構成を見極め，構造の特徴をつかむことが必要になる．しかし，これらの勘をつかむには，およそ 1 週間程度かかっている。 さらに，信頼性の高いデー 夕収録ができるようになるには, 3 ヶ月以上を要している. 本研究によるシステムによって, これらの構造理解と勘の習得が不要になると共に, 議案の開始ページの推定や議案内容が分類されることにより，当該部分の 1 社あたりにかかる処理時間の短縮が期待される．さらに，理解の十分でない作業者の判断ミスや判断の摇れが減少し, 信頼度の高いデータ生成を支えることとなる。その結果, データベース収録に係る人件費の削減と, データベース化に伴うデータ収

表 1 出力結果

録の早期化をはかることが可能となる.

一般的に株主は，株主招集通知に掲載されている議案を確認し，「この議案に賛成もしくは反対」の判断をしている．多数の企業の株式を保有している株主は，これに時間がかかることが推測される。株主招集通知に載っている議案が分類されれば，議案の内容をより早く把握することができ，判断に集中できるようになると考える.

ここで，本論文で提案するシステムの全体像について述べる。本論文で提案するシステムは，株主招集通知を入力として，表 1 に示すような結果を返すシステムである。この結果を得るためには，まず議案が何ぺージから記載されているのかを推定する必要がある。そして推定したページに対して，議案がいくつ存在し，どの議案分類に分類されるかを自動で行う.

本論文の第 2 章では議案がある開始ページの推定について述べる。第 3 章から第 5 章では各議案分類の手法について詳細な内容について述べる。第 6 章では各手法の評価を適合率, 再現率， $\mathrm{F}$ 值を用いて述べる。第 7 章では第 6 章の評価結果を踏まえて考察を述べる。第 8 章では応用システムについて述べる。第 9 章では関連研究について述べ，関連研究と本研究の違いについて述べる。

## 2 議案がある開始ページの推定

株主招集通知から議案を分類するために，議案が開始するぺージの推定を行う必要がある.開始ページの推定は，テキスト情報を用いてルールベースで行う。まず，株主招集通知の PDF を 1 ぺージごとに分割したうえで，テキストデータに変換する。変換には pdftotext ${ }^{3}$ を用いた. PDF データをテキストデータに変換するとき，以下の処理を加えて変換を行った。

処理 1 半角を全角に変換する
^{3} \mathrm{http} / /$ www.foolabs.com/xpdf/home.html
}
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

処理 2 空白は除去する

処理 3 （）が含まれる文は括弧ごと除去する

処理 4 「の件」または「する件」を含んでいる場合，「件」の後に改行を加える

処理 5 行頭が「第○号議案」または「議案」と一致する場合, 行頭に改行を加える

議案及び参考事項

第 1 号議案剩余金の処分の件

第69期の期末配当につきましては、安定的な配当の継続と当事業年度の業

績等を勘案いたしまして以下のとおりといたしたいと存じます。

(1) 配当財産の種類

金銭といたします。

(2) 配当財産の割当てに関する事項及びその総額

当社普通株式 1 株につき金 12 円といたしたいと存じます。

なお、この場合の配当総額は $210,728,688$ 円となります。

（注）中間配当を含めた当事業年度年間配当は、 1 株につき金 24 円となります。

(3) 剩余金の配当が効力を生ずる日

平成28年10月21日といたしたいと存じます。

## 第 2 号議案 定款一部変更の件

1 . 提案の理由

経営体制の強化・充実を図るため、取締役の員数を 10 名以内から 12 名以内

に変更するものであります。

2. 変更の内容

変更の内容は次のとおりであります。

図 1 株主招集通知のテキストデータ変換の例 1
処理 6 「。」は改行に置き換える

上記の処理によって PDF デー夕は図 1 や図 2 のようなテキストデータに変換される. 議案がある開始ページは，以下の条件のもと推定した。ここで，「決議事項」または「目的事項」という表現が含まれているぺージを目次ぺージとし, 「参考書類」,「議題及び参考事項」または「議題および参考事項」という表現が含まれているぺージを参考ぺージとする。

条件 1 議案がある開始ぺージは,「議案」または「第 $X$ 号議案」が先頭に含まれるぺージを対象とする

条件 2 目次ページは議案がある開始ページの候補から除外する

条件 3 参考ページから議案に関する記載が始まるため，参考ページ以降を対象とする

議案がある開始ページの推定は上記の条件に関わるページ番号の抽出の他に，議案数の推定とぺージ数の抽出が必要となる.「第 $X$ 号議案」という語が株主招集通知に含まれている場合,

図 2 株主招集通知のテキストデータ変換の例 2
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

表 2 抽出された情報 1

表 3 抽出された情報 2

表 4 抽出された情報 3

議案数は「 $X 」 の$ 最大値であると推定できる.「第 $X$ 号議案」という語が株主招集通知に含まれていない場合, 議案という語が含まれていれば, 議案数は 1 であると推定できる。 ページ数の抽出は, PDF データを 1 ページずつテキストデータ化し, テキストデータが取得できた最後のページ番号をページ数として抽出する.

これらを踏まえて, 変換されたテキストデータから必要な情報を抽出した例を表 2 , 表 3 , 表 4 に示す. 例えば, 図 1 は, 株主招集通知の P. 40 の例であり, そのページから抽出される議案は「第 1 号議案」,「第 2 号議案」となる. これらの情報を基にページの推定を以下の図 3 のフローチャートに従って行う.

表 2 と表 4 の例の場合, まず参考ページの最も後ろのページである 42 ページが探索開始ぺー ジとなるが，第 1 号議案が 42 ページ以降に出現しないため, 探索開始ページを 40 に更新して行うことで, 第 1 号議案から第 8 号議案の開始ページの推定に成功する.

## 3 提案手法 1 特徵語による議案分類

本章では, 特徴語による議案分類について説明する. この提案手法は以下のステップで議案の分類を行う.

Step 1: 議案分類ごとの特徴語の獲得

Step 2: 議案の分類

図 3 議案の開始ページ推定のためのフローチャート

## 3.1 議案分類ごとの特徵語の獲得

## 3.1.1 特徴語候補の抽出

株主招集通知に出現する議案を分類するために，議案分類ごとの特徵語の抽出をする。例えば，「取締役選任」の特徴語として，「現任取締役」のような語を抽出する。議案分類ごとの特徵語の獲得をするために, 株主招集通知における議案別の開始ぺージとその議案の分類が記述されたデータ（6,444 件）を，株主招集通知のPDF 1 ページごとに分割したうえで，テキストデータに変換し, 学習データとして使用する. 特徴語の抽出は上記の学習デー夕を形態素解析し, それから以下の条件のもと, 各議案分類の開始ページに 2 回以上出現する語を特徴語の候補とする。

条件 1 名詞を対象

条件 2 分割は $N$-gram 単位

条件 325 文字以上の長すぎる複合名詞は除外

例えば，名詞を対象に N-gram 単位の分割を「株主招集通知における議案タイトル」に対し

イトル」，「議案タイトル」のように分割される.
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 3.1.2 特徴語候補への重み付け

特徴語の候補 $n_{i}$ に対して議案分類ごとに重み付けを行い, 特徴語を選択する. 重み付けの式には式 1 を用いる。

$
W\left(n_{i}, C(t)\right)=\left(0.5+0.5 \frac{T F\left(n_{i}, C(t)\right)}{\max _{j=1, \ldots, m} T F\left(n_{j}, C(t)\right)}\right) \times H\left(n_{i}, C(t)\right) \log _{2} \frac{N}{d f\left(n_{i}\right)}
$

ここで，学習データにおいて，

$C(t)$ : 議案分類 $t$ の開始ページの文書集合.

$T F(n, C(t)): C(t)$ において, 名詞 $n$ が出現する頻度.

$H(n, C(t)): C(t)$ の各文書である $d$ に名詞 $n$ が出現する確率 $P(n, d)$ に基づくエントロピー.以下の式 2 によって求める.

$
H(n, C(t))=-\sum_{d \in C(t)} P(n, d) \log _{2} P(n, d)
$

ここで, $P(n, d)$ は $d$ に名詞 $n$ が出現する確率である.

$d f(n)$ : 名詞 $n$ を含む文書の数.

$N ：$ 学習データにおける文書の総数.

エントロピーを用いた理由は，各議案分類の文書集合中で多くの文書に分散して出現している語の方が, 少数の文書に集中して出現している語と比較して, よりその議案分類の特徴を表し, 特徴語としても有効であるという仮定に基づく. 例として, 議案分類「監査役選任」の特徵語候補への重み付けを, エントロピーを用いて行った結果を表 5 に示し, エントロピーを用いずに行った結果を表 6 に示す.

表 6 に示した特徴語候補は上位 6 単語だが, 上位 300 単語のほとんどが固有名詞であるため議案分類の特徴としては適切でなく, エントロピーを計算に用いることは有用と思われる.

表 5 エントロピーを用いた重み付けの結果

表 6 エントロピーを用いずに重み付けをした結果

## 3.1.3 特徵語の選択

各議案分類ごとの特徴語候補の重み付けの平均値を算出し, 平均値よりも重みの高いものを特徴語として選択する。すなわち, 以下の条件が成り立つ語 $n_{i}$ を特徴語として選択する.

$
W\left(n_{i}, C(t)\right)>\frac{1}{m} \sum_{j=1}^{m} W\left(n_{j}, C(t)\right)
$

$m$ : 議案分類 $t$ の特徴語候補の総数.

例えば,「取締役選任」の特徴語の一部を表 7 ,「定款変更」の特徴語の一部を表 8 に示す。表 8 に注目すると，「定款変更」の項目なので「変更」，「施行」，「定款」などを含む特徴語が上位に来ることは想像できるが，それ以上に「下線部」のような単語に高い重みが付与されることは，機械学習のメリットである，実際，図 2 は「定款変更」に分類される議案の開始ページであるが,「下線部」という単語が出現している.

## 3.2 議案の分類

3.1 節で得られた特徴語の重みと第 2 章の手法で推定した議案の開始ページを用いて, 開始ページごとの議案の分類を行う。議案分類 $t$ の開始ページ $j$ に対するスコア付与は式 4 を用いる.

$
\operatorname{score}(j, t)=\frac{\boldsymbol{V}(\boldsymbol{t}) \cdot \boldsymbol{V}(\boldsymbol{j})}{|\boldsymbol{V}(\boldsymbol{t})||\boldsymbol{V}(\boldsymbol{j})|}
$

ここで,

$V(t):$ 議案分類 $t$ の特徴語を要素, 特徴語の重みを要素値とするべクトル

$V(j):$ 開始ページ $j$ の名詞 N-gram を要素, 出現数を要素値とするベクトル複数の議案が同ぺージに存在する場合，スコアが上位のものから順に選ばれるものとする.

表 7 「取締役選任」の特徴語

表 8 「定款変更」の特徴語

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 4 提案手法 2 多層ニューラルネットワークによる議案分類

提案手法 1 では, 学習データから各議案の特徴語を抽出し, それに基づいて議案を分類している.この学習データを使用すれば，機械学習手法に基づく手法でも議案分類が可能である．そこで, 本研究では多層ニューラルネットワーク（深層学習）4を用いた議案分類も試みた.

## 4.1 素性選択

株主招集通知に記載されている議案の開始ページの議案分類を, 深層学習により行う。すなわち, 議案の開始ぺージが, ある議案分類であるかそうでないかを判別する分類器を議案分類の数だけ生成し, テストデータとなる議案の開始ぺージがどの議案分類に属するかを判定する. したがって, 例えば議案分類「取締役選任」を判別するための学習データは,「取締役選任」の開始ページが正例, それ以外の議案分類の開始ぺージが負例となる。また, テストデー夕は, 学習データとして使用した株主招集通知を除き，株主招集通知を 1 ページごとに分割したうえで，第 2 章の手法を用いて推定されたページを対象とした.

まず，入力層の要素となる語（素性）を選択する。具体的には，学習データにおいて正例に含まれる内容語（名詞, 動詞, 形容詞）に対して, 以下の式 5 にて重みを計算する.

$
W_{p}\left(t, S_{p}\right)=T F\left(t, S_{p}\right) H\left(t, S_{p}\right)
$

ただし,

$S_{p}$ : 学習データにおいて正例に属する文の集合

$T F\left(t, S_{p}\right):$ 文集合 $S_{p}$ において，語 $t$ が出現する頻度

$H\left(t, S_{p}\right)$ : 文集合 $S_{p}$ における各文に含まれる語 $t$ の出現確率に基づくエントロピー

$H\left(t, S_{p}\right)$ が高い語ほど, 正例の文集合に均一に分布している語であることが分かる. $H\left(t, S_{p}\right)$ は次の式 6 で求める.

$
\begin{gathered}
H\left(t, S_{p}\right)=-\sum_{s \in S_{p}} P(t, s) \log _{2} P(t, s) \\
P(t, s)=\frac{t f(t, s)}{\sum_{s \in S_{p}} t f(t, s)}
\end{gathered}
$

ここで, $P(t, s)$ は文 $s$ における語 $t$ の出現確率を表し, $t f(t, s)$ は文 $s$ において語 $t$ が出現する頻度を表す. 次に, 負例に含まれる内容語（名詞, 動詞, 形容詞）に対しても, 同様に重みを計算する.

$
W_{n}\left(t, S_{n}\right)=T F\left(t, S_{n}\right) H\left(t, S_{n}\right)
$


ただし， $S_{n}$ は学習データにおいて負例に属する文の集合である.

ここで，ある語 $t$ の正例における重み $W_{p}\left(t, S_{p}\right)$ が負例における重み $W_{n}\left(t, S_{n}\right)$ より大きければ，その語 $t$ を素性として選択する。もしくは，語 $t$ の負例における重み $W_{n}\left(t, S_{n}\right)$ が正例における重み $W_{p}\left(t, S_{p}\right)$ の 2 倍より大きければ，その語 $t$ を素性として選択する。すなわち，以下の条件のどちらかが成り立つ語 $t$ を素性として選択する。

$
\begin{aligned}
W_{p}\left(t, S_{p}\right) & >W_{n}\left(t, S_{n}\right) \\
W_{n}\left(t, S_{n}\right) & >2 W_{p}\left(t, S_{p}\right)
\end{aligned}
$

上記の条件を課すことで，正例，負例における特徴的な語のみを素性として選択し，ともによく出現するような一般的な語を素性から除去する．以下に議案分類「取締役選任」を判別するための学習データから選択された素性の一部を例示する.

取締役, 監査, 議案, 配当, 株主, 社外, 変更, 事業, 代表, 現任, 責任, 部長, 社長

上記の学習データでは, 2,845 語が素性として選択された.

## 4.2 モデル

入力は, 学習データから抽出された語（素性）を要素, 語 $t$ における $\log \left(W_{p}\left(t, S_{p}\right)\right.$ ), もしくは, $\log \left(W_{n}\left(t, S_{n}\right)\right)$ の大きいほうを要素值としたべクトルとする．モデルの入力層のノード数を入力ベクトルの次元数（すなわち素性の数）と同じとし, 隠れ層は, ノード数 1,000 が 3 層, ノード数 500 が 3 層, ノード数 200 が 3 層, ノード数 100 が 3 層の計 12 層とする. 出力層は 1 要素である.

深層学習のパラメータとして, 活性化関数はランプ関数 (ReLU) (Glorot, Bordes, and Bengio 2011)を, 出力層は sigmoid を使用した. また, エポック数は 50 回とした.

機械学習による分類を 2 値で行った理由は，1つのページに複数の議案が記載されており, 複数の議案分類が割り当てられる可能性があるからである. 例えば,「取締役選任」と「監査役選任」が同じページに記載されている場合があり，その場合は，そのページを「取締役選任」と 「監査役選任」に分類する必要がある。そのため，ある議案分類とそれ以外を分類する分類器を議案分類数だけ生成するアプローチを採った。

## 5 提案手法 3 抽出した議案タイトルを用いた議案分類

本章では, 議案タイトルの抽出手法と, 抽出した議案タイトルを用いた議案分類手法について説明する。議案タイトルとは, 図 1 の第 1 号議案の隣に記載されている「剰余金の処分の件」
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

や，第 2 号議案の隣に記載されている「定款一部変更の件」のことを指す. 議案タイトルを正確に抽出することは難しいが, 正しく議案タイトルを抽出できれば議案分類の大きな手助けとなるとともに，議案タイトルを人手で入力する手間を省くことができる.

## 5.1 議案タイトルの抽出

$\mathrm{PDF}$ データを第 2 章と同様の条件でテキストデータに変換し, 図 4 のフローチャートの条件で議案タイトルの抽出を行う.

議案タイトルは第 2 章の手法を用いて推定された開始ページを用いて, ハッシュに保存された議案タイトルが選択される。以下の優先順位でハッシュは選ばれ，優先すべきハッシュに議案タイトルがない場合, 次順位のハッシュに保存された議案タイトルを選択する.

ここで, $h a s h 3\{$ ページ数 $\}\{m\}$ はそのページに出現する $m$ 番目の議案タイトルである.

図 4 議案タイトル抽出のフローチャート

図 5 抽出した議案タイトルを用いた分類のフローチャート

## 5.2 議案タイトルを用いた議案分類手法

議案タイトルに含まれるキーワードを用いたルールベースによって議案分類を行う ${ }^{5}$. 図 5 に本手法である議案分類のフローチャートを示す.

## 6 評価

本手法を実装した．学習データとして，2016 年 4 月から 8 月までの株主招集通知から，人手にて議案開始ページとその分類を作成し使用した（学習デー夕数は 6,444 件）。実装にあたり，形態素解析器として MeCab 6 を使用した。深層学習においては TensorFlow ${ }^{7}$ 使用した。評価において，正解データとして，2016 年 9 月から 10 月までの株主招集通知から，人手にて議案開始ページとその分類を作成した（正解デー夕数は 345 件）。議案分類ごとの学習データと正解データは以下の表 9 の通りである。次に，正解データと同じ 9 月から 10 月までの株主招集通知から，各手法を用いて議案開始ぺージとその議案分類を推定した．表 10 はある企業の株主招集

通知における正解データと提案手法 1 による議案開始ページと議案分類の推定結果を示す。そして, 各手法の推定結果と正解データが一致すれば正解とし, 議案ごとの適合率, 再現率, $\mathrm{F}$ 値を算出した。また，比較手法として，Support Vector Machine (SVM) (Vapnik 1999)による分類も行った8. 素性選択の方法は深層学習と同様である. 評価結果を表 11 に示す. 表 11 の手法 1 は提案手法 1 の特徴語による議案分類手法, 手法 2 は提案手法 2 の深層学習による議案分類手法, 手法 3 は提案手法 3 の抽出した議案タイトルを用いた議案分類手法の結果を示す.

深層学習による提案手法 2 を評価するために, 素性選択を行わなかった場合, 深層学習ではなくSVM を使用した場合, 深層学習の隠れ層やエポック数を変化した場合の評価を行った．表 12 に各手法や設定を示す.ここで，比較手法 2 の「素性選択なし」とは，学習デー夕における内容語を全て素性として使用し, 重みとして情報利得を使用したものである。また, 各手法や設定ごとに全ての議案分類の適合率, 再現率を載せるのは数値が多すぎるため, 各手法や設計ごとの全議案における適合率, 再現率のみを表 13 に示す.

表 9 議案別デー夕数

表 10 提案手法 1 による議案開始ページと議案分類の推定結果とその正解データ

^{8}$ SVM のカーネルとして線形カーネルを使用した.
}
表 11 評価結果

表 12 比較手法と設定

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 7 各手法に対する考察

各手法の評価の結果, 提案手法 3 , 提案手法 2 , 手法 (SVM), 提案手法 1 の順に良好な結果が得られた. 各手法には特徴があり,「ストックオプション」の $\mathrm{F}$ 值では提案手法 1 が最も高く,「剰余金処分」の $\mathrm{F}$ 值は提案手法 2 が最も高い.

提案手法 1 は「ストックオプション」の結果が他の手法と比較して良好な結果となった. これは特徴語の選択とその重み付けに起因している。得られた特徴語と重みを表 14 に示す。また,特に提案手法 3 と比較すると高い結果が得られているが, これは「ストックオプション」に該当する議案のタイトルは多種多様であることから, 提案手法 3 のタイトルを用いた分類は難しいことが原因でもある。

提案手法 1 の分類推定が誤っていたものを確認したところ, 誤分類は 46 件だった. その誤分類の詳細を確認したところ,「取締役選任」の項目が,「監査役選任」の項目に誤分類されている件数が 15 件あった. これはどちらの項目も選任の件であり, 分類が難しいことと, 議案としての出現確率が高いことに起因している。また，分類には「その他」といった項目が存在するが，今回は「その他」への分類をしていないため，15 件が誤分類となった．「その他」の項目は, どの議案にも分類されない議案で構成されるため, 特徵語となるものが抽出できない. そのため分類対象から除外した.

表 13 比較評価結果

表 14 「ストックオプション」の特徴語

提案手法 1 は議案の分類をスコアが上位のものから順に割り当てるため, 同一ページに対し同じ議案分類を割り当てることができない，そのため，同じ議案分類が複数出てきた開始ぺー ジの推定に影響を与え， 6 件の誤分類となった。また，その場合の推定は「退職慰労金」に分類される傾向にあり，それに起因して「退職慰労金」の分類の適合率が低くなってしまった。その際の正解データと提案手法 1 の出力結果を表 15 に示す。この例は，P. 53 に「役員報酬」に関する議案が 2 件記載されているが,「役員報酬」の次にスコアが高い「退職慰労金」が議案分類として割り当てられてしまった結果である.

提案手法 1 の分類推定を向上させるためには, 「取締役選任」と「監査役選任」の項目の特徴語の選択をヒューリスティックに調整することが考えられる。また，「その他」の項目も，同様の手法で分類できるようにすることも考えられる。同じ議案が複数存在するページに関しては,「退職慰労金」の項目に分類されることが多いため，「退職慰労金」への分類に制約を与えることで，解消されると考えられる。

提案手法 2 の結果は，議案があると推定されたページに対して各分類器を適用するため，そのページにある議案数とは異なった結果を返すことがある。提案手法 1 で述べた, 同じ議案が複数存在するぺージに関しては, 結果を余分に返さないメリットがある。しかし, 提案手法 2 は 1 ページ毎に分類を行うため, 議案が複数存在し, 該当ページの後半以降から始まり, 次のページに跨ぐような議案に対しては，正しい分類結果を返せないデメリットが存在する。

提案手法 3 の抽出した議案タイトルを用いた議案分類は, 高い適合率, 再現率を示しているが, 議案タイトルの抽出の結果に強く依存しているため, 他の分類手法と照らし合わせる必要がある．他の分類手法はページに出現する特長語を用いて分類を行うため，議案タイトルが正しく抽出できない場合においても分類を行うことが可能である.

議案がある開始ぺージの推定は，議案があると推定された株主招集通知に対しては $100 \%$ 推定できていた。しかし, 議案が本来は記載されているが, 議案がないと判断された株主招集通

表 15 同じ議案が同一ページに複数出てきた例

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

知が 2 件あった。原因を調べたところ, PDF からテキストデータへの変換のとき，「議案」といった表現が抽出されてないことが原因であった。その例を図 6 に示す.

図 6 の矢印で示した位置に，本来 PDF に記載されている「議案」という文字列がテキストに変換されるはずだができていない。これは文字列「議案」の PDFへの入力が特殊であるために生じる。PDF を画像ファイルとして読み込み，文字認識をかけるなど解決策はあるが，本研究から内容が逸脱するため例外として処理した。

表 13 における本手法と素性選択なしの比較手法 1 との比較により, 素性選択ありのほうが素性選択なしよりも高い $\mathrm{F}$ 値を達成した。従って，本手法における素性選択は本タスクにおいて有効であると考える．SVM との比較では，SVM のほうが適合率が高いが再現率が低いという結果となり, $\mathrm{F}$ 値はほぼ同じ結果となった. 隠れ層の数やエポック数の変化でも本手法とほぼ同じ結果となっており，機械学習に基づく手法では，手法の如何にかかわらず，この結果が上限であると考える。

図 6 議案が正しく変換できなかったテキストデータの例

## 8 応用システム

評価の結果と考察を踏まえ, 特徴語の重みによる議案分類と抽出した議案タイトルを用いた議案分類を, 実際に運用できるシステム構築を行った. システムへのインプットは株主招集通知の PDF, アウトプットには議案のあるぺージ, 抽出した議案タイトル, 各手法の議案分類の結果, 分類の信頼度とする. 図 7 にシステムの構造を示す.

ここで，信頼度とは，抽出したタイトルを用いた議案分類の結果の確からしさを示したものであり，值が 1 に近いほど議案分類の推定結果が正しいことを意味している．人が最終確認をする際に確認対象の判断を行うため, 抽出した議案タイトルを用いた議案分類の分類結果の信頼度を追加した。信頼度の計算は, Bayesian Biostatistics (Lesaffre and Lawson 2012)を参考にベイズ推定を利用した。

## 8.1 ベイズ推定による信頼度の推定

ここで説明のため, 議案集合を $U$ とし, 抽出した議案タイトルによる分類結果 $\lceil t\rfloor$ が得られたときの事象を以下のように定義する.

$A(t)$ : 議案分類は「t」である.

$B(t)$ : 抽出した議案タイトルによる議案分類結果が「 $t$ 」であった.

$C(m):$ 特徴語による議案分類が「 $m$ 」であった ${ }^{9}$.

図 7 システム構造
^{9} m$ は $m=t$ でも可. また, 複数議案が選ばれることもある. 例 $: t=\lceil$ 定款変更 $\rfloor, m=\lceil$ 定款変更 $\rfloor$.
}
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

このとき求めたい信頼度は以下の式 12 で得られる。

$
P(A(t) \mid B(t), C(m))=\frac{P(B(t), C(m) \mid A(t)) P(A(t))}{\sum_{d \in U} P(B(t), C(m) \mid A(d)) P(A(d))}
$

ベイズ推定では, $P(A(t) \mid B(t), C(m))$ を事後確率, $P(B(t), C(m) \mid A(t))$ を尤度, $P(A(t))$ を事前確率と呼ぶ. すなわち式 12 は, 元々の議案の出現確率に尤度をかけることで, $B(t), C(m)$ という根拠を加味した条件付き確率を得ることができる。しかし, 特徴語による議案分類は, 同ページに議案が複数ある場合, 複数の分類結果を返すため, 全パターンの尤度の計算はデータ数の関係もあり困難である。よって，事象を以下のように変更した。

$A:$ 議案分類は「 $t$ 」である.

$\bar{A}: \quad$ 議案分類は「t」でない.

$B ：$ 抽出した議案タイトルによる議案分類結果が「 $t$ 」゙゙あった.

$C:$ 特徴語による議案分類が「 $t$ 」を含む.

$\bar{C}:$ 特徴語による議案分類が「 $t$ 」を含まない.

よって先ほどの式 12 は式 13 のようになる 10.

$
P(A \mid B, C)=\frac{P(B, C \mid A) P(A)}{P(B, C \mid A) P(A)+P(B, C \mid \bar{A}) P(\bar{A})}
$

また, ベイズ流のアプローチは条件をひとつずつ加え, 事後確率を変化させていくのが基本となる。したがって，条件 $B$ を加えたことによって得られた事後確率を，更新された事前確率として条件 $C$ を加えたときに用いることで，最終的な事後確率を計算する ${ }^{11}$.これは, 事象 $B$ と事象 $C$ はマルコフ性のある確率過程であるという仮定に基づく.

## 8.1.1 条件 $B$ を加えた事後確率 $P(A \mid B)$ の算出

まずは事前確率 $P(A)$ に，条件 $B$ を加えた事後確率 $P(A \mid B)$ を求める必要がある， $P(A \mid B)$ はベイズの定理より以下の式 14 で求めることができる.

$
P(A \mid B)=\frac{P(B \mid A) P(A)}{P(B \mid A) P(A)+P(B \mid \bar{A}) P(\bar{A})}
$

これは議案タイトル抽出の議案分類の適合率の計算と同様であるため, 評価で得られた各議案の適合率を $P(A \mid B)$ として用いる。例えば,「定款変更」の事前確率 $P(A)$ は 0.133 であるが, べイズ更新によって事後確率 $P(A \mid B)$ は 0.9737 となる.
^{10} \bar{C}$ の場合もほぼ同様であるためここでは省略する。

11 これはべイズ更新と呼ばれる.
}

## 8.1.2 条件 $C$ を加えた事後確率 $P(A \mid B, C)$ の算出

すでに条件 $B$ を加えたので，更新された事前確率 $P(A \mid B)$ を用いて $P(A \mid B, C)$ を求める. $P(A \mid B, C)$ はべイズの定理より以下の式 15 で求めることができる.

$
P(A \mid B, C)=\frac{P(C \mid A, B) P(A \mid B)}{P(C \mid A, B) P(A \mid B)+P(C \mid \bar{A}, B) P(\bar{A} \mid B)}
$

ここで，事象 $B$ は議案タイトルを用いた分類による分類結果，事象 $C$ は文中に出現した特徴語を用いた分類結果であるため, 分類に用いる情報源が異なることから，分類結果は独立であるという仮定の下，式 15 は以下の式 16 で表すことができる.

$
P(A \mid B, C)=\frac{P(C \mid A) P(A \mid B)}{P(C \mid A) P(A \mid B)+P(C \mid \bar{A}) P(\bar{A} \mid B)}
$

ここで,

$P(A \mid B):$ 抽出した議案タイトルによる議案分類の適合率.

$P(\bar{A} \mid B): \quad 1-P(A \mid B)$.

$P(C \mid A):$ 特徴語による議案分類の再現率.

$P(C \mid \bar{A}):$ 特徴語による議案分類の誤検知率 ${ }^{12}$.

同様に $P(A \mid B, \bar{C})$ も以下の式 17 で表すことができる.

$
P(A \mid B, \bar{C})=\frac{P(\bar{C} \mid A) P(A \mid B)}{P(\bar{C} \mid A) P(A \mid B)+P(\bar{C} \mid \bar{A}) P(\bar{A} \mid B)}
$

ここで,

$P(\bar{C} \mid A): \quad 1-P(C \mid A)$.

$P(\bar{C} \mid \bar{A}): \quad 1-P(C \mid \bar{A})$.

## 8.2 システムの実行例

株主招集通知の PDF ファイルをアップロードすると, ページ数, 議案番号, 議案タイトル,抽出した議案タイトルを用いた議案分類の結果, 特徵語を用いた議案分類の結果, 信頼度が画面に表示される.

システムの実行結果の例を, 図 8 と図 9 に示す. 左上の「〜.pdf」のリンクをクリックすると，アップロードしたPDFファイルの閲覧が可能である。また，右の PDFのリンクをクリックすると, 該当ページの PDF ファイルを閲覧することが可能である.

図 9 の第 4 号議案の結果に注目すると, 抽出した議案タイトルを用いた分類では「取締役選

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## サムコ

PDF : 6387 1495247685.pdf

 &  & 信頼度 & \\

図 8 「サムコ」の株主招集通知をアップロードした出力結果

## テクノメディカ

PDF : 6678 1495247399.pdf

 &  & 信頼度 & \\

図 9 「テクノメディカ」の株主招集通知をアップロードした出力結果

任」となっているが，特徴語を用いた分類では「監査役選任」に分類結果となっている。ここで信頼度を見ると，抽出した議案タイトルによる分類結果である「取締役選任」は約 $96 \%$ の信頼度である。実際に確認したところ，真の分類は「取締役選任」だった。これは，「取締役選任」 の分類において, 抽出した議案タイトルを用いた手法は高い適合率を誇る一方で, 特徴語による議案分類は,「取締役選任」の再現率が低いため, 約 $96 \%$ の信頼度という結果が得られた.これは実際に人手で確認するとき，有用であると考えられる.

## 9 応用システムの評価

本応用システムによる業務の効率化を評価するために，実装した応用システムと従来の人手による作業の比較評価を行った。評価基準は実際の業務に基づいたデー夕収録にかかった時間と適合率・再現率とする。応用システムは，2つの議案分類手法を採用しているため 2 つ結果が得られるが，信頼度は抽出したタイトルを用いた議案分類の結果の確からしさを示したものであることから，適合率と再現率は抽出したタイトルを用いた議案分類の結果を用いた。

## 9.1 評価方法

学習データとテストデータとは別に, 新たに 95 社分の株主招集通知を人手にて確認し, 実際の業務と同じ手順によりデータベースに収録した。その後チェックを行ったものを正解データとする。この 95 社分のデータを 1 社ずつ時間を計り収録する作業を, 12 人の方に行ってもらい, 12 人から得られた各 1 社ずつの収録時間の平均を算出した. 応用システムは 95 社分のデー タをアップロードし, 出力結果を $\operatorname{csv}$ ファイルでダウンロードし, データベースに収録するまでの時間を測定した。この時点までにかかった時間を測定し，収録されたデータがどのくらい正しく入力されているかを確認した.

## 9.2 収録時間

実装した応用システムの収録時間の結果と人手による収録時間の結果を表 16 に示す 13.

## 9.3 適合率・再現率

各作業者の適合率・再現率と応用システムの適合率・再現率を表 17 に示す.

## 9.4 考察

応用システムの実装によって, 当該部分の 1 社あたりにかかる処理時間は約 10 分の 1 となった。また, 適合率・再現率から明らかなように，人手による作業よりも高い精度で開始ぺージの推定と議案分類が実現できた.

応用システムは例外に対応できないことや $100 \%$ の正解率で議案の分類ができないため, この後の作業工程であるチェックの際に，人手で作成したデータよりも時間がかかると考えていた.しかし, 人手にて作成したデータは, 勘違いによるミスや誤分類が多く, 応用システムよ

表 16 収録にかかった時間の結果


高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

表 17 収録されたデー夕の適合率・再現率

表 18 信頼度別応用システムの適合率

りも質の低い結果となっているため, 応用システム以上に時間をかける必要がある。また, この後のチェック段階において, 人手によるデータには信頼度はないため, 全収録データを複数人で確認する必要がある。しかし, 応用システムの信頼度が 0.9 を越えるものと下回るものに対しての議案数と適合率は表 18 のようになっており, 信頼度が 0.9 を下回るものに対しては複数人での確認が必要だが, 信頼度が 0.9 を越えるものに対しては一人が確認を行えば十分であると思われる。これにより, さらなる業務の効率化が期待される.

## 10 関連研究

本研究は, 金融テキストマイニング (和泉, 松井 2012 )の一環であるが, 関連研究として酒井らは, 企業の業績発表記事から業績要因を抽出し (Sakai and Masuyama 2008), 抽出した業績要因に対して業績に対する極性（「ポジティブ」，「ネガティブ」）を付与する手法 (Sakai and Masuyama 2009)や, 抽出される複数の業績要因から重要な業績要因を自動的に抽出する手法を提案している (酒井, 増山 2013). 更に, 酒井らは, 上記の手法 (Sakai and Masuyama 2008)を決算短信 PDF に適用し, 決算短信 PDF から, 例えば「半導体製造装置の受注が好調でした」の

ような業績要因を含む文を抽出する手法を提案している (酒井, 西沢, 松並, 坂地 2015). その発展研究として北森らは, 決算短信 PDF からの業績予測文の抽出する手法を提案している (北森他 2017). 松田らは, 日本銀行政策委員会金融政策決定会合議事要旨のテキストデータから, トピック抽出の研究を行っている (松田, 岡石, 白田, 橋本, 佐倉 2014). それらの研究を踏まえ本研究では，株主招集通知のデータを扱う点や，トピックや業績要因の抽出ではなく，議案の開始ページの推定, 議案タイトルの抽出, その議案分類をする点が異なっている.

開始位置の推定に関する関連研究としては, XML ドキュメントを対象とした研究はあるが,株主招集通知を対象とし，議案ごとの開始ぺージを推定する研究はない (Kamps, Koolen, and Lalmas 2007).

機械学習による分類手法の比較に関しては数多くの論文が存在するが (Feldman and Sanger 2007; Li and Yamanishi 2017; Chen and Ho 2000; Zhang and Yang 2003), それらの論文のほぼすべてが手法の比較を行い，新規手法によって「適合率や再現率の改善が見られた」のような内容である。しかし，実際のシステムにおいては，一つの手法に依存するのは大変危険であるため（機械学習は過去のデータを学習データとすることから, 新規データの変化に弱いため), 複数の手法によって結果を出し, 統合した確からしさ（信頼度）をユーザーに与える必要がある.個々の手法の適合率や再現率を示しても，ユーザーはどの結果を信頼するべきか迷うため，結果の統合は価値があると考えられる。この結果の統合による信頼度の算出が本研究の特色の一つである．複数の分類手法の統合の関連研究としては, 線形結合による分類手法の統合を行っているが (Fumera and Roli 2005), 本研究ではべイズ推定を用いた確率的なアプローチを行っている.

## 11 まとめ

本研究では, 株主招集通知における議案の開始ページを推定し, その議案を分類する手法を提案した. 本研究により, 人手で株主招集通知から議案の開始ぺージを探しだし，分類をする作業時間を大幅に削減できた。議案の開始ページ推定は，議案がある開始ぺージには「議案」または「第 $X$ 号議案」が先頭に含まれるといった規則に基づく. 議案分類の推定は, 議案ごとの特徴語を抽出し, その特徴語のスコアに基づき分類する手法, 深層学習を用いた分類, 議案夕イトルを用いたキーワードによる分類, の 3 手法を用いた. 評価の結果, 特徴語による議案分類, 深層学習による議案分類, 抽出した議案タイトルを用いた議案分類, どの手法も良好な適合率，再現率を達成した。これらの結果を踏まえ，応用システムの実装により，株主招集通知の構造理解の習得が不要になると共に, 議案の開始ぺージの推定や議案内容が分類されることにより，当該部分の 1 社あたりにかかる処理時間が 10 分の 1 程度に短縮された. また，信頼度により, その後の作業工程であるチェックの時間も短縮されることが見込まれる. これらのこ
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

とから, 理解の十分でない作業者の判断ミスや判断の摇れが減少し, 信頼度の高いデータ生成を支えることとなる。その結果, 収録に係る人件費の削減と，データベース化に伴うデータ収録の早期化をはかることができるであろう.

## 参考文献

Chen, H. and Ho, T. K. (2000). "Evaluation of Decision Forests on Text Categorization." In Proceedings of the 7th SPIE Conference on Document Recognition and Retrieval, pp. 191-199.

Feldman, R. and Sanger, J. (2007). The Text Mining Handbook. Cambridge University Press.

Fumera, G. and Roli, F. (2005). "A Theoretical and Experimental Analysis of Linear Combiners for Multiple Classifier Systems." IEEE Transactions on Pattern Analysis and Machine Intelligence, 27 (6), pp. 942-956.

Glorot, X., Bordes, A., and Bengio, Y. (2011). "Deep Sparse Rectifier Neural Networks." In Proceedings of the 14th International Conference on Artificial Intelligence and Statistics, pp. 315-323.

和泉潔, 後藤卓, 松井藤五郎 (2011). 経済テキスト情報を用いた長期的な市場動向推定. 情報処理学会論文誌, 52 (12), pp. 3309-3315.

和泉潔, 松井藤五郎 (2012). 金融テキストマイニング研究の紹介. 情報処理, 53 (9), pp. 321-332.

Kamps, J., Koolen, M., and Lalmas, M. (2007). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 723-724.

北森詩織, 酒井浩之, 坂地泰紀 (2017). 決算短信 PDF からの業績予測文の抽出. 電子情報通信学会論文誌 D, J100-D (2), pp. 150-161.

Lesaffre, E. and Lawson, A. B. (2012). Bayesian Biostatistics. John Wiley \& Sons.

Li, H. and Yamanishi, K. (2017). "Text Classification Using ESC-based Stochastic Decision Lists." Information Proceedings and Management, 38 (3), pp. 343-361.

松田安咲子, 岡石一真, 白田由香利, 橋本隆子, 佐倉環 (2014). LDA 方式による金融経済月報からのトピック抽出〜第 2 次安倍内閣の金融政策と経済動向分析〜. 信学技報, $114(204)$, pp. 79-84.

Peramunetilleke, D. and Wong, R. K. (2002). "Currency Exchange Rate Forecasting from News Headlines." In Proceedings of the AAAI Spring Symposium on Exploring At titude and Affect in Text, pp. 131-139.

Sakai, H. and Masuyama, S. (2008). "Cause Information Extraction from Financial Articles Concerning Business Performance." IEICE Transactions Information and Systems, E91-D

(4), pp. 959-968.

Sakai, H. and Masuyama, S. (2009). "Assigning Polarity to Causal Information in Financial

Articles on Business Performance of Companies." IEICE Transactions Information and Systems, E92-D (12), pp. 2341-2350.

酒井浩之, 増山繁 (2013). 企業の業績発表記事からの重要業績要因の抽出. 電子情報通信学会論

文誌 D, J96-D (11), pp. 2866-2870.

酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀 (2015). 企業の決算短信 PDF からの業績要因の抽出.

人工知能学会論文誌, J98-D (5), pp. 172-182.

坂地泰紀, 酒井浩之, 増山繁 (2015). 決算短信 PDF からの原因・結果表現の抽出. 電子情報通

信学会論文誌 D, J98-D (5), pp. 811-822.

Vapnik, V. (1999). Statistical Learning Theory. Wiley.

Zhang, J. and Yang, Y. (2003). "Robustness of Regularized Linear Classification Methods in Text Categorization." In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 190-197.

## 略歴

高野海斗：2013 年成蹊大学理工学部情報科学科入学. 2016 年成蹊大学大学院理工学専攻理工学研究科入学. 在学中は, 統計学, 特に, 欠測デー夕解析, 集計データ解析の研究と, 自然言語処理, 特に, 言語情報を用いたデー夕の自動分類の研究に従事. 日本計算機統計学会学生会員.

酒井浩之：2005 年豊橋技術科学大学大学院工学研究科博士後期課程電子 ・ 情報工学専攻修了. 博士 (工学). 2005 年豊橋技術科学大学知識情報工学系助手. 2012 年成蹊大学理工学部情報科学科講師. 2014 年成蹊大学理工学部情報科学科准教授. 自然言語処理, 特に，テキストマイニング，テキスト自動要約の研究に従事. 人工知能学会, 言語処理学会, 電子情報通信学会, 情報処理学会等会員.

坂地泰紀：2012 年豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了. 博士 (工学)。2012 年株式会社ドワンゴ入社. 2013 年成蹊大学理工学部情報科学科助教. 2017 年東京大学大学院工学系研究科システム創成学専攻助教. 自然言語処理, 特に, テキストマイニングの研究に従事. 人工知能学会, 電子情報通信学会, 言語処理学会等会員.

和泉潔：1998 年東京大学大学院総合文化研究科広域学専攻博士課程修了.博士 (学術). 同年より 2010 年まで, 電子技術総合研究所（現産業技術総合研究所）勤務. 2010 年より東京大学大学院工学系研究科システム創成学専攻
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

准教授. 2015 年より同教授. マルチエージェントシミュレーション, 特に社会シミュレーションに興味がある. IEEE，人工知能学会, 情報処理学会, 電子情報通信学会会員.

岡田奈奈：株式会社日経リサーチ企業情報部長. 1997 年入社. 企業調査部,企業経営研究部など企業に係る各種情報に関するデー夕収集・収録関連業務,従業員満足度ほか企業・病院等の評価軸の分析等に従事. 分析評価に使用可能な企業データベースの構築に長年従事し，構築に係る運用設計を担当. 2017 年より現職.

水内利和：株式会社日経リサーチ企業情報部所属. 会計事務所勤務を経て, 2000 年入社, 企業財務部で有価証券報告書, 決算短信などの主に企業の財務諸表等の情報のデータ収録関連業務に従事. 2007 年より部内で使用するシステムの開発にも従事。2015 年から 2 年間システム統括室と兼務. 2017 年 1 月より企業情報部のみの所属となる。近年は主にスケジュール管理等の管理系,資料 PDF やXBRL を活用しての社内的なシステム開発に従事.