# ECS-BERT モデルによるステークホルダー評価の定量化

指田 晋吾 1 中川慧 1 黒木 裕鷹 2 真鍋 友則 ${ }^{2}$
1 野村アセットマネジメント株式会社 ${ }^{2}$ Sansan 株式会社
\{s-sashida,k-nakagawa\}@nomura-am.co.jp \{kuroki, manabe\}@sansan.com

## 概要

ステークホルダー資本主義や ESG，SDGsへの関心の高まりから企業の社会的な評価を定量化することの重要性は増している。特に，企業からステークホルダーに対してのメッセージである統合報告書の内容を評価することは投資家のみならず様々なステークホルダーにとって有用である. 本研究では, ステークホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化したIR スコアを提案する. 実証分析の結果，IR スコアは ECS ブランドスコアおよび，GPIF の定性評価との関連性を持つことがわかった。

## 1 はじめに

企業は株主だけでなく，従業員をはじめサプライヤー，カスタマーといったビジネス関係者などあらゆるステークホルダーの利益に配慮すべきであるという，ステークホルダー資本主義が関心を高めている. 実際，2019 年に米経済団体ビジネス・ラウンドテーブル（BRT）は，企業の目的に関する声明の中で「顧客，従業員，サプライヤー，地域社会，株主といった全てのステークホルダーの利益のために会社を導くことにコミットする」と公表した1). また, 2020 年 1 月の世界経済フォーラム年次総会 （ダボス会議）ではステークホルダー資本主義が重点テーマとして取り上げられ，クラウス・シュワブ会長は「企業はステークホルダー資本主義を完全に受け入れなければならない。利益を最大化するだけでなく，政府や市民社会と協力して能力や資源を活用し, この 10 年間の重要な課題に対処しなければならない，企業は，よりまとまりのある持続可能な世界に積極的に貢献しなければならない」と述べて


いる2)。これらは，株主第一主義から，ステークホルダー主義への転換への宣言として受け止められている.

以上のようにステークホルダーに対する配慮がますます重要視されているなかで，ステークホルダー に対する社会的な評価の高い企業は，互酬性による長期取引の安定化や，リスクの低下などを通して，社会関係資本から様々な利益を得ていることが知られている [1]. 例えば，企業の社会的な評判が良い企業ほど，高い時価総額 [2] や高 ROA[3] を示す傾向が示されている。また，企業の社会関係資本，あるいはそれと関連した活動や評価と，株価のクラッシュ・リスクの関係を実証した研究が複数あり，いずれも，クラッシュ・リスクを緩和することが実証されている $[4,5]$.

しかしながら，ステークホルダーからの評価を測定あるいは定量化することは非常に困難である.これまでの研究はいずれも企業の社会関係資本を直接的に測定したものではなく, CSR 活動のスコアリングをその代理変数として用いている $[1,4]$. しかし，企業の CSR 活動はステークホルダーとの信頼的関係必ずしもイコールではない．そこで，ビジネス上のなんらかのステークホルダーであることが想定される名刺所有者から直接，当該企業の評価を得たデータ (Eight Company Score;ECS) を用いた研究 $[2,3,5]$ が存在する. さらに, ECS は評価スコアとそれに関連する自由記述闌のコメントがあり，それらのデータを supervised LDA[6] を用いて分析することで，企業の社会的な評価がどのような要因から構成されているかを特定 [7] した研究もある。しかし， ECS のようなアンケート調査は，一般に少なくないコストを必要とする。このため, 調査対象社数や調査頻度に限界がある。

一方で，企業の長期的な価値創造は企業単体で創

2) https://www.weforum.org/press/2020/01/ stakeholder-capitalism-a-manifesto-for-acohesivel - and-sustainable-world/
造するものでなく，ほかのステークホルダーとの関係から生み出されるとし，企業の主要なステークホルダーからの理にかなった要求や期待を企業がいかに理解し, 対応しているか3)を記述する統合報告書に注目が集まっている。実際に財務報告とは別に統合報告書を発行する企業数は年々増加している [8]. 企業の業績などの財務面だけでなく, ESG(環境, 社会，ガバナンス) の側面や SDGs(Sustainable Development Goals) を踏まえ，社会的責任を果たし，持続可能な社会に貢献するためにも統合報告書の果たす役割は非常に大きい [9]. ステークホルダーに対する配慮が重要視される中で，企業からステークホルダーに対してのメッセージである統合報告書の内容を評価することは投資家のみならず様々なステークホルダーにとって有用である.

公的に入手できるテキストデータから景気動向や企業業績，ブランド力などを評価・予測する研究は数多く存在する $[10,11,12]$. 本研究では，ステークホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルによって，企業がステークホルダーへ向けての様々な取組みを記載した統合報告書の「良さ」を定量化した IR (Integrated Report) スコアを提案する。具体的には，BERT を事前学習モデルとして，ECS の自由記述欄のコメントと評価スコアを用いてファインチューニングを行うことで，統合報告書への評価を付与できるモデルを作成する. そして当該 BERT モデルを，ECS スコアが再現できるかどうかバリデー ションで確認し，統合報告書のスコアリングを行う. そしてステークホルダーから企業の評価である ECS と，企業からステークホルダーへの向けて記述された統合報告書の IR スコアの関係を検証・評価する.

## 2 分析データ

## 2.1 Eight Company Score データ

Sansan 株式会社の Eight Company Score4）（以下， ECS）は，半年に一回，調査対象企業の名刺を有する名刺アプリ Eight のユーザーにランダムに調査票をメール送付し，任意のアンケート結果を回収することで作成されている. 企業の名刺所有者を調査母


集団とすることにより，それぞれの企業とのビジネス上の関与が期待される母集団からの企業評判収集を可能にしている.

ECS の調査は 2018 年の 5 月に開始され，以降半年に一度のペースで調査が行われている. 本論文では 2018 年 5 月から 2021 年 11 月までの計 8 回の調査データを分析対象データとして使用する。調査対象企業数は 1711 社，企業あたりの平均回答者数は 154 人である.

調査は「ブランド」，「サービス」，「ヒト」の 3 項目に関する意識調査と企業についての自由記述闌から成り，回答者は，

ブランド: $\ulcorner x$ 社のブランドイメージは魅力的だと思いますか?」

サービス: 「 $x$ 社の製品・サービスは自社/社会に有用だと思いますか？」

ヒト: 「 $x$ 社の人は好印象だと思いますか？」

の 3 項目の質問に対し，0-10の 11 段階の評点をつける。また，自由記述欄に，企業の印象ついてのコメントを記入する．回答者は，調査会社が選択した 3 企業について回答する。

ECS の自由記述コメント数は調査全期間の累計で 545,599 であった. ただし，記述文には「知らない」「特にない」など，企業についての非認知の表明など，企業印象についての有意味な情報を有さない文も含まれていた。本研究の分析においては， そのような文を除外した。除外した結果，文の数は 436,308, 企業あたりの平均記述文数は 261 文, 記述文あたりの文字数は平均 21.3 文字，中央値は 15 文字であった。

## 2.2 統合報告書データ

統合報告書とは，企業が財務情報や経営情報に加えてガバナンス，CSR 情報，中期計画などを統合的にまとめて公開する報告書である。日本では会社法で要求される決算書類や金融商品取引法で要求される有価証券報告書と異なり，統合報告書は作成が任意であるが，発行する企業は大規模なグローバル企業を中心に，日本国内でも年々増加している。

本研究では, 日本の証券取引所に上場している企業の企業 HP から，「統合報告書である」と明記された 2018,2019年のテキストデータを収集し，スコアリングを行なった．収集，スコアリングしたデータ数は 2018 年で 284 社, 2019 年で 370 社についての

ものである.

## 3 分析方法

## 3.1 ECS データを用いた BERT モデルの 学習

BERT (Bidirectional Encoder Representations from Transformers)[13] は, Transformer[14]をべースに構成されたは高性能な事前学習モデルである.

BERT モデルの構築には事前学習済みのモデル5) と ECS の自由記述コメントを利用し，文章のセンチメント評価のためのファインチューニングを行った. その際，ECS のデータにてブランド評価が 9 以上のものをポジティブ，4 以下のものをネガティブとした.また，コメント投稿者の対象企業に対する認知度について閾値を設け, 信頼性の高いコメント内容に絞った. その結果として学習に用いたコメント数は全体で 303,286 件で，ポジティブに分類される文章は 201,505 件, ネガティブは 101,781 件である. また, 対象企業をランダムに分割し, 学習,検証, 評価に用いた. 学習には 1,207 社に対する 180,658 コメントを，検証には 402 社に対する 61,722 回答を，テストには 403 社に対する 60,907 回答をそれぞれ用いた。

## 3.2 統合報告書のスコアリング

本研究では，企業がステークホルダーへ向けての様々な取組みを記載した統合報告書の「良さ」を定量化するため，構築した BERT モデルでのスコアリングを行なった．統合報告書のテキストデータは， ページ数や目次など，スコアに寄与しないと想定される情報を含んでいるが，これらは前処理で取り除いた.ここで，統合報告書の平均トークン長は 4,772であり, BERT モデルが受け付ける最大トークン長をはるかに超えるものである. そこで本分析では，ひとつの統合報告書を，最大トークン長が 256 の部分文書に分割し，それぞれのスコアを平均することでスコアリングを行なった.

本研究で提案する IR (Integrated Report) スコアの性質を測るため，一定の実績がある ECS ブランドスコアとの関係，年金積立金管理運用独立行政法人 (GPIF) が公開する統合報告書の定性評価との関係を分析した.

## 4 分析結果

5) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

## 4.1ECS ブランドスコアの予測

テストデータの ECS ブランドスコアを予測し，企業ごとに平均した結果を図 1 に示す. 元のブランドスコアの平均との相関係数は 0.88 であり，アンケー トで得られたステークホルダーからの自由記述コメントとであれば，学習データにない企業に対しても高い精度でブランドカのスコアリングが可能であることがわかる.

図 1 ECS ブランドスコアの予測結果

## 4.2 ECS ブランドスコアと IR スコアの 相関

BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関を Appendix の表 3 に示す. ECS 調査は半年に 1 回行われているため年に 2 時点のデータが存在する. 2018 年の IR スコアは 2018 年 11 月の ECS および 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR スコアは 2019 年の ECS と有意に正の相関を示しており，それぞれ近いデータ取得期間で相関を有していることがわかる。この結果は IR 内に記されている企業のブランド力に関する情報の時間変化を本 IR スコアによってトレースできる可能性を示唆している.

上記単相関分析では企業の財務状況や業種が共変量になっている可能性がある。この可能性を考慮し, 財務指標と業種 (東証 17 業種)を統制項として変数に含めた以下の重回帰分析を行った. なお ECS ブランドスコアは年での平均値として年次データに変換した。

ECSbrand $_{i t}=\beta_{1}$ IRscore $_{i t}+\beta_{2} \ln \left(\right.$ Sales $_{i t}$

$
\begin{aligned}
& +\beta_{3} \text { Profitability }_{i t}+\gamma_{1} \text { IndustryDummy }_{i} \\
& +\gamma_{2} \text { YearDummy }_{t}+\epsilon_{i t}
\end{aligned}
$

ここで ECSbrand $_{i t}$ は企業 $i$ の年 $t$ におけるブラ

スコア, $\ln (\text { Sales })_{i t}$ は企業 $i$ の時点 $t$ における売上高の自然対数，Profitability ${ }_{i t}$ は企業 $i$ の時点 $t$ における利益率，IndustryDummy は企業 $i$ の業種ダミ一, YearDummy は年 $t$ のダミー (2019 か否か)を表している. $\beta$ と $\gamma$ は各変数に対する係数を表す.

結果を表 1 に示している. 表 1 のカラム (1) は年ダミーのみ，カラム (2) は業種ダミーと年ダミーを加えたモデル，カラム (3) は統制項を全て加えたモデルの推定結果だが，全てのモデルにおいて IR スコアは有意に正の係数を表しており，ECS ブランドスコアの予測に対して情報量を持っていることを示した.

表 1 重回帰分析の推定結果

 &  &  \\

## 4.3 IR スコアと GPIF 評価の相関

GPIF は，国内株式の運用を委託している運用機関（以下，運用機関）に対して，「優れた統合報告書」と「改善度の高い統合報告書」の選定を依頼し選定結果を毎年公表している6).

本論文で算出した IR スコアの意義をさらに探索するために, IR スコアとこの GPIF の選定結果の関

6) https://www.gpif.go.jp/investment/20210224_ integration_report.pdf連をロジスティック回帰分析を用いて行った．統制項等の変数は前節での重回帰分析と同じ変数を用いた. 本分析の対象となる企業は 2018 年に 122 社, 2019 年に 261 社だが，そのうち「優れた統合報告書」または「改善度の高い統合報告書」に選定された企業はそれぞれ 47 社 $(39 \%), 101$ 社 (39\%) 存在した。この確率に対する IR スコアの効果の推定結果を表 2 に表す。

表 2 ロジスティック回帰分析結果

IR スコアに対する係数の値は有意に正となっており，このスコアの高い企業は選対される確率が有意に上昇していることがわかる.

## 5 まとめと今後の課題

企業の社会的な評価を定量化することの重要性は増しており，企業からステークホルダーに対してのメッセージである統合報告書の内容を評価することは投資家のみならず様々なステークホルダーにとって有用である。本研究では，ステークホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化した IR スコアを計測した. 実証分析の結果，IR スコアは ECS ブランドスコアおよび，GPIF の定性評価との関連性を持つことがわかった. 今後の課題としては，本研究で定量化した統合報告書の評価スコアと財務指標や株価との関連性を検証することが挙げられる。

## 参考文献

[1] Peter W Roberts and Grahame R Dowling. Corporate reputation and sustained superior financial performance. Strategic management journal, Vol. 23, No. 12, pp. 1077-1093, 2002.

[2] 真鍋友則, 中川慧. B2b 企業ブランド評価と株価の価値関連性の実証研究. 経営情報学会誌, Vol. 29, No. 2 , pp. 87-104, 2020.

[3] 真鍋友則, 中川慧. B2b市場における企業ブランドと roa の関連性. 証券アナリストジャーナル= Securities analysts journal, Vol. 58, No. 6, pp. 73-83, 2020.

[4] Karl V Lins, Henri Servaes, and Ane Tamayo. Social capital, trust, and firm performance: The value of corporate social responsibility during the financial crisis. the Journal of Finance, Vol. 72, No. 4, pp. 1785-1824, 2017.

[5] Tomonori Manabe and Kei Nakagawa. The value of reputation capital during the covid-19 crisis: Evidence from japan. Finance Research Letters, p. 102370, 2021.

[6] David M Blei and Jon D McAuliffe. Supervised topic models. In Proceedings of the 20th International Conference on Neural Information Processing Systems, pp. 121-128, 2007.

[7] Tomonori Manabe, Kei Nakagawa, and Keigo Hidawa. Identification of $\mathrm{b} 2 \mathrm{~b}$ brand components and their performance' $\mathrm{s}$ relevance using a business card exchange network. In Pacific Rim Knowledge Acquisition Workshop, pp. 152-167. Springer, 2021.

[8] Kei Nakagawa, Shingo Sashida, Ryozo Kitajima, and Hiroyuki Sakai. What do good integrated reports tell us?: An empirical study of japanese companies using text-mining. In 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 516-521. IEEE, 2020.

[9] 小野塚惠美, 貝沼直之. Esg 開示からみる統合報告書のあり方 (特集 esg 情報開示とその利活用). 証券アナリストジャーナル= Securities analysts journal, Vol. 59, No. 11, pp. 28-39, 2021.

[10] Keiichi Goshima, Hiroshi Ishijima, Mototsugu Shintani, and Hiroki Yamamoto. Forecasting japanese inflation with a news-based leading indicator of economic activities. Studies in Nonlinear Dynamics \& Econometrics, Vol. 25, No. 4, pp. 111-133, 2021.

[11] Roland T Rust, William Rand, Ming-Hui Huang, Andrew T Stephen, Gillian Brooks, and Timur Chabuk. Realtime brand reputation tracking using social media. Journal of Marketing, Vol. 85, No. 4, pp. 21-43, 2021.

[12] 西家宏典, 津田博史. 従業員口コミを用いた企業の組織文化と業績パフォーマンスとの関係. 証券アナリストジャーナル= Securities analysts journal, Vol. 56, No. 7, pp. 69-78, 2018.

[13] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp.

## A 参考情報

表 3 は BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関表を示す. 表中の数値は相関係数，カッコ内の数値はサンプルサイズを表している. ECS 調査は半年に 1 回行われているため年に 2 時点のデータが存在する. 2018 年の IR スコアは 2018 年 11 月の ECS および 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR スコアは 2019 年の ECS と有意に正の相関を示しており，それぞれ近いデータ取得期間で相関を有している.
表 3 ECS ブランドスコアと IR スコアの相関表

Note:

${ }^{*} \mathrm{p}<0.1 ;{ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01$