DEIM Forum ���� G�-�

文書分類技術に基づくエントリーシートからの業界推薦
三王 慶太†

酒井哲也†† 早稲田大学基幹理工学部情報理工学科 〒 169–8555 東京都新宿区大久保 3–4–1
E-mail: †keitasanno@ruri.waseda.jp, ††tetsuyasakai@acm.org
あらまし

新卒の就職活動においては，志望業界の選定が出来ずに苦労する就職活動生が多く見受けられる．就職活

動生として主観的に新卒の就職活動を進めていると業界間の差は見え難いが，内定者として客観的に新卒の就職活動を振り返ると，少なからず志望者や内定者のパーソナリティに業界間の差が見て取れる．そこで，新卒の就職活動のエントリーシートにおいて，業界を問わず普遍的に採用されている設問を抽出し，その回答からパーソナリティを分析することで，志望者や内定者のパーソナリティの業界間の差を可視化する．さらに，明らかになった志望者や内定者のパーソナリティの業界間の差を利用し，就職活動生のエントリーシートをもとに業界推薦を行うシステムを設計する．今回設計した業界推薦システムは，ある程度似通った文書の分類を行い，同時にアノテーションを用いて情報を可視化することが求められた．ある程度似通った文書の分類には，文書の分散表現の次元が大きい方が都合が良く，
アノテーションを用いた情報の可視化には，現実性の観点から，文書の分散表現の次元が小さい方が都合が良い．ここで生じたトレードオフの関係を解消する手法として，ADDV: Amplified Difference Document Vector を提案した．実際，推薦する業界の数を増やすことで，業界推薦の正確さ，及びアノテータによる定期的なアノテーション付けの容易さをある程度両立することが出来た．
キーワード 文書分類，新卒，就職活動，業界推薦

1 はじめに
1. 1 新卒の就職活動の現状
新卒の就職活動においては，志望業界の選定が出来ずに苦労する就職活動生が多く見受けられる．就職活動支援サイト「キャリタス就活」を運営する株式会社ディスコが実施した調査 1 によると，2020 年卒業見込みの就職活動生 1,048 人のうち，2018 年 10 月 1 日時点で志望業界が明確に決まっていると回答

図1

一般的な新卒の就職活動の流れしたのは 19.8%に留まり，実に 80.2%もの就職活動生は志望業界
中でも業界研究は，合同説明会，企業のセミナー，企業の冊を明確に定められていない．
また，同社が実施した調査 によると，7 月 1 日の時点での 1

子，IR 情報，OB 訪問などから得た情報を利用して行うため，人あたりの平均エントリー社数は，2019 年卒業見込みの就職活

情報を得るのに多大な時間を必要とする．志望業界の選定が出動生で 30.7 社，2018 年卒業見込みの就職活動生では 39.6 社に来ずに就職活動を始めた場合，多くの業界に対して業界研究がも上った．エントリーする業界，企業の数が多くなると，各業必要となるため，志望業界が明確に定まっている就職活動生と界，各企業の理解が浅くなり，結果的に内定が遠ざかる．

比較して，質，量共に低下してしまい，内定が遠ざかる．

2

今後 40 年働き続ける企業を探すための新卒の就職活動が，明確な意志を伴わずに行われ，結果的に内定をも遠ざけている現状は，危惧すべきであると言える．

1. 3 業界推薦システムについて
今回設計する業界推薦システムは，パーソナリティを軸として，客観的に適すると判断出来る業界に限定して業界推薦を行

1. 2 志望業界を明確に定められない就職活動生のリスク
まず，一般的な新卒の就職活動の流れは，図 1 の通りである．

うことで，業界研究の対象を限定し，質，量共に高い業界研究を可能にすることに焦点を当てたシステムである．
志望業界の選定が出来ずに苦労している就職活動生は，業界推薦システムの出力に基づいて業界研究の対象を限定すること

1：https://www.disc.co.jp/wp/wp-content/uploads/2018/10/gakuseichosa_

で，質，量共に高い業界研究が可能となる．一方，志望業界が2020.pdf

明確に定まっている就職活動生に関しても，自身の強み，ある

2：https://www.disc.co.jp/wp/wp-content/uploads/2018/07/19monitor_

いは弱みを，その業界の志望者や内定者と比較しながら分析す201807-1.pdf

ることが可能となる．
また，業界推薦システムがもたらす恩恵はそれだけに留まら

リティの業界間の差を増幅して文書の分散表現を作成すること
で，業界推薦の正確さを上げることを目指す．

ない．業界推薦システムが出力した業界に対象を限定して業界

また，パーソナリティに関する特定の業界での強み，あるい研究を行うことで，質，量共に高い業界研究が可能となり，業は弱みを可視化するには，全ての特徴語に対して，アノテータ

界，企業に対する理解の質，量を高めることが出来る．圧倒的が付けたアノテーションが必要となる．特徴語の数が膨大になな業界，企業理解は，面接官に対して入社意欲が高いことをアると，年々変化する特徴語に対して，アノテータが定期的なアピールするための最良の手段であることから，業界推薦システ

ノテーション付けを行うのは非現実的になる．

ムによって内定を近付けることが出来ると言える．

ある程度似通った文書を分類する目的で，Offer Weight [6] [7]（以下，OW）を考慮して文書の分散表現に用いる小規模辞書

2 従来研究2. 1 心理学の知見を新卒の就職活動に応用した研究
心理学の知見を新卒の就職活動に応用した研究は，これまでを作成し，各分類に属する文書間の差を増幅した文書の分散表現を，ADDV: Amplified Difference Document Vector（以下，ADDV）と命名する 3 ．
今回設計する業界推薦システムは，ADDV を用いて業界推薦にも多く行われてきた．古本は，自己 PR に如何なる要素が如を行うことで，業界推薦の正確さ，及びアノテータによる定期

何なる割合で盛り込まれるのかを分析した研究 [1] を行なった．

的なアノテーション付けの容易さを両立することを目指す．

小島は，大学生が就職活動初期に志望する働き方（職種，業種など）によって，エントリーシートへの記述に如何なる違いが生じるのかを分析した研究 [2] を行なった．飯田らは，学生と

3. 2 業界推薦の手順
業界推薦の手順の概要を図 2 に示す．

添削の専門家の間にある評価基準の差を分析し，その差を認識させることで，エントリーシートの記述レベルを上げる研究 [3]を行なった．

2. 2 情報処理技術を新卒の就職活動に応用した研究
情報処理技術を新卒の就職活動に応用した研究は，数が限られている．杉山らは，ユーザの行動履歴データに自然言語処理を施すことで，複数のエントリーの組み合わせを考慮した企業の分散表現を得る研究 [4] を行なった．坂元らは，企業のアピー
ルポイントと学生の志望理由をもとにして，双方の関係性を分図2

析する研究 [5] を行なった．

2. 3 新 規 性

業界推薦の手順の概要

まず，取得したエントリーシートの中で，学生時代の経験，

これらは，いずれも今回設計する業界推薦システムとは根本

自己 PR などを含むエントリーシートだけを抽出する．なお，

から焦点が異なる．企業のアピールポイントと学生の志望理由抽出したエントリーシートの集合を P とし，全ての p ∈ P は，の対応を分析する坂元らの研究は，一見今回設計する業界推薦

当該エントリーシートが提出された企業の業界分類へマッピン

システムと似通っているようにも見えるが，企業のアピールポ

グされているものとする．

イントは，企業で働く社員が考えるものと，就職活動生が考えるものの間に乖離があるため，似て非なるものである．

全ての p ∈ P に現れる単語の OW を，業界ごとに計算する．

OW に基づいて選定した特徴語を用いた，エントリーシートの分散表現を Entry Sheet Vector（以下，ESV）と呼ぶことにし

3 提案手法3. 1 業界推薦の概要
今回設計する業界推薦システムは，業界を問わず普遍的に採て，全ての p ∈ P に対して ESV を計算する．

ESV の Centroid Vector を業界ごとに計算したものを Industry
Vector（以下，IV）と呼ぶことにすると，当該業界の分散表現
は IV に他ならない．

用されている設問である，学生時代の経験，自己 PR を入力と業界推薦の対象となるエントリーシートについても ESV を計する．入力に基づいて，パーソナリティを軸とした業界推薦，算することで，IV との比較検討による業界推薦，及びパーソナパーソナリティに関する特定の業界での強み，あるいは弱みのリティに関する特定の業界での強み，あるいは弱みの可視化が可視化を行う．ここで言うパーソナリティとは，就職活動生の可能となる．

性格，属性，志向などを指す．学生時代の経験，自己 PR など
は，業界内で多用される特徴語（コンサル・シンクタンクにおなお，業界を推薦する手順の詳細は，3. 3 節から 3. 7 節で説明する．

けるクライアント，ソリューションなど）を含まず，志望者や内定者のパーソナリティを表す特徴語だけを含むので，ある程度似通っていると言える．そこで，志望者や内定者のパーソナ

3：以下，文書，エントリーシート，業界の分散表現と記載した場合には，ADDVによる文書の分散表現のことを指し，単語の分散表現と記載した場合には，Word

Embedding による単語の分散表現のことを指すものとする．

3. 3 パーソナリティが現れるエントリーシートの抽出
集合 U を取得したエントリーシート全体の集合とする．このとき，集合 U から学生時代の経験，自己 PR などを含む，パー
ソナリティが現れるエントリーシートの集合 P(⊂ U) を抽出する手順は，次の通りである．
ここで，ある単語 t(i) を設問，あるいは回答に含むエント
リーシートの集合を，次のように定義する．

E(t(i)) =t(i) という単語を設問，

S15 = E( 苦労 )S16 = E( 困難 )S17 = E( 挫折 )S18 = E( 壁 )取得したエントリーシートの設問文に用いられている単語，
設問文に対する就職活動生の回答を鑑みて，次のような集合 P
を，就職活動生のパーソナリティが現れるエントリーシートの集合と定義する．

あるいは回答に含むエントリーシートの集合
すると，E(t(i)) の否定 E(t(i)) は次のように定義される．

E(t(i)) = U\E(t(i))

P=

18
∪

Si

i=1

集合 P を求めることは，就職活動生のパーソナリティが現れるエントリーシートを抽出することに他ならない．

さらに，これらの表記法を用いて新たな集合を定義する．なお，E( プログラ ) ≈ E( プログラム ) ∪ E( プログラミング ) という近似が成立すると見做し，プログラム，あるいはプログラ

3. 4 業界ごとの OW の計算
全文書数を N ，全文書中である単語 t(i) が出現する文書数をミングという単語を含むエントリーシートの集合を，プログラn，ある条件に適合する文書数を R，R のうち，ある単語 t(i) がという単語を含むエントリーシートの集合として纏めた．

出現する文書数を r とすると，ある単語 t(i) が適合文書に共通する特徴語である度合いを計算する指標として，Offer Weight

S1 = E( 強み )OW(i) が定義出来る [8]．

S2 = E( 長所 )OW(i) = r · log

S3 = E( セールスポイント )S4 = E( 学生 ) ∩ (E( 時代 ) ∪ E( 生活 ))(r + 0.5)(N − n − R + r + 0.5)
(n − r + 0.5)(R − r + 0.5)

各業界の志望者や内定者のパーソナリティが現れるエント
リーシートの集合 P をデータセットとして採用し，全ての p ∈ P

S5 = E( 大学 ) ∩ E( 時代 )に現れる単語の OW を業界ごとに計算する．これにより，全て

S6 = E( 人生 )の p ∈ P に現れる単語が，各業界で志望者や内定者に共通するパーソナリティであると言える度合いを数値化することが出

S7 = E(PR)来る．

S8 = E( アピール )S9 = E( 自信 ) ∩ E( プログラ )S10 = E( 自慢 )S11 = E( 経験 ) ∩

( 9
∪

)
Qi

i=1





Q1 = E( クラブ ) ∪ E( サークル )Q2 = E( インターン ) ∪ E( アルバイト )







Q3 = E( プログラ ) ∪ E( 開発 )






Q4 = E( 賞 ) ∪ E( 表彰 )
Q5 = E(IT) ∪ E(ICT)





Q = E( 使用 ) ∪ E( 言語 )


 6




Q7 = E( 研究 ) ∪ E( 起業 )






Q8 = E( 留学 ) ∪ E( 海外 )






Q9 = E( ボランティア )
S12 = E( 体験 )S13 = E( エピソード )S14 = (E( 力 ) ∪ E( 情熱 )) ∩ (E( 注 ) ∪ E( 入 ))3. 5 エントリーシートベクトル ESV の計算
全ての p ∈ P で現れる単語のうち，IPA 品詞体系 4 で品詞が名
詞-一般，名詞-固有名詞-地域-一般，名詞-固有名詞-地域-国，名
詞-サ変接続，名詞-形容動詞語幹のいずれかに分類される単語（以下，品詞要件を満たす単語）だけを抽出する．
最終的に ESV と IV の Cosine Distance を用いて業界推薦を行うため，文書の分散表現に用いる辞書に属する単語は，単語の分散表現が互いに乖離していることが望ましい．
そこで，品詞要件を満たす単語をクラスタリングし， X のク
ラスタに分類する．なお，評価実験のために行なったクラスタ
リングの詳細は，4. 6 節で説明する．
ある単語 t(i) の，ある業界 b(k) での OW の順位（降順）がr(i, k) であるとし，次が成立するものとする．
{b(k) | k ∈ K } = 全ての業界の集合
品詞要件を満たす全ての単語に対し，次のように定義される

OW の順位の最小値を求める．
rmin (i) = min{r(i, k) | k ∈ K }4：http://chasen.naist.jp/snapshot/ipadic/ipadic/doc/ipadic-ja.pdf

OW の順位の最小値を求める例として，単語 t(i)，業界 b(k)，に，業界推薦の対象となるエントリーシートの ESV と，各業界

OW OW(i)（小数点以下切り捨て），OW の順位（降順）r(i, k)の IV 間の Cosine Distance を測ることで，推薦すべき業界の順

が表 1 の通りである状況を想定する．

序を明らかにすることが出来る．

表1

また，3. 6 節で用いた IV商社 の例と，E SVp′ の同じ次元成分

OW の順位の最小値の計算例

t(i)

b(k)

留学

商社

同士の差に関して，次の関係式が成立する状況を想定する．

OW (i) r(i, k)

留学 メーカー

523

3

179

251

∑3

j=1 T F I DF(x, j)− T F I DF(x, p ′ )3∑3

この想定に基づいて OW の順位の最小値の計算をすると，rmin ( 留学 ) = 3 となる．

<<

j=1 T F I DF(y, j)3− T F I DF(y, p ′ )さらに，各クラスタから OW の順位の最小値が当該クラスタ

このとき，エントリーシート p ′ で商社にエントリーする場内で最小となる単語を求め，当該クラスタから特徴語として選合，t(x) と比較して，t(y) の特徴語に表されるパーソナリティ

定する．

が，商社の志望者や内定者に共通するパーソナリティとかけ離

互いに距離の離れた X のクラスタから 1 単語ずつ特徴語を選れていることが分かる．業界推薦システムが，このようにして定するので，それらを文書の分散表現に用いる辞書とすること

パーソナリティに関する特定の業界での強み，あるいは弱みをで，辞書内の単語の分散表現が互いに距離の離れた X 次元が定可視化することにより，就職活動生は，強みをさらにアピール

義出来て，各次元成分を TF-IDF で計算すると，全ての p ∈ Pする，弱みの解消方法を練るなどの，内定を近付ける合理的なを ESV に変換出来る．

アプローチを行うことが出来る．
最終的には，業界推薦の対象となるエントリーシートの ESV

3. 6 業界ベクトル IV の計算との Cosine Distance が小さい上位 Z 件の業界を推薦する．さらESV の Centroid Vector を業界ごとに計算し，IV を求める．

に，パーソナリティに関する特定の業界での強み，あるいは弱例 と し て ，ESV の 次 元 が t(x)，t(y) か ら な り，各 次 元 成

みを可視化することで，就職活動生の志望業界の選定を強力に分が表 2 の通りであるエントリーシートの集合 P =サポートする．

{p(1), p(2), p(3), p(4), p(5)} を想定する．

4 実験と評価

表 2 IV の計算例
文書

業界分類

p(1)

商社

[ T F I DF(x, 1)

p(2)

商社

[ T F I DF(x, 2) , T F I DF(y, 2) ]

[

,

t(x)

t(y)

]

, T F I DF(y, 1)]

4. 1 データセット
過去に提出されたエントリーシートが企業別に閲覧出来る就[ T F I DF(x, 3) , T F I DF(y, 3) ]職活動支援サービスのうち，エントリーシート掲載数が 20,000p(4)IT・通信 [ T F I DF(x, 4) , T F I DF(y, 4) ]を超えるのは，楽天株式会社が運営する「みんなの就職活動日p(5)IT・通信 [ T F I DF(x, 5) , T F I DF(y, 5) ]記」5 と，株式会社ワンキャリアが運営する「ONE CAREER」6

p(3)

商社

だけである．クローラを設計して「みんなの就職活動日記」，及
この想定に基づいて IV の計算をすると，商社，及び IT・通業界推薦システムが用いるデータセットとして採用した．なお，

信の IV は，それぞれ次の通りである．

∑3

[ ∑3

j=1 T F I DF(x, j)

IV商社 =3,[ ∑5
IVIT・通信 =j=4 T F I DF(x, j)2

j=1 T F I DF(y, j)]

業界推薦システムが用いるデータセットには，個人を特定出来るような情報は含まれない．

3
∑5

,

び「ONE CAREER」に掲載されたエントリーシートを取得し，

j=4 T F I DF(y, j)]2

4. 2 パーソナリティが現れるエントリーシートの抽出
3. 3 節に則り，就職活動生のパーソナリティが現れるエント
リーシートだけを抽出した．ただし，集合 M ，集合 O を次の3. 7 業 界 推 薦例として，業界推薦の対象となるエントリーシート p ′ の ESVを，次のように想定する．

E SVp′ = [T F I DF(x, p ′ ),T F I DF(y, p ′ )]ここで，分散表現 A，及び B の Cosine Distance を cos(A, B) と定義すると，cos(E SVp′ , IV商社 ) < cos(E SVp′ , IVIT・通信 ) であれ

ば，エントリーシート p ′ に対しては IT・通信よりも商社を推薦すべきであり，逆に cos(E SVp′ , IV商社 ) > cos(E SVp′ , IVIT・通信 )であれば，商社よりも IT・通信を推薦すべきである．このようように定義し，全体集合 U を集合 M ，集合 O の和集合とする．

M =「みんなの就職活動日記」
から取得したエントリーシートの集合

O =「ONE CAREER」から取得したエントリーシートの集合

U =M ∪ O

5：https://www.nikki.ne.jp
6：https://www.onecareer.jp

いることを確認するため，全ての p ∈ Ptrain に現れる単語の4. 3 業 界 分 類
次に，集合 P（就職活動生のパーソナリティが現れるエント

Word2Vec による分散表現を，Principal Component Analysis [10]リーシートの集合を P と 3. 2 節で定義していた）を業界ごとに（以下，PCA）を用いて次元削減を施した後，2 次元空間にプ分類した．業界分類方法として，より詳細な業界分類が行われロットした．単語の分散表現は，図 3 の通りである．

ている「ONE CAREER」の業界分類方法を採用したため，「みんなの就職活動日記」から取得したエントリーシートに関しては，「ONE CAREER」の業界分類へのマッピングを行なった．
「ONE CAREER」の業界分類方法は表 3 の通りである．
表3

業界分類方法

業界分類

業界に属する企業の例

コンサル・シンクタンク

戦略コンサル，総合・IT コンサル

金融

銀行・証券，保険（生保・損保）

メーカー

消費財，自動車，医療機器・医薬品

商社

総合商社，専門商社

IT・通信

システム・ソリューション，情報通信

広告・マスコミ

広告，芸能・エンタメ（映像・音楽他）

人材・教育

人材（派遣・紹介），教育

インフラ・交通

電気・ガス・エネルギー

不動産・建設総合不動産・デベロッパー，建設

旅行・観光

ホテル，旅行会社

ブライダル・美容・くらし

美容（フィットネス・エステ他）

医療・福祉

医療機関・調剤薬局，福祉

小売・流通

百貨店・スーパー・コンビニ

公務員・団体職員

中央省庁，独立行政法人，学校法人

その他

レストラン・フードサービス

図 3 単語の分散表現
図 3 から，特徴語として選定した単語の分散表現は，互いに乖離していることが確認出来た．

4. 7 業界ベクトル IV の計算
3. 6 節に則り，全ての業界分類の IV を求めた．

4. 4 データセットの分割
業界推薦システムの正確さを評価するため，集合 P を 9 対 1の割合で分割し，9 割をトレーニングデータセット，1 割をテス
トデータセットとして用いた．トレーニングデータセットの集合を Ptrain ，テストデータセットの集合を Ptest とする．

4. 8 業 界 推 薦
3. 7 節に則り，Z = 1（推薦する業界の数を Z と 3. 7 節で定義
していた）として業界を推薦した．
文書の分散表現に用いる辞書はクラスタリングによって求めたが，Word2Vec の学習アルゴリズムには，Continuous Bag-

of-Words モデル（以下，CBOW）と，Skip-gram モデル（以下，P = Ptrain ∪ Ptest
4. 5 業界ごとの OW の計算
3. 4 節に則り，全ての p ∈ Ptrain に現れる単語の OW を，業界ごとに計算した．

SG）がある．Precision，Recall，F1 を Macro Average で計算すると，Word2Vec の学習アルゴリズム別の出力評価（有効数字 2 桁で四捨五入した）は，表 4 の通りである．
表4

Word2Vec の学習アルゴリズム別の出力評価

学習アルゴリズム

4. 6 エントリーシートベクトル ESV の計算
3. 5 節に則り， X = 300（クラスタ数を X と 3. 5 節で定義しAccuracy Precision Recall

F1

CBOW

0.30

0.28

0.32

0.23

SG

0.27

0.27

0.30

0.21

ていた）として，K-Means 法（K = 300）を学習アルゴリズムとするクラスタリングを行い，全ての p ∈ P の ESV を求めた．

表 4 から，CBOW を学習モデルとしてクラスタリングを行う

X = 300 としたのは，各クラスタに分類された単語が，一般的方が，出力評価が高いことが分かる．以下では，ADDV，あるな日本語の文脈においてもある程度類似した単語であると判断

いは ADDV を用いた手法と記述する場合，Word2Vec の学習ア

出来る X の最小値（100 単位で X を増加させて判断した）が，ルゴリズムに CBOW を用いてクラスタリングを行った場合にX = 300 であったからである．なお，クラスタリングに用いるおける提案手法のことを表すものとする．

単語の分散表現は，Mikolov らの研究 [9] に基づいて開発された

Word2Vec 7 によって得た．
特徴語として選定した単語の分散表現が互いに乖離して

ADDV を用いた出力の Confusion Matrix を，図 4 に示す．
図 4 から，ADDV は業界を問わず，ある程度の正確さで正しい業界推薦が出来ていることが分かる．
また，パーソナリティに関する特定の業界での強み，あるい

7：https://www.tensorflow.org/tutorials/representation/word2vec

は弱みを可視化するため，選定した特徴語にアノテーション付

で，当該エントリーシートで商社にエントリーする場合，思考力，リーダーシップは弱みとして改善すべきであり，当事者意識は強みとしてアピールすべきである．
このようにして分析したパーソナリティに関する特定の業界での強み，あるいは弱みを，業界推薦システムに出力させた．

4. 9 機械学習を用いた手法との比較検討
ADDV を，機械学習を用いた手法と比較検討した．ただし，
図 5 に示される通り，集合 Ptrain は不均衡データであるため，各業界に属するエントリーシート数に比例したコスト関数を用
いて機械学習を行なった．

図 4 Confusion Matrix（ADDV）
けを行なった．本論文の第一著者は，就職支援サービス「レクミー」8 を運営する株式会社リーディングマーク 9 にて，キャリ
アアドバイザーとして勤務している．そこで，特徴語に付ける
アノテーションは，「レクミー」で採用されている評価指標に基づいたアノテーションである，思考力，リーダーシップ，当事
者意識とした．
例として，ESV，及び IV の次元が戦略，代表，士気，達成で，図 5 業界分類別のエントリーシート数（ Ptrain ）各次元成分が表 5 である状況を想定する．
機械学習を用いた手法では，品詞要件を満たす単語（3. 5 節

表 5 パーソナリティの分析例
ベクトル[ 戦略 , 代表 ,士気

, 達成 ]

ESV

[

0.35

,

0.70

,

0.20

,

IV商社

[

0.50

,

0.40

,

0.60

[ -0.15 ,0.30

ESV − IV商社

で定義していた）のみを対象に，半角・全角の統一，大文字・小文字の統一，数値の 0 への置換を施して辞書を作成した．

0.65

]

,

0.45

]

次に，Latent Semantic Indexing [11]（以下，LSI）を用いて次元, -0.40 ,0.20]削減を行い，エントリーシートの分散表現の次元を 300 次元まで下げた．
エントリーシートの分散表現と，当該エントリーシートが提また，特徴語のアノテーションは，次の通りであるとする．

思考力



リーダーシップ

戦略当事者意識代表，士気出された企業の業界分類を教師有り学習させ，業界推薦の対象となるエントリーシートに対して，最も確信度が高い業界を推

達成




薦した．

 機械学習を用いた手法として，Random Forest Classifier [12]（以この想定に基づいてパーソナリティの分析をすると，思考力，下，RFC），及び Support Vector Machine [13]（以下，SVM）の及びリーダーシップの分析値 v は，それぞれ次の通りである．

出力評価を行なった．手法別の出力評価（有効数字 2 桁で四捨v思考力 = −0.15
0.30 + (−0.40)
vリーダーシップ == −0.05
2
v当事者意識 = 0.20
求めた分析値 v が正であれば，そのアノテーションのパーソ
ナリティは強みであり，逆に求めた和が負であれば，そのアノ五入した）は，表 6 の通りである．ただし，Precision，Recall，

F1 は Macro Average で計算するものとする．
表 6 手法別の出力評価
手法

ADDV

Accuracy Precision Recall
0.32

F1

0.30

0.28

0.23

RFC

0.45

0.38

0.19

0.22

SVM

0.48

0.35

0.41

0.36

テーションのパーソナリティは弱みである．この想定の下ではv思考力 < 0，vリーダーシップ < 0，v当事者意識 > 0 が成立するの

RFC，SVM を用いた出力の Confusion Matrix を，それぞれ図6，図 7 に示す．

8：https://www.recme.jp
9：http://www.leadingmark.jp

図 4，図 6，図 7 から，ADDV と SVM の出力傾向は類似して

表 9 Tukey HSD（F1）
手法対

p値

RFC-ADDV

0.96

SVM-ADDV

0.07

SVM-RFC

0.04

業界推薦システムとして適した出力であるとは言い難い．
これらの分析から，RFC は業界推薦システムとして適さないと判断し，以下では，ADDV，及び SVM の比較検討を行う．
エントリーシートの分散表現，及びその業界ごとの Centroid

Vector である業界の分散表現は，LSI で次元削減を施すため，厳密には ci (1 <=i<
= Y )（LSI で次元削減を施す前に辞書内にある特徴語の個数が Y であったとする）を定数として，次のように
単語の線型結合の形で表される．
図6

Y∑

Confusion Matrix（RFC）

ci · t(i)i=1

機械学習を用いた手法においても，LSI で次元削減を施した
後のエントリーシートの分散表現，及び業界の分散表現の各次
元成分の差を計算し，当該次元を，LSI で次元削減を施す前に辞書内にあった単語の線型結合の形に戻すことで，ADDV と同様に，パーソナリティに関する特定の業界での強み，あるいは弱みを可視化出来る．
しかしながら，機械学習を用いた手法では，LSI で次元削減を施したとしても，辞書内にある全ての単語にアノテーションが必要である．手法別のアノテーションが必要な単語数は表 10の通りである．
表 10 手法別のアノテーションが必要な単語数
手法

図 7 Confusion Matrix（SVM）
いるが，RFC は多くの入力に対してメーカーを推薦しており，

ADDV と SVM の出力傾向とは大きく異なることが分かる．

単語数

ADDV

300

RFC

21,189SVM

21,189オリンピックの開催，震災などにより，各業界の特徴語は容易に変化し得る．表 10 に示される規模の年々変化する特徴語

このことを，統計的仮説検定を用いて示す．Precision，Recall，

に対して，アノテータが定期的なアノテーション付けを行うこF1 を，3 種類の手法，15 種類の業界に対応した，3 × 15 の行列とを考えると，現実性の観点では，アノテーションが 70 分の 1

で表す．3 × 15 の行列を用いて，Precision，Recall，F1 に関する

以下で済む ADDV の方が，SVM よりも優れていると言える．

Tukey HSD 検定 [14] を行った結果（有効数字 2 桁で四捨五入した）は，それぞれ表 7，表 8，表 9 の通りである．

5 考

表 7 Tukey HSD（Precision）

5. 1 併願業界数

表 8 Tukey HSD（Recall）

察

手法対

p値

手法対

p値

第 1 志望業界に内定した 10 名に対し，併願業界数の調査を行

RFC-ADDV

0.42

RFC-ADDV

0.08

なったところ，平均して 3.4 業界を併願していることが分かっ

SVM-ADDV

0.61

SVM-ADDV

0.24

SVM-RFC

0.94

SVM-RFC

0.00

た．当該学生は，いずれも第 1 志望業界の大手一流企業 10 に内

表 7，表 8，表 9 から，SVM-RFC の手法対に関して，有意差が認められた．また，図 6 から，RFC を用いた出力は，その多くがメーカーを推薦しており，Accuracy は比較的高いものの，定し，併願した他業界の大手一流企業 11 からも多くの内定を得
10：伊藤忠商事，キーエンス，トヨタ自動車，日本生命保険，パナソニック，プ
ロクター・アンド・ギャンブル・ジャパン，丸紅，三井物産，三菱商事．

11：全日本空輸，電通，デロイトトーマツコンサルティング，三井住友銀行，三井不動産，リクルートホールディングス（抜粋）．

た，極めて優秀な学生（以下，模範的就職活動生）である．模分類を行い，同時にアノテーションを用いて情報を可視化する

範的就職活動生は，最終的に本選考を経験した業界以外への理ことが求められた．ある程度似通った文書の分類には，文書の解も非常に深かった．

分散表現の次元が大きい方が都合が良く，アノテーションを用いた情報の可視化には，現実性の観点から，文書の分散表現の

5. 2 ADDV の出力評価の再考

次元が小さい方が都合が良い．ここで生じたトレードオフの関

改めて Z （推薦する業界の数を Z と 3. 7 節で定義していた）の値を変えながら ADDV による業界推薦を行い，当該エント
リーシートが提出された企業の業界分類を提示出来るかに関して，再度出力評価を行なった．ただし，5. 3 節から，質，量共に高い業界研究が可能な業界数は，4 業界から 5 業界であると推測されるので，1 <=Z <= 5 の範囲での出力評価とした．推薦
業界数別の ADDV の出力評価（有効数字 2 桁で四捨五入した）は，表 11 の通りである．
表 11

及びアノテータによる定期的なアノテーション付けの容易さをある程度両立することが出来た．しかし，この評価指標では，不正解の質（IV の距離が近い業界を推薦した結果の不正解であるのか，IV の距離が遠い業界を推薦した結果の不正解であるのか）を評価することが出来なかった．
現在，過去に提出されたエントリーシートが企業別に閲覧出来る就職活動支援サービスで，就職活動生の併願状況を確認で

Accuracy Precision Recall

F1

きるサービスは存在しない．今後，進路として選んだ業界，併

1

0.30

0.28

0.32

0.23

願した業界，業界の志望順位などの情報を付加したデータを蓄

2

0.42

0.38

0.46

0.34

積することで，不正解の質も勘案する，より優れた業界推薦シ

3

0.51

0.45

0.55

0.42

ステムの完成に繋がるだろう．

4

0.60

0.50

0.62

0.49

5

0.67

0.55

0.67

0.54

表 11 より，ADDV のネックとなっていた正確さは，Z の値を大きくすると，大幅に改善された．

5. 3 業界推薦システムに求められる正確さ
今回設計した業界推薦システムは，業界研究の対象を限定し，質，量共に高い業界研究を可能にすることに焦点を当てたシステムである．模範的就職活動生は，平均して 3.4 業界を併願しており，最終的に本選考を経験した業界以外への理解も深いことから，質，量共に高い業界研究が可能な業界数は，4 業界から 5 業界であると推測される．
このことから，4 業界から 5 業界を推薦した出力にある程度の正確さが確認出来れば，業界研究の対象を限定し，質，量共に高い業界研究を可能にすることを目的とする業界推薦システ
ムに求められる正確さの要件は満たされていると判断出来る．

6 結論と課題論

5. 3 節に表 11 を照らし合わせると，ADDV の正確さは，SVMと比較すると見劣りするものの，業界推薦システムに求められる正確さの要件は満たすと判断出来る．また，4. 9 節では，年々変化する特徴語に対してアノテータがアノテーション付けを行うことを考えると，現実性の観点から，アノテーションが 70 分の 1 以下で済む ADDV の方が，SVM よりも優れていた．
ここまでの結果から，ADDV を用いた業界推薦システムの有用性，及び SVM を用いた業界推薦システムと比較した場合の長所を示すことが出来たと言える．

6. 2 課

実際，推薦する業界の数を増やすことで，業界推薦の正確さ，推薦業界数別の ADDV の出力評価

Z

6. 1 結係を解消する手法として，ADDV を提案した．

題

今回設計した業界推薦システムは，ある程度似通った文書の文

献[1] 古本裕子: 就職活動における自己 PR 文の談話分析, 日本語教育
方法研究会誌, Vol. 20, No. 1, pp. 80–81, 2013.
[2] 小島弥生: 就職活動におけるエントリーシートへの記述に関する探索的研究 - 志望する職種との関連の検討, 埼玉学園大学紀要 (人間学部篇), Vol. 10, No. 1, pp. 89–98, 2010.
[3] 飯田望美, 上野歩, 片山友昭, 中村亮太, 上林憲行: 就職活動におけるエントリーシートの作成を支援するサービスの検討 - 評価観点の一致と他者からの気づきを活用して, 第 74 回全国大会講演論
文集, Vol. 2012, No. 1, pp. 585–586, 2012.
[4] 杉山裕貴, 雲居玄道, 後藤正幸, 桜井崇: 就職ポータルサイト上の行
動履歴データに基づく企業の分散表現モデルに関する一考察, 研
究報告数理モデル化と問題解決 (MPS), Vol. 2018-MPS-121, No. 11,
pp. 1–2, 2018.
[5] 坂元哲平, 山下遥, 荻原大陸, 後藤正幸: 就職ポータルサイトにおける企業のアピールポイントと学生の志望理由のマッチング分
析モデルに関する一考察, 情報処理学会論文誌, Vol. 58, No. 9, pp.
1535–1548, 2017.
[6] Robertson, S., Jones, K.: Relevance weighting of search terms, Journal of
the American Society for Information Science, Vol. 27, No. 3, pp. 129–
146, 1976.
[7] Robertson, S.: On term selection for query expansion, Journal of Documentation, Vol. 46, No. 4, pp. 359–364, 1990.
[8] Robertson, S., Jones, K.: Simple, proven approaches to text retrieval, University of Cambridge Computer Laboratory Technical Report, Vol. 356,
pp. 3–8, 1994.
[9] Mikolov, T., Sutskever, I., Chen, K., Corrado, G., Dean, J.: Distributed
Representations of Words and Phrases and their Compositionality, Proceedings of the 26th International Conference on Neural Information
Processing Systems, Vol. 2, pp. 3111–3119, 2013.
[10] Jolliffe, I.: Principal Component Analysis, International Encyclopedia of
Statistical Science, Springer, pp. 1094–1096, 2011.
[11] Deerwester, S., Dumais, S., Furnas, G., Landauer, T., Harshman, R.: Indexing by latent semantic analysis, Journal of the American Society for
Information Science, Vol. 41, No. 6, pp. 391–407, 1990.
[12] Breiman, L.: Random Forests, Machine Learning, Vol. 45, pp. 5–32,
2001.
[13] Cortes, C., Vapnik, V.: Support-Vector Networks, Machine Learning,
Vol. 20, pp. 273–297, 1995.
[14] Tukey, J.: Comparing Individual Means in the Analysis of Variance, Biometrics, Vol. 5, No. 2, pp. 99–114, 1949.