HPCI の課題審査におけるレビュアー選定のための AI 活用の試み
峯尾 真一, 小久保 達信, 野口 孝明, 草間 義紀
高度情報科学技術研究機構
mineo@rist.or.jp

A Trial of using AI to select reviewers for evaluation of HPCI projectapplication
Shinichi Mineo, Tatsunobu Kokubo, Takayuki Noguchi, Yoshinori Kusama
Research Organization for Information Science and Technology
概要
本研究では、革新的ハイパフォーマンス･コンピューティング･インフラ（HPCI）の課題審査におけるレビュアー候補の選定に AI を活用する可能性を調査した。その結果、単純なMulti Layer Perceptron(MLP)であっても、人間の判断との一致度を 66%まで高めることができた。またキーワード一致法と組み合わせれば一致度は 80%を超えたが、分析の結果、現状の人間判断との一致度の定義が解の良し悪しを評価するのに十分でないことなど、今後の検討課題も明らかになった。
本研究の結果から、現状では AI によってレビュアーの選定を完全に自動化することはできないが、候補者案を作成することは可能であり、特に分野融合的な研究においては有効であると考えられる。

1

はじめにHPCI[1]の課題審査においては、各課題に対し予め登録されたレビュアー候補の中から適切な人を複数選んで評価を依頼している。しかし様々な分野の多数の応募課題に対し、多岐に渡る専門分ー数、レビュアー毎の課題数等の条件を満たし最適な組み合わせを求めることは、その選択肢の多さから難度の高い最適化問題となる。さらに課題によっては従来の分野区分に当てはまらないもの、分野融合的なテーマを持つものがあ

野のレビュアーから適切な人を選ぶことは容易でり、画一的なレビュアー選択ができない場合がはなく、総合的な知見を備えた人材が多くの時間ある。

をかけて作業している。そこで人工知能（AI）をそこで、AI の活用により、人間の労力を省く活用して応募課題を評価するのにふさわしいレビとともにより広い範囲での最適解を求めること

ュアーを探す試みを行った。

2 AI 活用の目的を目指した。採用したのは、MLP による機械学習システムにレビュアーの専門分野に関連の深いキーワードの組み合わせを学習させ、各課これまでは登録されたレビュアーを、予め科研費の近い分野の小区分をいくつか束ねた区分に題に対し最適なレビュアーを推薦させる手法である。

分類しておき、応募された課題内容に照らしてその区分のどれに相当するかを判断し、その区分に分類されたレビュアーの中からふさわしい

3 機械学習の活用方法
応募課題に対して最適なレビュアーを探すこと思われる人を選定して来た。とを、各課題のレビュアー群への分類問題に置き定期課題募集の時には 200 件程度の課題毎に、換え、機械学習の手法を適用した。機械学習コー

登録されたレビュアー約 100 人の中から 3 人以

ドの作成においては TensorFlow サンプルコード[2]上のレビュアーを選定する。課題毎のレビュアを参考とした。分類器の構成、訓練データの作成、訓練課程、実行過程については以下のとおりである。

図１．訓練データの作成

3.1 分類器の構成

隠れ層 2 段（1 段目 900 ノード、2 段目 300 ノード）のプレーンな MLP により分類器を構成した。また活性化関数として ReLU(RectifiedLinear Units)を、出力層には softmax 関数を用いた。
3.2 訓練データの作成
訓練データの作成手順は以下のとおりである（図 1 参照）。
①各レビュアーのキーワードを Web 情報や論文から人力で抽出する②全てのキーワードを集めて重複のないキーワ

図２．訓練課程ードリストを作成する。
③キーワードリストにおいて、各レビュアーの保持するキーワードを 1，保持しないキーワードを 0 で置き換えた 1 次元ベクトルを作成し、入力データとする。
④各入力に対する正解が当該レビュアーとなる訓練データの対を作成する。
3.3 訓練過程
上記の訓練データを MLP に適用し、バッチ勾配降下法で訓練を行う（図 2 参照）。
3.4 実行過程

図３．実行課程

4 評価計画

3.2②のキーワードリストの各キーワードについて、応募課題の課題申請書に記載された「課題4.1 評価の手順名」、「課題概要」、「キーワード」を対象に検過去の実際の応募課題とレビュアーのデータを索し、文字列の一致がある場合は 1、無い場合は用いて、AI と人間がレビュアーの候補選定を行い、0 として 1 次元ベクトルを作成する。この 1 次元

人間の判断を正解とみなして AI の判断の一致率ベクトルを入力として 3.3 で訓練した MLP に分類させる。結果の出力は、各レビュアーに対する適合度を成分に持つ 1 次元ベクトルとなる。（図 3参照）。

を測定し、その違いを分析する。レビュアーの候補選定作業は相互に影響を受けない分離体制を作って行う。すなわち A チームが人間、B チームがAI による作業を行う。手順は以下のとおりである。
① A/B チームが協力して、各レビュアー候補が専門とする分野のキーワードを抽出する。科学研究費助成事業データベース[3]、研究者データベース(日本の研究.com) [4]、HPCI ポータルサイトの利用報告書データベース[5]等を参考にする。
② A チームはレビュアー候補と課題の双方を科

研費の近い分野の小区分をいくつか束ねた区分に分類する。その結果、各課題に対応するレビュアー候補の集合が得られる。
③ B チームは①のキーワードを用いて AI を訓練し課題内容からレビュアー候補を選定する。
参考として、課題毎にキーワード一致数の多②課題データ
上記年度の定期募集に一般枠・若手人材育成枠で応募した 98 課題を対象とした。

5 MLP の訓練とその分析
5.1 訓練の実施
入力に対する出力の組み合わせ 110 組（レビュい順にレビュアーを割り当てる方法（キーワアー毎に 1 組）のフルデータセットによる訓練をード一致法）も実施する。（図 4）

1 回とし、入力の順番をランダムに変更して 1000④A/B チームが協力し②と③の結果を比較して AI回と 10000 回の訓練を実施した。その結果、図 6の出力結果を評価する。に示す様に分類の正解率は約 360 回で 100%に達A チームと B チームの一致率(A:B 一致率)を、Bチームが推薦したレビュアー上位 15 人の中に Aした。ここで「正解率」とは 110 の入力に対する出力結果が正しくなる割合である。また訓練後のレビュアー識別率は 1000 回訓練では 63.6%となり、チームの定義したその課題分野のレビュアー

10000 回訓練で 99.2%に上昇した。ここで「レビュ（max15 人で分野毎に違う）が何人入っているかアー識別率」とは、あるキーワードパターン（この率と定義した。の場合はレビュアーリストの先頭の一人）を入力した時に正解となるレビュアーの確からしさとして出力される値（softmax 関数値）である。

図４．キーワード一致法によるレビュアー割当
4.2 利用したデータ
本評価において利用したレビュアーおよび応募課題のデータは以下のとおりである。
①レビュアーデータ
ある年度の課題審査においてレビュアー候補として登録されたレビュアーは 110 名。抽出されたキーワード数は、合計 1751 で、ユニーク数 1026、平均 15.9、最大 34、最小 8 となった。
キーワードの分布を図 5 に示す。

図６．訓練の状況（1000 回）
5.2 訓練結果の分析
上記の訓練を実施した MLP で課題申請書を分類した結果から以下のことが分かる。
①訓練回数を 1000 回から 10000 回に増やすと
A:B 一致率は、37%から 47%に向上し、明らかな改善効果があった。
②分野個別に見ても、訓練回数を増やすと課題の分野と一致する専門分野のレビュアーが増加することが確認されたが、誤りも多く実用的なレベルではなかった。ここで「誤り」とは、課題内容から見て妥当性の全くないレビュアーが推薦されたと、人間が判断したことを言う。
③いくつかのモデルを作成して比較すると、訓練回数が同じであれば、レビュアー識別率は変わらないが、レビュアーの推薦リストは大きく

図 5．レビュアーのキーワード数分布変動することが分かった。しかし A:B 一致率の大きな改善は見られなかった。
④AI の結果は、キーワード一致法の結果と同じとはならない。特に顕著な現象として AI の場合、キーワード一致数が 0 のレビュアーが上位に推薦される場合があった。その理由としては、レビュアーのキーワードパターンと課題のキーワードパターンが似ているほど上位に、違うほど下位にランク付けされ、キーワード一致数 0 の場合には、その中間に取り残されている可能性が考えられるので、今後調査する予定である。
⑤キーワード一致法による A:B 一致率は AI 法における 10000 回の訓練よりも高い値となったが、明らかな誤りも含まれていた。

6 方法の改善

図７．サンプリングデータ拡張法を用いた訓練

7 改善効果上記の分析結果を踏まえて、次の様な方法の改善を実施した。
6.1 キーワードのチューニング
キーワード一致法においても課題と同じ専門分
野のレビュアーが推薦順位の上位に来ないことがあることは、キーワード数が不足していることを示している。そこでレビュアー毎のキーワードを見直して数を増やした。またこのチューニングを、「6 方法の改善」による効果を、方法毎に A:B 一致率で表１．に示す。
方法キーワードキーワード

チューニング前 チューニング後

キーワード一致法(KW)

60%

68%

通常方式のAI(AI1)

47%

53%

サンプリングデータ拡張法のAI(AI2)

53%

66%

AI2とKWの組み合わせ

70%

81%

表１．各方法による A:B 一致率

精度を高めるため分野毎の専門家に依頼した。
キーワードチューニングの結果、各レビュアー

A:B 一致率で見る限り、キーワードのチューニ当たりのキーワードは 20-30 に統一された。全レングにより、いずれの方法においても明らかな改ビュアーのキーワード合計数は 3042、その内重善効果があったと言える。サンプリングデータ拡複を除いたキーワード数は 1547 となった。

張法の AI は、ほぼキーワード一致法による A:B

6.2 訓練データの拡張一致率と同等となった。

訓練する毎に生成されるモデルの挙動が変化

両方法で選定されたレビュアーを分析した結果、するのは、MLP のパラメータの数に対して訓練

AI で A:B 一致率が低かった研究分野の課題で、キデータが不足しているため、バッチ勾配降下法でーワード一致法が高い A:B 一致率を示す傾向があ訓練されるモデルが一つに収束しないことが原因であると考えられる。そこで実効的に訓練データることが分かった。そこで、サンプリングデータを拡張する方法として、サンプリングデータ拡張拡張法の AI でレビュアーの適合度を評価した後法を考案した。詳細は、付録「サンプリングデーに、キーワード一致数の最高位レビュアーの専門

タ拡張法」参照。

分野にバイアスを掛ける方法を試した（AI2 とこの方法と「5 MLP の訓練とその分析」と同じKW の組み合わせ）。その結果、人間の評価の 8 割

データを用いた訓練の状況を図 7 に示す。（Batchを再現できることが分かった（表 1）。残りの 2 割

accuracy、Val accuracy の定義は、付録「サンプリングデータ拡張法」参照。
）最終的なレビュアー識別率（10000 回訓練）は 99.2%から 99.99%に上昇し、A:B 一致率は 53%に改善された。

は、キーワード一致数 1 位のレビュアーの専門分
野が課題の専門分野と相違していることを示す。
課題とレビュアーの専門分野を排他的にかつ唯一に定義できれば、キーワードをチューニングしてさらに一致率を向上させることは可能であると考えられる。しかしこの方法では、基本的に単一やカタカナ等表記の違いの扱いをどうルール化す分野のレビュアーを選定することになるので、分べきかにつては今後の課題となっている。また課野融合的な課題に対応できない。今後は A:B 一致率という評価基準を再検討する必要があると考えられる。

8 今後の課題と可能性
AI によるレビュアー選定の精度を高めていく

題申請およびレビュアー登録のシステムを機能強化して、キーワードについては正規化された用語リストから選ぶ様にすることも考えられる。その際には、分野、手法、モデル、対象とする現象等キーワードを構造化して整理する工夫も検討する必要がある。
8.7 キーワードマッチングの限界からの脱却

キーワードを使う限り、言葉の表層的な一致ために、以下のような改善策を検討していく予定である。

性のみを使うことから来る限界があるかもしれ8.1 ニューラルネットワークのハイパーパラメーない。レビュアーの知見と課題の内容をキーワタの最適化ードではなく、意味空間に写像して相互の距離ニューラルネットワークの一種である MLP には、操作可能なパラメータとして、隠れ層の数、隠れ層当たりのニューロン数、活性化関数、サンを比較できれば、より良い判断ができる可能性がある。テキストマイニング等の手法を利用しプリングデータ拡張法のサンプル数、等があり、て課題申請書やレビュアーの著書を解析するこ

広い範囲でチューニングの余地が残されている。とが考えられる。

8.2 他の機械学習アルゴリズムの採用今回用いた単純な MLP の他にも、深層ニュー

9まとめラルネットワークのアルゴリズムは多数存在する

ここで評価に用いた単純な MLP においても、ので、より有効なものを発見できる可能性はあキーワード一致法と組み合わせることにより、人る。

間の判断との一致率を 81%まで高めることができ

8.3 レビュアーのキーワード作成の自動化た。しかしこの方法では、分野融合的な課題に対本方式ではレビュアーを追加する度に専門分野を定義するキーワードを人間が作成する必要がある。そこでインターネット上の情報からレビュアーのキーワードを自動的に抽出するツー応できないという問題を引き起こす可能性があるため、必ずしも良い解とはならない。
また AI 法単独で人間の判断との一致率は 66%となるが、キーワード一致法に対して明確な優位性が見えず、改善の余地が大きいことが判明した。

ルを開発することにより、省力化やキーワード現状では、AI によってレビュアーの選定を完全数の増加等の改善が考えられる。に自動化することはできないが、人間による選定

8.4 より詳細な課題情報の取り込みの候補者案を作成することは可能であり、特に分

web 上に登録された課題概要だけではなく、追加資料となっている課題申請書に書かれた情報を利用できれば、より詳細な課題情報を取り込むこ野融合的な研究においては有効であると考えられる。
今回利用したのは、MLP による分類問題であとが可能となる。

るので、課題申請書の特徴からレビュアーを識別

8.5 新しい評価基準の検討させること、すなわち正解のない問題（この課題現在の評価基準である A:B 一致率は、人間が申請書を書いたのはレビュアー本人でないという課題毎に決めた単一の研究分野に基づいている。

意味で）を解かせること自体に限界があるかもし新しく開拓された研究領域に対応する分類方法や、分野融合的な課題を正しく評価する方法を検討する必要がある。
8.6 キーワードの正規化
レビュアー毎のキーワード作成において、作成する語数や、複合語、一般用語、同意語、英語れない。
今後は、その限界を考慮しつつうまく活用する方法を、実際の課題選定に応用しながら模索して行きたいと考える。

謝辞
本論文の作成にあたり的確な助言を頂いた一般
財団法人高度情報科学技術研究機構の皆様に感謝します。また特に、分野専門家としてキーワード適合度を出力するものである。従って、サンプリング数の指定においては、そのキーワードが「課題申請を書く時に、いくつ同時に使われるか」を考慮することが望ましいと考えられる。

チューニングに協力して頂いた、太田幸宏、岡田達夫、須永泰弘、澤井秀朋、山岸孝輝の各氏に感謝します。

付録：サンプリングデータ拡張法

参考文献[1] HPCI について（HPCI ポータルサイト）,
https://www.hpci-office.jp/pages/about_hpci[2]Aurelien Geron（著）, 下田 倫大（監訳）,レビュアーのキーワードリストから、ランダム

長尾 高弘（訳）,scikit-learn と TensorFLow にサンプリングによって訓練データの再生成を繰りよる実践機械学習,(株)オライリー・ジャパン

返し、ミニバッチとして、指定した回数だけ逐次[3] 科学研究費助成事業データベース,

的にモデルの改良を行う（今回は勾配降下法を用いている）方法として以下の手法を用いた。
改善前の方法では、レビュアー（i）毎に、専門https://kaken.nii.ac.jp/ja/[4] 研 究 者 デ ー タ ベ ー ス ( 日 本 の 研 究 .com),分野を現すキーワードの集合（Ki）を定義し、入https://research-er.jp/about/database

力 Ki に対応する出力が i となるように訓練を行う。

[5] 利用報告書データベース

従って訓練データは、基本的にレビュアーの数(N)（ HPCI対の 1 セットしかなく、そのままでは訓練データ

https://www.hpci-office.jp/annex/usrrep/が十分確保できない。
そこで、次のように訓練データを再生成しながら機械学習を行うアルゴリズムを開発した。
① ミニバッチ（j 回目）毎に②～④を繰り返す。
② レビュアー（i）のキーワード集合 Ki からランダムサンプリングにより一定数（今回は 8）の語を抽出して入力 Kij とし、出力を i とするデータ対を生成する。
（実際の実装では、入力データはワンホットエンコーディングであり、Kij に対応する位置が 1、他が 0 となる一次元ベクトルが生成される。
）③ 上記のデータ対作成をレビュアーの数（N）だ
け繰り返し（データ拡張に相当）、ミニバッチを構成する一組の訓練データ{Kij,i}として訓練オペレーションを実行する。
④ 訓練されたモデルの評価のため、{Kij,i}を用いた時の正解率（Batch accuracy）と、フルキーワードデータ{Ki,i}を用いた時の正解率(Valaccuracy)を測定する。
またここで指定するサンプリング数は、レビュアーのキーワードから同時にいくつを訓練の入力データとして抽出するかを指定するものである。
訓練されたモデルは、実際には課題申請書の中で一致するキーワードを入力として、レビュアーのポ ー タ ル サ イ ト ） ,