iMD : 新たな学術誌評価指標の提案
著者
雑誌名ページ
発行年
URL

池田 潤
人文社会系分野における研究評価 : シーズからニーズへ : 研究大学強化促進事業シンポジウム報告書
13‑28
2019‑03
http://hdl.handle.net/2241/00155094

iMD ： 新たな学術誌評価指標の提案 池田 潤

評価を受ける側①

iMD：
新たな学術誌評価指標の提案

池田潤

大学執行役員 ( 筑波会議担当 ) ／学長補佐 学長補佐室長／
人文社会系 ・ 教授

はじめにご紹介にあずかりました筑波大学の池田です。よろしくお願いいたします。
評価される側の一例として、まずは筑波大学人文社会系の取り組みについてお話をします。具体的には、ここにもお示しした iMD という新しいジャーナルメトリクス（学術誌の指標）の背景や考え方、特徴をお話しして、それを通して研究評価はどうあるべきかについて皆さんとともに考えることができればと願っています。

現行の学術誌評価指標とその特徴
学術誌の評価指標といえば、言わずと知れたインパクトファクターがあります。これは私のほうから説明するまでもありませんが、ユージン・ガーフィールドが考案したものです。これは、いわゆるジャーナルメトリクス（学術誌の指標）であって、論文一本一本や研究者を評価するものではありません。一言でいいますと、特定のジャーナルに掲載された論文一本あたりの平均的な引用数はこのぐらいになるという数値です。
ここから始まって、その後もいろいろなものが出てきました。先ほど春山室長のほうからも言及がありましたが、例えば５年間を見てみようとか、引用するジャーナルに重み付けをつけてみようなどです。スライドの最初の二つは、Web of Scienceに基づいたものです。後ろに出てきた三つは、そこに座っている、カールソン先生の Elsevier 社のものです。インパクトファクターのさまざまな13

派生物が出てきたわけですが、これらに共通することはサイテーションを基にした指標だということです。
ここで確認しておきたいのですが、サイテーションは被引用数といわれる量にすぎません。マスメディアの勘違いでしょうが、新聞を読んでいるとときどき論文数は量で、引用数は質といわれる場合があります。それは誤解です。質はそもそも哲学的にいいますと、量では表現できないはずのものです。この手の定量的な指標では、もとより質は表現できないことが大前提です。サイテー
ションも質ではなくて、一つの量にすぎないことを確認しておきます。
サイテーションに関してもう一つ特徴的なのは、研究者が自分で数えられないということです。まめな人や引用数が少なければ、もしかすると自分の論文が引用された数を数えることができるかもしれませんが、基本的には膨大な引用を処理するにはデータベースが必要です。研究者自身が自分で数えられないので何をするかといいますと、アウトソースをしています。
つまり、これらは Web of Science や Scopus というデータベースを保有する会社等にアウトソースをした指標です。研究者自身の手の中にある指標ではなくて、アウトソースされた指標であることもサイテーションベースの指標の特徴だといえます。先ほども皆さまからお話しがあったようにインパクトファクターや、それに類する被引用数ベースの指標は世界で広く通用していて、普及しています。
これ自体がすごく優れた一つの定量的指標であることは疑いようがありません。私の意図としては、インパクトファクターやサイテーションベースの指標が悪いといっているわけではありません。これはこれで一つの価値や役割があります。これはある意味で、ある分野で確立された技術シーズだといえますが、これを他の分野に当てはめていくとどうなのだろうか。

人文社会における評価 ： 現状
そう考えた場合に、ここに示したジャーナル（一つ一つの名前は読めないと思いますが、一昨年ですか、全てのジャーナルではないですが、筑波大学の人文社会系の教員が投稿したもの）を私たちが調べました。たくさんある中でイ14

iMD ： 新たな学術誌評価指標の提案 池田 潤

ンパクトファクターが付いていたものは５誌しかありませんでした。５誌しかないために何が起こるかと言いますと、インパクトファクターで評価をしようとすると、この部分は全く見えません。大半のジャーナルがインビジブルになってしまう指標は、この分野に合っているのか。人文社会系に最適の指標であるとは言い難いです。
人文社会系の分野で何が行われてきたかといいますと、古典的（と書きましたが、従来的といってもいいかもしれません）評価としては、論文の本数を数えることをしました。どのジャーナルに書いても１本は１と数えていくわけです。このようにすることでいいところは、全てを数えられることです。９割方がインビジブルになるのではなく全てを数えることができます。他方、ここにあるジャーナルは一個一個、さまざまな特徴を持ったジャーナルです。今度は、そのジャーナルごとの違いがインビジブルになってしまいます。
ジャーナルごとの違いは、インパクトファクターだとビジュアライズできます。従来型では全てを数えられる良さと、ジャーナルごとの特性が見えなくなってしまう問題があります。どうしたらいいでしょうか。人文社会系のさまざまな先生方や URA の人たちと一緒に考えました。頭を悩ませて考えついたのは、ハンドアウトには入っていませんが、ダイバーシティファクターです。

人文社会における評価 ： 解決策 （その１） DF
インパクトファクターの向こうを張っているみたいな名前ですが、最初はダイバーシティファクターと呼んでいました。多様性を見るのがいいのではないかと考えたのが、この指標です。後から出てくる iMD は、ダイバーシティファクターの改良版です。このダイバーシティファクターを考えたときの発想としましては、一般論として、多くの研究者が学内紀要よりは全国レベルの学会誌を高く評価することに意味があることに同意してくれることでしょう。それよ
りも国際学会誌のほうをさらに高く評価することにも意味があると同意してくれるのではないか。このような類型化は、一般論としてはある程度の共有ができるのではないかと考えました。一般論と断ったのはなぜかといいますと、ある分野に非常に特化した優れた研究所があって、そこの研究所の紀要がある分15

野では世界で一番であることもあるかもしません。特殊事例はいろいろとあると思いますが、一般論としては多くの研究者に共有してもらえるのではないかと考えました。
もしもそうであるとしたら、これを何とか定量化できないかと考えたのが、ダイバーシティファクターです。計算をしてみます。ここに３誌ありますが、どれにも10本ずつ単著論文があったとしましょう。もしも学内紀要で全ての論文の著者が学内の人であれば、所属機関を数えると１になります。10本の論文があったとしても１になります。もしも全国レベルの学会誌で、全て違う機関の人が10人書いていたとしたら10になります。国際誌も10本全てが違う機関であれば10になります。
これでは、全国学会誌と国際学会誌の違いが出ません。研究のテーマを考えたときに、一つの国だけで重視されている分野よりもローカルではない形で、国際的に注目されているテーマや学会誌を少し重み付けすることに意味があると考えて、国数を足してみました。そうすると学内紀要の場合には、機関数は全て１です。国も全て同じなので、足して２となります。全国学会誌では10機関全てが違う機関で、全て日本だとすると10足す１で、11になります。モデル
ケースとして国際学会誌では10人全てが違う機関で、その機関が全て違う国だとすると20になります。
先ほど申し上げたコンセンサスが得られそうな仮説をこのような形で、何とか定量化できると考えたわけです。これをさらにいろいろな雑誌に当てはめていって、理系の『Nature』などのさまざまな雑誌も含めて計算したら、このような感じになってしまいました。一番、左は3000を超えるような数値になりました。１から3000ということで開きが大き過ぎて、極端です。

人文社会における評価 ： 解決策 （その２） iMD と TSUKUBA index
もう少し差を縮められないかと考えまして、対数スケールを使ったら、このようになりました。ここに挙がっている式の対数の底は、今の iMD では２を使っています。αとβは重み付け係数で、今は１を使っています。どちらも同じにしていますが、どちらかに重み付けをしたいなら、α＝２やβ＝１などとする
16

iMD ： 新たな学術誌評価指標の提案 池田 潤

ことも可能です。ここでは、α＝１とβ＝１で計算しています。CはCountryで、所属機関の立地する国数です。A は Affiliation で、所属機関数です。この計算式で、ジャーナルを定量化することができました。
これは、ご覧いただければ分かるように、日本の雑誌だけではなく、海外で出ているものや『Nature Communications』、『PLOS ONE』などのインターナショナルジャーナルも含めて、インビジブルなものなしに同じ土俵の上に並べられる指標になったと考えています。私たちは、これを iMD と呼んでいます。index for Measuring Diversity です。この iMD の値を一覧にしたものが、
TSUKUBA index です。
TSUKUBA index は、iMD の算出結果です。私たちはほとんど２、３人で作業しているので、全ての雑誌について計算ができるわけではありません。
今のところは、筑波大学人文社会系の教員が投稿した主な学術誌と、Web ofScience から選んだ200誌のデータをクラリベイト・アナリティクスからご提供いただき、毎年公表しています。ホームページは、このような感じです。下のほうにいくと数値があって、ここに2015年と2016年の数値が載っています。英語バージョンのホームページは、このような感じです。

iMD の特徴
この iMD の特徴ですが、まず Simple です。誰でも計算ができます。文系でも計算ができます。研究者ではない社会の方でも、このジャーナルはどうなのだろうかと手に取って、所属者の情報を見れば簡単に数えられます。極端なことをいえば、子どもでも誰でも計算ができます。とてもシンプルな指標です。
ただし、対数などを取るときにはエクセルシートにデータを入れる必要がありますが、それも簡単なことです。
次に、Universal です。これは特定のデータベースに限定されないという意味です。データベースは、常にある偏りを持っています。言語的な偏りや分野的な偏りがあることが知られています。iMD の場合は言語や分野に関係なく、全ての雑誌について数えようと思えば数えられるので、非常に普遍性が高いと考えています。皆さんもよくご存じの SDGs（Sustainable Development17Goals）のスローガンは、leave no one behind「誰一人、取り残さない」ですが、私たちの精神は「一冊も取り残さない」です。そのような指標にしたいと考えています。
それから、Transparent「透明」です。サイテーションカウントは、あまりTransparent ではありません。データベースの中で、高度な計算がされているのでしょう。ある数値が出てきたときに、どうしてその数値になったのか、ジャーナルを出している人にも分かりません。データベースを持っている Elsevier の方は分かるのでしょうが、外から見ると Transparent ではありません。iMD はデータに関しても、あるデータベースの中に占有されているものではなくて、オープンなソースから計算ができる指標です。これも一つの特徴です。
もしもオープンソースであることを踏まえると、研究者はデータベースの中に取られてしまっているものを自分の手の中に取り戻せるのではないかと感じるところです。アウトソースをするメリットは、もちろんあります。それは何かといいますと、計算する手間が省けます。その時間を節約する意味でアウトソースをするのもいいかもしれませんが、アウトソースをしたものに振り回されるような感覚があるとしたら、もう一度、それを自分の手に取り戻し、自分自身の手で計算をしながら、「評価はどのようなものなのか」「どうあるべきなのか」「どうなっているのか」を自分で確認をしたり、研究者自身が考えていくことには、意味があるのではないでしょうか。

iMD の存在意義
最後の特徴として、Diversifies と書いてみました。サイテーションベースの指標が有効で、価値があることを私は否定しません。新しいものをもう一個、付け加えることによって違うものが見えてきて、多様化できます。例えば、子どもの力を見るときにテストの点だけで測ろうとすると、一面的な評価になります。その子どもが部活で頑張っているところや、友達に優しいなどのいろいろな面を見てあげると、子どもの評価は変わってきます。線よりは面、面よりは立体で見る評価ができるといいのではないかと感じて、それを図示してみました。これはインパクトファクターをリニア（線的）にプロットしたものです。
18

iMD ： 新たな学術誌評価指標の提案 池田 潤

オレンジが理系です。これだけ見ると、理系はすごいです。今度は、縦軸にiMD を取ると、このようになります。全く違う景色になります。例えば、４象限に分けてみますと、ここがハイインパクト・ハイダイバーシティで、ここがローインパクト・ローダイバーシティとなります。いろいろな形で分けてみることによって、今までにできなかったような分析ができるのではないでしょうか。このようにインビジブルはなくして、個々のジャーナルの特性を見ていける指標は、ある意味で人文社会のニーズに少なくとも一部は、応えているのではないでしょうか。
iMD で全てのニーズに応えられるとは、もちろん全く思っていません。いろいろあるニーズの中のほんの一部に対する貢献が、この新しい指標でできればいいと考えています。ここには人文社会系の研究者の方たちもいるでしょう
が、皆さんはどのように評価をされたいですか。インパクトファクターによる評価がよろしいですか。私だったら嫌です。従来型の評価でしょうか。実際にこのような評価をしてきたわけですが、これではもっといいジャーナルに投稿する力が湧いてこない感じがします。それに対し、iMD による評価は人文社会系研究の振興の一助となるのではないかと考えます。

おわりに最後にまとめです。大前提として、質は定量的指標では測れないと私は考えています。それは事実です。評価は多様であるべきなので、定量的評価だけがいいわけではありません。定性的評価や、今回は雑誌だけですが、著書も大事です。いろいろなものを見ていかなければいけません。多様な評価の一部として iMD にできることがあると考えています。そのような意味で、iMD は人文社会系分野のニーズに部分的に応え得る新たな指標であると、私は、そして筑波大学は信じていますと申し上げて、私からの話題提供を終わりにします。ありがとうございました。

19

20

iMD ： 新たな学術誌評価指標の提案 池田 潤

21

22

iMD ： 新たな学術誌評価指標の提案 池田 潤

23

24

iMD ： 新たな学術誌評価指標の提案 池田 潤

25

26

iMD ： 新たな学術誌評価指標の提案 池田 潤27

28