(57)【要約】【課題】個々の論文の評価について、（１）被引用数によっては表現されない有用な評価が得られ、（２）その論文を引用した論文が投稿されるよりも前に評価が得られ、（３）自己引用や集団内の相互引用に影響されない評価が得られるような論文評価指標を作成すること。【解決手段】インターネットを介して利用される論文評価指標作成システムにより、論文が投稿された学会の会員及び論文を引用した者を含む属性毎の評価者の評価を得る。これらの評価を総合して論文評価指標とする。【選択図】図１
2011141772.tif 000002
【特許請求の範囲】
【請求項１】
インターネットを介して利用可能であり、
１又は２以上の学会の投稿論文を保有し、
予め登録された利用者がログインして利用するように設計され、
前記利用者についてその利用者が加盟している前記学会の情報を含む利用者データを保有し、
前記利用者に前記投稿論文を閲覧させる閲覧手段と、
前記利用者に論文の評価を定量的な値（評価値）として入力させる評価手段と、
前記閲覧手段を利用して論文を閲覧している前記利用者に閲覧している論文の評価を入力するように促し該利用者が応諾した場合に該利用者を評価者として前記評価手段によって前記論文の評価を入力させる個別評価手段と、
予め登録された評価協力者に論文の評価を入力するよう促し該評価担当者が応諾した場合に該評価協力者を評価者として前記評価手段によって前記論文の評価を入力させる誘導評価手段と、
評価者の属性に基づく区分（評価者区分）毎の前記評価値の平均値（区分評価指標）を計算する区分評価指標計算手段と、
前記区分評価指標を含む総合評価指標を作成する総合評価指標作成手段とを備え、
前記評価者区分は評価対象論文の引用者及び評価対象論文が投稿された学会の会員を表す区分を含む、
ことを特徴とする、論文評価指標作成システム。
【請求項２】
評価が行われた時期（利用者が前記評価手段を用いて論文の評価を入力した時期）を限定して前記総合評価指標と同様に計算された指標である内訳評価指標を作成する内訳評価指標作成手段を備えることを特徴とする、請求項１に記載の論文評価指標作成システム。
【請求項３】
前記評価者区分はさらに評価対象論文が投稿された学会とは異なる学会の会員を表す区分を含むことを特徴とする、請求項１または２に記載の論文評価指標作成システム。
【請求項４】
前記総合評価指標はさらに評価対象論文の被引用数を含むことを特徴とする、請求項１〜３のいずれか１項に記載の論文評価指標作成システム。
【請求項５】
前記利用者に前記学会の発行する論文をダウンロードさせるダウンロード手段を備え、
前記総合評価指標はさらに評価対象論文のダウンロード数を含むことを特徴とする、請求項１〜４のいずれか１項に記載の論文評価指標作成システム。
【請求項６】
論文の投稿者が年度毎の評価者の数（評価希望数）を入力する評価希望入力手段を備え、
年度毎に、前記評価希望数の評価が前記評価手段によって入力された後には前記評価手段を使用しないことを特徴とする、請求項１〜５のいずれか１項に記載の論文評価指標作成システム。
【請求項７】
前記評価値は評価対象論文についての５段階評価であることを特徴とする、請求項１〜６のいずれか１項に記載の論文評価指標作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットを介して学会に投稿された論文の評価を行なう論文評価指標作成システムに関するものである。
【背景技術】
【０００２】
技術知識を背景として要求される分野において、教官の採用や公的機関の委員の選任などに当たっては、候補の評価のためにその候補が公開した論文の評価を行なうことが多い。論文の評価が背景分野に関する候補の技術知識を表す指標となるためである。
論文の評価を厳密に行なおうとすればその論文を読んで価値を評価することとなる。例えば多くの候補者の中から最終選考に残す候補者を選定する場合のように評価する論文が多数の場合には、全候補者の全論文を厳密に評価することは現実的でない。そこで、候補者に論文の一覧を提出させた上で、各論文の評価については非特許文献１に示すインパクト・ファクタや、論文の被引用数を示すサイテーション・インデックスを用いて簡易に評価することが行なわれてきた。
【０００３】
しかしながら、上記の簡易な評価には、以下の問題があった。（１）インパクト・ファクタは、その論文誌等に掲載された論文の被引用数の平均値であり、個々の論文の評価ではなく論文誌等の評価である。すなわち、各論文が掲載された論文誌や雑誌のレベルによって各論文を評価することとなっている。しかし、同じ論文誌または雑誌に掲載された論文の中での論文の良し悪しはまちまちであることも多く、インパクト・ファクタによって個々の論文の質を評価することはできない。（２）サイテーション・インデックスは、個々の論文の被引用数に基づく評価であり、上記の問題はない。しかし、被引用数は、自己引用あるいは集団内の相互引用によって歪められる可能性がある。（３）インパクト・ファクタもサイテーション・インデックスも被引用数に基づく評価である。被引用数は、論文を読んだ者がその論文を引用した別の論文を投稿し、それが採用され出版されて初めてカウントされる。したがって、最近に出版された論文は、それが価値あるものであっても被引用数がまだ少ないことも多く、被引用数によって評価することは必ずしも適切ではない。（４）被引用数によって論文の価値が正しく示されるとは限らない。以下の問題がある。（ａ）被引用数としてカウントされる引用には、引用される論文の価値を認めた引用のみならず、引用される論文の問題点を指摘した上でその問題点を解決した場合なども含まれる。（ｂ）他の学会のメンバ等に広く読まれる等、引用されなくとも高い評価を受けている場合がある。
【０００４】
特許文献１には、論文の年度毎の被引用数に基づく演算の結果として研究プロジェクトの活性度を評価する方法が開示されている。この方法を研究プロジェクトの論文全体でなく個々の論文に適用することで、その論文の学界における価値を年度毎に推測することができ、上記（１）の問題が解決可能である。しかし、上記（２）、（３）及び（４）の問題は解決されない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−０５８６７１号公報
【非特許文献】
【０００６】
【非特許文献１】「Ｉｎｔｒｏｄｕｃｉｎｇ  ｔｈｅ  Ｉｍｐａｃｔ  Ｆａｃｔｏｒ」  ｈｔｔｐ：／／ｔｈｏｍｓｏｎｒｅｕｔｅｒｓ．ｃｏｍ／ｐｒｏｄｕｃｔｓ＿ｓｅｒｖｉｃｅｓ／ｓｃｉｅｎｃｅ／ａｃａｄｅｍｉ／ｉｍｐａｃｔ＿ｆａｃｔｏｒ／
【発明の概要】
【発明が解決しようとする課題】
【０００７】
個々の論文の評価について、（１）被引用数によっては表現されない有用な評価が得られ、（２）その論文を引用した論文が投稿されるよりも前に評価が得られ、（３）自己引用や集団内の相互引用に影響されない評価が得られるような論文評価指標を作成することが課題である。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を、インターネットを介して利用される論文評価指標作成システムによって解決する。
【０００９】
請求項１に係る本発明の論文評価指標作成システムは、
インターネットを介して利用可能であり、
１又は２以上の学会の投稿論文を保有し、
予め登録された利用者がログインして利用するように設計され、
前記利用者についてその利用者が加盟している前記学会の情報を含む利用者データを保有し、
前記利用者に前記投稿論文を閲覧させる閲覧手段と、
前記利用者に論文の評価を定量的な値（評価値）として入力させる評価手段と、
前記閲覧手段を利用して論文を閲覧している前記利用者に閲覧している論文の評価を入力するように促し該利用者が応諾した場合に該利用者を評価者として前記評価手段によって前記論文の評価を入力させる個別評価手段と、
予め登録された評価協力者に論文の評価を入力するよう促し該評価担当者が応諾した場合に該評価協力者を評価者として前記評価手段によって前記論文の評価を入力させる誘導評価手段と、
評価者の属性に基づく区分（評価者区分）毎の前記評価値の平均値（区分評価指標）を計算する区分評価指標計算手段と、
前記区分評価指標を含む総合評価指標を出力する総合評価指標出力手段、
とを備え、
前記評価者区分は評価対象論文の引用者及び評価対象論文が投稿された学会の会員を表す区分を含む、
ことを特徴とする。
インターネットを介して利用可能なので、多くの学会員が容易に利用できる。閲覧機能によって論文を閲覧できるので、論文誌がなくても閲覧できて便利であり、学会にも会員にもメリットがある。
評価手段により、論文誌の単位でなく個々の論文についての評価を得ることができる。論文が投稿された直後から評価を得ることができるので、その論文を引用した論文が投稿されるよりも前に評価を得ることができる。また、評価は被引用数とは異なり、自己引用や集団内の相互引用に影響されない。
評価協力者による評価値に加えて論文を閲覧した者による評価値を得ることができ、幅広い評価者による評価が得られる。
保有している利用者データによって利用者が評価対象論文の引用者であることや評価対象論文が投稿された学会の会員であることが判るので、夫夫の利用者による評価に対して評価者区分を求めることができる。評価者区分毎の評価は被引用文献数によっては表現されない情報となり、有用である。例えば、評価対象論文の引用者による評価が高い場合には評価対象論文が学術の進歩に大きく貢献していると推測される。
【００１０】
請求項２に係る本発明の論文評価指標作成システムは、
評価が行われた時期（利用者が前記評価手段を用いて論文の評価を入力した時期）を限定して前記総合評価指標と同様に計算された指標である内訳評価指標を出力する内訳評価指標出力手段を備えることを特徴とする。
論文の評価は時期により変動し得る。例えば基礎研究に関する論文の評価が、その研究を利用した応用研究の発展によって高まることが考えられる。このような時期による変動をも把握することができる。
【００１１】
請求項３に係る本発明の論文評価指標作成システムは、
前記評価者区分はさらに評価対象論文が投稿された学会とは異なる学会の会員を表す区分を含むことを特徴とする。
評価対象論文の技術分野に属する者と考えられる評価対象論文の引用者及び評価対象論文が投稿された学会の会員に加えて、必ずしも評価対象論文の技術分野に属するとは限らない異なる学会の会員による評価値を得ることができる。評価対象論文の技術的な拡張性、汎用性等を推し量ることができる。
【００１２】
請求項４に係る本発明の論文評価指標作成システムは、
前記総合評価指標はさらに評価対象論文の被引用数を含むことを特徴とする。
被引用数は、インパクト・ファクタやサイテーション・インデックスに用いられている従来から知られた評価指標である。被引用数の情報を得たい場合もある。また、被引用数と他の評価指標とを比較することで評価対象論文の特性を知ることができる場合もあり得る。
【００１３】
請求項５に係る本発明の論文評価指標作成システムは、
前記利用者に前記学会の発行する論文をダウンロードさせるダウンロード手段を備え、
前記総合評価指標はさらに評価対象論文のダウンロード数を含むことを特徴とする。
利用者は、閲覧した論文を手元に保持したくなることがある。ダウンロード手段によってかかる要望を満たすことができる。ダウンロードした利用者は閲覧した論文に何らかの価値を認めたものと考えられ、ダウンロード数は論文の価値を表す指標となる。
【００１４】
請求項６に係る本発明の論文評価指標作成システムは、
論文の投稿者が年度毎の評価者の数（評価希望数）を入力する評価希望入力手段を備え、
年度毎に、前記評価希望数の評価が前記評価手段によって入力された後には前記評価手段を使用しないことを特徴とする。
評価の人数及び年数に関する論文の投稿者の希望に沿い、過剰な評価を行なうことによるコストを抑制する。
【００１５】
請求項７に係る本発明の論文評価指標作成システムは、
前記評価値は評価対象論文についての５段階評価であることを特徴とする。
詳細項目を持たない評価対象論文についての５段階評価であれば容易に行なうことができる。評価者の負担が小さく、多くの評価を得ることができる。
【発明の効果】
【００１６】
インターネットを介して利用される論文評価指標作成システムによってさまざまな評価者区分の評価者の評価を容易に得ることができ、個々の論文の評価について、（１）被引用数によっては表現されない有用な評価が得られ、（２）その論文を引用した論文が投稿されるよりも前に評価が得られ、（３）自己引用や集団内の相互引用に影響されない評価が得られるような論文評価指標が作成される効果がある。
【００１７】
本発明の論文評価指標作成システムは、会員数の少ない小さな学会も利用することができ、学会の周知度向上、投稿数増加、会員数増加につなげるという効果を得ることができる。また、２以上の学会が共同利用する場合には、異なる学会の会員が相互に評価者となることで相乗効果を得て、上記に加えて学術の進展を加速する効果も期待される。例えば、我が国の医学系の学会には会員数が１，０００人未満の小さな学会が多いと考えられるが、かかる学会による共同利用が有効である。
【図面の簡単な説明】
【００１８】
【図１】図１は、論文評価指標作成システムの構成の例を示す図である。
【図２】図２は、利用者データの例を示す図である。
【図３】図３は、ログインの直後に示される画面の例を示す図である。
【図４】図４は、投稿に関連する処理の流れの例を示す図である。
【図５】図５は、論文を投稿するための画面の例を示す図である。
【図６】図６は、論文データの例を示す図である。
【図７】図７は、評価希望入力手段によって表示される画面の例を示す図である。
【図８】図８は、評価数データの例を示す図である。
【図９】図９は、閲覧に関連する処理の流れの例を示す図である。
【図１０】図１０は、論文を閲覧させる画面の例を示す図である。
【図１１】図１１は、ダウンロードデータの例を示す図である。
【図１２】図１２は、評価処理の流れの例を示す図である。
【図１３】図１３は、評価の入力を受け付ける画面の例を示す図である。
【図１４】図１４は、評価結果データの例を示す図である。
【図１５】図１５は、誘導評価手段の処理の流れの例を示す図である。
【図１６】図１６は、評価対象論文の一覧が表示された画面の例を示す図である。
【図１７】図１７は、引用データ更新処理の流れの例を示す図である。
【図１８】図１８は、引用データの例を示す図である。
【図１９】図１９は、評価指標作成に関連する処理の流れの例を示す図である。
【図２０】図２０は、評価指標データの例を示す図である。
【図２１】図２１は、評価指標の表示の例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施例を説明する。
【実施例１】
【００２０】
図１は、論文評価指標作成システムの構成の例を示す図である。論文評価指標作成システム１は、利用者データ２、論文データ３、評価数データ４、評価結果データ５、ダウンロードデータ６、引用データ７及び評価指標データ８を保有し、以下の手段により必要に応じて更新する。論文評価指標作成システム１は、投稿手段９、評価希望入力手段１０、閲覧手段１１、ダウンロード手段１２、引用データ更新手段１３、評価手段１４、個別評価手段１５、誘導評価手段１６、区分評価計算手段１７、総合評価指標作成手段１８及び内訳指定手段１９を備えている。区分評価計算手段１７、総合評価指標作成手段１８及び内訳指定手段１９の３手段を組み合わせて内訳評価指標作成手段２０が構成される。上記の各手段は、必要に応じて上記の各データを参照、作成又は更新する。
【００２１】
（データについての一般的な説明）
各データの概要は以下のとおりである。
利用者データ２は、論文評価指標作成システムの利用者のそれぞれについて、ユーザＩＤ、パスワード、加入学会、投稿した論文等のシステム利用及び学会活動に関するデータである。
論文データ３は、論文のコンテンツのデータに加えて、投稿された学会、著者等、論文に関するデータである。
利用者データ２及び論文データ３は、論文評価指標作成システムの作用に必須の基礎データであり、多くの手段によって参照、作成又は更新される。
評価数データ４は、各論文について著者以外のメンバによる評価の必要性を表すデータである。
評価結果データ５は、論文についての著者以外のメンバによる評価結果を表すデータである。
ダウンロードデータ６は、論文についての著者以外のメンバによるダウンロードの記録を表すデータである。
引用データ７は、論文についての著者以外のメンバにより引用された記録を表すデータである。
評価指標データ８は、論文評価指標作成システムにより求められた評価指標を表すデータである。このデータは本願発明によって実現されるものである。
【００２２】
（手段についての一般的な説明）
各手段の概要は以下のとおりである。
投稿手段９は、利用者が論文を投稿することを可能にする手段である。利用者は、自らの論文を論文データ３に追加することができる。
評価希望入力手段１０は、投稿手段９を利用して論文を投稿した利用者が自らの論文について求める評価の件数（評価希望数）を入力する手段である。論文投稿から１年、２年及びその後各年度の評価希望数を入力することができる。また、評価希望数は、後述する「評価者区分」毎に入力することができる。
閲覧手段１１は、利用者が、投稿された論文を閲覧することを可能にする手段である。
ダウンロード手段１２は、利用者が、投稿された論文をダウンロードすることを可能にする手段である。
引用データ更新手段１３は、投稿された論文について、その論文を引用した論文の数（被引用数）を表すデータである。論文評価指標作成システムに投稿された論文による引用については引用データ更新手段１３が抽出可能である。論文評価指標作成システムに投稿された論文以外の論文による引用について処理するためには、そのデータを引用データ更新手段１３に入力する必要がある。
評価手段１４は、論文評価指標作成システムの利用者が他人の論文の評価を入力する手段である。評価手段１４は、入力された評価の定量的な値（評価値）を評価結果データ５に保存する。
個別評価手段１５は、閲覧手段１１により論文を閲覧した者その他論文の内容を知る者を評価手段１４に誘導する手段である。
誘導評価手段１６は、予め登録された評価協力者に論文の評価を入力するよう促し、評価手段１４に誘導する手段である。
区分評価計算手段１７は、評価結果データ５に基づき、後述する評価者区分毎の評価値の平均値（区分評価指標）を計算する手段である。
総合評価指標作成手段１８は、区分評価指標を含む総合評価指標を作成する手段である。ここで、総合評価指標は、区分評価指標そのものであってもよく、また、区分評価指標に被引用数、ダウンロード数等の他の評価指標を付加したものであってもよい。
内訳指定手段１９は、区分評価計算手段１７及び総合評価指標作成手段１８に向けて、評価が行なわれた時期等が指定された時期のデータのみを対象として計算するように指定する手段である。
内訳評価指標作成手段２０は、内訳指定手段１９によって指定された時期のデータのみを対象として総合評価指標を作成する手段である。本実施例においては、内訳評価指標作成手段２０は、区分評価計算手段１７、総合評価指標作成手段１８及び内訳指定手段１９の３手段を組み合わせて構成される。他の構成で同等の手段を実現することも可能である。
以下に、各手段における処理の例を詳細に説明する。ここで、同等の結果を得ることのできる処理は多数存在し、以下に説明する処理は得るべき結果を示すための例である。
【００２３】
（インターネットからのログイン）
論文評価指標作成システムはインターネットのホームページ若しくはＡＳＰ又はＳａａＳ型のサービスとして動作する。図２は、利用者データの例を示す図である。論文評価指標作成システムの利用者は、インターネットを介して図示しないログイン画面にアクセスし、ユーザＩＤ及びパスワードを入力して利用を開始する。
論文評価指標作成システムは、ユーザＩＤによって利用者を特定し、その利用者についての加入学会、投稿した論文等についての情報がログイン以降の処理に利用される。
図３は、ログインの直後に示される画面の例を示す図である。利用者に認められる機能としての、投稿、閲覧、ダウンロード及び評価閲覧を行なうためのボタンが表示されている。評価依頼ボタン２１は、誘導評価手段１６がログインした利用者に評価を依頼すると判断した場合にのみ表示される評価誘導表示である。評価誘導表示を目立たせるために、固有のアイコンとして表示してもよく、また、ブリンク等の強調表示を行なってもよい。
【００２４】
（投稿に関連する処理）
図４は、投稿に関連する処理の流れの例を示す図である。ログインの直後に示される画面において「投稿」のボタンをクリックすることにより、この流れが実行される。
投稿手段９は、論文の投稿を受け付けて、その論文に関する論文データを作成・追加し、投稿した利用者及び論文の共著者に係る利用者データを更新する。図５は、論文を投稿するための画面の例を示す図である。利用者は、論文のコンテンツを入力すると共に、書誌的事項として論文のタイトル、投稿先学会、テーマ及び著者を入力する。投稿先学会及びテーマについては、システムが保有しているデータから選択する。図６は、論文データの例を示す図である。システムの処理に用いる整理番号、論文を投稿するための画面において入力された情報並びにダウンロードした会員及び評価した会員についての情報を保持する。論文が投稿された時には、ダウンロードした会員及び評価した会員についての情報は空である。
評価希望入力手段１０は、論文を投稿した利用者に、希望する評価者の数を入力させ、入力されたデータに基づいて評価数データを作成・追加する。図７は、評価希望入力手段によって表示される画面の例を示す図である。年度毎、評価者区分毎に希望する評価者の数を入力することができる。図８は、評価数データの例を示す図である。年度毎に１つの評価数データが作成される。例えば３年度分についての希望する評価者の数が入力された場合には、３件の評価数データが作成される。引用者評価必要数等の評価必要数についての値は、論文が投稿された時には評価希望入力手段によって入力された数であり、評価が行なわれる度に１ずつ減じられる。この値が０になると、それ以上の評価は不要である。
【００２５】
（閲覧に関連する処理）
図９は、閲覧に関連する処理の流れの例を示す図である。ログインの直後に示される画面において「閲覧」のボタンをクリックすることにより、この流れが実行される。
閲覧手段１１は、図示しない画面において、利用者による投稿学会、テーマ、著者等の検索条件の入力を受け付けて論文データを検索し、検索条件に合う論文の一覧を表示し、利用者に閲覧する論文を指定させる。なお、この検索に当たり、投稿された論文全てを検索対象とせずに論文査読者（レフリー）によって閲覧が許可された論文のみを検索対象としてもよい。これは、多くの学会の論文誌においてレフリーによる査読を通過した論文のみが論文誌に掲載されることに相当する。この場合、論文データにレフリーのＯＫの有無に関するフラグを設ければよい。閲覧手段１１は、指定された論文を表示して閲覧させる。図１０は、論文を閲覧させる画面の例を示す図である。表示されている論文の内容について、右側のスライドバーを用いて上下にスクロールし、全体を閲覧することができる。ダウンロードボタン２２をクリックすることにより、ダウンロード手段１２を呼び出して閲覧中の論文をダウンロードすることができる。また、評価依頼ボタン２３は、閲覧終了ボタン２４がクリックされた後に、個別評価手段１６がログインした利用者に評価を依頼すると判断した場合にのみ表示される。固有のアイコンとして表示してもよく、ブリンク等の強調表示を行なってもよい。
ダウンロードボタン２２がクリックされると、ダウンロード手段１２が起動される。ダウンロード手段１２は、論文のコンテンツをダウンロードさせ、ダウンロードデータを作成し、利用者データのダウンロードした論文の情報及び論文データのダウンロードした会員の情報を更新する。図１１は、ダウンロードデータの例を示す図である。どの会員がどの論文をダウンロードしたかを表す情報と共に、ダウンロードされた日付の情報が保持される。
閲覧終了ボタン２４がクリックされると、個別評価手段１５が起動される。個別評価手段１５は、個別評価が必要か否かの判断を行い、必要な場合には評価依頼ボタン２３を表示し、評価依頼ボタン２３がクリックされると評価手段１４を起動する。ここで、個別評価が必要か否かの判断は、以下のとおりに行なわれる。閲覧している利用者が閲覧されている論文の著者である場合には個別評価が必要でないと判断する。閲覧している利用者が閲覧されている論文の著者でない場合には、評価者区分の各区分に優先順位をつけ、優先順位の高い順に、閲覧している利用者が閲覧されている論文についてその評価者区分に該当しかつその評価者区分の評価必要数が１以上であるか否かを、利用者データ及び評価数データに基づいて判定する。この判定に適合すれば、その評価者区分で個別評価が必要であると判断する。判定に適合しない場合には、次の優先順位の評価者区分についての判定を行う。すべての評価者区分についての判定に適合しない場合には個別評価が必要でないと判断する。この結果、２以上の判定に適合する利用者については、そのうちの最も優先順位の高い評価者区分として処理される。本実施例において、評価者区分は、優先順位の高い順に、引用者、ダウンロード者、自学会員及び他学会員である。
【００２６】
（ダウンロードに関連する処理）
ログインの直後に示される画面において「ダウンロード」のボタンがクリックされた場合には、上記の閲覧に関連する処理と同様の処理により利用者に論文のダウンロードを行なわせる。この場合、個別評価手段は起動しないこともできる。閲覧せずにダウンロードした利用者は、閲覧をしていないため、評価を行い得るまでには論文を読んでいないことも考えられるためである。
【００２７】
（評価処理）
図１２は、評価処理の流れの例を示す図である。個別評価手段１５又は後述する誘導評価手段１６により評価が必要とされ、利用者が応諾した場合に、この流れが実行される。
評価手段１４は、まず、評価者区分を求める。評価者区分は、上述の個別評価手段と同様の処理を行い最初に適合した区分として求めることができる。また、個別評価手段又は誘導評価手段から評価者区分の値を受け取ることもできる。その後、評価手段１４は、利用者による評価の入力を受け付ける。図１３は、評価の入力を受け付ける画面の例を示す図である。評価に当たって参照するために、論文が表示されている。本実施例において、評価点は、論文全体についての５段階評価である。この点は、３段階にする、２以上の評価の観点（例えば技術進歩性及び論文の読み易さ）を設けて観点毎の評価とする等の変形が可能である。評価コメントを著者に送付することもできる。図１４は、評価結果データの例を示す図である。論文、評価者、評価者区分を表す情報に加えて、評価の行なわれた年月日の情報が保存される。
【００２８】
（誘導評価処理）
図１５は、誘導評価手段の処理の流れの例を示す図である。論文評価指標作成システムは、ログインした利用者が評価協力者であるか否かを利用者データによって判断し、評価協力者である場合には誘導評価手段を起動する。その結果、この流れが実行される。
誘導評価手段１６は、利用者データから、ログインした評価協力者の評価対象を抽出し、その評価対象の要件に合致し、ログインした評価協力者が過去に評価した論文ではなく、ログインした評価協力者が著者ではなく、かつ、評価数データに基づいて評価を必要とするような論文（評価対象論文）を、論文データを検索して抽出する。なお、閲覧処理と同様にレフリーのＯＫを得た論文のみを検索対象としてもよい。１以上の評価対象論文が検索された場合には、評価依頼ボタン２１を表示する。評価協力者が評価依頼２１をクリックして評価を応諾した場合には、評価対象論文の一覧を表示する。図１６は、評価対象論文の一覧が表示された画面の例を示す図である。評価協力者は、表示された論文のうちの１つをクリックして評価する論文を選択して評価を実行することを、評価対象論文がなくなるか又は評価終了ボタン２４をクリックするまで繰り返す。それぞれの論文の評価処理については、個別評価処理から評価処理を行う場合と同様である。
【００２９】
（引用データ更新処理）
図１７は、引用データ更新処理の流れの例を示す図である。引用データ更新手段は論文評価指標作成システムの管理者が操作する手段であり、ログインした利用者の操作と関係なく、管理者の指示によって実行される。
引用データ更新手段１３は、論文データ内の論文が論文データ内の他の論文を引用している場合を抽出する。論文を引用する際には被引用論文のタイトル、著者、投稿先学会または論文誌の名称が記載されるので、かかる抽出は文字列の検索等により実現される。引用データ更新手段１３は、引用データ７を作成し、引用論文及び被引用論文の著者に係る利用者データを更新する。図１８は、引用データの例を示す図である。引用論文及び被引用論文の整理番号に加えて、引用論文の発行年月日の情報が保持されている。
論文データ内の論文が論文評価指標作成システムの管理外の論文によって引用される場合については、上記の処理では対応できない。そこで、引用データ更新手段１３は、システム外の引用データをファイル等の形式で入力して、引用データ７を作成する。この場合、引用データ７の引用論文の整理番号の情報は論文評価指標作成システムの管理外の論文であることを示す値とする。
なお、引用論文の著者のうちの一人が被引用論文の著者のうちの一人と同一である場合（いわゆる自己引用の場合）にはその引用に係る引用データを作成しないこととしてもよい。
【００３０】
（評価指標作成に関連する処理）
図１９は、評価指標作成に関連する処理の流れの例を示す図である。ここで、評価指標作成に関する処理は、区分評価指標計算手段１７、総合評価指標作成手段１８、内訳指定手段１９及び内訳評価指標作成手段２０によるものである。これらの手段は、ログインの直後に示される画面において「評価閲覧」のボタンがクリックされた場合に起動することも、論文評価指標作成システムの管理者の指示によって起動することもできる。本実施例では、論文評価指標作成システムの管理者の指示によって起動する。
【００３１】
（総合評価指標作成処理）
評価指標を作成するために、まず、評価指標を作成すべき論文（評価対象論文）を決定する。
区分評価指標計算手段１７は、評価結果データ５から、評価対象論文についての評価を抽出し、評価者区分毎に評価値の平均値を計算する。
総合評価指標作成手段１８は、ダウンロードデータ６から評価対象論文のダウンロード数を求め、引用データ７から評価対象論文の被引用数を求め、これらを評価者区分毎の評価値の平均値と合わせて、評価指標データ８を作成する。図２０は、評価指標データの例を示す図である。
【００３２】
（内訳評価指標作成処理）
内訳指定手段１９は、評価が行なわれた時期を指定する。
区分評価指標計算手段１７及び総合評価指標作成手段１８は、評価結果データ５、ダウンロードデータ６又は引用データ７を参照する際に、評価年月日、ダウンロード年月日又は引用論文の発行年月日が指定された時期にあるもののみを対象にする。
かかる処理によって指定された時期に係る評価指標が得られる。この処理は全体として内訳評価指標作成手段２０を構成する。
【００３３】
（評価閲覧に関連する処理）
ログインの直後に示される画面において「評価閲覧」のボタンがクリックされた場合には、論文評価指標作成システムは、図示しない画面において評価指標を閲覧すべき論文についての入力を求め、ログインした利用者がその評価指標の閲覧を許可されているか否かを判断し、許可されている場合には、評価指標データ８を画面に表示する。図２１は、評価指標の表示の例を示す図である。このように、総合評価指標と内訳評価指標とを表形式に表示すると評価が把握しやすい。図２１によれば、この論文の評価が上昇していることがわかる。
なお、評価指標は広く一般に公開することが必ずしも望ましいものではなく、評価指標の閲覧を許可されている者は、論文の著者及び閲覧すべき正当な理由を有する者に限定することができる。
【００３４】
（本実施例の効果）
本実施例のインターネットを介して利用される論文評価指標作成システムは、さまざまな評価者区分の評価者の評価を容易に得ることができ、個々の論文の評価について、（１）被引用数によっては表現されない有用な評価が得られ、（２）その論文を引用した論文が投稿されるよりも前に評価が得られ、（３）自己引用や集団内の相互引用に影響されない評価が得られる。
【産業上の利用可能性】
【００３５】
被引用数によっては表現されない評価を容易に得ることができる論文評価指標作成システムであり、広い分野の学会による利用が期待される。
【符号の説明】
【００３６】
１    論文評価指標作成システム
２    利用者データ
３    論文データ
４    評価数データ
５    評価結果データ
６    ダウンロードデータ
７    引用データ
８    評価指標データ
９    投稿手段
１０  評価希望入力手段
１１  閲覧手段
１２  ダウンロード手段
１３  引用データ更新手段
１４  評価手段
１５  個別評価手段
１６  誘導評価手段
１７  区分評価計算手段
１８  総合評価指標作成手段
１９  内訳指定手段
２０  内訳評価指標作成手段
２１  評価依頼ボタン
２２  ダウンロードボタン
２３  評価依頼ボタン
【図１】
2011141772.tif 000003
【図２】
2011141772.tif 000004
【図３】
2011141772.tif 000005
【図４】
2011141772.tif 000006
【図５】
2011141772.tif 000007
【図６】
2011141772.tif 000008
【図７】
2011141772.tif 000009
【図８】
2011141772.tif 000010
【図９】
2011141772.tif 000011
【図１０】
2011141772.tif 000012
【図１１】
2011141772.tif 000013
【図１２】
2011141772.tif 000014
【図１３】
2011141772.tif 000015
【図１４】
2011141772.tif 000016
【図１５】
2011141772.tif 000017
【図１６】
2011141772.tif 000018
【図１７】
2011141772.tif 000019
【図１８】
2011141772.tif 000020
【図１９】
2011141772.tif 000021
【図２０】
2011141772.tif 000022
【図２１】
2011141772.tif 000023