オルトメトリクスは非常に包括的な指標群であり、論文や研究が及ぼしうる影響を様々な切り口から捉えようとするものである。代表的なオルトメトリクス計測サービスのImpactStoryは、オルトメトリクスの計測に用いられる要素を以下のように分類している。PLOSもこれとよく似た分類を行っている。
採用状況.
研究者の昇進申請に用いられる他、ピッツバーグ大学などの複数の大学では機関レベルでその有効性の実証試験を行っている。
このほか、対象としては学術論文のみならず、個人・雑誌・書籍・データセット・プレゼンテーション・ビデオ・ソースコードリポジトリ・ウェブページなど、様々な応用の可能性が考えられるとされる。
解釈.
オルトメトリクスは、論文などが人々に及ぼした影響や、人々が示した興味・関心を示すものであり、人類全体が持つ科学的知識への貢献度・進展度への影響を示すものではないことに注意する必要がある。
問題点.
研究を評価するにあたって定量的指標を用いることに対しては批判や議論もあるものの、科学コミュニティの中ではこのような指標の需要が高いことは明らかである。すなわち、研究資金配分機関にとって定量的な比較が容易な数値指標は大変便利なものである。しかし、資金配分に直結しうるということはその仕組みを悪用する者を生み出すこともまた事実であり、自己言及や言及の売買をはじめ、各研究者が自信の業績を少しでもよく見せようとする様々なテクニックに影響されやすいとの批判がある。もっとも、これはいかなる指標にも言えることであり、固有の問題ではない。
オルトメトリクス固有の問題点としては、新しい論文であるほど社会におけるソーシャルメディアの利用者数も増えており、そのため新しい論文であるほど出版時に活発な言及が見られ、新しい論文であるほど高い評価をうけるというバイアスの存在がある。そのため、出版時期の異なる論文のスコアを比較するのは公平でない可能性が高い。
用いられる手法の内在的な特徴に起因する問題点もいくつか指摘されている。勘定しやすい学術雑誌による引用回数とは異なり、本指標の情報源となるデータは集めにくい場合もある。例えば、ある論文に言及しているツイートの数を数えようとした時、ツイートの収集方法次第で大変異なった値が得られる。
計量書誌学的観点.
鎌倉市立西鎌倉小学校
歴史.