オルトメトリクス
研究を評価するにあたって定量的指標を用いることに対しては批判や議論もあるものの、科学コミュニティの中ではこのような指標の需要が高いことは明らかである。すなわち、研究資金配分機関にとって定量的な比較が容易な数値指標は大変便利なものである。しかし、資金配分に直結しうるということはその仕組みを悪用する者を生み出すこともまた事実であり、自己言及や言及の売買をはじめ、各研究者が自信の業績を少しでもよく見せようとする様々なテクニックに影響されやすいとの批判がある。もっとも、これはいかなる指標にも言えることであり、固有の問題ではない。
オルトメトリクス固有の問題点としては、新しい論文であるほど社会におけるソーシャルメディアの利用者数も増えており、そのため新しい論文であるほど出版時に活発な言及が見られ、新しい論文であるほど高い評価をうけるというバイアスの存在がある。そのため、出版時期の異なる論文のスコアを比較するのは公平でない可能性が高い。
用いられる手法の内在的な特徴に起因する問題点もいくつか指摘されている。勘定しやすい学術雑誌による引用回数とは異なり、本指標の情報源となるデータは集めにくい場合もある。例えば、ある論文に言及しているツイートの数を数えようとした時、ツイートの収集方法次第で大変異なった値が得られる。
あるいは、さほど注目を集めていない論文であっても第1四分位(25パーセンタイル)にランクインする例が報告されており、これは計算に用いられる情報源の規模が現時点では不十分であるためではないかとされる。この問題に対しては、論文同士の相対的な影響度を正しく比較するために情報量の十分に多い知識ベースが必要となる。以下の表に各計算サービスが対象としている論文の件数を示す。