ケンブリッジ大学の統計学者デイヴィッド・シュピーゲルハルターは、PISAの測定法では、回答の難易度を事前に知っていることが前提とされ定数とされているが、実際にはかなりの不確実性があり、ある国・文化で育った子供たちにとって簡単な質問は、別の国・文化で育った子供たちにとっては難しいとということがあるように、難易度を全世界共通の普遍的尺度として仮定することは間違いであると指摘する。また、PISAの評点と順位の不確実性やランダムエラーは過小評価されており、教育政策はPISAに基づくべきではないという。また、PISA上位の韓国は、学校での幸福ランキングでは下位であり、英国では「学校は楽しいですか?」といった幸福度を確認する質問では良好であるように、学力と幸福度の関係も考慮検討されなければならないという。シュピーゲルハルターは、世界の学力調査は無価値なわけではないが、現在、それがあまりに課題視されていることが問題なのだと警告している。イギリス学士院の統計学者ハーヴェイ・ゴールドステインによれば、バイアスの疑いのある質問を除外することは、国ごとの違いを平滑化する効果を持っており、これは深刻な影響を各国にもたらす恐れがあると警告する。「PISAの結果は世界標準として受け取られているが、しかしいざ点検を開始するとすぐにバラバラになってしまう程度の検査である」という。ゴールドスタインは、PISAが不適切に使用されており、その責任の一部はPISAにあり、なぜなら、PISAはテストの肯定面については過大に宣伝する一方で、その否定的な側面や弱点については公表しないからだと批判する。教育学者が指摘する問題点.PISA事業に対する教育現場や研究者からの批判は当初より根強い。これに対してシュライヒャーは、PISAが各国の政策を近視眼的にした証拠はないし、各国に政策オプションを提供していると反論した。数値化による標準化.になっていると分析し、PISAをその延長にみる。「PISA上位国」イメージと現実.ドイツや日本では、PISAの結果が、教育界や教育政策に危機感を煽る結果となり、教育政策で積極的に活用されていくという「PISAショック」が起きた。