OECD生徒の学習到達度調査
PISAでは、参加国65カ国の各国で約4,000人の児童が2時間のテストを受ける。しかし、各学校の少数の生徒だけが解答する。これは、PISAが学力測定するにあたって、一人の児童が解答できる上限(約4時間半のテスト)以上の問題を作成し、そしてそれを別々の試験問題に配分するためである。また、PISAはラッシュモデルという統計法を用いて生徒の能力を推定するが、生徒の回答から、その生徒が他の質問への回答する場合を拡張して推定する。
ケンブリッジ大学の統計学者デイヴィッド・シュピーゲルハルターは、PISAの測定法では、回答の難易度を事前に知っていることが前提とされ定数とされているが、実際にはかなりの不確実性があり、ある国・文化で育った子供たちにとって簡単な質問は、別の国・文化で育った子供たちにとっては難しいとということがあるように、難易度を全世界共通の普遍的尺度として仮定することは間違いであると指摘する。また、PISAの評点と順位の不確実性やランダムエラーは過小評価されており、教育政策はPISAに基づくべきではないという。また、PISA上位の韓国は、学校での幸福ランキングでは下位であり、英国では「学校は楽しいですか?」といった幸福度を確認する質問では良好であるように、学力と幸福度の関係も考慮検討されなければならないという。シュピーゲルハルターは、世界の学力調査は無価値なわけではないが、現在、それがあまりに課題視されていることが問題なのだと警告している。
イギリス学士院の統計学者ハーヴェイ・ゴールドステインによれば、バイアスの疑いのある質問を除外することは、国ごとの違いを平滑化する効果を持っており、これは深刻な影響を各国にもたらす恐れがあると警告する。「PISAの結果は世界標準として受け取られているが、しかしいざ点検を開始するとすぐにバラバラになってしまう程度の検査である」という。ゴールドスタインは、PISAが不適切に使用されており、その責任の一部はPISAにあり、なぜなら、PISAはテストの肯定面については過大に宣伝する一方で、その否定的な側面や弱点については公表しないからだと批判する。
また、PISA事業が国境を越えたグローバル教育政策市場を創出を後押し、市場開拓の道具となっているという批判もある。この結果、先進国から途上国に対して学力向上のノウハウを提供する見返り経済的便益を得る不公正な関係(ヘゲモニー)が成立していると指摘される。さらに、これらの市場が発展するにしたがって、成績の高い先進国がPISAによるブランド力を用いて、自国の教育モデルを海外に売る「教育の輸出」現象が生起していることも指摘されている。
オーストラリア、オランダ、ドイツの教育機関はPISA運営の中心的機関を担って、グローバル教育市場を先導している。ほかにもPearson社、アメリカの教育試験サービス(ETS)、ロンドン大学インスティチュート・オブ・エデュケーションも同様の政策コンサルティングを行っており、イエメン、ブルガリアで教育支援を行った。。
OECDはPISA for Developmentを通じてエクアドル、グアテマラ、セネガル、ザンビア、コロンビア、パラグアイに対しPISA導入支援を行っている。