OECD生徒の学習到達度調査
72の国・地域が参加。うち、OECD加盟国・地域が35、非加盟国・地域が37だった。この年から全面的にコンピュータ使用型調査へと移行した。
クイーンズ大学ベルファストの数学者ヒュー・モリソンは、PISAの基礎となる統計モデルに根本的な数学的ミスがあり、これはPISAそのものを無価値とするほどのミスであると指摘する。モリソンは2004年にPISA批判を発表したが、OECDは無視し続けたという。モリソンは「学力を数字で要約できることはほとんど不可能だが、PISAは3つの指標だけで国の教育システム全体を把握できると主張しているが、常軌を逸脱している」と批判する。モリソンは、ラッシュモデルでは、完全に同じ状態で、同じ能力を持つ生徒全員が同じ質問に答えると想定しても、一部の生徒は常に正しく答え、一部の生徒は間違って答えると想定される。しかし、モリソンは、そのような環境では、生徒全員が同じ能力を持っているため、定義上、生徒全員が正しい答えを出すか、間違った答えを出すことになるはずだと指摘する。また、ラッシュモデルでは、生徒が答える質問とは無関係に能力を測定できるという不可能な想定をしていると指摘する。モリソンは「GCSE(General Certificate of Secondary Education、中等教育終了試験)で100点を取った生徒がいるとする。アインシュタインが同じ試験を受験したら、100点を取る可能性が高い。アインシュタインと生徒は同じ数学学力を持っていると仮定できるだろうか? アインシュタインと生徒を、基礎テストの結果に基づいて、同じ数学能力を持っていると判定することはできるだろうか?」と批判している。
オランダ政府教育評価機構(Centraal instituut voor toetsontwikkeling, Cito)は、アメリカの教育試験サービス(ETS)からアイデアを得て創立、1968年に政府組織となり、1976年から初等学校終了時の共通学力試験を提供する。1999年に民営化された。PISAではアイテム開発を担っている。ドイツ、アメリカ、トルコに支所を設置し、これまでにアゼルバイジャン、チェコ、ジョージア、ギリシャ、ハンガリー、マケドニア、マレーシア、モルドバ、ルーマニア、ロシア、スロベニア、南アフリカ、タンザニアに教育コンサルティング支援を行い、ユネスコの万人のための教育(Education for All、EFA)関連プロジェクトとして、資金は世界銀行から提供されている。
クライナーは、ラッシュモデルの特性からいってPISAによる調査は無意味であるが、PISAの問題はモデル適用の間違いだけでなく、それを批判したり質問に対して話し合いをする姿勢がないことがさらに根本的な問題であり、PISA主催者が批判的な教育学者との対話を避けるのは、自分を守ることができないからだろうという。
OECDの技術顧問レイ・アダムスは、クライナーの研究は、小グループの質問の分析にのみ基づいていると反論し、PISAスタッフは母数が大規模なデータであれば、変数が均等になると主張した。
しかし、アダムスに対してクライナーは再反論し、PISAスタッフが使用した同じグループで計算した結果、使用された質問のグループによって国の順位に大きなばらつきが見られたため、「ラッシュモデルはPISAに適していない。PISAランキングについて言えることは、それらが役に立たないということだけだ」「悪いモデルを使用する理由はない」と述べた。
OECD教育局長のマイケル・デヴィッドソンは、 「すべての質問がまったく同じように機能することを期待するのはばかげている。変数を最小化することで対処されるべきだ。」と反論した。
2011年、スヴェンドクライナーの批判に対して、OECD教育副局長A・シュライヒャーは、モデルは常に現実の近似であり、問題は、結果の歪みがないようにモデルが現実に適合しているかどうかであり、PISAは有効であると擁護した。ただし、シュライヒャーもPISAの誤差が大きいので、ランキングに過度に注意すべきではないと言っている。