OECD生徒の学習到達度調査

OECD生徒の学習到達度調査とは、経済協力開発機構による国際的な生徒の学習到達度調査のこと。日本では「国際学習到達度調査」とも言われるが、英語の原文は『国際生徒評価のためのプログラム』である。

この項では概要、調査方法ならびにその直接的結果についてのみ述べる。文部科学省による詳細な結果や、PISA自体については外部リンクを、結果の評価、解釈、影響等については関連項目を参照されたい。

1. 概要
-----

OECD加盟国の多くで義務教育の終了段階にある15歳の生徒を対象に、読解力、数学知識、科学知識、問題解決を調査するもの。国際比較により教育方法を改善し標準化する観点から、生徒の成績を研究することを目的としている。調査プログラムの開発が1997年に始まり、第1回調査は2000年、以後3年毎に調査することになっている。2000年の第1回調査、2003年の第2回調査、2006年の第3回調査の結果については、国際報告書をもとに日本国内向けに翻訳した形で国立教育政策研究所が編纂し、ぎょうせいから出版されている。

調査は、毎回メインテーマが存在し、読解力、数学的知識、科学的知識の順番でメインテーマが移っていく。そのため、2000年は読解力、2003年は数学的リテラシー、2006年は科学的リテラシー、2009年は読解力、2012年は数学的リテラシーをメインテーマとして扱っており、2015年は科学的リテラシーをメインテーマで扱う予定である。

調査データファイルがすべて公開されており、OECD PISA公式ウェブサイトより入手可能である。

2. 調査方法
-------

調査開始時において、15歳3カ月から16歳2カ月の生徒がテストされる。学年は考慮されない。自宅学習者は除き学校教育に参加している者のみが対象。しかし2006年には、いくつかの国で学年を基準にしたサンプルが用いられた。

生徒達は各2時間の自記式試験を行う。試験の一部は複数選択肢式の問で、一部は全記述式である。全部で6時間半の試験があるが、生徒達はすべての問を答えるわけではなく一部である。また生徒は、学習習慣や、学習動機、家族など彼らの属性に関する問にも答える。また学校の管理者は、学校の基本属性の特徴や財政基盤等に関する問に記入する。

テスト問題のサンプルはOECDのサイトから入手可能である。例えば、サンプルテストの読解力の第2問"Flu"の第2.2問では、文章を読ませて文章がフレンドリーか否かを尋ねる形式の問題となっているが、どちらで答えても理由付けが良ければ正解となる。さらに、「さし絵がマンガのようでかわいい」という理由でフレンドリーという答えも模範解答の一つとなっており、「さし絵」という文章外のものも理由になる。逆に「さし絵の注射器が怖い」という理由でフレンドリーではないという答えも模範解答の一つとなっている。

3. 結果
-----

各年度の結果を分析するには通常1年ほどの時間が必要である。第1回の結果は2001年と2003年、そして各テーマごとの分析結果も出されている。第2回の結果は2004年の2巻が出ている。以下の点数はすべて、全参加国の平均点が500点となるように計算した点数である。

3.1. 2000年調査
------------

OECD加盟国28か国を含む32か国、約26万5000人の生徒が参加。各分野の上位は以下である。



1999年には予備調査が実施された。
2002年には、同一内容で、OECDに加盟していないものの調査に協賛する国々11か国で実施されている。

3.2. 2003年調査
------------

OECD加盟国30か国を含む41の国と地域、27万5000人の生徒が参加。各分野の上位は以下である。



2002年には予備調査が実施された。
イギリスが調査に充分な数の生徒を集めることが出来なかったため、テストは実施されたものの、統計処理による国際比較の中には含まれていない。
問題解決能力が初めて出題された。

3.3. 2006年調査
------------

56の国と地域が参加。各分野の上位は以下である。



3.4. 2009年調査
------------

65の国と地域が参加。各分野の上位は以下である。また、65の国と地域のうちの19の国と地域でデジタル読解力も実施された。



3.5. 2012年調査
------------

65の国と地域が参加。各分野の上位は以下である。また、そのうち32の国と地域がコンピューター使用型調査も行った。



3.6. 2015年調査
------------

72の国・地域が参加。うち、OECD加盟国・地域が35、非加盟国・地域が37だった。この年から全面的にコンピュータ使用型調査へと移行した。



3.7. 2018年調査
------------

2018 年に 79 か国・地域，約 60 万人の生徒を 対象に調査を実施。PISA2018の読解力において、504点であるが、信頼区間は499～509点、有意差のない順位は11位～20位。数学リテラシー522〜532点で5位〜8位。科学リテラシー524〜534点で4位〜5位 。 日本の読解力は各分野、上位以下である。



4. 統計学者が指摘する問題点
---------------

4.1. ラッシュモデルの問題
---------------

PISAでは、参加国65カ国の各国で約4,000人の児童が2時間のテストを受ける。しかし、各学校の少数の生徒だけが解答する。これは、PISAが学力測定するにあたって、一人の児童が解答できる上限以上の問題を作成し、そしてそれを別々の試験問題に配分するためである。また、PISAはラッシュモデルという統計法を用いて生徒の能力を推定するが、生徒の回答から、その生徒が他の質問への回答する場合を拡張して推定する。

4.1.1. スヴェンド・クライナー
------------------

コペンハーゲン大学の統計学者スヴェンド・クライナーは、ラッシュモデルを作ったデンマークの数学者ゲオルク・ラッシュの門下生であり、40年間ラッシュに協力しており、ラッシュモデルの利点と欠点については正確に理解していた。だからこそPISAの問題点を批判しているという。クライナーによれば、ラッシュモデルを有効に使用するには、質問がすべての参加国でまったく同じように機能する必要があり、質問が国によって難易度が異なる場合、つまり技術的に機能の違いがある場合は、ラッシュモデルを使うべきではないという。クライナーは、とりわけPISAの読解力テストはまったく信頼できず、デンマークの子供にとってのデンマーク語と、中国の子供にとっての中国語の難易度が同一であるという想定には矛盾があり、言語の違いと文化の違いの両方が難易度に影響を与えるだめ、PISAでは違う国でまったく同じように機能する質問はなかったと言う。クライナーの2010年のラッシュモデルによるPISAデータ分析では、質問によって国のランキングが大きく異なり、異なる国でまったく同じように機能する項目は発見できず、ラッシュモデルを適切に機能させるには変数が大きすぎることが分かった。したがって、OECDの説明は不適切で、PISAはまったく信頼できないことがあらためてわかった。クライナーは、ラッシュモデルの特性からいってPISAによる調査は無意味であるが、PISAの問題はモデル適用の間違いだけでなく、それを批判したり質問に対して話し合いをする姿勢がないことがさらに根本的な問題であり、PISA主催者が批判的な教育学者との対話を避けるのは、自分を守ることができないからだろうという。

OECDの技術顧問レイ・アダムスは、クライナーの研究は、小グループの質問の分析にのみ基づいていると反論し、PISAスタッフは母数が大規模なデータであれば、変数が均等になると主張した。

しかし、アダムスに対してクライナーは再反論し、PISAスタッフが使用した同じグループで計算した結果、使用された質問のグループによって国の順位に大きなばらつきが見られたため、「ラッシュモデルはPISAに適していない。PISAランキングについて言えることは、それらが役に立たないということだけだ」「悪いモデルを使用する理由はない」と述べた。

OECD教育局長のマイケル・デヴィッドソンは、 「すべての質問がまったく同じように機能することを期待するのはばかげている。変数を最小化することで対処されるべきだ。」と反論した。

2011年、スヴェンドクライナーの批判に対して、OECD教育副局長A・シュライヒャーは、モデルは常に現実の近似であり、問題は、結果の歪みがないようにモデルが現実に適合しているかどうかであり、PISAは有効であると擁護した。ただし、シュライヒャーもPISAの誤差が大きいので、ランキングに過度に注意すべきではないと言っている。

4.1.2. ヒュー・モリソン
---------------

クイーンズ大学ベルファストの数学者ヒュー・モリソンは、PISAの基礎となる統計モデルに根本的な数学的ミスがあり、これはPISAそのものを無価値とするほどのミスであると指摘する。モリソンは2004年にPISA批判を発表したが、OECDは無視し続けたという。モリソンは「学力を数字で要約できることはほとんど不可能だが、PISAは3つの指標だけで国の教育システム全体を把握できると主張しているが、常軌を逸脱している」と批判する。モリソンは、ラッシュモデルでは、完全に同じ状態で、同じ能力を持つ生徒全員が同じ質問に答えると想定しても、一部の生徒は常に正しく答え、一部の生徒は間違って答えると想定される。しかし、モリソンは、そのような環境では、生徒全員が同じ能力を持っているため、定義上、生徒全員が正しい答えを出すか、間違った答えを出すことになるはずだと指摘する。また、ラッシュモデルでは、生徒が答える質問とは無関係に能力を測定できるという不可能な想定をしていると指摘する。モリソンは「GCSEで100点を取った生徒がいるとする。アインシュタインが同じ試験を受験したら、100点を取る可能性が高い。アインシュタインと生徒は同じ数学学力を持っていると仮定できるだろうか？　アインシュタインと生徒を、基礎テストの結果に基づいて、同じ数学能力を持っていると判定することはできるだろうか？」と批判している。

4.1.3. シュピーゲルハルター、ゴールドステイン
--------------------------

ケンブリッジ大学の統計学者デイヴィッド・シュピーゲルハルターは、PISAの測定法では、回答の難易度を事前に知っていることが前提とされ定数とされているが、実際にはかなりの不確実性があり、ある国・文化で育った子供たちにとって簡単な質問は、別の国・文化で育った子供たちにとっては難しいとということがあるように、難易度を全世界共通の普遍的尺度として仮定することは間違いであると指摘する。また、PISAの評点と順位の不確実性やランダムエラーは過小評価されており、教育政策はPISAに基づくべきではないという。また、PISA上位の韓国は、学校での幸福ランキングでは下位であり、英国では「学校は楽しいですか？」といった幸福度を確認する質問では良好であるように、学力と幸福度の関係も考慮検討されなければならないという。シュピーゲルハルターは、世界の学力調査は無価値なわけではないが、現在、それがあまりに課題視されていることが問題なのだと警告している。

イギリス学士院の統計学者ハーヴェイ・ゴールドステインによれば、バイアスの疑いのある質問を除外することは、国ごとの違いを平滑化する効果を持っており、これは深刻な影響を各国にもたらす恐れがあると警告する。「PISAの結果は世界標準として受け取られているが、しかしいざ点検を開始するとすぐにバラバラになってしまう程度の検査である」という。ゴールドスタインは、PISAが不適切に使用されており、その責任の一部はPISAにあり、なぜなら、PISAはテストの肯定面については過大に宣伝する一方で、その否定的な側面や弱点については公表しないからだと批判する。

5. 教育学者が指摘する問題点
---------------

PISA事業に対する教育現場や研究者からの批判は当初より根強い。

5.1. 教育学者による2014年公開書簡
---------------------

2014年、Andrews, Paul(ストックホルム大学）