寄稿

論文「学習成果」論再考

─ EBPM と因果推論を手がかりに─ ﻿「学習成果」論再考 ─ EBPMと因果推論を手がかりに─

中

尾

走

日本学術振興会特別研究員・広島大学大学院

樊

怡

舟

広島大学大学院

村

澤

昌

崇

広島大学高等教育研究開発センター
副センター長・准教授

西

谷

元

広島大学教授

松宮

慎治

広島大学大学院・神戸学院大学職員［キーワード］因果推論、EBPM、反実仮想、自然実

ば大学 IR、4 つのポリシー、海外留学などと関連づけ

験、DAGられたり、政府が全国学生調査へと着手したりしたことも重なり、ホットイシューとなっている。
この学習成果にとって重要な要素は「指標・調査・はじめに測定・評価」である。これら要素が殊更重要視された

本 稿 の 目 的 は、 近 年 そ の 重 要 性 が 高 ま っ て い る

契機は、管見の限りでは 90 年代の「大学評価」必要論

EBPM（Evidence-Based Policy Making：証拠に基づ以降だろう。評価に際しては、その材料が必要となる

く政策形成）とその根幹をなす因果推論の発想を手がので、指標の選定、調査・測定を経てようやく評価に

かりに、①大学における「学習成果」
に関する測定と分

こぎ着けられる。
「質保証」
議論も学習成果の議論も同

析に関する論理的な整理を行い、②学習成果の確認手様であり、「“何”が質・成果なのか」という問いのもと段としての EBPM 的因果推論の重要性を提示する。

に、指標の選定に収斂しがちであった。その好例がその上で、③ EBPM 的因果推論を応用した先駆的事『学習成果の把握と学習成果の評価についての具体的例の紹介を行い、④学習成果に関わる課題と展望を提方策に関する調査研究』（文部科学省 2014）であり、主起する。

たる関心が指標の種類に集中している。実はこうした一連の関心は、学術的には指標選択の妥当性の議論にⅠ．問題設定留まっており、指標の精度の高さ、即ち指標の信頼性

大学における学習とその成果に関する近年の急激なや、指標の使われ方・解釈の仕方（1）、研究設計の妥当関心の高まりは、周知の通り論を俟たない。そのテー性に関する議論が不十分であった。

マ自体は特段新しいものではないが、近年ではたとえ議論を深めるためには、「学習成果」
に関する構造的− 53 −

大学評価研究第 20 号理解が必要である。以下簡単な数式で整理してみよう。

2021 年 10 月で、3）因果推論による学習成果分析の先駆的事例を紹介する。

Y（成果の測定指標）
＝β・A（大学の作為≒処置介入）＋γ・Z（A 以外のY に与える要因群）＋ e（A と Z では説明されない Y の残余）

Ⅱ．EBPM とは - その要は因果推論 -①

そもそも EBPM とは何か。内閣府（2017）によれば、
学習成果の議論は、指標すなわち①式の「Y」に関す

EBPM とは、「政策の立案の前提となる事実認識をきる議論となる。往々にして高等教育の政策や実践現場

ちんと行い、立案された政策とその効果を結びつけるでこの Y に関心が集中する。

ロ ジ ッ ク を 踏 ま え、 そ の 前 提 と な る エ ビ デ ン ス をしかしながら、Y が（正課の内外を問わず）変化・向チェックすることで、合理的な政策立案に変えていこ上したとしても、それが A に相当する大学の作為にうということ」である。EBPM は、限られた資源の効よるものでなければ、大学での学習成果や、大学とし果的・効率的な利用が可能（総務省 2018）という期待て質を保証したと見なすことはできない。言い換えれから、わが国の政策立案全般に要請されている。

ば、「大学に進学しなければ」「大学の授業を受けなけ

さて、この説明だけを読むと、前世紀末からにわかれば」当該学生の成長や変化は見られなかったことをに議論された政策評価（山谷 2009）と大きく違わない。

以て初めて、大学の文脈における「学習成果」と言いう

では何が異なるのか。近年この差異を整理した中尾

るのではないか、ということである。つまり、大学に（2021）、内山（2020）らによれば、政策評価と EBPM

おける成果を見極める上であらためて重視すべきは、の違いは、エビデンスの形成に因果推論が推奨されて大学固有の成果と見なしうる A、すなわち処置・介入いる点、因果推論の方法に応じてエビデンスの質に格の効果を厳密に検証する方法にある。

付けを行う（エビデンス・ピラミッド）点だとされる。

もちろん学習成果の研究では、A に関する測定をこ の 因 果 推 論 の 核 と な る 考 え 方 は、「 反 実 仮 想 」

行って回帰系の分析を適用する等の試みは数多ある。

（counterfactual）である。先の大学進学 / 非進学の場

ただし実は、半ば慣習的に行われている “ 因果分析 ”「非進学者
合だと、「進学者がもし非進学だった場合」

では、厳密な因果推論（causal inference）の枠組みをがもし進学者だった場合」をも想定し、それらの結果踏襲していない場合が多く、因果効果を見いだすこと（潜在的結果：potential outcome）も得て比較を行うが難しいと言われている。他にも理論的検討が不十分

ことで、初めて正確な因果が推定できる。しかしあくなまま慣習的に行われている分析や解釈があり、こうまで if であるがゆえにデータは得られない。その為因した “ 慣習化された因果分析 ” では、大学における学

果推論は、不可能なものを推論する（大塚 2020）とも。

言われる。そこで次善策として、ランダム化比較実験

習成果の知見をミスリードしてしまう恐れもある

4

4

（2）

4

4

これらの点について、実はすでに他の領域では新た（Randomized Controlled Trial）のような実験的手法

な 取 り 組 み が 既 に 始 ま っ て い る。 い わ ゆ る EBMや、観察データから、反実仮想を想定した結果と理論（Evidence-Based Medicine：証拠に基づく医療）およ的に一致するように導く統計的因果推論（3）などが編み

び EBPM（Evidence-Based Policy Making：証拠に基出された。

づく政策形成）の名の下に、医療行為や政策の有無を

この因果推論の発想は学習成果を考察する上でも有より厳密に分析するための、因果推論の積極的な導入益である。以下では、テキストや先行研究ではあまりの事例である。残念ながら、高等教育領域における触れられないが、基本的且つ重要な論点に触れる（4）。

EBPM の議論や応用は限られている。

第一に重要なのは「何の因果効果を明らかにしたいか」4

4

そこで以下本稿では、まず 1）そもそも EBPM とはである。学生の学力を問いたい場合、その学力を変化

なにか、を論じる。次に 2）EBPM が基礎とする因果させた原因が何かを明確にすることである。それは授推論による学習成果・効果検証の必要性を指摘した上業なのか、大学に進学したこと自体なのか、改革を施− 54 −

「学習成果」論再考

─ EBPM と因果推論を手がかりに─ ﻿

図1した結果なのか─この観点は、冒頭でも触れたよう

図2に、高等教育の文脈では指標（Y）に拘泥するあまり、見落とされがちであった。
第二に、「反実仮想」の中身を具体的に想定することである。例えば、国立大学の進学の効果を検討する場

図注：①式の Z は、図では因果関係上 C と M に置き換えた合、「もし国立大学に進学しなかったら」が「反実仮想」となるが、実はこの if は、複数想定され（就職、浪人、な評価となる。
“説明”の文脈で重回帰分析を用いる場

公立・私立への進学、専業主婦 etc…）一意に定まらな合は、決定係数などのモデルの予測性能を評価するこい。
「反実仮想」の中身を具体的に想定したうえで、そとに主眼がある。実は“因果”の評価には“説明”を必れとの比較に特化しない限り、得られた結果が解釈しずしも要せず、逆に“説明”の評価には、投入されたすにくく、現実世界への示唆もできないと言われている

べての変数の“因果”
効果の評価は慎まなければいけな（Hernán and Taubman 2008；Rehkopf et al。2016）。

い。

第三に、分析結果の汎用可能性、即ち外的妥当性

ここでは、冒頭で示した①式を、因果推論の枠組み（external validity）を考慮することである。EBPM でで理解し直すために、有向非巡回グラフ（Directedは、理念上は、因果推論に基づくエビデンスを構築す

Acycle Graph、以下 DAG）を用いて書き直してみよ

る以上に、そのエビデンスを政策立案に繋げるところう。①式で示した重回帰分析を、最も単純な被説明変までがセットである。その際、エビデンスとして得ら

数 1 つ、説明変数 2 つ（①式の Z は、C と M に置き換えれた因果効果が、そのまま政策として実施された際にる）で構成される DAG で描くと図 1、図 2 のような二同様の効果が得られるかを改めて検討する必要があつのケースが想定できる（8）。たとえば処置 A の純粋なる（5）。実は、特に RCT を始めとした実験的因果推論

因果効果を診る場合、交絡変数 C（9）を統制変数として

は、実験デザイン上サンプルが限定されることが多投入する必要がある（図 1）。我々は C の効果も解釈しく、その内的妥当性の高さとは裏腹に、外的妥当性ががちだが、図 1 からもわかるように、C の係数は、A低い場合がある。

を経由する効果が除かれており、且つ、C と Y との間（6）以上、本節では EBPM の概要と EBPM で核となるの交絡要因が検討されていないことから、因果効果と因果推論を概説した。次節からは、学習成果と因果推して解釈すべきではない（Keele et al. 2020）。図 2 の論について考えていくこととする。

ような因果が成立している場合も、M を統制変数として投入してしまいがちであるが、図 2 の場合、M はⅢ．因果推論に基づく学習成果の評価・効果検「中間変数」であり、A の総合効果を制御してしまうた

証の必要性

め、過剰制御（over control）となる（狩野 2002、岩崎

高等教育において学習成果を論じる時によく用いら

2020）
。

れるのは、大規模な学生調査による分析であり、学生

一方、狭義の「説明」が目的であれば、目的は Y のの状態や変化を基礎的な集計を通じて
「記述」
し、重回

予測
（説明と同義）
なので、予測を高めうる変数を可能

帰分析や共分散構造分析などの因果的な分析手法を適な限り投入すればよく、このように分析者が構築した用した「説明」がよく試みられる（7）。

モデルの Y に対する説明力の検討となる。ただし、

実はこのような試みは、因果推論の議論に位置づけ

この目的で用いた重回帰分析の説明変数の係数の値

ると再考の余地がある。従来「説明」と称されてきたもは、上述のような厳密な因果効果を想定しておらず、のは、厳密には狭義の“説明”と“因果”に分けられる。

信頼できない。因果効果を解釈したいのであれば、図“因果”の効果推定は、計量経済学などでよく用いられ

1、2 のような DAG を描いて適切に交絡要因を統制変る不偏性、一致性、有効性の検討であり、係数の量的数として投入し（10）、因果推論を目的とした分析をす− 55 −

大学評価研究第 20 号るべきである。

2021 年 10 月いる。具体的には、傾向スコア分析により START 参

このように、これまでの学習成果の先行研究は、加者と非参加者を擬似的にランダム割付した状態を作

データを用いて狭義の「説明」をしてきたと理解できる。

り上げ、START 参加前後の英語得点の変化を DID

一方で、EBPM は反実仮想の発想に基づき因果推論（Difference in Difference）分析により検討している。

によるエビデンスを求めている。この違いを理解する

分析の結果（表 1）、START には TOEIC Ⓡスコアを上ことが学習成果のエビデンスを作る第一歩となる。

昇させる効果があったと報告されている。

（11）

また、これまでの高等教育の諸改革は、その効果検（2）自然実験証が不十分である。加えて学習成果は、「学生の学習や大学の教育的介入が、本当に成果をもたらしたの

つづいて、川田・西谷（2017）の派生として、一大学か」と問い直す必要がある。それらの検証法として因を対象に行った「自然実験」による因果効果の検討例

果推論が必要なのである。故に、これまでは説明的な（中尾ほか 2021）を紹介する。
「自然実験」とは、偶然に実験的な状況が生じた環境

問いを明らかにすることが主であったが、今後は因果4的な問いを明らかにすることも必要となってくる。

を利用する（伊藤 2017）手法である。中尾ほか（2021）
では、A 大学の X プログラムの効果検証を自然実験に

Ⅳ．分析事例よ り 行 っ て い る。X プ ロ グ ラ ム は、 留 学 参 加 者 が以上、EBPM と因果推論の必要性を提起してきた

TOEIC Ⓡの点数や面接など複数の評価項目に基づいてが、実際には、データの整備や利活用、分析方法の厳選抜され、毎年 8 月〜 9 月の前期と 2 月〜 3 月の後期の

密性、大学「業務」に対するインセンティブの低さ等の二回、各々約百名ずつの学生が約 2 週間の海外留学を諸々の壁があり、取り組みは不十分である。ただし、行うものである。2019 年度も百名程度の学生が、前近年は大学 IR（Institutional Research）の必要性が喧期と後期に留学予定であったが、COVID-19 禍により伝され、これを追い風にして学内の教学関連データの後期プログラムのみが中止となった。よって、参加予分析が加速化することも予想される。また、先駆的研

定の学生の中に、参加者（前期参加学生）と不参加者

究も散見されるようになった（田尻 2018、武知ほか（後期参加予定学生）が混在することとなった。

2020、川田・西谷 2017 等）。

これにより、前期参加学生と後期参加予定学生のTOEIC Ⓡ得点の差分をとれば、留学プログラム参加の（1）短期留学効果の推定

純粋効果に近いものを得られる。なぜなら、参加者もここで、川田・西谷（2017）の事例を概観してみよ

不参加者も同じ選抜による学生なので、学習意欲や語う。本研究は、広島大学の短期留学プログラム（以下学力などの交絡要因が統制されていることが期待でSTART）が TOEIC の得点に及ぼす効果を検証してき、COVID-19 禍で外生的に参加・不参加が決まったⓇ

表1

START の TOEIC Ⓡに与える効果※川田・西谷（2017）より引用− 56 −

「学習成果」論再考

表2

─ EBPM と因果推論を手がかりに─ ﻿

X プログラムの TOEIC Ⓡに与える効果※中尾ほか（2021）より転載

ことで、それら二つの集団に学生がランダム割付され値よりも低く推定される可能性もある。

たに等しくなるからである。実際の分析結果では（表そこで、学生の交友関係の統制が必要となるが、2）、川田・西谷（2017）の結果に反し、X プログラム

データが無い場合は既存の情報の活用により代理指標（表 2 の treat に相当。time：treat は受験時期と X プロの作成で対応することになる。中尾・樊（2021）では、Ⓡ

グラムの交互作用）による TOEIC の点数の上昇が見

各学生の履修状況の情報から、学生間の距離を算出し出せないという結論に至っている。

て代理指標とした。授業履修状況が似通った学生同士
は、相互作用を受けるとして統制を試みている。

（3）新しいデータの発掘（4）信頼性の高い指標の開発

学習成果を学内外で検討する場合、必ずしも測定したいデータが手元に無い場合もある。そのような場合、余力があれば、専門家により開発された尺度の運用

既存のデータの発掘や再定義・操作を通じて、代理とも、正確な分析に貢献する。因果分析には、交絡要因なる指標を構築する必要もある。中尾・樊（2021）の研以外にも内的妥当性を脅かすものがあり、その一つが究では、このような意欲的な取り組みも行っている。

測定誤差（measurement error）である（13）。特に社会因果推論の内的妥当性を保証するための前提条件の科学では抽象的な構成概念（14）を扱うことが多いため、内、処置群と統制群の間に相互干渉が起きていないとその測定には常に誤差が付随する。心理学では信頼性

いう SUTVA の第一仮定がある（岩崎 2015）。留学との高い尺度が開発されているが、川田・西谷（2017）やTOEIC 得点を例に説明すると、学生 A の TOEICⓇ

中尾ほか（2021）の研究の一環で扱う BEVI（15）は、社

得点は、その友人 B の留学の有無に影響されない、と会的望ましさバイアス（Social desirability bias）
や努力。しかし、友人間での相互干渉が無いというの最小限化（Satisfice）等の統制機能が導入され（16）、学

仮定は非現実的である。友人同士であれば、互いに切習成果や学生調査でよく使われる尺度や指標よりも測磋琢磨する（もちろんその逆もあるが・・・）などの相定誤差を抑える設計がされており、因果推論に用いる

互作用のあることが容易に想像できるからである。そ際に有利である。

Ⓡ

なる

（12）

うすると SUTVA の第一仮定が未充足となってしまおわりにう。この場合、先述の自然実験下だとしても、留学の以上見てきたように、学習成果への関心が高まる

処置効果が、友人間の相互作用から影響を受け、真の− 57 −

大学評価研究第 20 号

中、この課題に関する本稿の問題提起は、①大学の成2021 年 10 月

（2019）、中尾（2021）に準拠している。

果測定は、指標以上に大学固有の効果を見いだす調査（５）関 連する議論としては、ルーカス批判が挙げら

分 析 デ ザ イ ン が 重 要 で あ る、 ②そ の鍵 を握 るの はれる。EBPM とルーカス批判については、山名EBPM で推奨される因果推論にある、③これまでの（2017）、立石ほか（2018）、竹田（2020）参照のこ

学習成果測定で利用された学生調査の分析は、厳密に

と。

は「記述」
「説明」
「因果」等を丁寧に切り分け、文脈に（６）ただし RCT であっても外的妥当性が満たされる

応じた使い分けが必要である、④因果推論を応用した場合がある。詳細は Hernan and VanderWeele

分析事例から、自然実験、学内既存データの再定義に（2011）およびその日本語解説である中尾（2021）

よる利活用、専門家による精度の高い尺度の積極的利参照のこと。また、各種統計的因果推論の場合、用が推奨される、である。

元データの調整（中尾 2019）、部分的に切り取る

そして最も重要なのは、以上の取り組みには、個々等の操作によって、母集団とのずれが生じていの大学の文脈や経験知、専門知識の関与が欠かせないるという理由で外的妥当性が満たされない場合（林 2019）という点である。あくまで EBPM や因果推もある。

論は、学習成果に関する従来の議論や、慣習化された（７）社会調査のテキストでは、前者を「記述」（事実は分析手順を、改めて内省するためのきっかけを与えてどうなのか：how の問い）
、後者を「説明」（なぜEBPM・因果推論にその事実が生じているか：why の問い）として区

くれるに過ぎない。猫も杓子も（17）

飛びつく必要は無いし、機械的な乱用には、本稿で指分している（高根 1979；盛山 2004；平沢 2021）。

摘したような落とし穴があるので注意が必要である。

（８）なお、ここでは簡略化のため、未観測要因 e は省

いずれにせよ、このような野心的アプローチを投げ略した。

かけることにより、大学の学習成果への取り組みに、（９）処置・介入 A と結果変数 Y の両方に影響する変数

科学のエッセンスがより付加された議論が勃興するこのこと。これを制御しないと A の効果が誤推定とを期待したい。

される可能性がある。
（10）ただし、DAG のみでは因果効果の推定が不十分【注】であるとの指摘もある（Heckman 2005、Imbens（１）指 標や尺度自体の妥当性や信頼性の問題は、心

2020）
。

理学を中心に長らく議論されてきた古典的・伝統（11）例えば、医学・疫学の分野では、統計分析は、記的且つ継続的課題である。しかし高等教育にお述（ Description ）、 関 連 の 探 索（ Exploring

いては、心理学の応用を装って根本的な禁忌をassociations ）、 予 測（ Prediction ）、因果推論

見過ごしている（例えばダブルバーレル問題）場（ Causal inference ）、 効 果 の 比 較（ Diagnostic

合があり、実践や改革、政策上のミスリードに

performance evaluation）に分類される（佐藤・芝つながり兼ねない。重要な論点ではあるが、こ2021）。これらを踏まえると、説明的な問いの検の問題は紙幅を超えるので本稿では扱わない。

証方法として因果推論を挙げる平沢（2021）の解（２）高 等教育研究における計量分析手法の課題に関しては、併せて立石・村澤（2017）、立石ほか

説は、誤解を与えかねない。
（12）他 の例だと、潰瘍や外傷の治療のために薬が投（2019）も参照のこと。

与されるケースを想定されたい。この場合、薬（３）因果推論の手法については、伊藤（2017）、森田が投与された処置群は、未投与の統制群に干渉（2014）、中室・津川（2017）、安井（2020）等を参することはないことが仮定されている。ただし照のこと。

岩崎（2015）では、この SUTVA の未充足の例と（４）本 稿における統計の専門用語などは、大久保

して、インフルエンザワクチン接種の効果評価− 58 −

「学習成果」論再考

─ EBPM と因果推論を手がかりに─ ﻿

を取り上げている。具体的には、とある人物 A

資料』.

にワクチンが投与されれば、A の周囲の人間は、Heckman, J. T., 2005, “The Scientific model of

ワクチンを接種してなくても、少なくとも A か

Causality.” Sociological Methodology, 35：1-97.

らの感染リスクが低くなるので、ワクチンの厳Heckman, J. & Masterov, V. D., 2007, The

密な効果が不透明になるケースである。

Productivity Argument for Investing in Young（13）例 え ば、 処 置 変 数 の 測 定 誤 差（ Jerrim andChildren. Review of Agricultural Economics, 29（3）,

Micklewright 2014；Engzell and Jonsson 2015

pp.446-493.

など）、従属変数の測定誤差（VanderWeele andHernán M. & Taubman S., 2008, “Does obesity

Hernan 2012 ）、 交 絡 変 数 の 測 定 誤 差（ Frost

shorten life The importance of well-defined

1979、Ogburn and VanderWeele 2012、中尾ほinterventions to answer causal questions,”

か 2021）など。

International Journal of Obesity, 32（3）：S8-S14.

（14）構 成概念とは、直接それ自体を測定することはHernán, M. A. & Vanderweele, T. J., 2011, Compound困難であるが、人の実際の言動の観察を通じて、

Treatments and Transportability of Causal

それら言動を規定しうるような、想像上仮定さInference. Epidemiology, 22（3）, pp.368-377.

れる事象を指す。たとえば学力、能力、性格な

Hernán, M. and J. Robins, 2019, Causal Inference,

どである。

Chapman & Hall/CRC.

（15）詳細は https://jp.thebevi.com/ を参照のこと。

平沢和司, 2021,「社会調査のデザイン」轟亮・杉野勇・（16）社 会的望ましさバイアスとは、回答者が自分を平沢和司編『入門・社会調査法

よく見せようとする傾向（Groves et al. 2004＝

第 4 版』法律文化社,

47-60 頁.

2011）である。努力の最小限化とは、必要最小限

星野崇宏, 2009,『調査観察データの統計科学』岩波書の行動をとることであり、例えばアンケートに店.

おいて同一の項目を選択する行動などを指す（三池田功毅・平石界, 2016,「心理学における再現可能性

浦・小林 2015）。

危機：問題の構造と解決策」『心理学評論』59, 3-14（17）中村（2019）は、近年の傾向スコア分析の乱用を頁.

「猫も杓子も傾向スコア」と警笛を鳴らしている。

Imbens, G. W, 2020, “Potential Outcome and Directed
Acyclic Graph Approaches to Causality-Relevance【参考文献】
浅野晳・中村二朗, 2009,『計量経済学

for Empirical Practice in Economics.” Journal of
第 2 版』有斐閣.

Economic Literature, 58（4）, pp.1129-1179.

Degtiar Irina & Rose Sherri, 2021, “A Review of

伊藤公一朗, 2017,『データ分析の力：因果関係に迫る

Generalizability and Transportability”（https://

思考法』光文社.

arxiv.org/pdf/2102.11904.pdf, 2021.6.18 最 終 ア ク セ

岩崎学, 2015,『統計的因果推論』朝倉書店.

ス）.

岩崎学, 2020,「統計的因果推論の視点による重回帰分

Groves, R. M., Flowler, F. J., Couper, M. P.,

析」『日本統計学会誌』50（2）：363-379 頁.

Lepkowski, J. M., Singer, E. and Tourangeau, R.,

狩野裕, 2002,「構造方程式モデリング, 因果推論, そし

2004, Survey Methodology：John Wiley & Sons,て非正規性」甘利俊一・狩野裕・佐藤俊哉・松山裕・

Inc.（＝2011, 大隈昇監訳『調査法ハンドブック』朝倉竹内啓・石黒真木夫『多変量解析の展開

書店）.

造と因果を推理する』岩波書店, 65-129 頁.

林岳彦, 2019,「因果推論駅の奥へ」『広島大学高等教育

川田恵介・西谷

研究開発センター 2019 年度 第 4 回公開研究会発表

隠れた構

元, 2018,「短期留学プログラムが語学 力 到 達 度 に 与 え る 影 響 に つ い て： 広 島 大 学− 59 −

大学評価研究第 20 号

START プ ロ グ ラ ム の 事 例 か ら 」http://goo.

2021 年 10 月

727b0b1defa16.pdf, 2021.6.18 最終アクセス）.

gl/5C1hRY（2021.6.18 最終アクセス）.

内閣府, 2017,『第 1 回 EBPM 推進委員会（平成 29 年 8 月

Keele, L., Stevenson, R T and Elwert, F, 2020, “The

1 日）議事要旨』（http://www.kantei.go.jp/jp/singi/

causal interpretation of estimated associations in

it2/ebpm/dai1/gijiyoushi.pdf, 2021.6.18 最終アクセ

regression models,” Political Science Research andス）.

Methods, 8：pp.1-13.

Nguyen, T. Q., Ebnesajjad, C., Cole, S. R., & Stuart, E.

三浦麻子・小林哲郎, 2015,「オンライン調査モニタのA., 2017, “Sensitivity analysis for an unobserved

Satisfice に関する実験的研究」『社会心理学研究』31

moderator in RCT-to-target-population generalization（1）, 1-12 頁.

of treatment effects,” The Annual of Applied

三浦俊彦, 2017,『改訂版可能世界の哲学：「存在」とStatistics, 11（1）：pp.225-247.

「自己」を考える』二見書房.

Nguyen, T. Q., Ackerman, B., Schmid, I., Cole, S. R.,

文部科学省, 2014,『学習成果の把握についての具体的

Stuart, E. A., 2018, “Sensitivity analyses for effect

方策に関する調査研究』（ https：//www.mext.

modifiers not observed in the target population

go.jp/a_menu/koutou/itaku/1347643.htm, 2021.6.18

when generalizing treatment effects from a

最終アクセス）.

randomized controlled trial- Assumptions, models,

森田果, 2014,『実証分析入門』日本評論社 .

effect scales, data scenarios, and implementation

中村知繁, 2019,「統計的因果推論とデータ解析」（https://details,” PLoS One, 13（12）：pp.1-17.

speakerdeck.com/tomoshige_n/causal-inference-

奥井亮, 2019,「重回帰モデルの推定と検定」西山慶彦・

and-data-analysis：2021.6.18 最終アクセス）.

新谷元嗣・川口大司・奥井亮『計量経済学』有斐閣 ,中室牧子・津川友介, 2017,『「原因」と「結果」の経済学』
ダイヤモンド社.

大久保翔貴, 2019,「因果推論の道具箱」『理論と方法』

中尾走, 2019,「外部資金獲得の効果は？」『広島大学大学院教育学研究科紀要141-207 頁.
65, 20-34 頁.

第三部（教育人間科学関連

大塚淳, 2020,『統計学を哲学する』名古屋大学出版会.

領域）』68, 151-159 頁.

Rehkopf, D. H., Glymour, M.M. and Osypuk, T. L.,

中尾走, 2021,「EBPM の動向と課題─高等教育政策へ

2016, “The Consistency Assumption for Causalの影響を見据えて」『大学論集』, 54, 39-52 頁.

Inference in Social Epidemiology-When a Rose is

中尾走・樊怡舟・村澤昌崇, 2021,「交絡変数の測定誤差

Not a Rose,” Current Epidemiology Report, 3：が合流点バイアスをもたらす影響について：合流点

pp.63-71.

バイアスと交絡統制のジレンマに対する考察」『広島

佐藤俊太朗・芝孝一郎, 2021,「DAG と回帰分析を用い大学高等教育研究開発センター編 ディスカッショ

た因果推論入門」日本疫学会プレセミナー 2021 発表

ンペーパーシリーズ』15, 1-18 頁.

資料.

中尾走・樊怡舟・西谷元・村澤昌崇, 2021,「自然実験環

盛山和夫, 2004,『社会調査法入門』有斐閣ブックス.

境を用いた留学効果の推定」広島大学高等教育研究

総務省, 2018,『EBPM（エビデンスに基づく政策立案）

開発センター編『Advancement of Higher Education

に関する有識者との意見交換会報告（議論の整理とResearch：RIHE Monograph Series』3, 1-10 頁.

課題等）』（https://www.soumu.go.jp/main_content/
000579366.pdf, 2021.6.18 最終アクセス）.

中尾走・樊怡舟, 2021,「留学効果の検証」『広島大学高等教育研究開発センター 2020 年度 第 20 回公開研田尻慎太郎, 2018,「SA を事例とした任意参加型プロ究会発表資料』（https://rihe.hiroshima-u.ac.jp/wp/

グラムの因果効果推計」,大学教育学会第 40 回大会

wp-content/uploads/2021/04/1daab2921925f8da647

発表資料, 2018-6-3.

− 60 −

「学習成果」論再考

─ EBPM と因果推論を手がかりに─ ﻿

高根正昭, 1979,『創造の方法学』講談社.

EBPM シンポジウム

武知薫子・酒匂康裕・服部圭子, 2020,「EQ 指標を用い案を進展させるためにた留学の効果検証方法：質的研究の探索補助としてエビデンスに基づく政策立
発表資料』（ https://bit.

ly/3zs2c9F, 2021.6.18 最終アクセス）.

の量的研究の提案」『教養・外国語教育センター紀要.

VanderWeele, T. J., 2019, “Principles of confounder

外国語編』11（1）,1-19 頁.

selection” European Journal of Epidemiology, 34,

竹 田 聡, 2020,「 LATE vs. 構 造 推 定 」『地域政策学211-219 頁.

ジャーナル』9, 63-72 頁.

Westreich, D., Edwards, J. K., Lesko, C. R., Cole, S. R.,

立石慎治・村澤昌崇, 2017,「計量分析の新展開：過去& Stuart, E. A., 2018,. Target Validity and the

10 年間の経験を振り返って」『高等教育研究』20, 135-

Hierarchy of Study Designs. American Journal of

156 頁.

Epidemiology, 188（2）, pp.438-443.

立石慎治・丸山和昭・速水幹也・松宮慎治・中尾走・

山名一史, 2017,「「エビデンスに基づく政策形成」とは

村澤昌崇, 2019,「高等教育研究と計量分析」
『教育社

何か」
『ファイナンス』53（5）, 76-84 頁.

会学研究』104, 29-55 頁.

安井翔太, 2020,『効果検証入門：正しい比較のための津川友介, 2020,『世界一わかりやすい「医療政策」の教

因果推論／計量経済学の基礎』技術評論社.

科書』医学書院.

山谷清志, 2009,「公共部門における『評価』：政策評価

内山融, 2019,「EBPM の行政への実装に向けて」『RIETIと NPM 型業績測定」『日本評価研究』9（3）, 3-16 頁.

− 61 −

大学評価研究第 20 号

2021 年 10 月

Rethinking the “Learning Outcome” ─ Using
EBPM and Causal Inference as Clues ─※1

Ran NAKAO※2

Yizhou FAN※3

Masataka MURASAWA※4

Hajime NISHITANI※5

Shinji MATSUMIYA［Abstract］
The purpose of this paper is to reconsider the theory of “learning outcomes” based on the idea of evidencebased policy making（EBPM）, which has been gaining importance in recent years, and the causal reasoning that
forms the basis of EBPM.
Specifically, we will（1）Logical organization of measurement and analysis of “learning outcomes” in universities,
and（2）the importance of EBPM-based causal reasoning as a means of confirming learning outcomes. Then,（3）we introduced pioneering case studies in which EBPM causal reasoning was applied, and（4）we raised issues andprospects related to learning outcomes.
In the conventional discussion of learning outcomes, we have not been able to properly discuss learning
outcomes because the discussion often converges on the appropriateness of outcome measures and there arechallenges in the customary causal analysis of related studies. As a prescription for this problem, this paper
proposes a reconsideration of recent causal reasoning using the ideas of “anti-real virtual” and “DAG”. In addition,in the case study, as a more rigorous method of educational intervention effectiveness, natural experiments,
utilization of existing data in the university, and reliable scales under the supervision of experts are presented.
※1

JSPS Research Fellow, Graduate School of Education, Hiroshima University※2

Graduate School of Education, Hiroshima University※ 3 Research Institute for Higher Education, Hiroshima University, Associate Professor/Deputy Director,
Research Institute for Higher Education※4 G
 raduate School of Humanities and Social Sciences, Professor/Deputy Executive Director（SGU）, Hiroshima
University※5

Graduate School of Education, Hiroshima University/Kobe Gakuin University, Staff− 62 −