第257回 FASID Brown Bag Lunch Seminar

SDGsの「達成度を測る」を再考する
ポストSDGsの「価値を引き出す評価」に向けて

米原あき
東洋大学社会学部・教授

講師略歴
【現職】
東洋大学 社会学部社会学科 教授
JICA 事業実績評価アドバイザー
JICA 全世界クラスターを含むJICA事業評価・モニタリング制度検討支援
ユネスコアジア文化センター プロジェクトアドバイザー
横浜市教育委員会ESDコンソーシアム 委員
Asia Pacific Evaluation Association, Editorial Board, Editor
日本評価学会 常任理事 兼 編集委員長
日本財団 事業評価制度構築 有識者会議委員【学歴】
Indiana University, Ph.D. [Education, Social Statistics]
京都大学大学院教育学研究科 修士 [比較教育政策]
京都大学教育学部 学士[教育行政]
専門社会調査士、講道館柔道参段【主な著作】『SDGs時代の評価：価値を引き出し、変容を促す営み』筑波書房、2022年。
「教育分野における参加型形成的評価の位置付けと意義」『日本評価研究』22(2):15-26. 2022.
「SDG 教育目標にみる理念志向ターゲットの評価に関する一考察：測定可能性（measurability）から評価可能性（evaluability）へ」『日本評価研究』21(2):31-46. 2021.
「データの収集・分析1：量的データ分析」山谷清志編『プログラム評価ハンドブック：社会課題解決に向けた評価方法の基礎・応用』(147‐159pp.)
晃洋書房、2020年。
「協働型プログラム評価実践における『協働型社会調査』：参加型のアプローチでエビデンスを創出する試み」『評価クオータリー』50: 2-17. 2019.
‘Lifelong learning and the evaluation process for sustainable futures’ In
Maruyama, H. (Ed.) “Cross-bordering dynamics in education and lifelong
learning: A perspective from non-formal education” (pp.95-112)
Routledge. 2019.
「『人間の福祉』への計量的アプローチ：『フィールド（質）』と『データ（量）』の往復運動から」鴨川明子編『アジアを学ぶ：海外調査研究の手法』(pp.147-160)勁草書房、2011年。
“Human Development Policy in the Global Era: A Proposal from an
Educational View” University Education Press, 2009.

「そのもの自体」の“よさ”
内在的価値＝本質

評価とは？
EVALUATION=Extract Value（「価値value＝よさ」を引き出すextract）

それが社会(外部)にもたらす“よさ”
社会的価値＝意義客観的に見たそのものの“よさ”
外在的価値＝値打ち
🄫2023 Aki YONEHARA. All rights reserved.

「評価とは物事の本質、値打ち、意義を体系的に明らかにすることである」“Evaluation is the systematic determination of merit,worth and significance of things” (Scriven, 1991:139)

🄫2023 Aki YONEHARA. All rights reserved.

SDGs評価：問題の所在SDGs評価の「難しさ」の本質はどこにある？

「SDGsのターゲットのうち『順調に推移している』と評価されるのはたった15％」 ＠SDGサミット（2023年9月）

Source: The SDG Index and Dashboards, Sustainable Development Report 2023.
(https://dashboards.sdgindex.org/chapters/part-2-the-sdg-index-and-dashboards)
🄫2023 Aki YONEHARA. All rights reserved.

そもそも何が難しいのか？
MDG (Goal 2)

SDG (Goal 4)

Goal 2: 初等教育の完全普及[UPE]

Goal 4: すべてのひとに包括的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する

2015年までに、全ての子どもが男女 [4.7] 2030 年までに、持続可能な開発のための教育及び持続可能なライの区別なく初等教育の全課程を修了 フスタイル、人権、男女の平等、平和及び非暴力的文化の推進、グローバル・できるようにする。
シチズンシップ、文化的多様性と文化が持続可能な開発にもたらす貢献の理解などの教育を通して、全ての学習者が、持続可能な開発を促進するために必要な知識及び技能を習得できるようにする。
• 初等教育純就学率• 第1学年に就学した生徒のうち初等教育最終学年まで到達する生徒の割合• 15～24歳の男女の識字率• (i)地球市民教育及び(ii)持続可能な開発のための教育が、（a）各国の教育政策、(b) カリキュラム、(c) 教師の教育、及び(d)児童・生徒・学生の達成度評価に関して、主流化されているレベル
🄫2023 Aki YONEHARA. All rights reserved.

そもそも何が難しいのか？
MDGSDG⚫ 量的・現実的目標⚫ 理念的・理想的目標

e.g. UPE (学校教育制度の枠内)⚫ 評価の方向性：
測定可能性(Measurability)e.g. 就学率、修了率、識字率

e.g. 良質の教育、生涯学習 (枠外)

⚫ 評価の方向性：
評価可能性(Evaluability)e.g. GCE・ESDの主流化のレベル？？？
cf. %→Extent, 女子就学率→女性管理職比率➠ “Unpack” の必要性の有無＝「どのような成果を目指したいのか、何を自分たちの目標とするのか」について議論するための場が必要
🄫2023 Aki YONEHARA. All rights reserved.

このガイドブックでは、各国の教育のなかでグローバル目標を「翻訳」するための示唆を検討します。
The guide also examines the implications oftranslating these global commitments within,and through, national education developmentefforts. (UNESCO 2016:3)

これらの(目標4.7の)指標はグローバルな取り組みを示しており、それらの取り組みは各国の教育政策の優先順位に照らして文脈化される必要があります。
These signposts express global commitmentsthat need to be contextualized and reflected innational education policy priorities. (UNESCO2016:16)ｃ

🄫2023 Aki YONEHARA. All rights reserved.

評価可能性 evaluabilityとは・・・？
👉 Rossi（2004）「評価可能性アセスメントの3つの活動」– 【ゴール設定】 注意深くプログラムモデルを記述し、ゴールと目標を設定する– 【モデル・指標】 そのモデルが十分に定義されているか、評価可能かをアセスメントする– 【結果活用】 利害関係者の評価に対する関心と評価所見の活用可能性を確認する

👉 「評価可能性が低い」＝ ゴールや目標、およびそれを達成するための計画や指標が曖昧で、評価が困難になる状況≒ プログラム・プロジェクト・政策の実施も困難？
🄫2023 Aki YONEHARA. All rights reserved.

SDGs評価：「難しさ」とどう向き合うか？
「価値を引き出す評価」のトライアル
事例① タイD-HOPEプロジェクト：エンパワメント評価＋VSS
事例② 横浜ESDスクールマネジメント：協働型プログラム評価

評価のふたつの目的（Scriven 1991)👉 形成的評価（Formative evaluation)

プログラム改善のための評価活動「コックが調理中にスープを味見すること」
・活動の開発・形成 ・継続的改善 ・立案、実施段階で行う評価

👉 総括的評価（Summative evaluation)

成果確認・報告のための評価活動←こちらが主流？

「客が出来上がったスープを味わうこと」・活動の成果の把握

・一定期間経た段階で行う評価

🄫2023 Aki YONEHARA. All rights reserved.

タイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• OTOP＝モノを売る ↔ D-HOPE＝体験を売る（体験プログラムの発掘・形成・広報支援）• このプロジェクトに適切な評価活動・評価指標とは？

プロジェクト概要（途中からリンク切れ？） https://www.jica.go.jp/project/thailand/025/index.html
Discussion Paper Series #1~5 https://www.jica.go.jp/Resource/project/thailand/025/news/20210930.html

タイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• 評価手法： エンパワメント評価＋Value Statement Survey

プロジェクト概要（途中からリンク切れ？） https://www.jica.go.jp/project/thailand/025/index.html
Discussion Paper Series #1~5 https://www.jica.go.jp/Resource/project/thailand/025/news/20210930.html

タイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• エンパワメント評価：ステイクホルダーの学習と能力向上に重点を置いた評価• Photo Elicitation（Harper 2012）：100枚程度の活動写真➡視覚情報による活動の振り返り• チャンピオンらの活動経験から多くのポジティブ・コアを見つけだす➡改善に活かすタイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• エンパワメント評価：ステイクホルダーの学習と能力向上に重点を置いた評価• Photo Elicitation（Harper 2012）：100枚程度の活動写真➡視覚情報による活動の振り返り• チャンピオンらの活動経験から多くのポジティブ・コアを見つけだす➡改善に活かす
好きな写真
番号

なぜ？

変化

終えた活動

学び活用

終わってない活動（目標）手段

🄫2023 Aki YONEHARA. All rights reserved.

いつタイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• Value Statement Survey
目的① エンパワメント評価では可視化しにくい意識変化を定量的に評価する
目的② 政府が策定するKPI（所得、売上）と現場レベル価値観の乖離を架橋する➡ 社会調査によるデータ収集 → 変化を可視化 → 因子分析による因子抽出 → 地域ごとの違いを報告
Pride of my work

Financial conditions inmy business

Motivation for work

Awareness ofavailable resources in
my community

Confidence in my life

Knowledge onbusinessHappiness in my life

Self-recognition of mypotential skill

Interaction with mycommunity

Confidence of doing
own businessConservation oflocal wisdom

Happiness ofbelongings to mycommunity

Pride of mycommunity

Sense of contribution
to the community

My popularity/fameQuality of myproducts/services

Financial conditions inmy life

Expansion of mynetwork

Communication withvisitors

Acceptance/Recogniti
on by others

🄫2023 Aki YONEHARA. All rights reserved.

タイ：D-HOPEプロジェクト
Project for Community-Based Entrepreneurship Promotion [2017-21](D-HOPE = the Decentralized Hands-on Program Exhibition approach)• Value Statement Survey
目的① エンパワメント評価では可視化しにくい意識変化を定量的に評価する
目的② 政府が策定するKPI（所得、売上）と現場レベル価値観の乖離を架橋する➡ 社会調査によるデータ収集 → 変化を可視化 → 因子分析による因子抽出 → 地域ごとの違いを報告

🄫2023 Aki YONEHARA. All rights reserved.

横浜：ESDスクールマネジメント
文部科学省『SDGs達成の担い手育成（ESD）推進事業：教育（学習）効果の評価・普及』モデル校 [2017-21]• 教科活動としてのESD ↔ ESDによるスクールマネジメント• この学校が実現したいESDとは？その取り組みを支援するための仕組みとは？
• 評価手法： 協働型プログラム評価

プログラム評価とは：
社会調査の方法を活用し、社会プログラムによる介入の有効性を体系的に調査し、評価を行うこと。
その評価は、プログラムを取り巻く政策的・組織的な文脈を考慮した方法で行われるもので、社会状況を改善するための活動の情報源となるものである。
(Rossi, Lipsey & Freeman, 2004; 山谷・源・大島 2020)
🄫2023 Aki YONEHARA. All rights reserved.

横浜：ESDスクールマネジメント
文部科学省『SDGs達成の担い手育成（ESD）推進事業：
教育（学習）効果の評価・普及』モデル校 [2017-21]• 教科活動としてのESD ↔ ESDによるスクールマネジメント• この学校が実現したいESDとは？その取り組みを支援するための仕組みとは？
• 評価手法： 協働型プログラム評価【セオリー評価】協働ワークショップ＝ゴール理念の再検討、言語化、共有＝ 本質的なコミュニケーションの「場」＝ 自分たちのESDプログラム(LM)を創発・可視化(→指標化)
みなとみらい本町小学校HP
🄫2023 Aki YONEHARA. All rights reserved.

https://www.edu.city.yokohama.lg.jp/school/es/minatomiraihoncho/index.cfm/1,0,73,212,html

横浜：ESDスクールマネジメント
文部科学省『SDGs達成の担い手育成（ESD）推進事業：教育（学習）効果の評価・普及』モデル校 [2017-21]• 教科活動としてのESD ↔ ESDによるスクールマネジメント• この学校が実現したいESDとは？その取り組みを支援するための仕組みとは？
• 評価手法： 協働型プログラム評価

例えば統計的問２「めあてて活動で【プロセス評価・アウトカム評価】
アンケートの作成・実施●質問項目＝現場で生まれた評価指標●改善のための必要情報として＝評価の活用(同時に総括評価＝説明責任のエビデンスとしても)🄫2023 Aki YONEHARA. All rights reserved.

問４「新しい☚ 統計的問８「自分た思います（＊具体的な活『2019 年度横浜：ESDスクールマネジメント
文部科学省『SDGs達成の担い手育成（ESD）推進事業：教育（学習）効果の評価・普及』モデル校 [2017-21]【改善アクション】振り返り●アンケートデータに基づく振り返り（Evidence-based/informed practice）➡翌年の教育計画へ＝評価の活用
🄫2023 Aki YONEHARA. All rights reserved.

横浜：ESDスクールマネジメント
文部科学省『SDGs達成の担い手育成（ESD）推進事業：教育（学習）効果の評価・普及』モデル校 [2017-21]

準備期(前年度)
年度• ニーズ評価＆セオリー評価（参加型）• 指標・ロジックモデルを作成 ➡ 指標に基づきアンケート調査票を作成• その学校独自のESDプログラムの策定（w. 学校運営協議会）• ベースライン（BL）調査＝プログラム開始前の状態を調査• 策定したESDプログラムの実施（w. 学校運営協議会）

初め
年度

中旬
年度
下旬

• 中間調査（夏休み前後～）＝BL調査からの変化？
• プロセス評価• 策定したESDプログラムの改善・修正・継続（w. 学校運営協議会）• 期末調査（年度末～）＝BL、中間調査からの変化？
• アウトカム評価≒来年度のセオリー評価（改善Action）• 次年度に向けてのプログラム改善（w. 学校運営協議会）
🄫2023 Aki YONEHARA. All rights reserved.

例）すでに行われている校内アンケートに質問項目を追加

例）「こんな変化＝成長があったよ！」
・子どもたちと共有・保護者や地域へ報告例）「あれ？ここはイマイチ…？」なところは改善策を検討

ポストSDGsに向けた評価「評価観」のパラダイムシフトに向けた４つの提案

➡４つの提案①「する-される」の評価から「一緒に創る」評価へ②エビデンス概念の拡張「間主観的エビデンス」③脱「質(構築主義) vs. 量(実証主義)」二項対立④鍵は「評価的思考 evaluation thinking」

🄫2023 Aki YONEHARA. All rights reserved.

４つの提案①「する-される」の評価から「一緒に創る」評価へ

受益者(サービス利用者)

協創(Coproduction)b/w 提供者＋利用者
パートナーシップ

政府

b/w 提供者(サービス提供者)
🄫2023 Aki YONEHARA. All rights reserved.

プライベートセクター(サービス提供者)

４つの提案②エビデンス概念の拡張「間主観的エビデンス」
いかなる時もすべての人にこの文脈を共有する、わたしたちにとって

🄫2023 Aki YONEHARA. All rights reserved.

今ココにいる
わたしにとって

４つの提案③脱「質(構築主義) vs. 量(実証主義)」二項対立
帰納的推論

演繹的推論

仮説的推論

個別➡一般

一般➡個別

帰納と演繹の往還「おそらく真」「常に真」「真への近接」

文脈的意味
🄫2023 Aki YONEHARA. All rights reserved.

科学的厳密性Cf. RCT４つの提案④鍵は「評価的思考 evaluation thinking」“

評価的思考とは、知的好奇心と①エビデンスの価値に対する信頼に動機付けられた②批判的思考のことであり、この思考は、仮説を明らかにし、思慮深い疑問を投げかけ、③省察と他者視点の取り込みによってより深い理解を追究し、④行動に向けて準備することを決意するものである（Buckley et al. 2015）。

➡①広義のエビデンス概念（含・間主観的エビデンス）➡②現状を疑う（現状に甘んじない）思考（仮説的推論・往還的思考）➡③他者との協創（coproduction）➡④行動への志向性をもって、価値を引き出し、可視化するような評価 ＝ ポストSDGsの評価
🄫2023 Aki YONEHARA. All rights reserved.

ご清聴ありがとうございました“Evaluation is social betterment.” – M. Scriven

参考文献■Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and Teaching Evaluative Thinking: Insights From Research on
Critical Thinking. American Journal of Evaluation, 36(3): 375–388.
■Harper, D. (2012). Visual sociology. New York: Routledge.
■ Rossi, P. H., et al. (2004). Evaluation: A systematic approach (7th ed.). CA: Sage publication. (=大島巌他訳（2010）プログラム評価の理論と方法：システマティックな対人サービス・政策評価の実践ガイド、日本評論社。)■ Scriven, M. (1991). Evaluation thesaurus (4th ed.). CA: Sage publications.
■UNESCO. (2016). Unpacking sustainable development goal 4 education 2030 guide. UNESCO.
■Yonehara, A. (2021). Theory and practice of Value Statement Survey [VSS]. JICA D-HOPE Discussion Paper Series (4).
https://www.jica.go.jp/Resource/project/thailand/025/news/20210930.html■Yonehara, A., Saito, O., Hayashi, K., Nagao, M., Yanagisawa, R., and Matsuyama, K. (2017). The role of evaluation in achieving SDGs.
Sustainability Science. 12(6): 969-973.
■今井康雄（2015）教育にとってエビデンスとは何か：エビデンス批判をこえて『教育学研究』 82(2):188-201.
■北大路信郷（2022）自治体におけるEBPMのためのロジックモデルの活用『評価クオータリー』60:59-75.
■小林隆児・西研（2015）人間科学におけるエヴィデンスとは何か、新曜社。
■佐々木亮（2010）『評価論理：評価学の基礎』 多賀出版。
■みなとみらい本町小学校HP『みなとみらい本町小のESD実践』（2019-2021）
https://www.edu.city.yokohama.lg.jp/school/es/minatomiraihoncho/index.cfm/1,0,73,212,html■源由理子（2016）参加型評価：改善と変革のための評価の実践、晃洋書房。
■山谷清志・源由理子・大島巌（2020）プログラム評価ハンドブック：社会課題に向けた評価方法の基礎・応用、晃洋書房。
■米原あき、佐藤真久、長尾眞文（2022）『SDGs時代の評価: 価値を引き出し、変容を促す営み』筑波書房。
■米原あき（2021）「SDG教育目標にみる理念志向ターゲットの評価に関する一考察：測定可能性（measurability）から評価可能性（evaluability）へ」『日本評価研究』21（2）:31-46。
■米原あき（2019）協働型プログラム評価実践における「協働型社会調査」: 参加型のアプローチでエビデンスを創出する試み 『評価クオータリー』 50:2-17。
■米原あき（2016）「学び」の一環としての「評価」：協働型で行うプログラム評価の可能性『日本/ユネスコパートナーシップ事業ESDの教育効果（評価）に関する調査研究報告書』。