平成 28 年度

文部科学省委託調査「検定試験の第三者評価に関する調査研究」報告書

特定非営利活動法人全国検定振興機構
平成 29 年 3 月

目次Ⅰ．調査の概要

1

１．調査の目的

1２．調査の内容

1

３．
「検定試験の第三者評価検討委員会」委員構成

2

Ⅱ．第三者評価における評価項目及び評価方法について

3

１．第三者評価における評価項目について

3

２．第三者評価の評価方法

15

３．第三者評価結果の通知方法

21

４．審査結果に対する不服申し立てへの対応について

23

Ⅲ．第三者評価の試行について

24

１．運営・組織評価【フルセット版（仮）
】の試行

24

２．運営・組織評価【簡易版（仮）
】の試行

28

３．質的評価の試行

32

４．第三者評価の試行から得られた課題等

37

Ⅳ．第三者評価の推進に資する研修会
１．検定試験の質的向上のためのテスト理論について

40

資料編

41

【資料】第三者評価の在り方に関する検討委員会及び開催経過42

I. 調査の概要
１．調査の目的
民間による検定試験は、学習成果を評価するものとして意義があるものであるが、検定試験が学習成果を適切に評価するものとして更に活用されるためには、その質の向上が図られる必要がある。そこで、中央教育審議会答申「個人の能力と可能性を開花させ、全員参加による課題解決社
会を実現するための教育の多様化と質保証の在り方について」（平成 28 年 5 月 30 日）は、評価を通じた検定試験の質の改善と向上のため、検定試験の評価の枠組みを整理している。
このため、本調査研究においては、民間検定試験の質を保証するための評価手法の有効性、安定性、継続性等を確保するための仕組みとして、検定試験の第三者評価の在り方等を検討するものである。

２．調査の内容「検定試験の第三者評価に関する検討委員会」「運営・組織評価検討委員会」「質的評価検討委員会」を設置し、以下の調査研究を実施した。

（１）運営・組織評価【フルセット版（仮）】の試行《調査期間》2016 年 11 月 11 日（金）～2016 年 12 月 28 日（木）《調査対象》事業規模：中規模、検定分野：教育・学術《調査方法》書類審査及び実地審査（２）運営・組織評価【簡易版（仮）】の試行《調査期間》：2016 年 11 月 14 日（月）～2016 年 12 月 22 日（木）《調査対象》事業規模：小規模、検定分野：趣味・教養《調査方法》書類審査（３）質的評価の試行《調査期間》2016 年 10 月 11 日（火）～2017 年 1 月 25 日（水）《調査対象》事業規模：大規模、検定分野：語学《調査方法》書類及び文書によるヒアリング審査（４）第三者評価の推進に資する研修会
テーマ：検定試験の質的向上のためのテスト理論について
講

師：全国検定振興機構理事長吉田博彦氏

日 時：平成 29 年 2 月 20 日（月）会

場：国立オリンピック記念青少年総合センター国際会議室
1３．「検定試験の第三者評価検討委員会」委員構成
各委員会の位置づけ①検定試験の第三者評価に関する検討委員会③質的評価検討委員会②運営・組織評価検討委員会①「検定試験の第三者評価に関する検討委員会」委員
高野敬三（明海大学副学長・英語教育専門家）

服部

環

村木

英治（東北大学名誉教授・テスト理論専門家）（法政大学教授 教育学博士・テスト理論専門家）

山川 一陽（日本大学名誉教授 博士〔法学〕・弁護士）吉田博彦（座長・当機構理事長）

渡辺良（国立教育政策研究所名誉所員・学識経験者）②「運営・組織評価検討委員会」委員
金野栄太郎（公認会計士・税理士法人のぞみ会計社）

田部井
村木

進也（駿河台大学指導員・コンサルタント）
英治（東北大学名誉教授・テスト理論専門家）

山川 一陽 （日本大学名誉教授 博士〔法学〕
・弁護士）
吉田

博彦

（座長・当機構理事長）

渡辺良（国立教育政策研究所名誉所員・学識経験者）③「質的評価検討委員会」委員
高野敬三（明海大学副学長・英語教育専門家）

服部

環

松香

洋子（玉川大学講師・英語教育専門家）

吉田博彦（座長・当機構理事長）

渡辺良（法政大学教授 教育学博士・テスト理論専門家）（国立教育政策研究所名誉所員・学識経験者）
以上敬称略、五十音順
2

Ⅱ．第三者評価における評価項目及び評価方法について
第三者評価の評価項目については、文部科学省が平成 22 年にまとめた「検定試験の評価
ガイドライン（試案）」を基本に第三者評価の実施に必要なツール「審査項目記入シート」を作成した。また昨年度実施した「検定試験における第三者評価に関する調査研究」の結果を踏まえ、第三者評価の実施に必要なツール「問題内容評価表」を作成した。

１．第三者評価における評価項目について（１）運営・組織評価【フルセット版（仮）】の評価項目
表 1-1 運営・組織評価【フルセット版（仮）】における評価項目の概要
小項

該当

目数

のみ

1-1 組織5

1-2 財務大項目

1 実施主体2 実施内容3 実施手続

中項目

重み◎

重み○

重み△

0

1

1

3

4

1

0

2

2

1-3 その他

2

0

1

0

1

2-1 目的

1

0

1

0

0

2-2 内容

5

4

1

1

3

2-3 手段

2

1

1

0

1

2-4 その他

1

0

0

1

0

3-1 事前準備

6

2

2

2

2

3-2 試験実施

14

9

4

2

8

3-3 事後対応等

2

0

0

1

1

3

0

1

0

2

4-2 継続的な学習支援

2

0

0

0

2

5-1 実施主体

3

0

0

3

0

5-2 実施内容

3

0

0

3

0

5-3 実施手続

3

0

0

3

0

5-4 検定結果の利用促進

1

0

0

1

0

5-5 継続的な学習支援

1

0

0

1

0

58

17

12

21

25

4 検定結果の活用促進・ 4-1 検定結果の活用促進
継続的な学習支援
5 情報公開計

該当のみ・・・該当する場合に審査を行う項目

3

具体的な評価項目
運営・組織評価【フルセット版（仮）】で評価する具体的な評価小項目は、以下の 58 項目である。

1 実施主体
1-1 組織(1) 検定試験を実施する組織としての理念や目的が明確である。
(2) 検定試験を実施することの社会的使命が明確である。
(3) 検定試験を実施する組織（役職員体制、事務処理体制、作問体制、危機管理体制等）
が、検定試験の目的、使命を達成するための組織として適切に構成されている。
(4) 手続等に関する問い合わせ、試験後の問い合わせ先が設置され、受検願書やホームページ等に適切に公開されている。
(5) 目標(Ｐｌａｎ)－実行(Ｄｏ)－評価(Ｃｈｅｃｋ)－改善(Ａｃｔｉｏｎ)というＰＤ
ＣＡサイクルに基づき、組織的・継続的に事業を改善している。

1-2 財務(6) 実施主体の財務経理情報を備えている（検定試験を継続して実施している場合には、複数年分）（財務経理情報の例）

収支計算書、貸借対照表、財産目録等(7) 財務経理担当者等に対する内部牽制体制が確立されている。
(8) 財務経理に関して、定期的または適宜監査を受けている。
(9)【公益性のある実施主体の場合】（該当団体のみ）
検定事業とその他の事業との関係や財務経理情報等の区分けが明確である。

1-3 その他(10) 情報公開する項目や方法などを明確に定めている。
(11) 受検者の個人情報保護に関する方針やマニュアル等が整備されている。

2 実施内容2-1 目的(12) どのような知識・技能を測るかという検定試験の目的が明確である。

2-2 内容(13) 検定試験の内容が以下の点で明確で、検定試験の目的にかなっている。
＜検定試験で測る具体的な知識・技能とその水準＞
領域（分野）／対象層（受検資格等）／試験範囲／難易度／その他(14)【他に類似試験がある場合】（該当団体のみ）類似試験との関係性を学習者や利用者に分かりやすく示している。
4

(15)【学校の単位認定や進学、就職等の際に活用される検定試験の場合】（該当団体のみ）
当該検定試験と学校教育や職業能力との関係性が示されている。
(16)【学校教育で活用される検定試験の場合】（該当団体のみ）
学習指導要領等に準拠している明確な説明等がなされている。
(17)【受検資格を制限する試験の場合】（該当団体のみ）
年齢制限や事前の講座受講の有無等によって受検資格が制限されている場合には、その合理的な理由が示されている。

2-3 手段(18) 知識・技能の測定手法（筆記試験、ＣＢＴ試験、実技試験、面接試験等）、審査・採点の基準が明確である。
(19)【特に IT などの技術革新が著しい分野の場合】（該当団体のみ）
内容や手段、認定基準（合格基準）等の見直しを一定期間ごとに行うなどの取組を、継続的に実施する体制となっている。

2-4 その他(20) 試験結果から得られるデータ等に基づき、検定試験の内容や測定手法、審査・採点基準等について、質の確保や継続的な改善を図っている。

3 実施手続3-1 事前準備(21) 試験の実施規則・要項等の受検手続が定められている。
(22) 試験実施前の情報管理対策（情報管理マニュアルの整備や担当者への研修・注意喚起など）が講じられている。 （例） 試験問題、解答等の作成、印刷、搬送、保管(23) 受検者に対し十分な出願期間が確保されている。
(24) 受検料の適正性・妥当性について点検・検証されている。
(25) 【学校の単位認定や進学・就職等の際に活用される検定試験の場合】（該当団体のみ）
児童・生徒等が不利益を被らないように、配慮がなされている。
(26)【コンピュータを使って行う試験の場合】（該当団体のみ）PC の稼働状況等に関し、試験の前までに十分なチェックを行う体制が整えられている。

3-2 試験実施(27) 試験監督業務のマニュアル等が定められており、試験実施会場・機関に事前に配付されており、試験監督者等の共通理解が図られている。
(28) 受検者の本人確認は、顔写真を添付した受検票の用意や身分証による照合など、本人確認が確実に行われるよう講じられている。
(29) 受検者の不正行為・迷惑行為防止に対しての対応がなされている。
5

(30）試験当日、天災や交通機関の遅延等があった場合には、試験開始時刻の変更や再受検の容認など、受検機会の確保について配慮されている。
(31) 障がい者について、検定試験の目的や内容、規模等に応じた一定の配慮が考慮されている。
(32)【試験監督者の外部委託等を行う場合】（該当団体のみ）
外部受託者等（法人・個人等）を総括する責任者が配置されている。
(33)【試験監督者の外部委託を行う場合】（該当団体のみ）
受検手続きに関する共通理解を図り、円滑に試験監督業務を遂行できるよう試験監督者への説明・研修が実施されている。
(34)【試験を個別会場（法人・学校・塾等）で行うことを認めている場合】（該当団体のみ）試験実施運営の管理が適切になされている。
(35）【試験を個別会場（法人・学校・塾等）で行うことを認めている場合】（該当団体のみ）受検手続きに関する共通理解を図り、厳正公平・適切に試験実施を遂行できる体制がとられている。
(36）【コンピュータを使って行う試験の場合】（該当団体のみ）ID とパスワード等で本人確認が行われている。
(37)【コンピュータを使って行う試験の場合】（該当団体のみ）
システムの冗長化等、機器に不具合が生じても試験が継続できる体制が整えられている。
(38)【コンピュータを使って行う試験の場合】（該当団体のみ）
何らかの理由で試験が途中で止まっても、停止箇所から試験が再開できる等、バッ
クアップリカバリー体制が整えられていること。
(39)【児童・生徒や学生を対象とした検定試験の場合】（該当団体のみ）
受検者の利便性確保の観点から、公平性を保った上で、試験実施会場として学校や民間教育施設等が活用されている。
(40)【試験実施会場として学校や民間教育施設等を活用している場合】（該当団体のみ）
公平性・公正性が確保（試験日、試験監督の体制、試験会場に試験に関する掲示物が無いか等）されている。

3-3 事後対応等(41) 試験結果に関する一般情報（受検者数及びその構成、合格者数、合格率等）が、適切に公開されている。
(42) 受検者への学習支援の観点から、試験問題や正答が公開されている（ただし、試験の性質上、公開することができないものを除き、事後の作問等に影響を及ぼさない
範囲で）6

4 検定結果の活用促進・継続的な学習支援
4-1 検定結果の活用促進(43) 検定試験の結果を証明する合格証や認定証等が発行されている。
(44) 合格証や認定証等が発行されている場合には、受検者が獲得した又は保持している知識・技能の内容が一見して判断し得る記載がある。
(45) 試験結果の活用に係るニーズを把握するための取組（受検者や利用者（学校・企業
等）に対するアンケート調査等）が行われている。

4-2 継続的な学習支援(46) 段階的・継続的な学習をサポートする過去問題、類似問題などの参考となる資料が提供されている。
(47) 学習意欲の促進のため、受検者の知識・技能レベルなどの情報を提供している。

5 情報公開5-1 実施主体(48) 実施主体の「組織」に関する情報が公開されている。
(49) 実施主体の「財務」に関する情報が公開されている。
(50) 実施主体の「情報公開や個人情報保護の方針等」に関する情報が公開されている。

5-2 実施内容(51) 検定試験の「目的」に関する情報が公開されている。
(52）検定試験の「内容」に関する情報が公開されている。
(53) 検定試験の「手段」に関する情報が公開されている。

5-3 実施手続(54) 検定試験の「事前準備」に関する情報が公開されている。
(55) 検定試験の「試験実施」に関する情報が公開されている。
(56) 検定試験の「事後対応」に関する情報が公開されている。

5-4 検定結果の利用促進(57)「検定結果の利用促進」に関する情報が公開されている。

5-5 継続的な学習支援(58) 検定試験の「継続的な学習支援」に関する情報が公開されている。

7

（２）運営・組織評価【簡易版（仮）】の評価項目
表 1-2 運営・組織評価【簡易版（仮）】における評価項目の概要
小項

該当

目数

のみ

1-1 組織3

1-2 財務大項目

1 実施主体2 実施内容3 実施手続4 検定結果の活用促進／
情報公開

中項目

重み◎

重み○

重み△

0

1

1

1

3

0

0

1

2

1-3 その他

2

0

1

0

1

2-1 目的

1

0

1

0

0

2-2 内容

4

3

1

1

2

2-3 手段

1

0

1

0

0

2-4 その他

1

0

0

1

0

3-1 事前準備

5

1

2

2

1

3-2 試験実施

12

8

4

2

6

3-3 事後対応等

2

0

0

1

1

4-1 検定結果の活用促進

1

0

1

0

0

4-2 実施主体（情報公開）

2

0

0

2

0

4-3 実施内容（情報公開）

3

0

0

3

0

4-4 実施手続（情報公開）

1

0

0

1

0

41

12

12

15

14

計

該当のみ・・・該当する場合に審査を行う項目

具体的な評価項目
基本的な考え方として、運営・組織評価【簡易版（仮）】で評価する評価小項目は、運営・組織評価【フルセット版（仮）】での評価小項目（58 項目）から、重要度の高い◎項目及び試験の実施運営の基礎となる項目を残し、公共的・サービス的な要素のある項目を削除した。
具体的な評価小項目は、以下の 41 項目である。

1 実施主体
1-1 組織(1) 検定試験を実施する組織としての理念や目的が明確である。
(2) 検定試験を実施する組織（役職員体制、事務処理体制、作問体制、危機管理体制等）
が、検定試験の目的、使命を達成するための組織として適切に構成されている。
8

(3) 手続等に関する問い合わせ、試験後の問い合わせ先が設置され、受検願書やホームページ等に適切に公開されている。

1-2 財務(4) 実施主体の財務経理情報を備えている（検定試験を継続して実施している場合には、複数年分）（財務経理情報の例）

収支計算書、貸借対照表、財産目録等(5) 財務経理担当者等に対する内部牽制体制が確立されている。
【注】項目（5）は、今回の試行審査によって書類審査では評価不能と判明したために、審査項目から削除した。
(6) 財務経理に関して、定期的または適宜監査を受けている。

1-3 その他(7) 情報公開する項目や方法などを明確に定めている。
(8) 受検者の個人情報保護に関する方針やマニュアル等が整備されている。

2 実施内容2-1 目的(9) どのような知識・技能を測るかという検定試験の目的が明確である。

2-2 内容(10) 検定試験の内容が以下の点で明確で、検定試験の目的にかなっている。
＜検定試験で測る具体的な知識・技能とその水準＞
領域（分野）／対象層（受検資格等）／試験範囲／難易度／その他(11)【他に類似試験がある場合】（該当団体のみ）類似試験との関係性を学習者や利用者に分かりやすく示している。
(12)【学校の単位認定や進学、就職等の際に活用される検定試験の場合】（該当団体のみ）
当該検定試験と学校教育や職業能力との関係性が示されている。
(13)【学校教育で活用される検定試験の場合】（該当団体のみ）
学習指導要領等に準拠している明確な説明等がなされている。

2-3 手段(14) 知識・技能の測定手法（筆記試験、ＣＢＴ試験、実技試験、面接試験等）、審査・採点の基準が明確である。

2-4 その他(15) 試験結果から得られるデータ等に基づき、検定試験の内容や測定手法、審査・採点基準等について、質の確保や継続的な改善を図っている。

3 実施手続9

3-1 事前準備(16) 試験の実施規則・要項等の受検手続が定められている。
(17) 試験実施前の情報管理対策（情報管理マニュアルの整備や担当者への研修・注意喚起など）が講じられている。 （例） 試験問題、解答等の作成、印刷、搬送、保管(18) 受検者に対し十分な出願期間が確保されている。
(19) 受検料の適正性・妥当性について点検・検証されている。
(20)【コンピュータを使って行う試験の場合】（該当団体のみ）PC の稼働状況等に関し、試験の前までに十分なチェックを行う体制が整えられている。

3-2 試験実施(21) 試験監督業務のマニュアル等が定められており、試験実施会場・機関に事前に配付されており、試験監督者等の共通理解が図られている。
(22) 受検者の本人確認は、顔写真を添付した受検票の用意や身分証による照合など、本人確認が確実に行われるよう講じられている。
(23) 受検者の不正行為・迷惑行為防止に対しての対応がなされている。
(24) 障がい者について、検定試験の目的や内容、規模等に応じた一定の配慮が考慮されている。
(25)【試験監督者の外部委託等を行う場合】（該当団体のみ）
外部受託者等（法人・個人等）を総括する責任者が配置されている。
(26)【試験監督者の外部委託を行う場合】（該当団体のみ）
受検手続きに関する共通理解を図り、円滑に試験監督業務を遂行できるよう試験監督者への説明・研修が実施されている。
(27)【試験を個別会場（法人・学校・塾等）で行うことを認めている場合】（該当団体のみ）試験実施運営の管理が適切になされている。
(28)【試験を個別会場（法人・学校・塾等）で行うことを認めている場合】（該当団体のみ）受検手続きに関する共通理解を図り、厳正公平・適切に試験実施を遂行できる体制がとられている。
(29)【コンピュータを使って行う試験の場合】（該当団体のみ）ID とパスワード等で本人確認が行われている。
(30)【コンピュータを使って行う試験の場合】（該当団体のみ）
システムの冗長化等、機器に不具合が生じても試験が継続できる体制が整えられている。
(31)【コンピュータを使って行う試験の場合】（該当団体のみ）
何らかの理由で試験が途中で止まっても、停止箇所から試験が再開できる等、バッ10

クアップリカバリー体制が整えられていること。
(32)【児童・生徒や学生を対象とした検定試験の場合】（該当団体のみ）
受検者の利便性確保の観点から、公平性を保った上で、試験実施会場として学校や民間教育施設等が活用されている。

3-3 事後対応等(33) 試験結果に関する一般情報（受検者数及びその構成、合格者数、合格率等）が、適切に公開されている。
(34) 受検者への学習支援の観点から、試験問題や正答が公開されている（ただし、試験の性質上、公開することができないものを除き、事後の作問等に影響を及ぼさない
範囲で）4 検定結果の活用促進／情報公開
4-1 検定結果の活用促進(35）検定試験の結果を証明する合格証や認定証等が発行されている。

4-2 実施主体（情報公開）(36) 実施主体の「組織」に関する情報が公開されている。
(37) 実施主体の「情報公開や個人情報保護の方針等」に関する情報が公開されている。

4-3 実施内容（情報公開）(38) 検定試験の「目的」に関する情報が公開されている。
(39) 検定試験の「内容」に関する情報が公開されている。
(40) 検定試験の「手段」に関する情報が公開されている。

4-4 実施手続（情報公開）(41) 検定試験の「事前準備」に関する情報が公開されている。

11

（３）質的評価の評価項目
表 1-3 質的評価における評価項目の概要
小項

該当

目数

のみ

1-1 テスト設計

3

1-2 測定内容

大項目

1 テストの妥当性

2 テストの得点信頼性

中項目

重み◎

重み○

重み△

0

1

1

1

9

4

4

5

0

1-3 尺度構成

4

1

0

4

0

2-1 テスト設計

1

0

1

0

0

2-2 問題制作の信頼性

1

0

0

0

1

2-3 採点手続きの信頼性

1

0

0

0

1

19

5

6

10

3

計

該当のみ・・・該当する場合に審査を行う項目

具体的な評価項目
質的評価で評価する具体的な評価小項目は、以下の 19 項目である。

1 テストの妥当性
1-1 テスト設計
テスト作成段階で設計（測定領域・測定形式・設問数・問題内容等）が的確にされており、
問題内容、解答形式の基準が明確である。
(1) 測定目的に対して、測定手法や問題内容（設問文・設問設定等）が妥当である。
(2) 解答形式、解答時間、配点等が設計図通りに作成され、テスト結果も妥当である。
(3) 問題内容の表現、語法、提示順序及びレイアウト、回答方法の説明等で、不注意によって誤った回答が導かれることを防止するための教示が具体的になされている。

1-2 測定内容
テストの測定対象が明確である。
(4) 測定しようとする特性（上位概念）が明確に定義されていて、テストがその定義に従い制作されている。
(5) 測定しようとする特性（上位概念）が、複数の下位の特性で構成されている場合は、その構造が明確である。
テスト全体の測定内容が明確である。
(6) 出題領域（分野）が、当該検定試験で定義されたものに合致している。
12

(7) 出題範囲が、当該検定試験で定義されたものに合致している。
問題項目の測定内容が明確である。
(8) 各問題項目は、当該問題項目で測定したい特性を適切に測定している。
(9) １つの問題項目は１つの特性のみを測定するように設計されている（２つ以上の特性を測定する際は検定の目的に則り適切に設計されていることが必要）【日本の学校教育（教育・指導目的・進学・入試・単位取得等）で活用される検定試
験の場合】（該当検定試験のみ）
学習指導要領等に準拠している明確な説明等がなされている。
(10) 学習指導要領と検定試験の構成概念が合致していることが明確である。
(11) 学習指導要領の各事項が検定試験の問題項目において適切に測定している。
【国際基準の共通参照枠等を公表している検定試験の場合】（該当検定試験のみ）
ＣＥＦＲ等の信頼性に関する証拠が明確である。
(12) 信頼性の根拠となる明確な証拠が存在する。

1-3 尺度構成
判定基準が明確である。
(13) 審査・採点・合否の基準が明確であるとともに、可視化した文書として存在する。
尺度構成が適切である。
(14) テスト得点あるいは合否基準等の水準の一貫性が保持されている。
(15) 出題の困難度尺度が、当該検定試験で定義されたものに合致している。
【コンピュータを使って行う試験の場合】（該当検定試験のみ）
通常のテストと同様の結果が得られるような配慮がなされている。
(16) 同じ検定試験をＰＰＴとＣＢＴ等、異なる媒体で実施する場合は、両者の結果の等質性が保証されていること（システムの応答速度、受検者のコンピュータに対する知識等が異なっても同じ結果が得られるかどうか）

２ テストの得点信頼性
2-1 テスト設計
テストの信頼性に関する証拠が明確である。
(17) 信頼性係数が数量的に明示されている、あるいはそれに準ずる証拠が明示されている。

2-2 問題制作の信頼性
問題項目作成者の選定・トレーニングを適切に行っている。
(18) 具体的な人員選定・トレーニングの方式が定義されている（問題の内容・表現が、テストの目的に照らし合わせて適切に作成するためのトレーニング等）

2-3 採点手続きの信頼性13

採点手続きの設計が適切に行われている。
(19) 具体的な採点手続きに関する方式が定義されている（特に主観的な評定によって採点を行うテスト「記述式試験」「実技試験」「面接試験」等において、採点基準が明確で、すべての評定者が理解し共有しているかどうか等）【用語解説】〔妥当性〕テストが本来測ろうとしている受検者の特性を正確に測定しているか、という概念。
〔信頼性〕測定対象が変化しない限り安定したテスト結果が得られる度合い（測定の一貫性の度合い）。
〔特性〕認識能力、物理的能力、技術、知識、態度、人格特徴等のようにテストで測定される人間の属性特性の総称。
〔特性（上位概念）・下位の特性〕例：英語の場合の特性（上位概念）
・・・『コミュニケー
ション力』、下位の特性・・・英語のコミュニケーション力を『読む力』
『書く力』
『聞く力』
『話す力』の４つで構成。
〔尺度〕テストで測られた特性について、一定のルールに基づいて定量的に示すために設けられる基準のこと。特性は基本的に一元的な尺度上に数値として表すことが求められる。
〔ＰＰＴ〕紙ベースのテスト（Paper and Pencil Test）〔ＣＢＴ〕コンピュータベースのテスト（Computer-Based Testing）〔ＣＥＦＲ〕外国語の学習、教授、評価のためのヨーロッパ共通参照枠（Common European
Framework of Reference for Languages: Learning, teaching, assessment）〔信頼性係数〕テスト得点の誤差が含まれる割合を１から除いた値。信頼性係数が高いほど、測定対象が変化しない限り、テスト結果は同様の結果になる。
※一般的にテスト理論での用語解説は専門用語が多いため、本用語解説は少々の誤差があってもわかりやすい表現を使用することとした。

14

２．第三者評価の評価方法
第三者評価の評価方法の基本的な考え方
第三者評価の評価方法の基本的な考え方については以下のとおり。
（１）昨年実施した第三者評価の試行結果を踏まえ、最終評価を「A 評価」「B 評価」「C 評価」「不適合（不合格）」から呼称を改め「S 評価」「A 評価」「B 評価」「C 評価」の 4区分とした。
表 2 第三者評価

判定表

15

（２）運営・組織評価については、前表 1-1、1-2 の大項目毎の段階評定を行い、総合的な評価を行った。

（詳細は、以下「第三者評価の具体的な評価方法」を参照）

第三者評価の具体的な評価方法（１）運営・組織評価【フルセット版（仮）】の評価方法
最終的な評価・・・「S 評価」「A 評価」「B 評価」「C 評価」の 4 区分とする。
【第三者評価に関しての具体的な評価方法】
1) 各小項目評価（58 項目）の合計得点における段階評定を行う。
2) 大項目毎の段階評定（評価分野は「実施主体」「実施内容」「実施手続」「検定結果の活用促進・継続的な学習支援」「情報公開」の 5 項目）を行う。
3)「合計得点（小項目の合計得点）」に基づき評価区分を定め、「小項目の評価」と「大項目毎の評価」の 2 要因を不適合要件として加味し総合的な最終判定を行う。
4) 最終的な評価の判定方法は以下のとおり。
4)-1
各小項目を内容の重要度に応じて、「◎・○・△」の 3 段階に区分して「重み」を付ける。
◎（5 点）○（3 点）△（1 点）4)-2
各小項目への回答に対して、以下 a～e の 5 段階で評価を行い、a、b の評価を「達成（合格）」と判定し、c、d、e の評価を「未達成（不合格）」と判定する。
a：「十分達成されている」
b：「おおむね達成されている」
c：「一部達成されている」
d：「あまり達成されていない」
e：「ほとんど達成されていない」
4)-3-1
総合得点（すべての小項目の合計得点・満点）の「85%」
・
「75%」
・
「65%」を「各評価ライン」の閾値として設定する。
（下記表 3-1 参照）
表 3-1
満点
148

S 評価

A 評価

B 評価

85%

75%

65%

126 以上111 以上

96 以上

C 評価
95 以下

【項目数と得点は、検定試験の分野や形態等によって異なる】※得点誤差を想定し「60%（89 点）」以上獲得し C 評価になった検定試験は再評価を行うこととする。
4)-3-2
大項目評価毎の点数（満点）の「90%」・「80%」・「65%」を「各評価ライン」の閾値として設
16

定する。
なお大項目評価毎の段階評定は「評価 1」「評価 2」「評価 3」「不合格」とする（下記表3-2 参照）。
評価項目

表 3-2
1 実施主体2 実施内容3 実施手続重み別項目数
◎
○
△

◎

組織
財務

1

5

その他
目的
内容

1
1
1
1

手段
その他
事前準備
試験実施

事後対応等
4 検定結果の活用促進・ 検定結果の活用促進
継続的な学習支援
継続的な 学習支援
5 情報公開
実施主体
実施内容
実施手続
検定結果の利用促進
継続的な 学習支援

2
4

1
2

3
2
1

1

3
1

1
2
2
1

2
8
1
2
2

1
3
3
3
1
1

5
5
5
5
10
20

得点率（閾値）

重み付得点
○
△

3
6

3
2
1

3

3
1

3
6
6
3

5

2
8
1
2
2

9
9
9
3
3
得点合計（満点）

満点

11
8
25
6
5
11
25
6
3
18
56
34
4
7
9
2
9
9
33
9
3
3
148

評価1

評価2

評価3

90%

80%

65%

23

20

16

23

20

16

50

45

36

8

7

6

30

26

21

※小数点以下は四捨五入。大項目評価が 65％に届かない場合は「不合格」とする。

174)-3-3「合計得点（小項目の合計得点）」に基づき評価区分を定め、「小項目の評価」と「大項目毎の評価」の 2 要因を不適合条件として加味し総合的な最終判定を行う。
表 3-3
評価区分

総合得点

得点率

不適合条件
1) 大項目評価 1 から 5 で「評価３」が１つでもあった場合は「A評価」とする

126 点

85%

以上

以上

S 評価

125 点～

75%

111 点

以上

110 点～

65%

96 点

以上

A 評価

B 評価
C 評価

2) 小項目評価の「◎」の重みの項目に１つでも不合格の場合は「B 評価」とする
3) 大項目評価 1 から 5 で「不合格」が１つでもあった場合は「C評価」とする
1) 大項目評価 1 から 3 で「評価３」が２つあった場合は「B 評価」とする
2) 大項目評価 1 から 5 で「評価３」が３つ以上あった場合は「B評価」とする3) 小項目評価の「◎」の重みの項目に１つでも不合格の場合は「B 評価」とする
4) 大項目評価 1 から 5 で「不合格」が１つでもあった場合は「C評価」とする
1)大項目評価 1 から 5 で「不合格」が１つでもあった場合は「C 評価」とする

95 点以下

5) 評価区分の呼称・・・「認証 S」「認証 A」「認証 B」「認証 C」とする。
（各認証の位置付けは前表「表 2 第三者評価

判定表」参照）（２）運営・組織評価【簡易版（仮）】の評価方法
最終的な評価・・・「A 評価」「B 評価」「C 評価」の 3 区分とする。
【第三者評価に関しての具体的な評価方法】
1) 各小項目評価（41 項目）の合計得点における段階評定を行う。
2) 大項目毎の段階評定（評価分野は（「実施主体」「実施内容」「実施手続」「検定結果の活用促進／情報公開」の 4 項目）を行う。
3)「合計得点（小項目の合計得点）」に基づき評価区分を定め、「小項目の評価」と「大項目毎の評価」の 2 要因を不適合要件として加味し総合的な最終判定を行う。
4) 最終的な評価の判定方法は以下のとおり。
4)-1
各小項目を内容の重要度に応じて、「◎・○・△」の 3 段階に区分して「重み」を付ける。
◎（5 点）○（3 点）△（1 点）

184)-2
各小項目への回答に対して、以下 a～e の 5 段階で評価を行い、a、b の評価を「達成（合格）」と判定し、c、d、e の評価を「未達成（不合格）」と判定する。
a：「十分達成されている」
b：「おおむね達成されている」
c：「一部達成されている」
d：「あまり達成されていない」
e：「ほとんど達成されていない」
4)-3-１
総合得点（すべての小項目の合計得点・満点）の「75%」・「65%」を「各評価ライン」の閾値として設定する。（下記表 4-1 参照）
表 4-1
満点
119

A 評価

B 評価

75%

65%

89 以上

77 以上

C 評価
76 以下

【項目数と得点は、検定試験の分野や形態等によって異なる】※得点誤差を想定し「60%（71 点）」以上獲得し C 評価になった検定試験は再評価を行うこととする。
4)-3-2
大項目評価毎の点数（満点）の「90%」・「80%」・「65%」を「各評価ライン」の閾値として設定する。
なお大項目評価毎の段階評定は「評価 1」「評価 2」「評価 3」「不合格」とする（下記表
4-2 参照）。
表 4-2
評価項目
重み別項目数
大項目◎○

得点率（閾値）

重み付得点

△

◎

○

△

評価１ 評価２ 評価３
満点

90%

80%

65%

１．実施主体

2

2

4

10

6

4

20

18

16

13

２．実施内容

3

2

2

15

6

2

23

21

18

15

３．実施手続

6

5

8

30

15

8

53

48

42

34

４．検定結果の活用促進／情報公開

1

6

23
119

21

18

15

5
18
合計得点（満点）※小数点以下は四捨五入。大項目評価が 65％に届かない場合は「不合格」とする。
4)-3-3「合計得点（小項目の合計得点）」に基づき評価区分を定め、「小項目の評価」と「大項目毎の評価」の 2 要因を不適合条件として加味し総合的な最終判定を行う。

19

表 4-3
評価区分

総合得点

得点率

A評価

89点以上

75%以上

不適合条件
1) 小項目評価の「◎」の重みの項目に１つでも不合格の場合は「B評価」とする
2) 大項目評価 1 から 3 で「評価３」が２つあった場合は「B評価」とする
3) 大項目評価 1 から 4 で「不合格」が１つでもあった場合は「C評価」とする

B評価

88点～

65%以上

1)大項目評価 1 から 4 で「不合格」が１つでもあった場合は「C評価」とする

77点
C評価

76点以下

5) 評価区分の呼称・・・「認証 A」「認証 B」「認証 C」とする。
（各認証の位置付けは前表「表 2 第三者評価

判定表」参照）（３）質的評価の評価方法
最終的な評価・・・「S 評価」「A 評価」「B 評価」「C 評価」の 4 区分とする。
【問題内容の第三者評価に関しての具体的な評価方法】
1) 各小項目評価（19 項目）の合計得点における段階評価を行う。
2) 「合計得点（小項目の合計得点）」に基づき評価区分を定める。
3) 評価の判定方法は以下のとおり。
3)-1
各小項目を内容の重要度に応じて、「◎・○・△」の 3 段階に区分して「重み」を付ける。
評価得点：◎（5 点）○（3 点）△（3 点）3)-2
各小項目への回答に対して、評価得点に基づき評価を行い、小項目の点数合計を確定させる。
3)-3
総合得点（すべての小項目の合計得点：満点）を算出し「85%」・「75%」・「65%」を「各評価ライン」の閾値として設定する。（下記表 5 参照）
表5
満点
88

S 評価

A 評価

B 評価

85%

75%

65%

75 以上

66 以上

57 以上

C 評価
56 以下

【項目数と得点は、検定試験の分野や形態等によって異なる】※得点誤差を想定し「60%（53 点）」以上獲得し C 評価になった検定試験は再評価を行うこととする。
4) 評価区分の呼称・・・「認証 S」「認証 A」「認証 B」「認証 C」とする。
（各認証の位置付けは前表「表 2 第三者評価

20

判定表」参照）

３．第三者評価結果の通知方法
第三者評価の評価結果の通知方法について検討を行い、以下のとおり通知方法の案を作成した。
第三者評価では、自己評価では気付かなかった今後の取組の参考となる改善のポイントが明らかになることが期待されるため、「運営・組織評価」「質的評価」共に、被評価団体への結果は、「結果表（表 6）」にて以下Ⅰ～Ⅲの内容を通知し、併せて「評価コメント（表 7）」
にてⅣの内容を通知する。
※実際の通知（結果表のフォーム）は、評価方法及び被評価団体によって異なる。
Ⅰ. 評価結果（評価Ｓ・Ａ・Ｂ・Ｃ）
Ⅱ. 評価認証期間
Ⅲ. 評価概要（中項目毎の得点等）
Ⅳ. 各小項目の評価・得点及び中項目毎の評価コメント
表 6 結果表21

表 7 評価コメント
評価結果表●●検定の「運営・組織に関する項目」【５段階評価の目安】

見 本

ａ ：十分達成されている ｂ ：おおむね達成されている ｃ ：一部達成されている ｄ ：あまり達成されていない ｅ ：ほとんど達成されていない

小項目
大項目

第三者評価機関が記入
評価
重み

中項目
評価項目

評価の観点

1

検定試験を実施する組織としての理念や 理念・目的が受験者に認知されるよう簡潔に明目的が明確である。
示されている媒体等が存在する。

△

2

検定試験を実施することの社会的使命が 社会的使命が受験者に認知されるよう簡潔に明明確である。
示されている媒体等が存在する。

△

3
1-1
組織

4

5

１ 実施主
体
6

7
1-2
財務
8

9
該

10
1-3
その他
11

検定試験を実施する組織（役職員体制、 検定試験を確実に実施運営するための、以下の事務処理体制、作問体制、危機管理体制 整備がなされている。
等）が、検定試験の目的、使命を達成す ※備えている組織体制についてチェックするるための組織として適切に構成されてい □役職員体制□事務処理体制□作問体る。
制□危機管理体制□その他（）
手続等に関する問い合わせ、試験後の問 設置されている場合は、連絡先、受付時間、Ｕ
い合せ先が設置され、受検願書やホーム ＲＬなどを具体的に記載されている媒体等が存
ページ等に適切に公開されている。
在する。

目標(Ｐｌａｎ)－実行(Ｄｏ)－評価(Ｃ 実際に組織としてどのような仕組みでPDCAが行
ｈｅｃｋ)－改善(Ａｃｔｉｏｎ)という われいるか等の考え方が存在する。
ＰＤＣＡサイクルに基づき、組織的・継続的に事業を改善している。

実施主体の財務経理情報を備えている。 財務経理情報として、以下のものが整備がなさ（検定試験を継続して実施している場合 れている。
※備えている情報についてチェックするには、複数年分。）□収支計算書□貸借対照表□財産目録（財務経理情報の例）□その他（）
収支計算書、貸借対照表、財産目録等
財務経理担当者等に対する内部牽制体制 どのような内部牽制体制がとられているか。
が確立されている。
財務経理に関して、定期的または適宜監 どのような監査がなされているか。
査を受けている。
□受けている（□内部監査、□外部監査、□その他）□受けていない（理由：）【公益性のある実施主体の場合】検定事業とその他の事業との税務経理情報の区検定事業とその他の事業との関係や財務 分けの考え方と実行方法はどのようになされて経理情報等の区分けが明確。
いるか。

情報公開する項目や方法などを明確に定 どのように定めているか。（団体内の規定・内
めている。
部規定等）

受検者の個人情報保護に関する方針やマ どのように定めているか。（団体内の規定・内ニュアル等が整備されている。
部規定等）・プライバシーマークの認定等

22

◎

○

△

○

△

△

○

△

◎

評価
（ａ～ｅ）

得点

評価コメント４．審査結果に対する不服申し立てへの対応について
第三者評価の評価結果に対し、被評価団体から不服があった場合の不服申し立ての仕組みについて検討を行い、以下のとおり対応案を作成した。
【基本的な考え方】
被評価団体から第三者評価結果に関して質問・不服等があった際には、質問については対応
し、評価結果について再審査等の要望があれば基本的に再審査を行う。ただし再審査の申請期
限は、評価結果認定日から 6 ヶ月以内とする。
【手続き】（１）検定実施団体が第三者評価機関へ第三者評価内容に関して不服箇所及びその理由を提示
し再審査を申請する。
（２）第三者評価機関で申請内容を確認後、当該検定実施団体の審査を行った審査委員会に再審査を依頼する。
（３）審査委員会が必要と認めた場合、再審査を行い、再審査結果を作成する。
（４）第三者評価機関が審査委員会から再審査結果を受領し、第三者評価機関から検定実施団体に再審査結果を連絡する。

【留意点】○上記（２）第三者評価機関で内容を確認し、結果が変わらないと見込まれる場合も、審査委員会
へ報告をして確認を取る。
○上記（３）再審査を行う場合、被評価団体からの申請で指摘のあった箇所の再審査を基本とするが、必要に応じて他の箇所の再審査を行う可能性もある。
○上記（３）再審査を行う場合の再審査の方法は、申請内容により異なる。
○再審査の費用は原則として、被評価団体の負担（審査料の半額程度を上限とする）とし、再審査結果にさらに不服があった場合の再審査申請回数は３回を限度とする。
23

Ⅲ．第三者評価の試行について
１．運営・組織評価【フルセット版（仮）】の試行
1-1 試行のプロセス
今回実施した運営・組織評価【フルセット版（仮）】の試行プロセスは、以下のとおり。
①申請書類等の提出
被評価団体 →全国検定振興機構事務局②申請書類等の確認
全国検定振興機構事務局③申請書類等の審査及び実地審査での確認事項の洗い出し
審査員（全国検定振興機構事務局職員）3 名④実地審査
全国検定振興機構事務局 2 名及び運営・組織評価検討委員 1 名⑤審査結果に基づく評価の検討（評価結果（案）の作成）
全国検定振興機構事務局⑥評価結果（案）の報告、運営・組織検討委員会評価結果（案）の検討
全国検定振興機構事務局→「運営・組織評価検討委員会」（2 ページ参照）⑦運営・組織評価検討委員会評価結果（案）の報告、評価結果の検討及び承認
全国検定振興機構事務局→「検定試験の第三者評価に関する検討委員会」（2 ページ参照）⑧評価結果の連絡
全国検定振興機構事務局→被評価団体

1-2 申請に必要な書類
第三者評価を申請する検定実施団体が作成し、提出を求めた主な書類は以下のとおり。
(1) 検定試験認証制度申請書
申請する検定実施団体名、連絡先、申請する検定試験名等を記入したもの。
(2) 基本情報シート
申請する検定試験に関する基本的な情報を記入する書類。検定試験名、試験実施概要、実績等を記入。
(3) 審査項目記入シート【フルセット版（仮）】審査対象となる項目（表 1-1 の具体的な評価項目等）を示した書類。検定実施団体の組織に関する情報、検定試験の運営状況等について記入。
(4) 付属資料（原則として最新版）
1)定款（申請時点）

24

2)役員名簿
3)組織図
4)実施団体概要（会社案内等）
5)自己評価シート
6)受検案内・願書・受検票等、資料一式
7)資格・検定試験についての情報（パンフレット等）
8)審査基準・問題・解答用紙
9)試験実施者・試験監督者への説明資料
10)結果通知票・フィードバック案内等
11)合格証書・証明書等
1）～11) 必須
12)付属説明資料（提出可能な場合）（ア） 申請の日の属する事業年度の直前の事業年度末における事業報告書及び収支決算書（イ） 業務分掌（ウ） 問題作成委員名簿（エ） 評価基準（採点基準）（オ） 学習指導要領等に準拠している根拠となる資料

25

1-3 第三者評価の試行結果
運営・組織評価【フルセット版（仮）】の試行は、事業規模が中規模（年間受検者数が 1
万人～10 万人）で、検定分類が教育・学術に属する「Ｘ検定試験」を実施する特定非営利活動法人に協力を依頼した。「Ｘ検定試験」に対する試行結果は以下のとおり。

26

〔評価の概要〕
Ｘ検定試験の第三者評価の試行については、Ｓ評価基準 85%及び不適合条件を共にクリアし、「評価Ｓ」と判定された。以下に具体的な評価コメントの一部を要約し記す。今後、これらの指摘事項を改善することにより、Ｘ検定試験はより信頼性が増すものと考えられる。
〔評価コメント〕○組織に関しては、ホームページ・パンフレット等で、概ね確認が取れ、ほぼ十分な水準に達していると考えられる。ただし、危機管理体制では、各会場に配布する試験実施マニュアルの中に天災発生時等の対応の記載がないこと、ＰＤＣＡサイクルによる改善では、試験会場からの意見の吸い上げが十分とは言えないことなど、今後、改善できる点が見受けられる。
○情報公開・個人情報の取扱いについては、概ね整備されている。ただし、情報公開に関する内部規約の整備等の細かい点での改善が必要。
○検定試験の内容については、検定試験で測る具体的な知識・技能とその水準、領域（分野）等が明確で、検定試験の目的にかなっている。
○学習指導要領との関係資料についての整備はなされているが、その全面的な公開が期待される。
○受検者への実施手続き等の広報は十分になされており、また、受検日程の設定についても年複数回公開会場の設置を行うなど、受検者の利便性を考慮した十分な水準に達している。ただし、実施手続きにおける事前準備の問題作成から試験実施に至るまでのプロセスの中で、問題受渡し時の確認などで不充分な点が見受けられた。
○試験実施運営については、委託業務として外注しているが、その実施状況の把握が十分になされていない。実際の運用内容をチェックすることが必要。
○公開会場の試験監督業務マニュアルでは、級別に時系列で遂行業務が記載されており、不正受検に疑義がある際の初期対応方法などで優れた点があるものの、細かい点で、受検者への配慮に欠けている。特に試験会場においてマニュアルに記載のない事項が発生した際の対応が不明確なので、本部にて事例を蓄積した内規等を作成し、対応に濃淡がでないよう平等・公平な対応を取る事が望ましい。
○受検者数及びその構成、合格者数、合格率が適切に公開されており、試験日翌日には正答も公開されており、優良な水準に達している。
○継続的な学習支援においては、受検者の知識・技能レベルなどの情報について、合格者・不合格者ともに分野別の得点等を結果通知で提供しており、優良な水準に達している。
○情報公開に関しては、実施内容についてホームページを中心に万遍なく公開されており、継続的な学習支援についても、各級の上位級との関係等、過去問題・類似問題等の情報、必要となる
学習内容、合格までの標準的な学習時間、受検者（不合格者）の現状の知識、その他の情報等について万遍なく公開されており、全般的に優良な水準に達している。ただし、試験当日の緊急事
態発生時（地震・大雪・台風等）の情報公開に改善の余地がある。

27

２．運営・組織評価【簡易版（仮）】の試行
2-1 試行のプロセス
今回実施した運営・組織評価【簡易版（仮）】の試行プロセスは、以下のとおり。
①申請書類等の提出
被評価団体 →全国検定振興機構事務局②申請書類等の確認
全国検定振興機構事務局③申請書類等の審査
審査員（全国検定振興機構事務局職員）3 名④審査結果に基づく評価の検討（評価結果（案）の作成）
全国検定振興機構事務局⑤評価結果（案）の報告、運営・組織評価検討委員会評価結果（案）の検討
全国検定振興機構事務局→「運営・組織評価検討委員会」（2 ページ参照）⑥運営・組織評価検討委員会評価結果（案）の報告、評価結果の検討及び承認
全国検定振興機構事務局→「検定試験の第三者評価に関する検討委員会」（2 ページ参照）⑦評価結果の連絡
全国検定振興機構事務局→被評価団体

2-2 申請に必要な書類
第三者評価を申請する検定実施団体が作成し、提出を求めた主な書類は以下のとおり。
(1)検定試験認証制度申請書
申請する検定実施団体名、連絡先、申請する検定試験名等を記入したもの。
(2)基本情報シート
申請する検定試験に関する基本的な情報を記入する書類。検定試験名、試験実施概要、実績等を記入。
(3)審査項目記入シート【簡易版（仮）】審査対象となる項目（表 1-2 の具体的な評価項目等）を示した書類。検定実施団体の組織に関する情報、検定試験の運営状況等について記入。
(4)付属資料（原則として最新版）
1)定款（申請時点）
2)役員名簿3)組織図
4)実施団体概要（会社案内等）
5)自己評価シート
6)受検案内・願書・受検票等、資料一式
287)資格・検定試験についての情報（パンフレット等）
8)審査基準・問題・解答用紙
9)試験実施者・試験監督者への説明資料
10)結果通知票・フィードバック案内等
11)合格証書・証明書等
1）～11) 必須
12)付属説明資料（提出可能な場合）（ア） 申請の日の属する事業年度の直前の事業年度末における事業報告書及び収支決算書（イ） 業務分掌（ウ） 問題作成委員名簿（エ） 評価基準（採点基準）（オ） 学習指導要領等に準拠している根拠となる資料

29

2-3 第三者評価の試行結果
運営・組織評価【簡易版（仮）】の試行は、事業規模が小規模（年間受検者数が 1 万人未満）で、検定分類が趣味・教養に属する「Ｙ検定試験」を実施する公益財団法人に協力を依頼した。「Ｙ検定試験」に対する試行結果は以下のとおり。

30

〔評価の概要〕
Ｙ検定試験の第三者評価の試行については、Ａ評価基準 75%及び不適合条件を共にクリア
し、「評価Ａ」と判定された。以下に具体的な評価コメントの一部を要約し記す。
今回の第三者評価の試行より、課題として浮かび上がってきたこれらの事項を改善する
ことにより、Ｙ検定試験は、より信頼性が増すものと考えられる。
〔評価コメント〕○組織に関しての評価は、検定試験を実施する上で一定水準に達している。理念・目的については、明確に示されており、また手続等に関する問い合わせ、試験後の問い合せ先が設置され、受検願書やホームページ等に適切に公開されている。ただし、事務処理体制について
は最少人数で運営していること、試験当日の試験運営を現場の判断に任せていることなど、
危機管理体制において改善の余地がある。
○検定試験の内容については、検定試験で測る具体的な知識・技能とその水準、領域（分野）等が明確で、検定試験の目的にかなっているが、当該検定試験と学校教育や職業能力及び学習指導要領との関係性についての調査・公開が必要。
○実施手続きにおける事前準備では、試験の実施規則・要項、出願期間、受検料等が概ね適切に定められ良質な水準に達しているが、問題・答案の取扱いについて、明確に定められていないため、管理面での改善が必要。
○試験実施では、受検者の本人確認の点においても、全受検者に対して顔写真での確認を行うなど、全般的に良質な水準に達しているが、細かな改善点が見受けられた。（例えば、試験監督者用マニュアルに具体的な対応が記載されていないため、現場判断となり、平等・公平の観点から改善が必要）○実施手続きにおける事後対応については、過去問題は公開されているものの、受検者数及びその構成、合格者数等が有料機関紙のみの一部公開になっており、ホームページ等での公開が求められる。
○検定結果の活用促進については、合格証明書に合格級が示す知識・技能が判断できる記載があり、また合格者のデータ管理も概ねなされており、一定の水準に達している。
○実施内容、実施手続きに関する情報公開は、ホームページ・パンフレット・実施要綱等に検定試験の領域、受検手続、出願期間、出願方法、受検料等について公開されており、概ね良質な水準に達している。

31

３．質的評価の試行
3-1 試行のプロセス
今回実施した質的評価の試行プロセスは、以下のとおり。
①試験問題等の提出
被評価団体→全国検定振興機構事務局②試験問題等の審査審査員（その分野の専門知識を持つ有識者）各レベル 3 名ずつのべ 21 名
③審査結果に基づく評価の検討（評価結果（案）の作成）
審査員及び全国検定振興機構事務局④上記③にて生じた確認事項について被評価団体に問い合わせ（質問状の作成）
全国検定振興機構事務局→被評価団体⑤評価結果（案）及び上記④にて回答済み質問状の報告、質的評価検討委員会評価結果（案）の検討
全国検定振興機構事務局→「質的評価検討委員会」（2 ページ参照）⑥質的評価検討委員会評価結果（案）の報告、評価結果の検討及び承認
全国検定振興機構事務局→「検定試験の第三者評価に関する検討委員会」（2 ページ参照）⑦評価結果の連絡
全国検定振興機構事務局→被評価団体

3-2 申請に必要な書類
第三者評価を申請する検定実施団体が作成し、提出を求めた主な書類は以下のとおり。
(1)問題内容評価表
審査対象となる項目（表 1-3 の具体的な評価項目等）を示した書類。
検定実施団体が各項目について自己評価を行い記入。
(2)付属資料
1)資格・検定試験についての情報（パンフレット等）
2)問題・解答用紙32

3-3 第三者評価の試行結果
質的評価の試行は、事業規模が大規模（年間受検者数が 10 万人以上）で、検定分類が語学に属する「Ｚ検定試験」を実施する公益財団法人に協力を依頼した。
試行結果はレベルごとに作成。「Ｚ検定試験」に対する試行結果は次のとおり。

33

レベルＢ

評価 S

大項目
1 テストの妥当性

2 テストの得点信頼性

レベルＣ

中項目

満点

獲得得点

1-1 テスト設計

22 点

21 点

95%

1-2 測定内容

35 点

31 点

89%

1-3 尺度構成

9 点

9 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

77 点

71 点

92%

中項目

満点

獲得得点

1-1 テスト設計

22 点

21 点

95%

1-2 測定内容

35 点

32 点

91%

1-3 尺度構成

15 点

15 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

83 点

78 点

94%

中項目

満点

獲得得点

1-1 テスト設計

22 点

21 点

95%

1-2 測定内容

35 点

32 点

91%

1-3 尺度構成

15 点

15 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

83 点

78 点

94%

評価 S

大項目
1 テストの妥当性

2 テストの得点信頼性

レベルＤ
大項目
1 テストの妥当性

2 テストの得点信頼性

得点率

得点率

評価 S

34

得点率

レベルＥ

評価 S

大項目
1 テストの妥当性

2 テストの得点信頼性

レベルＦ

中項目

満点

獲得得点

1-1 テスト設計

22 点

21 点

95%

1-2 測定内容

35 点

32 点

91%

1-3 尺度構成

9 点

9 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

77 点

72 点

94%

中項目

満点

獲得得点

1-1 テスト設計

22 点

22 点

100%

1-2 測定内容

35 点

32 点

91%

1-3 尺度構成

12 点

12 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

80 点

76 点

95%

中項目

満点

獲得得点

1-1 テスト設計

22 点

22 点

100%

1-2 測定内容

30 点

26 点

87%

1-3 尺度構成

12 点

12 点

100%

2-1 テスト設計

5 点

4 点

80%

2-2 問題制作の信頼性

3 点

3 点

100%

2-3 採点手続きの信頼性

3 点

3 点

100%

合計得点

75 点

70 点

93%

評価 S

大項目
1 テストの妥当性

2 テストの得点信頼性

レベルＧ
大項目
1 テストの妥当性

2 テストの得点信頼性

得点率

得点率

評価 S

35

得点率

〔評価の概要〕
Ｚ検定試験の第三者評価の試行については、審査を実施した全てのレベルにおいてＳ評
価基準 85%をクリアし、「評価Ｓ」と判定された。以下に具体的な評価コメントの一部を要約し記す。
今回の第三者評価の試行より、課題として浮かび上がってきたこれらの事項を改善する
ことにより、Ｚ検定試験は、より信頼性が増すものと考えられる。
〔評価コメント〕○Ｚ検定試験が発行している案内冊子に明示されている「測定技能数」と実際の測定技
能数に齟齬が見受けられ、特に下位のレベルにおいては測定されていない技能も存在する。
○「学習指導要領と試験の構成概念の合致」や「学習指導要領の各事項が問題項目において適切に測定されているか」という項目についてＺ検定試験では問題項目が適切に測定されていることがあまり明確になっていなかったため、審査が難航した。よって次期
学習指導要領においては、より明確な準拠が示されることを期待したい。
○特に下位のレベルにおいては中学校程度の推奨目安でありながら、対象年齢の受検生が馴染みの薄い状況設定での問いが見受けられることなどもあるため、今一度検証を求めたい。
○「２．テストの得点信頼性」における項目１７．「テストの信頼性に関する証拠が明確である」について、クロンバックのα係数を求めているとの説明がＺ検定試験から回答があったが、数値の公開を期待したい。また、項目反応理論に依拠して個人の尺度値を求める場合、尺度値ごとに標準誤差を推定できるので、標準誤差の値（例えば、いくつかの尺
度値に対応する標準誤差）を公開することにより、信頼性の高さを示すことができると考えられる。
【用語解説】〔クロンバックのα係数〕信頼性係数の推定法で使われる指標の１つ。

36

４．第三者評価の試行から得られた課題等
4-1 運営・組織評価試行審査を実施しての課題
今回、実際に第三者評価の試行審査を行った審査員から課題を挙げていただき、「検定試
験の第三者評価に関する検討委員会」にて検討を行った。
○審査項目について審査項目の中には、問題内容についての項目も入っているため、組織・運営に関する項目と問題内容の項目について整理して評価することが必要。また 1 つの評価項目に複数の観点が入っていると審査が困難なため、一項目に対して一観点とし、明確な回答をもらうことができると、より客観的な審査が可能になる。ただし一項目に１つの観点であれば評価はし易いが、組織や総務に関する評価などは、総合的・複合的な判断が必要な項目もある
ため、第三者評価機関がそれぞれ検討し、評価項目を決めていく事が望ましい。
○審査基準について
現在の審査基準は小項目の合否判定の境目である「b」以上のみを定めているが、小項目の判定で「a」と「b」の審査基準が明確ではないため、審査員によってばらつきが生じた。審査結果に差が出ないようにするためには、「a」と「b」の審査基準をより具体的に示すことが考えられる。今後は、例えばこれ以上の改善余地がない場合に「a」、改善の余地がある場合に「b」と明確にすることで、現行の審査基準で対応は可能である。
○「判定表」と合格ラインとの整合性について
現状では、【フルセット版（仮）】の「Ｓ判定」では、『実施運営・組織ともに極めて優良な水準であり、国家資格・大学一般入試・企業の採用等での活用が可能』となっている。
今後、大学入試に検定試験が活用されるようになった場合、現在の「判定表」または合格ラインを見直すことが考えられる。なお、第三者評価結果は絶対的な価値ではなく、被評価団体に改善を促すことを目的としているため、現時点での評価を示したものである、という説明を行うことが求められる。引き続き検討が必要。
○審査内容について
大学一般入試での活用を考えると、書類審査、検定実施団体での実地審査に加えて試験実施
当日の運営状況の審査も必要となってくる。今後の検討が必要である。

37

○運営・組織評価【簡易版（仮）】審査について
書類審査のみで実施する運営・組織評価【簡易版（仮）】の審査では、提出資料だけでは審査できる十分な情報を得ることができず、追加資料の依頼及びヒアリングが必要となった。今後は、審査項目ごとに必要な提出書類を明確にし、場合によっては、ヒアリングや実地審査を加えることも考えられるが、第三者評価は、試験実施運営及び組織を保障する
ものではなく、その改善を促すことを目的としている。このため簡易版では必要な提出書類を明確にし、被評価団体が提出してきたものを審査する、ということで良いのではないか。
○「該当項目」について
今回の試行審査で、審査する検定試験が「該当項目」に該当するのかの判断については、被評価団体からの自己申告か、第三者評価機関が判断するかが、課題として上がったが、運営・組織評価は、試験の実施・運営及び組織の改善を促すことを目的としているため基本的に該当項目は被評価団体が該当するかどうか判断すれば良いのではないか。
4-2 質的評価試行審査を実施しての課題○過去問題の公開について
これまでは「受検者が学習を進めるためにも、学習できる素材を提供すべきである」という世の中の要請に応じて過去問題を公開しているのが一般的な考え方であったが、テスト
問題の質的向上のためには問題を非公開とし、問題を改善していくという方法が国際的に行われている方法である。今後も日本の検定やテストはそうあるべきなのか検討を要する。
○「学習指導要領との整合性について」
学習指導要領との整合性についての評価にあたっては、どこに照準をおいて合致しているとみるかによって評価が変わってくる。
○審査員の審査方法について
今回の審査では各レベル 3 名の審査員による事前審査を行い、その評価結果を踏まえて親委員会である「質的評価検討委員会」で最終的な各レベルの評価作業を行った。基準作りという観点においては各レベル 3 名ずつの審査員による事前審査は有効であったと考えられる。一方、審査員が担当するレベルがバラバラであったため、審査基準の統一のためにも、3 人中、
1 人は全てのレベルを横断的に審査する仕組みを構築するべきではないかという意見が審査員からも質的評価検討委員会からも出た。また、試験問題の審査にあたっては、審査員の属性により、審査に偏りが出る可能性もあるため、審査員には多様なバックグラウンドを持38

った人選を行うことも今後の検討課題としたい。

39

Ⅳ．第三者評価の推進に資する研修会
１．検定試験の質的向上のためのテスト理論について
開催日時：平成 29 年 2 月 20 日（月）14:00～16:00
開催場所：国立オリンピック記念青少年総合センター
国際交流棟
講

国際会議室（東京都渋谷区）

師：全国検定振興機構理事長吉田博彦氏

テーマ：検定試験の質的向上のためのテスト理論について
参加者数：49 名（32 団体）
内容：「テストの品質」「テストの信頼性と妥当性」と具体的な事例を基に、信頼され安心して受検できる検定試験の在り方について講演。講演後の質疑応答では会場から様々な質問が飛び出し、活発な意見交換が行われた。

40

資

【資料】

料

編

第三者評価の在り方に関する検討委員会及び開催経過41

【資料】第三者評価の在り方に関する検討委員会及び開催経過「検定試験の第三者評価に関する検討委員会」委員
高野敬三（明海大学副学長・英語教育専門家）

服部

環

村木

英治（東北大学名誉教授・テスト理論専門家）（法政大学教授 教育学博士・テスト理論専門家）

山川 一陽（日本大学名誉教授 博士〔法学〕・弁護士）吉田博彦（座長・当機構理事長）

渡辺良（国立教育政策研究所名誉所員・学識経験者）
敬称略、五十音順

開催経過
第 1 回検定試験の第三者評価に関する検討委員会
開 催 日：平成 28 年 9 月 27 日（火）10：00～12：00
開催場所：東海大学校友会館（東京都港区）
議

事：分科会「運営・組織評価検討委員会」「質的評価検討委員会」の設置、試行対象
検定事業者の選定等

第 2 回検定試験の第三者評価に関する検討委員会
開 催 日：平成 29 年 2 月 8 日（水）14：00～17：00
開催場所：東海大学校友会館（東京都港区）
議事：第三者評価の試行結果及び課題の検討、審査結果に対する不服申し立てへの対応等「運営・組織評価検討委員会」委員
金野栄太郎（公認会計士・税理士法人のぞみ会計社）

田部井
村木

進也（駿河台大学指導員・コンサルタント）
英治（東北大学名誉教授・テスト理論専門家）

山川 一陽 （日本大学名誉教授 博士〔法学〕
・弁護士）
吉田

博彦

（座長・当機構理事長）

渡辺良（国立教育政策研究所名誉所員・学識経験者）
敬称略、五十音順

開催経過
第 1 回運営・組織評価検討委員会
開 催 日：平成 28 年 10 月 13 日（木）15：00～17：00
42

開催場所：特定非営利活動法人 全国検定振興機構（東京都港区）
議事：第三者評価試行方法、試行結果の通知方法、試行実地審査員について等

第 2 回運営・組織評価検討委員会
開 催 日：平成 29 年 1 月 23 日（月）14：00～16：00
開催場所：特定非営利活動法人 全国検定振興機構（東京都港区）
議事：検定試験の運営・組織に関する評価結果及び試行結果の通知方法、審査結果に対する不服申し立てへの対応、試行審査を実施しての課題検討等「質的評価検討委員会」委員
高野敬三（明海大学副学長・英語教育専門家）

服部

環

松香

洋子（玉川大学講師・英語教育専門家）

吉田博彦（座長・当機構理事長）

渡辺良（法政大学教授 教育学博士・テスト理論専門家）（国立教育政策研究所名誉所員・学識経験者）
敬称略、五十音順

開催経過
第 1 回質的評価検討委員会
開 催 日：平成 28 年 10 月 25 日（火）10：00～12：00
開催場所：特定非営利活動法人 全国検定振興機構（東京都港区）
議事：第三者評価試行方法、試行結果の通知方法等

第 2 回質的評価検討委員会
開 催 日：平成 29 年 1 月 26 日（木）10：00～13：00
開催場所：TKP 新橋カンファレンスセンター（東京都港区）
議

事：問題内容に関する評価の試行に際しての基本的な流れ、試行結果の通知方法等

43