自己評価票を利用した
日本語教育プログラム満足度評価
札野寛子

キーワード プログラム評価、満足度、自己評価、日本語能力、日本文化・
社会理解

１．はじめに日本語教師にとって、担当した学習者が、指導内容や方法、そして得られた成果に対して満足してくれたかどうかは、自分の仕事を振り返る上で大いに関心のあることである。一方、この学習者の満足は、日本語教育プログラム全体を評価する上でも重要な評価課題である。なぜなら、プログラムとは、本来特定の対象者が持つある社会的なニーズに対して、計画的にサービスを提供する活動（Owen １９９９）であるから、サービスの受け手が「満足した」ということは、彼らのニーズを充たすことができたというプログラム成果の裏付けと言える。それに対して、「満足しなかった／不満だった」ということは、彼らの求めるものを十分な量、適切な形で提供できなかった、満足を妨げた要因がプログ
ラム運営上にあったということである。言い換えれば、このような障害となる要因を改善していくことが、プログラムの質を高めることにつながるわけである。したがって、プログラム評価において満足度を評価するということは、サービスの受け手からプログラム成果の裏付けを得る方策であり、かつ改善のための情報を得る手段であると言える。
しかし、現状の日本語教育分野での学習者の満足度評価は、終了時に単発的に、アンケートで「満足でしたか」「何が不満でしたか」と質問することがほとんどで、評価の目的や方法などについて、綿密な計画のもとに行われているものとは言えない。今後、より多くの日本語教育プログラムで評価の実践を重ね、プログラム評価のノウハウを蓄積していく必要がある。
そこで、筆者は担当する日本語教育プログラムの評価に取り組み、その一環として満足度評価を行った。この評価では、「満足の対象」を1プログラムが提供したサービス…来日手続き援助、日本語教授、文化理解の指導、生活支援
13

札野寛子

14

2サービスを受けた自分の変容…日本語能力の向上、文化理解の進展の二つに区別した。区別した理由は、1では学習者はサービスの受け手として受動的に満足度を判断するのに対し、2では学習者本人の日本語学習への意欲などが満足の度合いを左右すると考えたからである。そこで、これらは別々の評価課題として扱い、1に対しては一般に用いられているような終了時アン
ケート、2に対しては自作の自己評価票を主たるツールとして利用した。
本論では、後者の自己評価票を用いた満足度評価に注目し、その実施概要を報告することと、今回の評価の「評価」（メタ評価）を通して、利用した自己評
価票の利点や今後の課題を考察することを目的とする。

２．評価概要２．１．評価対象プログラム概要
今回対象としたプログラムは、毎夏６週間に渡って開催される「金沢工業大
学日本語教育特別プログラム（以下KIT-IJST と略）」である。２００
３年度の参加者は米国の理工系専攻の大学生３２名（うち１名は途中帰国）であった。日本語
クラスは、この３２名を３レベルに分けて、教員６名で担当した。他に文化人類学専門の米国人教員が日本事情を担当した。生活面は英語がわかる国際交流室
日本人職員２名がサポートした。また日本人学生を、会話パートナー１０名、プロジェクトパートナー３
２名、アルバイトの身分で採用した。
プログラム実施の目的は、1参加留学生の日本語能力（基礎的な科学技術日
本語を含む）の向上を図る、2留学生の日本の文化や社会に対する理解を深めさせる、3本学学生に対して国際交流についての意識を啓蒙するの３点である。この目的達成を目指して、プログラムでは、既習日本語知識の復習および会話実践練習、科学技術関連日本語表現の学習、日本人学生と１対１のペアでの科学技術に関したプロジェクト学習、英語での日本文化・社会に関する講義
および学外見学などを１２０時間の授業時間で実施している。
プログラム期間中、留学生は大学敷地内にあるアパート１区画を２人ずつで利用する。このアパートの建物には参加者共有のラウンジもあり、日本人学生も出入りできる。パートナーとして採用した日本人学生の他にも、国際交流を目的としたサークルのメンバーなどが、このラウンジをベースに留学生と交流している。

自己評価票を利用した日本語教育プログラム満足度評価

15

２．２．評価目的・評価課題・下位の質問
今回のプログラム評価の「評価目的」は「プログラムの目的を達成できているかを確認し、今後どのような点を改善すべきか検討するための情報を得ること」である。この目的のもとで、本論で詳述する留学生の「自分の変容に対する満足度評価」の「評価課題」および「下位の質問」を以下のように設定した。
評価課題

留学生はプログラムで得られた成果に満足しているか

下位の質問

1留学生にとって日本語能力および日本文化・社会理解の向上はどの程度重要か2日本語能力および日本文化・社会理解はどの程度向上したか
3日本語能力および日本文化・社会理解のうち、どのような分野の能力が伸びたか
4プログラムで得られた成果に対してどの程度満足しているか
5不満なことは何か

２．３．実施概要
２．３．１．評価ツールと実施方法
データ収集には、主たるツールとして、日本語能力と文化・社会理解度の伸びを測る自作の自己評価票を利用した。この自己評価票は、記名式でプログラ
ム開始時に使用する「事前評価票」と終了時に用いる「事後評価票」、それに「判定基準ガイドライン説明」から成る（資料１）。留学生には、毎回この３部を１セットにして渡して、事前−事後で比較を行うことを説明する。これらの自己評価票の記述は、すべて英語である。日本語能力に関する自己評価は、会話能力が中心である。
留学生は、まず開始時に「事前評価票」に、「参加目的の重要度（以下『目的重要度』と略）」を５段階の選択肢で回答する。続いて「判定基準ガイドライン」を参考にして、「会話能力」と「文化・社会に関する理解度（以下『文化・社会理解度』）」を自己評価する。そして終了時に、「事前評価票」の記述を自分のベースラインデータとして踏まえながら、「事後評価票」で「目的重要度」と「会話能力」、「文化・社会理解度」を再度自己評価する。さらに関連の質問と、満足度に関する質問に回答する。プログラムの前後二段階で評価を行う形式を用いた理由は、最後に一度だけ「どのくらい上達したか」と尋ねる形式よりも、留学生本人が自分の上達の度合いを客観的に認識しやすくなると考えたからである。
会話能力に関する「判定基準ガイドライン」には、ACTFL-OPIの各能力レベルに関する基準説明と、以前OPIテスターであった筆者がそれを簡略にしたも

札野寛子

16

のを用いた。文化・社会理解度には、米国ウィスコンシン州の外国語能力達成
基準の文化面に関する基準説明1を利用した。
目的重要度と満足度評価に用いた５段階の選択肢は、「４＝１００％」を「大変重要／満足」、「０＝０％」を「全く重要でない／満足していない」とする尺度で、その中間を「３＝７５％」「２＝５０％」「１＝２５％」と設定した。
２．３．２．データ分析方法
分析作業では、目的重要度、会話能力、文化・社会理解度に関して、事前−
事後の回答データを数値化して、その差を求めた。会話能力と文化・社会理解度については、事前−事後の平均値のｔ検定も行った。さらに、会話能力については、自己評価同様に、事前−事後形式で実施した筆記試験と会話テストのスコアの伸びとの相関も調べた。満足度は平均値を求めた。データの解釈には、プログラム全体に関するアンケート、個人面談などで入手した情報も参考
資料として利用した。
２．３．３．評価基準
今回は、留学生全体平均で、日本語能力および文化・社会理解度の伸びに対する満足度が７５％を越えれば、留学生たちがプログラムに満足していると解釈することとした。

３．日本語能力向上に関する自己評価結果
３．１．プログラム参加目的の重要度
この項目は、「下位の質問1留学生にとって日本語能力および日本文化・社会
理解の向上はどの程度重要か」に関連し、参加者がこのプログラムに何を期待して参加したのか、さらにプログラムの前後でその重要度に変化があるかどうかを探るためのものである。この項目を満足度評価に加えた理由は、KIT-IJSTのような夏期集中短期プログラムの場合、参加者全員が日本語上達を第一の目的として参加するとは限らない、もしかなりの参加者が遊び目的で参加しているとしたら、日本語上達に関する満足度評価そのものの信頼性が薄れてしまうと危惧されたからである。さらに、プログラムの前後での重要度の変化からは、このプログラムへの最初の期待の当たりはずれ、すなわちプログラムが彼らのニーズに応えることができたかどうかが見えてくると推測されたからである。

自己評価票を利用した日本語教育プログラム満足度評価

17

回答した留学生３１名全体の各目的ごとの平均値を求めると表１のようになる。この項目で最大に取り得る値は４０. である。「言語能力の向上」は、他の目的よりも重要度が高い、すなわち重要なニーズであることが窺える。これに続く第二位の目的は「日本人との交流、友達作り」である。これらに加えて、「その他」の参加目的には、５名の学生が「副専攻必修単位取得のため」「自分の専門分野に関する日本の技術力を見るため」を挙げ、「４＝１００％」の重要度を選択していた。
ところが、プログラムの前後での変化を見ると、「言語能力の向上」は他の目的よりまだ重要度が高いが、０.２
３ポイントと下がり方が他より大きい。それに対し、「休暇・楽しみ」の重要度が０４. ２ポイントも上昇している。この結果から、
KIT-IJSTが期待通りの言語能力向上の機会であった一方、次第に環境に慣れ楽しむ余裕が出てきて、「せっかくの日本での夏を楽しみたい。」という本音も出てきたと解釈できる。
表１
参加目的

参加目的の重要度
事前平均値

事後平均値

事後−事前の差

言語能力の向上

３８
.７

３６
.５

−０２
.３

文化・社会の理解

２９
.７

３０
.６

０１
.０

生活を通しての文化・社会体験

３２
.３

３１
.６

−００
.６

日本人との交流、友達作り

３３
.５

３４
.８

０１
.３

休暇、楽しみ

２７
.７

３１
.９

０４
.２

３．２．日本語能力の自己評価
この項目では、「下位の質問2日本語能力および日本文化・社会理解はどの程度向上したか」のうちの「日本語能力の向上」度合いを探った。
分析においては、ACTFL-OPIの会話能力判定基準に準拠して、３つの上位レベル（初級／中級／上級）内のそれぞれ３つの下位レベル（下／中／上）を連続したランクと見なし、数値化して処理した（表２）。ただし、隣り合う二つの下位レベルを一つの輪で囲むような回答が数例あったため、下位レベルがひとつ上がると２ランク上がるような設定とし、問題となったような回答はその中間のランクとみなした。

札野寛子

18

表２
上位

自己評価での会話能力レベルのランク

初級

初／中

中級

中／上

下位

下
下 ／
中

中

中
／
上

上

初上／
中下

下

下
／ 中
中

中
／
上

ランク

１ ２

３

４

５

６

７

８ ９ １０ １
１

中上／
上下

上

１
２

上級
下

下
／
中

中

中
／
上

上

１
３ １
４ １５ １６ １７

この項目では、日本語能力の向上の「幅」を見ることが主眼であるため、どのランクからどのランクへ移行したかよりも、各学生がどの程度（何ランク）変化したと判断したか、ランクの変化の量に注目した。
参加者全体とクラスごとの前後のランク差平均をまとめると、表３のようになる。（）の数値は、各クラスでの回答ランクの最低〜最高（例：５〜１１＝一番低い判定は「初級−上」で、高い判定が「中級−上」）を示す。また＜＞は前後の差の最小〜最大（例：０〜５＝「全然伸びなかった」〜「５ランク伸びた」）を示している。各クラスの学生数が異なり、かつ１クラス９名から１３名の少人数であるので厳密な比較ではないが、今回はクラス３の学生が一番上達したと実感していることがわかる。
表３

会話能力自己評価：事前と事後の判定ランクの差の平均
クラス１
クラス２
クラス３
（日本語学習歴１年） （学習歴１〜１.５年） （学習歴２年以上）
９名
９名
１３名

事後ランク平均（回答ランクの幅）
事前ランク平均（回答ランクの幅）
事前−事後差の平均＜前後差の幅＞

８６.７（５〜１１）
６３
.３
（５〜９）
２３
.３
＜０〜５＞

９４
.４
（７〜１
１）
６８
.９
（３〜１
１）
２５
.６
＜０〜６＞

１０７
.７
（３〜１
５）
８０
.８
（３〜１
１）
２６
.９
＜０〜６＞

全体
３
１名
９７
.４
（３〜１
５）
７２
.０
（３〜１
１）
２５
.４
＜０〜６＞

回答者全体の事前−事後の平均の差に対して行ったｔ検定（９５％水準、両側検定）では、ｔ＝７５. ６ ｐ＜.０００
５ 平均差２５. 以上という結果で、有意な差である
ことが明らかになった。平均が２ランク上がることは、会話能力判定基準での下位レベルが１レベル上がることに相当するから、留学生たちは、自分の日本語能力がほぼ下位レベルひとつ分（例：中級の下から中級の中へ変化）上がる
程度上達したと自己評価したことになる。参考までに、自己評価と同様に、事前−事後で同じ内容を用いて実施した筆記試験および会話テストの結果を見ると、両テストでもそれぞれの事前−事後のスコアに対してｔ検定で有意差が認められ、日本語能力が向上したことが確認できた（筆記試験：ｔ＝１２５. ３ ｐ＜自己評価票を利用した日本語教育プログラム満足度評価

19.００
０１、会話テスト：ｔ＝５７. ６ ｐ＜.０００１）。
しかし、表３で各クラスの「回答ランクの幅」を見ると、学習歴２年以上のクラス３で、自分の能力を「３＝初級の中」と判定する学生がいる一方、学習歴１年のクラス１で「１１＝中級の上」の判定もある。さらに、「前後差の幅」も「０＝全く伸びなかった」もあれば「６＝６ランク伸びた」もあることは興味深い。また、自己評価での伸びと、筆記試験および会話テストでの伸びとの間での相関は表４のとおりである。今回は自己評価の伸びと両テストの伸びとの間での相関は見られなかった。これらのことから、学習者の自分の言語能力の認識はかなり主観的であり、伸びに関する判定もかなり厳しいものから甘いものまで個人差が大きいことがわかる。これを踏まえると、適宜学習成果を学習者にフィードバックして実力を知らせることは、自分の能力を低く見る傾向がある学生には自信を持たせる機会である一方、高く見過ぎる学生には実力を再認識させ、もっと熱心に学習に取り組むように助言する格好の機会であると言える。
表４

各種テストとの相関

筆記試験の伸び会話テストの伸び

自己評価の伸び筆記試験の伸び

ｒ＝１０
.０

ｒ＝.５９
５
（かなり強い相関）

ｒ＝.０
９９

会話テストの伸び

ｒ＝.５９
５（かなり強い相関）

ｒ＝１０
.０

ｒ＝.１
１０

自己評価の伸び

ｒ＝.０９
９

ｒ＝.１１
０

ｒ＝１０
.０

３．３．伸びた能力分野／伸びなかった能力分野
続いて「下位の質問3日本語能力および日本文化・社会理解のうち、どのような分野の能力が伸びたか」に対して、各自が伸びたと思う分野と、期待したほど伸びなかった分野に関する回答を分析した。これらの回答は、複数回答（回答者数３１名）でリストアップしてもらった。その結果をまとめると表５のようになる。プログラムの日本語授業で重視している「話す／聞く」という分野の能力が圧倒的に伸びたと感じている学生が多い。さらに、日本人学生らとの交流の影響で、インフォーマルな会話ができるようになったと感じている学
生も１／３いることが興味深い。
これに対し伸びなかったと思う分野には、プログラムであまり重視していな
い「漢字」と「文法」が挙げられた（表６）。文法は、プログラムの方針で、復習を中心としているため、新たな文法知識を得ることがなかったと感じている

札野寛子

20

学生がほとんどのようである。漢字の知識が伸びなかったという学生は、特にクラス１と２に多く見られる。個人面談では「レストランのメニューのように、毎日の生活情報の中の漢字でかなり不便な思いをしているのに、授業ではあまり漢字学習を重視しないため、不満だった」との声が聞かれた。また、「アメリ
カでテストのために学ぶよりも、生活場面に即して覚えた方が漢字が身に付きやすい」との意見もあった。これらの不満は、プログラムの方針と留学生の期待とのずれから生じていると考えられる。
表５

伸びた能力分野

表６

伸びなかった能力分野

順位

技能

学生数

順位

技能

学生数

１．

話す

２
０名

１．

漢字

１１名

２．

聞く

１
７

２．

文法

６

３．

インフォーマルな
会話

１
１

３．

話す

４

４．

語彙

８

５．

文法

８．
９．

／

漢字
発音

／

読む
書く

／

各４
３

全般

各２

３．４．日本語能力向上満足度「下位の質問4プログラムで得られた成果に対してどの程度満足しているか」
では、日本語能力向上度に対する満足度は３２. 点（４.０満点）で、約８割程度満足しており、評価基準の７５％をクリアしている（表７）。したがって、留学生たち
は、日本語能力の向上の度合いに満足したと言える。
表７
日本語能力
向上満足度

日本語能力向上満足度

クラス１

クラス２

クラス３

全体

３２
.２
（＝８０６
. ％）

３０
.６
（＝７
６４
. ％）

３２
.７
（＝８１７
. ％）

３２
.０
（＝７９９
. ％）

３．５．不満なこと「下位の質問5不満なことは何か」に関して、個人面談で得た情報も参考にす
ると、日本語能力が伸びなかったことに対する不満とその主な原因は、以下の２点にまとめられる。

自己評価票を利用した日本語教育プログラム満足度評価

21

1日本語で話すことに自信がなく、積極性が十分でなかった。
学生たちは、最初は日本語で話してみることにかなりの不安を感じていた。
しかしプログラムが終了するころになって、ようやく彼らが話し聞く日本語
は、既に学習した日本語知識でかなり理解できるものであったと気がついた。
もっと最初から怖がらずに話してみればよかったと後悔している。
2自分の知識がまだ不十分である。
もっと日本語を使ってコミュニケーションをしてみたいと思うが、そのためには語彙や文法の知識がまだ不十分であるということを認識した学生が、全ク
ラスに少しずついる。特にクラス１の学生は、既習知識が限られているため、自信が持てず、積極的に話そうという行動に出られなかった。

４．日本文化・社会理解度向上に関する自己評価結果
４．１．プログラム参加目的の重要度「下位の質問1」日本文化・社会の理解の重要度については、前節３．１の表１に示したとおり、プログラムの前後でほとんど変わらない重要度を示している。さらに、日本での生活を通しての文化・社会体験についても、３点前後の重要度を示している。したがって、留学生にとって、このプログラムで、滞在中の体験を通して、日本文化・社会についての理解を深めることが重要な目的であることは明らかである。
４．２．日本文化・社会理解度の自己評価「下位の質問2」の日本文化・社会理解の向上度、および「下位の質問3」の伸びた分野に関する質問では、表８のような評価の観点４分野の各レベルをポ
イントに換算して、プログラムの前後での理解度の差を算出した。

札野寛子

22

表８

文化・社会での評価の観点４分野と換算ポイント
ＰＩ＝Patterns of Interaction（交流のパターン）
フォーマル／インフォーマルな各場面で、敬意を持って文化的に適切な行動ができるか
ＣＡ＝Cultural Activities（文化的行動）
日本文化・社会的な行動を体験し、自国の文化・行動様式と比較対照して捉えることができるか
ＢＡ＝Beliefs & Attitudes（信念および態度）
日本文化における信念および態度を認識し、自国のものと比較して、日本的なものの見方を説明できるか
ＨＩ＝Historical Influences（歴史的影響）
日本の行動様式の背景にある歴史的・哲学的な理由付けができるか

４つの分野

Refining（習得できた段階）
４つのレベルと Transitioning（習得中の段階）
換算ポイント Developing（習得開始した段階）
Novice（何も知らない段階）

３ポイント
２
１
０

参加者全体とクラスごとの事前と事後のレベル差平均をまとめると、表９ のようになる。
表９

日本文化・社会理解度：事前と事後の判定レベルの差の平均

ＰＩ（交流のパターン）

クラス１

クラス２

クラス３

全体

事後レベル平均

１７
.８

１６
.７

１８
.５

１７
.７

事前レベル平均

１３
.３

１２
.２

１３
.１

１２
.９

事後−事前差平均

０４
.４

０４
.４

０５
.４

０４
.８

ＣＡ（文化的行動）

クラス１

クラス２

クラス３

全体

事後レベル平均

１７
.８

２１
.７

２０
.８

２０
.２

事前レベル平均

１０
.０

１７
.２

１３
.１

１３
.４

事後−事前差平均

０７
.８

０４
.４

０７
.７

０６
.８

クラス１

クラス２

クラス３

全体

事後レベル平均

１８
.９

１７
.２

２０
.８

１９
.２

事前レベル平均

０８
.９

１３
.９

１６
.２

１３
.４

事後−事前差平均

１０
.０

０３
.３

０４
.６

０５
.８

ＨＩ（歴史的影響）

クラス１

クラス２

クラス３

全体

事後レベル平均

１０
.０

１３
.３

１４
.６

１２
.９

事前レベル平均

０７
.８

０８
.９

０６
.２

０７
.４

事後−事前差平均

０２
.２

０４
.４

０８
.５

０５
.５

ＢＡ（信念および態度）自己評価票を利用した日本語教育プログラム満足度評価

23

参加者全体での事前と事後の平均値間で、ｔ検定を行ったところ、４分野で有意差が認められた（９５％水準、両側検定：ＰＩはｔ＝４３. ０、ＣＡはｔ＝４７. ７、ＢＡはｔ＝４２. ３、ＨＩはｔ＝４８. １ すべてｐ＜.０００５で有意差あり）。これらの結果から、文化・社会面での自己評価においても、留学生の理解が深まったと解釈できる。ただし４分野の「事後−事前差平均」の平均は０５. ７なので、理解の程度は、レベルが１段階上がるまでには達していない。
続いて、「下位の質問3日本語能力および日本文化・社会理解のうち、どのような分野の能力が伸びたか」に対し、この４分野間の伸び率を比較すると、次のようになる（表１０）。
表１０日本文化・社会理解で伸びた分野

分野／
全体平均

ＰＩ
交流のパターン

ＣＡ
文化的行動

ＢＡ
信念および態度

ＨＩ
歴史的影響

事後レベル平均（x）

１７
.７

２０
.２

１９
.２

１２
.９

事前レベル平均（y）

１２
.９

１３
.４

１３
.４

０７
.４

伸び率（x／y）

１３
.７

１５
.１

１４
.５

１７
.４

この分析では、文化・社会行動に対して歴史的かつ哲学／思想的な理由付けの能力面を測る「歴史的影響」分野の伸び率が高かった。この分野は、プログ
ラム開始時の能力レベルでは４分野の中で飛び抜けて低い０.７４であったから、留学生たちは歴史的かつ哲学／思想的な面での知識をほとんど有していなかった。ほとんど知らなかった分、留学生たちは、このプログラム期間中、日本文化を専門とする米国人文化人類学教師による講義や、さまざまな学外活動を通して、歴史的背景や日本人の考え方について多くのことを学んだ、理解できたという認識をもつことができたと解釈できる。
４．３．印象的な体験、期待しなかったのに良かったこと、思ったより大変だったこと「思ったより大変だっ「印象的な体験」2「期待しなかったのによかったこと」
たこと」についての質問は、「下位の質問」とは直接関連しないが、上述の文化・社会面での理解はどのような体験にもとづくものなのか、またその体験をどのように感じていたのか、実態を探るためのものである。
「印象的な体験」では、日本人学生が同行した１泊２日の穴水セミナーハウス
へのフィールドトリップを挙げた学生が１
３名、週末の各自の旅行が１０名、地元

札野寛子

24

金沢の百万石まつり３名、近隣の神社見学２名であった。その他に、日本人学
生国際交流サークルSGEとの交流を挙げた者が１０名いた。これらの回答を見て気がつくのは、すべてが教室外の活動であることと、プログラム期間中の日本人学生との交流が強い印象を与えていることである。さらに、穴水や神社見学を除いて、教職員の助けを得ず自分たちでいろいろなことにチャレンジしてみて、大変だと感じたり、あるいは自分もできるという自信を得たりした体験が、やはり印象に残るものだということである。
「期待しなかったのに良かったこと」では、多くの学生がSGEの学生などとカ
ラオケや居酒屋にでかける形での交流が楽しかったと答えている。その中で、日本人の振るまいがアルコールのあるなしで大幅に変わることや、ものごとの決定において全体での合意を重視すること、他人への気遣いをすること、日本人も決して理想の国民ではなく男女や人種による差別意識を持っていることな
ど、さまざまなことを発見していたようである。
「大変だったこと」として、半数以上の１８名が、言語コミュニケーションの難しさを挙げている。もう少し自分の日本語が通じるかと思っていたのに、予想以上に意図を伝えるのが難しい、もっと日本語を勉強しなければいけないと痛感した学生もいた。その他には、どのように日本人と交流してよいのかということに苦労した学生が４名、自分がアジア系であることによる交流の難しさを挙げた学生が２名いた。思ったより楽だったと答えた学生は３名であった。
４．４．文化・社会理解満足度
次に、「下位の質問4プログラムで得られた成果に対してどの程度満足しているか」に関して、文化・社会面での理解度の伸びに対する満足度を尋ねた（表１１）。その結果、全体平均で３５. ２点（４０. 満点）、８８％程度の満足度であった。
この数値は、評価基準の７５％をクリアしている。したがって、留学生たちは、
文化・社会面においても理解度の伸びに満足したと言える。
参考までに、この自己評価とは別途行ったプログラム評価終了時アンケート
での、プログラム内容全体に対する満足度に関する質問「KIT-IJST２０
０３に満足していますか」への回答を、４０. 満点に換算して併記する。さらに、表７に示した日本語能力向上満足度も再掲して、これらのスコアの比較を行ってみる。すると、文化・社会面での満足度の方が日本語能力への満足度よりも、有意な差で高い値を示している（ｔ＝９１. ４、９５％水準、両側検定、ｐ＜.０００５）。また日本
語能力向上満足度と全体満足度でも、有意な差が認められる（ｔ＝７.４２、９５％水準、両側検定、ｐ＜.０００５）。その結果、留学生は自分の日本語能力向上に対しては若干厳しい評価をしていることがわかる。それに対し、プログラム全体満自己評価票を利用した日本語教育プログラム満足度評価

25

足度と文化・社会理解満足度の間には有意な差は見られない（ｔ＝０７. ８）。終了
時アンケートは、質問内容の関係からクラス名だけ明記し無記名にせざるを得なかったため、これらの満足度間の相関を算定することはできなかったが、全体の満足度に、日本語能力および文化・社会理解能力向上への満足がそれぞれどの程度貢献しているかは興味深いところである。
表１
１

文化・社会理解満足度

クラス１

クラス２

クラス３

全体

文化・社会理解満足度

３４
.４
（＝８６１
. ％）

３４
.４
（＝８６１
. ％）

３６
.２
（＝９０４
. ％）

３５
.２
（＝８
７９
. ％）

日本語能力
向上満足度（再掲）

３２
.２
（＝８０６
. ％）

３０
.６
（＝７６４
. ％）

３２
.７
（＝８１７
. ％）

３２
.０
（＝７
９９
. ％）

プログラム全体
満足度

３５
.５
（＝８８８
. ％）

３３
.３
（８
３３
. ％）

３７
.７
（＝９４３
. ％）

３５
.５
（＝８
８８
. ％）

４．５．不満な点
最後に「下位の質問5不満な点」では、やはりホームビジットをやってみた
かったという声が６名からあった。その他の学生たちも、キャンセルされた理由がやむを得ないものであったため、敢えて回答には書かなかったが、本来ならホストファミリーとの交流をしたかったというのが、プログラムのいろいろな場面で聞かれた本音である。それ以外にも、宿舎では留学生どうしの集団になるので、つい英語で話をしてしまう、そのために日本人のルームメートがいたらよかったという声のほか、もっと日本人との交流の機会があればというリクエストがいくつかあった。

５．評価結果のまとめ
今回の評価結果を、「下位の質問」ごとにまとめると次のようになる。
1留学生にとって日本語能力および日本文化・社会理解の向上はどの程度重要か終了時の参加目的重要度で、「言語能力の向上」は３６. ５／４０. ０点、「文化・社会の理解」は３０. ６点である。このプログラムで、日本語能力向上および日本文化・社会についての理解を深めることはかなり重要な目的である。
2日本語能力および日本文化・社会理解はどの程度向上したか

札野寛子

26

留学生は、日本語能力が判定基準の下位レベルひとつ分向上したと自覚している。ただし、自己評価と筆記試験、会話テストとの相関はなく、かなり主観的に判断している。またクラス内での個人差も大きい。文化・社会面でも４分野全部で理解が深まったと認識している。しかし、理解の伸びの平均は０５. ７で、判定レベルがひとつ上がるほどは向上していない。
3日本語能力および日本文化・社会理解のうち、どのような分野の能力が伸びたか
言語面では、特に会話技能が向上したと考えている。文化・社会面では、歴史・哲学的な理由付けを行う分野での理解が一番深まった。
4プログラムで得られた成果に対してどの程度満足しているか
日本語能力向上への満足度は約８０％、文化・社会理解への満足度は約８８％で、評価基準の７５％を越えており、留学生は満足していると言える。しかし、日本語能力の伸びの満足は、文化・社会理解の満足ほどではない。
5不満なことは何か
言語面では、プログラムで重点的に指導しなかった「漢字」「文法」能力の伸びに不満を感じている。開始時に自分の日本語能力に自信がないことが、積極的なコミュニケーションの妨げとなっている。文化・社会面では、ホーム
ビジットや日本人ルームメートとの生活など、もっと日本人と接触する体験を望んでいる。
以上の結果から、「評価課題：留学生はプログラムで得られた成果に満足しているか」には、「満足している」という結論を導くことができる。
ただし、この結果を踏まえると、今後のプログラム運営では、以下のような改善への取り組みが必要と考えられる。
・新しい文法を学習することより実践会話練習を重視しているというプログ
ラムの方針をもっと明確に打ち出し、留学生の理解を得る。
・漢字の学習にも配慮する。学習する漢字は、留学生の視点から、彼らが滞在中に頻繁に目にするものを中心に、それらが使われている場面を含めて取り上げるべきである。
・学習者自身の自己評価は個人差が大きいので、実力を再認識させて学習者に適度な自信を持たせたり、学習態度を改めさせたりする機会として、適宜学習成果を学習者にフィードバックして実力を知らせるとよい。
・プログラムの開始時から、既得日本語知識でもかなりのコミュニケーションができるという自信を留学生に与える機会を多く設定する。
・積極的に話してみようとする態度を促すために、適宜学習成果をフィードバックするなどして、日本語でのコミュニケーションに関するカウンセリ

自己評価票を利用した日本語教育プログラム満足度評価

27

ング的な対応方法を検討する。
・文化・社会的活動においては、日本人とより多く接触・交流できる機会を設定する。
・教職員が通訳・説明などをせず、留学生がさまざまなことを直接体験できるような機会を増やす。

６．メタ評価と今後の課題
今回の満足度評価では、留学生の日本語能力が向上し、日本文化・社会への理解が進んだこと、そしてそれらの成果に参加者自身が満足していることを明らかにできた。また参加者の視点からプログラムを捉え直した上で改善策も得ることができた。したがって当初の評価の目的は達成できたと言える。
主たるツールとして利用した自己評価票も使いやすかった。評価の際、学生からの回答方法に関する質問は皆無であった。データ処理に用いた統計手法も
平均値、ｔ検定、相関程度で手軽であった。
しかし、課題もいくつか浮かび上がってきた。
まず、日本語能力の自己評価での個人差が大きいのには驚かされた。今回は会話テストの評価もACTFL-OPIに準拠して実施したので、直接学生の自己評価と比較をすることができたが、教師の判定とは大きく食い違う自己評価をする学生が数名いた。この原因の一つとして考えられるのは、能力レベルの説明方法の問題である。評価票には、詳細なACTFL-OPIの記述に加えて、大まかにレベル差を理解できるように簡略にまとめたoverviewもつけてあった。しかし、その説明ですら読むのが面倒な学生は、各レベル名（初級、中級…）のイメー
ジだけで判定したのかもしれない。基準説明の形式にもう少し工夫を加える必要がある。
次に、文化・社会理解度の判定に用いた４分野の区分を、もっと明確にできるとよい。今回用いた基準説明では、「ＣＡ（文化的な行動）」に「宗教的祭事や歴史的行事、儀礼様式などの役割や重要性を検討する」という基準が含まれており、歴史的・哲学／思想的な理由付け能力を測る「ＨＩ（歴史的影響）」と重なる部分がある。このような重なりは、「下位の質問3」のどのような能力が伸びたかを見る上で、支障があることは否めない。今回の評価で、この基準説
明の形式は数値化して分析できることが大きな利点であったので、この形式は踏襲しながら、分野の区分および基準説明を吟味していくことが今後の課題で
ある。

札野寛子

28

他にも課題がいくつかある。今回は満足度の評価に５段階の選択肢を用いたが、各自に何％と数値を記入させる場合と比べて何か違いがあるのだろうか。
それから、自己評価での前後の伸びと満足度、そして授業成績との間での相関も調べてみると、学習者の満足傾向が見えてくるのではないか。また、この日
本語能力の向上に対する満足度や日本文化・社会理解への満足度が、プログラ
ム全体への満足度とどのように関わっているのだろうか。満足度評価の精度を高める上で、このような課題について、社会調査法や心理学、プログラム評価の分野での研究事例を参考に、検討を重ねていく必要がある。

７．結び
今回の満足度評価では、学習者自身が日本語学習や日本文化・社会理解の成果をどのように捉えているかを見ることで、プログラム上の問題点を見つけ、改善の方策を得ることができた。だが今後の課題も見えてきた。このような課
題に取り組みながらプログラム評価の実践を重ねることが、より良い日本語教
育プログラムの開発に繋がると信じる。

注
1

Wisconsin's Model Academic Standards for Foreign languages（http://www.madison.k１
２.wi.us/tnl/forlang/standards.htm）より入手。この基準
説明は、ウィスコンシン州におけるＫ−１
２（幼稚園〜１２年生）までの外国語教育カリキュラム作成および評価のための指標として作成されたものである。その一部 Foreign Language Culture, D:Practices で異文化理解に関するPerformance Standards（行動基準）をDeveloping, Transitioning, Refiningの３段階、Patterns of interaction, Cultural activities, Beliefs and attitudes, Historicalinfluencesの４分野に分けて記述してある。本論で用いた自己評価票では、筆者がNovice（０レベル＝何もできない）の段階を加えて表形式にまとめたものを利用した（資料１参照）。

2

今回のプログラムでは開催時に本学で麻疹（はしか）が大流行し、近隣家庭への１泊２日ホームビジットのキャンセル、および近隣小学校への訪問の延期を余儀なくされた。

自己評価票を利用した日本語教育プログラム満足度評価

29

参考文献
Owen, J.M.（１９９９）Program evaluation: Forms and approaches. Thousand Oaks, CA:Sage.
札野寛子（２００
４）「『プログラム評価』とは何か：基本要素とケーススタディ」『大学教育学会誌』第２６巻第１号、pp.６
８-７９.
＊本研究は、平成１５−１
６年度科学研究費補助金（課題名「日本語教育プログラム評価モデル構
築のための『満足度』評価手法に関する研究」）の研究成果の一部である。

30

札野寛子

自己評価票を利用した日本語教育プログラム満足度評価

31

32

札野寛子

自己評価票を利用した日本語教育プログラム満足度評価

33

34

札野寛子