作文評価における文の種類の影響―意見文と説明文の比較―（注１）

村上京子（名古屋大学留学生センター）

要旨：
日本留学試験「記述問題」の課題は、２つの意見のうちから一方を選び、賛成する意見を根拠とともに書くことを求めるものである。この意見文を書くことによって測られる能力が、学習者の文章を書く能力を代表しているのか、同一学習者に意見文・説明文の２つの文章を書いてもらい、独立に評価した。その結果、「文法や語彙の使用の正確さ」や「段落構成」などの観点では、かなり高い相関が得られたものの、「文体の一致」「文のわかりやすさ」「内容」などでは相関が低く、一方の作文の評価から他方を推定するには困難があることがわかった。このことから、書く能力を測る場合、より多様な文章を書く課題が含まれる必要があることを論じた。
キーワード：日本留学試験

記述問題

文の種類

意見文

説明文

０．はじめに学部入学にあたっての日本語能力レベルを判定するために開発された日本留学試験
は、「日本の大学での勉学に対応できる日本語力（アカデミック・ジャパニーズ）をど（注２）の程度習得しているかをシングルスケールで測定することを目的とする」とされている。すなわちこの試験で測られる能力は、学部入学後に要求されるレポートを書く等の日本語運用能力と密接に関わっており、このテストの予測的妥当性は入学後の成績によって確認される。この試験は、日本の大学に入学を希望する海外の学生や、日本国内で進学のために学習している留学生の日本語学習に大きな影響力をもつと考えられる。したがって、この試験が妥当性・信頼性をもつことは重要な意味をもっている。
日本留学試験の「記述問題」課題では、対立する＜Ａ＞＜Ｂ＞２つの意見を示し、どちらの意見に賛成するかを根拠とともに述べることを求めている。平成 13 年度に発表された試行問題から一貫して同様の形式の「意見文」を書くことを要求している。
したがって、日本留学試験受験を目指して勉強している日本語学習者は、この課題形式に即した準備をしてくることになる（村上他：2003）。しかし、大学入学後に課せられる答案やレポートでは、説明や報告、本の要約などを求める課題も多く、入学前に「記述問題」の対策として「意見文の書き方」を練習してきた学習者が必ずしもそれらにうまく対応できるとは限らない。ここでは、課題で要求される文の種類の違いを中心にみていくこととする。ここでいう文の種類 （ 注 ３ ） とは、テキストの構造等から厳密に定義されたものではなく、ある事柄について自分の意見を述べる「意見文」と、事象や事柄について説明をする「説明文」といった、伝達機能の形態や表現の内容制

約からくる文章の類型（池尾：1974）をさす。
従来の研究では、母語話者を対象とした同じ書き手の複数の作文評価間の相関は必ずしも高くない。Coffman(1966)では、中学生 646 名の５つの課題を評価した結果、教師の評価間の相関は 0.20～0.35 程度であった。日本語の小学生を対象とした池田(1992)でも、3 種類の作文間の相関は-0.35～0.70 にわたり、中央値は 0.25～0.30 であった。大学入試の論述式問題間の相関を取った小嶋・村上（1991）では、その相関はせいぜい 0.30 で、高いものでも 0.39 であったと報告している。
Carlson et al.(1985)は、外国語としての英語の作文に関して、2 種類の文章（図表説明と比較文）を 2 つのトピックについて 542 名の受験者に課し、その間の相関をとっている。全体的評価で 0.60～0.65 の相関を得ており、母語話者のものより高い値を示している。これは、学習者の作文評価と母語話者のものでは、評価の観点の相違が大きく影響しているためだと考えられる。しかし、日本語学習者の文章の種類による評価間の関係について調査したものは現在のところ見当たらない。
そこで、本稿では、意見文と説明文を同じ学習者に課し、この 2 つの作文の評価間の関係を調べることにより、記述問題で扱われている課題の妥当性について検討する。
１．

目的

課題として出された作文の文章の種類が違っていても、同一学習者の評価は安定しているのだろうか。意見文と説明文の両方を同じ学習者に書いてもらい、それぞれ独立に行った評価を比較する。
２．

方法

２．１ 被験者
日本語上級学習者（国立大学学部１年在籍生）

32 名

性別：

男性 21 名、女性 11 名

国籍：

中国 18 名、韓国 9 名、マレイシア 3 名、タイ 2 名

学部：工学部 13 名、文学部 6 名、経済学部 4 名、法学部 2 名、他 7 名

２．２ 評定者
村上(2004)の評価者と同様の 4 名で、あらかじめ別の作文を用いて、10 時間以上にわたるトレーニングを実施した。4 名の評価の一致度（α係数）が 0.90 以上になることを確かめ、本調査の採点にかかった。
２．３ 評定の観点
１） 正確さ：文法・語彙・表記などに間違いはないか（５点）

２） 文体が一致しているか（３点）
３） 語彙・表現の多様性：
４） 文のわかりやすさ：

レポートで使われるような語彙・表現の使用（５点）

文としてのねじれや言葉足らずなどで分かりにくい点はないか。（３点）

５） 文間の接続関係：文と文の間の結びつきの適切さ（３点）

６） 段落構成：段落意識、段落間の意味的整合性（３点）
７） 内容：論理性・説得力があるか。多角的な示唆や配慮がなされているか（５点）
２．４ 手続き
以下の 2 種類の文章を同じ日本語学習者に１週間の間をあけて（Ａ）、（Ｂ）の順で書いてもらった。いずれも制限時間は 20 分で、400 字詰の原稿用紙 1 枚が配られた。
（Ａ）あなたは、都会といなかの生活はどちらがいいと思いますか。それはどうしてですか（意見文：以下Ａ作文と呼ぶ）(Ｂ)あなたの国へ仕事で家族と一緒に行く人がいます。たぶん 5 年以上いなくてはなりません。子どもは 10 歳と 5 歳ですから、学校のことを心配しています。
あなたの国の教育制度について説明する文を書いてください（説明文：以下Ｂ作文と呼ぶ）
両作文ともに氏名を消し、ランダムに並べたものを独立に 4 名の評価者で評価した。
３．

結果

まず、全体的傾向を概観し、次に観点別に両作文間の関係をみていくことにする。
３．１．

全体的特徴

同一学習者が書いたＡ，Ｂ作文の客観的特長として文の長さに着目して調べてみた。
表１は両作文の文の数および 1 文の字数（句読点を含む）、総字数の平均である。ｔ検定の結果、両作文間には文の数、1 文の字数、総字数すべてにおいて差が見られなかった。
表１．Ａ・Ｂ作文の長さ
文の数
Ａ作文

1 文の字数

総字数平均

標準偏差

平均

標準偏差

平均

標準偏差

9.28

2.03

39.3

9.69

349.

33.4

7
Ｂ作文

9.81

2.5856
37.70
ｔ検定

n.s.

9.71

46.0
348.34

n.s.

37

n.s.

次に、Ａ・Ｂ作文間の相関を取ったところ、文の数の間には 0.53、1 文の字数平均の間には 0.63 の相関がみられた。これは、Ａ作文で長い文を書く学習者はＢ作文でも比較的長い文を書くことを示すものである。したがって、文の数、字数においては、各学習者は同様の作文を書いたと言えよう。
では、各作文の評価についてはどうであろうか。方法でも述べたように、評価者には名前を伏せ、ランダムに評価を依頼した。表２は、同一学習者が書いた 2 種類の作文の評価である。Ａ・Ｂ作文における 4 名の評価者の得点の平均、標準偏差および 4名の一致度（α係数）を示す。

表２．

Ａ・Ｂ作文の評価結果（4 名の評価者の合計得点）
A

評価の観点

B

平均

標準偏差

α係数

平均

標準偏差

α係数1)正確さ

9.98

3.930.83

9.99

4.310.902)文体

10.22

3.15

1.00

9.70

3.06

0.953)多様性

12.06

4.43

0.88

12.32

3.990.81

4) 文のわかりやすさ

8.56

2.690.75

8.79

2.700.775)文間9.45

2.770.73

9.71

2.940.716)段落間

7.89

3.29

0.86

7.88

3.780.967)内容

14.91

4.42

0.81

13.05

4.04

0.73

72.64

21.36

0.93

70.98

20.75

0.93

合 計

平均・標準偏差、評価者間一致度（α係数）についてはＡ，Ｂ作文間に差がみられない。観点ごとのＡ・Ｂ間の相関には 0.27 から 0.75 とかなり大きい差が見られる。
「正確さ」
「多様性」
「文間」「段落間」にはいずれも 0.50 以上の相関が見られるが、「文体」「文のわかりやすさ」「内容」はほとんど相関していない。
A・B 作文の観点間の相関を表３に示す。
表３．評価の観点間の相関
評価の観点

A・Ｂ間の相関1) 正確さ0.752) 文体

0.273) 多様性0.684) 文のわかりやすさ

0.305) 文間0.546) 段落間0.737) 内容0.29合 計

0.76

３．２．観点別傾向
次に、各観点におけるＡ・Ｂ作文間の差を見5.00ていく。

4.00

正確さ

正確さに関しては、相関 0.75 と観点のなかで最も高く、一方の作文で文法･語彙・表記が正確

Ｂ作文

３．２．１

3.00
2.00

な学習者は他方の作文においても同様のことがほぼ言えそうである。ただし、図１の散布図に1.00

見るとおり、Ａ作文とＢ作文の差が１ポイント以上あった学習者も 5 名おり、0.5 ポイント以

0.00
0.00

1.00

2.00

上差のあった学習者は 20 名いたことになる。

3.00

4.00

5.00

Ａ作文

12 名については、２つの作文の正確さの評価は0.5 ポイント未満におさまっている。
３．２．２．

図１．

正確さに関する散布図

文体の一致

次に、文体の一致に関しては、両作文間の相関

3.00

は 0.27 とほとんど無相関である。これはＡの意見
文課題には 25 名が一貫して「だ」体を用いてい体を用いている者のほうが多く、課題によって文2.00
Ｂ作文るのに対し、Ｂの説明文課題には「です・ます」

1.00体を変えているものが多かったことによる。文体の選択は同じ「説明文」とはいえ、課題の出し方にも大きく影響されるため、読み手が特定の個人0.00
0.00という今回の状況設定が「です・ます」体選択を1.00

2.00

3.00

Ａ作文多くしたと考えられる。
図２．文体に関する散布図
３．２．３

語彙の多様性

語彙の多様性に関しては、相関 0.68 と比較的高5.00

い。しかし、図３のように両作文の得点の開きが4.00

ポートに比べ本研究の課題は、日常的な表現･語彙が使われており、減点対象とならいものも多くあった。しかし、話しことばの縮約形や接続詞・接Ｂ作文１ポイント以上のものも３人存在する。通常のレ
3.00

2.00

1.00

続助詞・終助詞などの使用や、「－て形」の多用など、書き言葉として不自然な表現・語彙は低い評価が与えられた。

0.00
0.00

1.00

2.00

3.00

Ａ作文

4.00

5.00

図３．語彙の多様性
３．２．４ 文のわかりやすさ

3.00

図 4 でもわかるように、文のわかりやすさについては、ほとんど相関していない（r=0.30）。この観点は、作文の中の文に首尾がないかどうかをみるもので、文の長さや構造と関係すると考えられる。この相関の低さ

2.00
Ｂ作文

一貫性や表現の過不足のため理解しにくい文

1.00

が、文の長さの違いによるものかどうかを検討した結果、両作文間の文の長さは各学習者でかなり一貫した傾向があり、意見文か説明

0.00
0.00

文かによる違いはみられなかった。同じ学習

1.00

2.00

3.00

Ａ作文者でも文脈等によって、わかりやすい文が書けるかどうかにゆれがあると考えられる。
図４．文のわかりやすさ
３．２．５

文間の接続

3.00

接続詞の使い方や指示詞など、文と文の結束性を示す文間の接続関係に関しては、相関 0.54
評価者間一致度が最も低く、そのための相関の2.00
Ｂ作文である程度の関連をもつ。この観点については1.00

希薄化がおこっている可能性もあり、文間の接続のし方に関しては両作文ともに個人内の一貫性がある程度認められると考えてよいと思われ0.00

る。

0.00

1.00

2.00

3.00

Ａ作文

図５．文間の接続
３．２．５ 段落構成

3.00

段落構成の相関は、0.73 と高く、段落分けをして段落間の関係を意識して作文する学習者は文の種類に関係せず、両作文で段落構成をして最後まですべてつなげて書く学習者が 9 名おり、図６の散布図では相関が低いように見えるが、B作文いることになる。段落意識がなく、はじめから2.00

1.00

A 作文 1 点、B 作文 1 点のような同点の頻度が高いため相関係数は高くなっている。

0.00
0.00

1.00

2.00
A作文

図3.00

図６．段落構成
３．２．６ 内容
内容の相関は 0.29 と文体と同様きわめて低い。

5.00

これはこれまでの先行研究でも指摘されており、池田（1992）でも、小嶋・村上(1991)でも日本語

4.00

母語話者の作文間の相関は 0.4 に届いていない。
Ｂ作文

3.00

母語話者の作文では、主に内容面で評価されて2.00いると考えられるが、この結果は同一学習者の書いた作文の内容評価は作文により大きくゆれるこ1.00とを示している。すなわち、意見文で論理的、説0.00得的な文章を書いていた学習者が、説明文では必0.00

1.00

2.00

ずしも理解しやすく、趣旨の明確な文章が書けて3.00

4.00

5.00

Ａ作文いるとは限らない。
図７でも明らかなように、A 作文のほうが平均

図７．内容点が高い(t=2.47,p<.05)。これは、評価の観点が記述問題のために開発されたこともあり、意見文により適した評価基準で、説明文の内容評価には十分対応できていないことも不一致の要因の１つだと考えられる。
３．２．８

合計

2724

両作文の合計の相関は 0.76 で、日本人母語話21者の作文間の相関と比較すると、かなり高いとた B 作文の標準誤差をもとめると 2.68 になり、平均点 19.37 の±2.68、つまり 16.69 から 22.05点の間に全体の 68％の一方の作文から他方の作文の評価を予測するに18Ｂ作文考えられる。しかし、A 作文の評価から推定し151296300369は、あまりにも誤差が大きいと言わざるを得な

121518212427Ａ作文

い。
図８．合計
４．

考察

Cooper(1984)は、小論文を使って Writing ability を評価する際にその得点に関して誤差要因として働くものに、書き手（writer）、題目（topic）、形式（mode）、時間制限（time-limit）、テスト状況（examination situation）、そして評定者（rater）を上げている。もちろん、評価の観点項目やその配点も重要な要因の１つである。作文評
価の研究の多くはこの観点項目や評定者のトレーニングなどの評価の信頼性に関心を寄せており、書き手の知識や題目、形式、時間制限の評価への影響を扱ったものはほとんどない。
記述問題が日本留学試験に入り、意見文を書く課題が課せられるようになった波及効果は非常に大きいと考えるが、一方でパターン化した解答形式を予備教育で指導されて入学してくる学習者が大学生活の中で必要とされるさまざまな文章に対処できる

かというと非常に難しい。また 400 字という字数制限も、実際に大学で提出しなければならないレポートなどの文章の長さに比べれば、問題になる。大規模試験という制約の中で、何を測っていくかという問題は、どんな形式でどんな内容に関しての文章を要求するかという問題と密接に関わってくる。
本稿では、文章の種類に関して、同一の学習者の Writing ability を同じように評価できるのかという問題に焦点を当てて、意見文と説明文の間の関係を調べてきた。その結果、従来の日本語母語話者を対象とした結果に比べれば、意見文と説明文という 2つの作文間の相関は高いが、一方の作文から他方を予測するには誤差分散が大きいことがわかった。このことは、Brown et al.(1991)も指摘するように、書く能力を測定するために複数の作文を要求する有用性が確かめられたといえよう。今回は、短い意見文と説明文を要求したが、実際に学習者が大学の勉学上求められる文章は、より長い内容も複雑なものが多い。自分の経験に基づく内容ばかりではなくさまざまな資料に基づいて書かれるものもある。そのような文章を書く基礎能力の測定方法としてどのような条件・内容がふさわしいかは議論があろう。
今後、実際の大学での運用を十分配慮し、大学の勉学に必要な書く能力の基礎力とは何かを議論していく中で、課すべき形式、文章の種類、内容等が検討されていくべきであろう。図表の説明や解説、文章の要約等も含めて、実証的に基礎能力の測定可能性を検証していきたいと考えている。これは、学習者が何をめざして勉強するかという波及効果の問題ともつながるものである。

注１：本論文は村上京子（2005）『日本留学試験における記述問題の実施方法と分析観点に関する実証的研究―記述問題の問題形式・量及び評価基準の適正さについて―』2003・2004 年度文部科学省科学研究費補助金萌芽研究 15652032

研究成果報告書にも掲載された
注２：「日本留学のための新たな試験について」から
注３：Hamp-Lyons（1991）では、mode という用語を使っている。

文献
Brown,J.D., Hilgers,T., & Marsella,J. 1991

Essay prompts and topics: minimizing

the effects of mean differences. Written Communication 8, 533-556
Carlson, J., Bridgeman, B., Camp, R., Waanders, Ｊ . 1985

Relationship ofadmission test scores to writing performance of native and nonnative speakersof English. TOEFL Research Reports No.19. Princeton, N.J: Educational
Testing Service.
Coffman 1966

On the validity of essay tests of achienement. Journal of education

measurement 3(2), 151-166
Cooper, P. L. 1984

The Assessment of Writing Ability : A Review of Research. GRE

Board Research Report GREB.No.82-15R ETS Report 84-12

池田央 1992

小嶋秀夫、村上

『テストの科学』

日本文化科学社

隆 1991「名古屋大学教育学部における論述式学力検査」『大学入試における実技・面接・小論文の評価に関する研究』平成２年度文部省科学研究費補助金

総合研究(A)

研究報告書 31-60

村上京子・小室輝代・三谷閑子

2003「日本留学試験『記述問題』における採点基準の見直し」『名古屋大学日本語・日本文化論集』11 号「日本留学のための新たな試験」調査研究協力者会議
たな試験について菅井英明

107-1242000「日本留学のための新―渡日前入学許可の実現に向けて―」

2003 「記述テストの特徴と比較」『日本語教育における評価法に関する基礎的資料整備とその分析』平成 13～14 年度文部科学省科学研究費補助金

基盤(C)（２）研究報告書 80-95
平直樹

1991 「小論文試験の方法論的諸問題に関する研究の動向について」『大学入試における実技・面接・小論文の評価に関する研究』平成２年度文部省科学研
究費補助金

総合研究(A)

田中真理・長阪朱美

2004

研究報告書 77-99「日本語と英語を目標言語とするライティング評価基準の展望：第二言語としての日本語のライティング評価基準作成に向けて」『第二言語としての日本語の習得研究』7 号

214-253