CEFRに準拠した日本語オンラインテストの開発*

東伴子* 代田智恵子** 永田道子**
グルノーブル・アルプ大学‐LIDILEM**
グルノーブル・アルプ大学
Tomoko.Higashi@univ-grenoble-alpes.fr
Chieko.Shirota@univ-grenoble-alpes.fr
Michiko.Nagata@univ-grenoble-alpes.fr

キーワード：オンラインテスト, CEFR／行動中心アプローチ, オーセンティシティ
１.

はじめに

2001 年にCEFRが正式に公開されてから、ヨーロッパ各国の言語教育の現場においてCEFRの導入が進んでおり、その動向はフランスにおいても例外ではない。語学コースのレベル設定や到達目標がCEFRの尺度や能力記述文に沿って表示され、CEFRの提唱する行動中心アプローチを取り入れた教室活動も増えている。非ヨーロッパ言語である日本語もCEFRに準じたカリキュラム再構築、コース設定の試みが進められている。しかしながら、CEFRという共通基準で熟達度を広範的に評価できる日本語オンラインテストは管見の限りまだ存在しない。学習者のレベルの多様化と移動の増加からその必要性が高まっている中、グルノーブル・アルプ大学では 2015 年、多言語共通のプロジェクトの中での日本語のオンラインテストの開発を開始した。本稿では、多言語枠における同テストの独自性とその開発の過程を紹介した後、日本語の特性を踏まえたCEFR準拠のテスト作成のポイント、およびコンピュータベースのテス
トにおけるコミュニカティブ／行動中心アプローチのタスク設定の可能性とその方法について、実例を示しながら考察を述べる。
２.

多言語オンラインテストSELF

イノヴァラング（Innovalauges, 2014-19 年, 代表Monica Masperi）は、フランス国立研究機関（ANR）の「革新的教育を目指した先駆的研究」(IDEFI)に採択されたグル
ノーブル・アルプ大学の大規模なプロジェクトであり、その一環として「オンライン診断付評価システム」(SELF : Système d’Évaluation en Langues à visée Formative) 開発が現在進められている。このような広汎性・信頼性のあるコンピュータベースの評価ツールはフランスでも十分整っていないため、プレイスメンステストとして、また熟達度テストとしてフランスの様々な教育機関での利用が期待されている。イタリア語、英語はすでにA1 からC1 まで、中国語はB1 まで実用化され、総受験者数はグルノー
ブル大学関連の教育機関で約 4000 人、その他のフランス国内の教育機関で約 27000人に上る（2017 年 3 月。延べ人数）。日本語、スペイン語、外国語としてのフランス語は、2017 年 9 月の実用化を目指して開発中である。

SELFは 、 自 動 採 点 の コ ン ピ ュ ー タ 適 応 型 テ ス ト で 、 約 50 分 で 聴 解(CO :compréhension de l’oral)、読解(CE : compréhension de l’écrit)、文完成(EEC : expressionécrite courte) の 3 技能を測る。全体の熟達度と共に技能別の結果が表示されるようになっており、CEFRの提唱する部分的能力(compétence partielle)も重視している。問題作成の基本的アプローチ、テスト開発のプロセス、テストのインターフェイスなどは全ての言語共通だが、具体的な問題作成においては各言語の学習者の特徴や言語的特徴を考慮した調整が必要となる。
下の図 1 は、SELF仕様のテスト開発プロセスに沿った、日本語テスト作成のプロセスを示している。

図１

SELF開発プロセスに準じた日本語テスト作成過程（1）のシラバス構築を経て、レベル別に 3 技能の問題案（タスクとアイテム 1. ）が作られ（2）、それらの問題案について、チーム内会議で「レベルの適切さ」、「コンテクストにおける問題文の自然さ」、「設問と評価内容の妥当性」、「認知的負担」などの検討・見直しを行う（3）。そこで承認されたアイテムは、妥当性を検証するためパイロットテストにかけられる（4）。パイロットテストの結果から心理統計分析を行い、その分析結果において識別力、困難度、選択肢の有効性に問題のあるアイテムを削除または修正する（5）。次に、2 度目の検証ステップであるプレテスト（被験者 500 人）を行い、統計分析により特性値のよい項目のみ選出する（6）。最後に日本
語教育専門家 7～10 人を招聘し、プレテストの分析結果により難易度順に整理されたアイテムの判定と、A1～B1 の分岐点の設定を議論を通して行う（スタンダードセッティング7）。そこでレベル判定されたアイテムがアイテムバンクに入り（8）、それをもとに最終的なテストの編集を行う（9）。このようなプロセスにおいて、一つ一つのアイテムは、作成者・チームメンバーの教育的かつ直感的な考察、テスト理論に基づく統計分析、そして外部の複数の日本語専門家たちの議論による質的判断というように、多角的な検討、検証を経ている。また、パイロットテスト時に行ったアンケートによる受験者からのフィードバック、発話プロトコール法で収集したデータも質的な考察の資料となっている。
３.

日本語テスト作成に向けて

３.１

独自のシラバス構築

SELFテスト作成にはCEFR準拠のシラバスが不可欠であったが、日本語の公認レベル記述参照表（RLD）が存在しないため、この目的に適した独自の日本語シラバスを作成した2.。Coste (2007) は、ニーズや利用者のタイプに応じたCEFRの文脈化を奨励しているが、このようなシラバス構築作業は、ヨーロッパの学習者（主に大学生）を対象にした熟達度テストのためのCEFR文脈化の一つの試みとして意味があると考える。表１で示すように、相当するレベルの例示的能力記述文を出発点とし、領域、言語活動例、そしてCan-doを表示した。コミュニカティブなアプローチに則り、ある言語コミュニケーションに必要だと考えられる言語リソースが参照できるよう、文法、表現、語彙、さらに「読む」、「書く」のシラバスには漢字が表示されている。漢字に関しては、シラバスで使われた場面での行為を遂行するために重要であると判断された漢字を選出し、テストの問題文での表記基準を示す参照リストを作成した（漢字数はA1 :57, A2 :144, B1 :211、漢字の表記については 4.2 参照）。
表 1 シラバス例 （A1, 「読む」能力）
Niveau : A1
Compétence : compréhension de l’écrit
CECRL :Échelle globale niveau A1
CECRL P25
Descripteurs
1-a. Peut comprendre et utiliser des expressions familières etquotidiennes ainsi que des énoncés très simples qui visent àsatisfaire des besoins concrets.
Domaine/ thème
Personnelle
champsAmisContexte
Un ami envoie un texto sur le mobile
Can-do statements-Peut comprendre un texto court envoyé sur le mobile et y répondre
Grammaire/-今日ひまですか？（時間がありますか）
expressions-大学の近くに、安くておいしい食堂がありますよ構文・表現例-一緒に行きませんか-いいですね、行きましょう
lexiqueKanji

ひまな、安い、高い、食堂
安、食３.２

コミュニカティブ／行動中心アプローチとオーセンティシティ

自動採点のコンピュータベースのテストでは、選択式の問題による受容能力測定が中心となり、一見、コミュニカティブ／行動中心アプローチ的な活動と相反するように見える。しかし、学習者が日本語を使う実際のコミュニケーション場面を想定し、その状況やインターアクションの流れを考慮することにより、オーセンティックな活動場面に近づけることはできる。特にヨーロッパではインターネットを介した言語活動を行っている日本語学習者が多いという調査結果があり3.、同様の言語使用場面、テクストタイプを問題に組み込むことによってオーセンティックに近いタスクを作り出すことができる。ただ、ここで言うオーセンティシティとは必ずしも「未加工のテクスト」という意味ではない。教室活動では未加工のテクストに触れることは大きな教育的メリットがあるが、様々な制約のあるコンピュータベースによる熟達度測定のタスクでは利用しにくいという問題があるからである（B1 レベルのテストのみテレビやニュースからの未加工の抜粋をいくつかタスクに使用した）。ALTE (2011：13)
はテスト作成において状況的オーセンティシティと対人的オーセンティシティという概念を提唱し、前者はタスクやアイテムが日常生活で実際に行うような言語活動を正確に表すもの、後者は受験者がタスク遂行時に、その言語行動に参加するインターアクション（問題）が自然であり、受験者のメンタルなプロセスをも表すものであると述べている。つまり、それらが創作されたタスクであれ、リライトされたものであれ、各場面での言語コミュニケーションの特徴を捉え「自然」な設定でタスクを作成することが大切であると理解できる。特に会話文の作成においては会話分析の知見を援用し自然な連鎖のテクスト作成に留意した。
以下、各技能別にタスクの実例を挙げ、これらのオーセンティシティ重視の問題作成について説明する。
４.
４.１

技能別問題例「聞く」能力を測る

CEFRの記述文では、A1 レベルの学習者は「意味がとれるように間を長くおきながら、非常にゆっくりと発音してもらえれば」、「当人に向かって、丁寧にゆっくり話された指示なら」「短い説明なら」のような条件付きの発話が理解できる。そのため、ネイティブとノンネイティブの短い会話、留守電へのメッセージ、教室での教師の簡単な指示などが多い。A2 は「ゆっくりとはっきりと」「短い簡単なメッセージ、説明」の要点がわかる、「具体的な必要性を満たす程度に理解できる」という記述から、タ
スクの種類は、A1 よりは内容的に複雑な会話、会社での簡単な会話、道を聞く場面、簡単なアナウンスの理解などと広がっていく。B1 は「標準語で明瞭に」話されたものなら、議論の要点、指示、身近な話題のニュースなどや、仕事、学生が日本の企業でインターンシップをする場合に出会うような場面も取り上げられている。
また、受験者が聴き手の一人となること、また会話の場合はノンネイティブの人が理解したかどうかにポイントを当てることで、状況やインターアクションという点でオーセンティックな言語活動となるように設定している。
次の例１は、A2 の聴解問題(CO)で、受験者が駅のアナウンスを聞くという設定のタスクである。質問は、アナウンスを聞いて理解した上での行動（この電車に乗って行くかどうか）に焦点が置かれることで行動に結びついたタスクになっている。
例１：A2_CO（スクリプト：選択肢以外は音声で提示）
コンテクスト：ここは駅のホームです。
問題文（アナウンス）「まもなく、2 番ホームに電車がまいります。危ないですから黄色い線の内側までお下がりください。この電車は、あさの、さくら、ふじたに止まります。きたの、さかい、には止まりませんのでご注意ください。
」
質問：この電車に乗って、さくら駅に行きます。
選択肢：正誤（Vrai/Faux）を選ぶ（このスクリプトは若干変更を加えたもの）
４.２「読む」能力を測る

CEFRの記述文から日本語テストを開発する際、問題になるのは読み書きのレベルである。日本語の場合、A1 の「非常に短い簡単なテクスト」という条件に加えて、漢字にふりがなをつけるのか分かち書きにするのかなど表記上の条件設定が必要になる。そこで、Aレベル（A1, A2）では、表記方法の基準となる漢字リストを作成し（3.1 参照）、そのリストにない漢字は、ひらがな表記にするか、または、ふりがなをつけるという条件を設定した。この表記に関しても、ノンネイティブを読み手とすることを基本としつつ、媒体の特性も考慮して、SMSなどの個人宛のものではひらがな表記、ブログやメールの本文など複数の読者を想定したものではふりがな表記にするなど、オーセンティシティとテストとしてのレベル判定の妥当性という条件を満たすように工夫した。一方、B1 では、漢字だけでなく、実際の言語活動に必要な語彙としての「漢語」という概念も表記上の条件として位置付け、同じ漢字が含まれていても、語彙としての使用頻度やレベル、また、テクストのオーセンティシティ（新聞記事にはふりがなをつけない）とテストとしての妥当性（レベル以上の漢字または漢語には質問の焦点を当てない）の両面に配慮したタスクを作成した。
このような表記上の条件を踏まえた上で、A1 では、 CEFRの記述文に準じた非常に短いテクストとして、１〜２ターン程度で意味をなすSMS、ソーシャルネッワー
ク（SNS）の投稿写真のキャプション、簡単なポスター、ポストイットに残されたメモなど、内容も「今」「ここ」という直接的な行動に結びついたものが中心となる。
また、質問は、「身近な名前、単語や基本的な表現」として、表記も含む単語（カタカナ語や漢字語彙の読みと理解）や文の一部など、部分的理解を問うものに限られる。
A2 では、SMSやメール、SNSへの投稿でもターンや文の数が増し、内容も、「短い個人の手紙」「身近な話題についての日常の手紙やファックス（照会、注文、確認など）の基本的なタイプのもの」という部分的理解から全体理解までのより広範な理解を問うものとなる。B1 では、インターネットで情報を得ることが多いため、ブログ、フォーラム、料理、観光関係、航空会社のサイト、アルバイト情報や簡単なニュース、やり取りでは、SMSよりメール（授業や仕事、研修関係）が増え、質問は、A2 レベ
ルの内容に加えて、「感情や希望の表現」の理解を問うものも出題される。
図 2 は、A1 のSMS形式の読解問題(CE)のタスク例である。ネイティブ（木村みか）の簡単な依頼をノンネイティブ（レア）が理解したかどうかを、その後の行動（何を買うか）に結びつけている。また、表記としては、カタカナ語（本文中の「デザート」と選択肢の３語）が理解できるかどうかも質問の焦点となり、漢字では、リストにある「何」「買」は漢字表記、リスト外の「願」はひらがな表記になっている。

図2４.３

A1_CE

問題例

「書く」能力を測る

SELFは、オンラインの自動採点テストであるため、書くといっても長いテクストを書くのではなく、語、形態素、文字を入れて文を完成させるというタイプの出題形式になっている。従って、テクストを書くために必要な文構成能力、ディスコース能力、叙述の正確さを測るタスクとなる。ただ、コンピュータでの日本語入力の難しさからA1、A2 では選択式とし、B1 では日本語を入力する問題も一部加えた。
A1 では、1〜2 文からなるテクストで、助詞、時制の整合性、形態素に焦点が当てられ、A2 は、ブログ、複文、ディスコース構成のための接続表現、アスペクト、モダリティ表現が中心となり、B1 では、感情や意見を含むブログ、応募書類、先生にメールを書くなど感情表現、主観的表現、意志希望の表現などが出てくる。
次の図 3 は、B1 の文完成問題(EEC)の例で、フランス人学生が留学の志望動機書を書くという設定で（本文中、B1 の漢字／漢語リストにない語彙にはふりがながつけてある）、目的、意志を示す表現を問う問題となっている。

図3
5.

B1_EEC

問題例（一部のみ提示）

むすび
本稿では、日本語熟達度テストSELFの開発の過程を紹介し、特に多言語環境における日本語テスト作成時に配慮しなければならない点、またコンピュータベースのテストでどのようにコミュニカティブ／行動中心的アプローチの観点から学習者の熟達度を測れるかという点について述べた。このテストでは学習者のニーズに結びついたコミュニケーション場面でのタスクを設定してあるため、実際に「社会で行動する者」としてテストを受け、テストの経験を通して「学習する」ことが可能であると考える。
教育の現場と評価方法は結びついている。このような新しいタイプの評価システムが実用化、汎用化されることで、フランスの日本語教育に貢献できることを願っている。
注
1.

SELFでは、各テスト問題をタスクと呼ぶ。各タスクは、(1)コンテクスト、(2)問題文、(3)アイテムから構成され、各アイテムは、(4)質問、(5)選択肢を含む。また、１つのタスクに複数のアイテムが設定される場合もある。
2.
公開されているCEFR準拠シラバスにはJFスタンダード（国際交流基金）、フランス中等教育日本語プログラム（palier 1, 2）がある。
3.
『CEFR B1 言語活動・能力を考えるプロジェクト 2011 年度活動報告書』にヨーロッパの日本語学習者 614 名を対象にした言語活動調査の結果がある（p.76~81）。
参考文献
吉島茂、大橋理枝（訳・編）（2004）『外国語教育〈2〉外国語の学習、教授、評価のためのヨーロッパ共通参照枠』朝日出版社

AJE-CEFRプロジェクト評価基準グループ (2016)『ヨーロッパの日本語教育における評価基準の共有の可能性と課題−大規模言語試験の分析からの考察』
http://www.eaje.eu/media/0/myfiles/cefr/dainibu-full.pdf
CEFR B1 プロジェクト・チーム（2012）『CEFR B1 言語活動・能力を考えるプロジ
ェクト 2011 年度活動報告書』
http://japanologie.arts.kuleuven.be/bestanden/B%201%20project.pdf
Cervini, Cristiana (2016) Approcci integrati nel testing linguistico: esperienze diprogettazione e validazione in prospettiva interlinguistica. In Interdisciplinaritàeapprendimento linguistico nei nuovi contesti formativi. L’apprendente di lingue tratradizione e innovazione. Bologna, Quaderni del CESLiC. pp.64-85
Cervini, Cristiana, Jouannaud, Marie-Pierre (2015) Ouvertures et tensions liées à laconception d’un système d’évaluation en langues, numérique, multilinue et en ligne, dansuneperspective

communicativeetactionnelle,Alsic

vol18,

http://alsic.revues.org/2821;DOI : 10.4000/alsic.2821
ALTE (2011) Manuel pour l’élaboration et la passation de tests et d’examens de langue.
Conseil de l’Europe. www.coe.int/lang/fr
Conseil de l’Europe, division des politiques linguistique (2000) Cadre européen commun deréférence pour les langues.Didier. 2000.
Coste, Daniel (2007) Contextualiser les utilisations du Cadre européen commun de référence
pour les langues. Le Cadre européen commun de référence pour les langues (CEFR) etl’élaboration de politiques linguistiques : défis et responsabilités. https://www.coe.int. pp.312.

Élaboration d’un test de japonais en ligne adossé au CECRL
Tomoko Higashi* Chieko Shirota** Michiko Nagata***Université Grenoble Alpes - Lidilem**Université Grenoble Alpes
Tomoko.Higashi@univ-grenoble-alpes.fr
Chieko.Shirota@univ-grenoble-alpes.fr
Michiko.Nagata@univ-grenoble-alpes.fr
SELF (Système d’Évaluation en Langues à visée Formative) est un dispositif d’évaluation en ligne etmulti-langues (6 langues actuellement) développé par l’université Grenoble Alpes dans le cadred’Innovalangues (2014-19), projet lauréat du programme IDEFI. Au sein de ce projet, nous
développonsletestdejaponais

adosséauCECRL

s’appuyant

surlaperspective

communicative/actionnelle. Dans cette communication, nous présenterons les caractéristiques de ce
test et les réflexions liées à notre démarche originale : création des syllabi et conception des tâches entenant en compte de l’authenticité situationnelle et interactionnelle, en l’occurrence.