ラーニング・アウトカムの測定

NAI S Journal v ol. 8

京都情報大学院大学

発 刊に際してNAIS 支部長

内藤 昭三

京都情報大学院大学 教授
情報システム学会日本支部（NAIS）の第５代支部長を2012年11月にお引き受けした京 都 情 報 大 学 院 大 学 教 授の内 藤です。N A I SJournal vol.8の発刊に際してご挨拶申し上げます。
情報システム（Information Systems）の社会インフラとしての重要性が増すとともに，その一方で，災害，性能劣化，セキュリティリスクなど様々な要 因で生じる情 報システム障 害の社 会に与える影 響力も増大しています。健全な社会の持続的な発展を目指し，今後とも頑健な
情 報システムの構 築に向け，
研 究 領 域の多 様 性 ，ビジネス性 ，グローバル化を重視し，NAISを取り巻く実学志向環境（新規事業創出，社◆

准教授 長谷川 明

1. はじめにうか？

教授 作花 一志

測定時の温度や気圧により棒自身も測定機器も膨張収縮する。また測定器が電子機器なら磁場の強さも影響する。こ近年，ラーニング・アウトカム（学習成果）の重要性が世れらは補正可能であるが，読み取り誤差や測定者の個人差は補界規模で取り上げられてきているが，これはもともと欧米を中正しようがない。棒の長さであれ，重さであれ，100 ｍ走の心とする先進諸国で始まった国際的な流れである。高等教育にタイムであれ，真の値は知ることができないが，測定を何回もおける学生の修得すべきラーニング・アウトカムに関しては，繰り返しその平均を取れば真の値に近いものを得ることができ例えばアメリカでは，連邦政府がアクレディテーション団体にるだろう。誤差は測定回数の平方根に逆比例するから，測定回対し，評価基準におけるラーニング・アウトカムの一層の重視数を増やせば信頼できる値に近くに到達できるだろう。そしてを求めている。ヨーロッパでは，各国の学位制度の標準化，学結果は「95%信頼区間は〇〇 . 〇〇 cm ～〇〇 . 〇〇 cm となる。
」

修内容を共通様式で示すディプロマ・サプリメントの導入に向という表現になる。この範囲内に収まる確率が 95％と考えてけた取り組みが進んでいる。またオーストラリアにおける大学

よいが，逆にいえば棒の長さが 200cm あるいは 50cm である

卒業時の知的能力の測定の動きがある。

確率もゼロではない。なお信頼係数を 95％でなくて 90％としそうした状況の中，日本でも 2008 年 12 月に文部科学省がてもよい。さらにこの場合測定値の分布は正規分布に従うことまとめた「学士課程教育の構築に向けて」（答申）の中で，学を暗黙の前提としている。この保証はないがほとんど誰も疑わ生のラーニング・アウトカムの達成に向けた教育内容・方法のないだろう。ところが成績や収入の分布が正規分布に従うこと充実に取り組むことが急務であると述べられている [1]。

は稀であり，平均という値が意味をもたないこともある。このまた，大学を取り巻く情勢は，大学全入時代の到来や，定ように計測結果は確率的に表現される。

会生活向上支援などの分野）において具体的な産官学の連携テー

員割れ大学の増加により，入試による選抜機能で新入生の学力ある集団の値を異なる時刻において計測しその間の変化を，マを探っていきたいと考えています。

を担保することが困難になってきている。しかし，一方で企業また異なる集団の値を計測して両者の間に優劣が認められるかや社会側から見ると，学生に求めるニーズは高度化し，大学のどうかは慎重に考察しなければならない。やはり確率を用いた出口における学生の質の保証がますます重要になっている [2]。

表現になるが，さらに複雑で消極的な表現になってしまう。ま世界における課題先進国ともいわれる日本において，その解決に向け情 報システムを最 大 限に活 用した処 方 箋の探 索は，付 加 価 値の高い日本 固 有ブランドを形 成するチャンスでもあります。
この選 択 肢こそが，日本の技 術力を世 界に示し，世 界からの尊 敬を得る道であると信じています。
その実現には，世界トップレベルの技術者・研究者が切磋琢磨する研究開発環境を国内に整備維持していくことが不可欠です。NAISにおける学会・研究活動も従来の枠を超えて多方面と連携を深め，我々の固 有ブランドをさらに向 上させ，様々な課 題に対 応 可
能な技術力の創出・向上に寄与できる道をこれからもしっかりと歩みた
いと考えています。

ず変化・差異はないという仮説（帰無仮説）を立て，それが起
京都情報大学院大学（KCGI）は，2004 年 4 月に開学した

こる確率を何らかの分布関数を仮定して計算する。確率が小さ日本で最初の IT 系の専門職大学院である。KCGI は開学当初かすぎて起こり得ないと判断すれば，その仮説を棄却するわけだ

らラーニング・アウトカムの重要性を認識し，その測定を行が，「差異が認められる。」と明言せず「差異がないとはいえなってきた。当初の 2 年間は，アメリカのインタラクティブ社い。」という表現に留める。実際には仮説が棄却できず差異がのサポートのもとでその測定を行った。インタラクティブ社

認めらないことが多い。

（http://interactiveinc.org/ ）は 1986 年設立され教育結果を分析することを専門とする会社であり，アメリカ教育省によって“ 第 1 級の（ゴールドスタンダード）” 評価機関として認定さ・病人に薬を飲ませる前後で体温を測り，投薬の効果を調べる。

れている。インタラクティブ社は，KCGI 学生のラーニング・（ただし投薬の効果の検定のためには健常者に対しても調べなアウトカムに関する第三者分析，解釈を行いその結果を KCGIければならない）に送付したが，筆者らは別個の解析方法を試みて，インタラク

・2 種類の商品を数十人の消費者に評価してもらい，両商品にティブ社と同じ結果を得ることができた。本稿ではその概要に差異があるかを調べる。

ついて解説する。

・2 地区で不特定数者に嗜好品アンケートをとり，両地区で差異があるかを調べる。

ＡＩＳ（情報システム学会）
は，本部を米国ジョージア州立大学に置き，オーストラリア・ニュージーランド，モロッコ，パキスタン，スロベニア，中国語圏，アイルラン

例として，

◆

２．計測と検定などに適用できるが何％の確率で区切るか，すなわち有意水準の採り方に苦労する。一般には５％とするが，状況によってはド，イタリアなどに支部を持つ国際的な学会であり（http：//www.aisnet.org/），
ＩＳ（Information System，情報システム）全般を研究領域としています。特に，計測は定量化の始まり，デジタル科学の始まりである。暑い，異なる場合もある。さらに難しいのがどんな分布関数を使うか企業における情報システムの管理手法，企業内のＩＴ活動に関する方法論，eビ

寒い，重い，軽いというような主観的な表現よりも数値で表すであり，正規分布，ｔ分布，Ｆ分布，χ２分布などいずれが適ジネス／ウェブビジネスについての研究活動などを展開しています。会員は全世方が説得力がある。色彩も音程もデジタル測定ができる。

正か各々の場合に応じて慎重に選択せねばならない。詳しい統界で4000名を有し，今後さらなる発展が期待されています。

ところが計測には必ず誤差が伴う。目の前にある棒の長さ計的手法は [3] を参照されたい。

を正確に測り 1m だったとしてこの値は真の値と言えるのだろ23◆

３．ラーニング・アウトカムの測定と結果◆

４．おわりに人による最終判断を導入した２段階意思決定手法

ラーニング・アウトカムの指標としては一般的に，学生の上記の方法は，2 グループで入口・出口テストを行い，「入主観的な判断に依拠するものと客観的に測定するものがあるが口時には両グループ間に知識レベルの差異は認められなかっ[4]，KCGI は後者の方法を用いた。客観的に測定する方法は，たが，出口時には認めうる」ことを検証するものである。こ日本ではまだ少ないが米国においては多く用いられている。具れでラーニング・アウトカムは数値で表されたが，さらに体的には，「入口出口テスト」という方法を用いる。学習期間

この結果を視覚表現化する手法を確立していく予定である。

前と後で試験を行い，その点数に差異が認められるかどうかを教育内容の向上のためラーニング・アウトカム計測の重要性検定するものである。試験の点数が上がって，学習内容は理解は今後ますます増大していくだろう。筆者たちもその進展に貢された，効果はあったというアナログ的な表現をデジタル化す献できれば幸いである。

生にも同様に受験させて，その両者の成績に差異があるかどうかを調べる必要がある。対象学生以外の受験生としては，学習◆１. はじめに

【参考文献】[1] 中央教育審議会，“学士課程教育の構築に向けて（答申）”，P.8，

考えたくとも理論的に意思決定をしていないためにフィードバ

これまで多くの意思決定手法が提案されてきている。その中次回の同様な場面にも生かせない可能性が高く，これではまた同じ過ちを繰り返してしまうことにもなりかねない。

しその多くが何らかのアルゴリズムによって一気に最適解を目

また意思決定を決まりきった方法だけで決めてしまうことに指し，結果として１つのものをチョイスし，いわゆる「こたえ」は，さらに問題が多い。たとえばＡ社の製品しか考慮に入れてを導出している。これではインプット部分にあたる情報を入力いない場合では，Ａ社以外の他社が採用している技術などに触すると必然的に 1 つのアウトプットが決定されてしまい，それる機会がなく，たとえＡ社以外の製品のほうがぴったりな場

前には知識レベルはほぼ同じでその後専門的学習をしていない

2008.12.24の意思決定過程の中に人間の感情を入れることが大変難しい。

合があってもそこに辿り着けない。つまりある意思決定方法にことが望ましい。「入口時には両者の知識レベルの差異は認め

http://www.mext.go.jp/component/b_menu/shingi/toushin/__

稿者はかねてより「人間的な」意思決定を目指しており，どこよって一意に決定をしてしまうことには大きな危険が伴う。特られなかったが，出口時には認めうる」という結果が得られれ

icsFiles/afieldfile/2008/12/26/1217067_001.pdf

かの段階で人の意思を入れることができるような意思決定手法にこれらがコンピュータよって決定される際はなおさらであを考えてきた。

る。なぜならばコンピュータでは一定のアルゴリズムによってば学習効果があったと言えるだろう。
下表は 2004 年度，2005 年度の KCGI の学生（Ａ）と他の[2] 社団法人関西経済同友会，“社会が求める大学の人材輩出戦略”P.3，
2009.7

今回は意思決定の最終段階において２つの結果を出し，人が最適解が決定されており，決まった意思決定方法でしか解決策

学生（Ｂ）との 4 科目についての入口出口テストの結果である。

http://www.kansaidoyukai.or.jp/Portals/0/2009/teigen/090727

二者択一によって最終的な判断を行うという手法を提案する。の選定を行ってくれないからである。前述のパソコン購入の例

ここでｐとは「ＡとＢとの差異がないという仮説の成り立つ確

daigakukaikakuteigen.pdf

これによって最終的に人の意見が入るだけでなく，２度の意思を続けると，例えば金額の安さをもって検索などを行っても，決定機会を設けることによってより最適な意思決定を，また現新しさや他の機能，個人の好みなどは考慮してくれない。２つ実にマッチした意思決定を行うことができるのではないかと考目，３つ目の検索条件を加えても，何かしっくりとこない検索える。この手法を２段階意思決定と名付け，既存の手法とミッ結果しか出てこなかったという経験を持っている人も少なくなクスし，最後に実例により検証を行う。

いであろう。結局のところコンピュータに詳しそうな知人に聞率」である。ＡとＢとが全く同じ値ならｐ値は１であり，差異が大きいほどｐ値は小さい。A の平均点が入口時より出口時の方で上がっているのは当然であって，それより重要なのはｐ値が下っていることである。すなわち両年度とも 4 科目ともに「学[3] A.D.アクゼル，J.ソウンデルバンディアン著，鈴木一功監訳『ビジネス統計学』ダイヤモンド社，2007[4] 葛城浩一／広島大学高等教育研究開発センター(編集)，“アウトカム
指標のあり方を考える”，Vol.41, 2010.3

習前に両者の差異はほとんど認められなかったが，学習後にはいて判断を行うといったことが多くなってしまう。

差異は増大した」。特に IT 関連知識・インターネット関連知識において顕著に示された。

◆２. 既存の一意な意思決定手法

付 記：この K C G I におけるラーニング・アウトカムの 測 定

ではなぜこのように，せっかくコンピュータを利用して一見便利なように結果を出しても，人が満足できるような結果が出に つ い て は，2012 年 8 月， 近 畿 大 学 理 工 学 部 情 報 学 科

人は普段から多くの物事を考えながら生活をしている。ものないのであろうか。大きな原因は２つある。まず１つに，個人の 第 1 回 外 部 評 価 委 員 会 に お い て 説 明・ 報 告 を 行 っ た。

を買う際にどの商品が良いか，何かを行う際にはどの方法が最によって条件があまりにも異なりすぎるといったことが挙げら

良かを熟慮するような場面には，日々何度となく遭遇している。

れる。前述のコンピュータの購入を例にすると，ある者は処理

このような「意思決定」を行う際，人間は多く存在する選択肢

速度を重視し，ある者はデザインを，また別の者は価格をといの中から，最適であると考えられるものを選択して行動していうように，人それぞれの条件や環境が異なりすぎる。コンピュる。ところがその選択肢は，単純に比較をするにはあまりにもータによって得られる結果は，一般的にある程度万人に納得が多い場合がある。例えば身近な例として新しいパソコンを買おいくような結果が出るようになっているが，意思決定者の側でうとする場合を考えよう。電気店に行くと多種多様なパソコンはそれは時と場合により異なってくる。そのため出された結果が並んでおり，いったいどれを買ってよいのか一般人は当然のに対しての満足度は，必ずしも高いものが得られるとは限らなことながら，パソコンに詳しい者でも目移りをしてしまい決めい。２つ目には，コンピュータの結果導出アルゴリズムが単調られない。お金のない学生ならワープロ・表計算ソフト等が内であるということがある。
コンピュータは計算部門には強いが，蔵された安価な一体型のパソコンを選択するであろうし，新幹基本的にコンピュータ自身で臨機応変に考えて行動を起こすこ線などの移動中に作業をしたいビジネスマンなら，耐久性に優とはできない。
あらかじめ入力されたプログラムに記述された，れた小型のノートパソコンを，グラフィックデザイナーなどはいわゆる「決まり切った方法」でしか処理を行ってくれない。

その機能に特化したものをチョイスするであろう。あまりにもプログラムは書かれている通りにひとつひとつ処理を行ってい多くの選択肢があり，選ぶ基準すら決まっていない者にとってくため，そのプログラムのアルゴリズムによって多くの部分がは，いきなりの意思決定という作業は至難の業である。さらに決定してしまうということが多い。したがって例外的処理に対そのように意思決定に迷っている際に，「特価セール」，「いましては極めて弱く，与えられた作業に対して，おおよそ同じよ売れています！」，「限定○○個」といった広告や販売戦略，まうな結果が導出される場合が極めて多くなってしまう。

長谷川 明
Hasegawa Akira

京都情報大学院大学 准教授。SAP 認
定ソリューションアーキテクト。京都大学工学部卒。元日本 IBM 株式会
社主任・I T スペシャリスト。

作花一志

Sakka Kazuyuki

経歴はアキューム102Pに掲載。

4小林 正樹ックをして反省をすることも叶わない。反省ができないためにには現在のスタンダードになっているものも少なくない。しかるわけだ。しかしながら点数は上がって当然で，こんな作業をするまでもないように見える。そこで，対象学生以外の他の学

愛知文教大学 人文学部 人文学科

た店員のお薦めや口車に乗じて購入してしまうことも多い。果しかし根本的な問題として，前述のとおり，多くの選択肢がたしてそれが本当に正しい意思決定であったかということは，提示された場合に，人間は正しく選択をすることができない，

5