JSiSE Research Report
vol.38,no.2(2023-7)

生成系 AI との相談を取り入れた数理データサイエンス AI 教育
プログラムの実践と検証
二瓶裕之*1, 西牧可織*1, 米田*1 北海道医療大学

龍大*1

情報センターPractice and evaluation of MDASH
incorporating tutoring powered by generative AI
Hiroyuki Nihei*1, Kaori Nishimaki *1, Ryuta Yoneta*1*1 Health Sciences University of Hokkaido
内製化した知的学習支援システムに生成系 AI を API 経由で組み込むことで、数理データサイエンス AI
教育プログラムを構成する毎回の授業後に、学生が生成系 AI と相談できるようにした。目的の１つが、小さな疑問でも解決の糸口を随時提供することで、知る楽しさを伝えることである。もう１つが、日常的に生成系 AI に触れることに加えて、課題解決型学修においても生成系 AI への相談を組み込むことで、AI の誤りや欠点も繰り返し体験できるようにして、AI の回答への批判的観点を養うことである。
キーワード: 生成系 AI，API，知的学習支援システム，数理データサイエンス AI 教育プログラム

1. はじめに

自然な対話を通じて教育的なフィードバックを提供し教員には尋ねられないような小さな疑問であっても、授業が進むにつれて学修の大きな障壁となってしまうことがある。たとえ小さな疑問でも、随時、解決の糸口を学生に提供することは重要である。しかし、そのために、教育支援者として常に人員を確保したうえで安定した教育方針を提供することは難しい。
そこで、かねてより、知的学習支援システム(Intelligent Tutoring Systems、以下、ITS)(1)を活用したうえで、学生の抱える疑問に対応をしていくといった研究が盛んに行われてきている。ITS は、学生の問題や課題を段階的に解決する糸口を提供する機能を持
ち、学生の状態に応じた適応的なフィードバックを提供するとされている。最近では、ITS にエージェントを導入した協働学修支援の研究(2)もされている。
このような ITS と教育の文脈で結びつくとして注目を集めているのが Chat GPT などの生成系 AI である。
例えば、ITS に生成系 AI を組み込むことで、学生とのたり、学生の相談や質問に対する解決の糸口を提供したりできるのではないかと期待されている。
一方で、大学教育の現場では、生成系 AI とどのように向き合うべきかが喫緊の課題ともなっている。例えば、東京大学では「生成系 AI(ChatGPT, BingAI, Bard,Midjourney, Stable Diffusion 等)について」とした意見がだされ、検索ではなく相談するシステムとして使うことを勧めること、信憑性に対する注意が必要であること、個人情報などの送信に留意することなどが挙げられている(3)。
このような中、北海道医療大学（以下、本学）では、
DX 推進計画を策定して数理データサイエンス AI 教育プログラム(MDASH)を実施してきた (4) 。特徴は、MDASH の中で、内製化してきた様々な教育支援システムを活用してきた点であり、ITS などの開発や活用も含まれている。例えば、自然言語処理に関わる機械学習システムを開発して、授業の振り返りコメントや講義ノートをクラスタリングしながら学生の学びを可－6－

視化するなどしてきた。

演習」は、MDASH リテラシーレベルプラスに認定・

そこで、「ITS により生成系 AI への相談を日常的に選定されており（参考文献）、学生は、毎時間、BYOD繰り返すことで、日々の疑問を解決する糸口をつかめとして自身のパソコンを持参する。授業時間内には、るようになるのか」をメインのリサーチクエスチョン

学生は、毎回、自身のパソコンを使って、その回のテとして、内製化してきた機械学習システムに API 経由ーマに関した演習課題を google フォームから送信すで Chat GPT を組み込んだ ITS を構築し、その日の授ることとしている。

業内容について、学生が生成系 AI と相談できる仕組「情報処理演習」で ITS を活用した理由は、生成系みを作った。直接生成系 AI を使わせるのではなく、AI との相談を始める前に、生成系 AI を含む AI 全般

API を経由したのは、教員が相談内容の傾向を事前にの仕組み、革新性、そして、AI の欠点や活用するうえつかんで相談内容や、その適切性をチェックしたり、での注意点などについて学ぶ機会を提供するためであ

オプトアウトすることで大学外の組織が運用する生成る。表１は「情報処理演習」の授業テーマである。数系 AI に学生の学修データを学習させないためである。

理データサイエンス AI をテーマとした授業回の１～

今回の取り組みの目的の１つは、小さな疑問であっ３において、MDASH のスキルセットである「データ・ても、随時、解決の糸口を学生に提供することである。

AI の活用領域」、「データ・AI 利活用のための技術やこれにより、その日の疑問が授業のたびごとに解決さ最新動向」を扱うが、ここで、AI の仕組み、革新性、れるようにし、また、それを知ることの楽しさへとつ欠点などをグループワークも取り入れながら学ぶ。まなげることである。もう１つが、生成系 AI からの回答

た、第３回目には、医療分野における AI 活用に関してに対する批判的な視点を養うことである。今回、日常調査した結果をレポートにまとめさせている。

的に繰り返し生成系 AI に触れることに加えて、課題表１解決型学修においても生成系 AI への相談を組み込ん「情報処理演習」の授業テーマ

授業回だ。これにより、AI の回答に含まれる誤りや AI の欠

授業テーマ

1～

3 数理データサイエンスAI

点も繰り返し体験できるようにし、批判的観点を持ち

4～

6 プレゼンテーションながら、生成系 AI を効果的に使えることを目指した。

7～

9 データ分析10 ～ 12 データ処理、データ集計、データ分析
13 ～ 15 情報セキュリティとモラル

2. 生成系 AI との相談を取り入れた授業概要

生成系 AI との相談を取り入れたのは５回以降の授

今回の取り組みの背景となった本学の DX 推進計画

業回とした。第５回と第６回では「プレゼンテーショ

では、内製化した教育支援システムや LMS に、蓄積ン」がテーマである。ここでは、第３回に作成したレされた学習ログの AI 解析機能を拡充することで、ITSポートを発表原稿とみなしたプレゼンテーションを作を始めとして、小・中規模の機動性の高い AI を多種多成させた。第７回から９回では「データ分析」がテー面的に内製化してきた。一方で、多種多面的な AI が身マである。ここでは、統計局の統計ダッシュボードの近にあることからも、AI に振り回されることのないよ

各種データを使って、健康や医療における課題や、今う、全学的に、初年次に数理データサイエンス AI 教育まで気づかなかったような広く社会に起きている現象プログラム(MDASH)リテラシーレベルを実施し、AIや課題を見つけだす課題解決型学修(PBL)を実施した。

を活用できるスキルの醸成を図っている。

これらの授業回において、生成系 AI への相談を定学生が生成系 AI と相談できる仕組みとしての ITS期的に繰り返しながら、生成系 AI から得られた回答を活用した授業科目は、MDASH に含まれる「情報処を学生に評価させて、その有用性、新規性、信頼性を理演習」である。
「情報処理演習」は本学１年生に対す判断させた。特に、PBL を実践する過程の中で生成系る全学共通教育科目であり、全ての学部で必須科目とAI への相談を組み込むことで、生成系 AI の回答も糸なっている。履修者数は約 700 名である。「情報処理

口にしながら、問題を解決する方策を立てられるよう－7－にした。これにより、生成系 AI からの回答を評価し、２種類を行った。非階層型のクラスタリングでは、t-最良の選択肢を選択しながら、批判的な観点を持つこ

SNE により次元削減をしてから k-means 法によりクとの価値も醸成されることを期待した。

ラスタリングし、クラスターの中央に位置した相談の内容を教員が閲覧できるようにした。階層型クラスタ

3. 生成系 AI への相談を実施した工程

リングでは Ward 法によりクラスタリングして、クラITS により生成系 AI への相談を実施した工程にはスターごとに TF-IDF 値の高い単語を抽出することで、４つのプロセスがあり、それぞれ、教員が学生の相談

学生がどのような相談をしているのかの傾向をつかめを受け付けるプロセス、相談内容を確認するプロセス、るようにした。また、IsolationForest 関数を使った異生成系 AI に相談を送信するプロセス、回答を受け取常値検出により、適切性を欠いた相談が無いのかを教るプロセス、最後に、学生が回答を閲覧するプロセス員が事前に確認できるチェック機能も設けた。

である。これらのプロセスを、授業回ごとに繰り返す

生成系 AI に相談を送信するプロセスでは、まず、ことで、学生の問題解決時の各ステップのレベルで支Chat GPT へ送信するプロンプトを生成した。プロン

援する機能、学生の状態に応じた適応的にフィードバ

プトには、学生ごとの「今日の授業で学んだこと」とックする機能の２つを ITS として持たせるようにした。

「授業テーマに関して AI に相談してみたいこと」を

学生の相談を受け付けるプロセスでは、学生は、演変数で渡すとともに、共通のプロンプトとして、例え習課題を google フォームから送信するときに、あわせば、「相談したいことはないとした学生には、次回からて「今日の授業で学んだこと」と「授業テーマに関しは、学んだことをもとにして、何か質問をするようにて AI に相談してみたいこと」も記入するようにした

促してください」などの教員からの指示も含めた。

（図１）。Google フォームは、毎時間、同じフォーム

回答を受 け取る プロ セスでは 、 ChatCompletion.

を利用して、相談の内容などは１つの google スプレッ

create コマンドにより、API 経由で、gpt-4 モデルにドシートに蓄積されるようにした。

より回答を受け取った。API を利用してオプトアウトすることで、大学外の組織が運用する生成系 AI に学生の学修データを学習させないようにした。また、gpt4 モデルの場合、回答にかかるトークンに対して従量制課金の費用が発生するために、回答は最大でも 500文字以内とするように制限を設けた。回答の受け取りは学部ごとに一括して実施したが、１回のChatCompletion. create コマンドの実施のたびに、10秒間のスリープを入れた。ChatCompletion. create からの応答がなかった場合には、さらに、10 秒間のスリープの後にリトライするようにした。
学生が回答を閲覧するプロセスでは、まず、ChatGPT から受け取った回答をデータベース化して、ITS

図１

学生の相談を受け付けるプロセス

から ODBC 経由で参照できるようにした。学生は ITS

相 談 内 容 を 確 認 す る プ ロ セ ス で は 、 Googleにログインすることで、Chat GPT からの回答を閲覧

colaboratory の開発環境で python を使って、googleできるようにし、回答ごとにアンケートも実施した。

スプレッドシートから読み取った相談の内容をまた、回答をデータベース化することで、Chat GPT かDoc2Vec で分散表現した後に、クラスタリングと異常らの回答が他の授業科目のレポートに使われてしまう値検出をする。クラスタリングは非階層型と階層型のなどの剽窃行為への対応もできるようにした。

－8－

4. 実践結果に対する検証している授業回に該当する。この結果から、相談開始
当初は、学生が何度も回答を繰り返し閲覧しているこ

4.1 検証の概要ITS により生成系 AI への相談を日常的に繰り返すことで、日々の疑問を解決する糸口をつかめるようになるのか、また、批判的観点を持ちながら、生成系 AIをより効果的に使えるようになったのかを検証する。
4.2 相談の実施回数と閲覧回数の検証
生成系 AI への相談を日常的に繰り返せたのかを検証するために、図２に、生成系 AI への相談回数を示した。図２は、４学部の「情報処理演習」の授業回４回目から７回目までの相談回数を示しており、１週ごとに、ほぼ履修者数と同数となる心理科学部 70 回、リハビリテーション科学部 150 回、看護福祉学部 150 回、医療技術学部 80 回、あわせて 500 回の相談が繰り返されていることがわかる。なお、gpt-4 モデルの従量制課金の費用は１週ごとに約 20 ドルであった。とがわかる。また、授業実施日以外にも、少ないながら、閲覧が記録されていることがわかる。なお、
2023/5/17 は、薬学部「文章指導」での利用であり、今回の「情報処理演習」とは異なる授業科目での閲覧回数となる。
4.3 チェック機能の検証
図４には、異常値検出をした例として、ある授業回における相談内容に対する結果を示した。グラフには、
Doc2Vec により分散表現した相談内容を t-SNE により次元削減して、各々の相談内容の座標を直交座標にプロットしている。IsolationForest 関数により異常値検出をしたが、検出条件は contamination=0.02 とした。異常値とされた相談内容の座標を赤点によりマークしたが、検出された２件は「文の組み立て方や表現の死 k 多」（一部抜粋）と「なし」である。前者の文末400部分は「表現の仕方」のタイプミスと考えられたため、

350
300

生成系 AI へプロンプトを送信する前に修正している。

250200150
1005004月21日 4月27日 5月2日 5月12日 5月16日 5月18日 5月19日 5月23日 5月25日 5月26日 5月30日 6月1日
医療技術学部

看護福祉学部

図２

リハビリテーション科学部

心理科学部

相談回数

10000

1000

100

図４

異常値検出

10

4.4 相談内容の検証

図３

6月1日

5月31日

5月30日

5月29日

5月28日

5月27日

5月26日

5月25日

5月24日

5月23日

5月22日

5月21日

5月20日

5月19日

5月18日

5月17日

5月16日

5月15日

5月14日

5月13日

1

図５は、すべての相談内容をクラスタリングした結果である。図４と同じく、Doc2Vec により分散表現した相談内容を t-SNE により２次元の直交座標にプロ

閲覧回数

図３は、生成系 AI からの回答の閲覧回数である。ピークが現れるのは授業実施日である。例えば、2023/5/25 には、閲覧回数が約 1,700 回となっているが、これは、図２の 2023/5/18 の 200 件の相談を閲覧ットしている。明確なクラスターは作られてはいない
が、相談内容の概要を掴むために、k-means 法により８個のクラスターに分け、それぞれのクラスターの中央に位置した相談の内容を抽出した。抽出した相談内
容（一部要約）は、下記の通りとなった。

－9－④⑧①④⑤②①⑥⑦③

図５⑤②⑥⑦⑧③

すべての相談内容のクラスタリング（t-SNE と k-means）：右図はクラスター番号を強調表示( 2 ) (1 10 ) (2 8 5) ( 22 8) ( 7 1) ( 10 9) ( 25 1 ) (2 8) ( 88 ) ( 12 0) ( 1) ( 9) (1 19 ) (1 19 ) (3 0 6 )1234567891011121314

図６すべての相談内容のクラスタリング（Ward と dendrogram）：右図は 15 個にクラスタリング

表２

クラスター1～15 の TF-IDF 値の高い単語（％は全体に対するクラスターのサイズの比率）
12345678

10

10 % スライド 情報

不可能 人間伝達

理解

視覚

pointpower

25 % どうレポート 自分よい

教えポイント パワー

ai

ほしい

315 % ポイント パワー

教え

作り方

やすいくださいスライド コツ

プレゼンテーション 方法

412 % 方法

よいスライド 文章

ai

ポイント

いい

プレゼンテーション

53 % スライド やすい

作る

文章

できるどう

教え

レポート

知りpowerpoint

65 % 特にレポート 書く

スライド どう

コツ

作る

知り

よい

713 % ポイント パワー

いい

やすい

スライド プレゼンテーション 作る

どう

使う

よい

81 % 理由

なぜ人口

北海道 東京

知り

増加

年代

看護

観光

94 % 人口

なぜ

日本

減少

高齢

ピラミッド

増加

くらいどこ

また

106 % なぜ

人口

増え

男性

減っ

サウジアラビア

多い

北海道

女性

ピラミッド

110 % における パワー

ポイント リスト

有効活用

120 % ai

医療診断できる存在

早期としてまし分野

効率

136 % ai

医療活用

人間思い

どうできる

デメリット れる

今後

146 % 人口

どう

変化ai

日本

ピラミッド

医療くださいなぜ教え15 16 % 教え

人口aiください 医療

特に日本

理由

方法

知りいい

レポート 書き方なし－10－ai915

①

レポートのなかでの重要な点の書き方の３点について、それぞれ、強くそう思う、そう思う、②

良い PowerPoint の書き方

そう思わない、強くそう思わないの４件法の回答を求③

見やすい PowerPoint の作り方めた。この結果、全体的に、各回答に対して、有用性④

東京に住んでいる人はどこで働いているのかが最も高く評価されており、それと比較すると、信頼⑤

文字数が決まっているときのレポートの書き方性や新規性は低くなる。

⑥

AI の欠点とは⑦

AI をうまく活用するにはどうするべきか⑧

生成系 AI をうまく活用するにはどうするべきか

信頼性

14120628 5①、②、③、⑤はレポートやプレゼンテーションの有用性

作成方法に関して、⑥、⑦、⑧は医療分野における AI

193

159224

活用に関して、④は「データ分析」をテーマとしたと新規性

きの課題解決型学修に関する質問であると考えられる。
図６は、Doc2Vec により分散表現した相談内容を

1330%

Ward 法 に よ り 階 層 型 の ク ラ ス タ リ ン グ を し て 、

205

20%

40%
4

360%
235 680%100%

1dendrogram ライブラリにより樹形図を示した。左は生成系 AI からの各回答にアンケート結果全ての質問内容のリーフを描画しているが、右が 14 個

図７のクラスターに分けている。表２は、クラスター1～14

有用性よりも信頼性が低くなる点は、批判的観点をの TF-IDF 値の高い単語である。

持ちながら、生成系 AI をより効果的に使えるように

図５と図６の結果をまとめると、学生がどのようななるきっかけになると考えた。そこで、PBL の過程で相談をしているのかの傾向をつかめる。例えば、プレ学生が生成系 AI への相談したことへの回答に対して、ゼンテーションの授業回では、スライドやレポートの「Chat GPT の回答が不十分であった点を書いてくだ作り方のコツや、授業のテーマであった医療分野におさい」、「Chat GPT の回答が正しいかを確認するためける AI 活用の事例などに関する質問があることがわに追加で探した情報があれば書いてください」の２点かる。また、統計局の統計ダッシュボードの各種デーについて、自由回答のオープンエンド形式でのアンケタを使った PBL に関する質問も見受けられる。ただ、ートを実施した。

表２のクラスター６にあるように、一定数（全体の約なお、オープンエンド形式であることから、アンケ５％程度）は、「質問がない」としている学生がいるこート結果の集計においては、ITS によるクラスタリンともわかる。

グ、ならびに、gpt-4 モデルによるクラスターごとの要約を実施した。

4.5 新規性、信頼性、有効性の検証

全ての学部で、「Chat GPT の回答が不十分であった

次に、日々の疑問を解決する糸口をつかめるようになるのかを検証するために、生成系 AI からの各回答に対する学生からのアンケート結果を図７に示した。
アンケートでは、生成系 AI からの各回答に対して、件であった。表３には、アンケート結果をクラスタリングして、クラスターの要約文を件数と併せて示した。
同様に、表４には、「Chat GPT の回答が正しいかを確

１．新規性がある（自分では気づかなかったような新しい視点が含まれていた）認するために追加で探した情報があれば書いてください」に対するアンケート結果を示した。この質問に対２．有用性がある（自分が抱える課題や問題を解決するのに役立った）点を書いてください」に対して回答があったのは 113

する回答があったのは 65 件となり、全履修者数の２割程度の回答であった。

３．信頼性がある（正確で信頼できると感じた）

－11－

表３

「Chat GPT の回答が不十分であった点を書いてください」に対するアンケート結果

相談回数は週に 500 回程度、合計で 3,000 回を超え、閲覧回数も週に数千回となるなど、安定的に、相談の件数受付がされていた。相談内容は、授業内容に沿った相特に不十分な点はなかった・特になし

33

談が多く、プレゼンテーションの授業回では、スライ回答が短く・具体例や詳細が不足していた

14

回答が求めていたものと違った・欲しい回答が得られなかった

9

調査結果や回答の信憑性・正確性に疑問があった

8

た医療分野における AI 活用の事例などに関する質問

既知の情報やありきたりな回答が多かった

7が多かった。ただ、一定数は、「質問がない」としてい質問と関連性が薄い回答があった

6

言葉の意味が分からない表現やわかりにくい部分があった

5

質問に対する回答が理解できたが、追加情報が欲しかった4

質問や回答の内容に誤り・誤差があった

4のかを検証した結果としても、AI からの回答に対して、質問に対する回答がなかった・回答が見つからなかった

3

有用性が最も高く評価されていた。しかし、有用性とその他の意見

20

クラスターごとの意見の要約

ドやレポートの作り方のコツや、授業のテーマであっる学生もいた。
日々の疑問を解決する糸口をつかめるようになった

比較すると、信頼性や新規性は低くなった。

表４ 「Chat GPT の回答が正しいかを確認するために追加で探した情報があれば書いてください」に対す
るアンケート結果
クラスターごとの意見の要約

件数

有用性よりも信頼性が低くなる点は、批判的観点を持ちながら、生成系 AI をより効果的に使えるようになるきっかけになると考える。そこで、Chat GPT の回答が不十分であった点や Chat GPT の回答の正しさ

人口や出生率に関する情報

9

歴史・政策に関する情報

9

情報の正確性を確認

7

かも検証した。結果は、２割程度の学生が、Chat GPT経済・労働に関する情報

6の回答に対して、適切な情報を自身で追加して探して移民・移住に関する情報

5

医療・看護に関する情報

4

食料・農業に関する情報

3

その他

22を確認するために追加で探した情報がどの程度あるのいることがわかった。しかし、まだ、このような学修行動の広がりはまだ十分ではないと考える。
一方で、著者らは、他の授業科目において、異なる表３と結果から、まず、Chat GPT の回答が不十分授業形態で同様の取り組みをしており、ここでは、批ではなかったとした意見が３割程度あったが、７割程判的観点を持つことの価値が醸成されつつあるとの結度は、具体性や信頼性に対する指摘が挙げられている。

果も出始めている。今後は、実践と検証を重ねて、批表４の結果からは、PBL のテーマとなった情報があが判的観点を持ちながら生成系 AI を効果的に使えるよっており、hat GPT の回答が正しいかを確認するためうなスキルが修得されることを目指したい。に追加で探した情報としては、適切な事項であった。
しかし、全体の２割程度の回答であったことは、今後謝辞の大きな検討課題となる。

本研究は JSPS 科研費 22H01051 の助成を受けたものです。

5. むすび「ITS により生成系 AI への相談を日常的に繰り返すことで、日々の疑問を解決する糸口をつかめるようになるのか」をメインのリサーチクエスチョンとして、

参 考 文 献(1) 林 勇吾: “私のブックマーク「知的学習支援システム（Inteligent Tutoring Systems）」”,人工知能, Vol. 33,

内製化した知的学習支援システムに生成系 AI を API経由で組み込むことで、MDASH を構成する毎回の授No. 4, pp. 527-530 (2018)(2) 吉川 厚, 高橋 聡: “エージェント技術の教育応用”, 教

業後に、学生が生成系 AI と相談できるようにした。

育システム情報学会誌, Vol. 35, No. 1, pp. 5-12 (2018)

検証をはじめてから一か月程度の期間ではあるが、(3) 東 京 大 学－12－生 成 系 AI(ChatGPT, BingAI, Bard,

Midjourney, Stable Diffusion 等)について,
https://utelecon.adm.u-tokyo.ac.jp/docs/20230403generative-ai (2023 年 6 月 9 日確認)
(4) 二瓶 裕之, 西牧 可織: “医療系大学における数理デー
タサイエンス AI 教育（リテラシーレベルプラス）の実
践と検証”, 教育システム情報学会誌, Vol. 40, No. 2, pp.
176-178 (2023)－13－