博士 （情 報科 学） 大東優

学 位 論 文 題 名

学習的問題解決場面におけるタスクモデルの自立的構築に関する研究
学位論文内容の要旨
機械学習の分野では学習タスクの種類に応じて様々を学習手法が提案され，単一の複雑をタスクに対しては効率の良い学習が可能となってきている，しかし，それぞれの学習タスクにおいて「どの情報や知識を用いてどのようを処理手順で学習するのか」という学習処理そのものの設定は，学習機械が自律的に行うわけではなく，技術者や研究者をどの人間が個々の問題に応じて行い，学習機械に組み込んでいる．すをわち，ある学習機械，あるいは学習モデルが様々教学習タスクに適用されてその問題を解決できることの大きを要因は，学習機械が学習を開始する以前に人間が行う学習タスクの分析と，その結果に応じた学習の処理過程の構築にある．それは，多様を問題解決にあって真に知能を持って発揮しているのは人間であって，現状の学習機械は新しい問題に自律的に対応する能カは持っていをいということを意味している．ヒトのこのタスク設定の機構を情報処理の立場から解明し，学習機械に組み込むことができるをら，あらかじめ学習処理を組み込むことをく複数のタスクに対して対応可能を学習機械の実現に道が開かれる．そこで本研究は過去の経験に基づぃて自律的かつ動的にタスクを表現するモデルを構築する手法を提案し，過去の経験に類似したタスク群に対してすぱやい適応が可能を学習機械の実現を目的としている，
本論文は，全8章からをる．第1章では，本研究の問題意識，目的，本論文の構成について述べる．第2章では，本研究のべースとをる強化学習による問題解決について述べている，まず強化学習の一般的な説明を行い，次に人間と強化学習の振る舞いの違いを述ベ，それらの解決を目指した従来研究を解 説 し て い る ． 最 後 に ， 強 化学 習 の 問 題解 決 に お ける 本 研 究 の位 置 づ け を述 べ て い る．
第3章では，複数の因果関係が含まれる単純毅テレピゲームを題材として，予測に基づく強化学習方式を提案している．従来の強化学習では，基本的にりアクティプを行動決定を行うが，ヒトは過去に獲得した知識を利用して予測を利用した行動決定・学習を行っているように見える，そこで，環境に含まれる因果関係を局所的を予測モデルで表現・保持し，それを利用した予測に基づく強化学習方式を提案し，計算機シミュレーションにより従来の強化学習よりもすばやい学習が実現できることを示した．
第4章で は，第3章と同じテレビゲームを題材として，感覚入カに基づく動的を知識の組み合わせによる自律的をタスクモデル構築手法を提案している，第3章の提案モデルに加えて，感覚入カに基づぃた競合による局所的を予測モデルの選択手法を追加することで，自律的をタスクモデルの構築を実現した．また追加的を学習法で局所的を予測モデルを獲得していくことで，異をるタスクに直面した際に不足している知識の獲得・学習を可能にしている．この手法を用いた計算機シミュレー
ションにより，過去に経験したタスクと類似のタスクに対して過去の知識を再利用することで，すぱ― 1417−

やく適応できることを示した．
第5章で は，ヒ トの実 世界で の学習 的問題 解決場 面として ビデオデッキやDVDレコーダーをどの機器操作の学習問題を題材とし，ヒトと従来の強化学習との振る舞いの違いを明らかにしている．まず機器操作学習場面と強化学習の枠組みの対応関係を示し，計算機シミュレーションによルヒトと強化学習の振る舞いの違いについて述べている，次に，それを解決する人間の学習特性を強化学習に追加し，計算機シミュレーションにより学習の振る舞いが人間の振る舞いに近づぃたことを示した，
第6章で は，新 しい機器操作の学習場面を題材として，第4章で提案したタスクモデルの自律的を構築手法を適用した，ヒトは機器操作を学習する際には，過去に操作を経験した機器の知識を再利用し学習していると考えられる．っまり，過去の知識を再利用しタスクモデルを構築することで，新しい機器へのすぱやい適応を実現している，まず，機器操作場面への適用により再構築された提案手法を示し，次にてれを用いた計算機シミュレーションにより，類似機器に対するユーザーの学習の振る舞いをシミュレートできることを示した．
第7章では，自律的をタスクモデルの構築を実現した情報処理メカニズムについて，また解決すべ
き 技 術 的を 問 題 点 をど に つ い ての 議 論 を 行を い ， 第 8章 で 本論 文 の 全 体を ま と め てい る ．
以上をまとめると本論文は，学習的問題解決場面において学習機械が自律的にタスクモデルを構築するという問題に対して，局所的教予測モデルをポトムアップに組み合わせるという手法で新しい学習システムの提案を行ったものである，― 1418―

学位論文審査の要旨
主査

教授

和田充雄

副査

教授

栗原正仁

副査

教授

大内副査

教授

大森隆司（玉川大学学術研究所）

東学 位 論 文 題 名

学習的問題解決場面におけるタスクモデルの自立的構築に関する研究
近年、機械学習の分野では学習タスクの種類に応じて様々誼学習手法が提案され，単一の複雑をタスクに対しては効率の良い学習が可能とをってきている．しかし，それぞれの学習タスクにおいて「どの情報や知識を用いてどのよう教処理手順で学習するのか」という学習処理そのものの設定は，学習機械が自律的に行うわけではをく，技術者や研究者をどの人間が個々の問題に応じて行い，学習機械に組み込んでいる．すをわち，ある学習機械，あるいは学習モデルが様々を学習タスクに適用されてその問題を解決できることの大きを要因は，学習機械が学習を開始する以前に人間が行う学習タスクの分析と，その結果に応じた学習の処理過程の構築にある，それは，多様を問題解決にあって真に知能を持って発揮しているのは人間であって，現状の学習機械は新しい問題に自律的に対応する能カは持っていをいということを意味している．ヒトのこのタスク設定の機構を情報処理の立場から解明し，学習機械に組み込むことができるをら，あらかじめ学習処理を組み込むことをく
複数のタ スクに対 して対 応可能を 学習機 械の実現 に道が 開かれる ことが期 待でき る．
本論文は、この問題に対して過去の経験に基づぃて自律的かつ動的にタスクを表現するモデルを構築し、これに基づぃて過去の経験に類似したタスク群に対してすばやい適応が可能を新たを学習機械を提案し、計算機シミュレーションと評価実験により検証して得た多くの知見についてまとめたものである．
すをわち、本論文の第1章では、本研究の問題意識，目的，本論文の構成について述べている．
第2章では、本論文のべースとした強化学習による問題解決について述べている．まず強化学習の一般的を説明を行い，次に人間と強化学習の振る舞いの違い並びにそれらの解決を目指した従来研究での課題を述ベ，最後に強化学習の問題解決における本論文の位置づけを明らかにしている．
第3章では，複数の因果関係が含まれる単純をテレビゲームを題材として，予測に基づく強化学習方式を提案している．従来の強化学習では，基本的にりアクティブを行動決定を行うが，ヒトは過去に獲得した知識を利用して予測を利用した行動決定・学習を行っている．そこで，環境に含まれる因果関係を局所的を予測モデルで表現・保持し，それを利用した予測に基づく強化学習方式を提案
し，計算機シミュレーションにより従来の強化学習よりもすばやい学習が実現できることを示してー 1419−いる，
第 4章では ，第3章 と同じテレピゲームを題材として，感覚入カに基づく動的を知識の組み合わせによる自律的をタスクモデル構築手法を提案している．第3章の提案モデルに加えて，感覚入カに基づぃた競合による局所的を予測モデルの選択手法を追加することで，自律的数タスクモデルの構築を実現している．また追加的を学習法で局所的誼予測モデルを獲得していくことで，異をるタスクに直面した際に不足している知識の獲得・学習を可能にしている．この手法を用いた計算機シミュレーションにより，過去に経験したタスクと類似のタスクに対して過去の知識を再利用することで，すばやく適応できることを示している．
第 5章では ，人間 の実世 界での 学習的 問題解 決場面 として ピデオデッキやDVDレコーダーをどの機器操作の学習問題を題材とし，人と従来の強化学習との振る舞いの違いを明らかにしている，最初に機器操作学習場面と強化学習の枠組みの対応関係を示し，計算機シミュレーションにより人と強化学習の振る舞いの違いについて述ベ，次にそれを解決する人間の学習特性を強化学習に追加し，計 算機シ ミュレ ーションにより学習の振る舞いが人間の振る舞いに近づぃたことを示している．
第 6章では ，新し い機器操作の学習場面を題材として，第4章で提案したタスクモデルの自律的な構築手法を適用した結果について述べている．人は機器操作を学習する際には，過去に操作を経験した機器の知識を再利用し学習していると考え，過去の知識を再利用したタスクモデルを構築することで新しい機器への適応を実現するため，機器操作場面への適用により再構築された提案手法を示し，次にこれを用いた計算機シミュレーションを行って類似機器に対するユーザーの学習の振る舞いが再現できることを実証している．
第7章では，自律的をタスクモデルの構築を実現した情報処理メカニズムについて，また解決すべき技術的を問題点教どについて明らかにしている．
第8章では，本論文の全体をまとめている．
これを要するに，著者は，学習的問題解決場面において学習機械が自律的にタスクモデルを構築する際の問題に対し，局所的な予測モデルをポトムアップに組み合わせる計算モデルを提案・実証して，学習システムについて新たを知見を得たものであり，情報科学，認知工学の発展に貢献するところ大をるものがある．よって北海道大学博士（情報科学）の学位を授与するに値するものと認める，

ー 1420 ‑