(57)【要約】【課題】強化学習法は自律移動ロボット等に応用される知的動作の一つであり、未知の環境での動作が可能であるなど優れた面を持つシステムであるが、不完全知覚問題という基礎的な課題を持っている。いろいろな解決策が提案されているが、決め手はなく、システムも複雑なものになり兼ねない。簡単で効果的な解決方法が望まれている。【解決手段】状態行動価値を複素数で定義する複素価値関数を導入する。時系列情報は複素数値の位相部分に取り込むことにする。これにより、複雑なアルゴリズムを用いることなく時系列情報が価値関数に取り込まれ、簡便な実装により不完全知覚問題が有効に解決される。【選択図】図４
2007066242.tif 000002
【特許請求の範囲】
【請求項１】
価値関数に複素数値関数を使用し、時系列情報を複素数の位相部分もしくは位相部分および振幅部分に算入することにより、不完全知覚問題に対応することを特徴とする強化学習の価値関数表現方法。
【請求項２】
前記強化学習法としてＱラーニング法を用いたことを特徴とする特許請求範囲１に記載の強化学習の価値関数表現方法。
【請求項３】
価値関数に複素数値関数を使用し、時系列情報を複素数の位相部分もしくは位相部分および振幅部分に算入することにより、不完全知覚問題に対応することを特徴とする強化学習の価値関数表現方法を用いた装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動ロボット等に応用する強化学習方法およびこれを用いた装置に関する。
【背景技術】
【０００２】
強化学習は自律移動ロボットのような行動主体が、自ら環境を観測し行動した結果から次の適切な方策を獲得する知的動作である。とくに環境同定型手法は教師信号を使わない学習手段であるため、未知の環境における行動を決めるのに向いたシステムであると言われている。代表的な強化学習方法として、Ｑラーニングをはじめとする状態行動対の価値関数を求める環境同定型手法や、メモリに記憶したエピソードを利用する経験強化型手法が知られている。
【０００３】
強化学習法の一般理論については[1]S.Russell and P.Norvig:Artificial Intelligence  A Modern Approach, Prentice Hall, 1995 (邦訳「エージェントアプローチ  人工知能」共立出版  1997)  または [2]R.S.Sutton and A.G.Barto: Reinforcement Learning An Introduction, The MIT Press 1988. (邦訳「強化学習」森北出版、2000) が詳しい。
強化学習法についての改良、応用は数多くあり、例えば、基本アルゴリズムに関して言えば、学習における連続状態空間の扱いや、学習速度向上を目指した研究開発が行われている。例えば、[3]エージェント学習装置(科学技術振興事業団、特許文献１)がある。
【０００４】
【特許文献１】特開２０００−３５９５６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
強化学習法における基礎的な問題に「不完全知覚問題」がある。環境同定型強化学習では状態と行動の対に対して価値関数の値を決める。この値が大きいほどその状態でとるべき行動としてふさわしいとするのである。アルゴリズムが比較的簡単で実装が容易である反面、現実の環境と環境検出能力では、ある状態に該当する空間が無数に存在し、その度に異なる行動の選択が求められるという問題が生ずる。これが「不完全知覚問題」である。
【０００６】
不完全知覚問題の生ずる環境は非マルコフ過程からなる環境であり、Ｑラーニングをはじめとする従来からの強化学習法では原理的に対応できないことが知られている。不完全知覚問題については設計者のヒューリステイックスに基づく仮定や、新しいパラメータを導入することが考えられたが、効果が保障されたわけではない。例えば、前出の文献[3]では、環境の変化を予測し、変化に応じて複数の学習モジュールを自動的に切り替える方法を提供しているが、各学習モジュールの分担範囲を決めるパラメータはタスクに依存するという問題がある。
【０００７】
文献[4]特開2005-78519内部変数推定装置、内部変数推定方法及び内部変数推定プログラム((株)国際電気通信基礎技術研究所)では、内部変数を推測する機構を有し、直接観測できない状態をメタパラメータとして表す方法を提案しているが、内部状態の数や内部変数の次元の設定は設計者のヒューリステイックスに依存する。また、文献[5]特開平9-81205学習システム(富士通(株))によれば、いくつかの時系列情報（コンテキスト）をメモリに蓄え、状態の履歴からとるべき行動を決定するエピソード記憶方式の経験強化型強化学習方法が提案されている。この方法はコンテキストを直接保持するため、非マルコフ過程の環境に対応できるが、どれだけの長さのコンテキストを持てばよいのか、学習時の探査範囲の設定など、設計者のヒューリステックスに大きく依存せざるを得ない。信頼性の点で問題の多い、ヒューリステックスに依存せず、かつ、メモリその他の資源を多大に使わない解決策が望まれる所以である。
【課題を解決するための手段】
【０００８】
本発明における問題解決の要点はエピソード記憶のようなコンテキストを価値関数に簡便な方法で取り込むことにある。このために状態行動価値を複素数で定義する複素価値関数を導入する。時系列情報は複素数値の位相部分に主として取り込まれる。これにより、複雑なアルゴリズムを用いることなく時系列情報が価値関数に取り込まれ、容易な実装でありながら、不完全知覚問題が解決できることとなる。
【０００９】
すなわち、請求項１記載発明は、価値関数に複素数値関数を使用し、時系列情報を複素数の位相部分もしくは位相部分および振幅部分に算入することにより、不完全知覚問題に対応することを特徴とする強化学習の価値関数表現方法である。また請求項２記載発明は前記強化学習法としてＱラーニング法を用いた強化学習の価値関数表現方法である。
【００１０】
請求項３記載発明は、価値関数に複素数値関数を使用し、時系列情報を複素数の位相部分もしくは位相部分および振幅部分に算入することにより、不完全知覚問題に対応することを特徴とする強化学習の価値関数表現方法を用いた装置である。
【発明の効果】
【００１１】
本発明は不完全知覚問題を複雑なアルゴリズムを用いることなく簡便な実装で解決するものであるから、不完全知覚問題のもたらす本質的な欠陥が解消し、自律移動学習が可能なロボットが容易に作れるようになる。不完全知覚問題の及ぶ範囲は広大であり、本発明が解決する問題の範囲も自ずから広いものとなり、技術的、経済的効果は多大である。
【発明を実施するための最良の形態】
【００１２】
具体例として、ＱラーニングにおけるＱ値を複素数として扱う方法を説明する。Ｑ値が複素数であることを明示的に複素Ｑ値と表す。複素Ｑ値の更新式において遷移先の状態に関連する複素Ｑ値をとる際に、位相回転を加えることで時系列の情報(コンテキスト)を含ませるのが本発明の要点である。すなわち直前の行動の複素Ｑ値との位相差を考慮して次のステップで選択されるであろう複素Ｑ値を予測する。図1は予測された複素Ｑ値（複素ベクトルＲ）と選択可能な行動に対応する複素Ｑ値（複素Ｑ１、複素Ｑ２）の関係を示す。複素ベクトルＲの位相項が変化すると各複素Ｑ値との内積も変化する。つまり、各複素Ｑ値から複素ベクトルＲと原点を結ぶ直線に直角に下ろした足と原点との長さが変化する。Ｑ値を実数として扱う場合は、単純に大きさの比較を行うことしか出来ないが、複素Ｑ値を用いると位相差を含んだ比較が可能となる。これによって複雑なアルゴリズムを使わないで時系列を取り入れた行動選択が可能になる。
【００１３】
［更新アルゴニズムの定式化］
状態ｓｉから行動ａｉをとって状態ｓｉ＋１へと遷移し報酬ｒを受け取ったときの、複素Ｑ値の更新則を数１のように定義する。
【００１４】
【数１】
2007066242.tif 000003
【００１５】
ここで、ｋステップ前の状態、行動をそれぞれｓｉ−ｋ，ａｉ−ｋとする。ｕ（ｋ）は複素関数であり、形式上の適格度トレースであり、数２のように定義する。数２中では関数ｕに複素数を示すドットを付けた。数２、５中では関数βに複素数を示すドットを付けた。
【００１６】
【数２】
2007066242.tif 000004
数１の適用は、予め定めた整数Ｎｅを用いて、０≦ｋ≦Ｎｅの範囲で行う。
ただし、βは絶対値が１以下の複素数である。
数１における複素Ｑ値は数３のように定義する。
【００１７】
【数３】
2007066242.tif 000005
ただし、ａ’は数４のように定義する。
【００１８】
【数４】
2007066242.tif 000006
ここで、予想される複素Ｑ値（複素ベクトルＲｉ）は、数５のように定義する。
【００１９】
【数５】
2007066242.tif 000007
【００２０】
［行動選択アルゴリズムの定式化］
ここでは、Ｍａｘ−Ｂｏｌｔｚｍａｎｎ選択を用いる。すなわち、状態ｓｉに居るエージェントは、確率１−ＰｍａｘでＢｏｌｔｚｍａｎｎ選択を行い、確率ＰｍａｘでＧｒｅｅｄｙ方策を行うことにする。
状態ｓｉ、行動ａｉに対応する複素Ｑ値を複素Ｑ（ｓｉ，ａｉ）とする。また、状態ｓｉにおける行動ａのＢｏｌｔｚｍａｎｎの選択確率をＰｒｏｂ（ｓｉ，ａ）とする。状態ｓｉにおける行動集合をＡ（ｓｉ）、直前の状態と行動に対応する複素Ｑ値を複素Ｑ（ｓｉ−１，ａｉ−１）、Ｂｏｌｔｚｍａｎｎ選択の温度パラメーターをＴとするとき、Ｐｒｏｂ（ｓｉ，ａ）を数６のように定める。
【００２１】
【数６】
2007066242.tif 000008
ただし、Ｒｅ［複素関数］は複素数の実部を表す。
ｇｒｅｅｄｙ方策はａｒｇ  ｍａｘａＰｒｏｂ（ｓｉ，ａ）を選択することにする。
【００２２】
［計算機実験］
図２のような簡単なグリッドワールドにおける迷路問題を対象として計算機実験を行い、提案手法の有効性を確認する。
【００２３】
［状態空間と行動集合］
エージェントが観測可能な情報は、東西南北周囲４マスの壁の有無のみとし、この情報を直接状態として割り当てることにする。すなわち観測可能な状態数は２４＝１６となる。これらの環境において不完全知覚の影響のある状態が存在する。例えば、アスタリスク
＊においてはそれぞれにおいて選択すべき行動が異なり、＊＊においては同じ行動をとらなければならない。エージェントが任意の状態において選択することができる行動は、壁のない方向に進むのみとする。すなわち、行動集合Ａ＝｛東、西、南、北｝の空集合でない部分集合とする。
【００２４】
［パラメータ設定］
エージェントは、ゴールにたどり着くと環境から報酬ｒ＝１００を受け取り、初期状態であるスタートに再配置されるものとした。エージェントの行動１ステップごとに負の報酬を与えることや、ゴールにたどり着くのにかかったステップ数に応じて報酬を変えることなど、早くゴールにたどり着く学習を助長するような報酬の与え方はしない。
試行数１００を３つのフェーズに分け、それぞれについてパラメータの設定を行った。ステップごとに変化するパラメータについては表１のように設定し、それ以外のパラメータについては各フェーズにおいて共通とし、β＝０．９ｅｘｐ（ｊπ／６）、γ＝０．９９９、Ｔ＝３０００、Ｎｅ＝１とした。ただし、ｊ２＝−１である。
【００２５】
【表１】
2007066242.tif 000009
【００２６】
［実験結果］
計算機実験の結果を図３に示す。この結果は１００試行を１学習として１００学習行い、収束したものに関しての平均である。
ｍａｚｅ１、ｍａｚｅ２においては１００％が収束し、ｍａｚｅ３においては９５％が収束した。本計算機実験ではｍａｚｅ１、ｍａｚｅ２において１００％が最短経路を実現するような方策を獲得した。
【００２７】
ｍａｚｅ１では最短経路を実現する方策が獲得でき、一連の行動について観察すると、ある複素Ｑ値次の行動に対応する複素Ｑ値とβの偏角だけずれる学習がなされている。ｍａｚｅ２でも最短経路を実現する方策が獲得できた。ｍａｚｅ１のような単純な位相関係ではなかったが、位相を自律的に調整することで、不完全知覚問題を解決していることが観察された。ｍａｚｅ３では最短経路を実現する方策の学習は見られなかったが、環境中を一部往復することで自律的に環境を多重化して不完全知覚問題を解決していることが観察された。
いずれの場合も、問題を自律的に解決する行動が獲得できており、本発明による不完全知覚問題の解決の効果が示されている。
【００２８】
図4は本発明に関わる装置の具体例で、複素Ｑラーニング法を実装した装置のブロック図である。行動選択器１においては前回の参照値を基準としてＱテーブル２から渡されるＱ値集合の中から一つの値を選択する。Ｑ値変更部４では新たな参照値を基準として遷移後のＱ値集合の中から一つの値を選択して更新の目標値とし、Ｑ値変更器５で変更を実行する。
【００２９】
なお、本実施例では価値関数の複素数化と位相の取り込み方を、［数２］のように計算したが、複素数化と位相の取り込み方はこれに限られるものではない。例えば、図１において複素Ｑ１、複素Ｑ２の位相を時系列情報に基づいて変化させたり、位相だけでなく振幅を変化させてもよく、実際の計算法は環境によって適宜選択されるべきである。本発明の主旨は複素価値関数を用い、位相項に時系列情報を取り入れることにあり、いかなる取り込み方にも及ぶものである。
【００３０】
また、本実施例では複素価値関数を用いる手法をＱラーニング法に応用した例を示したが、本発明の本質は複素価値関数を用いることにあるので、例えば、ＴＤ法、ＳＡＲＳＡ法、Ａｃｔｏｒ  Ｃｒｉｔｉｃ法、Ｒ学習法、Ｐｒｏｆｉｔ  Ｓｈａｒｉｎｇ法などの価値関数を用いる方法であればいずれも有効に機能する。
【００３１】
本実施例では行動選択アルゴリズムとしてＭａｘ−Ｂｏｌｔｚｍａｎｎ選択を採用したが、複素価値関数の出力である複素数値から実数値の選択確率を計算できるアルゴリズムであればどのようなものでも良く、理工学で一般的に使われているもので計算する方法は何れも本発明の範囲内に入るものである。
【００３２】
産業上の利用可能性：
不完全知覚問題は強化学習の基本的問題であり、本発明によりこれが解決されれば環境同定型学習の多くの問題点が自ずから解消し、廉価なセンサを有するロボットで自立移動学習が可能になる。本発明の実装は廉価容易であり、経済的な効果は大きい。さらに不完全知覚問題はマルチエージェント系など多数の学習主体の同時学習でも現れる問題であり、本発明はマルチロボットや多点探査アルゴリズムなど、集団としての効率的な学習を要求される用途にも有効に使用できる。
【図面の簡単な説明】
【００３３】
【図１】ある状態における複素Ｑ値を複素平面上に示した図である。
【図２】（ａ）〜（ｃ）は計算機実験の実験環境を示す図で、簡単な迷路問題を行うグリットワールドを示す図である。
【図３】計算機実験の結果を示す図である。
【図４】本発明にかかわるＱラーニング法を実装した装置のブロック図である。
【図１】
2007066242.tif 000010
【図２】
2007066242.tif 000011
【図３】
2007066242.tif 000012
【図４】
2007066242.tif 000013