(57)【要約】【課題】  相手からの意味不明な情報をより正確に推測して、複数の異なるシステム間で協働して動作することができる学習装置を提供する。【解決手段】  学習装置１は、外部環境３から得られる情報に基づいて、特定動作物体の内的状態（Ａ）を推測する自己推測部１１と、特定動作物体以外の少なくとも１つの他の物体２からの情報を状態情報（発話情報）Ｕｏとして取得する状態取得部８と、上記状態情報Ｕｏを取得した上記他動作物体の内的状態（Ｂ）を推測する他推測部１２と、上記内的状態（Ａ）と上記内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定部５と、上記特定動作物体および／または上記他の物体２が動作した後の外部環境から得られる情報を評価する評価部９と、上記評価部９の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更部１０とを備える構成である。【選択図】  図１
2006035388.tif 000002
【特許請求の範囲】
【請求項１】
外部環境を変化可能な動作手段を有する特定動作物体の、当該動作手段の動作を決定するための学習装置において、
外部環境から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する特定状態推測手段と、
上記特定動作物体以外の少なくとも１つの他動作物体からの情報を状態情報として取得する取得手段と、
上記状態情報を取得した上記他動作物体の内的状態（Ｂ）を推測する他状態推測手段と、
上記特定状態推測手段によって推測された特定動作物体の内的状態（Ａ）と上記他状態推測手段によって推測された他動作物体の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定手段と、
上記特定動作物体および／または上記他動作物体が動作した後の外部環境から得られる情報を評価する評価手段と、
上記評価手段の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更手段とを備えることを特徴とする学習装置。
【請求項２】
上記変更手段は、さらに、評価手段の結果に基づいて、上記特定動作物体の動作を決定するための動作規則を変更するものであることを特徴とする請求項１記載の学習装置。
【請求項３】
上記変更手段は、さらに、評価手段の結果に基づいて、上記内的状態（Ａ）を推測するための推測規則を変更するものであることを特徴とする請求項１または２記載の学習装置。
【請求項４】
上記特定状態推測手段および他状態推測手段は、同じ推測規則を用いて、上記内的状態（Ａ）または内的状態（Ｂ）を推測するものであることを特徴とする請求項１〜３のいずれか１項に記載の学習装置。
【請求項５】
上記内的状態（Ａ）に関する情報を外部に対して提供する提供手段を備えることを特徴とする請求項１〜４のいずれか１項に記載の学習装置。
【請求項６】
外部環境を変化可能な動作手段を有する特定動作物体の、当該動作手段の動作を決定するための学習方法において、
外部環境から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する特定状態推測工程と、
上記特定動作物体以外の少なくとも１つの他動作物体からの情報を状態情報として取得する取得工程と、
上記状態情報を取得した上記他動作物体の内的状態（Ｂ）を推測する他状態推測工程と、
上記自己状態推測工程によって推測された特定動作物体の内的状態（Ａ）と上記他状態推測工程によって推測された他動作物体の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定工程と、
上記特定動作物体および／または上記他動作物体が動作した後の外部環境から得られる情報を評価する評価工程と、
上記評価工程の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更工程とを含むことを特徴とする学習方法。
【請求項７】
請求項１〜５のいずれか１項に記載の学習装置が備える各手段をコンピュータに実行させる学習プログラム。
【請求項８】
請求項１〜５のいずれか１項に記載の学習装置が備える各手段をコンピュータに実行させる学習プログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項９】
請求項１〜５のいずれか１項に記載の学習装置を備えることを特徴とする動作物体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のシステムを協働させるために、他者の内的状態を推定するための学習装置に関するものである。
【背景技術】
【０００２】
相手に自分の意志を伝える方法として、有効な手段は発話することである。これが有効な手段として成り立つには、双方が共通の言語を使用し、相手の発話に対する意味解釈が正しく行われている場合に限定される。しかし世の中には数多くの言語が存在していて、独自の言語体系を形成している。例えば、日本語、英語、中国語、イタリア語など様々な言語が存在する。つまり、異なった言語を持つ人々がコミュニケーションをとることは大変難しい。共通の理解を得られない理由として、言語の違いによるものを例に挙げたが、例えば、共通の言語体系を使用している場合においても、言語に対して相互の解釈が違えば共通の理解を得ることができず、コミュニケーションを成立させることは難しくなる。このように、お互いの解釈が異なる場合、コミュニケーションを成立させるためには、言葉に対する解釈の整合性を図る行為が必要となる。
【０００３】
そして、解釈の整合性をとることは、人と人との間に限られず、機械同士の間でも同様である。例えば、通信プロトコルが異なる通信装置間では正常なデータ通信を行うことができない。
【０００４】
ところで、複数の異なるシステムを協働させて、共通の目的を達成させる場合、複数のシステム間で正常な情報のやり取りを行う必要がある。
【０００５】
複数のシステム間で協働して動作を行う構成としては、例えば、特許文献１に開示の方法がある。
【０００６】
特許文献１に開示の構成では、無線通信回線を介して他のロボットと情報の交換を行い、予め指示されている行動目標を達成するために、周囲環境に基づいて自己の動作を策定することが開示されている。なお、上記特許文献１では、他のロボットと情報の交換を行う際には、予め決まった通信プロトコルが用意されており、内容の分かっている情報の交換が行われている。
【特許文献１】特開２００２−１７８２８３公報（公開日；２００２年７月５日）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記従来の構成では、互いのシステム間で情報をやり取りする際に、決まった通信プロトコルを用いて通信を行っている。従って、互いのシステムは、送受信される情報の内容を理解することができる。しかしながら、互いのシステム間で情報のやり取りを行う際に、通信プロトコルが異なる場合、相手から送信されてくる情報の意味を理解することができない。つまり、予め通信プロトコルが決まっている複数のシステム間では容易に協調した動作を行うことが可能であるが、例えば、人とロボット間、または、ロボット間であっても通信プロトコルが異なる場合には、相手からの情報を正確に理解することができず、コミュニケーションを図ることができないという問題点がある。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、相手からの意味不明な情報をより正確に推測して、複数の異なるシステム間で協働して動作することができる学習装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明にかかる学習装置は、上記の課題を解決するために、外部環境を変化可能な動作手段を有する特定動作物体の、当該動作手段の動作を決定するための学習装置において、外部環境から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する特定状態推測手段と、上記特定動作物体以外の少なくとも１つの他動作物体からの情報を状態情報として取得する取得手段と、上記状態情報を取得した上記他動作物体の内的状態（Ｂ）を推測する他状態推測手段と、上記特定状態推測手段によって推測された特定動作物体の内的状態（Ａ）と上記他状態推測手段によって推測された他動作物体の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定手段と、上記特定動作物体および／または上記他動作物体が動作した後の外部環境から得られる情報を評価する評価手段と、上記評価手段の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更手段とを備えることを特徴としている。
【００１０】
上記状態情報とは、特定動作物体以外の他動作物体の内的状態（Ｂ）を含んだ情報であるが、学習装置にとって意味の分からない情報である。そして、本発明の学習装置は、上記状態情報から他動作物体の内的状態（Ｂ）を推測している。つまり、本発明の学習装置は、少なくとも１つの他動作物体から意味が不明である情報を状態情報として受け取って、その状態情報から相手である他動作物体の内的状態（Ｂ）を推測している。このように、本発明の学習装置と他動作物体とは、予め定められた規則（ルール）等で情報のやり取りを行うことができず、上記学習装置は、得られた状態情報と推測規則とから相手の内的状態（Ｂ）を推測している。
【００１１】
ところで、上記内的状態とは、動作物体の内部の状態等の現在の外部環境における状態を示している。上記内的状態は、外部環境に依存しており、外部環境が変化すると内的状態も変化する。上記内的状態としては、具体的には、例えば、動作物体が移動可能な物体であれば、動作物体の現在地の座標や方向（向き）等が内的状態に相当する。
【００１２】
上記外部環境から得られる情報とは、特定動作物体と他動作物体との相対的な関係を示す情報および／または特定動作物体および他動作物体を含む全体の系に関する情報である。上記外部環境から得られる情報としては、例えば、特定動作物体および／または他動作物体の外部から見た状態を示す情報や、特定動作物体と他動作物体との相対的な距離等を示す情報が挙げられる。
【００１３】
そして、学習装置は、上記外部環境から得られる情報から、例えば、特定動作物体の現在位置や方向等の特定動作物体の内的状態（Ａ）を推測する。
【００１４】
上記の構成によれば、上記他動作物体の内的状態（Ｂ）と特定動作物体の内的状態（Ａ）とを用いて動作を決定した後、評価手段によって特定動作物体および／または他動作物体が行った動作の評価を行い、この評価結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更している。
【００１５】
つまり、他動作物体の内的状態（Ｂ）と特定動作物体の内的状態（Ａ）とに基づいて、特定動作物体の動作を決定し、当該特定動作物体が動作した結果、引き起こされた外部環境の変化を評価することで、決定した特定動作物体の外部環境から見た動作が良い動作であったか悪い動作であったか（予め決められている目標に近くなったか遠くなったか）を評価することができ、その評価結果に基づいて、推測規則を変更する。そして、他動作物体の内的状態（Ｂ）の推測が適切でない場合には、評価手段による評価は悪いものとなる。換言すると、評価手段により、特定動作物体の動作が外部環境から見て悪い動作であると評価された場合には、その原因の一つとしては、他動作物体の内的状態（Ｂ）が適切に推測できていないことが挙げられる。
【００１６】
そこで、本発明では、評価手段の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更している。これにより、他動作物体の内的状態（Ｂ）をより精度よく推測することができる。
【００１７】
このように、上記の構成とすることにより、他動作物体との間で情報のやり取りの規則（ルール）が定められていない場合や、他動作物体を制御することができない場合であっても、上記状態情報から、他動作物体の内的状態（Ｂ）を精度よく推測することができる。従って、相手（他動作物体）の内的状態（Ｂ）を考慮した動作を行うことができるので、全体の系として最適な動作を行うことができる。これにより、例えば、通信規格の異なる複数のシステム（制御できない複数の他動作物体）を共存させて動作させる場合であっても、各システムが自律的（自己組織的）に他のシステムと協働するように、各システムを動作させることが可能となる。
【００１８】
本発明にかかる学習装置は、上記変更手段が、評価手段の結果に基づいて、上記特定動作物体の動作を決定するための動作規則を変更するものである構成がより好ましい。
【００１９】
上記構成とすることにより、評価手段の結果に基づいて、他動作物体の内的状態（Ｂ）の推測規則だけでなく、特定動作物体の動作規則も併せて変更しているので、他動作物体の内的状態（Ｂ）に応じた動作をより精度よく行わせることができる。つまり、正確に推測し切れなかった内的状態（Ｂ）を、動作規則を変更することにより、当該動作規則で補正することができる。
【００２０】
本発明にかかる学習装置は、上記変更手段が、評価手段の結果に基づいて、上記内的状態（Ａ）を推測するための推測規則を変更するものである構成がより好ましい。
【００２１】
上記の構成によれば、他動作物体の内的状態（Ｂ）の推測規則だけでなく、特定動作物体の内的状態である内的状態（Ａ）を推測するための推測規則も変更するので、他動作物体の内的状態（Ｂ）に応じた動作をより精度よく行わせることができる。
【００２２】
本発明にかかる学習装置は、上記特定状態推測手段および他状態推測手段は、同じ推測規則を用いて、上記内的状態（Ａ）または内的状態（Ｂ）を推測するものである構成がより好ましい、換言すると、上記内的状態（Ａ）を推測するための推測規則と、上記内的状態（Ｂ）を推測するための推測規則とが同じものである構成がより好ましい。
【００２３】
上記の構成によれば、上記内的状態（Ａ）を推測するための推測規則と、上記内的状態（Ｂ）を推測するための推測規則とが同じになっている。換言すると、特定状態推測手段と他状態推測手段とは、共通の推定規則を用いて、上記内的状態（Ａ）および内的状態（Ｂ）を推測している。この場合、つまり、他動作物体が、上記学習装置と同じ内的状態を推測するための推測規則を有している場合には学習効率を上げることができる。具体的には、共通の推測規則を用いることにより、推測を行うために必要な構成（例えば、回路の構成およびプログラムの算出工程）を減らすことができる。また、上記のように共通の推測規則を用いる場合であって、例えば、他動作物体の内的状態（Ｂ）を推測するための推測規則が学習装置と異なっている場合には、内的状態（Ｂ）を正確に推測することができないが、上記変更手段が推定規則だけでなく動作規則を変更する構成とすることにより、学習装置の動作を適切に行わせることができる。
【００２４】
本発明にかかる学習装置は、上記内的状態（Ａ）に関する情報を外部に提供する提供手段を備える構成がより好ましい。
【００２５】
上記の構成によれば、上記内的状態（Ａ）に関する情報を外部に対して提示し、他動作物体が、上記内的状態（Ａ）に応じて動作を変える場合には、本発明にかかる学習装置と他動作物体とをより一層効率よく協働して動作させることができる。つまり、全体の系を構成する複数のシステム（学習装置）が、互いに相手のシステムの内的状態を推測して、相手の内的状態に応じた動作を行うことができるので、全体の系がより良くなる、つまり、外部環境がより適切になるように各システムを協働させることができる。なお、上記内的状態（Ａ）に関する情報を外部に対して提供する方法としては、例えば、他動作物体を含む外部に対して上記情報を送信してもよく、また、上記外部に対して情報を表示してもよい。
【００２６】
本発明にかかる学習方法は、上記の課題を解決するために、外部環境を変化可能な動作手段を有する特定動作物体の、当該動作手段の動作を決定するための学習方法において、外部環境から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する特定状態推測工程と、上記特定動作物体以外の少なくとも１つの他動作物体からの情報を状態情報として取得する取得工程と、上記状態情報を取得した上記他動作物体の内的状態（Ｂ）を推測する他状態推測工程と、上記自己状態推測工程によって推測された特定動作物体の内的状態（Ａ）と上記他状態推測工程によって推測された他動作物体の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定工程と、上記特定動作物体および／または上記他動作物体が動作した後の外部環境から得られる情報を評価する評価工程と、上記評価工程の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更工程とを含むことを特徴としている。
【００２７】
上記の構成とすることにより、他動作物体との間で情報のやり取りの規則（ルール）が定められていない場合であっても、上記状態情報から、他内的状態（Ｂ）を精度よく推測することができるので、相手（他動作物体）の内的状態（Ｂ）を考慮した動作を行うことができるので、全体の系として最適な動作を行うことができる。これにより、例えば、通信規格の異なる複数のシステムを共存させて動作させる場合であっても、各システムが自律的（自己組織的）に他システムと協働するように、各システムを動作させることが可能となる。
【００２８】
本発明にかかる学習プログラムは、上記の課題を解決するために、上記学習装置を動作させる学習プログラムであって、コンピュータを上記の各手段として機能させるための学習プログラムである。
【００２９】
上記の構成により、コンピュータで上記学習装置の各手段を実現することによって、上記学習装置を実現することができる。
【００３０】
本発明にかかる記録媒体は、上記学習プログラムを記録した、コンピュータ読取り可能な記録媒体である。
【００３１】
上記の構成により、上記記録媒体から読み出された学習装置の学習プログラムによって、上記学習装置をコンピュータ上に実現することができる。
【００３２】
本発明にかかる動作物体は、上記学習装置を備えることを特徴としている。そして、上記構成とすることにより、例えば、通信プロトコルが互いに異なる複数の動作物体を協働させて行動することができる。
【発明の効果】
【００３３】
本発明にかかる学習装置は、外部環境を変化可能な動作手段を有する特定動作物体の、当該動作手段の動作を決定するための学習装置において、外部環境から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する特定状態推測手段と、上記特定動作物体以外の少なくとも１つの他動作物体からの情報を状態情報として取得する取得手段と、上記状態情報を取得した上記他動作物体の内的状態（Ｂ）を推測する他状態推測手段と、上記特定状態推測手段によって推測された特定動作物体の内的状態（Ａ）と上記他状態推測手段によって推測された他動作物体の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定手段と、上記特定動作物体および／または上記他動作物体が動作した後の外部環境から得られる情報を評価する評価手段と、上記評価手段の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更手段とを備える構成である。
【００３４】
それゆえ、上記の構成とすることにより、他動作物体との間で情報のやり取りの規則（ルール）が定められていない場合や、他動作物体を制御することができない場合であっても、上記状態情報から、他動作物体の内的状態（Ｂ）を精度よく推測することができる。従って、相手（他動作物体）の内的状態（Ｂ）を考慮した動作を行うことができるので、全体の系として最適な動作を行うことができる。これにより、例えば、通信規格の異なる複数のシステム（制御できない複数の他動作物体）を共存させて動作させる場合であっても、各システムが自律的（自己組織的）に他のシステムと協働するように、各システムを動作させることが可能となるという効果を奏する。
【発明を実施するための最良の形態】
【００３５】
本発明の一実施形態について説明すると以下の通りである。すなわち、本発明にかかる学習装置は、少なくとも１つの他の動作物体（以下、他の物体と称する）からの情報を状態情報として取得し、この取得した状態情報から上記他の物体の内的状態（Ｂ）を推測し、この内的状態（Ｂ）と動作を指示することができる特定動作物体の内的状態（Ａ）とから動作規則に基づいて特定動作物体に動作を行わせ、上記特定動作物体および／または他の物体の動作後の外部環境の情報から、予め決められている目的に適した動作であるか否かを評価し、この評価結果に基づいて、他の物体の内的状態（Ｂ）を推測するための推測規則を変更する構成である。
【００３６】
つまり、本発明にかかる学習装置は、他の物体から状態情報を、外部環境から当該外部環境に関する情報を、それぞれ取得している。そして、上記状態情報から他の物体の内的状態（Ｂ）を推測し、当該内的状態（Ｂ）と特定動作物体の内的状態（Ａ）とに基づいて、当該特定動作物体が行う動作を決定し、上記特定動作物体が動作を行った後の上記外部環境から得られた情報を評価することにより、特定動作物体の行動が適切であったか否かを判断することができる。そして、上記評価に基づいて上記他の物体の内的状態（Ｂ）を推測するための推測規則を変更する。これにより、他の物体の内的状態（Ｂ）をより正確に推測することができ、自己の動作をより適切に行うことができる。
【００３７】
なお、以下の説明では、外部環境を変化させることができる動作手段を備えている学習装置について説明する。つまり、特定動作物体に上記学習装置が搭載されている例について説明する。しかしながら、本発明にかかる学習装置は、動作手段を備えていなくてもよく、例えば、特定動作物体の動作手段に対して動作を指示するようにしてもよい。
【００３８】
図１は、本実施の形態にかかる学習装置１の概略の構成を示すブロック図である。以下に、上記学習装置１について説明する。上記学習装置１は、図１に示すように、状態取得部（取得手段）８、推定部４、動作決定部（動作決定手段）５、評価部（評価手段）９、変更部（変更手段）１０、動作部（動作手段）２０を備えている。そして、上記学習装置１は、さらに、自己状態送信部７および環境取得部６を備えている。
【００３９】
上記状態取得部８は、他の物体２から送信されてくる情報、または、他の物体２を外部から見たときに得られる情報を、他の物体２の状態情報として取得する。具体的には、上記状態取得部８として、センサーが挙げられる。また、他の物体２から情報が送信されてくる場合には、上記状態取得部８は当該情報を受信する受信センサーに相当し、他の物体２を外部から見たときに得られる情報を状態情報として取得する場合には、撮像素子と撮像素子によって得られた画像を解析する解析ソフトが上記状態取得部８に相当する。いずれの場合でも、上記状態取得部８は、他の物体２から得られた情報を状態情報として取得する。
【００４０】
上記推定部４は、学習装置１自身（自己）と他の物体２との内的状態を推測規則に従って、それぞれ推測する。そして、上記推定部４は、他推測部（他状態推測手段）１２と自己推測部（特定状態推測手段）１１と推測規則を格納する推測規則格納部１３を備えている。
【００４１】
上記他推測部１２は、上記状態取得部８によって取得された状態情報から、他の物体２の内的状態（Ｂ）を推測する。具体的には、他推測部１２は、上記状態情報と内的状態（Ｂ）を推測するための推測規則とから他の物体２の内的状態（Ｂ）を推測する。
【００４２】
上記自己推測部１１は、学習装置１自身（自己）の内的状態（Ａ）を推測する。具体的には、上記自己推測部１１は、外部環境３から得られる情報と上記内的状態（Ａ）を推測するための推測規則とから自己の内的状態（Ａ）を推測する。
【００４３】
推測規則格納部１３は、内的状態（Ａ）および／または内的状態（Ｂ）を推測するための推測規則を格納している。なお、内的状態（Ａ）と内的状態（Ｂ）とを推測するための推測規則は、互いに異なっていてもよく、同じであってもよい。つまり、推測規則格納部１３は、内的状態（Ａ）および内的状態（Ｂ）を推測するための共通の推測規則を格納していてもよく、内的状態（Ａ）および内的状態（Ｂ）をそれぞれ推測するための、互いに異なる推測規則を格納していてもよい。
【００４４】
上記動作決定部５は、上記内的状態（Ａ）、内的状態（Ｂ）および動作規則から学習装置１の動作を選択（決定）するものである。そして、上記動作決定部５は、上記動作規則を格納する動作規則格納部１４を有している。
【００４５】
上記動作部２０は、動作決定部５によって決定された動作を行うものである。そして、上記動作は、外部環境に対して影響を与えることができる。
【００４６】
上記評価部９は、上記動作部２０の動作によって変化した、換言すると、特定動作物体および／または上記他動作物体が動作した後の、外部環境３から得られる情報を評価するものである。具体的には、学習装置１の動作部２０が行う動作に関しては、予め目的が決められており、動作決定部５が動作した結果、評価部９は、動作部２０の動作が、その目的（目標）に対して適切な（良い）動作を行ったか不適切な（悪い）動作であるかの評価を行う。換言すると、動作決定部５によって決定された動作を行ったことにより得られる報酬を評価する。従って、上記評価部９は、動作部２０が動作した後の外部環境３から得られた情報を評価する。
【００４７】
変更部１０は、評価部９による評価に基づいて推定部４の推測規則格納部１３に格納されている推測規則および動作決定部５の動作規則格納部１４に格納されている動作規則を変更する。
【００４８】
なお、上記変更部１０によって推測規則および動作規則を変更する場合、当該変更部１０は、少なくとも他の物体２の内的状態（Ｂ）を推測するための推測規則を変更し、必要に応じて、自己の内的状態（Ａ）を推測するための推測規則および上記動作規則を変更してもよい。
【００４９】
上記環境取得部６は、外部環境３から得られる情報を取得する。上記外部環境３から得られる情報としては、例えば自己の状態に関する状態情報および自己の学習装置１と他の物体２との相対的な関係（例えば、両者の距離）等が挙げられる。上記環境取得部６としては、例えば、センサー等である。
【００５０】
上記自己状態送信部７は、他の物体２を含む外部に対して学習装置１の状態情報を送信する。具体的には、自己状態送信部７は、環境取得部６によって取得した情報に基づいて学習装置１の状態情報を作成し、この作成した状態情報を外部に送信するものである。なお、状態情報に関しては環境取得部６が作成してもよく、また、例えば環境取得部６が状態情報を取得した場合には、自己状態送信部７は上記取得した状態情報そのものを送信してもよい。また、自己状態送信部７の行う送信とは、例えば、無線または有線を介して情報を送信するものに限定されるものではなく、例えば、状態情報を外部に対して表示することについても含まれるものとする。つまり、上記自己状態送信部７は、例えば、他の物体２が自己の学習装置１の状態情報を取得することができるように提示する。
【００５１】
なお、上記各構成の詳細な説明および各構成間の関係については後述する。
【００５２】
そして、本実施の形態では、内的状態（Ａ）を推測するための推測規則と上記内的状態（Ｂ）を推測するための推測規則との両推測規則を同じにしている、換言すると、共通の推測規則を用いて、内的状態（Ａ）（Ｂ）を推測している。
【００５３】
ここで、他の物体２の内的状態（Ｂ）と自己の内的状態（Ａ）とを同じ推測規則で推測する場合について説明する。他の物体２が自己の学習装置１と同じ構成または類似の構成の場合、外部環境３から得る情報の内容等は同じであり、自己の学習装置１と同じまたは類似の推測規則で内的状態を推測している可能性が高い。そして、共通の推測規則とすることにより、評価部９から得られた評価に基づいて推測規則を変更する際に、変更する箇所を少なくすることができるため、学習効率を上げることができる。
【００５４】
また、共通の推測規則を用いることにより、学習装置１の構成を少なくすることができる。具体的には、他の物体２の内的状態（Ｂ）と自己の内的状態（Ａ）とを互いに異なる推測規則によって推測する場合、互いに異なる演算回路が必要であるが、共通の推測規則により、２つの内的状態（Ａ）（Ｂ）を推測することにより、１つの演算回路で済むことになる。
【００５５】
なお、他の物体２が自己の学習装置１と異なる構成であり、内的状態を推測する推測規則が異なる場合に、共通の推測規則を用いると、他の物体２の内的状態（Ｂ）を適切に推測できない場合がある。しかし、本実施の形態にかかる学習装置１では、自己の動作を決定する際に、他の物体２の内的状態（Ｂ）と自己の内的状態（Ａ）と動作規則とを用いている。そして、評価部９から得られた評価に基づいて動作規則を変更している。従って、動作規則を変更することで、適切な動作を行うことができる。
【００５６】
つまり、他の物体２の内的状態（Ｂ）と自己の内的状態（Ａ）とを同じ推測規則で推測することにより、他の物体２と自己の学習装置１とが同じまたは類似の推測規則であれば、内的状態を推定するための学習効率をより一層上げることができる一方、他の物体２と自己の学習装置１とが異なる推測規則であっても、動作規則を変更することすれば、適切な動作を行うことができる。また、同じ推測規則で推測することにより、学習装置１の構成を簡単にすることができる。
【００５７】
図２は、上記学習装置１の動作を説明するフローチャートである。次に、上記学習装置１の動作について図２を参照して説明する。
【００５８】
まず、環境取得部６は、外部環境３から自己の学習装置１の状態を示す情報を取得する（Ｓ１）。次に、自己状態送信部７は、環境取得部６が取得した情報を基に、外部（外部環境３および他の動作物体）に対して提示するための状態情報を作成する。そして、自己状態送信部７は、作成した状態情報を他の物体２を含む外部に対して送信する（Ｓ２）。
【００５９】
次に、自己推測部１１は、自己状態送信部７が外部に対して送信した状態情報と推測規則格納部１３に格納されている推測規則とから、自己の内的状態（Ａ）を推測する（Ｓ３）。
【００６０】
一方、状態取得部８は、他の物体２から送信されてくる情報を状態情報として取得する（Ｓ４）。つまり、状態取得部８は、他の物体２から送信されてくる情報を、他の物体２の状態を示す状態情報として取得する。なお、この受信した状態情報がどのような意味を表すのかについては、分かっていないものとする。そして、状態取得部８は、意味の分からない情報を他の物体２の状態を表す状態情報として取得する。
【００６１】
次に、他推測部１２は、状態取得部８が取得した状態情報（状態取得部８が状態情報として取得した情報）と推測規則格納部１３に格納されている推測規則とから、他の物体２の内的状態（Ｂ）を推測する（Ｓ５）。
【００６２】
そして、動作決定部５は、上記ステップＳ３で推測された内的状態（Ａ）とステップＳ５で推測された内的状態（Ｂ）と動作規則格納部１４に格納されている動作規則とに基づいて、動作を選択（決定）する（Ｓ６）。そして、動作部２０は、動作決定部５により決定された動作を行う。この動作を行うことにより、外部環境３は何らかの影響を受けることとなり、外部環境３は変化することになる。また、動作決定部５は、動作部２０に動作を行わせる際に、評価部９に対して動作を行う旨の信号を送信する。
【００６３】
動作決定部５から信号を受信した評価部９は、動作部２０の動作によって外部環境３が変化したと判断し、外部から得られる情報を評価する（Ｓ７）。換言すると、評価部９は、動作決定部５が決定した動作によって与えられる報酬を評価する。
【００６４】
そして、変更部１０は、評価部９の評価に基づいて、上記推測規則および動作規則を変更する（Ｓ８）。その後、さらに、動作部２０の動作を行わせる場合には、処理はステップＳ１に戻り、行わない場合には場合には一連の処理を終了する（Ｓ９）。
【００６５】
このように、自己の内的状態（Ａ）と他の物体２の内的状態（Ｂ）とに基づいて動作を行った後、この動作により外部環境３の変化を評価することで、動作が適切であるか否かを判断し、上記評価に基づいて上記内的状態（Ａ）（Ｂ）を推測する推測規則および動作規則を変更している。
【００６６】
本実施の形態にかかる学習装置１は、自他解釈システムを基盤としているコミュニケーションモデルと強化学習アルゴリズムとを組み合わせて構成されている。自他解釈システムとは、自己解釈行為（自己の内的状態（Ａ）の推測）と他者解釈行為（他の物体２の内的状態（Ｂ）の推測）とからなる。自己解釈行為とは、自己の発話（自己の状態情報の発信）を通して自己の解釈系を形成することで、自己の状況（内的状態（Ａ））を推定することを示す。また、他者解釈行為とは、自己の解釈系を使用することにより、相手の発話（内的状態（Ｂ））を推定することを示す。そして、上記自他解釈システムは、推定部４に相当する。なお、強化学習については、最後に説明する。
【００６７】
そして、本実施の形態では、自己と他の物体２との意味解釈（自己解釈および他者解釈）を基盤とする、コミュニケーションモデルを用いている。本実施の形態において”解釈”とは、相手（他の物体２）から発せられた情報（発話）の意味を推定することを示す。また、自己解釈とは、自己の発話に対する解釈の試みである。自己解釈とは、自己の発話を通して自己の内的状態（Ａ）を推定することである。この自己解釈という行為は、コミュニケーションの対象となる相手が存在する場合に必要となる。
【００６８】
本実施の形態にかかる学習装置１において、他の物体２とのコミュニケーションモデルは、３つの重要な要素から成り立っている。それは、内的状態、発話情報、行動の３つの要素である。
【００６９】
上記内的状態とは、学習装置１が環境下においてどのような状況（シチュエーション）に在るかを定義する。そして、学習装置１の自己の内的状態（Ａ）は、当該学習装置１が外部環境３中のどのような位置（postion）および状況に置かれているによって決まる。また、上記内的状態（Ａ）は、学習装置１が外部環境３からどのような情報を取得できるかに依存する。また、上記内的状態（Ａ）は、外部環境３に依存し、自己の行動（動作）により変化する可能性をもつ。
【００７０】
発話情報は、学習装置１が外部環境３下にて示すメッセージである。なお、以下の説明において、自己の学習装置１が他の物体２に対して状態情報を送信すること、または、他の物体２が自己の学習装置１に対して状態情報を送信することを「発話」として説明する。なお、ここで、「発話」とは単に音声等を出力することに限定されず、他の物体２（自己の学習装置１）に対して状態情報を提示すること示す。そして、本実施の形態において、発話するということは、自己の意志表示（メッセージ；ここでは状態情報）を相手にを伝えることである。上記学習装置１は、他の物体２に対して発話することができ、また、他の物体２からの発話を受け取ることができる。
【００７１】
上記行動とは、学習装置１自体がその状況において選択する行動と定義する。行動（動作）とは、学習装置１が外部環境３下において選択する行動である。つまり、学習装置１が外部環境３において作用する唯一の行為が行動（動作）である。
これらの３つの要素（内的状態、発話情報、行動）は、お互いに相互作用しながら生成される。学習装置１はこれらの３つの要素を生成するための独自の生成システムを持つ。それは、自他解釈システム（推定部４）、発話システム（自己状態送信部７）、行動システム（動作決定部５）である。学習装置１は、これらの生成システムを用いて他の物体２（例えば、他者ロボット）の内的状態（Ｂ）を推定し、他の物体２に対して発話し、自己の行動を選択することが可能となる。
【００７２】
そして、各構成間の関係は下式（１）〜（４）で示される。
Ｂ＝Ｉｓ（Ｕｏ）                      …（１）
ＵＳ＝Ｈｓ（ｋｓ）                    …（２）
Ａ＝Ｉｓ（ＵＳ）                      …（３）
Ｄ＝Ｓ（Ａ，Ｂ）                      …（４）
ここで、式中の記号について説明する。
【００７３】
上記式中のＵｏは他の物体２から発せられた発話情報を示し、Ｕｓは自己の発話情報であり、詳細には自己状態送信手段を介して外部に発信した自己発話情報を示す。上記Ｉｓは、推測規則を示す。上記Ａは自己の内的状態を示し、Ｂは他の物体２の内的状態を示す。上記ｋｓは、環境取得部６によって取得された外部環境３から得られた情報を示す。上記Ｈｓは、外部環境３から得られた情報ｋｓから自己発話情報Ｕｓを作成する作成規則（変換式）を示す。上記Ｄは、自己の行動を示し、Ｓは動作規則を示している。
【００７４】
そして、上記式（１）に示すように、他の物体２から状態情報として取得した発話情報Ｕｏと推測規則Ｉｓとにより内的状態（Ｂ）が得られる。また、上記式（２）に示すように、環境取得部６によって取得された外部環境３から得られた情報ｋｓと作成規則Ｈｓとにより外部に発信する自己発話情報Ｕｓが生成される。また、上記式（３）に示すように、自己発話情報Ｕｓと推測規則Ｉｓとにより自己の内的状態（Ａ）が得られる。つまり、内的状態Ａと自己発話情報Ｕｓとは１対１対応することになる。また、上記式（２）に示すように、外部環境３から得られた情報ｋｓと自己発話情報Ｕｓとは１対１対応することになる。従って、上記内的状態（Ａ）は、外部環境３から得られた情報ｋｓに基づいて作成されることとなる。また、上記式（４）に示すように、上記内的状態（Ａ）（Ｂ）と動作規則とによって、自己の行動Ｄが決定される。
【００７５】
なお、他の物体２についても、上記式（１）〜（４）で規定されるような行動を決定してもよい。
【００７６】
ここで、発話情報から内的状態を推測する推定部４（自他解釈システム）の動作について説明する。上記推測部は、ある発話（発話情報）Ｕから推測規則Ｉｓに基づいて内的状態を推定する。
【００７７】
より詳細には、上記推測部は、自己状態送信部７から他の物体２に対して送信した自己発話情報Ｕｓと推測規則Ｉｓとから自己の内的状態（Ａ）を推測する。また、上記推測部は、他の物体２から状態情報として取得した発話情報Ｕｏと推測規則Ｉｓとから他の物体２の内的状態（Ｂ）を推測する。なお、自己の内的状態（Ａ）を推測するための推測規則と他の物体２の内的状態（Ｂ）を推測するための推測規則は、互いに異なっていてもよいが、学習効率を上げる点で同じであることがより好ましい。
【００７８】
図３は、強化学習を行う前後の推測規則Ｉｓの状態を説明する図面である。図３に示すように、推測規則Ｉｓに対して強化学習を行う前には、ある発話情報Ｕに対応する内的状態を推定しきれていない。しかし、強化学習を行うことによって、ある発話情報Ｕに対応する内的状態を一意に選択することができる。具体的には、例えば、図３に示すように、他の物体２から取得した発話情報Ｕ１に対して、他の物体２の内的状態（Ｂ）はＢ１であると推定することができる。なお、図面上では、説明の便宜上、内的状態（Ｂ）を推測する点について説明しているが、内的状態（Ａ）を推測する場合も同様である。
【００７９】
次に、自己の内的状態（Ａ）と他の物体２の内的状態（Ｂ）とから学習装置１の行動（動作）を決定する動作について説明する。学習装置１の行動Ｄは、自己の内的状態（Ａ）と他の物体２の内的状態（Ｂ）と動作規則Ｓとによって決定される。
【００８０】
図４は、強化学習を行う前後の動作規則Ｓの状態を説明する図面である。図４に示すように、動作規則Ｓに対して強化学習を行う前には、どの内的状態の組み合わせに対しても行動を選択しきれていない。しかし、強化学習を行うことによって、ある内的状態（Ａ）と内的状態（Ｂ）との組み合わせに対応する行動Ｄを一意に選択することができる。具体的には、例えば、内的状態（Ａ）がＡ１であり内的状態（Ｂ）がＢ１である場合には、行動はＤｎに決定される。
【００８１】
なお、上記学習することによって与えられる推測規則（動作規則）としては、例えば、対応関係が記録されたルックアップテーブルであってもよく、任意の関数等であってもよい。
【００８２】
また、上記説明では、強化学習を行う前の、発話情報Ｕと内的状態と（内的状態の組み合わせと行動）が全く対応していない状態について説明しているが、この状態では、内的状態（行動）を全く推測（決定）できない。そこで、予め任意の対応関係を構築しておき、強化学習によって修正または補正を行うようにしてもよい。
【００８３】
次に、学習装置１の行動（動作）によって変化した外部環境３から得られる情報（報酬）に基づいて、上記推測規則Ｉｓと動作規則Ｓとを変更する構成について説明する。上記変更部１０は、評価部９による外部環境３から得られる情報の評価に基づいて、推測規則Ｉｓと動作規則Ｓとを変更する。
【００８４】
具体的には、上記変更部１０は、推測規則Ｉｓを表している行動価値関数（価値関数）Ｑ（Ａｔ，Ｂｔ）を下式（５）に基づいて変更する。また、変更部１０は、動作規則Ｓを表している行動価値関数Ｑ（Ａｔ，Ｂｔ，Ｓｔ）を下式（６）に基づいて変更する。
【００８５】
【数１】
2006035388.tif 000003
【００８６】
上記推測規則Ｉｓと動作規則Ｓとは、互いに独立しており互いに依存することなく外部環境３と関っているとともに、強化学習によって変更される。そして、１回の行動Ｄの選択によって得られる報酬毎に強化学習が行われ、変更部１０は、上記推測規則Ｉｓおよび動作規則Ｓの変更を行う。
【００８７】
なお、環境取得部６によって取得された外部環境３から得られた情報ｋｓから自己発話情報Ｕｓを生成するための作成規則Ｈｓは変更されない。
【００８８】
次に、上記変更部１０によって変更された価値関数Ｑ値に従って、どのように内部状態（Ａ）または行動Ｄを選択するのかについて説明する。価値関数Ｑの選択方法としては、２つのアルゴリズム（εグリーディ行動選択、ソフトマックス行動選択法）が挙げられる。
【００８９】
ここで、εグリーディ行動選択について説明する。まず、最大値選択法（グリーディ手法）について説明する。最大値選択法とは、下式（７）に示すように、価値関数Ｑ値が最大になっている行動を選択する方法である。
【００９０】
【数２】
2006035388.tif 000004
【００９１】
しかし、常に最大値のみ選択していると、未探策な行動こそが最適な行動であるかどうかわからない。そこで小さい一定確率εでその他の行動を選択する。これをεグリーディ行動選択と呼ぶ。εグリーディ行動選択の問題は、ある一定確率εで最大値以外の行動を選択する場合、価値関数Ｑ値の高いものと低いものが同確率で選択されることである。
【００９２】
このように、上記εグリーディな行動選択は、強化学習で探査と知識利用のバランスを取るための効率的な手段である。しかし、εグリーディな行動選択では、探査を行う際にすべての行動を等しく選択してしまう。つまり、εグリーディな行動選択を用いた場合には、ほとんど最悪と思われる行動を選択する可能性と、ほとんど最適行動に近いような行動を選択する可能性とが同程度に高い。そして、最悪の行動の程度がすごく悪ければ、不満足な結果を招くことになりかねない。
【００９３】
そこで、上記のような不満足な結果を招くことを回避する方法として、推定価値量に応じた行動選択確率を変化させる方法である。つまり、グリーディな行動には最も高い選択確率が与えられ、他のすべての行動は、その推定価値に準じて重みをかけられる。これはソフトマックス行動選択規則（softmax action selection rule）と呼ばれる。
【００９４】
ソフトマックス行動選択法とは、価値関数Ｑ値の分布に従った確率を割り振り、その確率に従い行動を選択する方法である。具体的には、行動選択確率piは下式（８）によって計算される。
【００９５】
【数３】
2006035388.tif 000005
【００９６】
上記ソフトマックス行動選択法は、最大値選択法に比べると有効的な方法である。
【００９７】
ところで、価値関数Ｑ値の個数が多い場合、報酬により価値関数Ｑ値が増減したとしても、それに伴う行動選択確率piの変動は小さい。そのため最適な行動を選択し難い場合がある。
【００９８】
この解決策としては、価値関数Ｑ値の個数が多い場合は、価値関数Ｑ値が最大となるものを選択し、ある一定確率εで行動選択をソフトマックス行動選択法により決定するという方法がある。そこで、本実施の形態では、シミュレーション実験に、この行動選択＋ソフトマックス行動選択法を使用することとする。
（シミュレーション実験）
以下に、本実施の形態にかかる学習装置１を搭載した２台のロボットを互いに近づけるシミュレーション実験について説明する。
【００９９】
具体的には、互いに内的状態が異なる２台のロボットを互いに近づけるためのシミュレーションをするにあたって、K-team 社のKhepera Robot Simulatorを使用して実験を行う。Khepera Robot（以下:ロボットと称する）は、スイスのローザンヌ大学でプログラム用の研究と教育ツールとして設計された可動性のロボットを示す。その概形は、直径５５ｍｍ、高さ３０ｍｍ、重さ７０ｇ程度である。そして、上記ロボットは、前後左右に合計８個の赤外線距離センサー、光センサー、２個の独立したモーターを有している。そして、上記ロボットは、主に、衝突回避、集団行動等の振舞いのシミュレーションに利用されている。また、上記ロボットは、ソフトウェア、ハードウェア面において多くの拡張モジュールが存在するため広範囲のシミュレーション実験に適応可能となる。
【０１００】
そして、このシミュレーション実験では、上記ロボットを計算機上でシミュレートすることができるソフトウェアとしてKhepera Robot Simulatorを用いている。そして、本実施の形態にかかるシミュレーション実験は、すべてK-team社のKepera Robot Simulatorを使用している。
【０１０１】
ここで、Kheper Robot Simulatorについて説明する。Kheper Robot Simulatorの画面は、２種類のパートから構成される。それは、WorldパートとRobotパートである。World パートとは、任意に描かれた環境下においてロボットの振舞いを観測する部分である。一方、ロボットパートは、各種センサーの値やモーターの値等の、ロボット自体の状況を観測する部分である。
【０１０２】
ここで、上記ロボットにおける内的状態（Ａ）について説明する。本実施の形態では、ロボットの内的状態（Ａ）を、ロボットの位置情報とロボットの向きとした。
【０１０３】
図５は、ロボットの内的状態（Ａ）を説明するための図面である。
【０１０４】
より詳細には、図５に示すように、ロボットの内的状態は、ロボットの向いている角度、xポジション、yポジションの３つからなる数値にて構成される。xポジションとは、x座標を５分割にした０から４までの数値であり、yポジションとは、y座標を５分割にした０から４までの数値である。そして、xポジションとyポジションの組み合わせにより２５個所の位置を定義する。さらに各々の位置におけるロボットの向きを、上向き、後ろ向き、左向き、および右向きの４種類の方向で定義する。つまり、ロボットの位置２５個所とその位置におけるロボットの４種類の角度の組み合わせにより１００種類の内的状態が存在することになる。
【０１０５】
次に、上記ロボットから相手のロボットに対して発せられる発話情報について説明する。上記発話情報は、上記内的状態と１：１対応している。具体的には、上記１００種類の内的状態と対応づけられた０から９９まで１００種類の数値が発話状態となる。自己の位置情報をコード化したものであり、自己の位置情報を正確に示している。
【０１０６】
次に、上記ロボットの行動について説明する。図６は、ロボットの行動および当該ロボットに設けられたセンサーの位置を説明する上面図である。ロボットの行動は、前進、後退、左旋回、右旋回、左斜前進、右斜前進の合計６種類から選択される。また、上記ロボットには、前方に２個、後方に２個、左右に各１個、右斜め前および左斜め前に各１個合計８個の距離センサーが設けられている。
【０１０７】
そして、上記２体のロボットは、２つの独立し、かつ、閉鎖したタスクスペース内を行動することができる。つまり、このタスクスペースには、ロボットの行動を遮るような障害物は一切存在しない。なお、上記タスクスペースを形成している壁にはロボットとの障害判定があり、障害物として取り扱うことにする。
【０１０８】
図７は、タスクスペースの座標系を示す図面である。ロボットが自由に行動できるタスクスペースには、位置に応じた座標を有している。具体的には、図７に示すように、タスクスペースの左上を原点として、ｘ−ｙ座標系でタスクスペース内の位置が規定されている。上記x軸は、０から１０００までの座標値をもち、y軸は、０から５００までの座標値をもつ。つまり、図面上、左側のタスクスペース内に配置されるロボットは、x軸上に０から５００、y軸上に０から５００までの座標値の間を自由に行動することができる。また、右側のタスクスペース内に配置されるロボットは、x軸上に５００から１０００、y 軸上に０から５００までの座標値の間を自由に行動することができる。図７に示すように、図面上、左側のタスクスペースと右側のタスクスペースを比較した場合、右側のタスクスペースは、x座標について５００ずれていることになる。このタスクスペースにおいてコミュニケーションタスクを提案する。発話情報をもとに、相手の内的状態を意味推定する。それにより相手の位置を特定し、２体のロボットの距離を縮めるような行動を獲得するタスクである。この閉鎖したタスクスペースにおいて２体のロボット間の距離を考える必要がある。このタスクにおいて２体のロボット間の距離は、絶対的な座標距離を示しているわけではない。そこで、図８に示すように、この閉鎖した２つのタスクスペース（絶対座標）から、１つの座標系に双方が存在する仮想タスクスペース（相対座標）を描くことにより、２体のロボットの距離を測ることができる。なお、図８は、２つのロボット間の距離を求める例を説明する図面である。
【０１０９】
次にロボットが行動することによって与えられる報酬について説明する。このタスクにおいて与えられる報酬（外部環境３から得られる情報）は２種類である。１つは、壁衝突に関する衝突判定の報酬。もう１つは、２体のロボットの距離に関する報酬である。
【０１１０】
上記ロボットは、図６に示すように、計８つの距離センサーを有している。そして、距離センサーによって測定された値は、０から１０２３の数値で表現される。これは、数値が高いほどロボットと壁との距離が近いことを示す。また、障害物との当たり判定値を距離センサーに測定される値の１０２３とする。つまり、８つある距離センサーのうちどれかが１０２３を示すときKhepera Robotは障害物と衝突したとし、負の報酬を受け取ることになる。
【０１１１】
次に、２つのロボットの距離ｄを下式（９）のように定義する。
【０１１２】
【数４】
2006035388.tif 000006
【０１１３】
上記式（９）において、x１、y１は、左側のタスクスペースに配置されているロボット１のx座標値、y座標値を示している。また、x２、y２は、右側のタスクスペースに配置されているロボット２のx座標値、y座標値を示している。そして、１体のロボットが、行動する前と行動した後で、この距離ｄ値が減少していれば距離が近づいたことを示す。逆に行動をする前と行動する後で、この距離dが増加していれば距離が離れたことを示す。そして、２体のロボットの距離が近づいた場合には、正の報酬を与える。一方、２体のロボットの距離が遠ざかった場合には、負の報酬を与えることにする。なお、以下の説明では、左側のタスクスペースに配置されるロボットをロボット１、右側のタスクスペースに配置されるロボットをロボット２として説明する。
（シミュレーション実験条件）
ロボット１の初期位置（座標）を（１５０,１００）としロボットの向きを上向きπ／２、ロボット２の初期位置を（９００,１００）としロボットの向きを上向きπ／２と設定し、２体のロボットを近づけることを目的としたシミュレーション実験を行う。つまり、ロボット１とロボット２の初期位置の距離は２５０となる。さらにロボットの学習１００００ステップごとに各ロボットの位置を初期位置にリセットし、新たに初期位置からシミュレーション実験を継続（強化学習）する。なお、１ステップとは、１体のロボットが、コミュニケーションモデルに従って、行動を終えるまでをさす。すなわち、上記１ステップとは、内的状態（Ａ）（Ｂ）の推定、行動Ｄ、評価、および、推測規則Ｉｓと動作規則Ｓとの変更の一連の処理を示す。そして、次の１ステップでは、直前の１ステップで、変更された推測規則Ｉｓと動作規則Ｓとによって、内的状態（Ａ）（Ｂ）および行動Ｄが決定される。なお、推測規則Ｉｓと動作規則Ｓとの変更とは、例えば、評価直前の動作が最適な動作であり、上記推測規則Ｉｓと動作規則Ｓとを変更する必要がない場合には、変更前と同じ推測規則Ｉｓと動作規則Ｓとに変更する。つまり、推測規則Isと動作規則Ｓとが変更されない場合であっても「変更」している場合がある。
【０１１４】
そして、実際のシミュレーション実験については、（１）２体のロボットのうち、一方のロボットの移動を固定した状態での実験、（２）２体のロボットの移動を固定しない状態での実験の２つのシミュレーション実験を行った。
【０１１５】
（１）片方のロボットの動きを固定した場合
以下に、ロボット１の動きを止めた状態でのシミュレーション実験について説明する。図９は、ロボット１の動きを止めた状態でのシミュレーション実験を説明する図面である。つまり、ロボット１は、自身の位置が変わることがないので、強化学習することはない。上記ロボット１は、同じ位置に留まり続け、自己の位置情報を同じ発話情報Ｕｏをロボット２に報知する。ロボット２は、コミュニケーションモデルに基づいて、強化学習を行う。そして、ロボット２を、発話情報Ｕｏからロボット１の現在位置を推定し、その現在位置に向かうことを目的として行動させる。
【０１１６】
（２）両方のロボットの動きを固定しない場合
次に、ロボット１とロボット２との双方を動かして行うシミュレーション実験について説明する。図１０は、ロボット１とロボット２との双方が動く状態でのシミュレーション実験を説明する図面である。２体のロボットは、それぞれ自己のコミュニケーションモデルに基づいて強化学習を行う。互いに自己の現在位置を自己発話情報Ｕｓとして相手に伝えながら移動する。そして、２体のロボットは、発話情報を発信すると同時に相手からの発話情報Ｕｏを受け取り、その意味を解釈することで相手の現在位置（内的状態（Ｂ））を推定する。そして、ロボット１とロボット２とを、互いの現在位置に近づくことを目的として行動させる。
（結果）
（１）片方のロボットの動きを固定した場合
図１１は、一方のロボット１の位置を固定した状態で行ったシミュレーション実験の結果を示すグラフであり、（ａ）はε＝０．１に設定した場合の結果であり、（ｂ）はε＝０．４に設定した場合の結果を示すグラフである。つまり、図１１（ａ）は、０．１の確率でＱ値が最大値以外になる行動を選択し、図１１（ｂ）は、０．４の確率でＱ値が最大値以外になる行動を選択した結果を示すグラフである。なお、図１１（ａ）（ｂ）のグラフでは、縦軸に２体のロボット間の距離をとり、横軸にステップの回数をとっている。そして、図面では、０ステップから３００００ステップまでの２体の距離の変動と、６０００００ステップから６３００００ステップまでの２体のロボットの距離の変動とを示している。
【０１１７】
図１１の結果より、εグリーディ行動選択確率ε＝０．１においては、学習開始直後と学習後半を比較した結果、２体のロボット間の距離の収束性がかなり向上したことが分かる。また、εグリーディ行動選択確率ε＝０．４の場合には、学習開始直後と学習後半を比較した結果、２体のロボット間の距離の収束性が若干向上したことが分かる。
【０１１８】
図１２は、ロボット１の位置を固定した条件で、εグリーディ行動選択確率を異ならせた場合（ε＝０．１とε＝０．４との場合）における、学習ステップが１０００００ステップ内でのロボット間の距離の変動を示すグラフである。
【０１１９】
図１２の結果より、εグリーディ行動選択確率ε＝０．４に比べて、行動選択確率ε＝０．１の方が２体のロボット間の距離の収束性がよいことが分かる。なお、本シミュレーション実験では、タスクスペースを１００×１００が１区画になるように内的状態を構成している。そのため２体の距離は１００程度までしか収束しない。
【０１２０】
図１３は、εグリーディ行動選択確率ε＝０．１の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。すなわち、他の物体２から取得した発話情報Ｕからどの程度内的状態（Ｂ）が推定されているのかを示すグラフである。なお、グラフでは、縦軸にＱ値を取り、横軸に推定される内的状態を０から９９のコードを示している。また、図１３のグラフでは、２０００００ステップにおけるＱ値の分布と６０００００ステップにおけるＱ値の分布を示している。ここで、２０００００ステップの分布と６０００００ステップの分布を比較する。Ｕ＝０とＵ＝１０との、どちらの発話に対しても２０００００ステップにおいては、同じようなＱ値をもつものが多い。このことから、２０００００ステップでは、ある発話情報Ｕに対して、内的状態（Ｂ）を推定しきれていないことが分かる。しかし、６０００００ステップでは、推定される内的状態（Ｂ）が１個ないし、数個に収束している。つまり、ある発話情報Ｕに対して内的状態（Ｂ）を推定できていることが分かる。つまり、上記の結果により、強化学習によって推測規則Ｉｓが変更された結果、より正確に他の物体２の内的状態（Ｂ）を推定できることが分かる。また、εグリーディ行動選択確率ε＝０．１の場合においては、ほとんどの発話情報に対しこの２つと同様のＱ値の分布をもつことが分かる。
【０１２１】
図１４は、εグリーディ行動選択確率ε＝０．４の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。また、図１４のグラフでは、２０００００ステップにおけるＱ値の分布と６０００００ステップにおけるＱ値の分布を示している。図１４の結果より、６０００００ステップにおけるＱ値の分布は、２０００００ステップにおけるＱ値の分布と比べて、若干小さい幅に収束している。
【０１２２】
（２）両方のロボットの動きを固定しない場合
図１５は、両方のロボットの位置を固定しない条件で、εグリーディ行動選択確率ε＝０．１の場合における、学習ステップが１０００００ステップ内でのロボット間の距離の変動を示すグラフである。そして、図面では、０ステップから３００００ステップまでの２体の距離の変動と、６０００００ステップから６３００００ステップまでの２体のロボットの距離の変動とを示している。
【０１２３】
図１５の結果より、εグリーディ行動選択確率ε＝０．１においては、学習開始直後と学習後半を比較した結果、２体のロボット間の距離の収束性がかなり向上したことが分かる。
【０１２４】
図１６は、εグリーディ行動選択確率ε＝０．１の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。すなわち、他の物体２から取得した発話情報Ｕからどの程度内的状態（Ｂ）が推定されているのかを示すグラフである。なお、グラフでは、縦軸にＱ値を取り、横軸に推定される内的状態を０から９９のコードを示している。また、図１６のグラフでは、２０００００ステップにおけるＱ値の分布と６０００００ステップにおけるＱ値の分布を示している。ここで、２０００００ステップの分布と６０００００ステップの分布を比較する。Ｕ＝０とＵ＝１０との、どちらの発話に対しても２０００００ステップにおいては、同じようなＱ値をもつものが多い。このことから、２０００００ステップでは、ある発話情報Ｕに対して、内的状態（Ｂ）を推定しきれていないことが分かる。しかし、６０００００ステップでは、推定される内的状態（Ｂ）が１個ないし、数個に収束している。つまり、ある発話情報Ｕに対して内的状態（Ｂ）を推定できていることが分かる。つまり、上記の結果により、強化学習によって推測規則Ｉｓが変更された結果、より正確に他の物体２の内的状態（Ｂ）を推定できることが分かる。また、εグリーディ行動選択確率ε＝０．１の場合においては、ほとんどの発話情報に対しこの２つと同様のＱ値の分布をもつことが分かる。
（ロボット間での解釈系の比較）
図１７は、ロボット１とロボット２とに、ある発話情報Ｕ＝１２を与えたときに推定される内的状態のＱ値を示すグラフである。具体的には、図１７（ａ）は、ロボット１が推定したＱ値の分布を示すグラフであり、図１７（ｂ）は、ロボット２が推定したＱ値の分布を示すグラフである。なお、図１７は、εグリーディ行動選択確率が０．１の場合の結果を示している。図１７の結果より、ロボット１、ロボット２の双方においてある発話情報Ｕ１２に対して推定される内的状態が一意に決定していることが分かる。しかし、同じ発話情報Ｕ１２に対して、ロボット１とロボット２とが、同じ内的状態を推定していない。つまり、ロボット１とロボット２とに対して同じ発話情報Ｕを与えた場合であっても、当該ロボット１とロボット２とでは推定する内的状態が互いに異なる。このことは、例えば、ロボット１からロボット２に対して送信した状態情報に基づいて、ロボット１が推測した自己の内的状態（Ａ）と、ロボット２が推測した内的状態（Ｂ）とは異なることを示している。
【０１２５】
以上の結果より、ロボット１または２の行動により得られた報酬に基づいて、推測規則Ｉｓおよび動作規則Ｓを変更することにより、相手の内的状態を一意に決定することができるとともに、より適切な動作を行わせることができることが分かる。
【０１２６】
以上のように本実施の形態にかかる学習装置１は、外部環境３を変化可能な動作部２０を有する特定動作物体の、当該動作部２０の動作を決定するための学習装置１において、外部環境３から得られる情報に基づいて、上記特定動作物体の内的状態（Ａ）を推測する自己推測部１１と、上記特定動作物体以外の少なくとも１つの他の物体２からの情報を状態情報（発話情報）Ｕｏとして取得する状態取得部８と、上記状態情報Ｕｏを取得した上記他動作物体の内的状態（Ｂ）を推測する他推測部１２と、上記自己推測部１１によって推測された特定動作物体の内的状態（Ａ）と上記他推測部１２によって推測された他の物体２の内的状態（Ｂ）とに基づいて、特定動作物体の動作を決定する動作決定部５と、上記特定動作物体および／または上記他の物体２が動作した後の外部環境から得られる情報を評価する評価部９と、上記評価部９の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則を変更する変更部１０とを備える構成である。
【０１２７】
また、本実施の形態にかかる動作物体は、自己および／または少なくとも１つの他の物体２の動作によって変化する外部環境３から得られる情報に基づいて、自己の内的状態（Ａ）を推測する自己推測部１１と、少なくとも１つの他の物体２からの情報を状態情報（発話情報）Ｕｏとして取得する状態取得部８と、上記状態情報Ｕｏから少なくとも１つの他の物体２の内的状態（Ｂ）を推測する他推測部１２と、上記内的状態（Ａ）と内的状態（Ｂ）と自己の動作を決定するための動作規則Ｓとに基づいて、自己の動作を行う動作決定部５と、上記自己および／または少なくとも１つの他の物体２が動作した後の外部環境３から得られる情報を評価する評価部９と、評価部９の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則Ｉｓを変更する変更部１０とを備える構成である。
【０１２８】
上記状態情報Ｕｏとは、他の物体２の内的状態（Ｂ）を含んだ情報であるが、学習装置１および特定動作物体にとって意味の分からない情報である。そして、本発明の学習装置１は、上記状態情報Ｕｏから他の物体２の内的状態（Ｂ）を推測している。つまり、本発明の学習装置１は、少なくとも１つの他の物体２から意味が不明である情報を状態情報Ｕｏとして受け取って、その状態情報Ｕｏから相手である他の物体２の内的状態（Ｂ）を推測している。このように、本発明の学習装置１と他の物体２とは、予め定められた規則（ルール）等で情報のやり取りを行うことができず、得られた状態情報と推測規則Ｉｓとから相手の内的状態（Ｂ）を推測している。
【０１２９】
ところで、上記内的状態は、動作物体の内部の状態等の現在の環境における状態を示している。上記内的状態は、外部環境３に依存しており、外部環境３が変化すると内的状態も変化する。上記内的状態としては、具体的には、例えば、動作物体が移動可能な物体であれば、動作物体の現在地の座標や方向（向き）等が内的状態に相当する。
【０１３０】
上記外部環境３から得られる情報とは、特定動作物体（または学習装置１）と他の物体２との相対的な関係を示す情報および／または特定動作物体および他の物体２を含む全体の系に関する情報である。上記外部環境３から得られる情報としては、例えば、動作物体の外部から見た状態を示す情報や、特定動作物体と他の物体２との相対的な距離等を示す情報が挙げられる。
【０１３１】
そして、学習装置１は、上記外部環境３から得られる情報から、特定動作物体の現在位置や方向等の特定動作物体の内的状態（Ａ）を推測する。
【０１３２】
上記の構成によれば、他の物体２の内的状態（Ｂ）と特定動作物体の内的状態（Ａ）とを用いて動作を決定した後、評価部９によって動作の評価を行い、この評価結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則Ｉｓを変更している。
【０１３３】
つまり、他の物体２の内的状態（Ｂ）と特定動作物体の内的状態（Ａ）とから、動作規則Ｓに基づいて動作部２０の動作を決定し、動作部２０に動作させた結果、引き起こされた外部環境３の変化を評価することで、特定動作物体の動作が良い動作であったか悪い動作であったか（予め決められている目標に近くなったか遠くなったか）を評価することができ、その評価結果に基づいて、推測規則Ｉｓを変更する。そして、他の物体２の内的状態（Ｂ）の推測が適切でない場合には、評価部９による評価は悪いものとなる。換言すると、評価部９により、特定動作物体の動作が悪い動作であると評価された場合には、その原因の一つとしては、他の物体２の内的状態（Ｂ）が適切に推測できていない。
【０１３４】
そこで、本発明では、評価部９の結果に基づいて、上記内的状態（Ｂ）を推測するための推測規則Ｉｓを変更している。これにより、他の物体２の内的状態（Ｂ）をより精度よく推測することができる。
【０１３５】
このように、上記の構成とすることにより、他の物体２との間で情報のやり取りの規則（ルール）が定められていない場合であっても、上記状態情報から、他の内的状態（Ｂ）を精度よく推測することができるので、相手（他の物体２）の内的状態（Ｂ）を考慮した動作を行うことができるので、全体の系として最適な動作を行うことができる。これにより、例えば、通信規格の異なる複数のシステムを共存させて動作させる場合であっても、各システムが自律的（自己組織的）に他のシステムと協働するように、各システムを動作させることが可能となる。
【０１３６】
本発明にかかる学習装置１は、上記変更部１０が、評価部９の結果に基づいて、上記動作規則Ｓを変更するものである構成がより好ましい。
【０１３７】
上記構成とすることにより、評価部９の結果に基づいて、他の物体２の内的状態（Ｂ）の推測規則Ｉｓだけでなく、特定動作物体の動作規則Ｓも併せて変更しているので、他の物体２の内的状態（Ｂ）に応じた動作をより精度よく行わせることができる。
【０１３８】
本発明にかかる学習装置１は、上記変更部１０が、評価部９の結果に基づいて、上記内的状態（Ａ）を推測するための推測規則Ｉｓを変更するものである構成がより好ましい。
【０１３９】
上記の構成によれば、他の物体２の内的状態（Ｂ）の推測規則Ｉｓだけでなく、特定動作物体の内的状態である内的状態（Ａ）を推測するための推測規則Ｉｓも変更するので、他の物体２の内的状態（Ｂ）に応じた動作をより精度よく行わせることができる。
【０１４０】
本発明にかかる学習装置１は、上記自己推測部１１および他推測部１２は、同じ推測規則Ｉｓを用いて、上記内的状態（Ａ）または内的状態（Ｂ）を推測するものである構成がより好ましい。換言すると、本発明にかかる学習装置１は、上記内的状態（Ａ）を推測するための推測規則Ｉｓと、上記内的状態（Ｂ）を推測するための推測規則Ｉｓとが同じものである構成がより好ましい。
【０１４１】
上記の構成によれば、上記内的状態（Ａ）を推測するための推測規則Ｉｓと、上記内的状態（Ｂ）を推測するための推測規則Ｉｓとが同じになっている。換言すると、自己推測部１１と他推測部１２とは、共通の推定規則を用いて、上記内的状態（Ａ）および内的状態（Ｂ）を推測している。この場合、他の物体２が、学習装置１と同じ内的状態を推測するための推測規則Ｉｓを有している場合に、学習効率を上げることができる。具体的には、共通の推測規則Ｉｓを用いることにより、推測を行うために必要な構成（例えば、回路の構成およびプログラムの算出工程）を減らすことができる。また、上記のように共通の推測規則Ｉｓを用いる場合であって、例えば、他の物体２の内的状態を推測するための推測規則Ｉｓが学習装置１と異なっている場合には、内的状態（Ｂ）を正確に推測することができないが、上記変更部１０が推定規則だけでなく動作規則Ｓを変更する構成とすることにより、学習装置１の動作を適切に行わせることができる。
【０１４２】
本発明にかかる学習装置１は、上記内的状態（Ａ）に関する情報を外部に提供する提供手段を備える構成がより好ましい。
【０１４３】
上記の構成によれば、上記内的状態（Ａ）に関する情報を外部に対して提示し、他の物体２が、上記内的状態（Ａ）に応じて動作を変える場合には、本発明にかかる学習装置１と他の物体２とをより一層効率よく協働して動作させることができる。つまり、全体の系を構成する複数のシステム（学習装置１）が、互いに相手のシステムの内的状態を推測して、相手の内的状態に応じた動作を行うことができるので、全体の系がより良くなる、つまり、外部環境３がより適切になるように各システムを協働させることができる。なお、上記内的状態（Ａ）に関する情報を外部に対して提供する方法としては、例えば、他の物体２を含む外部に対して上記情報を送信してもよく、また、上記外部に対して情報を表示してもよい。
【０１４４】
なお、上記実施の形態における学習装置１の各部や各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の学習装置１の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【０１４５】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。
【０１４６】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１４７】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【０１４８】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【０１４９】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【０１５０】
また、上記の説明では、他の物体２が１体のロボットである場合について説明したが、上記他の物体２とは、１体に限られるものではなく、複数であってもよい。また、他の物体２としては、ロボットに限定されるものではなく、例えば、通信装置等が挙げられる。また、上記学習装置１が複数存在する場合、自己以外の学習装置１は、他の物体２に相当する。
【０１５１】
また、上記学習装置１は、例えば、（１）複数のシステムが存在する環境下で任意のタスクを遂行する必要がある、（２）上記複数のシステムを含む外部環境の変動や上記システム毎に個性がある、（３）遂行されるタスクはシミュレーションを含んだ試行錯誤（失敗）が許容され、（４）各システム間での直接または間接的な情報交換が可能であり、（５）自己システムまたは他のシステムの内部構成が明らかでないの５つの条件が揃った状況において特に良好に動作する。なお、上記５つの条件が揃わなくても（また、上記条件が全くなくても）良好に動作することはいうまでもない。
（強化学習）
ここで、外部環境３からの情報に基づいて動作を行い、その動作結果を評価することで、以降の動作（動作規則）を変更する強化学習について説明する。
【０１５２】
強化学習とは、数値化された報酬信号を最大にするために、何をすべきか（どのようにして状況に基づく動作選択を行うか）を学習することである。学習者がどの行動を取るべきかは教えられず、その代わりに、どの行動を取ればより一層の報酬を得られるかを見つけ出す必要がある。行動（動作）は直接的な報酬のみならず、その次の状況にも影響を与え、そのことを通じて、全ての後続的報酬に影響する。これらの２つの特徴、つまり試行錯誤的な探索（trial-and-error search）と遅延報酬（delayed reward）は強化学習を際立たせる重要な要素である。強化学習の考え方は、基本的には、ゴール（目標:goal）を達成するために環境と相互作用している学習装置１を扱う必要がある。この学習装置１は明らかに、ある程度環境の状態を感知する必要があるし、その状態を変えるような行動を取ることができなくてはならない。
【０１５３】
そして、上記強化学習は、３つの要素から構成される。それは、方策（policy）、報酬関数（reward function）、さらに価値関数（value function）である。
【０１５４】
方策とは、学習装置１の振舞いを定義する。つまり、方策とは、環境においてある状況（situation）から、そのときに取るべき行動選択を指す。方策は、単純な関数であったり、ルックアップテーブルであったりする。方策は、それだけで学習装置１の行動を決定することができ、強化学習の中核をなすものである。この方策は、一般的に確率的である。
【０１５５】
報酬関数とは、強化学習問題において目標を定義する。この関数は、ある環境おける状況（状況-行動）を１個の数字で示したものである。この報酬は、その状況の望ましさを記す指標となる。強化学習は、最終的に、この報酬を最大にすることを目標にする。生物学的システムにおいて、報酬とは、満足と苦痛（pleasure and pain）に相当する。報酬関数は、学習装置１が変更できないものである。報酬関数は学習エージェントにとって何が良い選択で、何が悪い選択であるかを定義している。学習装置１はこの報酬関数を変更できないものとする。しかし方策を変更する時の原因となり得る。例えば、方策に従った行動選択が低い報酬しか得られなければ、今後その状況になった時に、他の行動を選択するように方策は変更される。
【０１５６】
報酬関数が短期的に何が良いのかを示しているのに対し、価値関数（value function）は、最終的に何が良いのかを指定する。状態の価値（value）とは、学習装置１の方策が将来にわたって蓄積する報酬の総量を指す。
【０１５７】
ところで、強化学習を行う際には、行動価値の高い行動を選択すれば良い。すると、行動価値を最大とするような行動が、少なくとも１つは見つかることになる。これをグリーディ（貪慾：greedy）な行動と呼ぶ。グリーディな行動を選ぶ場合、行動価値について現在の知識を利用（exploit）していると言うことにする。一方、グリーディでない行動を選択の１つを選ぶ場合は、探査（explore）を行っていると言うことにする。探査と呼ぶ理由は、グリーディでない行動を選択すれば、その価値の推定値を改良できる可能性があるためである。知識の利用は、１つの行動（動作）での報酬の期待値を最大にするために適切なことといえる。しかし、探査は、より大きい総報酬を最終的に作り出す可能性を持っている。例えば、いまグリーディな行動価値が確実にわかっているが、一方、不確実であるが、いくつかの他の行動が同様によい価値を持っているらしいとわかっているものとする。「不確実」とは具体的には、少なくともこれらの行動の１つは、実際には貪慾な行動よりはよい値を持つだろうが、その行動がどれかわからないような状況を指す。数多くのプレイが可能な状況では、グリーディでない行動を探査して、グリーディな行動よりも良いものを見つけることが適切な方法と言える。１回の行動では、探査と知識利用は同時実行できない。そして、探査と知識利用のいずれがよいかの判断は、報酬、価値関数、不確実性、残りの行動時間（行動回数）に複雑に依存する。
【０１５８】
ここで、行動価値の評価手法、行動価値の推定量を使った行動の選択について説明する。行動Ｄの真の価値をＱ＊（Ｄ）とし、ｔ番目のプレイでのその推定値をＱｔ（Ｄ）とする。各行動の真の価値は、その行動を選んだ結果、受け取る報酬の平均である。
つまり、t回目のプレイにおいて、それまでの間に行動Ｄがｋａ回選択されていて、それぞれの回での報酬がγ１,γ２,…γｋａとすれば、行動Ｄの価値（価値関数Ｑ）は、下式（１０）のように推定される。
【０１５９】
【数５】
2006035388.tif 000007
【０１６０】
なお、上記式では、報酬のサンプル（標本）の単純平均から推定量を求めることから、ここではこれを行動価値推定のための標本平均手法（sample-averageing method）と呼ぶ。これは行動価値推定の一方法であり、他の行動価値推定の方法を用いても良い。つまり、上記価値関数Ｑについては、任意に設定すればよい。
【０１６１】
次に推定量を行動選択にどのように利用するかについて説明する。最も単純な行動選択規則（グリーディ手法）では、最も高いと推定された行動価値を持つ行動（複数の行動の１つ）を選択する。すなわち、プレイｔでＱｔ（Ｄ＊）＝ｍａｘＤＱｔ（Ｄ）となるようなグリーディな行動の１つＤ＊を選択する。この手法は、常に即時の報酬を最大にするために、現在の知識を利用するものである。つまり、価値の低いと判断される行動に対しては、それが本当はさらに良いかもしれないという可能性を確かめる目的での試行をいっさい行わない。そこで、この点を改善する改善案として、ほとんどいつもは貪慾に振舞うが、たまに小さい確率εで、行動価値推定値とは無関係に、一様に任意の行動を選ぶような方法が考えられる。この手法をεグリーディ手法と呼ぶ。この方法の利点は、プレイの数を増やし、極限に至るならば、全ての行動が∞回試されるので、したがって全ての行動Ｄに対してｋａ→∞を保証し、Ｑｔ（Ｄ）がＱ＊（Ｄ）に収束することを保証している点である。これはもちろん最適な行動を選ぶ確率が１−ε以上の値に収束すること、すなわちほぼ決定論的な値に収束することを意味する。
【０１６２】
グリーディ手法とεグリーディ手法の利点は、適用するタスクによって異なる。例えば分散が１から１０に変わったとすると、より変動の激しい報酬のもとで、最適な行動を見いだすためには、より多くの探査が必要となる。したがってεグリーディ手法はグリーディ手法と比較してかなり良い性能を示す。
【０１６３】
ここで、強化学習の１つであるＱ学習について説明する。Ｑ学習では、ある状況ｓと行動Ｄの全てに対して行動最適価値関数Ｑ（Ｄt,at）を評価する。
【０１６４】
一般に、外部環境３と学習装置１との相互作用を通して目的の行動を獲得する手法として強化学習は有効な手法である。強化学習では、学習装置１が識別することができる状態の集合をＳとし、環境に対してとり得る行動の集合をＤ´とする。そして、環境は現在の状態と学習装置１の行動によって、確率的に遷移するマルコフ過程に従うものとする。すると、状態と行動の組（s,Ｄ）に対して、報酬γ（ｓ,Ｄ）が定義される。しかし、一般的な強化学習の問題は、報酬の積算を最大にする政策を見つけることである。
【０１６５】
Ｑ学習では、現在の状態（Ｓを構成する全ての要素がst）において、行動（Ｄ´を構成する全ての要素がＤt）をとり、次の状態st+１に遷移したとき、行動価値関数Ｑ（st,Ｄt）を下式（１１）のように更新する。
【０１６６】
【数６】
2006035388.tif 000008
【０１６７】
ここで、αは学習率、Γは減衰係数である。十分な経験を積んだ後、Ｑ値が得られると、各状態に対してＱ（s,Ｄ）が最大となる行動Ｄを選ぶことによって政策が定義される。γは、行動ａによって得られた報酬である。この場合、学習で獲得される行動価値関数Ｑは、使われている方策とは独立にＱ＊（最適行動価値関数）を直接近似する。これは、アルゴリズムの解析を簡単にし、収束性の証明を早い時期に得ることができる。方策は、訪問し更新を行う状態行動対を決定するので、強化学習に影響を及ぼす。しかし、正しく収束が行われるためには、単に状態行動対がすべて更新され続ければ良いということだけが要求される。
【産業上の利用可能性】
【０１６８】
本発明にかかる学習装置は、例えば、通信プロトコルが異なるシステム間で情報のやり取りを行う通信システムに好適に用いられ、特に、複数のシステムを協働させて１つの作業を行わせるような装置（例えば、ロボット）に好適である。また、例えば、上記学習装置を、動作を行う玩具に組み込むことで、定期的に玩具が行う行動を変えることができる。また、上記学習装置は、例えば、情報機器等のマン・マシン・インターフェイス、知的義肢等に組み込まれるブレイン・マシン・インターフェイス、および、人の生活に入り込み人との密接なコミュニケーションを必要とするロボット等に適用することができる。
【図面の簡単な説明】
【０１６９】
【図１】本実施の形態にかかる学習装置の概略の構成を示すブロック図である。
【図２】上記学習装置の動作を説明するフローチャートである。
【図３】強化学習を行う前後の推測規則Ｉｓの状態を説明する図面である。
【図４】強化学習を行う前後の動作規則Ｓの状態を説明する図面である。
【図５】ロボットの内的状態（Ａ）を説明するための図面である。
【図６】ロボットの行動および当該ロボットに設けられたセンサーの位置を説明する上面図である。
【図７】タスクスペースの座標系を示す図面である。
【図８】２つのロボット間の距離を求める例を説明する図面である。
【図９】ロボット１の動きを止めた状態でのシミュレーション実験を説明する図面である。
【図１０】ロボット１とロボット２との双方が動く状態でのシミュレーション実験を説明する図面である。
【図１１】一方のロボット１の位置を固定した状態で行ったシミュレーション実験の結果を示すグラフであり、（ａ）はε＝０．１に設定した場合の結果であり、（ｂ）はε＝０．４に設定した場合の結果を示すグラフである。
【図１２】ロボット１の位置を固定した条件で、εグリーディ行動選択確率を異ならせた場合（ε＝０．１とε＝０．４との場合）における、学習ステップが１０００００ステップ内でのロボット間の距離の変動を示すグラフである。
【図１３】εグリーディ行動選択確率ε＝０．１の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。
【図１４】εグリーディ行動選択確率ε＝０．４の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。
【図１５】両方のロボットの位置を固定しない条件で、εグリーディ行動選択確率ε＝０．１の場合における、学習ステップが１０００００ステップ内でのロボット間の距離の変動を示すグラフである。
【図１６】εグリーディ行動選択確率ε＝０．１の条件における、ある２つの発話情報（Ｕ＝０，Ｕ＝１０）に対して推定される内的状態がもつＱ値の分布を示すグラフである（（ａ）がＵ＝０の場合、（ｂ）がＵ＝１０の場合を示している）。
【図１７】ロボット１とロボット２とに、ある発話情報Ｕ＝１２を与えたときに推定される内的状態のＱ値を示すグラフである。
【符号の説明】
【０１７０】
１  学習装置
２  他の物体（他の動作物体）
３  外部環境
４  推定部
５  動作決定部（動作決定手段）
６  環境取得部
７  自己状態送信部
８  状態取得部（取得手段）
９  評価部（評価手段）
１０  変更部（変更手段）
１１  自己推測部（特定状態推測手段）
１２  他推測部（他状態推測手段）
１３  推測規則格納部
１４  動作規則格納部
２０  動作部（動作手段）
【図１】
2006035388.tif 000009
【図２】
2006035388.tif 000010
【図３】
2006035388.tif 000011
【図４】
2006035388.tif 000012
【図５】
2006035388.tif 000013
【図６】
2006035388.tif 000014
【図７】
2006035388.tif 000015
【図８】
2006035388.tif 000016
【図９】
2006035388.tif 000017
【図１０】
2006035388.tif 000018
【図１１】
2006035388.tif 000019
【図１２】
2006035388.tif 000020
【図１３】
2006035388.tif 000021
【図１４】
2006035388.tif 000022
【図１５】
2006035388.tif 000023
【図１６】
2006035388.tif 000024
【図１７】
2006035388.tif 000025