信念と状態遷移を確率的に扱う合理的エージェント向け論理
新出尚之† a)高田司郎††A Logic for Rational Agents Which Handles Beliefs and State Transitions ProbabilisticallyNIDE, Naoyuki†a) and Shiro TAKATA††

あらまし 合理的エージェントのモデルである BDI モデルでは、時相論理体系 BDI logic によってエージェン
トの振る舞いの形式的記述が行える。我々はこれを拡張し、強化学習との結合などを形式化するために必要となる確率的状態遷移の記述を可能にした時相論理体系 TOMATOes を提案した。しかし TOMATOes では、状態遷移を表す時相オペレータは確率的に扱えるが、確率的な信念は扱えなかった。一方、実際のエージェントでは確率的な信念を扱うことが必要な応用も多い。そこで、信念と状態遷移をともに確率的に扱える論理モデルが必要となるが、同時にそれは、合理的エージェントに要請される心的状態の整合性を扱えることをも要請される。本論文ではそのような論理モデルとして、TOMATOes に確率的信念オペレータを導入して拡張した論理体系 B TOMATOes を提案し、また、確率的な信念を用いた記述例について述べる。
キーワード

合理的エージェント, BDI, 確率, 論理

1. は じ め に
我々は、BDI モデル [1] をベースに、学習による基本行いことなどから、信念は不確実さを伴う場合が多く、従ってそうした不確実さをもった信念を扱う必要に迫られる応用も多い。代表的な例としては、POMDP [5] の下での為の獲得との結合 [2] などによって、動的環境下で目的を強化学習が挙げられる。また、統計的アブダクション [6]達成するために行動できる合理的エージェントの実現をも、観察に対する説明を確率分布に基づいて導き出す点目指し、研究を進めてきた。

で、そのような例の 1 つに挙げられよう。

BDI モデルでは、時相論理体系 BDI logic によって、他に、確率的信念の記述の別な応用として、感情表現エージェントの心的状態 (信念 · 願望 · 意図) やその経時変の実現が考えられる。近年は、人との対話や交流を行う化を論理モデルで記述でき、エージェントの振る舞いにエージェントに、感情表現を付加する応用が注目されてついて形式的な議論が行えることが大きな利点の 1 つでいる。BDI モデルの下で感情表現の形式化を試みた例とある。そのため、BDI モデルにそれ以外の意思決定メカして、Adam ら [7]（注 1）や Steunebrink ら [10] のものがある

ニズムを導入して拡張するにあたっても、その拡張を論が、それらは感情の生起を、信念など心的状態を用いて理モデルの中に取り込めることが望まれる。

記述した論理式の真偽としてモデル化しており、基とな

我々はこの観点から、我々が BDI モデルに対して行っる心的状態が 0/1 の 2 値のため、感情が生起するか否かた拡張を単一の論理モデルで扱えるようにするための試みの区別しか記述できず、生起された感情の度合い (「すごとして、確率的な状態遷移とイベントの選択が記述できるく嬉しい」「まあまあ嬉しい」など) を表現できていない。

ように BDI logic を拡張した論理体系 TOMATOes [3], [4]

これを解決するには、ベースとなる心的状態を確率的にを提案し、この体系のもとで BDI モデルと強化学習や扱える必要がある。

エージェント相互間の協調行為との結合に関する記述や推論などが行えることを示した。

いずれの応用においても、合理的エージェントへの応用として捉えるには、前述の観点から、確率的信念が単

しかし、TOMATOes では確率的な記述が行えるのは時独で扱えるだけでは十分でなく、それが BDI モデルと統相オペレータ、すなわち状態遷移のみであり、信念オペ合的に扱える必要がある。特に、BDI モデルにおいて合レータを確率的に記述することができない。一方で、動理的エージェントに要請される心的状態の整合性は、確的環境下、中でも実世界においては、一般に知覚の手段率的信念の導入後も引き続き成り立つことが求められる。

も精度も限られていること、また行動も誤差を免れ得な

そこで本論文では、TOMATOes に確率的（注 2）信念の扱いを導入して拡張した論理体系 B -TOMATOes を提案し、†奈良女子大学 研究院 生活環境科学系, 奈良市
Faculty, Division of Human Life and Environmental Sciences, Nara Women’s University, Kita-uoya Nishimachi, Nara-shi, 630-8506 Japan††

その記述事例を示す。ただし、感情表現の事例については [11] に譲り、本論文では扱わない。

近畿大学 理工学部, 東大阪市
Faculty of Science and Engineering, Kinki University, Higashi-Osaka-shi, 577-8502
Japana) E-mail: nide@ics.nara-wu.ac.jp（注 1）：これに基づいた、Jason [8] 上での我々による実装の試みもある [9]。
（注 2）：「確率」(probability) ではなく「確度」(certainty) と見るべき場合もあるかも知れないが、本論文では両者をあえて区別はしていない。

1

JAWS2014 予稿集

事象 (ここでは φ と ψ) がそれぞれ別の場合として確度を2. 論理体系 B -TOMATOes

持つようなもののみを認めることをいう (φ と ψ が同時

B -TOMATOes は、一階述語論理を拡張した点時刻分岐
時相論理に、エージェント毎の心的状態 (信念 · 願望 · 意図) オペレータ、およびイベントによる状態 (時刻) 遷移を表現するオペレータを追加したものであり、特に状態遷移オペレータと信念オペレータは確率パラメータを持つ。

2. 1 構に成り立たないという要請を表す「排他」ではない)。

V

さらに BELa>φ を BELa φ と、Xe>
φ を AXe φ と、
=1=1e∈E (pos(e) ⊃ AXeφ) を AX φ と略記する。これらは通常の信念様相論理や CTL での BEL や AX に相当する。
なお、心的状態の中では信念にのみ確率を導入してい（注 4）

文る。BDI モデルでの願望や意図は、エージェントが達以下、単に「論理式」と言えば B -TOMATOes の論理成すべき目標とその手段を自らの意思で選択したもので式を指す。また、x, y などは一階述語論理の通常の変数記あるため、「あることを確率 0.8 で願望/意図する」といっ号として用い、X, Y などは論理式を表す変数記号 (以下たことは考えにくいことがその理由である。

「論理式変数記号」と呼ぶ) として用いる。エージェント

2. 2 意 味 論

定数記号およびイベント定数記号の有限集合 A, E を選ん2. 2. 1 BDI ストラクチャで固定しておく。{p | p ∈ R, 0 <=p<= 1} を [0, 1] と書く。

以下のものを定めておく。

論理式を以下の BNF で定義する。ここで、φ は論理式、•可能世界の集合 W (=/ ∅)α は一階述語論理の原始論理式、a, e, p, r はそれぞれ A,E, [0, 1], {>=, >} の要素を表すメタ変数とする。なお、構•W の各要素 w に対し、state の集合 St w (=/ ∅)•W の各要素 w と St w の各要素 t ∈ St w に対し、文中に「|」を含む論理式があるため、BNF の選択記号は一階述語論理の項ないし原始論理式を与えてその解釈を「 」で表す。また「[ ]∗ 」は反復を表す。

返す関数 iw,t 。ただし解釈に用いる領域 (Domain) U 、おφ ::= α ¬φ φ ∨ φ ∀xφ X pos(e) Xe (rp φ[ | rp φ ]∗ )BELa (rp φ[ | rp φ ]∗ ) DESIREa φ INTENDa φ µX.φ
ただし、µX.φ の φ の中で、X は ¬ の奇数段のネストの中に現れてはならない。µ は 2. 2. 2 節で述べる最小不動点オペレータである。TOMATOes との構文上の差は、信念オペレータ BEL が確率パラメータを持つ点だけである（注 3）。例えば BELa (>φ|>ψ) は論理式である。
=0.7=0.3
この他、∧, ⊃, ⇔, ∃ などを一般的な略記として導入し、オペレータ間に一般的な優先順位 (例えば ∧ が ∨ よaり先に結合するなど) を導入する。また、BEL (r1 p1 φ1 )を BELar1 p1 φ1 と、さらに BELa>
φ1 ∧ ¬ BELa>p1 φ1 を
= p1

φ1 などもBELa=p1 φ1 と略記する。BELa<p1 φ1 , BELa<= p1
同様な略記として定義できる (以上、Xe についても同様)。
直感的には、pos(e) は「イベント e が実行可能」、

Xe (r1 p1 φ1 | · · · | rn pn φn ) は「イベント e を実行すると、次の状態 (時刻) では確率 r1 q1 で φ1 が、· · · 、確率 rn qnで φn が (排他的に) 成り立つ」、BELa (r1 p1 φ1 | · · · | rn pnφn ) は「エージェント a は確度 r1 q1 で φ1 を、· · · 、確度 rn qn で φn を (排他的に) 信じている」、DESIREa φ,INTENDa φ は「エージェント a は φ を願望している」「(同) 意図している」を表す。ここで「排他的に」とは、
例えば BELa (>φ|>ψ) の意味として「確度 0.5 で=0.5=0.5

φ も ψ も成り立つが、残り 0.5 ではどちらも成り立たない、と信じる」のようなものを排除し、「確度 0.5 ずつでcase1 と case2 のどちらかが起き、case1 では φ が成り立ち (ψ も成り立つかもしれない)、case2 では ψ が成り立つ (φ も成り立つかもしれない) と信じる」のように、各（注 3）：さらに確率パラメータに任意の項を許せば、例えば 3. 節の式 (1) (この式は BEL を略記で含む) を確率パラメータについて全称限量し一般化するなどの応用も可能となる。その代わり、2. 2. 2 節で触れる演繹体系の構築は難しくなろう。本論文では rough な議論のみ行うため、この点は考慮しない。

2

よび項の解釈は w, t に関わらず共通とする•

W の各要素 w と St w の各要素 t ∈ St w に対し、E の空でない部分集合 pos w,t• W の各要素 w と E の各要素 e に対し、St w 2 かe
ら [0, 1] への関数 Rw。ただし、任意の t ∈ St w に対し

Pe0t0 ∈St w Rw (t, t ) = 1 であること•A の各要素 a とSw∈W St w の各要素 t に対し、集合 {w | t ∈ St w } (以後 Wt と書く) 上の serial な（注 5）2 項
関係 Dat , Iat 、および Wt 2 から [0, 1] への関数 Bat であって、以下を満たすもの

Pt0w0 ∈Wt Ba (w, w ) = 1
M
t00? Ba (w, w ) > 0 なる任意の w, w に対し w ≡t,a w0
かつ w0 のある subworld w00 ∈ Wt があって w Dat w00? w Dat w0 なる任意の w, w0 に対し、w0 のある subworld w00 ∈ Wt があって w Iat w00
M
ただし、ここで w ≡t,a w0 とは任意の w00 ∈ Wt が以下を満たすことと定義する: 1 Bat (w, w00 ) = Bat (w0 , w00 ) 2w Dat w00 iff w0 Dat w00 3 w Iat w00 iff w0 Iat w00 。また、
0? 任意の w ∈ Wt に対しw が w の subworld であるとは、以下を満たすことと定義し、このとき w w w0 と書く (w 自身も w の subworldの 1 つであることに注意)。

•St w = St 0w•

任意の t ∈ St w に対し iw,t = iw0 ,t•

任意の t ∈ St w に対し pos w,t k pos w0 ,t•

任意の t ∈ St w , a ∈ A に対し w ≡t,a w0•ee
任意の e ∈ E に対し Rw= Rw0M

以上を組にしたものを、ここでは BDI ストラクチャと呼ぶ。大まかには、state は時相論理の「点時刻」で、
e1 つの可能世界は {(t, t0 ) | ある e ∈ pos w,t に対し Rw(t,t0 ) > 0} をエッジとする時刻の木であり、エッジは時刻の（注 4）： [11] での Desirability などの扱いは本論文とはやや異なっている。
（注 5）：集合 S 上の 2 項関係 R が serial であるとは、任意の s ∈ S に対し、s R s0 となる s0 ∈ S が存在することをいう。

信念と状態遷移を確率的に扱う合理的エージェント向け論理

前後関係を表す。pos w,t は state t で実行可能なイベントeの集合を表し、Rw(t, t0 ) = p は state t でイベント e を実0行すると確率 p で次の時刻は state t になることを表す。

w の subworld とは、w と比べて、各 state での実行可能なイベントだけが制限され、それ以外は w と全く同じでることに注意)•

各 i = 1, · · · , n に つ い て Wi j {w0 | (w0 , t) ∈PJφi KhM,fV i } かつ ( w0 ∈Wi Bat (w, w0 )) ri pi を満たす

ような、互いに素な集合 W1 , · · · , Wn が存在する}•

あるような世界である。

Dat , Iat は時刻 t における可能世界間の可視関係で、エージェント a の願望 · 意図を表す。Bat は時刻 t におけるエー
ジェント a の確度つき信念を与えるための、可能世界間JBELa (r1 p1 φ1 | · · · | rn pn φn )KhM,fV i = {(w, t) |JDESIREa φKhM,fV i = {(w, t) | w Dat w0 なる任

意の世界 w0 に対して (w0 , t) ∈ JφKhM,fV i }••JINTENDa φKhM,fV i については同様
X ∈ V のとき、JXKhM,fV i = fV (X)

また、以上の定義からは、論理式変数記号 X の自由なの確度つき可視関係にあたるものである。
図 1 に BDI ストラクチャの概略を示した (ただしこの出現を持つ (持たなくても) 論理式 φ を、X の解釈を受け

図は、簡単のため Iat は表示しておらず、Bat や Dat など取って φ の解釈を返す関数 fφ : 2Swt → 2Swt と捉え直すについても全て表示してはいない。特に、Dat の serial 性ことができる。そこで、などの性質も反映していない)。state の丸の中に書かれて•JµX.φKhM,fV i は、fφ の最小不動点である

いるイベントはその state で可能なイベント、エッジに付と定義する。この場合 fφ は定義から単調関数なので、最いているイベントはそのイベントでの遷移であることを小不動点の存在は保証される。不動点オペレータがあるこ表す。w20 は w10 の、w200 は w100 の subworld である。とから、時相論理としては (AX があるため) CTL*より強い表現力を持ち、また相互信念などの概念も記述できる。

B at (w , w’1’ ) = 0.3
B at (w , w’1 ) = 0.7

et 1 0.5
ee1 e3 1t
e1 e20.5t

e1 e2e3

e10.6
e1

w1’w2’wt

D at
D at
D at

e1

き、世界 w の state t で φ が成り立つという。例えば図 10.4において、世界 w の state t で BELa (>pos(e3 ) | >=0.7=0.30.60.4e2の集合と見ることができる。JφKhM,fV i 3 (w, t) であるとe21.01.0

JφKhM,fV i は、φ の成り立つ世界と state のペア (w, t)

e11.0e2pos(e2 )) が成り立つ。論理式 φ が、任意の M , fV に対し
w1’’w2’’e10.5e1

なお、B -TOMATOes では信念の確率分布は離散なもe1tのとして扱っている。一方、我々は TOMATOes を状態1.0遷移について連続な確率分布が扱えるように拡張した C-e10.5

JφKhM,fV i = Swt を満たすとき、φ は恒真であるという。

TOMATOes [12] を既に提案している。同じ手法で信念の連続な確率分布を導入することも可能であり、特に実世

w2’’’te1 e4e11.0e4=可能世界界への応用を考えればそれは必要でもあると考えられる。

=state

しかし本論文では、簡単のためそれは行っていない。

1.0

また、TOMATOes と同様の手法で B -TOMATOes に演

図 1 BDI ストラクチャの概略

繹体系を与え、(少なくとも) 健全性を示すことも可能であろう。本論文では演繹体系に関する議論は割愛する。

2. 2. 2 論理式の解釈

2. 3 心的状態の整合性

以後、{(w, t) | w ∈ W, t ∈ St w } を Swt と書く。

BDI ストラクチャM 、および論理式変数記号の集合 Vから 2Swt への関数 fV を 1 つ定めておく。論理式 φ に対し、その解釈 JφKhM,fV i (j Swt) を以下のように定める。

•φ が原始論理式の とき、JφKhM,fV i = {(w, t) |iw,t (φ) が真}• Jφ ∨ ψKhM,f i = JφKhM,f i ∪ JψKhM,f i••VV¬ BELa false

BELarp φ ⇔ BELa BELarp φ

DESIRE φ ⇔ BELa DESIREa φa

INTENDa φ ⇔ BELa INTENDa φDESIREa θ ⊃ BELa θVJ¬φKhM,fV i = Swt \ JφKhM,fV iTJ∀xφKhM,fV i =u∈U JφKhM [x:=u],fV i

B -TOMATOes では、在来 BDI logic や TOMATOes での恒真論理式と同様の、次のような論理式が恒真である。

INTENDa θ ⊃ DESIREa θ

ここで false は φ ∧ ¬φ の略記とする。上 4 式 (3 行) は、自ただし身の心的状態に関する完全な信念を持つこと、および BEL

M [x := u] は M での x の解釈を u に変更して得られオペレータに関する KD45 相当の要請である。下 2 式 (1る BDI ストラクチャ行) は strong realism [1] と呼ばれ、「エージェントが信念••Jpos(e)KhM,fV i = {(w, t) | pos w,t 3 e}

JXe (r1 p1 φ1 | · · · | rn pn φn )KhM,fV i = {(w, t) | 各00i = 1, · · · , n について Ti j {t | (w, t ) ∈ Jφi KhM,fV i } かPe
つ ( t0 ∈Ti Rw(t, t0 )) ri pi を満たすような、互いに素な集合 T1 , · · · , Tn が存在する} (ri は >, >= のいずれかであと矛盾する意思決定を行わない」など、合理性のために要請される性質である。ただし下 2 式で θ は O-formula [1](B -TOMATOes では BEL, DESIRE, INTEND のスコープ
内を除き、pos が ¬ の奇数段のネストの中に現れない論理式。直感的には「あることが特定のイベントの選択に3

JAWS2014 予稿集よる未来でのみ成り立つ」を表す) とする。

3. 事の例はシングルエージェントであったが、マルチエージェントでも同様の扱いが可能である)。

例

ここではスペースの都合上、簡単な事例のみ取り上げ

4. ま と める。[5] による以下の問題を考える。エージェントが 2 つ

本論文では、BDI logic の我々による拡張 TOMATOesのドアの前にいる。一方のドアの向こうには虎がおり、もにさらに確率的信念を導入した体系 B -TOMATOes を提う一方のドアの向こうには宝がある。虎のいるドアを開案し、記述例を示した。

けると報酬 −100、宝のあるドアを開けると報酬 10 を得

確率的信念、ないしは不確実な信念を扱う論理モデルてそれで 1 エピソードが終わる。また、虎のいるドアをに関する研究は以前から多数存在する。また、「信念」と知るために虎の鳴き声を聞くこともできるが、それにはいう形をとらずに確率的な言明を扱う論理の研究も多い。

報酬 −1 がかかる。しかもその知覚は不正確で、鳴き声がそれらと比べ、B -TOMATOes はエージェントの行為選聞こえた方のドアに実際に虎がいる確率は 0.85 である。

択メカニズムの形式化を同一の体系の中で可能とし、心以 下 で は BEL (>tiger(left) | >tiger(right)) を=p=1−p的状態の整合性など合理的エージェントに要請される性tiger left(p) と略記する。エピソードの最初にはエージェ質も満たせることが利点である。ただし、本論文の目的

ント a は虎の位置に関する情報を全く持たないとすると、は形式化を示すことにとどまり、確率的信念を利用した

a の信念では虎の位置は半々の確率で左か右であり、これ個々の具体的なアルゴリズム、例えば 3. 節で例に挙げたは tiger left(0.5) と書ける。

POMDP による確率的信念の更新や強化学習の具体的なaある時刻で tiger left(p) が成り立っており、a が「虎の手法などには踏み込んでおらず、こうした応用への適用声を聞く」というアクション (これをイベント hear で表は課題として残る。また、マルチエージェントへの応用す) を取ったとする。その結果、左から鳴き声が聞こえたを考える場合、例えば [13] などゲーム理論をバックグラので、a は虎が左にいる事後確率を求め、信念を修正すウンドとした体系などとの比較も必要であろう。これらる。この過程はを通じて本体系の優位性を示すことが今後の課題である。
文

tiger left(p) ⊃ AXhear (roar(left) ∧.85p(p0 = .85p+.15(1−p)) ⊃ tiger left(p0 ))(1)と書ける。ただし、通常の数学の演算記号を表す =, + な[1]

BDI-Architecture,” Readings in Agents, eds. by M.N. Huhns and M.P.
Singh, pp.317–328, Morgan Kaufmann, San Francisco, 1997.
[2]

高田司郎，新出尚之，濱砂幸裕，波部 斉，藤田 恵，“アトラクター状態を用いた実世界における基本行為の学習について，”情報処理学会研究報告 2013-MPS-92，no.24，pp.1–6，2013．

[3]

新出尚之，高田司郎，藤田 恵，“拡張 BDI 論理 TOMATOesによる協調行為のモデル化と応用，” 人工知能学会論文誌，vol.26，no.1，pp.13–24，2011．
高田司郎，新出尚之，藤田 恵，“拡張 BDI 論理 TOMATOes
を用いた強化学習のモデル化について，” 人工知能学会論文誌，vol.26，no.1，pp.156–165，2011．

どの述語記号や関数記号が一階言語に入っており、解釈も数学でのそれと同じものに固定されているとする (以後も同様)。このように、(ベイズモデルを用いた) エージェントの信念の更新を、確率的信念の経時変化として捉えることができる。

[4]

ここまでは現在の状況に関する確率的信念を扱ったが、強化学習の方策を「どの行為を取るか」に関する確率的信念と捉えることもでき、その場合、方策を BEL オペレー

[5]

open left, open right のどれを取るかの戦略を得る強化学

vol.101, pp.99–134, 1998.
[6]

佐藤泰介，“統計的アブダクション，” 人工知能学会誌，vol.25，no.3，pp.400–407，2010．

[7]

C. Adam, A. Herzig, and D. Longin, “A logical formalization of the

習問題と捉えるとする。ある方策を「確率 q0 で hear を、q1 で open left を、1 − q0 − q1 で open right を実行する」というものとすると、「p がある範囲内 (p0 <=p<
= p1 ) に

OCC theory of emotions,” Synthese, vol.168, no.2, pp.201–248, 2009.
[8][9]

pos only(open right)) と書ける (pos only(e) は>=1−q0 −q1
V0pos(e) ∧ e0 ∈E,e0 =e/ ¬pos(e ) の略記、すなわち「イベン[10]no.1 Supplement, pp.83–129, 2012.
[11]4

池之内彰子，新出尚之，“OCC theory に基づくエージェントの感情表現の論理モデルについて，” Proc. of JAWS2014，pp.91–94，
2014．

[12]に実行される」によりイベントが実行される。このように、B -TOMATOes ではエージェントの行為選択メカニズ

B.R. Steunebrink, M. Dastani, and J.-J.C. Meyer, “A formal modelof emotion triggers: an approach for BDI agents,” Synthese, vol.185,

エージェントはそれを意図し (INTENDa pos(hear))、合ムなどを、確率的な信念や状態遷移と一体的に扱える (こ藤田 恵，清水詩子，新出尚之，“感情表現を行動決定に取り入れた BDI エージェントの実現に向けて，” Proc. of JAWS2011，2011． 77fujita.pdf．

方策により例えばイベント hear の実行が選ばれれば理的エージェントの性質「基本行為が選択されれば直ち

R.H. Bordini, J.F. Hübner, and M. Wooldridge, Programming MultiAgent Systems in AgentSpeak using Jason, John Wiley & Sons, 2007.

入る場合はこの方策を取る」は tiger left(p) ∧ (p0 <=p<=ap1 ) ⊃ BEL (>posonly(hear)|posonly(openleft)|>qq= 0= 1

ト e のみが選択可能」を表すとする)。

L.P. Kaelbling, M.L. Littman, and A.R. Cassandra, “Planning and acting in partially observable stochastic domains,” Artificial Intelligence,

タで記述することも可能である。例えば上の問題を、エー
ジェント a が現在の状態 tiger left(p) をもとに行為 hear,

献

A.S. Rao and M.P. Georgeff, “Modeling Rational Agents within a[13]新出尚之，高田司郎，藤田 恵，“連続した状態空間での合理的エージェントの行為を扱う論理モデルの試み，” 電子情報通信学会論文誌，vol.J96-D，no.12，pp.2939–2950，2013．
C. Zhou, “Probability logic for Harsanyi type spaces,” http://arxiv.org/abs/1405.6355, 2014.