1JAWS2012 

JAWS2012

連続した状態空間での合理的エージェントの行為を扱う論理モデルの試み
An Attempt to Construct Logical Model of Rational Agents Acting in Continuous State Space
新出 尚之
NIDE, Naoyuki

奈良女子大学研究院自然科学系
Division of Natural Sciences, Faculty, Nara Women’s University

nide@ics.nara-wu.ac.jp

高田 司郎
Shiro TAKATA

近畿大学理工学部
Faculty of Science and Engineering, Kinki University

shirxyzo@info.kindai.ac.jp

藤田 恵

Megumi FUJITA

奈良女子大学大学院人間文化研究科
Graduate School of Humanities and Sciences, Nara Women’s University

sabotedummy
n@icdummys.nara-wu.ac.jp

keywords: Agent framework, Rational agents, BDI logic, Real world
Summary
A major different between the real world and the virtual world, for rational agents act in the former in responseto the changes of their environments, is that the environment is continuous rather than discrete. Thus, for modelingof such agents, it is natural and desirable to use a model in which the probability distribution of the reachable states
as a result of some act is continuous. In this paper, we propose a logical system C-TOMATOes , a further extensionof the extended BDI logic TOMATOes which we had proposed, to make an attempt to handle the continuous state
space. In C-TOMATOes , we can describe probability density functions of the states reachable from the current state.
We present some examples of descriptions about probabilistic move on the plane of coordinates.

1. は じ め に一方、BDI モデルのみでは実現しにくい反射的行動に関する技能の学習を、強化学習で補う手法について、我々

我々は、実世界における合理的エージェントの行為選択に関する研究を進めている。

化学習の獲得方策から生成したサブプランを BDI での意

実世界で身体性を持って機能するエージェントは、環境の多様な変化に対応して、目的を整合的に達成していく必要がある。また、 1 情報獲得に時間がかかるられる情報が完全でない

思決定に用いる手法を示した [高田 10, 新出 10]。
これらの研究において、エージェントにおける環境は離散な状態空間 (グリッド) を用いた仮想世界上のものと4して扱ったが、実世界を扱うには、離散的な記述ではエー

5 複数のタスクを並ジェントが実世界における環境を正しく認識することが6 実世界は固有のダイナミズ

十分にできない。この点、すなわち前記 4 への対処は、

7 実世界は予測不能 —などの問題に実世界におけるエージェントがよりよく機能するために行して扱わねばならない
ムで変化し続ける

2 得

3 センサのノイズが不可避

実世界を離散的には記述できないはカヌーレーシングをテストベッドとして取り組み、強直面することが指摘されている [Pfeifer 06b]。

残された課題の 1 つである。そこで我々は次のステップ

これまでに我々は、それらの問題への部分的解答としとして、連続な状態空間を持つ仮想世界においてエージェて、BDI モデルを実装した BDI ロボットの有効性を示しントの持つ意思決定を実世界での行為選択と統合して扱

た [藤田 12a, 藤田 12b]。BDI モデルは、熟考やコミットう手法を提案している [高田 12]。

メントなどの概念を持ち、これによって、実世界のエー

さて、BDI モデルには、その 1 構成要素として様相論

ジェントないしロボットが、単一の目標達成に特化する

理体系 BDI logic があり、エージェントの性質や振る舞のでなく、環境の多様性に対応して合理的かつ柔軟に振いなどに関する形式的記述を行うことができる。これがる舞う、より一般的な行為選択のモデルを提供する。まBDI モデルのもう 1 つの利点でもある。しかし、BDI モ

た、上記の 1 2 5 への対応が可能なことも示した。

デルと強化学習など他の行為決定手段との結合において、

2

JAWS2012 予稿集

後者が形式的記述から外れてしまうことは、この利点をそぐため望ましくない。このため我々はこれまでに、BDI

logic を拡張して、イベントによる状態遷移に確率を記述できるようにした論理体系 TOMATOes [新出 11a] を導入し、また、これによって強化学習と BDI の結合による意思決定がモデル化できることを示した [高田 11]。しかし、連続的な状態空間を扱うには、行為の結果到達する状態が連続的な確率分布をするような論理モデルを用いることが自然かつ望ましいが、それはまだできていなかった。
そこで本論文では、TOMATOes をさらに拡張した論理

体系 C-TOMATOes (Continuous TOMATOes ) を導入し、はこれだけである。
例えば∗1 、平均 µ で分散 σ2 の正規分布の確率密度関

数 N (x | µ, σ 2 ) = √ 1 2 exp −2πσ(x−µ)22σ 2に対し、いま、3 引数の関数記号 norm があって、項 norm(x, µ, σ 2 ) はN (x | µ, σ 2 ) と∗2 解釈されるよう固定しておくものとすeる。すると、C-TOMATOes では X@norm(x,µ,σ2 ) loc(x) と書くことで「イベント e で 1 時刻遷移した後では、loc(x)を満たす x の値は平均 µ で分散 σ 2 の正規分布をする」(図 2) が記述できる (loc(x) を満たす x の値は 1 状態あた
りでは 1 つしかないものとする)。loc(x) が何らかの位置情報を表す論理式だとすれば、これによって、連続的な確率分布を行うような位置移動が表現できることになる。

連続的な状態空間と、行為の結果到達する状態が連続的な確率分布をするようなモデルを扱うことを試みる。さ0

次時刻 t’(連続に分布)らに、いくつかの記述例を示すとともに、現状での問題点についても述べる。

現在
時刻
t

2. 論理体系 C-TOMATOes
本節では様相論理体系 C-TOMATOes を導入する。こ

e

e
e
e
e

t’の確率密度0.5 σ

loc(µ σ )loc(µ )
loc(µ σ )の論理は、点時刻分岐時相論理に、マルチエージェント
環境における個々のエージェントに関する心的状態 (信念 · 願望 · 意図) オペレータ、およびあるイベントによる状態遷移先の確率密度を表現するためのオペレータを導

図2

C-TOMATOes の確率分布遷移オペレータ入したものである。
先に述べた TOMATOes の X オペレータの一般形、
e2·1 確率密度の記述の導入e

厳密な構文や意味論については 2·2 節以降に述べ、ここでは C-TOMATOes で導入した状態遷移先の確率密度に関するオペレータについて説明する。

TOMATOes では、論理式 Xe (=.3 φ1 | =.5 φ2 ) で、「イベント e によって 1 時刻経過すると、0.3 以上の確率でφ1 が成り立つ状態へ、0.5 以上の確率で φ2 が成り立つ
状態へ遷移する (しかも、両者の状態を重ならないように取ることができる。図 1 の右ではなく左のように)」を表現していた。 C-TOMATOes ではこの部分を確率密度
次時刻
次時刻
現在
時刻

.2
e
e .3 φ 1e.5 φ
2

Xe (=.3 φ1 | =.5 φ2 ) 成立
図1

現在
時刻

φ1
φ2

X (=p1 φ1 | · · · | =pn φn ) (ただし p1 , · · · , pn は定数) は、
確率密度関数の記述に Dirac の Delta 関数 [Weisstein] をe用いれば、C-TOMATOes の X@ でも記述できる。すな
わち、2 引数関数記号 deltasum の解釈を
deltasum(x, [p1 , · · · , pn ]) =Pn
Pn
i=1 pi δ(x − i) + (1 −i=1 pi )δ(x)となるよう∗3 固定しておくことで、(φ に自由に出現しな
い変数記号 x を 1 つ選んで)Xe@deltasum(x,[p1 ,···,pn ])Vn

i=1 (x = i ⊃ φi )(1)と書ける (なお、ここを含めてこれ以後、論理式に +, −,

.3
φ1
e .2
e

5, < など通常の数学で用いられる記号が述語記号や関数

e .1 φ1φ2e.4 φ2

固定しておくものとする)。図 3 に式 X (=.3 φ1 | =.5 φ2 )Xe (=.3 φ1 | =.5 φ2 ) 不成立

TOMATOes の Xe オペレータ

関数が書けるように拡張し、自由変数 x が現れる項 τ とe

論理式 φ を用いて X@τ φ と書けば「イベント e で 1 時刻
後へ遷移したとき、φ を満たす x の値の確率密度は τ である」を表すものとする。TOMATOes との構文的な差記号として現れる場合、解釈も通常の数学でのそれらにeの場合を示した。
以上から、X@ は従来の TOMATOes の確率的遷移オe

ペレータを一般化したものと考えることができる。以後

C-TOMATOes では、Xe (=p1 φ1 | · · · | =pn φn ) は式 (1) の∗1 以下では「σ 2 」を、文法上は単一の定数記号と見なすものとする。
∗2 正しくは、解釈を与える記号 [[ ]] (2·3·2 節) を用いて N ([[x]] | [[µ]], σ 2 ) と書くべきであるが、ここでは粗い議論をする。
∗3 ここでの [ ] は Prolog のリストにあたるものである。あるいは単に n−tuple の記号と思ってもよい。

3

連続した状態空間での合理的エージェントの行為を扱う論理モデルの試み

0t’の確率密度0.5 δ (0)

次時刻 t’
現在時刻.2
ee .3 φ 1
e
.5 φ
2

図3

x=0

φ は、各々「エージェント a が φ という信念/願望/意図をe持つ」を表す。X@τ φ の τ は確率密度関数を表す項であeる (X@τ φ の直感的な意味については 2·1 節に述べた)。
この他、∧ や ⊃ や ⇔ や ∃ を一般的な略記として導入
する∗4 。また、必要に応じて括弧で曖昧さを除去し、括x=1

弧がない場合の論理オペレータの結合順序は、単項オペ
レータ · ∧ · ∨ · ⊃ の順に先に結合するものとする (加えて、

x=2

TOMATOes の Xe オペレータをエミュレート∧ · ∨ は左結合、⊃ は右結合とする)。
不動点オペレータは、CTL*[Emerson 89] 相当の時相オペレータや、相互信念などを記述できるように導入さe略記とする。特に、n = 1 の場合はさらに X=p1 φ1 と略れているものである。本論文では相互信念などの概念は記する (「イベント e で 1 時刻遷移した後、φ が成り立

使わないので、CTL* の時相オペレータについてのみ簡単

つ確率は p 以上」を表す)。

に述べておく。いま、AX φ を X=1 φ の略記とすると、こ

e

e

e

e

また、X=p φ は X=p φ ∧ X=1−p ¬φ の略記とする。これは「イベント e で 1 時刻遷移した後、φ が成り立つ確率は p」を表す。

2·2 構

文

本節では C-TOMATOes の論理式の定義を与える。以下では、単に「論理式」と言えば C-TOMATOes の論理式を指すものとする。変数記号として、x や y などは一階述語論理での通常の変数記号として用い、X や Y など
は論理式を表現する変数記号として用いる。後者は以降「論理式変数記号」と呼称し、主として不動点オペレータ
使用時の変数記号として用いる (論理式変数記号に対す
る限量の構文はない)。
一階言語 L、論理式変数記号の集合 V 、イベント定数eれは「イベント e で 1 時刻後に遷移した先では常に (確率V
1 で) φ が成り立つ」を表す。さらに AX φ を e∈E (pos(e) ⊃ AXe φ) の略記とする (E を有限集合としているた
め、これは論理式として有限に記述できることに注意)と、これは「(可能なイベントによって遷移した) 次の時
刻には必ず φ が成り立つ」を表し、CTL* での AX φ に相当するものとなる。あとは、AX と不動点オペレータ
を用いることにより、時相論理として CTL* より強い表現力を得ることができる [Manolios 00, Dam 90]。例えば µX.(ψ ∨ φ ∧ AX X) を A(φ U ψ) と略記することにす
れば、これで CTL* の until オペレータ (「現在以後 ψ が成り立つまで φ が成り立つ」) と同じことが書ける。また、CTL* の AF φ (「現在以後いつかは φ が成り立つ」)
も同様の略記として書ける。

記号の集合 E 、および、エージェント定数記号の集合 Aを各 1 つずつ適当に選んで与えておく。ただし L には 2

2·3 意

引数の述語記号として等号 = を含むものとし、また E,§ 1 BDI ストラクチャ

A は有限集合、V は無限集合とする。
以下が C-TOMATOes の構文の定義である。
• 一階述語論理の原始論理式は (C-TOMATOes の) 論
理式

• φ, ψ が論理式ならば φ ∨ ψ, ¬φ も論理式
• φ が論理式、x が (L の) 変数記号ならば ∀xφ も論
理式• e ∈ E ならば pos(e) は論理式
• e ∈ E 、τ が 1 つ以上の自由変数を持つ L の項、φ がe論理式ならば X@τ φ も論理式。なおこの場合、τ のe
自由変数は、X@τ φ の中では構文上束縛されているものと見なす• φ が論理式、a ∈ A ならば BELa φ, DESIREa φ お
aよび INTEND φ も論理式
• X ∈ V ならば X は論理式
• φ が論理式、X ∈ V で、X が φ の中で ¬ の奇数段のネストの中に出現しないならば µX.φ は論理式。µ
は最小不動点オペレータ [Kozen 83] と呼ばれるもの
pos(e) は、直感的には「現時刻でイベント e が実行可能aaaである」を表す。また、BEL φ, DESIRE φ, INTEND

味論

以下のものを定めておく。

• 可能世界の集合 W (6= ∅)• W の各要素 w に対し、state の集合 St w (6= ∅)• W の各要素 w と St w の各要素 t ∈ St w に対し、一階言語の解釈 (変数割り当てを含む) iw,t 。すなわち、
領域 U 、および定数記号 · 述語記号 · 関数記号 · 変数記号の解釈の組。ただし、領域 U は全ての可能世界の全ての state に対して共通であること。また、= の
解釈は等号の性質を満たすこと (i.e. 任意の項 T1 , T2に対し、iw,t で T1 = T2 が真 iff iw,t での T1 と T2の解釈が同じ)。
• W の各要素 w と St w の各要素 t ∈ St w に対し、Eの空でない部分集合 pos w,t• W の各要素 w と E の各要素 e に対して、St w 上のeeserial な∗5 2 項関係 Rw
j St w × St w 、および Rw
か∗4 ⊃ が略記のため、例えば X ⊃ ψ の中で X は ¬ の 1 段のネストの中に出現することに注意。
∗5 集合 S 上の 2 項関係 R が serial であるとは、任意の s ∈ Sに対し、s R s0 となる s0 ∈ S が存在することをいう。また、Rが Euclidean であるとは、任意の s, s0 , s00 ∈ S に対し、s R s0
かつ s R s00 ならば s0 R s00 となることをいう。

4

JAWS2012 予稿集
e
ら [0, ∞] への関数 Fw。ただし、任意の t ∈ St w およRe
び任意の e ∈ E に対し、 s∈{t0 |t Re t0 } Fw(t, s)ds がw

定義でき∗6 、かつその値が 1 であること

S• A の各要素 a と w∈W St w の各要素 t に対し、集合 {w | t ∈ St w } 上の serial な 2 項関係 Bat , Dat , Iat
であって、以下を満たすもの:[i] w Bat w0 を満たす任意の w, w0 , w00 ∈ W に対し、R ∈ {Bat , Dat , Iat } のそれぞれについて w R
w00 iff w0 R w00 。特に、Bat は transitive かつ Euclidean であることになる[ii] w00 Bat w を満たす任意の w00 , w ∈ W に対し、
w のある subworld w0 ∈ W があって w00 Dat w0 。
また、Dat と Iat のペアについても同様の性質が成り立つことe1t
e1 e2 e2
e3 e3
w

B at
黒細矢印 =
1時刻経過

w4
e4
e
Dat ee4 e3 2 2t e3t

w の subworld の 1 つであることに注意)。
• St w = St 0w• 任意の t ∈ St w に対し iw,t = iw0 ,t• 任意の t ∈ St w に対し pos w,t k pos w0 ,t• 任意の t ∈ St w , w00 ∈ W に対し w Bat w00 iff w0 Bat
w00 。Dat , Iat についても同様
eeee• 任意の e ∈ E について Rw= Rw
0 , Fw = Fw 0
以上を組にしたものを、ここでは BDI ストラクチャと呼ぶ。大まかには、state は時相論理の「点時刻」に相当e
し、1 つの可能世界は時刻の木である。Rw
は可能世界 w0ee
内の時刻の前後関係、Fw (t, t ) は確率密度であり、t Rw
t0 および Fwe (t, t0 ) = f は、state t でイベント e を実行す
ると次の時刻が state t0 になる確率密度が f であることを表す。また、pos w,t は state t で実行可能なイベントの集合を表す。

w の subworld とは、w と比べて、各 state での実行可
能なイベントだけが制限され、それ以外は w と全く同じであるような世界である。この概念は、BDI モデルにおけるエージェントの合理性 (心的状態の整合性) を扱うために導入されたものである。本論文では詳細は略する。

Bat , Dat , Iat は時刻 t における可能世界間の可視関係で、
エージェント a の信念 · 願望 · 意図を表す。
図 4 に BDI ストラクチャの概略を示した (概略図のe
ため、Bat などを全て示したものではなく、Rw
や Bat のserial 性なども反映していない)。各 state、および各イベe
ント e 毎に、その state からの Rw
による時間経過 (状態遷移) が、図 2 と同様の確率分布をしている。state の円内に書かれているイベントはその state で可能なイベン
ト、状態遷移のエッジに付いているイベントはそのイベ
ントでの遷移であることを表す (その state で可能なイベントでの遷移のみ図示した)。w3 は w2 の、w2 は w1 の、

w5 は w4 の subworld である (w1 の subworld でない w4∗6 この積分の定義は、状態空間に適切に位相や測度を入れておき、そのもとで行うものとする。

e3
t e3
w5

Da

I at
I at

e1

e2 e3 e2t

e1 e2 e2et 3e3

ただし、ここで w0 が w の subworld であるとは、以下を満たすことと定義し、このとき w w w0 と書く (w 自身もSub worldte3

Sub world= state

e3

w2
w1

= 可能
世界

e3

w3
Sub world

図 4 BDI ストラクチャの概略が存在しても構わない)。

§ 2 論理式の解釈
以後、{(w, t) | w ∈ W, t ∈ St w } を Swt と書く。

BDI ストラクチャM 、および V から 2Swt への関数 fV
を 1 つ定めておく。
論理式 φ に対し、その解釈 [ φ]]hM,fV i を以下のように定める ([[φ]]hM,fV i j Swt である)。
• φ が原始論理式のとき、[ φ]]hM,fV i = {(w, t) | M での iw,t で φ が真}• [ φ ∨ ψ]]hM,fV i = [ φ]]hM,fV i ∪ [ ψ]]hM,fV i• [ ¬φ]]hM,fV i = Swt \ [ φ]]hM,fV i
T• [ ∀xφ]]hM,fV i = u∈U [ φ]]hM u ,fV i ここで、M u は Mの全ての state での x の解釈を u に変更して得られる BDI ストラクチャとする• [ pos(e)]]hM,fV i = {(w, t) | pos w,t 3 e}
• [ Xe@τ φ]]hM,fV i 3 (w, t) iffτ に出現する自由変数 x1 , · · · , xn の解釈の n-tuple
e 0
hv1 , · · · , vn i の集合を V 、{t0 | t Rw
t } = T とする
とき、T から V へのある写像 M があって、任意のv = hv1 , · · · , vn i ∈ V に対し、以下の 2 条件を満たす:
1 M (t0 ) = v なる任意の t0 ∈ T に対し [ φ]]hM v ,fV i 3
P
(w,t)
0
e
0
(w, t ) 2 t0 ∈T ,M (t0 )=v Fw (t, t ) = [ τ ] hM v ,fV i 。ただし M v は M の全ての state での x1 , · · · , xn の解釈
を v1 , · · · , vn に変更して得られる BDI ストラクチャ(w,t)とし、[ τ ] hM v ,fV i とは τ の hM v , fV i および (w, t)
での解釈とする• [ BELa φ]]hM,fV i = {(w, t) | w Bat w0 なる任意の世界
w0 に対して (w0 , t) ∈ [ φ]]hM,fV i }• [ DESIREa φ]]hM,fV i , [ INTENDa φ]]hM,fV i については同様

5連続した状態空間での合理的エージェントの行為を扱う論理モデルの試み

loc(0, 0) ⊃ Xe=1−exp(−0.8) (loc(x, y) ⊃• X ∈ V のとき、[ X]]hM,fV i = fV (X)(x − 1)2 + (y − 1)2 5 0.42 )また、以上の定義からは、論理式変数記号 X の自由な出現を持つ (持たなくても) 論理式 φ を、X の解釈を受け取って φ の解釈を返す関数 fφ : 2Swt → 2Swt と捉え直すことができる。そこで、• [ µX.φ]]hM,fV i は、fφ の最小不動点である(3)が成り立つこと、すなわち次の時刻に一定の確率 1 −. . 0.551) で点 (1, 1) から距離 0.4 以内に着くこと
e−0.8 (=も (意味論的議論により) 示せる。

と定義する。この場合、定義から fφ は単調関数となる
ので、最小不動点の存在は保証される [Tarski 55]。以上

3·2 行 為 の 決 定
次に、行為の決定に関する例を示す。正規分布では数で論理式の解釈の定義を終わる。

Xe@τ φ の解釈は、2·1 節の Xe@norm(x,µ,σ2 ) loc(x) の例で0

言えば、M が実数 x に loc(x) を満たす状態 t を対応さ値計算が煩雑になるので、(x1 , y1 ) に動こうとすると図 6のような確率分布で動く場合を考える。

せる写像、条件 1 は状態 M (x) で実際に loc(x) が成り

y1 + 2立つこと、条件 2 は t から M (x) へ遷移する確率密度がnorm(x, µ, σ 2 ) で与えられることを要請している。
[ φ]]hM,fV i は、φ の成り立つ世界と state のペア (w, t)の集合と見ることができる。[ φ]]hM,fV i 3 (w, t) であるとき、世界 w の state t で φ が成り立つという (紛れがなけ
れば、w, t を明示せず単に「φ が成り立つ」ということ
もある)。

3. 記

述

5%

5%

5%

5%

5%

10% 10%5%5%

10% 10%

5%

5%

5%

5%

y1 + 1y1
y1 − 1y1 − 2x1 − 2 x1 − 1

5%x1

x1 + 1 x1 + 2(各マス目の中では一様分布)例

図 6 平面上での移動先の簡略化された確率分布

本節では C-TOMATOes によるエージェントの振る舞いの記述例として、我々のテストベッドであるカヌーレーシ

いま、x 軸正方向に流れている図 7 のような川∗7 (斜線

ングを意識して、平面上での確率的な位置移動を考える。

部は岸、黒塗り部は岩) をエージェント a がボートで下っており、現在位置は (0, 0) とする。エージェントの行為

3·1 行 為 の 効 果
座標平面上の位置 (0, 0) にいるエージェントが、行為 e
を実行 (これをイベントと捉える) すると、(1, 1) に動こうとするが、実際に到達する位置の分布は、平均 (1, 1)、
共分散行列 0.1I (ただし I は 2 次元単位行列) の 2 次元正規分布に従うとする (図 5)。この正規分布の確率密度関は「左に漕ぐ」(e1 )、「漕がない」(e2 )、「右に漕ぐ」(e3 )の 3 つが選択可能で、それぞれ (4, 2), (4, 0), (4, −2) 地点に行こうとするが、実際にはその地点を中心とする図 6のような確率分布で移動する。例えば行為 e3 を取ると、
図 7 の網掛け部内に図 6 のような確率分布で到達する。
4

y

岸
岸

e1

(1,1)
エージェントe

距離0.4以内
確率0.551

a

0

岩
流れ

e2
e3

(0,0)
図 5 連続的な確率分布を持つ移動の例

1
数は 2π·0.1
exp

1− 2·0.1((x − 1)2 + (y − 1)2 )

4

なので、項

norm2d(x, y) がこの式に解釈されるよう固定しておけば、
loc(0, 0) ⊃ Xe@norm2d(x,y) loc(x, y)

2

0

4

8

x

図 7 平面上を移動するエージェント(2)
図 6 の分布の確率密度はでこの振る舞いを記述することができる (エージェントの
位置を 2 引数述語記号 loc で表現している)。また、エージェントがこの式に従って振る舞う場合、例えば∗7 わかりやすさのために格子は書いてあるが、グリッド状の離散な状態に区切られているわけではなく、エージェントの座標は実数値をとる。

6

JAWS2012 予稿集



0.1






P(x, y) =
0.05






 0

if x1 − 1 5 x 5 x1 + 1,
y1 − 1 5 y 5 y1 + 1
if 上記以外で x1 − 2 5 x 5 x1 + 2,
y1 − 2 5 y 5 y1 + 2
otherwiseと書けるので、項 P (x, y, x1 , y1 ) の解釈を上式の値に固定しておけば、エージェント a の行為とその結果は
1
loc(0, 0) ⊃ Xe@P
(x,y,4,2) loc(x, y) ∧e2
3
X@P (x,y,4,0) loc(x, y) ∧ Xe@P
(x,y,4,−2) loc(x, y)と書ける。本節では以後この式を φ と書き、a はこれをa

信念として持っている (BEL φ) ものとする。
ここで、さらに a が川の (岸の) 形や岩の位置 · 形を知って (信念として持って) いれば、a は 3 つの各行為で岸または岩にぶつかる確率 (e1 で 0.1、e2 で 0.025、e3 で 0.025)で表す) を取ろうとする (以後この記号を、does(eA ) の形
で「その行為を取る」を表す論理式としても用いる)。このことは、「A の十分近くに達している」を near A で表
すと、2·2 節で導入した AF オペレータを用いてINTENDa AF near A ⊃ does(eA )と書ける。

a が (x, y) にいるとき、行為 eA を取ると実際には地点(x + 1, y 0 ) へ動くものとする。ただし y 0 は、以下のように決まる y1 を中心に、正規分布 N (y 0 | y1 , 1) で分布す
る: y < −1 なら y1 = y + 1、y > 1 なら y1 = y − 1、いずれでもなければ y1 = 0。すなわち a は、y 座標を、Aの y 座標である 0 へ近づける方向へ最大 1 ほど動かそうとするが、実際の移動先は分散 1 の 1 次元正規分布に従う。また、x 軸方向には必ず 1 だけ動く。例えば a が (0,7) にいる場合、eA を行うと図中のような移動をする。

を知ることは可能である。すなわち、(「岸か岩にぶつかる」を命題 danger で表すと) 以下が成り立つ。
aa1
danger ∧BEL (φ ∧ loc(0, 0)) ⊃ BEL (Xe=0.1
e3
e2
X=0.025 danger ∧ X=0.025 danger)

a が、danger の確率を最も低くするよう振る舞うならば、このとき a は行為として e2 と e3 のどちらかをとる
ことを願望し、いずれか 1 つを選んで (ここでは e3 とする) それを意図として実行することになる。これは、BELa (φ ∧ loc(0, 0)) ⊃DESIREa (pos(e2 ) ∧ pos(e3 ))BELa (φ ∧ loc(0, 0)) ⊃ INTENDa (pos(e3 ))

10
y
7
5

...

N ( y | 6,1)
B...
エージェントa

0

A

G
C

5
10
0

1

2

3

4

x 5

図 8 プランを持って平面上を移動するエージェントの 2 式で書き表せる。実は図 4 はこの状況を示したものでもある。w1 は可能な行為に関する信念、その subworld
である w2 は danger の確率を最低にして次の地点に進もうという願望、さらにその subworld w3 は具体的にどれかの行為を選んで生成した意図を表す。このように C-

TOMATOes では、BDI モデルの枠内で、効果が連続的な確率分布をするような行為について議論できる。

3·3 プランの切り替え
本節では、連続的な確率分布を持つ遷移に関する知識を用いたプランの切り替えの例を述べる。話をさらに簡単にするため、行為の結果の移動先の分布は一次元とする。
図 8 上を移動するエージェント a がある。a は最初、
図の y 軸上 (x = 0) のどこかにいて、最終的には地点 Gを目指しており、そのためのプランとしては当初「地点

A の十分近くを経由して G へ行く」というものを持っているとする (「十分近く」とはここでは、図中の A を通る太線の範囲内、すなわち (5, −1) と (5, 1) の間を指すものとする)。すると、そのため当初 a は「いつかは A の十分近くに達する」という意図を持ち、そしてその意図を持っている限り、A に向けて x 軸方向に進む行為 (eA

以上をエージェント a が知っている場合、そのことは、

y < −1 ⊃ move target(y, y + 1)
y > 1 ⊃ move target(y, y − 1)
−1 5 y ∧ y 5 1 ⊃ move target(y, 0)で定義される中間述語 move target を使ってBELa (loc(x, y) ∧ move target(y, y1 )) ⊃A
0
BELa Xe@norm(y0 ,y ,1) loc(x + 1, y )1(4)と書ける (この式の記述には 2·1 節の norm を使った)。
しかし、x = 0, · · · , 4 の各段階では、それぞれ図の太線上 (おおむね (0, −10.20) ∼ (0, 10.20), (1, −8.36) ∼ (1,8.36), (2, −6.52) ∼ (2, 6.52), (3, −4.68) ∼ (3, 4.68), (4,−2.83) ∼ (4, 2.83) の範囲内) にいないと、eA によって 1
つ右の太線の範囲に行ける確率が 20% に満たない。特に、x = 4 の段階で太線内にいないと、near A を達成できる確率が 20% に満たない。このことは、式 (4) から
BELa (loc(4, y) ∧ ¬(−2.83 5 y ∧ y 5 2.83) ⊃A
Xe=.8(loc(5, y) ∧ ¬(−1 5 y ∧ y 5 1)))

(5)

7

連続した状態空間での合理的エージェントの行為を扱う論理モデルの試み(および他の x 座標の値と y 座標の範囲に関する同様の式) を (意味論的に) 導く形で示せる。
そこで、行動中に太線から外れたら、near A の達成はと表現できる (なおここでは、reward, st val は状態を引難しいと見てこれをあきらめることを考えよう。これは、数記号として扱う)。

数に取って即時報酬 · 状態価値を返す関数を表す関数記R号とした。また、 も通常の数学のそれを解釈に持つ関まず「太線を外れた」を表す runoff thickline を

ただし、C-TOMATOes はあくまで形式的な表現の枠

loc(5, y) ∧ ¬near A ⊃ runoff thicklineA
loc(x, y) ∧ x < 5 ∧ Xe=.8
runoff thickline ⊃runoff thickline

組みを提供するものであり、実際に強化学習を行うとしのように定義し、これを用いて until オペレータにより

INTENDa AF near A ⊃ A(INTENDa AF near A U(BELa near A ∨ BELa runoff thickline))と書ける。これは「A に近づこうという意図は、実際にA に近づいたと信じるか、あるいは太線から外れた (ため達成困難だ) と信じるまで持続する」を意味し、一種の single-minded コミットメント戦略 [Rao 97] を実現して、状態が無限にある場合に、各状態での行動と行動価値の対を、計算機の有限な記憶の上でどう扱うかなどの問題への対処は、C-TOMATOes で表現しただけでは行
えず、別途検討する必要がある。

4. 考

察

本節では、C-TOMATOes の現状での問題点などについて論じる。

4·1 有用性や記述力などの検討
現時点では、連続な空間でのエージェントのあるべきていることになる。
aa が意図 INTEND AF near A を失った後、まだ G に振る舞い自体に関する検討がまだ十分行えてはいないた

到達する目標を保持していれば、通常の BDI モデルの枠

め、C-TOMATOes の有用性も十分示せているとは言え組の下、適宜他の地点 B や C を経由して G に行く新たない。C-TOMATOes の記述力に関する検討なども含め、なプランを立てて行動を続けることになろう。

今後の課題として残されている。

3·4 強化学習との結合
我々は [新出 11b] にて、TOMATO(TOMATOes の前身) のもとで、数値演算の部分を nonlogical axiom として与えることによって、BDI と強化学習の結合をモデル

るのは状態空間に限られており、行為については連続な化し、獲得方策による行為の決定や学習過程、プラン内

が、実際には「r ほど左に漕ぐ」のような連続分布をとでの学習結果の利用などに関する推論を行う事例を与える行為を扱いたいという要求は自然なものであろう。た特に、現状の C-TOMATOes では、連続な分布が扱え
分布を扱えない (2·2 節でイベント記号の集合 E を有限集合としているため、行為は有限通りとなる)。例えば 3·2
節の例では e1 , e2 , e3 という離散な 3 つの行為を扱ったた。これを実世界へ拡張するには、行為による遷移先がだ、「左に漕ぐ」という行為と漕ぐ量 r を分離し、例えば連続分布する場合を扱える必要がある。その一例を示す。

「r ほど左に漕ぐと次の時刻の位置は平均 f (r)、分散 σ 2

上記事例の中では、強化学習の課題において、ある行
動 e によって状態 si (1 5 i 5 n、ここで n は既知で固定とする) へ遷移する確率 pi と、その遷移の際の即時報酬の正規分布をする」を
left
row amount(r) ⊃ Xrow
@norm(x,f (r),σ 2 ) loc(x)の推定値 ri 、および遷移後の各状態の状態価値の推定値と表現する (ここで row amount は漕ぐ量、row left は左vi から、e の行動価値 r を式 i=1 pi (ri + γvi ) (ここでγ は割引率) によって求める過程を、下記のような axiom
で表現した (現在位置 · 即時報酬 · 状態価値 · 行動価値を表す述語をそれぞれ at, reward, st val, act val とする)。

に漕ぐという行為を表すとする) ことは可能であるので、Pn

Xe (=p1 at(s1 ) ∧ reward(r1 ) ∧ st val(v1 ) | · · · |=pn at(sn ) ∧ reward(rn ) ∧ st val(vn )) ∧P

15i5n pi = 1 ∧P

15i5n pi (ri + γvi ) = r⊃ act val(e, r)

これはそう重大な制約ではないかもしれない。
また、時間についても、BDI logic のベースとなる時相
論理 CTL* が離散時間のため、現状では離散として扱っているが、これを連続にしようとすると論理モデルとしても根本的な変化になる他、応用面でも、強化学習と BDIの結合に用いているマルコフモデルを連続時間に変更する必要があるなど影響が大きく、今のところ難しいと考えられる。

TOMATO では遷移先の状態の連続分布は扱えなかったが、C-TOMATOes では、状態 x へ遷移する確率密度が p(x) だとすると、上記に相当することをR
Xe@p(x) at(x) ∧ x p(x)(reward(x) + γ · st val(x))dx = r⊃ act val(e, r)

4·2 推 論 シ ス テ ム
他の課題として、演繹体系や推論エンジンのようなものを作れるかというものがある。TOMATOes には我々がシーケント計算による演繹体系を提案したが [新出 11a]、

C-TOMATOes については確率分布に任意の関数が書け

8

JAWS2012 予稿集るため、演繹体系の構築は困難と考えられる。一方、3·4節で述べた TOMATO の事例では、Prolog を拡張した論理プログラミングシステムのような形で、BDI と強化学習の結合に関する推論を行う例を示しているが、C-

TOMATOes のもとでも、ある程度不完全でもよければ、数値演算などに関する十分な nonlogical axiom を与える
ことによって、同様の仕組みを実現し、例えば 3·1 節の式 (2) から (3) を、また 3·3 節の式 (4) から (5) 相当の式
を、意味論的議論によらずに導くようなことは可能かもしれない。また、そのようなものができるならば、論理型エージェント記述言語としての応用も期待しうる。

4·3 他の論理体系との比較
C-TOMATOes は、状態遷移の連続な確率分布を扱う論理であるため、可能世界の集合に位相や濃度を導入している。同様に、可能世界の集合に位相などの幾何学的概念を持ち込んでいる研究としては、Awodey ら [Awodey
08] のように、可能世界がなす位相空間上の開核演算を必然様相オペレータと捉えるものがあるが、こちらは世界の構造と様相オペレータの性質の関連を主な研究対象としたもので、C-TOMATOes とは目的が異なり、確率分布の記述などは扱っていない。
また、連続的な確率分布を扱う論理の試みとしては

Pfeifer らの SPL[Pfeifer 06a] があるが、これは真偽値に確率分布を導入したものであり、様相オペレータを持たないため、可能世界や状態遷移のような概念は扱えない。

C-TOMATOes と同様に分岐時相論理に確率分布を入れたものとしては、Shakarian らの APT[Shakarian 12] やKwiatkowska らの PTCTL[Kwiatkowska 02] など、主にモデル検査を念頭に置いた一連の研究があるが、これらはいずれも「φ が成り立てば 5 時刻以内に 50 ∼ 60% の確率で ψ が成り立つ」(APT での事例) のように、時間の経過 (パス) 上で特定の事象が起こる確率を記述するものであり、C-TOMATOes のように状態遷移先が確率分布するような事例を扱うものではない。一方これらは、時間のパス上での確率記述を扱えたり、また連続時間マル
コフ過程を扱えるものがある [Aziz 96] など、現状の C-

TOMATOes にない能力を持っており、それらとの比較も今後の課題の 1 つである。ただし、3·4 節で述べた強化
学習との結合の事例などでは、連続的な状態分布に対する価値推定のようなことを行う必要があり、そうした応用には C-TOMATOes の方が向いていると考えられる。

5. ま

と

め

本論文では、状態遷移の確率密度を記述できるように

BDI logic を拡張した論理体系 C-TOMATOes を提案し、またこれを用いて、連続的な確率分布を持つ状態空間を遷移するエージェントの振る舞いを、BDI の枠組みの下で形式化した例を示した。今後は、4 章で述べた諸問題に関する検討を順次進めていくことが課題である。

♦ 参 考 文 献 ♦[Awodey 08] Awodey, S. and Kishida, K.: Topology and Modality:
The Topological Interpretation of First-Order Modal Logic, Review
of Symbolic Logic, Vol. 1, No. 02 (Special issue), pp. 146–166 (2008)[Aziz 96] Aziz, A., Sanwal, K., Singhal, V., and Brayton, R.: Verifying Continuous Time Markov Chains, in Proc. of Conference on
Computer-Aided Verification, pp. 269–276 (1996)[Dam 90] Dam, M.: Translating CTL into the modal µ-calculus,
Technical Report ECS-LFCS-90-123, Laboratory for Foundations ofComputer Science, Department of Computer Science, University of
Edinburgh (1990)[Emerson 89] Emerson, E. A. and Srinivasan, J.: Branching Time
Temporal Logic, in de Bakker, J. W., de Roever, W. P., and Rozenberg, G. eds., Linear Time, Branching Time and Partial Order in
Logics and Models for Concurrency, pp. 123–172, Springer-Verlag(1989)[Kozen 83] Kozen, D.: Results on the propositional µ-calculus, Theoretical Computer Science, Vol. 27, pp. 333–354 (1983)[Kwiatkowska 02] Kwiatkowska, M., Norman, G., Segala, R., andSproston, J.: Automatic Verification of Real-time Systems with Discrete Probability Distributions, Theoretical Computer Science, Vol.
282, No. 1, pp. 101–150 (2002)[Manolios 00] Manolios, P.: Mu-Calculus Model-Checking, in
Computer-Aided reasoning: ACL2 case studies, pp. 93–111, Kluwer
Academic Publishers (2000)[Pfeifer 06a] Pfeifer, N. and Kleiter, G. D.: Towards a probability
logic based on statistical reasoning, in Proceedings of the 11th International Conference on Information Processing and Managementof Uncertainty in Knowledge-Based Systems, pp. 2308–2315 (2006)[Pfeifer 06b] Pfeifer, R. and Bongard, J. C.: How the Body Shapes the
Way We Think: A New View of Intelligence, The MIT Press (2006),(細田耕, 石黒章夫 (訳). 知能の原理 —身体性に基づく構成論的アプローチ—, 共立出版, 2010)[Rao 97] Rao, A. S. and Georgeff, M. P.: Modeling Rational Agentswithin a BDI-Architecture, in Huhns, M. N. and Singh, M. P. eds.,
Readings in Agents, pp. 317–328, Morgan Kaufmann, San Francisco(1997)[Shakarian 12] Shakarian, P., Simari, G. I., and Subrahmanian, V. S.:
Annotated Probabilistic Temporal Logic: Approximate Fixpoint Implementation, ACM Transactions on Computational Logic, Vol. 13,
No. 2, pp. 13:1–13:33 (2012)[Tarski 55] Tarski, A.: A Lattice-Theoretical Fixpoint Theorem andits Application, Pacific Journal of Mathematics, Vol. 5, pp. 285–309(1955)[Weisstein] Weisstein, E. W.: Delta Function, http://mathworld.
wolfram.com/DeltaFunction.html: A Wolfram Web Resource[高田 10] 高田 司郎, 新出 尚之：方策から生成したプランライブ
ラリを用いる BDI エージェント, in Proc. of JAWS2010 (2010),
T-3.pdf[高田 11] 高田 司郎, 新出 尚之, 藤田 恵：拡張 BDI 論理 TOMATOes
を用いた強化学習のモデル化について, 人工知能学会論文誌,
Vol. 26, No. 1, pp. 156–165 (2011)[高田 12] 高田 司郎, 新出 尚之：行為のアトラクター状態を考慮した知能ロボットについて, in Proc. of JAWS2012 (2012), 69.pdf[新出 10] 新出 尚之, 高田 司郎, 片山 寛子：方策から獲得したサブプランの汎用化について, in Proc. of JAWS2010 (2010), T-4.pdf[新出 11a] 新 出 尚 之, 高 田 司 郎, 藤 田 恵：拡 張 BDI 論 理
TOMATOes による協調行為のモデル化と応用, 人工知能学会
論文誌, Vol. 26, No. 1, pp. 13–24 (2011)[新出 11b] 新出 尚之, 高田 司郎, 藤田 恵：拡張 BDI 論理 TOMATOを用いた確率的状態遷移のモデル化とその応用, 情報処理学会論文誌 数理モデル化と応用, Vol. 4, No. 3, pp. 59–72 (2011)[藤田 12a] 藤田 恵：BDI モデルに基づく自律エージェントの行動
決定アルゴリズムの拡張および応用, 博士論文, 奈良女子大学大
学院人間文化研究科 (2012)[藤田 12b] 藤田 恵, 片山 寛子, 新出 尚之, 高田 司郎：実世界の多様性に適応した BDI ロボットについて, 情報処理学会論文誌 数
理モデル化と応用, Vol. 5, No. 1, pp. 50–64 (2012)