The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3E3-01

人工市場における為替介入政策の獲得と効果の分析
Acquisition and Analysis of Foreign Exchange Interventions with an Artificial Market∗1

松井 宏樹∗1∗2

和泉 潔∗2東条 敏∗1

Hiroki Matsui

Kiyoshi Izumi

Satoshi Tojo

北陸先端科学技術大学院大学情報科学研究科

School of Information Science, Japan Advanced Institute of Science and Technology∗2

産業技術総合研究所情報技術研究部門

Information Technology Research Institute, National Institute of Advanced Industrial Science and Technology

We propose a multi-agent system which learns intervention policies and evaluates the effect of interventions in
an artificial foreign exchange market. We introduce an intervention agent that has the role of the central bankto stabilize the market. We could show that the agent learned the effective intervention policies through thereinforcement learning, and that the exchange rate converged to a certain extent in the expected range. We could
also estimate the amount of intervention, showing the efficacy of signaling.

1.

表 1 予想材料

はじめに

k
1
2
3
4
5
6
78
910
11
1213
141516

もとになる生データ[米][日] GDP etc.
[米][日] 消費者物価指数 etc.
[米][日] 公定歩合，長期金利[米][日] マネーサプライ[米][日] 貿易収支
[米] 失業率 etc.
[米] 小売売上，個人所得[米][日] 介入[米][日] 中銀総裁の発言 etc.
ドル/マルク，円/マルク
石油価格
政情，国際的な事件[米][日] 株価[米][日] 債券価格
先週の変動値 (∆R(t − 1))
変動の変動値(∆R(t − 1) − ∆R(t − 2))
17
長期トレンド5 週間の変動(R(t − 1) − R(t − 6))
R(t): 期間 t の為替レート（対数）∆R(t) = R(t) − R(t − 1)

「相場は生き物」という言葉を引用するまでもなく為替レートを意のままに操作できると考える人はいないだろう．これは一般の市場参加者よりも大きな力を持つ政府にとっても同様である．近年，日本政府は大規模な米ドル買い介入を行ってきた [財務 05]．しかし，これによって常に為替レートが円安の状態で安定していたわけではない．本研究の目的は，人工市場モデルを用いて為替介入が為替レートに影響を与えるメカニズ
ムと介入によってどの程度，為替レートを操作できるのかを明らかにすることである．

2.

人工市場モデル

本研究では和泉らの作成した AGEDASI TOF∗1 [和泉 00]
を基にした人工外国為替市場モデルを用いている．本モデル
は，円とドル資産を持ちその取引で利益をあげようとする為替ディーラーを模した 100 人のエージェントからなるマルチエージェントモデルである．
レート決定が一回行われる一期間（現実の一週間に対応）は，次の 5 つのステップが実行される（図 1）．
知覚ステップでは，表 1 の 17 種類の為替レートの変動要因
xk (t) を知覚する．各 xk (t) は，期間 t の直前の変動要因 k の変化を表した値である．本モデルでは，変動要因の入力データとして東京外国為替市場のデータを用いている．
予想形成ステップで，各エージェント i は知覚した各変動要
因 xk (t) に対する独自の重みづけ wik (t) を用いて，レートがどれだけ変化するかを予測する．各エージェントの予測レート変動値は，各予想材料とその予想材料に対する重みづけの積の和として定義される．

学習

知覚

予想形成

予想材料 xk (t)
景気物価金利
マネーサプライ
貿易収支
雇用
個人消費
介入
要人発言
マルク
石油政治株
債券
短期トレンド 1
短期トレンド 2

Ei [∆R(t)] ≡ α

戦略決定エージェント1
ファンダメンタルズ材料

知覚予想形成エージェント2

知覚

予想形成

戦略決定

x!
(t)wik (t)

(1)

k=1

レート

戦略決定

Ã 17
X kR(t):E[∆R(t)]:ixk (t):
wik (t):

レート決定エージェントN
トレンド材料

外国為替市場図 1 本研究の人工市場モデルのフレームワーク

期間 t の為替レート（対数）エージェント i の ∆R(t) 予測値 
期間 t の予想材料 k の値エージェント i の予想材料 k に 
対する重みづけ（±3, ±1, ±0.5, ±0.1, 0 の 9 段階）
α: スケール係数

戦略決定ステップでは，各エージェントが各自の予想に基づき期待収益を最大にする最適ドル資産保有高を計算し，ドルの売買注文量を決定する．

連絡先: 松井宏樹: hmatui@jaist.ac.jp，
和泉潔: kiyoshi@ni.aist.go.jp，東条敏: tojo@jaist.ac.jp∗1 A GEnetic-algorithmic Double Auction SImulation in
TOkyo Foreign exchange market

1The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
Profit Sharing は強化学習の 1 種で報酬の得られたエピソー
ド∗3 上のルールに対する重みづけを強化していく方法である．
1 つのルールは状態 S とその状態で選択される行動 a の組で表される．
状態 S，行動 a の定義，およびルール (S, a) に対する重みづけ W (S, a) を変化させる方法を以下に示す．
状態 状態 S を，現実の中央銀行が介入の際に考慮する市場状態として以下のように定義する．

各エージェントが売買注文を行った後，レート決定ステッ
プでは，全注文を集計し需要と供給が均衡するような値にモデルの今期のレートを決定する．
学習ステップでは，レート決定後，レート予測に失敗したエージェントが予測に成功したエージェントの予測方法（重みづけ wik (t) の列）を用いて予測方法を修正する．
本モデルによるシミュレーションは，実験対象であるテスト期間とエージェントのトレーニングを行うトレーニング期間から成る．テスト期間の前の数年間をトレーニング期間とし，現実のレートとレート予想材料のデータを用いて変動要因に対する重みづけをランダムに設定されたエージェントのトレーニングを行う．トレーニング期間ではレート決定ステップにおいてレート決定を行わず，現実のレートを系のレートとして用いる．トレーニング終了後，現実のレート予想材料のデータを用いてテスト期間のシミュレーションを行う．テスト期間では現実のレートデータは用いず，各エージェントの売買行動によって決定する．
（本モデルの詳細は，[松井 05] を参照）

3.

¡(2)

ここで Ē は他のエージェントの平均予測レート，σE はその標準偏差を表す．w̄8 ，σw8 は全ディーラーエージェントの介入に対する重みづけの平均と標準偏差である．また，x15 は短期トレンド，R は現在の為替レートである．これらの値はそれぞれ 5〜11 段階の離散的な値とした．本研究では，よりレートの変動に対応するために R の状態数を [松井 05] よりも細かくした．
行動 行動 a は正規化した介入量である．

介入エージェントa≡

本研究では，政府・中央銀行に相当する介入エージェントを人工市場モデルに導入する．外国為替市場において介入が為替レートに及ぼす効果については 2 種類あると言われている．
介入が通貨の需給に影響しレートが変化するポートフォリオ・バランス効果と市場参加者が介入から政府の意図を読み取り，それに基づいて予測を変化させることでレートが変化するシグナル効果である．近年の介入においてはシグナル効果の重要性が指摘されており，ポートフォリオ・バランス効果はシグナル効果と比べるとかなり小さいという事例も報告されている [Dominguez 93, Ramaswamy 00]．本研究ではシグナル効果に注目し，介入が他のエージェントに知覚される場合と知覚されない場合を比較することでシグナル効果の大きさを検証する．また，政府といえども各ディーラーの予測や注文量といった情報を知ることはできない．これらの情報を得られれば当然，より正確にレートを操作ができると考えられる．では現実の政府の知覚に基づいた介入でどの程度レートを操作できるだ
ろうか．本研究では介入エージェントに強化学習を用いて有効な介入政策を学習させることで，この点を検証する．
介入エージェントは以下の点で一般の市場参加者であるディー
ラーエージェントと異なる．

3q
Q

(3)

a は 7 段階の離散的な値（±3, ±2, ±1, 0）をとる．q が実際の介入量であり，介入エージェントの注文量となる．Q は最大介入量で，注文レートは常に目標範囲の中央値とした．また介入を行うことを市場に知らせる（シグナリング）場合は，行動 aの値がそのまま x8 としてディーラーエージェントに知覚される．シグナリングを行わない場合は，x8 は常に 0 となる．行
動選択の方法としては，各ルールの重みづけ W (S, a) によるルーレット選択と温度 τ = 1 のボルツマン選択の 2 種類を採用しその比較を行った．
報酬 ルールの重みづけ W (S, a) は，以下の 4 つの方法で変化する．
試行全体の評価 テスト期間内のレートが常に目標範囲に入っていたら，エピソード上すべてのルールの重みづけを一様に r ずつ増加させる．
各週の評価 各週 t のレートの評価

1. レートが目標範囲の中央値に近づいたら，重みづけを r/2増加させる．

目的： 為替レートを目標範囲内に安定させることを目的とす
る∗2 ．

2. レートが目標範囲から外れたら，重みづけを r/2 減少させる．

各ステップでの行動：

3.1¢

S ≡ Ē, σE , w̄8 , σw8 , x15 , R ,• 戦略決定ステップでは，介入量を決定する．介入を行うことを市場に知らせる（シグナリング）場合は，介入エージェントの行動が予想材料の介入 x8 (t) として知覚される．

3. 介入したにもかかわらず取引できなかった場合，すなわちドル買い（売り）介入を行おうとしたが，決定したレートは目標レートよりも高（安）かった場合には，介入行動が市場の需給に全く影響しない．よって，このような場合はその週のルールの重みづけを r/2 減少させる．

• 学習ステップでは，介入エージェントは強化学習を用いて有効な介入政策を学習する．

本研究では，報酬 r を各ルールの初期重みの 1/10 とした．

強化学習による介入政策の獲得

4.

介入エージェントを用いた実験

介入エージェントは強化学習の一種である Profit Sharing [Grefenstette 88] に基づいた学習方法を用いて，レートの安定に有効な介入政策の獲得を試みる．

本章では，提案した介入エージェントを用いて行った介入の効果を評価する実験について報告する．

∗2 他のエージェントと異なり，取引により利得が得られるかどうかとは無関係である．

∗3 エピソードとは選択されたルールの列である．

2

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
表 2 介入量とシグナリング

150

actual ratestabilized simulation path140

(30q¯a , yes)
(10q¯a , yes)(q¯a , yes)
(30q¯a , no)(10q¯a , no)(q¯a , no)

130

rate

120110q¯a :100

最大介入量 Q
30 q¯a10 q¯aq¯a
30 q¯a10 q¯aq¯a

シグナリング
行う
行う
行う
行わない
行わない
行わない

介入エージェントが存在しないシミュレーション
でのディーラーエージェントの平均注文量

9080
1996/159

1997/159

1998/159

表 3 各介入タイプに対するレート安定率

1999/1date

ランダム

図 2 実験対象期間の現実のレートと安定パス(30q¯a , yes)
(10q¯a , yes)(q¯a , yes)
(30q¯a , no)(10q¯a , no)(q¯a , no)

1試行
rate
現実のレート48.36 %
34.85 %
20.63 %
45.71 %
29.20 %
17.36 %

強化学習
ルーレット
ボルツマン
67.10 %
73.70 %
49.40 %
56.55 %
35.45 %
45.90 %
56.40 %
60.50 %
41.75 %
45.75 %
31.50 %
37.50 %

全知覚

98.65 %
90.83 %
78.64 %
93.78 %
80.80 %
49.46 %の実験を行った．
シミュレーションパス
1996

1997

トレーニング期間
ディーラー
エージェント重みづけをランダムに初期化

介入
エージェント

前試行の学習結果を保持

1998

テスト期間

評価方法 テスト期間のレートが常に介入エージェントの目標範囲に入っているシミュレーションパス（図 2），すなわ
ち介入が成功したシミュレーションパスを安定パスと呼ぶ．本研究は，シミュレーション回数に占める安定パスの割合（レートの安定率）で評価を行った．

t

20回
GAによる学習（何も行わない）

GAによる学習（学習を行う場合のみ）
強化学習による学習

4.2
実際の実験では [ ] 内の過程を保存した初期状態を用いることで省略している．

4.1

実験結果

実験結果を表 3 に示す．本研究では学習により獲得した介入政策の有効性の検証のためにランダム介入エージェントと全知覚介入エージェントによる結果と比較した．ランダム介入
エージェントは式 3 の 7 種類の介入行動をランダムに選択する∗5 エージェントである．一方，全知覚介入エージェントは全ディーラーエージェントの行動を知覚しその期間において 7 種類の介入行動のうち最適な介入行動を選択できるエージェントである．
以下に結果の考察を行う．介入のパラメータ設定のうち，介入量がより大きくシグナリングを行う方がよりレートが安定した．介入量が大きいほど効果が大きいのは，単純に影響力が増すからだと考えられる．一方，シグナリングを行うことで大きく安定率を上げることに成功している．これはシグナル効果の影響が大きいことを示している．本研究の対象期間である
1998 年では全初期状態中のほとんどのエージェントが介入に対して正の重みづけをしていた．このような市場ではシグナル効果が大きく，また何度もレートがシグナルと異なる変化をするといったことがない限りディーラーエージェント間で介入に対する重みづけが変更されにくい．そのため，シグナリングによってレートを操作しやすい状況だといえる．
次に強化学習介入エージェントとランダム，全知覚介入エー
ジェントを比較すると強化学習による安定率はランダムより高図 3 介入エージェントを用いたシミュレーション

実験の設定と方法

1998 年 10 月，ドル–円レートは 1 週間で 20 円も下落した（図 2）．この 1998 年をテスト期間として実験を行う．まず，
1996 年 1 月から 1997 年 12 月の 2 年間をトレーニング期間として現実のレートとレート予想材料のデータを用いてディーラーエージェントのトレーニングを行う．予想材料の重みづけがランダムな状態のディーラーエージェントに対しトレーニン
グ期間を 20 回繰り返すトレーニングを 100 組行い，それぞれを 1998 年直前のディーラーエージェントの初期状態として保存した．その後，テスト期間である 1998 年のシミュレーショ
ンを 200,000 試行繰り返した．各試行のテスト期間開始時にはあらかじめ作成した 100 組のディーラーエージェントの初期状態のデータを順に用いた．介入エージェントの各ルールに対する重みづけ W (S, a) は，保持したまま次のシミュレーションを行う．この実験の 1 試行の内容を 3 に示した．
レートの目標範囲 単純化のために介入エージェントのレートの目標範囲は t によらず， 常に 130.39 ± 10 円とした∗4 ．

∗5 注文レートが一定ではないランダムな売買と異なることに注意が必要である．ランダム介入では注文レートが目標範囲の中央値で固定されており，レートが注文レートより高い（安い）場合，ドル買い（売り）取引は行わないため介入行動の選択がランダムであってもある程度の効果が期待できる．

最大介入量 Q とシグナリング 介入量の大小およびシグナリングの有無による介入の効果を比較するために 2 の設定∗4 テスト期間直前の 1997 年最終週のレートが 130.39 円であることによる．

3

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
いものの，全知覚よりはかなり低い．これは不完全知覚問題，同時学習問題に起因すると考えられる．しかし，本研究の結果は以前の結果 [松井 05] で示したものよりも高い安定率が得られている．これは状態表現中のレートに関する状態をより細かくしたためだと考えられる．
また，行動選択についてはボルツマン選択の方がルーレット選択よりも全体的に効果的な介入政策を学習できている．低温度のボルツマン選択は，ルーレット選択に比べ greedy に行動を選択する．この特性が，介入の効果があがりやすい市場の状況と伴い同時学習問題を抑えているのではないかと考えられる．しかし，この点についてはより詳細な分析が必要である．

5.

おわりに

本研究では人工市場モデルを提案し，そこに介入エージェン
トを組み込むことで介入効果の分析，また強化学習により自動的に有効な介入政策を獲得するシステムを作成し，このシステムを用いて為替介入におけるシグナル効果を検証した．
本研究では実験を通して以下のことを示した．

• 介入の際のシグナリングは有効である．
• 不完全知覚問題と同時学習問題が学習を困難にしている．
• 行動をより greedy に選択することで学習の効率を上げることができる．
しかし，以上のことは市場の状況に依存している可能性があり異なる市場状況での検証が必要である．行動選択についてはその行動の選択方法が同時学習問題を抑えている可能性を考慮し，ディーラーエージェントの重みづけの変化に与える影響を分析する必要がある．これらが本研究の今後の課題である．

謝辞
本研究は，平成 16 年度文部科学省科学研究費補助金・基盤
研究 (B)(2) （課題番号 16300047）の助成を受け行ったものである．

参考文献[Dominguez 93] Dominguez, K. M. and Frankel, J. A.:
Does Foreign Exchange Intervention Work?, Institute forInternational Economics, Washington, DC (1993)[Grefenstette 88] Grefenstette, J. J.: Credit Assignment inRule Discovery Systems Based on Genetic Algorithms,
Machine Learning, Vol. 3, pp. 225–245 (1988)[和泉 00] 和泉 潔, 植田 一博：人工市場アプローチによる為替シナリオの分析, コンピュータソフトウェア, Vol. 17, No. 5,pp. 47–54 (2000)[松井 05] 松井 宏樹, 東条 敏：人工市場アプローチによる介入
エージェントを用いた為替介入効果の分析, 人工知能学会論文誌, Vol. 20, pp. 36–45 (2005)[Ramaswamy 00] Ramaswamy, R. and Samiei, H.: The
Yen-Dollar Rate : Have Interventions Mattered?, IMF
Working Paper (2000)[財務 05] 財務省：外国為替平衡操作の実施状況 (2001–2005),
http://www.mof.go.jp/1c021.htm

4