情報処理学会第 84 回全国大会

4M-08

深層強化学習による機会損失を考慮した金融取引戦略の構築
穴田 一‡

井上 修一†

東京都市大学 情報工学部‡

東京都市大学 総合理工学研究科†

1.

2.

はじめに近年，機械学習を用いた金融取引の研究が精力的に行われている．その中には，2016 年に囲碁のプロを打ち負かした AlphaGo
で話題になった深層強化学習を用いて金融取引戦略を構築する研究が存在する．これらの研究では，金融商品の売買数や複利計算を考慮したものなど様々なアプローチがなされているが，安定的な利益を上げられていない．これは，機会損失を考慮した適切な報酬が設定されていないからだと考えられる．そこで，本研究では各行動に対する機会損失を深層強化学習での報酬に組み込み，株式投資において利益を上げるための最適な買いや売りのタイミングを学習するモデルを構築し，その有効性を示す．

3. 提案手法
3.1. 状態変数
本研究では以下の 4 種類計 6 つの状態変数を使用した．
・所持金（初期保有量:100,000＄）
・総資産・株価の増減率（前日比）
・株価移動平均（5 日，25 日，75 日）
急激な上昇や下落に対応するため，株価の前日比を状態変数として設定した．また，短期から中長期における株価の傾向をエージェントに与えるために，株価の 5 日，25日，75 日移動平均を使用した．移動平均とは代表的なテクニカルチャートのひとつで、価格のトレンドから，相場の方向性を見る手掛かりをつかむために使用される．扱う
株価は銘柄の 1 日の終値ベースとした．

深層強化学習強化学習とはエージェントが試行錯誤を通して目的を達成する方法論である．エー
ジェントは行動を起こし，環境から報酬と3.2. 行動次の状態を受け取る．これを繰り返し行い，エージェントは「買い」，「売り」，エージェントは報酬を最大化する最適な行「何もしない」の 3 種類の行動から 1 日 1動系列を得るための方策を学習する．深層回 1 つ行動を終値で選択する．「買い」で強化学習の 1 つである Deep Q Network（以は 100 株をその日の終値で購入する．「売下，DQN と略す）は，強化学習のアルゴリズ
り」はそれまでに保持してきた株をすべてムである Q 学習における行動価値関数 Q に対売却する．
してニューラルネットワークを関数近似器として利用したものである．本研究の学習
3.3. 報酬の際にはエージェントが株式市場から状態𝑆𝑡取引最終日にまとめて報酬を与えると報を受け取りニューラルネットワークが出力酬を受け取るまでの時間が長くなり，学習する行動価値𝑄(𝑠, 𝑡)から最も高い行動𝑎𝑡 を行が進まなくなることを考慮し，先行研究でう．そして株式市場から報酬𝑟𝑡 と次の状態は「売り」行動のみに報酬を与えていた．
𝑆𝑡+1 を受け取り，過去の経験(𝑆𝑡 , 𝑎𝑡 , 𝑟𝑡 , 𝑆𝑡+1 )本研究ではエージェントの選択した「買を replay Memory に保存しランダムに取り出い」，「売り」の 2 つの行動が，その時点しミニバッチ学習を行う．
での最適な行動であるかを評価するために，𝑡日目の報酬𝑅𝒕 を以下のように示す．

Creating a financial transaction strategy with consideration tothe opportunity loss using deep reinforcement learning.
† Shuichi Inoue † Graduate School of Integrative Science andEngineering, Tokyo City University‡ Hajime Anada ‡ Faculty of Information Technology, TokyoCity University

1-399

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 84 回全国大会

適切に行動することが確認できた．「売り」行動については学習期間においては株価が高いときに売れているが，テスト期間では高くなる直前で売ってしまうことや，連続して売り行動を選択してしまうことがみられた．また 2016 年の 4 月～5 月にかけての急速な株価の下落の途中に売りを行っていることが分かった．このことから，急速な下落において損切をすることで大幅な資産減少のリスクを回避するような行動をとることが確認できた．

𝑷𝒔𝒆𝒍𝒍 − 𝑷𝒃𝒖𝒚() 𝑺𝒂𝒍𝒍 + 𝜶𝒕 𝒊𝒇 𝒂𝒕 𝒊𝒔 𝒔𝒆𝒍𝒍
𝑷𝒃𝒖𝒚
𝑹𝒕 =
𝜷𝒕𝒊𝒇 𝒂𝒕 𝒊𝒔 𝒃𝒖𝒚
𝟎𝒊𝒇
𝒂𝒕 𝒊𝒔 𝒉𝒐𝒍𝒅{

ここで， 𝑃𝑠𝑒𝑙𝑙 は売却時株価を，𝑃𝑏𝑢𝑦 は購入時株価を，𝑆𝑎𝑙𝑙 は売却株数を，𝑎𝑡 は t 日目の行動を表す．𝛼𝑡 ，𝛽𝑡 はそれぞれ「売り」と「買い」を選んだことにより発生する機会損失を考慮した適正度を表す項であり，以下のように表される．
𝜶𝒕 =(𝑷𝒔𝒆𝒍𝒍 − 𝒎𝒂𝒙(𝒑𝒓𝒊𝒄𝒆_𝒍𝒊𝒔𝒕)) + (𝑷𝒔𝒆𝒍𝒍 − 𝒎𝒊𝒏(𝒑𝒓𝒊𝒄𝒆_𝒍𝒊𝒔𝒕))
𝑷𝒔𝒆𝒍𝒍

𝜷𝒕 =

(𝒎𝒂𝒙(𝒑𝒓𝒊𝒄𝒆_𝒍𝒊𝒔𝒕) − 𝑷𝒃𝒖𝒚 ) + (𝒎𝒊𝒏(𝒑𝒓𝒊𝒄𝒆_𝒍𝒊𝒔𝒕) − 𝑷𝒃𝒖𝒚 )
𝑷𝒃𝒖𝒚

6.

ここで，𝑝𝑟𝑖𝑐𝑒_𝑙𝑖𝑠𝑡は最初の購入から売却を行うまでの日ごとの終値が格納されるリス
トで，𝑚𝑎𝑥(𝑝𝑟𝑖𝑐𝑒_𝑙𝑖𝑠𝑡)，𝑚𝑖𝑛(𝑝𝑟𝑖𝑐𝑒_𝑙𝑖𝑠𝑡)はそれぞれ𝑝𝑟𝑖𝑐𝑒_𝑙𝑖𝑠𝑡の最大値，最小値を表す．
この𝑝𝑟𝑖𝑐𝑒_𝑙𝑖𝑠𝑡に登録された過去の情報を参照することで，「もっと安く買えた」「もっと高く売れた」といった機会損失を表現している．

今後の展望
本研究では機会損失を考慮した深層強化
学習による金融取引戦略を構築し，実際の株式銘柄に対して売買実験を行い，その有効性を示した．「買い」と「売り」の報酬に機会損失を組み込んだことで，より安く買い，高く売ることをエージェントに学習させることができた．今後は，さらに資産を増やすため，高値の時に「買い」行動を選択するための報酬設計や，「何もしない」行動についても何らかの報酬を与えること，多数の状態変数を扱える深層強化学習の特徴を活かすため，出来高やボリンジャーバンドなど新たな状態変数の導入の検討する必要があると考えている．また，様々な株価時系列に提案手法が対応することを確認するために，複数の銘柄に対しても実験を行い汎用性の高い金融取引戦略の構築を行っていきたい．

実験結果
提案手法の有効性を確認するため，実際の株式データを利用した実験を行った．対象は NASDAQ 市場の銘柄であるアメリカン航空グループとし，2014 年 1 月～2015 年 12月の 2 年間を学習期間，2016 年 1 月～2017
参考文献
年 12 月の 2 年間をテスト期間とした．ニュ[1] Sutton,R.S.,
ーラルネットワークのパラメータはそれぞ
Barto,A.G.:Reinforcement
Learning,
れバッチサイズ 20，メモリーサイズ 200，隠MIT
press,(1998)
れ層 3，隠れニューロン数 100，最適化手法[2] Jinho Lee, Raehyun Kim, Yookyung Koh,には Adam optimizer，活性化関数には ReLU
Jaewoo Kang. :Global Stock Market
関数と softMax 関数を用いた．学習期間とテPrediction Based on Stock Chart Images
スト期間の最終資産と利益率を表１に示す．
Using Deep Q-Network, IEEEAccess(Volume：7),pp.16726–167277
表１ 学習期間とテスト期間の最終資産と利益率(2019)
最終資産(＄)
利益率(%)[3]
和田裕貴, 長尾智晴. :深層強化学習による
17532075.32
学習期間
株式売買戦略の構築, 情報処理学会第 79 回
13521035.21
テスト期間
全 国 大 会 , Vol.2017, No.1, pp.345-346(2017)
表１より，テスト期間において約 35%の利益を[4] 近藤巧麻，松井藤五郎．:複雑な環境におけ生みだしていることがわかる．
る複利型深層強化学習を用いた金融取引戦
5. 考察
略，人工知能学会全国大会(第 34 回) (2020)
行動時系列を確認すると，「買い」行動について学習期間，テスト期間それぞれで4.

1-400

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.