～アルゴリズム取引・教養編～　エド・ソープから学ぶケリー基準

## モチベーション

どうも、ご無沙汰しております。最近も相変わらず投資戦略について研究しています。さて、今回は、投資戦略と言っても、大まかに二つのアプローチがあり、一つは収益機会を見つける（予測または裁定機会を探す等）、もう一つは、賭け方です。
予測に関しては、色々なアプローチがありますが、正直何が正解であるかは神のみぞ知るみたいな世界ではあります。裁定機会に関しては、その機会を見つけられても実際に取れるのかという様々な技術的な問題が生じます。
そこで、そういった収益機会を見つけて取れるとしたら、どれくらい賭ければ良いのかについて考えることは自然なことです。例えば、コイントスで表が出たら2倍、裏が出たら没収のようなゲームがあって、表が出る確率が90%、裏が出る確率が10%であったとしても、全財産を賭け続ければ、いずれは破産します。
つまり、賭け方によって、資産の成長の期待値は変わるのです。
ここでは、ギャンブル界の巨匠、エド・ソープによるこの賭け方の問題に対する考え方を紹介したいと思います。数式も多いですが、それ以上に考え方を吸収出来るように分かりやすく解説するように努めたいと思います。

## エド・ソープとは

エド・ソープは現代のクオンツ運用における巨匠でもあります。彼の略歴は次をご覧ください。有名な話では、ラスベガスをぶっ潰せという映画でブラックジャックのカウンティングを初めてカジノで使用した人物として有名です。彼はカジノの世界だけでなく、株式市場でも活躍しています。

>シカゴ生まれ。1955年カリフォルニア大学ロサンゼルス校 (UCLA) で物理学を専攻し、その後、1959年マサ>チューセッツ工科大学 (MIT) で数学講師の職に就く。
MITの大型計算機を使いブラック・ジャックの必勝法を数学的に編み出した。カウンティングとよばれる確率論を用いた手法により統計的に有意に勝てることを証明したソープは、これを実証するために実際にカジノに乗り込み、週末2日間だけで投資した10,000ドルを2倍以上にした。バカラでも儲けた。1962年に、この必勝法を解説した書籍 "Beat the Dealer"を出版し、70万部以上を売り上げた。この手法を実践して儲ける人があまりにも多く続出したため、現在では、カジノはカウンティングを禁止しているほどである。
その後、ソープはこの理論が他の分野でも応用ができることを発案。1960年代後半、株式市場において確率と統計に関する知識を活用し、大きな成功を収めた。1964年から67年までに運用資産を40,000ドルから100,000ドルに増やし、書籍“Beat the Market” でこの運用成果を発表した。彼らが開発した取引手法が基礎にしている公式が、後の金融工学に大きな影響を与えるブラックーショールズ方程式になった。
1969年から務めたプリンストン・ニューポート・パートナーズでは、ソープが考案した取引手法を活用することで、1988年に活動停止するまでの19年間に、年率平均15%ものパフォーマンスを安定的に達成した。その後は自身が代表を務めるEdward O. Thorp & Associatesに籍を置いている。1998年には個人での投資が28.5年間にわたり、年率平均20%の利益をもたらしたと発表した。

*参考: https://ja.wikipedia.org/wiki/%E3%82%A8%E3%83%89%E3%83%AF%E3%83%BC%E3%83%89%E3%83%BB%E3%82%AA%E3%83%BC%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%BB%E3%82%BD%E3%83%BC%E3%83%97*

## 今回の内容

[*EDWARD O. THORP(2006), THE KELLY CRITERION IN BLACKJACK SPORTS BETTING, AND THE STOCK MARKET*](http://www.eecs.harvard.edu/cs286r/courses/fall12/papers/Thorpe_KellyCriterion2007.pdf)
という論文を参考に賭け方の考え方や基本について学んでいきたいと思います。

## 1. イントロダクション

ギャンブルにおける本質的な課題は、期待値が正となるような賭けの機会を探すことです。同様に、投資における課題はリスク調整済みの期待リターンを超過するような投資機会を見つけることです。
これらの機会を見つけたら、ギャンブラーか投資家は持っている資産からどれだけ賭けるか決定します。このどれだけ賭けるかという問題をこの記事では中心に議論します。
この問題は、少なくとも18世紀でDaniel BernoulliがSt.Petersburg Paradox (Feller, 1966)について議論してから話題になっていました。

この問題に対する一つのアプローチは、合計の試行回数$N$に対して、全損する確率を最小化する等の目標を決定することです。もう一つのアプローチは、具体的な目標を設定して、$N$回試行までに、そこに到達する確率を最大化することです。(*Browne, 1996*)

また、エコノミスト等に深く研究されている別のアプローチとしては、効用関数を用いて資産の価値を定義することです。効用関数としては、非負実数値且つ非単調減少になるように定義されることが多く、例えば、$U(x) = x^a, 0 \leq a < \infty$や$U(x) = \log{x}$等です。これらの効用関数が定義されれば、目的は資産価値の効用の期待値を最大化することです。
Daniel BernoulliはSt.Petersburg Paradoxを効用関数$\log{x}$を用いて解いた。（しかし、彼の解放はパラドックスを排除出来ていなかった。その理由は、効用関数が上に有界でないからです。このパラドックスの問題は後に修正されます。)効用関数$\log{x}$は、Kelly（1956）によって再検討されまして、いくつかの注目すべき性質を見つけた。これらは、Breiman（1961）の論文によって更に精錬された。Markowitz（1959）は、この理論を証券へ応用しました。ファイナンスの観点におけるケリー基準の議論については、McEnally（1986）を参照してください。

## 2. コイントス

ここでは、偏ったコインによる繰り返される独立な試行のゲームを考えます。ここでは、勝率は$p > \frac{1}{2}$であり、負ける確率は$q = 1-p$とします。初期資産は$X_0$で、$n$回試行後に資産を期待値$E(X_n)$を最大化するような目標を設定します。
それでは、$k$回目のゲームで、どれくらい賭け($B_k$)れば良いでしょうか？
$k$回目でゲームに勝てば$T_k = 1$、負ければ$T_k = -1$としますと、$X_k = X_{k-1} + T_kB_k (k = 1,2,3, ...)$と書けて、$X_n = X_0 + \sum_{k=1}^n T_kB_k$を満たします。
このとき、
$$
\displaystyle E(X_n) = X_0 + \sum_{k=1}^n E(B_kT_k) = X_0 + \sum_{k=1}^n (p-q) E(B_k)
$$
となります。($E(T_k) = p*1 + q*(-1) = p-q$)

このゲームには正の期待値があったので($p-q > 0$)、$E(X_n)$を最大化するために、それぞれのゲームにおける$E(B_k)$を最大化すればよいことになりそうです。では、毎回オールインしてみましょう。$B_1 = X_0$として、勝ったら$B_2 = 2X_0$としてみます。このときの破産確率は$1-p^n$であり、$p < 1$では、$\lim_{n \rightarrow \infty}[1-p^n] = 1$となります。つまり、ほぼ確実に破産します。このように**大胆な賭け方**はあまり現実的ではありません。
そこで、破産確率を最小化するような賭けを行ったとしても、実は期待値を最小化してしまいます。(Feller 1966)
そのため、中間の戦略（$E(X_n)$を最大化させつつ、破産確率を最小化する)がケリー(1956)によって提案されました。
上のコイントスのゲームに関しては、それぞれのゲームにおけるペイオフと確率は一致するので、毎回のゲームでバンクロールの一定比率を賭けるような戦略が尤もらしいように見えます。
これを可能にするために、資産を無限に分割出来ることを仮定する必要がありますが、現実世界では、このような仮定をおいてもあまり問題がないケースが多いです。
さて、$B_i = fX_{i-1} (0 \leq f \leq 1)$と置きます。この$f$を固定分数(*fixed fraction*)ベッティングと呼ぶことがしばしばあります。
ここで、$S$と$F$をそれぞれ勝った回数と負けた回数($S+F=n$)としますと、$X_n = X_0(1+f)^S (1-f)^F$と書けます。また、$0 < f < 1$のとき、$Pr(Xn=0) = 0$です。
このとき、$E(X_n)$を最大化するような$f$を求めたいのですが、$\log{(E(X_n/X_0)^{1/n})}$を最大化するような$f$を求めても同じなので、計算の便宜上、後者から計算します。

$$G_n(f) = \log{[\frac{X_n}{X_0}]^{\frac{1}{n}}} = \frac{S}{n}\log{(1+f) + \frac{F}{n}}\log{(1-f)}$$

とおいて、$g(f) = E[G_n(f)] = p\log{(1+f)} + q\log{(1-f)}$と計算出来ます。

次に、$g(f)$を微分して極値を満たす$f$が求めて、それが一意に最大値であることを示します。

$$\frac{dg}{df}(f) = \frac{p}{1+f}-\frac{q}{1-f} = \frac{p-q-f}{(1+f)(1-f)} = 0$$

よって、$f = f^* = p-q$と求まります。

次に、この$f^*$が一意に最大値であることを示します。

$g^{\prime\prime}(f) = -p/(1+f)^2 - q/(1-f)^2 < 0$なので、$g^{\prime}(f)$は$[0, 1)$で単調減少関数です。
また、$g^{\prime}(0) = p-q > 0$で$\lim_{f \rightarrow 1^{-}}g^{\prime}(f) = -\infty$なので、中間値の定理から、$g(f) = 0$を満たす$f$が一意に存在します。

例はいくつか存在するので、それは論文を参考にしてみてください。

## 3.　最適成長: 実務家のためのケリー基準の公式

ケリーによるこの資産価値の成長率に対する最大化は、往々にして最適成長戦略とも呼ばれます。
他の固定分数戦略と比較するのは面白いです。実際に役立つと思ったいくつかの結果を提示します。
(Browne (1995, 1996)を参照)

### 3.1 N回試行までに固定ゴールに到達する確率

ここでは、N回試行までに固定ゴールに到達する確率を求めます。ただ、ここでは標準ブラウン運動における公式を示してから、上のコイントスの例でその確率を推定します。

ここでは、標準ブラウン運動で似たような結果を示したいと思います。
Howard Tuckerが1974年にこれを私に見せてから、これがギャンブルと金融デリバティブの理論における最も役立つ一つの事実であると考えています。

>標準ブラウン運動$X(t)$が与えられると、次の公式が得られます。
$P(\sup[X(t) - (at+b)] \geq 0, 0 \leq t \leq T) = N(-\alpha - \beta) + e^{-2ab}N(\alpha - \beta)$
ただし、$\alpha = a\sqrt{T}, \beta = b/\sqrt{T}$です。

それぞれのゲームにおける賭け比率、固定分数を$f, 0 < f < 1$とします。$V_k$はギャンブラーないし投資家の$k$回試行後のバンクロールの価値とします。
ここで一般性を失わずに、$V_0 = 1$とします。また、目標を$C > 1$とします。
ここで、$1 \leq k \leq n$を満たす$k$で$V_k \geq C$となる確率はいくつでしょうか？
これは$\log{V_k} \geq \log{C}$を満たすような$k$を求めても一緒です。
これを求めるために、いくつか必要なツールを用意します。

```math
V_k = \prod_{i=1}^k (1+Y_i f) \\
\ln{V_k} = \sum_{i=1}^k \ln{(1+Y_i f)} \\
E[\ln{V_k}] = \sum_{i=1}^k E[\ln{(1+Y_i f)}] \\
\text{Var}[\ln{V_k}] = \sum_{i=1}^k \text{Var}[\ln{(1+Y_i f)}] \\
E \ln{(1+Y_i f)} = p\ln{(1+f)}+q\ln{(1-f)} \equiv m \equiv g(f) \\
\text{Var}[\ln{(1+Y_if)}] = p[\ln{(1+f)}]^2 + q[\ln{(1-f)}]^2 - m^2 \\
= pq \{\ln{[(1+f)(1-f)]} \}^2 \equiv s^2 \\
```

$n$回試行後のドリフト: $mn$
$n$回試行後の分散: $s^2 n$

次に$P(\ln{V_k} \geq \ln{C})$を求めたいので、式変形する。

```math
\ln{V_k} \geq \ln{C}, 1 \leq k \leq n, \text{iff} \\
\sum_{i=1}^k \ln{(1+Y_i f)} \geq \ln{C}, 1 \leq k \leq n, \text{iff} \\
S_k \equiv \sum_{i = 1}^{k}[\ln{(1+Y_i f)} - m] \geq \ln{C} - mk, 1 \leq k \leq n \\
E(S_k) = 0, \text{Var}(S_k) = s^2 k
```

では、$P(S_k \leq \ln{C} - mk, 1 \leq k \leq n)$を推定しましょう。
※大きい$n$に対してのみ有効です。

```math
T = s^2 n \\ 
b = \ln{C} \\ 
a= -m/s^2, \\
\alpha = a\sqrt{T} = -m\sqrt{n}/s \\
\beta = b/\sqrt{T} = \ln{C/s\sqrt{n}} \\
```

例:

```math
C = 2 \\ 
n = 10^4 \\ 
p = 0.51 \\
f = 0.0117 \\
m = 0.000165561 \\
s^2 = 0.000136848
```

このとき、
$P(・) = 0.9142$
となります。
これは要するに、勝率51%のコイントスで毎回資産の1.17%を賭けて1万回試行した場合、資産が2倍に少なくとも1回到達する確率は91.42%あるということです。ケリー基準における固定分数賭け比率は2%になりますが、これはもう少し保守的にやった場合にどうなるかを表しています。
また現実問題として、期待値はある程度しか推定出来ない場合が多いため、勝率は51%だと思っていても実際は50.5%位であると推定して賭ける方が無難です。

## 4. スポーツベッティング

ここでは、スポーツベッティングに関する最適化な賭け比率について求めます。

ここにおけるゲームの例は、独立な二つの有利なコイントスを同時に投げて、コイン1が表になる確率を$p_1$、コイン2が表になる確率を$p_2$とします。
固定分数賭け比率をそれぞれ$f_1$と$f_2$にします。

このとき、期待成長率は次のように賭けます。


$$g(f_1, f_2) = p_1 p_2 \ln{(1+f_1+f_2)} + p_1 q_2 \ln{1+f_1-f_2} + q_1 p_2 \ln{(1-f_2 + f_2)} + q_1 q_2 \ln{(1-f_1-f_2)}$$

この式を$f_1, f_2$それぞれで偏微分して、

```math
f_1 + f_2 = \frac{p_1 p_2 - q_1 q_2}{p_1 p_2 + q_1 q_2} \equiv c \\

f_1 - f_2 = \frac{p_1 q_2 - q_1 p_2}{p_1 q_2 + q_1 p_2} \equiv d \\

f_1^* = (c+d)/2 \\
f_2^* = (c-d)/2
```

ここで、別の形式でこの式を表示してみましょう。
$m_i = p_i - q_i, i=1, 2$とおきますと、$p_i = (1+m_i)/2, q_i = (1-m_i)/2$となります。
このとき、

```math
c = \frac{m_1 + m_2}{1+m_1 m_2}, d = \frac{m_1 - m_2}{1 - m_1 m_2} \\

f_1^* = \frac{m_1(1-m_2^2)}{1-m_1^2 m_2^2}, f_2^* = \frac{m_2(1-m_1^2)}{1-m_1^2 m_2^2}
```

ここで言いたいことは、$f_i$はそれぞれ$m_i$でディスカウントされていますが、ただ、$m_i$はほとんど数パーセントなので、ディスカウント率はほぼ無いと言えます。

ここで特殊なケースとして$p_1 = p_2 = p, d=0$しますと、$f^* = f_1^* = f_2^* = c/2 = (p-q)/(2(p^2+q^2))$

$m = p-q$とおきますと、$f^* = m/(1+m^2)$が同時コイン投げにおける最適解になります。

例(オリジナル). ここで興味深いことは、例えば、株式市場の例を出しますと、日経先物とそれと独立な別の銘柄(A)に同時に賭けるとします。例えば、日経先物で+1%で利確、-1%で損切、Aでも同じような戦略を同時に行うとします。ここで、日経先物もAも勝率は51%であると仮定しますと、どちらにも損失が資産の2%になるように賭けるのは最適解ではないということになります。実際は、同じような値動きをするため、最適解は、0.02/(1+0.02) = 1.96%が正解になります。

本論文では他にもブラックジャックや株式市場における例を示していますが、ブラックジャックに関しては、コイントスと仮定して解説していて、株式市場に関しては、私の別の記事[ケリー基準　～最適ベッティング戦略について考えよう～](https://qiita.com/kanawoinvest/items/ab2c81b3fa7ee30424dd)で解説しているため、割愛します。


## 感想

エド・ソープの論文はいつ読んでも勉強になります。ケリー基準においては、株式市場で応用する場合は、利確幅と損切幅を設けてどちらかに当たるまで待つという戦略でも疑似的にコイントスを実現出来るので、投機する上では、こういった性質を使えるような形にしっかりと持ち込むというのが大切になってきます。
では、投資家やBotterの皆さん、良い投資ライフを！