python3ではじめるシステムトレード：経済データのダウンロード


# FRED

[FRED](https://fred.stlouisfed.org/)は米国のセントルイス連銀が運営するサイトで一般的には十分な世界中の公的な経済データが手に入ります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/563f3924-7fc2-e9c3-22d5-252a63b544b4.png)

世界中の97機関からデータの提供を受け、その数は570,000とあります。日本のデータに関してもここから取得したほうが便利なものも多々あります。データの取得にはWEBを直接探索する方法とAPIを使う方法があります。APIを使う場合にも事前にダウンロードするデータのコードが必要となるのでWEBでの探索が必要です。FREDのWEBから検索ボックスの下の"Category"をクリックすると次のページが現れます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/c8ea262f-6419-edba-fb66-a6919a98386c.png)

さらに"Production & Bsuiness"をクリックするとサブメニューが現れます。その下には検索頻度の高いデータが表示されます。検索頻度は"項目"の右横のインディケーターで示されています。長いほうが検索頻度を多いことを意味します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/c22324e3-43c8-603c-cb72-7a0c1cb7f8f7.png)
つぎに"Business Cycle Expansion & Construction"をクリックしてみましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/2fc6c4b6-7a14-23ff-7390-71dc5ae922cb.png)
一番上に"Leading Index for the United States"が現れるのでこれを再度クリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/cdbee7ca-3635-f83a-9db7-3fa2327b6078.png)
データの詳細が現れます。画面の右上にダウンロードのボタンがあります。ここからデータが取得可能です。

このようにメニューを用いてデータを取得する方法以外に、APIを用いることができます。PythonとExcelが便利です。ここではPythonによる方法を紹介しますが、データのコードそのものは共通です。エクセルの場合には[エクセルで世界の経済データをダウンロード参照](https://qiita.com/innovation1005/items/d6c75baa3a38b7f1a7e5)

# Pythonによるデータのダウンロード

Python3を用いて経済データをダウンロードするためには、jupyter notebookとpandas-datareaderがお勧めです。jupyter notebookのインストールについては[Python3ではじめるシステムトレード：Jupyter notebookのインストール](https://qiita.com/innovation1005/items/2f433d6d859f075033a7)を参考にしてください。ここにpandas-datareaderのインストールの説明もあります。

Pythonの準備ができたら初期化をします。

```python
%matplotlib inline
import pandas_datareader.data as web
import matplotlib.pyplot as plt
start="1949/5/16"
```
先ほどの米国先行指数を取得してグラフに描いてみましょう。"USSLIND"が指数のコードです。同じようなグラフが描かれました。

```Python
# Daily data
index = web.DataReader("USSLIND", 'fred',start)#Population, Total for World
index.plot()
```
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/d6e9e95f-c985-2a8a-b94d-f795401f47b9.png)

ちなみに、米国先行指数とはどのようなものでしょうか？各州の主要指数は、州の一致指数の6か月の成長率を予測します。
一致指数に加えて、モデルには経済を導く他の変数が含まれています：州レベルの住宅許可件数（1から4単位）、州の新規失業保険申請件数、サプライマネジメント協会（ISM）の配送時間、 10年国債と3ヶ月国債との間の金利スプレッドを含みます。

# 経済指標

経済の活動を表す統計を経済指標といいます。経済指標は経済の状態の分析や将来の状態の予測に用いられます。経済指標といってもさまざまです。企業収益のレポートや限られた活動を対象にした指数から、それらを組み合わせたものまであります。活動ごとに経済指標を分類する方法とタイミングで分類される方法があります。経済指標はビジネスサイクルの分析に用いられますが、それと時間との関係から3つのタイプに分けられます。

- 先行指数
- 一致指数
- 遅行指数
です。

また、景気動向指数は景気の状態を総合的に判断する指数でディフュージョン指数とコンポジット指数に分けられます。

- ディフュージョン指数：特定の経済指数の中で景気の拡大を示している指標の割合を表現しています。
- コンポジット指数：景気の拡大・縮小といった景気の状態を表すように作られた指数です。

これらの指標にも先行指数、一致指数、遅行指数があります。
## 米国の先行指数

先行指標は、通常、経済全体が変化する前に変化する指標で、経済の短期的な予測因子として有用です。
つぎに示す指数は全米産業審議会(The Conference Boards)により示された先行指数です。

- 週平均労働時間(Average weekly hours(manufactring))
コード：HOHWMN02USM065S, 単位：時間、季節調整済み、頻度：月次
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/36320bcc-5803-7192-26ea-14117db5c6d1.png)


- 新規失業保険申請件数(Average weekly jobless claims for unemployment insurance)  
コード：ICSA, 単位：数、季節調整済み、頻度：週次、土曜終わり
- 製造業新規受注(Manufacturers' new orders for consumer goods/materials)  
コード：ACDGNO, 単位：百万ドル、季節調整済み、頻度：月次
- 配送遅延指数(vendor perfomance (slower deliveries diffusion index))  
コード：M06006USM156NNBR, 単位：\%、季節調無し、頻度：月次
- 非国防資本財受注(Manufacturers' new orders for non-defense capital goods)  
コード：NEWORDER, 単位：百万ドル、季節調整済み、頻度：月次
- 建設許可件数(Building permits)  
コード：PERMIT, 単位：1000個、季節調整済み年率、頻度：月次
- 株価指数(stock prices of 500 common stocks)  
コード：SP500, 単位：指数、季節調整端、頻度：日次
- マネーサプライ(Money Supply (M2))  
コード：M2SL, 単位：10億ドル、季節調整済み、頻度：月次
- 金利スプレッド(Interest rate spread)  
10年国債の利回りから政策金利を引いたもの
コード：T10YFFM, 単位：％、季節調整無し、頻度：月次
- ミシガン大学消費者信頼感指数(index of consumer expectations)  
University of Michigan Consumer Sentiment Index
コード：UMCSENT, 単位：指数1966:Q1=100、季節調整無し、頻度：月次

## フィラデルフィア連邦準備銀行作成の経済指標
フィラデルフィア連邦準備銀行は、50州のそれぞれについて先行・一致指数を作成しています。

### 先行指数(一致指数の先行指標)

先行指数は毎月計算され、通常、一致指数の公表の1週間後にリリースされます。各州の先行指数は、州の一致指数の6か月間の変化率を予測します。一致指数に加えて、モデルには経済を導く州レベルの住宅許可件数（1から4単位）、新規失業保険請求者数、配送遅延指数、 10年国債と3ヶ月国債との間の金利スプレッドが含まれます。

-  Leading Index for the United States (USSLIND)  

### 一致指数(GDPの長期トレンドに一致)
一致指数は、4つの州レベルの指標を組み合わせて、現在の経済状況を1つの統計に要約します。各一致指数は、非農業部門雇用者数、製造業平均労働時間、失業率、および消費者物価指数（米国の都市平均）によって調整された賃金および給与支出の4つの州レベルの変数で構成されます。各州の指数のトレンドは国内総生産（GDP）のトレンドに一致するように設定されているため、州の指数の長期成長はGDPの長期成長と一致します。労働統計局（BLS）が州の雇用データを発表してから数日後に一致指数が発表されます。

- Coincident Economic Activity Index for the United States (USPHCI)  

#### [動学的因子モデルと一致指数：statsmodel サンプル](https://www.statsmodels.org/v0.10.0/examples/notebooks/generated/statespace_dfm_coincident.html)

因子モデルは、観測変数の変動に実質的な影響を与える少数の観測されていない「因子」を、主成分分析などの次元削減手法を用いて見つけようとします。 動的因子モデルは、非観測因子の動学を明示的にモデル化するため時系列データに適用されます。

- Industrial production (IPMAN)
- Real aggregate income (excluding transfer payments) (W875RX1)
- Manufacturing and trade sales (CMRMTSPL)
- Employees on non-farm payrolls (PAYEMS)

## その他の経済指標
industry production index(INDPRO)
Household Debt Service Payments as a Percent of Disposable Personal Income (TDSP)
durable goods new order(DGORDER)
Chicago Fed National Activity Index (CFNAI)
Chicago Fed National Activity Index(CFNAIDIFF)
Advance Retail Sales: Retail (Excluding Food Services)(RSXFS)

### 為替レートの予測に使われる経済指標
#### カバー無し金利平価
各金利参照
#### 相対的購買力平価
Consumer Price Index: Total All Items for US (USACPIALLMINMEI) monthly, index 2015 =100, not seasonally adjusted
Japan consumer price index (JPNCPIALLMINMEI) monthly, index 2015 =100, not seasonally adjusted

us producer price index (PPIACO) monthly, index 1982 =100, not seasonally adjusted
Japan producer price index (PITGCG01JPM661N) monthly, index 2015 =100, not seasonally adjusted

#### 価格硬直性マネタリーアプローチ
M1 for the United States (MANMM101USM189S)  monthly, seasonally adjusted billion of dollar
M1 for Japan© (MANMM101JPM189S) monthly seasonally adjusted national currency
Gross Domestic Product (GDP) Quarterly seasonally adjusted billion of dollar
Gross Domestic Product for Japan (JPNNGDP) Quarterly seasonally adjusted billion of yen
Interest Rates, Government Securities, Treasury Bills for Japan (INTGSTJPM193N)
Interest Rates, Government Securities, Treasury Bills for United States (INTGSTUSM193N)!
us consumer price index (CPIAUCSL)

Interest Rates, Discount Rate for United States (INTDSRUSM193N) monthly not seasonally adjusted
Japan consumer price index (JPNCPIALLMINMEI) monthly not seasonally adjusted

US- マネーサプライ M2 (M2SL)) monthly, seasonally adjusted billion of dollar
M2 Money Stock (M2) weekly, seasonally adjusted billion of dollar
Real Gross Domestic Product (GDPC1) Quarterly seasonally adjusted billion of chained 2011 of dollar
Real Gross Domestic Product for Japan (JPNRGDPEXP) Quarterly seasonally adjusted billion of chained 2011 of yen

1-Month London Interbank Offered Rate (LIBOR) (USD1MTD156N)
1month  (LIBOR), based on Japanese Yen (JPY1MTD156N)
2-Month London Interbank Offered Rate (LIBOR) (USD2MTD156N)
2month (LIBOR), based on Japanese Yen (JPY2MTD156N)
3-Month London Interbank Offered Rate (LIBOR) (USD3MTD156N)
3month (LIBOR), based on Japanese Yen (JPY3MTD156N)
6-Month London Interbank Offered Rate (LIBOR) (USD6MTD156N)
6month (LIBOR), based on Japanese Yen (JPY6MTD156N)
12-Month London Interbank Offered Rate (LIBOR) (USD12MD156N)
12-Month  (LIBOR), based on Japanese Yen (JPY12MD156N)

Interest Rates, Discount Rate for United States (INTDSRUSM193N)  monthly not seasonally adjusted
Interest Rates, Discount Rate for Japan (INTDSRJPM193N) monthly not seasonally adjusted

#### テイラールール

#### 実質金利差モデル(シャドーレート)
Interest Rates, Discount Rate for Japan (INTDSRJPM193N)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/1823fcdf-7387-5a78-e669-1083015c15fb.png)

Interest Rates, Discount Rate for United States (INTDSRUSM193N)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/fd134663-b103-21f6-60fc-dededa0fd24c.png)

#### 価格硬直性マネタリーアプローチ＋VIX+TED
CBOE Volatility Index: VIX (VIXCLS)
CBOE S&P 100 Volatility Index: VXO (VXOCLS)
TED Spread (TEDRATE)

#### イールドカーブアプローチ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/89d9e9e3-b728-b289-7245-5eb5eeb253e7.png) (T10Y3M)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/d3016e72-6ac6-2871-ed59-55ecb22b6156.png)(DGS3MO)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/267055/c9e106ae-5333-9b41-f626-cb580ed0eccf.png)(JPY3MTD156N)
#### その他

Current General Activity; Diffusion Index for FRB - Philadelphia District(GACDFSA066MSFRBPHI)
U.S. Exports of Goods by F.A.S. Basis to Japan  (EXPJP)
U.S. Imports of Goods by Customs Basis from Japan  (IMPJP)
Exports: Value Goods for Japan (XTEXVA01JPM667S)
Imports: Value Goods for Japan (XTIMVA01JPM667S)
Broad Money, Index for Japan(MABMBM01JPM661S)
M1 for Japan© (MYAGM1JPM189N)
M3 for Japan© (MYAGM3JPM189N)
Balance of payments BPM6: Financial account: Financial account Net: Total for Japan(JPNB6FATT01NCCUQ)
Balance of payments BPM6: Current account Debits: Goods: Total Debits for Japan (JPNB6DBTD01CXCUSAQ)
# 日本

内閣府：景気動向指数の利用の手引より
https://www.esri.cao.go.jp/jp/stat/di/di3.html

## 先行指数

|項目|コード|
|:-:|:-:|
|最終需要財在庫率指数||
|鉱工業用生産財在庫率指数
|新規求人数
|実質機械受注
|新設住宅着工床面積|JPNWSCNDW01MLSAM
|消費者態度指数
|日経商品指数(42種総合)
|M2|MYAGM2JPM189N|
|東証株価指数|SPASTT01JPM661N
|投資環境指数(製造業)|
|中小企業売り上げ見通しDT|

## 一致指数

|項目|コード|
|:-:|:-:|
|生産指数|JPNPROINDMISMEI
|鉱工業用生産財出荷指数|JPNPROMANMISMEI
|耐久消費財出荷指数|
|所定外労働時間指数|HOOVMN03JPM661N
|投資財出荷指数|JPNPRMNVG01IXOBM
|商業販売額(小売り)|JPNSARTMISMEI
|商業販売額(卸売業)|
|営業利益|
|有効求人倍率|

# 四半期ベースのデータ
Real Gross Domestic Product seasonally adjusted (GDPC1)
Real Gross Domestic Product for Japan(Yen) sea.adj.　(JPNRGDPEXP)

# 年間のデータ
Real Gross Domestic Product (GDPCA) 
Real GDP at Constant National Prices for Japan (RGDPNAJPA666NRUG)

# 日足データ
## 米国株価
Wilshire 5000 Full Cap Price Index  without dividend (WILL5000PRFC)
Wilshire 5000 Total Market Full Cap Index  dividend (WILL5000INDFC)
S&P 500© (SP500)
Nasdaq 100 (NASDAQ100)

## 米国金利
10-Year Treasury Constant Maturity Rate (DGS10) daily
10-Year Treasury Constant Maturity Rate (GS10) monthly
5-Year Treasury Constant Maturity Rate (DGS5) daily
2-Year Treasury Constant Maturity Rate (DGS2)
1-Year Treasury Constant Maturity Rate (DGS1) daily
1-Year Treasury Constant Maturity Rate (GS1) monthly
1-Year Treasury Constant Maturity Minus FF Rate (T1YFF)
10-Year Treasury Constant Maturity Minus FF Rate (T10YFF)
10-Year Treasury Constant Maturity Minus 2-Year Treasury Constant Maturity (T10Y2Y)
10-Year Treasury Constant Maturity Minus 3-Month Treasury Constant Maturity (T10Y3M)

overnight London Interbank Offered Rate (LIBOR) (USDONTD156N)
1 week London Interbank Offered Rate (LIBOR) (USD1WKD156N)
1-Month London Interbank Offered Rate (LIBOR) (USD1MTD156N)
2-Month London Interbank Offered Rate (LIBOR) (USD2MTD156N)
3-Month London Interbank Offered Rate (LIBOR) (USD3MTD156N)
6-Month London Interbank Offered Rate (LIBOR) (USD6MTD156N)
12-Month London Interbank Offered Rate (LIBOR) (USD12MD156N)

ICE BofAML US High Yield Master II Option-Adjusted Spread (BAMLH0A0HYM2)
ICE BofAML US High Yield CCC or Below Option-Adjusted Spread (BAMLH0A3HYC)
ICE BofAML US High Yield Master II Effective Yield (BAMLH0A0HYM2EY)
ICE BofAML US High Yield CCC or Below Effective Yield (BAMLH0A3HYCEY)

## 日本の株価
nikkei225 (NIKKEI225)
Total Share Prices for All Shares for Japan (SPASTT01JPM657N)
## 日本の金利
Interest Rates,  Government Bonds for Japan (INTGSBJPM193N) monthly
spot next  (LIBOR), based on Japanese Yen (JPYONTD156N)
1week (LIBOR), based on Japanese Yen (JPY1WKD156N)
1month  (LIBOR), based on Japanese Yen (JPY1MTD156N)
2month (LIBOR), based on Japanese Yen (JPY2MTD156N)
3month (LIBOR), based on Japanese Yen (JPY3MTD156N)
6month (LIBOR), based on Japanese Yen (JPY6MTD156N)
12-Month  (LIBOR), based on Japanese Yen (JPY12MD156N)
Treasury Bills for Japan (INTGSTJPM193N)
1-Year Treasury Bill: Secondary Market Rate (TB1YR)
Government Bond Yields: 10-year(Including Benchmark) (IRLTLT01JPM156N) monthly
# 為替レート

```Python
FX=['DEXMXUS','DEXKOUS','DEXJPUS','DEXCAUS','DEXSZUS']
FX2=['DEXUSUK','DEXUSEU','DEXUSAL']
```

# その他の興味深い指標

Total Reserves excluding Gold for Japan (TRESEGJPM052N)

# 株価分析に使ってみたい指標

## 米国  

10-Year Real Interest Rate (REAINTRATREARAT10Y)
1-Year Real Interest Rate (REAINTRATREARAT1YE)

## 日本

10-Year Real Interest Rate (REAINTRATREARAT10Y)
1-Year Real Interest Rate (REAINTRATREARAT1YE)

# 関連サイト紹介
## システムトレードってなに？
https://qiita.com/innovation1005/items/2b5a291b98ebf39dfd8b

## 外国為替レートについて
https://qiita.com/innovation1005/items/f5cef6f6e3d1c97d17d1

## Yahoo Finance USから株価をダウンロードしてみた
https://qiita.com/innovation1005/items/5be026cf7e1d459e9562

ーーーーーーーーーーーーーーーーーーーーーーーー
<A HREF="http://www.tradersshop.com/bin/showprod?c=9784775991855
">Python3ではじめるシステムトレード【第2版】環境構築と売買戦略</A>

<A HREF="http://www.tradersshop.com/bin/showprod?c=9784775991855">
     <IMG SRC="http://www.tradersshop.com/images/prod/9784775991855.jpg"BORDER=1 WIDTH=70 HEIGHT=100  </A>

「画像をクリックしていただくとpanrollingのホームページから書籍を購入していただけます。

<a target="_blk" href="https://www.amazon.co.jp/Python3%25E3%2581%25A7%25E3%2581%25AF%25E3%2581%2598%25E3%2582%2581%25E3%2582%258B%25E3%2582%25B7%25E3%2582%25B9%25E3%2583%2586%25E3%2583%25A0%25E3%2583%2588%25E3%2583%25AC%25E3%2583%25BC%25E3%2583%2589%25E3%2580%2590%25E7%25AC%25AC%25EF%25BC%2592%25E7%2589%2588%25E3%2580%2591-%25E2%2580%2595%25E2%2580%2595%25E7%2592%25B0%25E5%25A2%2583%25E6%25A7%258B%25E7%25AF%2589%25E3%2581%25A8%25E5%25A3%25B2%25E8%25B2%25B7%25E6%2588%25A6%25E7%2595%25A5-%25E6%25A3%25AE%25E8%25B0%25B7%25E5%258D%259A%25E4%25B9%258B-ebook/dp/B0C3VKX2SR?_encoding=UTF8&amp;qid=&amp;sr=&amp;linkCode=sl1&amp;tag=innovation097-22&amp;linkId=8482aff957ad9eef841e10f7c1798776&amp;language=ja_JP&amp;ref_=as_li_ss_tl&_encoding=UTF8&tag=innovation097-22&linkCode=ur2&linkId=6ac527f63ee6ae977445ac9cde062ee8&camp=247&creative=1211">Python3ではじめるシステムトレード改訂版　アマゾンから購入いただけます。</a>