PyCon2017に参加したときに調べたこと


とりあえず調べたWebページだけ共有します。後から資料をつけたりコメントつけたりしていきます。

# Day1

## [野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築 | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/15/)

<script async class="speakerdeck-embed" data-id="a40e62b5a44b4e23af37a07c8e84b2f6" data-ratio="1.33333333333333" src="//speakerdeck.com/assets/embed.js"></script>

### スクレイピング

Scrapyを利用。デフォルトの設定で利用するとサイトへの攻撃になりかねないのでそこは変える。


* [Scrapy | A Fast and Powerful Scraping and Web Crawling Framework](https://scrapy.org/)

* [scrapy/scrapy: Scrapy, a fast high-level web crawling & scraping framework for Python.](https://github.com/scrapy/scrapy)

* [Scrapy入門（１） - Qiita](http://qiita.com/checkpoint/items/038b59b29df8e1e384a2)

* [Scrapy入門（２） - Qiita](http://qiita.com/checkpoint/items/65bb757d305f4a1288c0)

* [Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ](http://data.gunosy.io/entry/python-scrapy-scraping)


### タスク実行

Airflowを利用。まともに使うのは結構辛い。Dockerイメージ配布中なのでそちらオススメ。

* [Airflow - Google 検索](https://www.google.co.jp/search?q=Airflow&oq=Airflow&aqs=chrome..69i57j0l5.2231j0j7&sourceid=chrome&ie=UTF-8)

* [Apache Airflow (incubating) Documentation — Airflow Documentation](https://airflow.incubator.apache.org/)

* [Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita](http://qiita.com/haminiku/items/b431e9cd1cf4e300f8f0)

* [Airflowによるデータパイプラインのスケジュールとモニタリング - Speee DEVELOPER BLOG](http://tech.speee.jp/entry/2016/07/07/050000)

* [apache/incubator-airflow: Apache Airflow (Incubating)](https://github.com/apache/incubator-airflow)

* [Airflow | Airbnb Engineering](http://airbnb.io/projects/airflow/)


### 可視化

Jupyter Notebook & Redashで可視化。RDBMS(SQL)ならRedashで、それ以外の実験的なものはJupyter。

#### Jupyter

* [Project Jupyter | Home](http://jupyter.org/)

* [Jupyter事始め - Qiita](http://qiita.com/taka4sato/items/2c3397ff34c440044978)

* [データサイエンティストに向けたコーディング環境Jupyter Notebookの勧め - Qiita](http://qiita.com/y__sama/items/17aedf0c05187edd61c3)

* [Project Jupyter](https://github.com/jupyter)

* [jupyter/notebook: Jupyter Interactive Notebook](https://github.com/jupyter/notebook)

#### Redash

* [Make Your Company Data Driven | Redash](https://redash.io/)

* [getredash/redash: Make Your Company Data Driven. Connect to any data source, easily visualize and share your data.](https://github.com/getredash/redash)

* [re:dashは何が良くて、何が足りないのか - Qiita](http://qiita.com/toyama0919/items/c6c600d8bfd4dcdd69e1)

* [redashを導入してみた - そんな今日この頃の技術ネタ](http://blue1st-tech.hateblo.jp/entry/2016/08/12/013622)

* [Re:dash ダッシュボードツールを使って、運営しているあらゆるサービスの数値を1ページで見る](https://tech.torico-corp.com/blog/redash/)

#### HoloViews

* [HoloViews — HoloViews](http://holoviews.org/)


## [Using machine learning to try and predict taxi availability | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/55/)

シンガポールのAPIから得たデータから、地理情報を元に混雑状況を予測した話。

小さなデータセットで単純なモデル(Linear Regression)から初めて、複雑なモデル(多項モデル→ランダムフォレスト)と進めていたのが面白かったです。着実に進めていた印象でした。


### 発表資料

* [hari-allamraju (Hari Allamraju)](https://github.com/hari-allamraju)


#### スライド

* [pycon-talk-taxidata/PyCon Talk 2017 - Tokyo.pdf at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/slides/PyCon%20Talk%202017%20-%20Tokyo.pdf)

#### Jupyter Notebook

* [pycon-talk-taxidata/1. Data sources, capture and simple visualization.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/1.%20Data%20sources%2C%20capture%20and%20simple%20visualization.ipynb)

* [pycon-talk-taxidata/2. Lets look at one day's data.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/2.%20Lets%20look%20at%20one%20day's%20data.ipynb)

* [pycon-talk-taxidata/3. Machine learning taxi data.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/3.%20Machine%20learning%20taxi%20data.ipynb)

* [pycon-talk-taxidata/4. Let's see come concrete examples.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/4.%20Let's%20see%20come%20concrete%20examples.ipynb)

* [pycon-talk-taxidata/5. More complex polynomial regressions.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/5.%20More%20complex%20polynomial%20regressions.ipynb)

* [pycon-talk-taxidata/6. Random Forests.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/6.%20Random%20Forests.ipynb)

* [pycon-talk-taxidata/7. Comparison with real time data.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/7.%20Comparison%20with%20real%20time%20data.ipynb)

* [pycon-talk-taxidata/8. Using a larger grid.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/8.%20Using%20a%20larger%20grid.ipynb)

* [pycon-talk-taxidata/9. Interactive map.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/9.%20Interactive%20map.ipynb)

* [pycon-talk-taxidata/10. Testing different starting points.ipynb at master · hari-allamraju/pycon-talk-taxidata](https://github.com/hari-allamraju/pycon-talk-taxidata/blob/master/notebooks/10.%20Testing%20different%20starting%20points.ipynb)

## [after VOEZ launch: how to resolve problems of mobile game server development and service maintenance | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/3/)

* [VOEZ｜Nintendo Switchソフト｜任天堂](https://ec.nintendo.com/JP/ja/titles/70010000000044)


## [Why you should do text analysis with Python (even if you don't want to) | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/5/)

Pythonで自然言語処理を行う話。Researcher

### spaCy

* [spaCy - Industrial-strength Natural Language Processing in Python](https://spacy.io/)

* [Install spaCy | spaCy Usage Documentation](https://spacy.io/docs/usage/)

* [Models | spaCy Usage Documentation](https://spacy.io/docs/usage/models)

* [explosion/spaCy: 💫 Industrial-strength Natural Language Processing (NLP) with Python and Cython](https://github.com/explosion/spaCy)


### gensim

トピックモデルとかWord embedding(word2vec, doc2vec)とか

* [gensim: Topic modelling for humans](https://radimrehurek.com/gensim/)

* [RaRe-Technologies/gensim: Topic Modelling for Humans](https://github.com/RaRe-Technologies/gensim)

* [Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm](http://sucrose.hatenablog.com/entry/2013/10/29/001041)

* [gensim入門 - Qiita](http://qiita.com/u6k/items/5170b8d8e3f41531f08a)

* [gensim 2.3.0 : Python Package Index](https://pypi.python.org/pypi/gensim)

* [Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル - DeepAge](https://deepage.net/machine_learning/2017/01/08/doc2vec.html)

* [LSIやLDAを手軽に試せるGensimを使った自然言語処理入門 - SELECT * FROM life;](http://blog.yuku-t.com/entry/20110623/1308810518)

### Machine Learning

#### Scikit learn

* [scikit-learn: machine learning in Python — scikit-learn 0.19.0 documentation](http://scikit-learn.org/stable/)

* [scikit-learn/scikit-learn: scikit-learn: machine learning in Python](https://github.com/scikit-learn/scikit-learn)

* [scikit-learn から学ぶ機械学習の手法の概要 - Qiita](http://qiita.com/ynakayama/items/9c5867b6947aa41e9229)


#### TensorFlow

* [TensorFlow](https://www.tensorflow.org/)

* [tensorflow/tensorflow: Computation using data flow graphs for scalable machine learning](https://github.com/tensorflow/tensorflow)

* [tensorflow](https://github.com/tensorflow)

* [Googleが提供する機械学習ライブラリ TensorFlow を1時間で試してみた | freshtrax | デザイン会社 btrax ブログ](http://blog.btrax.com/jp/2015/11/29/tensorflow/)

## [Building a Customized Personal Assistant with Python | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/4/)

### Image processing with mobile device

* [fogleman/primitive: Reproducing images with geometric primitives.](https://github.com/fogleman/primitive)

### Translate

* [soimort/translate-shell: Command-line translator using Google Translate, Bing Translator, Yandex.Translate, etc.](https://github.com/soimort/translate-shell)

### CUI

* [24.3. shlex — 単純な字句解析 — Python 3.6.1 ドキュメント](https://docs.python.jp/3/library/shlex.html)

### Bot

* [gunthercox/ChatterBot: ChatterBot is a machine learning, conversational dialog engine for creating chat bots](https://github.com/gunthercox/ChatterBot)

* [ChatterBot 0.7.6 : Python Package Index](https://pypi.python.org/pypi/ChatterBot)

### Greetings

* [スラマッパギとは (スラマッパギとは) [単語記事] - ニコニコ大百科](http://dic.nicovideo.jp/a/%E3%82%B9%E3%83%A9%E3%83%9E%E3%83%83%E3%83%91%E3%82%AE)

### RSS Parser

* [feedparser 5.2.1 : Python Package Index](https://pypi.python.org/pypi/feedparser)

* [kurtmckee/feedparser: Parse feeds in Python](https://github.com/kurtmckee/feedparser)

* [Python3でfeedparserを使う – BTY備忘録](http://bty.sakura.ne.jp/wp/archives/1272)

* [【データサイエンスの基礎】pythonでRSSからデータ収集 - Qiita](http://qiita.com/shunsuke227ono/items/da52a290f78924c1f485)

### Facebook Messenger

* [conbus/fbmq: Facebook Messenger Platform Python Library (Facebook Chatbot Library)](https://github.com/conbus/fbmq)

* [今話題のFacebook Messenger Botをpythonで実装してみた話 - Qiita](http://qiita.com/temy13/items/2214a8444a25542dcb61)

* [Creating Your Messenger Bot with Python – Bot Tutorials](https://tutorials.botsfloor.com/creating-your-messenger-bot-4f71af99d26b)



## [Pythonによる文章自動生成入門！Python ✖︎ 自然言語処理 ✖︎ ディープラーニング | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/21/)

見てなかったけれど面白そうなので、後でチェックする。

### 資料

* [Pycon jp2017 20170908_doc_ota](https://www.slideshare.net/otanet/pycon-jp2017-20170908docota)

<iframe src="//www.slideshare.net/slideshow/embed_code/key/etCvel5EtrAjfr" width="668" height="714" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe> <div style="margin-bottom:5px"> <strong> <a href="//www.slideshare.net/otanet/pycon-jp2017-20170908docota" title="Pycon jp2017 20170908_doc_ota" target="_blank">Pycon jp2017 20170908_doc_ota</a> </strong> from <strong><a href="https://www.slideshare.net/otanet" target="_blank">博三 太田</a></strong> </div>

## [プレゼンテーション：Pythonと機械学習によるWebセキュリティの自動化 | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/24/)

脆弱性検査を行う際の攻撃用パラメーターの自動生成に関する取り組み。NLPをうまく取り入れて、攻撃用パラメーターを(Javascript, HTMLのサブセットとなる)独自言語として定義していたのが成功の秘訣だと思う。

### 資料

* [セキュリティnews | MBSD](https://www.mbsd.jp/insight.html)

* [Pythonと機械学習によるWebセキュリティの自動化](https://www.slideshare.net/babaroa/pythonweb-79571974/1)

<iframe src="//www.slideshare.net/slideshow/embed_code/key/unTud67f3IPSfl" width="595" height="485" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe> <div style="margin-bottom:5px"> <strong> <a href="//www.slideshare.net/babaroa/pythonweb-79571974" title="Pythonと機械学習によるWebセキュリティの自動化" target="_blank">Pythonと機械学習によるWebセキュリティの自動化</a> </strong> from <strong><a href="https://www.slideshare.net/babaroa" target="_blank">Isao Takaesu</a></strong> </div>

# Day2

## Keynote

<script async class="speakerdeck-embed" data-id="dbd62cf621814c38a974ed815fa1fe7a" data-ratio="1.33333333333333" src="//speakerdeck.com/assets/embed.js"></script>

* [Pandasコアコミッターが語る 今日から誰でも始められるOSS活動のススメ #pyconjp 2017 2日目 Keynote - Togetterまとめ](https://togetter.com/li/1148850)


## [Pythonで実現する4コマ漫画の分析・評論 2017 | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/27/)

* [Pythonで実現する4コマ漫画の分析・評論 2017 - slideship.com](https://slideship.com/users/@esuji/presentations/2017/08/FSKS46VL9ivVSpUE4Gaamh/)

### 著者自己紹介

s治さん

* [esuji5/yonkoma2data: 4コマ漫画をコマ毎に切り出すすごいやつだよ](https://github.com/esuji5/yonkoma2data)

* [スラスラわかるPython 電子書籍 ｜ 翔泳社の本](http://www.shoeisha.co.jp/book/detail/9784798154237)

### 前回のあらすじ

<iframe src="//www.slideshare.net/slideshow/embed_code/key/3uLDPfxXGGLCND" width="595" height="485" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe> <div style="margin-bottom:5px"> <strong> <a href="//www.slideshare.net/esuji/30-41-66333316" title="Pythonで実現する4コマ漫画の分析・評論" target="_blank">Pythonで実現する4コマ漫画の分析・評論</a> </strong> from <strong><a href="https://www.slideshare.net/esuji" target="_blank">esu ji</a></strong> </div>

* [Pythonで実現する4コマ漫画の分析・評論](https://www.slideshare.net/esuji/30-41-66333316)

### OpenCV : Floodfill(塗りつぶし)

* [Welcome to OpenCV-Python Tutorials’s documentation! — OpenCV-Python Tutorials 1 documentation](https://opencv-python-tutroals.readthedocs.io/en/latest/)

* [Python版OpenCV入門](http://opencv.blog.jp/python/nyumon)

* [OpenCV-Python Tutorials — OpenCV 3.0.0-dev documentation](http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html)

* [その他の画像変換 — opencv 2.2 documentation](http://opencv.jp/opencv-2svn/cpp/miscellaneous_image_transformations.html)

* [Miscellaneous Image Transformations — OpenCV 2.4.13.3 documentation](http://docs.opencv.org/2.4/modules/imgproc/doc/miscellaneous_transformations.html?highlight=floodfill)

* [OpenCV 備忘録: OpenCVのFloodfillを試してみた。](https://iwaki2009.blogspot.jp/2013/01/opencvfloodfill.html)

### Open CV : 顔認識

HOGに基づくやつかな。

* [dlibでマンガの顔認識をやってみた - TadaoYamaokaの日記](http://tadaoyamaoka.hatenablog.com/entry/2016/09/21/184955)

* [dlibで機械学習して物体検出する - Qiita](http://qiita.com/atotto/items/ef34c046c2222adf1679)

* [20160417dlibによる顔器官検出](https://www.slideshare.net/takmin/20160417dlib)

### Keras Cifar10

画像分類、顔画像から登場人物の判定に利用していた。画像の枚数が不均一すぎる & 枚数が少なめ(最大でも200枚弱/class)かなあ。

* [keras/cifar10_cnn.py at master · fchollet/keras](https://github.com/fchollet/keras/blob/master/examples/cifar10_cnn.py)

* [keras-examples/cifar10.py at master · aidiary/keras-examples](https://github.com/aidiary/keras-examples/blob/master/cnn/cifar10/cifar10.py)

* [KerasでCIFAR-10の一般物体認識 - 人工知能に関する断創録](http://aidiary.hatenablog.com/entry/20161127/1480240182)

* [Kerasを用いたCIFAR-10チュートリアル - Qiita](http://qiita.com/hiroyuki827/items/8c59cb26844b6db46f06)


## [The theory of Serverless development by Python (理論から学ぶPythonによるサーバレス開発) | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/30/)

### 資料

* [理論から学ぶPythonによるサーバレス開発 - slideship.com](https://slideship.com/users/@marcy-terui/presentations/2017/09/9PzXZzcJfBR1ENEMmMbGSf/)

### ServerlessとIoT

相性がいいらしい。

* [AWS再入門 AWS IoT編 ｜ Developers.IO](http://dev.classmethod.jp/cloud/aws/cm-advent-calendar-2015-getting-started-again-iot/)

* [Serverless Architecture Talks にて IoT + Serverless で登壇しました #gunosybeer ｜ Developers.IO](http://dev.classmethod.jp/cloud/aws/serverless-architecture-talks-iot/)

* [Trek10 | Serverless Architectures: IoT](https://www.trek10.com/blog/serverless-architectures-iot/)

### 設計指針 : Twelve-Factor App

* [The Twelve-Factor App （日本語訳）](https://12factor.net/ja/)

* [12 Factor App - モダンなサービス運営に必要な12のインフラ的要素 - Qiita](http://qiita.com/awakia/items/04135ea89be787be1cfc)

* [The Twelve-Factor App の解説 - ワザノバ | wazanova](http://wazanova.jp/items/1388)


### ログ

* [kflogs 0.1.0 : Python Package Index](https://pypi.python.org/pypi/kflogs/0.1.0)

* [marcy-terui/kflogs: Amazon Kinesis Firehose logging handler and utilities](https://github.com/marcy-terui/kflogs)


### 監視

* [RSSフィードの監視](https://docs.oracle.com/cd/E51625_01/webcenter.1111/e49667/serv_rss.htm)

* [RSS - Webサイトの変更を監視して通知したい。(33224)｜teratail](https://teratail.com/questions/33224)

* [AWS障害状況をZabbixで監視 - ike-daiの日記](http://d.hatena.ne.jp/ike-dai/20130119/1358566620)

* [NagiosでAWS障害情報(AWS Service Health Dashboard)を監視する - YOMON8.NET](http://yomon.hatenablog.com/entry/2016/08/29/223147)


## [Python におけるドメイン駆動設計(戦術面)の勘どころ | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/31/)

サンプルコード

* [ledmonster/ddd-python-inject: DDD, CQRS and Hexagonal Architecture example using inject package](https://github.com/ledmonster/ddd-python-inject)


### 戦略的側面 VS 戦術的側面

* 戦略的側面 : プロダクト全体を俯瞰するための考え方
  * 用いる用語の整理 : ユビキタス言語
  * 問題領域の整理 : コアドメイン、サブドメイン、汎用ドメイン
  * 実装するシステムの整理 : 境界づけられたコンテキスト
  * システム間の関係の整理 : コンテキストマップ
* 戦術的側面 : 個々の実装のための考え方
  * アーキテクチャ : MVC, MVVC
  * ドメインモデル : エンティティ、値オブジェクト、サービス、リポジトリ、ファクトリ、集約、ドメインイベント、などなど
  * アプリケーション : コンテキスト全体の調整役

### DDD

* [ドメイン駆動設計 - Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E9%A7%86%E5%8B%95%E8%A8%AD%E8%A8%88)

* [ドメイン駆動設計 基本を理解する](https://www.slideshare.net/masuda220/ss-59756718)

#### DDDの書籍

* [エリック・エヴァンスのドメイン駆動設計 | Eric Evans, 和智右桂, 牧野祐子, 今関剛 | 工学 | Kindleストア | Amazon](https://www.amazon.co.jp/dp/B00GRKD6XU/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1)

* [実践ドメイン駆動設計（髙木正弘 ヴァーン・ヴァーノン） ｜ 翔泳社の本](http://www.shoeisha.co.jp/book/detail/9784798131610)

### Hexagonal architecture

* [ヘキサゴナルアーキテクチャ(Hexagonal architecture翻訳)](http://blog.tai2.net/hexagonal_architexture.html)

* [Clean Architectureで分からなかったところを整理する - Qiita](http://qiita.com/gki/items/91386b082c57123f1ba0)

* [ヘキサゴナルアーキテクチャとレイヤードアーキテクチャの違いとマイクロサービス - falsandtruのメモ帳](http://falsandtru.hatenablog.com/entry/hexagonal-architecture-vs-multilayered-architecture)

* [ヘキサゴナルアーキテクチャを探る](https://www.infoq.com/jp/news/2014/11/exploring-hexagonal-architecture)

### CQRS

* [DDDで設計するならCQRSの利用を検討すべき - Qiita](http://qiita.com/ledmonster/items/22b00c65208dffeff7e4)

* [CQRSとイベントソーシングの使用法、または「CRUDに何か問題でも？」 | プログラミング | POSTD](http://postd.cc/using-cqrs-with-event-sourcing/)

* [Cutting Edge - 一般的なアプリケーション向けの CQRS](https://msdn.microsoft.com/ja-jp/magazine/mt147237.aspx)

* [データ解析のシステムからCQRSについて学ぼう｜サイバーエージェント 公式エンジニアブログ](https://ameblo.jp/principia-ca/entry-12033471463.html)

### DI

Injection必須

* [Python で DDD するなら Inject がオススメ - Qiita](http://qiita.com/ledmonster/items/3b108be6f0967bfe1093)

* [Inject 3.1.1 : Python Package Index](https://pypi.python.org/pypi/Inject/3.1.1)

* [ivankorobkov/python-inject: Python gependency injection](https://github.com/ivankorobkov/python-inject)

### ORマッパー

* [redis-pyの使い方 辞書とか - Qiita](http://qiita.com/fukkyy/items/7dc27e9fde555a459f8a)

* [redis 2.10.6 : Python Package Index](https://pypi.python.org/pypi/redis)

* [andymccurdy/redis-py: Redis Python Client](https://github.com/andymccurdy/redis-py)


## [機械学習におけるデータの再現性について | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/34/)

データサイエンスにおいて、実験の再現性を高めるための一要素である、データ取得の再現性を高めようという試み。
データをクラウド上においておき(Redshiftとか)、そこからの取得がPythonコードで簡単にできればマシになるんじゃないかという考え方をしている。

### 資料

<script async class="speakerdeck-embed" data-id="bfeed485c6e1422daca8fc212f0874ad" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>

* [機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility // Speaker Deck](https://speakerdeck.com/ayemos/machine-learning-and-data-reproducibility)


### Github

* [ayemos/akagi: Codenize your datasources.](https://github.com/ayemos/akagi)

### 自己紹介

* [クックパッドの研究開発部を、一流に押し上げたい | クックパッド株式会社](https://info.cookpad.com/careers/interview/yuichirosomeya)

* [社員インタビューマラソン vol.3 〜 染谷 悠一郎（研究開発部） 〜 - Cookpad Staff blog](http://staffblog.cookpad.com/entry/2016/11/25/112644)

* [機械学習の取り組みを次々と実装！ クックパッドの“即戦力”新卒エンジニアが活躍できる背景とは - エンジニアHub｜若手Webエンジニアのキャリアを考える！](https://employment.en-japan.com/engineerhub/entry/2017/03/24/110000)

* [iOS向け「クックパッド」アプリに料理写真を自動で記録してくれる「料理きろく」機能が追加 | Linkman](http://link-man.net/apps/ios-app/78558/)

### Boto

* [boto/boto3: AWS SDK for Python](https://github.com/boto/boto3)

* [PythonでAWS操作（主にboto3利用） | mwSoft](http://www.mwsoft.jp/programming/python/python_aws.html)

* [boto3 (AWS SDK for Python) メモ - Qiita](http://qiita.com/draco/items/8b99e5494ec5b1371f32)

* [boto3が出たので少しだけいじってみた – AWS SDK for Python | OpenGroove](https://open-groove.net/python/boto3-ec2/)

* [AWS SDK For Python (Boto3)がリリースされました！ ｜ Developers.IO](http://dev.classmethod.jp/cloud/aws/aws-sdk-for-python-boto3-released/)

### 他の手法

大規模データのバージョン管理ができればOK

#### Git LFS

* [Git Large File Storage | Git Large File Storage (LFS) replaces large files such as audio samples, videos, datasets, and graphics with text pointers inside Git, while storing the file contents on a remote server like GitHub.com or GitHub Enterprise.](https://git-lfs.github.com/)

* [git-lfs/git-lfs: Git extension for versioning large files](https://github.com/git-lfs/git-lfs)

* [大容量ファイルもGitで管理。 Git LFSの使い方](https://www.slideshare.net/hibiki443/git-git-lfs-60951449)

* [Git LFSの導入方法 - Qiita](http://qiita.com/takish/items/4b397caa5549a39a8194)

#### Data Version Control

* [Data Version Control - Make your data science projects reproducible and shareable.](https://dataversioncontrol.com/)

* [dataversioncontrol/dvc: Make your data science projects reproducible and shareable. https://dataversioncontrol.com](https://github.com/dataversioncontrol/dvc)


## [ディープニューラルネット確率的プログラミングライブラリEdward | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/36/)

### 発表資料

* [Pycon2017](https://www.slideshare.net/yutakashino/pycon2017-79579096)

### 自己紹介

* [BakFoo](http://www.bakfoo.com/)

* [Yuta Kashino(@yutakashino)さん | Twitter](https://twitter.com/yutakashino)

* [PyConJP2016: 週末サイエンティストのススメ](https://www.slideshare.net/yutakashino/pyconjp2016)

### Edward

* [Edward – Home](http://edwardlib.org/)

* [blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow.](https://github.com/blei-lab/edward)

* [確率的プログラミングライブラリEdward](https://www.slideshare.net/yutakashino/edward-76955025)

* [【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ](http://data.gunosy.io/entry/mcmc-sgld-edward)


### 変分近似, MCMC, 機械学習

* [変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/01/23/123033)

* [変分近似（Variational Approximation）の基本（２） - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/01/23/130017)

* [変分近似（Variational Approximation）の基本（３） - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/01/31/172500)

* [MCMCと変分近似 - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/02/04/201945)

* [ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/05/09/073119)

* [ベイズ混合モデルにおける近似推論① ～変分近似～ - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/07/06/200605)

* [ベイズ混合モデルにおける近似推論② ～ギブスサンプリング～ - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/07/31/192012)

* [ベイズ混合モデルにおける近似推論③ ～崩壊型ギブスサンプリング～ - 作って遊ぶ機械学習。](http://machine-learning.hatenablog.com/entry/2016/11/03/205317)

###

* [lossfunctions](https://lossfunctions.tumblr.com/)


### Metropolis Hastings

* [メトロポリス・ヘイスティングス法 - Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%A1%E3%83%88%E3%83%AD%E3%83%9D%E3%83%AA%E3%82%B9%E3%83%BB%E3%83%98%E3%82%A4%E3%82%B9%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0%E3%82%B9%E6%B3%95)

* [vol3_ch10.pdf](http://ebsa.ism.ac.jp/ebooks/sites/default/files/ebook/1881/pdf/vol3_ch10.pdf)

* [Metropolis-Hastingsアルゴリズム - Qiita](http://qiita.com/naoya_t/items/b9aa110b395d0a5b0b0a)

* [MetropolisHastingsSampling.pdf](http://www.mit.edu/~ilkery/papers/MetropolisHastingsSampling.pdf)

* [Metropolis-Hastings algorithm - YouTube](https://www.youtube.com/watch?v=VGRVRjr0vyw)

### MCMCあたりの学習方法

#### Statistical Rethinking

* [Statistical Rethinking – Richard McElreath](http://xcelab.net/rm/statistical-rethinking/)

* [rmcelreath/rethinking: Statistical Rethinking course and book package](https://github.com/rmcelreath/rethinking)

* [Statistical Rethinking - Lecture 01 - YouTube](https://www.youtube.com/watch?v=WFv2vS8ESkk)

#### トピックモデルによる統計的潜在意味解析

* [自然言語処理シリーズ トピックモデルによる統計的潜在意味解析｜コロナ社](http://www.coronasha.co.jp/np/isbn/9784339027587/)

* ["トピックモデルによる統計的潜在意味解析"を読んでLDA(Latent Dirichlet Allocation)を実装しました - EchizenBlog-Zwei](http://d.hatena.ne.jp/echizen_tm/20150321/1426952208)

* [「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」](https://www.slideshare.net/ksmzn/topicmodel)

#### David Mackay Lecture 14 of the cambridge course

* [Lecture 14: Approximating Probability Distributions (IV): Variational Methods - YouTube](https://www.youtube.com/watch?v=rkV6Wu30x4g)

* [David MacKay: Information Theory, Inference, and Learning Algorithms: Home](http://www.inference.org.uk/mackay/itila/)


### ADVI BBVI

* [（DL hacks輪読）Bayesian Neural Network](https://www.slideshare.net/masa_s/dl-hacksbayesian-neural-network)

Edwardで使っている例。

* [Questions about Edward and Stan · Issue #406 · blei-lab/edward](https://github.com/blei-lab/edward/issues/406)

### その他ライブラリ

#### Autograd

* [autograd/tutorial.md at master · HIPS/autograd](https://github.com/HIPS/autograd/blob/master/docs/tutorial.md)

* [Autogradという野郎が乗り込んできたのでガクブルな件 - Qiita](http://qiita.com/tanemaki/items/8dfb3c81a3af6feebdfe)

#### PyMC3

* [pymc-devs/pymc3: Probabilistic Programming in Python: Bayesian Modeling and Probabilistic Machine Learning with Theano](https://github.com/pymc-devs/pymc3)

* [PyMC3で簡単なMCMCチュートリアルを試したメモ - Qiita](http://qiita.com/fullflu/items/cbc6b17271b438cbe495)

* [Getting started with PyMC3 — PyMC3 3.1 documentation](http://docs.pymc.io/notebooks/getting_started.html)

* [PyMC3でMCMC入門(1) - old school magic](http://breakbee.hatenablog.jp/entry/2014/08/04/031342)


## [Pythonにおけるデバッグ手法 | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/37/)

* [PythonデバッグTips - Qiita](http://qiita.com/TakesxiSximada/items/45b6d71a44f2706798ed)

### printデバッグ

略

### pdb

* [27.3. pdb — Python デバッガ — Python 3.6.1 ドキュメント](https://docs.python.jp/3/library/pdb.html)

* [【Python】いつまでprintデバッグで消耗してるの？ - らっちゃいブログ](http://racchai.hatenablog.com/entry/2016/05/30/070000)

* [Python で標準添付の Debuggerのpdb を利用してデバッグするメモ | 技術的生存報告記](http://www.sakito.com/2012/10/python-debuggerpdb.html)

* [Pythonでpdbを使ったデバッグ - Qiita](http://qiita.com/patekawa/items/3e79fe58b3b2f14dbab5)

#### Tips

pdbはimportするのと同じ行でpdb.set_trace()

```python
import pdb; pdb.set_trace()
```

### ipdb

* [ipdb 0.10.3 : Python Package Index](https://pypi.python.org/pypi/ipdb)

* [IPythonのデバッガー(ipdb)の使い方 - Qiita](http://qiita.com/mono0926/items/c5d2c98a1e5391705665)

* [gotcha/ipdb: Integration of IPython pdb](https://github.com/gotcha/ipdb)

* [Python debugツール ipdbの紹介 - のんびりしているエンジニアの日記](http://nonbiri-tereka.hatenablog.com/entry/2014/06/22/171504)

### bpdb

* [bpdb — bpython 0.15 documentation](https://docs.bpython-interpreter.org/bpdb.html)

* [bpython/bpdb at master · bpython/bpython](https://github.com/bpython/bpython/tree/master/bpdb)

* [python - Is it possible to use bpython as a full debugger? - Stack Overflow](https://stackoverflow.com/questions/9892751/is-it-possible-to-use-bpython-as-a-full-debugger)

### pudb

* [pudb 2017.1.4 : Python Package Index](https://pypi.python.org/pypi/pudb)

* [pudbを利用したPythonスクリプトのデバッグ - TIMEZONE PST Hatena Branch](http://tzpst.hatenablog.com/entry/2014/06/24/145437)

* [Pythonメモ : フルスクリーンコンソールデバッガPuDBでデバッグ - もた日記](http://wonderwall.hatenablog.com/entry/2017/02/12/212616)

* [Python の CUI デバッガ PudB が便利すぎた件 | CUBE SUGAR STORAGE](http://momijiame.tumblr.com/post/79011616659/python-%E3%81%AE-cui-%E3%83%87%E3%83%90%E3%83%83%E3%82%AC-pudb-%E3%81%8C%E4%BE%BF%E5%88%A9%E3%81%99%E3%81%8E%E3%81%9F%E4%BB%B6)

* [CUIベースなのに無駄にビジュアルなPython用デバッガ - pudb | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記](http://coreblog.org/ats/cui-based-debugger-pudb/)

### PyCharm

* [最強のPython開発環境 PyCharmのすゝめ - Qiita](http://qiita.com/pashango2/items/de342abc10722ed7a569)

* [python_intro/IDE-PyCharm-debug.md at master · naltoma/python_intro](https://github.com/naltoma/python_intro/blob/master/IDE-PyCharm-debug.md)

* [PyCharm(2)ブレークポイント設定後デバックツールウィンドウを出す](https://p--q.blogspot.jp/2014/07/pycharm2.html)

* [PyCharm入門](https://www.slideshare.net/yuukinagai1/pycharm)

### noseでのテストと、テスト時のデバッグ

* [noseで気軽にテストを書く(+geventの場合) - Qiita](http://qiita.com/tomotaka_ito/items/1644db679264dcbb11f5)

* [Note to Users — nose 1.3.7 documentation](http://nose.readthedocs.io/en/latest/)

* [nose-devs/nose: nose is nicer testing for python](https://github.com/nose-devs/nose)

* [Python nose でユニットテストを書いてみた / 桃缶食べたい。](http://blog.chocolapod.net/momokan/entry/80)

### Jupyter Notebook

* [JupyterまたはiPython Notebookでデバッグをする方法 - Qiita](http://qiita.com/makopo/items/170c939c79dcc5c89e12)

* [How to make jupyter notebook present code while in debug? · Issue #9642 · ipython/ipython](https://github.com/ipython/ipython/issues/9642)


## Open Space

### 型アノテーション

Python v3.6.2以降で使える型アノテーションの話。[ベンリに使おう変数アノテーション - typing.pyとの楽しいお付き合い | PyCon JP 2017 in TOKYO](https://pycon.jp/2017/ja/schedule/presentation/13/)の続き。

### 資料

<script async class="speakerdeck-embed" data-id="a722621a2e484014aa938cb4d21796fa" data-ratio="1.77777777777778" src="//speakerdeck.com/assets/embed.js"></script>

* [便利に使おう変数アノテーション -typing.py との楽しいお付き合い- // Speaker Deck](https://speakerdeck.com/puhitaku/bian-li-nishi-oubian-shu-afalsetesiyon-typing-dot-py-tofalsele-siiofu-kihe-i)