データサイエンス本部　ビジネス推進部　部長シニアデータソリューションプランナー高木宏明
◇会社名：株式会社KSKアナリティクス◇設立：2006年8月◇従業員数： 40人◇Webサイト：https://www.ksk-anl.com/ ◇所在地： (本社オフィス) -大阪市西区江戸堀1-18-35肥後橋IPビル6F (東京オフィス) -東京都中央区築地2-7-10築地シティプラザ6F ◇事業内容： -統計・機械学習を活用したデータ分析サービス-分析コンサルティング、分析ソフトウェアの販売-分析業務基盤構築、導入支援、サポート-分析教育プログラムの提供
◇主要取引先（敬称略）：
アサヒビール、味の素ゼネラルフーヅ、NRIシステムテクノ、ＮＴＴデータグループ、NTTドコモ、ＮＴＴ西日本、カルチュア・コンピニエンス・クラブ、キッセイ薬品工業、クボタ、KDDI、住友金属鉱山、ソフトバンクテレコム、トヨタ自動車グループ、日本ＨＰ、野村総合研究所、パイオニア、パナソニック、PFU、日立製作所、ファーストリテイリング、富士通、本田技術研究所、三菱電機、村田製作所、リクルートホールディングス、他
TensorFlowについて、雑誌に寄稿弊社アナリストがTensorFlowを解説『初めてのTensorFlow』出版数式なしでDeep Learningを解説・実践！青山学院大学「データマイニング」講師弊社社員が非常勤講師として「データマイニング」、 「データマイニング演習」を担当機械学習による分類モデル作成Why機械学習？ ◆人間が苦手な複雑さに対応-数値の計算にとても強いです。 ◆速くて正確-定められたロジック通りに計算します。 ◆自動化できる-その分析、あなたの手を煩わせません。機械学習の種類◆教師あり学習・状態や結果がわかっているデータから予測を行う◆教師なし学習。漠然とデータのみ存在⇒新たな知見の発見◆強化学習・試行を積み重ねてよいやり方、悪いやり方を学んでいく成功⇒報酬失敗⇒ペナルティ教師あり学習のイメージ◆回帰系(数値をあてる) ◆分類系(A or B)商品の品賞管理(センサーA) (面積) (例)土地の面積天候・気温↑地価ビールの売上↑ ⇒正常or故障(例)センサーデータ買うor買わない→購買履歴
A.  Instance based classification -時系列データを直接比較し、その距離を元に分類をする。 (部監督B.  Feature based classification -時系列データから特徴量を抽出、選択し、その特徴量の距離（乖離）を元に分類をする。参考： B. D. Fulcher, N. S. Jones, Highly Comparative Feature-Based Time-Series Classification, arXiv:1401.3531v2 Christ Maximilian, Kempa-Liehr Andreas W., Feindt Michael, Distributed and parallel time series feature extraction for industrial big data applications.arXiv:1610.07717v3
決定木(Decision Tree) 分割条件（閾値）計算の考え方スプリッドバリデーション 〜予測モデルの精度確認手法〜 ①データをモデル学習用・テスト用に分割モデル学習用:テスト用②モデル学習用データで予測モデルを構築③テスト用データの答えを隠して、作成したモデルで予測④「予測結果」と「テスト用データの答え」を比較して精度確認
accuracy: 96.57% +/- 3.43% (mikro: 96.58%)
Appendix
・学習データ量を増やす・特徴量設計・複雑なモデルを用いる(アンサンブル学習など)欠損値の補完欠損があるデータ。欠損値が発生メカニズムには以下３パターンが原因として考えられるMCAR (Missing Completely At Random)いわゆる欠損値が完全にランダムに生じているようなケース(欠損値の有無が、その他の変数や欠損値のある変数自体の値とは無関係)欠損値の有無は、ほかの変数の値と関係しているが、その変数の値とは無関係であるケース例：身体測定で体重が欠損しているが、女性に多く欠損が見られる場合などMNAR (Missing Not At Random)分析に含まれる他の変数を統制した後でも、欠損値の有無が欠損値を持つ変数自身と関係を持つケース例：IOテストの回答欄に空白が多く、IOテスト結果と欠損発生頻度で相関がある場合など多重共線性の排除(Multicollinearity、通称マルチコ) ・多重共線性：相関性が高い2つ以上の説明変数が存在する場合に起こる問題-回帰の係数などモデルが解釈困難となる(本来の意味合いと異なる方向へと係数の符号がつく等) -モデルの予測結果が不安定になる(極端な予測値がでる場合がある) -予測精度が低下する場合がある•例：身長と座高、雨天日数と総雨量
•各labelサンプルデータ数が偏りがある状態例:機械の故障予測問題では、正常稼働データは大量に取得できるが故障はめったに発生せず故障データは非常に少数・下図の場合、すべて「正常」と予測するモデルの判別精度(Accuracy)は99%となる(このような判別モデルは適切か？)故障100件
・複数の決定木を合成（アンサンブル）する手法が考案されている・決定木メリットである幅広いデータ分布の型にも対応しながら、"高い予測精度(コンテストでよく利用)" ・デメリットとしては、複数のTreeを合成することで予測の根拠が”ブラックボックス化” • Random Forest全学習データランダムにデータをランダムにデータをランダムにデータを　ランダムにデータをピックアップピックアップピックアップピックアップ各treeの予測結果を合成: Vote • Gradient Boosted Trees (XGBoost ：eXtreme Gradient BoostingはGBTの実装例) ①決定木モデルを作る②次のモデルはそれまでの誤差を少しだけ是正する③最後に全部のモデル出力を合算する分析事例Case:センサーデータによる検査機器の故障予測機器に設置した圧力計のセンサーデータを利用し、異常・故障を100％の精度で検知したい。 (1説明変数-波形分析)対象データセット■対象データセットnny www /////                  /////////正常時の波形異常/故障時の波形「データの特徴」 -圧力計データ(1説明変数) -時系列データ(波形データ)ただし周波数は設定により変動(FFT変換の手法は使用不可) -故障(異常)時は波形に"ぶれ"発生なお正常稼働データは大量にあるが異常時データは極少(不均衡データ)
■センサパターンをどう統一するか？ /// ・波形毎にSliding Windowにより要約統計量を算出し、特徴量とした・サポートベクターマシンアルゴリズムにより高速処理かつ予測精度100％達成■波形の特徴量をどう抽出するか？機械学習ソフトRapidMinerご紹介1万行まで無料で使える！！ RapidMiner Free版ダウンロード申請サイトhttp://www.rapidminer.jp/download RapidMinerブログhttp://www.rapidminer.jp/blog KSKアナリティクスイベント情報(ご紹介セミナー・トレーニング東京・大阪で定期開催) http://www.ksk-anl.com/event KSK ANALYTICSデータ分析についてお気軽にご相談下さいKSKアナリティクスビジネス推進部コーポレートサイト: http://www.ksk-anl.com/製品サイト: https://www.rapidminer.jp/メールアドレス: sales@ksk-anl.com東京オフィス:03-6228-4932 大阪本社オフィス:06-6131-6656 KSK ANALYTICS