Watson Analyticsを無料で学んでみよう② - データの確認～色々分析してみる

何回かに分けて Watson Analytics を無料で学んでみる記事を投稿したいと思いますの第2回です。

##今回の内容
第一回（http://qiita.com/shinyama/items/3477a419fef6fc085187 ） では、Watson Analyticsでの無料アカウントの作成、ログイン、少しだけ分析ツールを動かしてみる、をやってみました。

今回は、新しいデータの取り込み、確認、色々な分析を行ってみたいと思います。

##＜手順＞
第一回の手順で、以下からWatson Analyticsにログインしてください。
https://watson.analytics.ibmcloud.com/product

「New data」をクリックします。
![001.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/dbf1d643-243b-f10c-a5d1-3cbb22a3797c.png)

この画面で、Local fileを選択すると、自分のPC上のExcelやCSVファイルをアップロードする事もできます。
適当にお持ちのデータで試して頂いても良いですが、今回はWatson Analyticsのサンプルデータを取り込む事にします。
「Sample Data」を選択します。
![002.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/9743f1aa-7281-c308-cbb6-dc9519381243.png)

サンプルのデータのリストから、下の方にスクロールして「Employee Performance.csv」を選択し、「Import」をクリックします。
ある仮想の会社ですが、そこの社員の労働状況を分析してみようかと思います。
![003.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/a1f27eea-fc48-f924-f4d0-f09869d217d2.png)

このような、地球のようなものが回っている間はしばらく待ちます。
![004.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/6f2a7142-693b-f521-2954-9ea104fd3a09.png)

こうなればインポートは成功です。
Watson Analyticsではこの様に、分析対象のデータは全てSaaSのクラウド上にアップロードしてから分析を行います。データベースに重いSQLを投げて頑張らせるのではなく、クラウド上でメモリー上でデータを取り扱い、高速に処理するという思想です。

小さい赤枠の「...」をクリックします。
![005.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/a7d119e0-250d-406b-cedf-19e9b954e156.png)

 「Refine」を選択します。Refineは、分析の前にデータを確認し、データの事前準備を行う機能です。
![006.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/8207cf15-6a48-ec6c-a5c1-684d90a62cd6.png)

このように、どういうデータがインポートされたかが見えるので、分析にどのようなデータが使えるか、この画面で何となくイメージしておきます。
赤枠の「>」をクリックします。
![007.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/24f01f05-07a6-dcbd-0af3-19f7ce2ad8ad.png)

列が多い場合、横の列も確認できます。
![008.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/fb929f83-f810-aa4c-6aa6-74f6be6110cc.png)

確認は終わりで、「Refine」は閉じます。
赤枠の「^」をクリックし「Employee Performance」の「x」をクリックし閉じます。
![009.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/07778758-2dc6-a63a-1916-57de1923b588.png)

先ほどの画面に戻りますので、今度は「Employee Performance」のタイルそのものをクリックします。
![010.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/c841166a-aab1-e948-2000-ecce3075adc5.png)

「Discover」の機能の初期画面です。データの内容をWatson Analyticsが読み取り、分析を行うスタートポイントの推奨のものが表示されていますが、ここでは一旦、下の方にスクロールします。
![011.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/59935316-b81d-a93b-11a7-3177c6f5549c.png)

「Line」を選択します。折れ線グラフになります。
![012.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/9bb7a827-f4c9-56c3-6fbf-1e4e63b455e6.png)

折れ線グラフのテンプレートが表示された画面です。
![013.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/2daf7b86-0e74-354c-5cfa-120c17d7c79a.png)

**「JobSatisfaction」というデータがありますので、「この会社での仕事の満足度は、何の要因によって決まるのだろうか」という興味のもとに分析を進めてみたいと思います。**

第1回目でやったように、下のバーから「JobRole」をx-axisに、「JobSatisfaction」をy-axisに配置します。
![014.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/5c4b5a36-63aa-3930-46f4-15096e359a95.png)

早速ですが、折れ線グラフだと分析の意図に合わないので、棒グラフに変えてみたいと思います。

赤枠の「Visualization」から「Bar」を選択します。
![015.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/ca0cf929-0f2d-c746-58b8-5340cfe0b969.png)

するとこの様に、使用しているデータアイテムは変わらないまま、棒グラフでの表示になります。
JobRoleの名称が全て見えているので、明らかに棒グラフの方が見やすいです。
とりあえず、左のウィンドウは閉じます。「Visualization」のアイコンを再度クリックします。
![016.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/8bf8d886-39b4-c997-fe05-875d59db6b5d.png)

この様に見えます。棒グラフで何が1番満足度高いのか良くわからないので、「JobSatisfaction」順にソートしたいと思います。
![017.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/a7a4f70e-5508-c4d4-3d4e-a0480bd34495.png)

X軸の「JobRole」の文字を右クリックし「Sortの>」を選択します。
![018.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/c214b642-34cd-7893-e137-0a0111b7f867.png)

「Ascending by value」を選択します。
![019.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/4cfd6d7a-63b8-70e6-cdda-60c1b394e81f.png)

以下のように「JobSatisfaction」でソートされた順になるので、「Human Resources」が最も仕事の満足度が低く、「Healthcare Representative」が最も高いことがわかります。
![020.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/6525b274-a7ef-827b-419e-fe9ec6ea5cca.png)

さらに別の要因も加えてみるとどうなるかと、「YearsWithCurrManager」、つまり今の上司と何年一緒か、というデータアイテムを「Color」においてみます。
結果はこの様な表示ですが、何となく年数が多い方が満足度が低いような、という印象を受けます。
![021.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/0c3f61f4-0fc7-6ce2-1bb7-ec26c385a758.png)

もう少し見せ方を変えてみようと、「Visualization」から「Heatmap」を選択してみます。
![022.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/1c587f51-aa40-2677-9933-f05e6366f5f3.png)

表示がこのようになりました。
右に行くほど上司との付き合いが長く、色の濃いもの程満足度が高いのですが、右に行くほど色の薄い傾向にあるような気がします。
別の分析をするため、赤枠の「+」を選択して、別タブを開きます。
![023.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/17596745-da37-770f-88bd-c5522b902d5c.png)

再度、Discoverの初期画面が表示されます。
![024.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/64635b85-0179-dc7b-0c78-af1fe639334f.png)

赤枠のウィンドウに、「What is a predictive model for JobSatisfaction?」と自然言語で打ち込んでみます。※2016年12月現在では、日本語のサポートはまだありません。
![025.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/019fd924-47c1-ddd5-5b04-1ddb28e1aae7.png)

するとこの様に、入力された自然言語の意図を理解して、推奨のスタートポイントが「JobSatisfaction」関連のものになります。
質問の仕方が難しい人のために、赤枠の「How to ask a question?」を選択します。
![026.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/1c5083ff-c9dc-be7b-2e42-a5c47fc19f56.png)

文書を全て打ち込むのではなく、このように質問のカテゴリや「and」「over」「by」などで区切った文節に、プルダウンでアイテムを選択する事で、質問を組み立てる事もできます。※ここでは説明だけで「Ask」は押しません。
とりあえず推奨された一覧の中から、左端の決定木分析のスタートポイントを選択します。
![027.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/93d43e98-39fc-1e41-8eb4-716c8b82787a.png)

分析結果が表示されますが、良くわからないので「Decision tree」の文字を選択します。
![028.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/e50affd4-3b80-78a0-6b19-658db7f6e5a1.png)

このように「決定木」が表示されます。
![029.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/6f5967a0-de9d-ea5e-1155-068d2d137739.png)

マウスの真ん中のボタンを押したまま上下で、拡大・縮小ができます。
見ていくと「Attrition」=「消耗」が大きな因子になっている事がわかります。
それはもう「消耗」している部署で満足度の高いわけが無いですよね。
また「YearsSinceLastPromotion」から、前回の昇進から、1-4年の人が最も満足度高い事がわかります。
![031.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/4b3a4698-f1d7-62ad-2f19-9d237fa22040.png)

右に行くと「TrainingTimesLastYear」つまり去年受けたトレーニングの数が3以上の人が満足度高いです。
ちゃんと教育をしてくれると、仕事に対する満足度も上がるのですね。
![032.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/a3ce14dc-1720-469f-3265-97b323bc40fe.png)

これは残念な結果です。「YearsWithCurrentManager」が、1年以内の人は、それ以上の人と比較して、圧倒的に満足度が高い結果です。
上司と長年付き合っていると、そのうち嫌になってくる、という、会社にとってはあまりうれしくない結果ですね。
![033.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/db2318cf-9e08-67a3-ccca-c372904aec3f.png)

という様に、色々とこの会社の雰囲気がわかってきたわけですが、この画面上でもWatson Analyticsが、別の分析を推奨していますので、赤枠のグラフをクリックしてみる事にします。
![034.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/93be010c-008c-bb8e-5cac-920f99feff9b.png)

これは、「未婚」「既婚」「離婚経験あり」で、満足度を見た結果ですが、○の大きさが変わらないので、この要素は満足度には影響は無いようです。
![035.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/77b6c9d6-a28c-d877-fd62-ab9d87f69c40.png)

**という感じに、色々な分析の推奨をしてくれるのが、思いがけない発見につながるかも知れない、Watson Analyticsの魅力の一つであると言えます。**

さて、今日の分析結果を保存「Save as」します。
![036.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/37d59c0d-94cc-8666-0009-9eaf1e6169dd.png)

適当な名称を付けて、保存先に「Personal」を選らんで「Save」します。
![037.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/d2f6c88f-a7d5-11d4-1acf-7e9f7edddebc.png)

TOP画面に戻り、「Discover」をクリックすると、赤枠のように先ほど保存した分析結果のタイルが表示されます。ここでは「Personal」つまり個人のフォルダにおいていますが、無料版のライセンスではなく、有料版であれば「Shared」つまり他の人と分析結果を共有する事ができるわけです。
![038.PNG](https://qiita-image-store.s3.amazonaws.com/0/147246/dbe629c5-afe4-8ebe-2e18-84938b1808f2.png)

さて、今回は以上となります。
セルフサービスBIのツールですが、**自然言語解析や推奨の機能**など、「Watson」という名前が付くツールの意味がある程度ご理解頂けたかと思います。
「Discover」の機能も、他にも表現を色々と変えれる機能がありますので、気の向くままに触ってみてください。


第7回目も投稿しましたら、こちらにリンクを貼りますのでご期待下さい。

第1回目（アカウント作成～基本のグラフ作成）のリンク
http://qiita.com/shinyama/items/3477a419fef6fc085187

第2回目（データの確認～色々分析してみる）のリンク
http://qiita.com/shinyama/items/6d2dc941f50cbc34b6ea

第3回目（Displayの機能を学ぶ）のリンク
http://qiita.com/shinyama/items/a08a0b555149b86d52a6

第4回目（データの精製）のリンク
http://qiita.com/shinyama/items/3196e0176d87217fe3f6

第5回目（統計解析の機能）のリンク
http://qiita.com/shinyama/items/e6f9d63e1d3405826402

第6回目（FAQ）のリンク
http://qiita.com/shinyama/items/a281ac355d1e216f894e