テキスト・データを簡単にクリーン・アップしながらExploratoryのベータ版に世界中から登録してくれたユーザーの普段使っているデータ分析ツール上位ランキングを出してみた

おかげさまで現在、世界中からたくさんの人たちにExploratory Desktopのベータ・トライアルの方にサインアップしていただいています。もしまだサイン・アップしてなくて興味のある方はぜひ[こちら](https://exploratory.io/)からどうぞ。

ところで、サインアップしていただく時に、皆さんの普段使っているデータ分析ツールが何か、聞かせてもらっています。そのデータがこちらにあるので、それを元にどういったツールが今世界中で人気があるか出してみたいと思いますが、実はいくつか面倒くさい問題があります。

- カンマ区切りなので、単純にツールごとに集計できない
- フリーフォームなので、スペースがいろんなとこに入ってたり、英語の大文字、小文字が混じってて、実は同じ名前であるのに同じ名前としてカウントできない。

![favtool1.png](https://qiita-image-store.s3.amazonaws.com/0/91522/48126743-aa58-c89b-0c42-58a6fce78f9a.png)


こういったデータって結構データ分析をやっていると普通だったりするのですが、Exploratoryを使うと簡単にクリーン・アップすることができます。クリーン・アップした最後には上位ランクのデータ分析ツールを出してみたいと思います。

##1. カンマ区切りなので、単純にツールごとに集計できない

今のままだと、1つの文字列になっているため、複数のツールが書かれている場合でも別々のツールとして計算することができません。なので、str_sprit関数を使って、一つの文字列になってるものを複数の文字列に変換したいと思います。
![favtool.png](https://qiita-image-store.s3.amazonaws.com/0/91522/6cb106ce-05e6-8c64-c658-322f20a43812.png)



これは、textに対するコマンドなので、Working with Text functionを選び、str_spritを選びます。![favtool2.png](https://qiita-image-store.s3.amazonaws.com/0/91522/34a4a6a5-11e6-b503-b45a-a77ad8f529fc.png)


str_spritによって一つの文字列になってるものを複数の文字列に変換することができ、データタイプもlistになりました。

![favtool3.png](https://qiita-image-store.s3.amazonaws.com/0/91522/20670138-43db-ece5-b910-9e8dfd2e9602.png)


でも、今のままだと1行にR, Excel, tabeleau, pythonが入っていて、それぞれのツールごとの個数を計算することができます。なので、この入れ子構造になっているのを、一回ブレイクして、R, Excel, tabeleau, python をそれぞれの行に落としこむ必要があります。unnestコマンドを使うとそれをすることができます

![favtool4.png](https://qiita-image-store.s3.amazonaws.com/0/91522/ae635e87-dbc4-60f3-a77d-7e54cf23a22f.png)


カラムのヘッダーからunnestをクリックします。

![favtool5.png](https://qiita-image-store.s3.amazonaws.com/0/91522/4c8a74f7-5eb2-cbaf-4576-aec43a2b846e.png)


これで、unnestコマンドによって入れ子構造じゃなくなりましたね。

![favtool6.png](https://qiita-image-store.s3.amazonaws.com/0/91522/74c5a096-e3eb-76f7-5e7d-f8c56e25e39b.png)

##2.実は同じ名前であるのに同じ名前としてカウントできない。

この状態で、チャート画面で、一度ビジュアライズしてみます。

![favtool-chart.png](https://qiita-image-store.s3.amazonaws.com/0/91522/6de4689b-22a9-394d-3485-9815219b584a.png)

すると、上位に小文字と大文字のRがあったり、スペースが入り混じっているせいで、実は同じ名前であるのに同じ名前としてカウントできていませんね。

テーブル画面でも、同じPythonでもpythonになっていたり、Pythonになっていたり、PYTHONになっていたりして、同じPythonを表しているのに、英語の大文字、小文字が入り混じっているために同じものとして計算できなくなっています。なので、str_title関数を使って、タイトルを統一したいと思います。

![favtool7.png](https://qiita-image-store.s3.amazonaws.com/0/91522/3a0f5532-91e6-95f7-9ce5-440887408ab0.png)


これは、textに対するコマンドなので、Working with Text functionを選び、そこから、str_titleを選びます。

![favtool8.png](https://qiita-image-store.s3.amazonaws.com/0/91522/00a4856f-5d4b-524e-9e8b-72625311d5c5.png)

str_titleによって、Pythonに統一されましたね。
![favtool9.png](https://qiita-image-store.s3.amazonaws.com/0/91522/52acb147-cb2a-7dcd-0854-d3a31ecaaf62.png)


次に、このようにスペースがいろんなとこにはいっていますね。このままだと、実は同じ名前であるのに同じ名前としてカウントできません。str_trim関数を使って、スペースを取り除きたいと思います。

![favtool10.png](https://qiita-image-store.s3.amazonaws.com/0/91522/16871706-7b78-70aa-ff47-d831e0c98eaf.png)


これは、textに対するコマンドなので、Working with Text functionを選び、そこから、str_trimを選びます。

![favtool11.png](https://qiita-image-store.s3.amazonaws.com/0/91522/2ae04dcf-6462-7d93-b522-db8f48385b16.png)


str_trimによって、スペースが取り除かれましたね。

![favtool12.png](https://qiita-image-store.s3.amazonaws.com/0/91522/45dae7ba-3e14-e3af-f141-bc4861b13c07.png)



##3.上位ランクのデータ分析ツールを出す

これから、ユーザーの上位ランクのデータ分析ツールを出してみたいと思います。

Exploratoryを使って簡単にクリーン・アップすることができました。しかし、それでも、NA値と呼ばれるような、空の値などの計算することができないデータがあります。トップ５のデータ分析ツールだけを出したいので、そういう場合は、NA値を排除しましょう。

![favtool20.png](https://qiita-image-store.s3.amazonaws.com/0/91522/498fd684-ec56-dc55-fbf4-c6f392ecc3ba.png)


これは、NA値に対するコマンドなので、Working with NAを選び、そこから、Remove NAを選びます。

![favtool21.png](https://qiita-image-store.s3.amazonaws.com/0/91522/1a8e240f-34b8-40f3-1bb2-691210665318.png)


Remove NAによって、NA値が取り除かれましたね。

![favtool22.png](https://qiita-image-store.s3.amazonaws.com/0/91522/63bdf138-5d16-51ee-5450-7c0decea6f7c.png)


これで、ビジュアライズしてみます。
![favtool23.png](https://qiita-image-store.s3.amazonaws.com/0/91522/5839368f-49ec-77b3-e9d0-51011aec58d5.png)


数が多いので、上位だけにズームしてみます。上位から順に、R、Python, Excel, Tableau, Sqlであることがわかりました。
![favtool25.png](https://qiita-image-store.s3.amazonaws.com/0/91522/ebb5df1d-7318-89e6-3703-1152a48c9355.png)



RのフロントエンドとしてRの世界だけで話題になっているのかなと思っていましたが、どうやらExcel、Tableau等、既存のBIツールで提供される簡単なデータ分析以上のことをやってみたい、もしくは必要という方々も結構いるようです。

##興味を持っていただいた方、実際に触ってみたい方へ

Exploratoryは[こちら](https://exploratory.io/
)からβ版の登録ができます。こちらがinviteを完了すると、ダウンロードできるようになります。


Exploratoryの日本ユーザー向けの[Facebookグループ](https://www.facebook.com/groups/1087437647994959/members/
)を作ったのでよろしかったらどうぞ

ExploratoryのTwitterアカウントは、[こちら](https://twitter.com/ExploratoryData
)です。

分析してほしいデータがある方や、データ分析のご依頼はhidetaka.koh@gmail.comまでどうぞ