【王者DataRobot・最新ツールRealityEngines・無料のVARISTA 】AutoMLツールを比較してみた。【機械学習】

#はじめに⚡️
私が実際に触って、体感したことのある3つのAutoMLツールに関する記事です。
###あくまで、UI/UX、サービス視点での比較になります。
生成されたモデルの精度の比較ではございませんのでご注意ください。
なぜ、精度の比較をしないのか？🤔
それは、現在私が利用できないツールが含まれているからです。
DataRobotやRealityEnginesに関しましては、私がアーリーアクセスで一時的に利用していたため
現在推論を行うことができませんでした。

#各リンク🌍
DataRobot 👉 https://www.datarobot.com/
RealityEngines 👉 https://realityengines.ai/
VARISTA 👉 https://www.varista.ai/


#王者DataRobot
👉 https://www.datarobot.com/
<img width="1500" alt="スクリーンショット 2020-06-04 21.31.22.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/2a471cdf-6063-f5ea-6185-1f22f5534b02.png">
AutoMLの先駆者であり、王者と言えばDataRobotですね。
世界のグランドマスターを牛耳っていると言っても過言ではありません。
それにともなって、モデルの精度や機能の多さは群を抜いています。
しかし、その分コストも高く、利用料金は1ユーザー１ヶ月○百万円だとか...
導入してる会社で働いて、ガッツリ使い込んでみたいものです。

#最新ツールRealityEngines
👉 https://realityengines.ai/
<img width="1496" alt="スクリーンショット 2020-06-04 21.36.00.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/510ce851-e1ee-f841-b385-c5513f58f0b7.png">
まだ知らない方も多いのでは？
知る人ぞ知る、RealityEngines.AI
こちらのサービス、現在はまだサービスインしていなく（2020年6月現在）、つい最近アーリーアクセスを行っていたため応募して触ってみました。
テーブルデータだけでなく、自然言語や画像などのディープラーニングにも対応しているみたいです。（触ってない）

#無料のVARISTA
👉 https://www.varista.ai/
<img width="1498" alt="スクリーンショット 2020-06-04 21.40.19.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/4d954d31-a601-6963-5773-3e0d5090680e.png">
こちらも、新しめのツールVARISTA.AI
上の二つと一番違うのは、すぐに無料で使い始められることです。
UIもシンプルで機械学習がわからない人でも、とりあえずモデル生成できるよう設計されています。

#さっそく比較🚀
各ツールにグッドなところを👍でまとめていきます。
##データまわりのUI/UX
データのアップロード
###DataRobot
<img width="1670" alt="スクリーンショット 2020-04-01 19.33.12.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/163fc151-7121-06e1-8846-e92d9f5224dd.png">
**👍 エリア内にファイルをドラッグアンドドロップするほか「DataSource」、「URL」、「HDFS」に対応しています。**
**👍 サンプルファイルが下のリストから選択できるのはとてもいい機能。**
データに関する知識がそこまでない、これから機械学習を初めて行く方には、これらのサンプルデータ内から、自分たちにあったものを探して、実際に触ってみることができるのは大きいです。
###RealityEngines![スクリーンショット 2020-05-08 9.34.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/56ef836e-91de-4c4e-ce6c-6f03aa51b580.png)
**👍 ユースケースを選んでプロジェクトを作れる。**
ビジネスユーザにはとてもわかりやすい機能ですね。
![スクリーンショット 2020-05-08 9.36.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/0cf72731-469a-f5a5-20fb-0f05d59d2564.png)
ユースケースを選んでプロジェクト名を設定するとデータアップロード画面になります。
**👍 必要なデータを教えてくれる**
売り上げ予測にはこんなデータを用意してくださいっていうのを教えてくれます！神機能![スクリーンショット 2020-05-08 9.37.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/27eac663-4a38-58e9-c6ad-7ee4362420a5.png)
データの各列とアイテムID、ターゲット列などをマッピングします。

###VARISTA
<img width="1582" alt="スクリーンショット 2020-06-04 22.05.13.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/6cdd5ac0-5dbc-7967-81fc-49067c205a40.png">
**👍 UIをみていただければ分かる通り、とてもシンプル**
<img width="1672" alt="スクリーンショット 2020-06-04 22.06.34.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/65ee975b-296f-4d77-32a1-28535b6c3bcc.png">
予測したい列を選択して、単位を設定すると完了

##データの確認、分析
###DataRobot
<img width="1434" alt="スクリーンショット 2020-04-17 22.31.20.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/eb4da22a-1fc7-73d4-ac68-70f6707c3136.png">
アップロードしたデータは、このようなリストで確認できます。
必要そうな情報はだいたいありますね。
<img width="1669" alt="スクリーンショット 2020-06-04 22.10.40.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/ade7be03-9805-5640-7c91-e6a5df473c81.png">
**👍 学習を始めると、FeatureImportanceもここに表示されます。**
###RealityEngines
![スクリーンショット 2020-05-08 9.41.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/9b6e3b47-5e4b-95bb-31d8-87dfadddf72c.png)
**👍 時系列だと、アイテムごとの需要の変化が可視化されています。**
![スクリーンショット 2020-05-08 9.41.34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/49d4e01a-08c4-38fd-a736-8181e5f6972e.png)
ヒストグラム各種情報は同じように確認できます。

###VARISTA
<img width="1672" alt="スクリーンショット 2020-06-04 22.14.27.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/87a4ab2f-b3a1-8b59-fbf8-1a31f3e0cac5.png">
列の一覧が確認できます。
**👍 学習に利用するかどうか、欠損値の量が一眼でわかります。**
<img width="1674" alt="スクリーンショット 2020-06-04 22.15.40.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/44c44da4-aa76-1310-7cde-7fc1df477c40.png">
集計情報から同じように情報を確認できます。

##学習・モデル生成
###DataRobot
<img width="1424" alt="スクリーンショット 2020-04-18 13.15.46.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/ea23cf62-c70a-004d-16eb-e85d6e25f069.png">
Startボタンを押すと学習開始
<img width="1438" alt="スクリーンショット 2020-04-18 13.28.49.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/dc536ec1-48a8-6c3a-dc04-018db5e466e1.png">
学習完了したモデルからどんどん結果が表示されていきます。
**👍 アンサンブルモデルを含め、膨大な量のアルゴリズムをランキング付してくれるため、安心感があります。**

###RealityEngines
![スクリーンショット 2020-05-08 9.38.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/30bd7e72-6c52-0b72-97ad-184ae3b7f9b1.png)
Train modelボタンを押すと、学習が開始されます。
![スクリーンショット 2020-05-08 9.40.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/19c3b54a-198f-5e94-4dfc-817e75f14696.png)
学習が始まるとダイアログが表示されます。
**👍 あとは完了するまで待つだけ。**

###VARISTA
<img width="1673" alt="スクリーンショット 2020-06-04 22.24.03.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/ec66a415-066b-3b95-dfe3-0d001a573dc8.png">
学習開始ボタンを押すと学習が開始されます。
<img width="1671" alt="スクリーンショット 2020-06-04 22.24.17.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/630badb5-e28e-439c-0d10-5d48789ae94e.png">
**👍 モデルが追加され、学習プロセスがチェックできます。終わるまで待ちましょう。**

##モデル評価
###DataRobot
DataRobotのとても強いところです。
<img width="1680" alt="スクリーンショット 2020-04-17 22.45.57.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/2addc380-a53d-ecf9-6519-79789290e5f7.png">
画面は二値分類の結果画面です。
**👍 各種スコアから、Confusion Matrix, ROC Curve, Thresholdなど、必要な情報はすべてあります。**
<img width="1407" alt="スクリーンショット 2020-04-18 13.35.55.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/8655c541-133b-c39a-6607-878b922365f0.png">
**👍 回帰問題では予測値のプロットも確認できます。**
<img width="1388" alt="スクリーンショット 2020-04-18 13.55.26.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/c0959cae-3053-c131-fc5a-b41a4ce43421.png">
**👍 部分依存により、どの特徴のどの値が推論に影響を与えているかも確認できます。

###RealityEngines
**👍 とにかくシンプルです。**
![スクリーンショット 2020-05-08 9.47.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/34ea647e-550d-e4ca-1e5f-bec4b10f1b57.png)
他に情報がないのか、目を疑いました。
**👍 ターゲットとなるユーザーが機械学習エンジニアではなくビジネスユーザーのためか、細かいところはすべてツールに任せろと言わんばかりです。**

###VARISTA
みやすさ、情報量のバランスが◎
<img width="1675" alt="スクリーンショット 2020-06-04 22.41.20.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/5341c4a1-531f-fbcd-5d1b-42e0c86a7e5f.png">
**👍 スコアという概念でモデルの性能が一目瞭然**
単位がついているので誤差が理解しやすいのもいいですね。
**👍 FeatureImportanceや予測のプロットも確認できます。**
<img width="1673" alt="スクリーンショット 2020-06-04 22.44.11.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/cb3f4573-9b9f-6fcd-a65a-c26421fe6006.png">
分類問題ではわかりやすく表示された混同行列的なものも確認できます。
**👍 閾値の探索も自動でやってくれます。**


##推論
###DataRobot
<img width="1357" alt="スクリーンショット 2020-04-18 14.04.12.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/d91786b1-106a-0adc-9a3d-e13cf5a0392e.png">
利用するモデルをリストから選択し、Predictionを選びます。
次に推論データをアップロードします。
<img width="1262" alt="スクリーンショット 2020-04-18 14.12.17.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/d9e25d1a-ceb5-4711-a95d-95f725e3da23.png">
**👍 推論が実行されるので、完了したら結果をダウンロードすれば完了。**

###RealityEngines
![スクリーンショット 2020-05-08 9.51.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/43fc829a-af0d-10dc-51af-8e597bddb2e9.png)
ファイルを選択し、予測値を推論することができます。
**👍 シンプルでわかりやすい**

##VARISTA
<img width="1675" alt="スクリーンショット 2020-06-04 22.45.37.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/bcf664d9-de37-9b0e-160e-f590e5b16425.png">
推論に利用するモデルを指定して、予測を行います。
**👍 推論データに必要な列が表示されています。**
<img width="1277" alt="スクリーンショット 2020-06-04 22.46.13.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/31c1e890-613a-7e33-5613-cf42ea6cb2c4.png">
**👍 予測時のフォーマットを設定できるのはkaggleなどにSubmitするときなどに重宝するかもしれません**

##その他　それぞれ注目の機能😍
###DataRobot
**Validation Predictions**
<img width="1669" alt="スクリーンショット 2020-04-01 19.19.05.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/afd77cca-05c5-f184-aa54-c1fde419ec51.png">
**👍 見た目もかっこいいが、それだけじゃない。検証データの予測値とその結論に至った理由が明記されています。**
いわゆる決定木の通ったルートをカッコよく表示してくれる機能です。
なんでこの予測値になったのかが確認できるのは、ビジネス面でも非常に重要ですね。

**モデル比較**
<img width="1673" alt="スクリーンショット 2020-04-01 19.29.36.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/24320fd9-b671-1819-3b6e-a4872bd78353.png">
生成したモデル同士を比較することができます。
**👍 どんな点が優れているのか、どのモデルを利用するべきなのかを把握するのに使いましょう**

##RealityEngines
**フォーム入力による推論**
![スクリーンショット 2020-05-08 10.28.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/02cb5699-85b0-cb8f-4487-e9c56546ce62.png)
**👍 データからではなく、その場で値を入力し、予測値を確認できます**
どんな感じのモデルになったかすぐに確認できるので便利

##VARISTA
**クイックビジュアライズ**
<img width="1677" alt="スクリーンショット 2020-06-04 22.56.26.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/20a5d792-b3e2-d81a-26e6-f308871caeb3.png">
<img width="1677" alt="スクリーンショット 2020-06-04 22.56.40.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/81121a65-a884-f978-cba9-a165f087910e.png">
**👍 データをアップするだけで、ヒストグラム、相関関係、ヒートマップを可視化してくれます。**
文字通り何もしなくていいです。さらに、jpgやpngに書き出すことも可能。

**データリーク・過学習検知**
<img width="1269" alt="スクリーンショット 2020-06-04 22.58.48.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/b12ae38b-38e2-c756-667b-bcb41e3ffa71.png">
過学習や、データリークによって精度が異常に高くなってしまうことありますよね。
**👍 データに詳しくない人でも、何が原因でどうすればいいのか指示が出るのがすごい**

#おわり🍕
以上、３つツールを比較してみました。
それぞれとても優秀なツールでしたね。これからどんどん新しい機能が入っていくのもSaaS型ツールのいいところですね。
AutoML自体の進化にも目が離せません。
それでは良いAutoMLライフを✨