【H2O Driverless AI】超高級ツールと無料ツールAutoML比較してみた【VARISTA】

#はじめに⛵️
みなさんAutoMLは試したことありますか？
最近では様々なツールが登場してきているAutoMLですが、次の二つのAutoMLツールの比較をしていこうと思います。

**H2O Driverless AI**
[H2O Driverless AI | https://www.h2o.ai/products/h2o-driverless-ai/](https://www.h2o.ai/products/h2o-driverless-ai/)
<img width="1674" alt="スクリーンショット 2020-06-15 16.19.14.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/52da67ac-17ee-5bd0-83d2-bec2aed83a27.png">

**VARISTA**
[VARISTA.ai | https://www.varista.ai/](https://www.varista.ai/)
<img width="1648" alt="スクリーンショット 2020-06-15 16.20.27.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/a0fe52bd-591a-04c1-6f10-2cbb3ec908ad.png">


#ぶっちゃけ何が違う？🤔
なぜ、こんな記事を書いたかというと
一方のDriverlessAIさん、なんと利用するのに1ユーザー/月 何十万円〜というハイスペック高級ツールなんです。
それにくらべ、varista.aiさん、これまた驚きの無料でつかえます。※有料プランもあります。フリーミアム形態です。

この二つのツール、何ができて、何ができないの？？
モデルの精度はどうなの？といった疑問にお答えすべく、検証してみました。

#検証内容☕️
UIや機能の比較に加え、タイタニック（二値分類）、住宅価格予測（回帰予測）のスコアの比較も行ってみようかと思います。

#サービス比較
||DriverlessAI|VARISTA|
|:-----------|:--:|:--:|
|実行環境|ローカル（LINUX/Win/Mac）|クラウド|
|Pricing|有料のみ|無料/有料|

#機能比較
||DriverlessAI|VARISTA|
|:-----------|:--:|:--:|
|プロジェクト|⭕️|⭕️|
|チームワークスペース機能|？（見当たらない）|⭕️(有料プラン)|
|自動学習|⭕️|⭕️|
|データ可視化|⭕️|⭕️|
|MLI/レポート作成|⭕️||

#ML比較
###機械学習の自動化
<img width="1674" alt="スクリーンショット 2020-06-15 16.27.05.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/f40cebfb-9e60-fbb2-a692-2b3e19e5f991.png">
<img width="1674" alt="スクリーンショット 2020-06-15 16.43.18.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/2961174d-96ca-8992-db40-836f77fae798.png">

||DriverlessAI|VARISTA|
|:-----------|:--:|:--:|
|不要な列の削除|⭕️|⭕️|
|欠損地の補完|⭕️|⭕️|
|ハイパーパラメータ調整|⭕️|⭕️|
|特徴量エンジニアリング|⭕️|⭕️|
|アルゴリズム選定|⭕️|⭕️|
|モデル評価|⭕️|⭕️|
|学習の詳細設定|エキスパートセッティングで数百のパラメータが設定可能|学習レベル（５段階）、kFold、HoldoutSize、RandomSeed|

こうみるとメインの学習機能でやってくることとしてはそこまで大差ない気がします🤔
細かい詳細パラメータを自分で設定できるのはエンジニアにとっては嬉しい機能ですね。
逆に、知識がなくてもシンプルにわかりやすく使えるのも、メリットかもしれません。

###対応アルゴリズム

||DriverlessAI|VARISTA|
|:-----------|:--:|:--:|
|DecisionTree/RandomForest|⭕️|⭕️|
|FTRL|⭕️||
|LinearModel|⭕️|⭕️|
|IsolationForest(ExtraTree)|⭕️|⭕️|
|LightGBM|⭕️|⭕️|
|XGBoost|⭕️|⭕️|
|RuleFit|⭕️||
|TensorFlow|⭕️||
|CatBoost||⭕️|
|AdaBoost||⭕️|

###データ詳細確認
<img width="1674" alt="スクリーンショット 2020-06-15 16.30.36.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/b2fdd56b-5481-be26-1e88-d40c548bc3a6.png">
<img width="1674" alt="スクリーンショット 2020-06-15 16.31.23.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/eb9a440d-0f4a-a8ca-d38f-515f33c4b01e.png">

||DriverlessAI|VARISTA|
|:--|:--:|:--:|
|列の型|⭕️|⭕️|
|欠損数|⭕️|⭕️|
|平均値|⭕️|⭕️|
|最小値|⭕️|⭕️|
|最大値|⭕️|⭕️|
|標準偏差|⭕️|⭕️|
|ユニーク数|⭕️|⭕️|
|最頻値の出現回数|⭕️||
|最頻値の値||⭕️|

###データ可視化機能
<img width="1674" alt="スクリーンショット 2020-06-15 16.40.59.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/77673d7b-7869-f402-4173-72d78549d0ed.png">
<img width="1674" alt="スクリーンショット 2020-06-15 16.41.06.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/97c52f09-962b-313a-e5ed-3929832f030d.png">

||DriverlessAI|VARISTA|
|:--|:--:|:--:|
|ヒストグラム|⭕️|⭕️|
|ボックスプロット|⭕️|⭕️|
|外れ値の確認|⭕️||
|列の相関関係|⭕️|⭕️|
|クラスターの可視化|⭕️||
|ヒートマップ|⭕️|⭕️|
|欠損値ヒートマップ|⭕️||
|変換のリコメンド|⭕️||

###学習結果画面の内容の違い
||DriverlessAI|VARISTA|
|:--|:--:|:--:|
|スコア|⭕️|⭕️|
|FeatureImportance|⭕️|⭕️|
|Predictions Plot(回帰)|⭕️|⭕️|
|Residuals Plot(回帰)|⭕️||
|ROC曲線(分類)|⭕️||
|Confusion Matrix(分類)|⭕️|⭕️|
|Threshold Optimization(分類)||⭕️|

各ツール、MLI、詳細表示などでより細かな学習結果を確認することができます。

###精度
それぞれ、以下のパラメータを使用しました。
設定によってはまだまだ精度が改善できると思いますので、あくまで参考程度に✋

**タイタニック**
<img width="555" alt="スクリーンショット 2020-06-15 17.32.40.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/c29df133-406e-a798-ba97-d6261e68583c.png">
<img width="828" alt="スクリーンショット 2020-06-15 17.01.39.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/eb016b14-b1e0-6b25-4379-76dff3009f3a.png">

**住宅価格**
<img width="562" alt="スクリーンショット 2020-06-15 17.32.25.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/1d6213e1-818d-0233-7d04-02de62d39b10.png">
<img width="828" alt="スクリーンショット 2020-06-15 17.01.39.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/7a249938-1935-8420-0999-450f3b7737fb.png">

####サブミッション

**タイタニック**
<img width="977" alt="スクリーンショット 2020-06-15 17.43.53.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/f9ff63a5-8625-1915-0d22-25fad5b54a30.png">
<img width="971" alt="スクリーンショット 2020-06-15 17.45.16.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/2cc2d214-01b6-dd1c-88a7-6a027ef06ded.png">

**住宅価格**
<img width="969" alt="スクリーンショット 2020-06-15 17.46.13.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/57973c7e-ea8b-7114-95fe-673709ab7d91.png">
<img width="968" alt="スクリーンショット 2020-06-15 18.17.36.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/98c30022-3829-12d1-f8d7-102b1ef9b7fc.png">

####スコア比較
||DriverlessAI|VARISTA|
|:--|--:|--:|
|タイタニック(CategorizationAccuracy)|0.79425|**0.80382**🎉|
|住宅価格(RMSLE)|**0.12685**🎉|0.12824|

#おわり🤗
最終的なスコアに関してはそこまで大きな差はありませんでした。
設定を変えることでどちらも、より高いスコアを目指せると思います。
その際に、より専門的で細かい設定ができるのがDriverlessAIで、シンプルなのがvaristaだったとおもいます。
###まとめ
**DriverlessAI**: 超多機能、MLの知識があるエンジニア向け
**VARISTA**: シンプル且高精度、知識がなくても利用できる

参考
**H2O Driverless AI**
[H2O Driverless AI | https://www.h2o.ai/products/h2o-driverless-ai/](https://www.h2o.ai/products/h2o-driverless-ai/)
**VARISTA**
[VARISTA.ai | https://www.varista.ai/](https://www.varista.ai/)