Dataiku version10新機能（無償ライセンスでできるところ）

2021年12月にDataiku ver10がリリースされていました。
リリースノートをながめ、Crash Courseもやってみたので、備忘録を兼ねて「ここ変わったなあ！」というところをライトに書き残しておきます。

主に以下のCrash Course in Dataiku DSS 10で紹介されている機能について、細かい部分は端折って、ライセンス無しで使える部分に絞って記載しています。
https://academy.dataiku.com/crash-course-dataiku-dss-10


# tl;dr;
 - 分析系の機能追加
    - MLOpsを意識した感じのモデル比較機能が追加されると同時に、データドリフトが確認しやすくなりました。
    - LightGBMやdummy encoderの追加といった、データ分析コンペでよく見る手法が追加されました。
    - モデル学習のsessionをタスクキューにいれて後から実行といったことが可能になりました。
 - 地理分析系の機能が充実。
    - GeoPointにareaを定義することで、データセット間での地理情報を用いた結合が容易に行えるようになりました。
 - 可視化機能の充実
    - x軸y軸の調整やグラフの色変更といった地味だけど嬉しい機能が追加されました。
 - statisticsに追加されたSmart EDA Assistant機能が超便利そう。


# 分析系の機能追加
### モデルの比較が楽に。
Visual Analysesのメニューが増えています。
 前は、「Visual Analyses」一択でしたが、赤枠で囲んだ３つ、増えています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/a00f42c1-90d0-923a-7177-456523c92383.png)

何気に、セッションをまたぐモデルの比較や、データを変更した場合のモデルの比較は今までEvaluationでMetricsのデータセット吐くしかなかったのですが、今回Model Evaluation Storesという形で大幅に改良されました。

今までプラグインを入れて使っていたデータドリフト検出も、今バージョンからデフォルトで入っていて使いやすくなっています。
MLOpsまわりを意識しての機能拡充だと思います。
詳細は[こちら](https://qiita.com/ayoyo/items/e9c8dc49a4b5ad284818)。
 
### LightGBMがデフォルトでアルゴリズムとして選択可能に。
 コンペなどで、頻出するLightGBMがデフォルトアルゴリズムとして実装されました。あと、さりげなくDESIGNタブやRESULTタブにアイコンがついてます。
 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/8b0c0dfe-b2cd-4646-5113-486645ef3efb.png)

このアイコンは、各sessionの横にもついていたりして、特定のsessionをカスタマイズしてじゃんじゃか新しいモデルを作ることができます。

### モデルの学習をキューにいれることが可能に。
 Trainボタンの右側に▼ボタンが出現。ここから、モデルの学習をタスクキューにいれておいて、後で実行できるようになりました。順番に実行してくれるので、モデルのデザインと学習を完全に切り離して作業することが可能です。
  ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/17771a93-c8ef-0489-b3df-6df7978a38fb.png)

下図のようにキューに格納したモデルを確認可能。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/1695fece-2a2d-77e6-1c87-d4ed348024e5.png)

[TRAIN QUEUE]ボタンでキュー内のセッションを実行したり、一時停止できたりします。Macroを使った実行も可能。昼間のうちに大量にモデルを作っておいて、夜の人が少ない時にシナリオでMacro設定してトリガーかけて学習を走らせるといった使い方ができそうです。
ちなみに私の環境がプアなせいか、ちょこちょこdisconnectするなど、やや不安定でした。メモリ4Gbとかなので仕方ないかも。（公式推奨は16Gb)

### dummy encodingの種類が増えた。
 カテゴリカル変数は３種類dummy encodingが追加。こちらも、結構よく使いがちなencodingが実装されました。今までだと、Groupレシピとかを駆使してやるか、割り切ってpythonレシピでxfeat使うかみたいな感じだったと思うのですが、モデルデザインでできるのは嬉しいですね。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/275e4cb4-ed0f-e7ba-bed4-ca0aa33ec17d.png)

連続変数は1種類dummy encodingが追加。Cyclicalな変数が作れるようになりました。これで桜の開花予想もばっちり。ちなみに、dateデータだけでなく、Numericalならどのデータでも適用可能とのこと。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/86fb9e85-8707-ce15-b50d-23464ad5ca60.png)

# 地理分析系の機能が充実
 複数のGeo系データセットを結合するための機能が追加されました。これにより、例えば店舗と治安情報といった複数のGeoPointで与えられた情報を結合して可視化することが可能になりました。
以下のような３ステップで使うのが王道かと思います。

 Prepareレシピの「Create area around geopoint」で、GeoPointの周りの領域を設定
  　⇓
 GeoJoinレシピで他データセットのGeoPoint情報と結合
　⇓
 ChartのDensity Mapで表示

地理系の情報は、オープンデータがいろいろ公開されていると思うので、そのあたりと組み合わせていろいろできそうですね。

# 可視化機能の充実
待ってた・・・（血涙）、みたいな機能が追加されつつあります。

###ダッシュボード
フィルター機能が加わりました。今まで、Editボタンを押せばFilter使えますとかいう手順書を作るという無駄作業をしていましたが、もうそんなことはしなくてよいようです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/3b87f71d-15e9-8b8e-c00a-8069d2dd62bb.png)


###チャート
チャートの色を好きな色に変えられるようになりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/e2c7b3e3-4306-96e1-0bb3-e5a6ecedab0d.png)

x軸やy軸の範囲が調整できるようになりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/f8224f5e-1f9d-79c6-fea6-36bc67fa00ea.png)

でも、２軸だと、両方の軸が同じ範囲になってしまうので、使うなら単軸の時ですね。
正直、２軸の時に軸範囲がおかしくなりがちなので、それぞれの軸について範囲を設定できるとうれしいです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/d6ba65e7-fdaf-e85b-0aa7-c1642c6de20e.png)

ちなみに、ちゃんとchartが保存されないと、Publishした時に色情報がデフォルトに戻るので、使うときに少しコツがいりそうです。

# WorkSpaces機能の追加
新機能、Workspacesが追加されました。Appsにメニューが追加されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/967e135f-9772-93a0-7098-b5324d141111.png)

ダッシュボードのさらに上位版といった感じでしょうか。複数のプロジェクトをまたいで、ダッシュボードやWiki、Webappsなどを管理することができます。
今まで、複数プロジェクトのダッシュボードは別途Wikiを使ってリンク貼るなどしていましたが、これからはWorkspacesを使うこともできそう。
ただ、Objectsに対しての説明をWorkspaces上で表示できないようなので、たくさんObjectsをのせるときは、結局Readme的なWikiが必要になりそうです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/bf1f0ef4-0234-30e9-cec4-06d5a5e08ea9.png)


# StatisticsにSmart EDA Assistantが追加
データに合ったEDAを推薦してくれる機能です。
正直この機能がライセンス無しで使えるのはすごいと思いました。

各データセットのStatisticsにAutomated selectionとして追加されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/1f66af0e-8e15-d82d-9510-8003fc3fd2e8.png)

このデータならこの辺を可視化してみておくといいよ、というのを一覧で見せてくれます。好きなデータを選んで[CREATE SELECTED CARDS]をクリックすれば、Worksheetにカードが追加されます。ちなみに、Manual selectionで消えたCorrelation matrixはここに入っています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/97f13301-e1da-b65e-b8e7-edd36621511f.png)

興味のある特徴量を選択すると、その特徴量にあったカードを推薦してくれます。
さらに、各特徴量の下にある青いバー。これは、選択した特徴量との関係性の高さを、その特徴量の型に合った形で算出してくれています。ANOVAとかSpearmanとか。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/e71a2e4d-f9b4-cc0c-f7e9-bad6fc6b7bc9.png)

ちなみに、興味のある特徴量を複数選ぶこともでき、選んだ特徴量に応じたカードを推薦してくれます。３つ特徴量を選べば3Dプロットも作成できて、ぐりぐりまわしたりできます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/76d5f8db-1081-3f60-d518-276772cc2c48.png)

質的変数ならこの分析、量的変数ならこの分析みたいなのを、全部自分で考慮してEDAするのはちょっとめんどくさいのでそれが可視化まで簡単にできるのは便利ですね。

# その他気になった変更点
### データセットやレシピのSummaryが消えた
いままでExploreの左（赤四角の位置）にあった、Summaryタブが消えました。細かい説明はフローでdescriptionに記載すればよいので、Summaryはそこまで必要ないということでしょうか。（確かにあまり使いどころがない）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/ba210bb2-51f1-b850-6aed-7a376b0a6a19.png)

### Timelineの追加
各データセットやレシピにTimelineが追加され、編集履歴が見れるようになりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/106215/a3e20d17-523c-ff8c-5fc8-4f04b9d1d41c.png)

# まとめ
個人的に、一番ぐっと来た機能は、Smart EDA Assistantです。これは便利。チャートが微調整できるようになったのも嬉しいですが、まだExcelの出番は残っていそうです。
逆に、使いどころのイメージがうまくつかめないものとしては、Workspacesです。今までのWiki+ダッシュボードでも事足りそう。うまい使いこなし例が知りたいですね。homepage画面をWorkspacesにできるので、Buisinessユーザーはその形で使ってもらうとかかな。
モデル比較周りは、機能がたくさんありそうなので、別記事でまとめられたらまとめたいです。また、ライセンスが無いと使えない機能「Govern」についてもそのうち。

#参考
ちなみに、なぜかチュートリアルプロジェクトがほとんどインストールされなかったので、以下からプロジェクトダウンロードして使いました。
https://downloads.dataiku.com/public/dss-samples/DKU_TUT_CCFRAUD/dss-10.0/
https://downloads.dataiku.com/public/dss-samples/DKU_TUT_GEOJOIN/dss-10.0/