[L1-DS]
KNIME Analytics Platform
データサイエンティスト ： ベーシック
著者：KNIME AG
翻訳：インフォコム株式会社

1

アジェンダ
１．KNIME 概要

KNIMEの概要説明、インストール / セットアップ、各画面の説明 / 基本操作方法
２．データの入力
ファイルとデータベースへのアクセス方法
３．データの操作
データの置換、結合、集計
４．ワークフローの組織化とドキュメント作成
注釈／ラベルの編集、メタノード化
５．データの可視化
散布図／棒グラフ／折れ線グラフなど、ビューの説明
６．データマイニング
決定木／回帰分析／モデルの評価／クラスタリング（k-Means）など、ビューの説明
７．外部ツールとの結合
Java／R／Python／WEBサービスとの連携

８．データ出力とデプロイメント
各種ファイルへの出力© 2021 INFOCOM CORPORATION.

2

概要
KNIME Analytics Platform

KNIME Analytics Platform とは?
▪ データを分析、加工、可視化、レポーティングするためのツール▪ グラフィカルプログラミングの枠組みに基づく▪ 多様な拡張機能を提供：▪
▪
▪
▪

テキストマイニング
ネットワークマイニング
ケムインフォマティクス
様々なツールとの統合（Java、R、Python、Weka、Keras、Plotly、H2O など）© 2021 INFOCOM CORPORATION.

4

KNIME ワークフローを見てみよう
ノード データに関するタスクを実行
未設定：設定または受信データ待ち

設定済：設定済、実行可能
入力

出力

実行済：正常終了

ステータス

エラー：エラー発生

ノードを組み合わせてワークフロー を作る© 2021 INFOCOM CORPORATION.

5データアクセス▪ データベース▪
▪
▪
▪

MySQL, PostgreSQL, Oracle
Theobald
JDBC経由 (DB2, MS SQL Server)
Amazon DynamoDB▪ ファイル▪
▪
▪
▪

CSV, txt, Excel, Word, PDF
SAS, SPSS
XML, JSON, PMML
画像、テキスト、ネットワーク

▪ その他
▪
▪
▪
▪
▪

© 2021 INFOCOM CORPORATION.

Twitter, GoogleAmazon S3, Azure Blob Store
Sharepoint, Salesforce
Kafka
REST, Webサービス

6

ビックデータ▪ Spark & Databricks▪ HDFS support▪ Hive▪ Impala▪ In-database processing© 2021 INFOCOM CORPORATION.

7

データ変換▪ 前処理▪ 行、列、表ベース▪ データの融合▪ 結合、連結、付加▪ 集約▪ グルーピング、ピボッティング、ビニング▪ 特徴作成および選択© 2021 INFOCOM CORPORATION.

8

分析とデータマイニング▪

回帰▪ 線形、ロジスティック

▪

クラス分析
▪ 決定木、アンサンブル学習、SVM、多層パーセプトロン、ナイーブベイズ▪

クラスタリング▪ K平均法、DBSCAN、階層型▪

検証▪ クロスバリデーション、スコアリング、ROC▪

ディープラーニング▪ Keras, DL4J▪

ツール
▪ R、Python、Weka、H2O、Keras© 2021 INFOCOM CORPORATION.

9可視化▪ 対話型の可視化▪ JavaScriptベースノード▪
▪
▪
▪

散布図、箱ひげ図、折れ線グラフ
ネットワーク図、ROC曲線、決定木
Plotly 連携
ノード続々開発中！

▪ Misc▪ タグクラウド、open street map(地図)、分子構造▪ スクリプトベースの可視化▪ R, Python© 2021 INFOCOM CORPORATION.

10

展開▪ データベース▪ ファイル▪
▪
▪
▪

Excel, CSV, txt
XMLPMML
出力先：ローカル環境、KNIMEサーバ、
Amazon S3, Azure Blob Store▪ BIRTレポーティング© 2021 INFOCOM CORPORATION.

11

ノードの数は2000以上！

Data Access
MySQL, Oracle, ...
SAS, SPSS, ...
Excel, Flat, ...
Hive, Impala, ...
XML, JSON, PMML
Text, Doc, Image, ...
Web Crawlers
Industry SpecificCommunity / 3rd© 2021 INFOCOM CORPORATION.

TransformationRow
ColumnMatrix
Text, Image
Time Series
JavaPython
Community / 3rdAnalysis & Mining
Statistics
Data Mining
Machine Learning
Web Analytics
Text Mining
Network Analysis
Social Media
Analysis
R, Weka, Python
Community / 3rdVisualization
R
JFreeChart
JavaScript
PlotlyCommunity / 3rd

Deployment
via BIRT
PMML
XML, JSON
Databases
Excel, Flat, etc.
Text, Doc, Image
Industry SpecificCommunity / 3rd12

KNIME Analytics Platformのインストール▪ インストールするKNIMEのバージョンを選ぶ：▪ Mac、Windows 32 or 64 bit、Linux▪ アーカイブファイルをダウンロードして展開、またはインストーラをダウンロードして実行する© 2021 INFOCOM CORPORATION.

13

KNIME Analytics Platform の起動▪ インストーラが作成したショートカットを使う▪ またはインストールディレクトリでknime.exe を実行する© 2021 INFOCOM CORPORATION.

14

KNIME Workspace▪ 実行中のKNIMEセッションでワークフローやデータを保存するフォルダ。
▪ 他システムに簡単に移植できる（KNIMEと同様）© 2021 INFOCOM CORPORATION.

15

KNIME Analytics Platform Workbench

KNIME Explorer
Node Description

Workflow CoachWorkflow Editor

KNIME Hub

Node Repository

Console & Node Monitor
Outline© 2021 INFOCOM CORPORATION.

16

KNIME Explorer▪

ローカル環境のワークフローへのアクセス▪

マウントポイントでの接続先▪

Explorer上部のツールバーには検索窓と以下のボタン▪ EXAMPLE Server▪ KNIME Hub▪ KNIME Server▪ Workflow Editor で表示しているワークフローをツリーから選択▪ ビューをリフレッシュ▪

４種類のコンテンツを格納▪
▪
▪
▪

© 2021 INFOCOM CORPORATION.

ワークフロー
ワークフローグループ
データファイル
共有コンポーネント

17

ワークフローの作成、インポート、エクスポート▪ KNIME Explorer内で右クリックして、新規ワークフローやワークフローグループを作成したり、ワークフローをインポートしたりすることができます。
▪ エクスポートする場合、ワークフローまたはワークフローグループを右クリック© 2021 INFOCOM CORPORATION.

18

Node Repository▪ すべてのKNIMEノードがリストアップされています。

▪ 検索ボックスには2つのモードがあります。
▪ 標準検索 - ノード名の完全一致▪ ファジー検索 - 最も類似したノード名を検索します。

© 2021 INFOCOM CORPORATION.

19

Description▪ Description ウィンドウには、以下の情報が表示されます。
▪
▪
▪
▪
▪

© 2021 INFOCOM CORPORATION.

ノードの機能入力と出力ノードの設定
ポート
文献の参照

20

Workflow Description▪ ワークフローを選択すると、Description ウィンドウにワークフローの情報が表示されます。
▪
▪
▪
▪
▪

© 2021 INFOCOM CORPORATION.

タイトル
説明
関連タグおよびリンク
作成日
作成者

21

Workflow Coach▪ ノードのレコメンデーションエンジン▪ ワークフローの中で次にどのノードを配置するかのヒントを与える▪ KNIMEコミュニティの利用統計とKNIME独自の利用情報に基づいています。

© 2021 INFOCOM CORPORATION.

22

Node Monitor▪ デフォルトでは、Node Monitor は、ワークフローエディターで選択されたノードの出力テーブルを表示します。
▪ 右上の3つのドットをクリックすると、フロー変数や設定などが表示されます。

© 2021 INFOCOM CORPORATION.

23

Console とその他の View
▪ コンソールは、内部で何が起こっているかについてのエラーや警告メッセー
ジを表示します。

▪ [View]をクリック、[Other...]を選択すると、さまざまなビューが追加されます。
▪ Node Monitor、ライセンス、など© 2021 INFOCOM CORPORATION.

24

ノードの挿入と接続▪ ノードをWorkspace上で挿入するには、Node Repository からノードをドラッグするか、Node Repository 内でノードをダブルクリックします。
▪ ノードAの出力ポートを左クリックし、カーソルをノードBの（一致する）入力ポートにドラッグしてノードを接続する▪ 一般的なポートタイプ。
モデル
フロー変数
画像

データ

© 2021 INFOCOM CORPORATION.

DB接続

DBデータ

25

ノードの詳細▪ ノードには４つの状態が存在：

未設定：
ノードは設定または受信データを待っている。

設定済：
ノードが正しく設定され、実行できる。

実行済：
ノードが正常に実行された。
結果を下流のノードで表示、使用できる。

エラー：
ノードの実行中にエラーが発生。

© 2021 INFOCOM CORPORATION.

26

ノード設定▪ ほとんどのノードで設定が必要▪ ノードの設定画面を表示するには▪ ノードをダブルクリック▪ 右クリック -> 設定© 2021 INFOCOM CORPORATION.

27

ノード実行▪ ノードの実行方法▪
▪
▪
▪

ノードを右クリック。
メニューから［Execute］を選択。
実行が成功した場合、ステータスは緑色に点灯。
エラーが発生した場合、ステータスが赤で点灯。

© 2021 INFOCOM CORPORATION.

28

ツールバー

ツールバーのボタンは、アクティブなワークフローで使用することができます。

最も重要なボタンは▪ 選択された実行可能なノードを実行（F7）▪ 実行可能なすべてのノードを実行▪ 選択されたノードを実行し、ファースト・ビューを開く。
▪ 選択された実行中のノードをすべてキャンセル (F9)
▪ 実行中のノードをすべてキャンセル© 2021 INFOCOM CORPORATION.

29ノードビュー
▪ ノードを右クリックすると、以下の方法で実行結果を確認できます。
▪ 出力ポート（コンテキストメニューの最後のオプション）を選択して、表や画像などを確認する。
▪ インタラクティブ・ビューを選択すると、可視化された結果がブラウザーで表示されます。

Data View

Plot View© 2021 INFOCOM CORPORATION.

30

KNIME ファイルの拡張子
KNIME Analytics Platformに関連する
ワークフローおよびワークフローグループのための専用ファイル拡張子⚫ *.knwf

KNIMEワークフローファイル用⚫ *.knar

KNIMEアーカイブファイル用© 2021 INFOCOM CORPORATION.

31

はじめに: KNIME Hub▪ 知見を共有するサイト▪
▪
▪
▪

ワークフロー
ノードコンポーネント
拡張機能

https://hub.knime.com© 2021 INFOCOM CORPORATION.

32

はじめに: KNIME Example Server
KNIME Explorer経由でアクセスできる公開リポジトリ⚫ 様々なワークフロー例がダウンロードできる⚫ KNIME Hub経由でも利用可能© 2021 INFOCOM CORPORATION.

33

ショートカットキー (参考)Task
ノード設定ノード実行

ノード接続
ノード移動とアノテーション

ワークフロー操作

メタノード© 2021 INFOCOM CORPORATION.

Hot key

Description

F6

選択したノードの設定画面を開く

F7

選択された設定ノードを実行

Shift + F7設定されたすべてのノードを実行する

Shift + F10設定されたすべてのノードを実行し、すべてのビューを開く

F9

選択された実行中のノードをキャンセルする

Shift + F9

実行中のすべてのノードをキャンセルする

Ctrl + L

選択したノードを接続

Ctrl + Shift + L

選択したノードを切断する

Ctrl + Shift + Arrow

選択されたノードを矢印の方向に移動させます。

Ctrl + Shift +PgUp/PgDown

選択したアノテーションを、重なっているすべてのアノテーションの前または後ろに移動させる

F8

選択したノードをリセットする

Ctrl + S

ワークフローの保存

Ctrl + Shift + S

開いているワークフローをすべて保存

Ctrl + Shift + W

開いているワークフローをすべて閉じる

Shift + F12

メタノード・ウィザードを開く34今日の例題今日の例題：解約予測（Churn Prediction）•

段階的にデータサイエンスアプリケーションを構築します。

•

コースの各セクションには、演習用のワークフローが用意されています。

•

演習を通じて、CRISO-DM サイクルの手順を実施します。

© 2021 INFOCOM CORPORATION.

36

今日の例題：解約予測（Churn Prediction）

データ
前処理

モデル
構築

モデル
最適化

モデル
評価

モデルトレーニング
モデルのバッグ
モデルの選択アンサンブルモデル
独自のアンサンブルモデル
外部モデル
既存のモデルのインポート
モデルファクトリー...

パラメータの調整
パラメータの最適化
正則化
モデルサイズイテレーション数...

パフォーマンス指標
精度
ROC曲線
クロスバリデーション...

展開

様々なデータ

データ操作
データブレンディング
欠損値の処理
特徴の生成
次元の削減
特徴の選択
外れ値の除去
正規化
パーティショニング
…

© 2021 INFOCOM CORPORATION.

ファイルとDBダッシュボード
REST APISQLコードのエ
クスポート
レポート作成...

37

使用するデータ▪ 演習で使用するデータファイルは、「data」フォルダに用意されています。さまざまなファイル形式のデータファイル、Webベースのデータ、データベース上のデータなどがあります。
▪ 解約予測に使用するための顧客データは提供元の異なるデータを混ぜたものです。
▪ 「Data Explorer」ノードは、データを検査するのに便利です。

© 2021 INFOCOM CORPORATION.

38

ご不明な点やご相談などございましたら、お気軽にお問合せください。
・定期開催トレーニングの開催予定一覧
https://knime-infocom.jp/news/type/training/
・トレーニングのお申し込み
https://knime-infocom.jp/trainingform/
・お問合せ先インフォコム株式会社
ヘルスケアサービス部
KNIME担当

TEL
MAIL
Web

：03-6866-3860：knime@infocom.co.jp：https://knime-infocom.jp/contact_mail/39