Watson Knowledge StudioのTutorialをやってみた （後編）

#はじめに（前編のおさらい）

[Watson Knowledge Studio](https://www.ibm.com/marketplace/cloud/supervised-machine-learning/jp/ja-jp)（以下、WKS）は、[IBM Watson](https://www.ibm.com/smarterplanet/jp/ja/ibmwatson/)において、特定の業界に特化して用いられる言葉のニュアンス、意味や関係を理解する機械学習モデルを、開発者と専門家が協力して作成するクラウド・ベースのアプリケーションです。

本記事は、[Watson Knowledge StudioのTutorialをやってみた （前編）](http://qiita.com/sukusuku_watson_editorial_room/private/d8407c938af47bc5ac44)に続く後編です。前回に引き続き、WKSの[チュートリアル](http://www.ibm.com/watson/developercloud/doc/wks/wks_tutorials.shtml#tut_less7)を実施していきます。

前回では、まずチュートリアルに先立ち、WKSの特色や使用の流れ、アノテーションやtype systemといった概念について解説しました。そしてチュートリアルでは、プロジェクトの作成、type systemの作成、ドキュメントの追加、ドキュメントセットの作成、辞書の追加を実施しました。

今回は、[ヒューマン・アノテーション](#チュートリアルの前に)、[辞書ベースアノテーション](#チュートリアルの前に)、[機械学習アノテーションなど](#チュートリアルの前に)、数種類のアノテーションの方法をチュートリアルを通して学習します。

#チュートリアルの前に

前回（前編）で解説した用語のひとつに、ドキュメントに対して正解データを付与する作業を意味する**アノテーション**がありました。WKSでは、このアノテーションを自動的に行ってくれる機械学習アノテーターを作成することを目指すことになります。

今回（後編）では、この機械学習アノテーターを作成するために用いる次の3つのアノテーションを、チュートリアルを通して体験します。

- **ヒューマン・アノテーション**：人間の目でドキュメントを確認し、その中の単語や関係に対して手動でentityやrelationを割り当てる方法です。ある意味もっとも確実といえる方法ですが、時間がかかったり人間ならではのミスもある方法です。複数のヒューマンアノテーターで一斉にアノテーションすることにより正確さを高めることもできますが、その場合はアノテーター間で矛盾したアノテーションをおこなう（アノテーションの競合といいます）可能性もあるため、最終的にはその競合を解消する必要があります。

- **辞書ベースアノテーション**：辞書とドキュメントを照らし合わせ、辞書にある単語がドキュメント内にもある場合、その辞書に対応するentity typeをその単語に割り当てる方法です。ドキュメントが固有名詞や特殊な用語を持つ場合に有効ですが、逆に多義語の分類を正しくできないことがあります（はし（橋）とはし（端）など）。また、辞書ベースアノテーションではrelationをアノテーションしないため、代わりにヒューマン・アノテーションにより手動で補う必要があります。

- **機械学習アノテーション**：既存のドキュメントのみをアノテーションした後、機械学習モデルを作成してアノテーションの結果を学習させ、その学習モデルを使用して後から追加した未知の新しい文書に自動的にアノテーションする方法です。学習に使用されたドキュメントと新しいドキュメントが似ている場合に有効です。

重要なのはこの3つのアノテーションの使い分けです。たとえば、辞書ベースアノテーションを事前に実施しておくことで、ヒューマン・アノテーションを行う際にドキュメントのアノテーションを一からすべて実施する必要をなくし、作業負荷を軽減する、といったことが可能になります。こうしてアノテーションしたドキュメントを機械学習させてモデルを作成したり、逆にそのモデルによって機械学習アノテーションしたドキュメントを再びヒューマン・アノテーションによって修正してモデルを再学習させることによって、機械学習アノテーターの精度を改善する、といった作業をすすめることになります。

#チュートリアル

では、前回の続きからチュートリアルを再開します。

- 前編（前回）
 - Lesson 1: ユーザーロールの割り当て
 - Lesson 2: プロジェクトの作成
 - Lesson 3: type system の作成
 - Lesson 4: ドキュメントの追加
 - Lesson 5: ドキュメントセットの作成
 - Lesson 6: 辞書の追加
- 後編（今回）
 - Lesson 7: 辞書ベースアノテーターによる事前アノテーション
 - Lesson 8: アノテーション・タスクの作成
 - Lesson 9: ドキュメントのアノテーション
 - Lesson 10: アノテーター間合意分析
 - Lesson 11: アノテーション済ドキュメント間の競合の解消
 - Lesson 12: 機械学習アノテーターの作成
 - Lesson 13: 機械学習アノテーターによる事前アノテーション

なお、Lesson 8からLesson 11は、ヒューマン・アノテーションの作業に相当します。

##Lesson 7: 辞書ベースアノテーターによる事前アノテーション

辞書ベースアノテーターを作成して、ドキュメントの事前アノテーションを行います。

>1. `Annotator Component`ページにて、`Dictionary`ボックスの`Create this type of pre-annotator`をクリックします。
> ![WS000027.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/2428f0da-506b-bd57-5a75-ac09fef0e9b8.jpeg)

>2. `Create Annotator`ページにて、前回（前編）の「Lesson 6: 辞書の作成」で作成した`Test dictionary`辞書の横のチェックボックスを選択します。選択された辞書の単語がプレビューに表示されます。
さらに、`Create`をクリックして、ドロップダウンから`Create & Run`を選択します。
> ![WS000028.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/818d3bc0-cd11-b0ba-4aea-6b0f22e5a297.jpeg)

>3. `Run Annotator`ページにて、前回（前編）の「Lesson 5: ドキュメントセットの作成」で作成した2つのドキュメントセットの横のチェックボックスを選択し、`Run`をクリックします。
>![WS000029.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/7337b068-2a99-a31c-8b66-a26a49628a2c.jpeg)
>`Annotator Component`ページに辞書ベースアノテーターが追加され、この辞書ベースアノテーターによる2つのドキュメントセット`Set1`, `Set2`への事前アノテーションが行われます。
>![WS000030.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/6456d12d-1270-a473-45d9-1318e194e10c.jpeg)

##Lesson 8: アノテーション・タスクの作成

ヒューマン・アノテーションを行うために、アノテーション・タスクを作成します。

>1. `Human Annotation`ページにて、`Add Task`をクリックします。
>![WS000031.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/b3f1cc87-7676-a369-6c9f-5242f624d38f.jpeg)

>2. タスクを表すボックスにおいて、タスクの詳細を下記のように指定し、`Add Task`をクリックします。
>  - `Enter a title`欄：`Test`
>  - `Deadline`欄：未来の任意の日付
>![WS000032.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/074c5cc6-3214-d8f1-98c2-3ca827b8a009.jpeg)

>3. `Add Document Set to Task`ウインドウにおいて、前回（前編）の「Lesson 5: ドキュメントセットの作成」で作成した2つのドキュメントセットの横のチェックボックスを選択し、`Create Task`をクリックします。
>![WS000033.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/8985f8b6-6575-d06d-85e7-872c3d4ea3ca.jpeg)
>`Test`タスクが作成され、`Human Annotation`ページの`Tasks`タブに表示されます。
>![WS000034.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/aea46df5-b928-2ebb-87e0-fbe7cc707d24.jpeg)

##Lesson 9: ドキュメントのアノテーション

ヒューマン・アノテーションを行います。
実際のプロジェクトでは、`HUMAN_ANNOTATOR`ロールを持つ複数の異なるユーザーにより多くの単語に対してアノテーションを行いますが、本チュートリアルでは話を簡単にするため、単一のユーザーにより2箇所だけアノテーションを行うことにします。

>1. `Human Annotation`ページにて、「Lesson 8: アノテーション・タスクの作成」で作成した`Test`アノテーション・タスクをクリックします。
> ![WS000034.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/aea46df5-b928-2ebb-87e0-fbe7cc707d24.jpeg)

>2. ドキュメントセット`Set 1`の横の`Annotate`をクリックします。
> ![WS000036.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/a7987e4e-b6eb-399d-5125-0b6c3c9d5bc3.jpeg)

>3. ドキュメント一覧のページにて、ドキュメント`Technology - gmanews.tv`をクリックします。 
> ![WS000037.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/1fea6e34-365c-b271-b76a-c980fd10fa1a.jpeg)

>4. アノテーションページが開きます。
![WS000038.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/71b6ec97-356d-62b1-80d9-80a7d675b1ef.jpeg)
すでに単語`IBM`が`ORGANIZATION` entity typeとしてアノテーションされています。このアノテーションは、「Lesson 7: 辞書ベースアノテーターによる事前アノテーション」にて辞書ベースアノテーターによって事前に追加されたものです。この事前アノテーションは正しいので変更の必要はありません。

>5. 左側の`Mention`アイコンをクリックし、entityのアノテーションを開始します。
>ドキュメント内のテキスト`Thomas Watson`を選択して、右の`Entity`-`Type`リストの`PERSON`をクリックします。これにより、テキスト`Thomas Watson`が`PERSON`entity typeとしてアノテーションされます。
>![WS000039.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/3c6f9f3c-2c8b-124a-54d5-f80081bb71e3.jpeg)
>※ショートカットコマンドとして、右側のリスト内のentity/relationをクリックする際、代わりにリスト内のentity/relationの左側に表示されている文字（`PERSON`entityの場合は`p`、`PRODUCT`entityの場合は`Q`など）を入力することによってもアノテーションを行うことができます。

>6. 左側の`Relation`アイコンをクリックし、ドキュメント内の2つのテキスト`Thomas Watson`と`IBM`のrelationのアノテーションを開始します。
>この2つのテキスト上部に表示されたentity typeのラベル`PERSON`と`ORGANIZATION`をこの順番で選択します。さらに、右の`Relation`リストの`founderOf`をクリックします。これにより、2つのテキスト`Thomas Watson`と`IBM`との間の関係が`fouderOf`relation typeとしてアノテーションされます。
>![WS000040.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/b6d4d08d-1a1f-b76c-4f72-3f1be7330adf.jpeg)

>7. 上部のメニューから`Completed`を選択し、`Save`をクリックします。
![WS000043.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/d991c124-7865-4143-feb9-5c4a5d5e32eb.jpeg)

>8. 戻ってきたドキュメント一覧のページにて、`Submit All`をクリックします。
![WS000044.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/c4e9b012-a340-ab12-8e64-0fd9be47680c.jpeg)

>9. ドキュメントセット`Set 2`に対しても、手順2.-8.を繰り返します。ただし、手順6.においてのみ、`founderOf`relation typeの代わりに`employedBy`relation typeを選択します。
> ![WS000045.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/ca95883c-c25c-58f3-2749-e2da35621db3.jpeg)

##Lesson 10: アノテーター間合意分析

複数のヒューマン・アノテーターによるアノテーションを比較する方法を見ます。

「Lesson 9:ドキュメントのアノテーション」により、ヒューマン・アノテーターからアノテーションが提出されました。異なるヒューマン・アノテーターが同じドキュメントに対して矛盾なくアノテーションしている（アノテーションに競合がない）かどうかを確認するには、アノテーター間合意(Inter-Annotator Agreement)スコア（以下、IAAスコア）を確認します。スコアが許容範囲内であれば、提出されたアノテーションを承認し、そうでない場合は、提出されたアノテーションを却下して、再度ヒューマン・アノテーターに差し戻します。

>1. `Human Annotation`ページにて、`Test`タスクをクリックします。
>![WS000052.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/f447bff3-b6af-e4b8-6b80-6bfc37ac5606.jpeg)

>2. 2つのドキュメントセット`Set 1`と`Set 2`の状態が`SUBMITTED`になっていることを確認した上で、`Calcurate Inter-Annotator Agreement`をクリックします。
![WS000046.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/71a024ed-730f-8867-9252-b632577d01a1.jpeg)

>3. IAAスコアを表示します。このとき、画面上部の`Mention`- `Pair`と表示されたドロップダウンを選択することで、表示を切り替えます。
>    - `Mention`/`Relation`：entity/relationごとのIAAスコアを表示
>    - `Pair`/`Document`：アノテーター/ドキュメントごとのIAAスコアを表示
>![WS000047_modified.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/df1c3171-9a39-8a0b-ff2b-a23b1ee882f3.jpeg)  
> ※上記画面では、`Mention`/`Relation`のドロップダウンで`Mention`を選択したことにより各entityごとのIAAスコアが表示され、さらに`Pair`/`Document`のプルダウンで`Pair`を選択したことによりアノテーターごとの比較をおこなっています（青枠部分に2人のアノテーターの名前が表示されます）。

>4. スコアを確認後、状態が`SUBMITTED`になっているドキュメントの隣に表示されているチェックボックスを選択して、`Approve`（承認）または`Reject`を（却下）をクリックします。本チュートリアルでは`Approve`を選択します。
>![WS000051.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/3d55bb45-b8e2-a75b-d451-6c756bacc21e.jpeg)

完全合意、すなわち2人のヒューマン・アノテーターがそのentityやrelationに対して同じアノテーションをした場合、IAAスコアは1となります。アノテーションを行わなかったものに対しては、IAAスコアはN/Aとなります。
チュートリアルの結果からは、2つのアノテーション間のIAAに関して、下記のことが読み取れます。

- `ORGANIZATION`, `PERSON`entity typeのIAAには1（`Set 1`, `Set 2`で同じアノテーションを行ったため）
![WS000048.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/df149460-078d-700e-166e-148f1cf60dd6.jpeg)

- `employedBy`, `founderOf`relation typeのIAAには0（`Set 1`, `Set 2`で異なるアノテーションを行ったため）
![WS000050.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/a2ac2984-f798-6a94-a19c-09009117c576.jpeg)

<!--
![WS000049_modified.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/3abefe49-ebc2-db69-50fa-1023a498e534.jpeg)
-->


##Lesson 11: アノテーション済ドキュメント間の競合の解消

ドキュメント間のアノテーションの競合を解消する方法を学習します。
「Lesson 10: アノテーター間合意分析」においてアノテーションを承認する場合、もしアノテーションに競合がある場合は承認前に競合を解消する必要があります。

>1. `Human Annotation`ページにて、`Test`タスクをクリックします。
>![WS000052.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/942d3f41-5507-4823-b5c5-9a7b9db059af.jpeg)

>2. 2つのドキュメントセット`Set 1`と`Set 2`の状態が`IN CONFLICT`になっていることを確認した上で、`Check Overlapping Documents for Conflicts`を選択します。
>![WS000054.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/0c53cced-c2ac-18a8-d530-14b39433911a.jpeg)

>3. `Overlapping Documents in Task Test`ページにて、1つのドキュメントの横の`Check for Conflicts`をクリックします。
>![WS000055.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/62165f8e-96ea-d6e2-e4eb-47a88ca2dd80.jpeg)

>4. `Set 1`と`Set 2`を選択して、`Check for Conflicts`をクリックします。
> ![WS000057_modified.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/c7051ea4-ed70-f014-e9ab-023b270c4fec.jpeg)

>5. 競合しているアノテーションの数を確認し、競合が存在した場合、そのアノテーションを削除または修正することにより競合を解消します。
>![WS000059.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/f4a3626c-3825-cbca-dd17-ce368fe75bce.jpeg)

>6. 他のドキュメントに対しても、手順3. ～ 7.を繰り返し、アノテーションの競合を解消します。
![WS000062.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/b474750e-e829-785c-36d8-ec085dbde2bc.jpeg)


##Lesson 12: 機械学習アノテーターの作成

機械学習アノテーターを作成し、学習を行い、その結果を確認します。

>1. `Annotator Component`ページにて`Create Annotator`をクリックします。
> ![WS000064.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/6e351959-d9b5-470d-a613-8cbdded9db7a.jpeg)

>2. `Create Annotator`ページにて、`Machine Leaerning`ボックスの`Create this type of pre-annotator`をクリックします。
> ![WS000065.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/e6fa0d29-b571-5077-dfd8-e39bf4bcc79d.jpeg)

>3. 学習に使用するドキュメントセットを指定するため、`Set 1`と`Set 2`のチェックボックスを選択します。
さらに、これらのドキュメントセットを下記3種類のドキュメントに分けるため、それぞれの割合を指定し、`Train & Evaluate`をクリックします。
>  - `Training Set`：まだ学習を行っていないアノテーターの学習を行うために使用されるドキュメントセット。
>  - `Test Set`：すでに学習を行ったアノテーターのテストを行うために使用されるドキュメントセット。
>  - `Blind Set`：アノテーターのテストと改善を何度か反復した後で、定期的にシステムのテストを行うために使用されるドキュメントセット。  
>※数値を入力するテキストボックスには推奨値（70%, 23%, 7%）がデフォルトで入力されていますが、ユーザーの判断で変更の必要がある場合には改めて入力し直します。  
> ![WS000066.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/5e4cceb7-27c3-b45c-8317-2d2f1b45fa33.jpeg)
>機械学習アノテーターの学習がはじまります。
ドキュメント内の単語の量やアノテーションの個数により、十数分から数時間程度かかることがあります。
> ![WS000067.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/edbcaac7-60c8-35c9-62a0-6b3b67480d8b.jpeg)

>4. 機械学習アノテーターの学習が終了した後、`Machine Leaerning`ボックスの`Details`をクリックします。
> ![WS000068.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/ce8d91f4-2e67-9d94-a40e-110b5862db44.jpeg)

>5. `Train/Test/Build`ページにて以下のボタンをクリックすると、それぞれ下記の操作をすることができます。
>  - `View Ground Truth`：ヒューマン・アノテーションしたドキュメントの内容の確認
>  - `View Decoding Result`：学習済みの機械学習アノテーターが行ったアノテーションの確認
> ![WS000069.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/51e8ba6d-f9a5-e186-7bed-0bb996fb632c.jpeg)
> 6. `Statistics`ページにて、各entityに対する機械学習アノテーションの精度(Precision)と再現度(Recall)、F1値（後述）といった統計情報を表示します。
> ![WS000070.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/4ca53934-dd19-8404-c944-35f255614928.jpeg)
> 7. `Version`ページでは、アノテーターとその作成に使用されたリソース（辞書やアノテーション・タスクを除く）のスナップショットを作成できます。
>たとえば、アノテーター変更前にスナップショットを作成し、アノテーション変更後に統計情報が悪い場合は、古いバージョンに戻し新しいバージョンを削除する、といった使い方ができます。
> ![WS000071.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/307acfc9-af38-25b7-1165-96caa9ca303e.jpeg)
>![WS000072.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/a0ac466c-8a83-bdfe-b378-781ea02ed151.jpeg)

なお、各entityに対するアノテーションの[精度と再現度](https://en.wikipedia.org/wiki/Precision_and_recall)、[F1値](https://en.wikipedia.org/wiki/F1_score)の定義は下記のとおりです。

|名称|変数(※)|意味|
|---|---|---|
|精度|$\displaystyle \mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$|実際にそのentityにアノテーションされた単語のうち、本来そのentityにアノテーションされるべきである単語の割合|
|再現度|$\displaystyle \mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$|本来そのentityにアノテーションされるべきである単語のうち、実際にそのentityにアノテーションされた単語の割合|
|F1値|$\displaystyle \mathrm{F1}=\frac{2\cdot\mathrm{Precision}\cdot\mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$|精度と再現度の調和平均|

※ここで、各変数の定義は以下の通りです。

|名称|変数|意味|
|---|---|---|
|True Positive|$\mathrm{TP}$|本来そのentityにアノテーション**されるべきであり**、実際にそのentityにアノテーション**された**単語の数|
|True Negative|$\mathrm{TN}$|本来そのentityにアノテーション**されるべきでなく**、実際にそのentityにアノテーション**されなかった**単語の数|
|False Positive|$\mathrm{FP}$|本来そのentityにアノテーション**されるべきでなく**、実際にそのentityにアノテーション**された**単語の数|
|False Negative|$\mathrm{FN}$|本来そのentityにアノテーション**されるべきであり**、実際にそのentityにアノテーション**されなかった**単語の数|

##Lesson 13: 機械学習アノテーターによるドキュメントの事前アノテーション

学習させた機械学習アノテーターを使用して、後から追加したドキュメントを機械学習アノテーションします。

さらに、機械学習アノテーションしたドキュメントにヒューマン・アノテーションによる修正を行い、修正したそのドキュメントを使用して機械学習アノテーターを再度学習させてみます。

>1. ドキュメント`documents-ml.csv`を追加し、下記設定でドキュメントセットを作成します（参考：Lesson 4: ドキュメントの追加、Lesson 5: ドキュメントセットの作成）。
>  - `Base Set`欄：documents-ml.csv
>  - `Overlap`欄：100
>  - `Annotator`欄：sample_user
>  - `Set Name`欄：adminSet
>![WS000079.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/287279f7-95b3-3c43-4364-2686026798bf.jpeg)

>2. `Annotator Component`ページにて、`Machine Leaerning`ボックスの`Run`をクリックします。
>![WS000080.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/bf707dd3-6a80-d069-a24b-def839ff4651.jpeg)

>3. `Run Annotator`ページにて、`adminSet`を選択して、`Run`をクリックします。
>![WS000081.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/2313f710-bc87-a798-b03d-0e6ee4432b84.jpeg)
>機械学習アノテーションが開始されます。
>![WS000082.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/e4f3ae67-182d-11c0-a660-d3477587e7fe.jpeg)

>4. 機械学習アノテーションが完了した後、アノテーション・タスク`Test2`を作成し、ドキュメントセット`adminSet`をヒューマン・アノテーションして結果を保存した後、そのDocument Setを承認します（参考：Lesson 8: アノテーション・タスクの作成、Lesson 9: ドキュメントのアノテーション、Lesson 10: アノテーター間合意分析、Lesson 11: アノテーションしたドキュメント内の矛盾の解消）。
![WS000083.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/3edf1bfc-e04d-edfe-5b18-5053ad392add.jpeg)
![WS000084.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/601183b6-cc6f-d4f3-7b2e-5496ac47408b.jpeg)
![WS000088.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/2c2ea579-7ab8-d898-91b8-0e583801cd5d.jpeg)

>5. `Annotator Component`ページにて、`Machine Learning`ボックスの`Detail`をクリックします。
>![WS000092.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/fdb9845a-43b9-df33-0a21-9e43bf07f0e7.jpeg)

>6. `Train/Test/Build`ページにて`Edit Sets`をクリックします。
>![WS000105.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/c85681ec-7988-2b8b-4ef6-87ca30e38623.jpeg)

>7. 追加したドキュメントセット`adminSet`横のチェックボックスを選択して学習データに追加し、`TRAIN`または`TRAIN & EVALUATE`をクリックします。
>![WS000095.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/11747043-1389-0822-8509-7ce11aa79df0.jpeg) 
>これにより、追加したドキュメントセットを含めて再度機械学習アノテーターの学習が始まります。

<!--
>6. `Edit Sets`をクリックし、追加したドキュメントセット`adminSet`が学習データに追加されていることを確認して、`TRAIN`または`TRAIN & EVALUATE`をクリックします。
>![WS000093.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/8c8bd643-6428-7a5c-dd28-2670e64d3dcf.jpeg)
>![WS000094.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/b20d831f-cb65-1795-2482-928ae61e1367.jpeg)
>![WS000095.JPG](https://qiita-image-store.s3.amazonaws.com/0/146022/11747043-1389-0822-8509-7ce11aa79df0.jpeg)
-->


#おわりに

前回（前編）と今回（後編）を通して、以上でWKSのチュートリアルを完了しました。type system、ドキュメントセット、辞書、アノテーションといった基本概念に始まり、アノテーションの種類（ヒューマン・アノテーション、辞書ベースアノテーション、機械学習アノテーション）、およびアノテーションの競合やその解消といった、WKSを使う上での基本的な流れをひととおりご覧いただけたかと思います。

前回（前編）で紹介したとおり、WKSで作成したモデルは、[Watson Explorer](http://www.ibm.com/smarterplanet/jp/ja/ibmwatson/explorer.html)や[Alchemy API](http://www.alchemyapi.com/)などの他の多くのWatson製品と連携することができます。これに関しては、別記事にて詳しく紹介したいと思います。

#お問い合わせ
ご質問がございましたら、こちらにもお問い合わせいただけます。

すくすくワトソン編集室: eb17685@jp.ibm.com