IBM Cloud Pak for Data as a Service ハンズオン資料（4.ETL編）2021年8月作成/2023年6月更新

# 4.ETL編

# Cloud Pak for Data as a Serviceハンズオンメニュー一覧
- [0.目次](https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547)
- [1.構築編](https://qiita.com/Shumpei_Kubo/items/c228b70bd33a8fce9c8f)
- [2.設定編](https://qiita.com/Shumpei_Kubo/items/6793b6759c761301b687)
- [3.分析編](https://qiita.com/Shumpei_Kubo/items/78274f839205e703a8a6)
- [3.分析編-A ダッシュボードで新型コロナの新規陽性者変遷を見る](https://qiita.com/Shumpei_Kubo/items/76144e3bf1898b7a48de)
- [4.ETL編（当記事）](https://qiita.com/Shumpei_Kubo/items/aad5aa18731224d3dfcb)
- [5.データ仮想化編](https://qiita.com/Shumpei_Kubo/items/a8e2418b171d60793cc6)
- [a.Db2へのデータロード編](https://qiita.com/Shumpei_Kubo/items/c9b51fbbe1b470e9c4ad)
- [99.動画編](https://qiita.com/Shumpei_Kubo/items/8dc1e55f62ddee859c30)


- 本記事出は、サンプルのETLジョブを作成して処理する手順を記載しています。
- ETL機能であるDatastageの公式ドキュメントとしては[こちら](https://dataplatform.cloud.ibm.com/docs/content/dstage/dsnav/topics/datastage.html?context=wdp&audience=wdp)を参考にして下さい。

- また、本記事では[こちらのチュートリアル（英語版）](https://developer.ibm.com/tutorials/getting-started-using-the-new-ibm-datastage-saas-beta-service/)に従って実施します。


# 1.サンプルプロジェクトを作成

- プロジェクトの一覧画面（すべてのプロジェクトを表示）から、「新規プロジェクト」をクリック。
![スクリーンショット 2021-08-01 14.06.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5282faf9-f8ce-5fb2-d94c-42faf0120a6c.png)

- 「サンプルまたはファイルからプロジェクトを作成」を選択。
![スクリーンショット 2021-08-01 14.07.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/3a1a52c4-0f3a-6c38-3715-a4aba5ebd861.png)

- 「サンプルから」タブをクリックし、「COVID-19 Tracking with IBM Datastage」を選択。
![スクリーンショット 2021-08-01 14.09.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/4ab50360-dff3-ba1e-1d11-d89cfd56f0e7.png)

- 「作成」ボタンをクリック。
- なお、作成ボタンが青くない場合は、「コラボレーターになれるユーザーを制限する」のチェックボックスをオフにしてからオンにすると、青くなるかもしれません。
![スクリーンショット 2021-08-01 14.11.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/4c32ef10-df4b-a4df-d4b2-471488e7c880.png)

- 作成を待ちます。
![スクリーンショット 2021-08-01 14.11.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/138057a4-3957-4486-8dbf-4e4240414e50.png)

- 作成されたようなので、「新規プロジェクトの表示」をクリックします。
![スクリーンショット 2021-08-01 14.13.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/f9bd0e51-9559-24c9-e4c0-ddba21cb5841.png)


- サンプルプロジェクトが表示されました。これは「概要」タブです。
![スクリーンショット 2022-03-11 16.30.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/d37af40a-c910-642b-1f90-3c5e97328287.png)

- すべて英語ですし長いですが、時間があればREADME を読んで概要を理解してみましょう。
![スクリーンショット 2022-03-19 22.21.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/7f8e4fac-dded-01bd-06f1-f284de53eabe.png)
- 要約すると以下のようなことが記載されています。
    - DatastageはETL/ELTを実現します。
    - COVID19の2つの症例データを使用します。
        - 大学でのCOVIDの症例数のデータ：[colleges.csv](https://github.com/nytimes/covid-19-data/tree/master/colleges)
        - 郡レベルでの症例数の時系列データ：[counties.csv](https://github.com/nytimes/covid-19-data/)
    - これらを結合して、その結果をジョブログで確認する、というのがこのフローの内容です。
    - 参考までに、[サポートされるデータソースのリンク](https://dataplatform.cloud.ibm.com/docs/content/wsj/manage-data/datastage-connectors.html)も記載されていました。これもちょっと見てみましょう。


# 2.Datastageフローを確認

- 「資産」タブには「接続」が２つと「DataStageフロー」、あと説明用のPDFが保存されています。
    - 2つの「接続」は、すでにDatastageフローの中に組み込まれています。
- PDFは、時間があるときに読んでみましょう。
![スクリーンショット 2022-03-11 16.35.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/42fac54b-0636-5ea7-0f9e-87c258365d82.png)

- ここでは「Datastageフロー」をクリックして中身を見てみましょう。

![スクリーンショット 2022-03-20 22.25.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/63950008-3ba3-95a7-683a-b75b88cebf7d.png)


## 2.1.接続先データ（コネクター）確認

### 2.1.1.Colleges アイコン確認
- まず、個別の中身を見ていきます。左上の「Colleges」アイコンをダブルクリックしてみます。
![スクリーンショット 2022-03-19 23.37.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/9ec67419-5fcf-cab0-f3b9-70b4e98df2f9.png)

- 画面右側のCollegesの「ステージ」タブのプロパティーをクリックし、「接続の選択」が「COVID Tracking Colleges」になっていることを確認。
![スクリーンショット 2021-08-01 14.35.43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/de50c82a-271f-287e-6539-2ea8defe1faa.png)

- 「Preview data」をクリックし、データの中身を確認。「クローズ」をクリックして閉じる。
![スクリーンショット 2021-08-01 14.40.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/b2ccbd05-c7ab-c99a-82db-7e57e46c0fc2.png)

- 各列の意味については、[こちらのサイト](https://github.com/nytimes/covid-19-data/tree/master/colleges)の「Data」の箇所から引用しますが、以下のとおりです。
    - date: The date of the last update.
    - state: The state where the college is located.
    - county: The county where the college is located.
    - city: The city where the college is located.
    - ipeds_id: The Integrated Postsecondary Education Data System (IPEDS) ID number for the college.
    - college: The name of the college or university.
    - cases: The total number of reported Covid-19 cases among university students and employees in all fields, including those whose roles as doctors, nurses, pharmacists or medical students put them at higher risk of contracting the virus, since the beginning of the pandemic.
    - cases_2021: The total number of newly reported Covid-19 cases since Jan. 1, 2021 only. notes: Specific methodological notes that apply to the institution, for example if the count includes cases from a medical unit, and if there is a possibility that duplicate cases have been counted due to the manner in which the institution reports data.


- 続いて、「出力」タブをクリックし、「列」をクリック。出力される列が確認できます。
![スクリーンショット 2021-08-01 14.46.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5e99db3a-5f3d-70d0-06fc-df41ccc857ac.png)


### 2.1.2.FIPS アイコン確認
![スクリーンショット 2022-03-19 23.38.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a2f47dbf-86ec-9595-da98-a90a81374801.png)

- 同じく画面中央下部の「FIPS」アイコンをクリックします。
- 「接続の選択」で「COVID Tracking ：FIPS」が選択されていることを確認します。
- なお、FIPSとは、Federal IOnformation Processing Standards の略で、FIPSコードはアメリカの地域を表すコードです。counties.csvでは郡レベルのコードまで確認できます。
![スクリーンショット 2021-08-01 14.42.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/03210a0b-b7b0-152c-3792-c1dd4ee6fdae.png)

- 「Preview data」をクリックし、データの中身を確認。「クローズ」をクリックして閉じる。
![スクリーンショット 2021-08-01 14.43.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/37fec2b8-7eec-0471-4aa2-61273f55e062.png)
- 各列の意味については、[こちらのサイト](https://github.com/nytimes/covid-19-data/)の「Live Data」の箇所から引用しますが、以下のとおりです。
    - cases: The total number of cases of Covid-19, including both confirmed and probable.
    - deaths: The total number of deaths from Covid-19, including both confirmed and probable.
    - confirmed_cases: The number of laboratory confirmed Covid-19 cases only, or blank if not available.
    - confirmed_deaths: The number of laboratory confirmed Covid-19 deaths only, or blank if not available.
    - probable_cases: The number of probable Covid-19 cases only, or blank if not available.
    - probable_deaths: The number of probable Covid-19 deaths only, or blank if not available.



- 続いて、「出力」タブをクリックし、「列」をクリック。出力される列が確認できます。
![スクリーンショット 2021-08-01 14.47.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/26d6aa67-88fa-3d83-9370-2a00dc0d64c9.png)


## 2.2.ステージ確認
- 続いて、データソースからのデータを処理する各ステージの中身を確認します。


### 2.2.1.Filter アイコン確認

![スクリーンショット 2022-03-19 23.42.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/074059b4-3cd6-6fcd-2729-877d68d0cfc0.png)

- 続いて、「College」アイコンの先にある「Filter」アイコンをクリックして中身を確認します。「ステージ」タブの「プロパティー」をクリックします。
- フィルターの基準がcity='Providence'であることが確認できます。これはRhode Island州の州都であるProvidence市に結果を絞り込むという意味です。
![スクリーンショット 2021-08-01 14.50.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/bf525842-45e2-62a0-9fcd-65a2b27d2ab1.png)


### 2.2.2.Modify アイコン確認

![スクリーンショット 2022-03-19 23.44.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/e06c8544-ed56-f1e9-b6ba-cbd32e5a3b16.png)

- 続いて、「FIPS」アイコンの先にある「Modiry」アイコンをクリックして中身を確認します。「ステージ」タブの「プロパティー」をクリックします。

![スクリーンショット 2022-03-20 0.04.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5356b136-a327-0e7d-0466-67015e17f32b.png)

- 「仕様」欄に、このステージでの処理内容が記載されています。「date」「cases」「state」列を削除していることがわかります。

- 「入力」タブを見てみると、「date」「cases」「state」列が記載されていますが、
![スクリーンショット 2022-03-20 0.11.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/f7058960-22bb-98ac-6031-ef590332081b.png)
![スクリーンショット 2022-03-20 0.11.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/2af63e60-b415-4a17-01b3-2f8c7a99e81d.png)

- 「出力」タブを見てみると、「date」「cases」「state」列が削除されています。
![スクリーンショット 2022-03-20 0.12.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/beb672d8-95bf-8051-4dfa-f94346c61960.png)



### 2.2.3.Join アイコン確認
- 「ステージ」タブの「プロパティー」をクリック。結合キーとして、「country」が設定されていることが確認できます。
![スクリーンショット 2021-08-01 14.53.31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/d9c4fb78-93a3-14f5-3ec0-2317db708ada.png)

- Joinの方法として左上部（Left Outer Join ）の設定になっています。
![スクリーンショット 2021-08-01 15.50.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5966bdcc-1df6-631a-f35d-fca6c6612e98.png)

- 「ステージ」タブの「リンク順序」をクリックすると、どちらの入力が右か左かが確認できます。
- 今回、左側にあるのは、「Link_2」つまり「College」を修正した「Filter」からのリンクになります。

![スクリーンショット 2022-03-21 18.30.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/7a0e9a00-c58d-e6e4-31c3-2b472cbc5635.png)

![スクリーンショット 2022-03-21 18.32.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/8684589e-4432-014d-6999-13e555713c85.png)




## 2.3.ジョブの保存・コンパイル・実行

- 画面左上の「保存」ボタンでジョブを保存します。
- 画面左上の「コンパイル」ボタンでジョブをコンパイルします。
![スクリーンショット 2021-08-01 14.59.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/160623ee-7d2e-20dc-d278-6b1112dd74b6.png)

- （コンパイルに成功した旨のメッセージが出たら）画面左上の「実行」ボタンでジョブを実行します。
![スクリーンショット 2021-08-01 15.01.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/0ad350a1-a41a-aa76-dc24-f05f7686b514.png)


- 画面右上に実行状況が出ます。（実行依頼済）
![スクリーンショット 2021-08-01 15.01.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/31b76514-6570-d27e-db8f-6a93cb0686b8.png)

- （実行中）
![スクリーンショット 2021-08-01 15.01.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/aedd8280-5db5-f47f-293d-087b4aa7ec8e.png)

- 実行が完了しました。
![スクリーンショット 2021-08-01 15.02.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/f7846d31-0762-0324-6149-6c1329d5da53.png)

- 「ログの表示」をクリックすると、ログが表示されます。下方へスクロールしてみましょう。
![スクリーンショット 2023-06-13 9.30.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/432a0315-c111-09d5-c07a-095858d88d0a.png)


- 「Peek,1」のログの箇所で、Left Outer Joinされた結果が出力されています。
![スクリーンショット 2023-06-13 9.31.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/f51411e9-8d03-2a98-79bd-0a84308f65f7.png)





## 2.4.ジョブの修正・コンパイル・実行

### 2.4.1.削除する列を追加する

- 「Join」ステージでは、今回、Collegeが左、Countiesが右で、Left　Outer　Joinしていました。
- つまり主なデータをCollegeとして、FIPS側にある、条件に合致するデータを付与する形です。
- College側に、Counties側の情報「FIPS」を付与する、と考えた場合、余分な列は、「date」「cases」「state」以外にも有る為、ここでは削除する列を、以下の通り追加したいと思います。

- 編集する箇所は、「Modify」ステージです。ダブルクリックして、「プロパティ」の「オプション」→「仕様」箇所の「編集」をクリックします。

![スクリーンショット 2022-03-22 9.31.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/d9c5b770-b42c-5ea5-7460-9d8d33f8f71a.png)

![スクリーンショット 2022-03-22 9.33.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/7e732612-3951-1c20-74d5-2dd9a13ea38e.png)


- 「Modify」ステージにて、以下が、元々の記載（date,cases,state をdropする）ですが、
    - 「drop date, cases, state」
- 今回、以下のように削除対象の列を追記します。
    - 「drop date, cases, state, deaths, confirmed_cases, confirmed_deaths, probable_cases, probable_deaths」
![スクリーンショット 2022-03-21 23.27.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/736c2de2-1946-cee0-b35f-c72345460ff6.png)

- 編集後、「適用して戻る」をクリックします。
![スクリーンショット 2022-03-22 9.35.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/9c99861a-19e0-f281-4085-ee41bdda3e74.png)



- 続いて、「出力」タブをクリックし、「列」の箇所の「編集」をクリックして、出力対象の列を修正します。
![スクリーンショット 2022-03-22 9.58.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/3820ea6c-9bfe-b1eb-0fc2-fa6e3ba7af4a.png)

- 列名のあたりがごちゃごちゃしていますので、ブラウザのズームでひとまず調整しましょう。50%くらいまでズームアウトするときれいには表示されます。
    - 100%の場合
![スクリーンショット 2022-03-22 10.15.06.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c942e8ce-1908-59c4-7936-0adb8448fcb3.png)
    - 50%の場合
![スクリーンショット 2022-03-22 10.15.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c5c11b34-7aa8-9d97-b3bb-bcdd29d57130.png)

- 今回、必要な列としては「county」「FIPS」のみですので、それ以外の「deaths」「confirmed_cases」「confirmed_deaths」「probable_cases」「probable_deaths」を削除するために、チェックボックスをクリックします。
![スクリーンショット 2022-03-22 10.18.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/fcda0709-d8fe-09a8-a937-f75383c51651.png)

- 画面右上のゴミ箱のボタンをクリックし、対象の列を削除します。
![スクリーンショット 2022-03-22 10.21.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/adb7c2d0-4e12-0a0a-258d-6b1ab28af130.png)

- 選択した列が削除されました。「適用して戻る」ボタンをクリックします。
![スクリーンショット 2022-03-22 10.22.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a630961b-ce50-b291-11dd-6ac0e7302e69.png)

- 「Modify」ステージの「出力」タブの列が、「county」「FIPS」以外が削除されていることを確認し、「保存」をクリックします。
![スクリーンショット 2022-03-22 10.27.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/dc96f02d-9b75-248e-5799-e94bb3432216.png)


- 画面右上で「保存中」と表示されていることを確認します。
![スクリーンショット 2022-03-22 9.37.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/84fd4050-18a1-8160-6ad8-1a450e75a9d5.png)

- 保存完了後、画面上部の「コンパイル」ボタンをクリックして、編集後の設定を実行可能な状態にします。
![スクリーンショット 2022-03-22 9.40.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/205b46be-1ed4-4520-bf49-353c45acacac.png)

- コンパイルが正常に完了したことを確認し、画面上部左側の「実行」ボタン（あるいは薄緑色のメッセージ右側の「ジョブの実行」）をクリックして、設定したジョブを実行します。
![スクリーンショット 2022-03-22 9.41.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c0264425-7837-b6b1-9e17-24d531592c2d.png)

![スクリーンショット 2022-03-22 9.41.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/7d646be7-5d2c-1a28-0a1c-c66ad74b29ee.png)

- ジョブの実行中です。
![スクリーンショット 2022-03-22 9.47.52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/6643c854-6c5e-65f1-b22a-a96fe7202ef4.png)

![スクリーンショット 2022-03-22 9.48.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c1819833-1270-327c-40a5-81f99b07d95f.png)

- ジョブが完了しました。ジョブのログを確認してみます。「ログの表示」或いは、画面右上の「ログ」ボタンをクリックします。

![スクリーンショット 2022-03-22 10.30.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/d36b1c3d-aa25-1714-6eae-7a6a85933a57.png)

![スクリーンショット 2022-03-22 9.50.13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5c3010a2-154b-092c-af0e-bb18f705a8ad.png)



- なお、参考までに、「Modify」ステージで出力列を編集せずにコンパイル・実行した場合にも正常に終了しますが、（警告有り）表示となります。
- これは、出力列が定義されていながら、実際にはその列がDropされている為です。
![スクリーンショット 2022-03-22 9.49.33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/467896d6-d785-61a8-9848-c116b9d7d235.png)


- ジョブログ画面が表示されます。
- 画面を下の方へスクロールさせていきます。
![スクリーンショット 2022-03-22 10.35.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/797ac9d9-e8d3-cbdc-39ff-b89cf8ac2f18.png)

- 「Peek,1」という名前のログを確認します。右へスクロールすると、「FIPS」も付与されていることがわかります。
![スクリーンショット 2023-06-13 9.33.13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/1972bcdb-8bd5-55ab-270d-c572af836daf.png)



### 2.4.2.アウトプット先の変更

#### 2.4.2.1.csvファイルへの書き出し

- コネクターの中から、「Sequential File」 を選択してキャンバスへ引っ張ってきます。
    - 画面左上の検索窓に、「Sequential」と入力しようとすると、表示されてきます。

![スクリーンショット 2023-01-24 10.45.44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/dced629a-951f-a88d-adf6-0929dc5ca645.png)
---
- キャンバスへドラッグ＆ドロップします。
    - キャンバス上では「Sequential_file_1」として表示されます。名前は自由に変更できますが、ここではそのままにしておきます。

![スクリーンショット 2023-01-24 10.47.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/e18b2750-e987-151b-28bd-32b96b3a6317.png)
---
- 「Peek 1」から線を引っ張って「Sequential_file_1」へひっつけます。

![スクリーンショット 2023-01-24 10.47.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/ead9e7bf-56ac-351a-3856-7781a2ddaa49.png)

---
- 「Sequential_file_1」をダブルクリックして、内容を表示させます。
![スクリーンショット 2023-01-24 10.59.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/559e2ad1-296c-09a4-2d01-6325c09503f0.png)


---
- 「入力」タブに移動し、入力名が「Link_6」（このSequential_Fileを向いている矢印）であることを確認します。
- 「プロパティー」欄の下矢印をクリックします。
![スクリーンショット 2023-01-24 11.01.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/18efe8c7-b9aa-1687-d83a-a7100d57deee.png)


---
- 入力対象となるファイルを設定していきます。
![スクリーンショット 2023-01-24 11.05.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/1ffb3d48-8cd0-2fea-1f1e-daeae51b3c28.png)

---
- ファイル名を入力します。（この例では「demo_seq_file1.csv」としています。）
- 「データ・アセットの作成」にチェックボックスを入れます。
- 「ファイル更新モード」は、今回は「上書き」から「追加」に変更してみます。
- 「書き込み方式」は「特定のファイル」を選択します。
- 以降の項目は、そのままで構いません。
![スクリーンショット 2023-01-24 11.10.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/819479e7-05c6-615b-6562-c51a47b93760.png)


---
- 画面を下にスクロールすると、列情報も編集できますが、今回はそのままにしておきます。
- 「保存」をクリックします。
![スクリーンショット 2023-01-24 11.12.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/6ee3952a-480e-583c-d8cd-f1f14734e3bd.png)


---
- キャンバスでは自動的に保存されます。（画面右上に「保存中・・・」の表示あり）
![スクリーンショット 2023-01-24 11.13.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/16777948-49e0-6f7f-1e12-b5ccde779d93.png)


---
- 画面上部の「実行」ボタンをクリックします。実行の前提となる「保存」「コンパイル」も併せてフローが実行されます。

![スクリーンショット 2023-01-24 11.16.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/2b9111f8-acb7-d9b6-8ad7-77b7ca1b2407.png)

![スクリーンショット 2023-01-24 11.19.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/762abff8-a54a-042c-c058-04394731b860.png)

![スクリーンショット 2023-01-24 11.19.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/00bbf99a-3b81-3568-6d06-b4f0cfa6c9e6.png)

![スクリーンショット 2023-01-24 11.20.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/78eceb65-48f1-a810-6e04-8344c717d6eb.png)


---
- 処理が終了しました。一部警告があるようです。
- 警告内容については、「ログの表示」をクリックしてみてみましょう。

![スクリーンショット 2023-01-24 11.21.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/91660614-2396-e478-8396-63acbe6b7feb.png)

---
- 画面右下に、黄色い三角の警告マークがあります。これをクリックして警告内容を確認します。
![スクリーンショット 2023-01-24 11.22.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/60fafc23-ebd0-f659-b62a-81d845871c91.png)

---
- 警告箇所が表示されます。
- 警告内容は以下の通りでした。
- 「2023-01-24 11:19:31 WARNING IIS-DSEE-TFIG-00122 <APT_RealFileExportOperator in Sequential_file_1> オペレーター・チェックで以下が検出されました: エクスポート・スキーマの検証時: フィールド "date": "null_field" 長さ (4) は、フィールドの固定幅(10)に一致する必要があります」
![スクリーンショット 2023-01-24 11.24.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/d6812699-a516-392a-7b02-11c72d8f2801.png)


---
- 作成されたファイルを確認します。
- 画面左上のプロジェクト名称のリンクをクリックして、プロジェクトの画面に戻ります。
- 作成したファイル（今回の例では「demo_seq_file1.csv」）が作成されていることがわかります。
![スクリーンショット 2023-01-24 11.28.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a82a16f2-a262-ad51-22a1-af34ed9122a3.png)

---
- ファイル名をクリックして、ファイルが作成されていることを確認します。
![スクリーンショット 2023-01-24 11.30.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/cc8951f3-8cb2-6de1-b562-623c1dd6f2af.png)

---
- ファイルの実体がどこにあるのかを確認します。
- ファイルとしては、IBM Cloud 上のCloud Object Storage 上に格納されているのですが、それを確認してみます。
- プロジェクト画面に戻り、「管理」タブをクリックします。
- 「一般」をクリックし、画面右側の「ストレージ」の箇所を確認します。
- 「バケット」の名称を、ここでコピーしておきます。
- 「IBM Cloudで管理」をクリックします。
![スクリーンショット 2023-01-24 11.37.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/54188dd7-96fc-01f3-1c86-f76872f9fb1e.png)


---
- IBMCloud のCloud Object Storage 画面が表示されますので、ここで先程コピーしたバケット名称を検索窓に貼り付けます。
![スクリーンショット 2023-01-24 11.38.44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/01f619ea-214b-b83c-c3eb-7eb9a7fa8693.png)

![スクリーンショット 2023-01-24 11.39.43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c67a4d8b-0d89-8298-2ffb-a6e926128086.png)


---
- 表示されたバケットをクリックし、内容を確認していきます。
- 先程作成したcsvファイル（demo_seq_file1.csv）があることが確認できます。

![スクリーンショット 2023-01-24 11.40.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/2c158cee-ddf4-edbf-e5b9-2bbb6a53739a.png)


---
- ファイル名をクリックします。
![スクリーンショット 2023-01-24 11.42.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/44771328-4b78-e9c4-6898-0c47f1da9568.png)


---
- 「オブジェクトのダウンロード」をクリックします。
![スクリーンショット 2023-01-24 11.43.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/44fe2e2c-e8e3-6892-aa46-4e440c30ddb8.png)


---
- ファイルがダウンロードされるので開いてみます。
![スクリーンショット 2023-01-24 11.44.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/ae6190c3-4008-5a7d-caeb-773a15418b3b.png)

---
- ファイルが表示されました。
![スクリーンショット 2023-01-24 11.46.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/bc31c57b-f090-85c8-3247-033556edff1c.png)



# 以降、編集中です。

##### 2.4.2.1.1.警告内容の解消

---
- 

---
- 



#### 2.4.2.2.データベースへの書き出し

## 2.5.スケジューラ設定



- 今回のハンズオンはこちらで終了です。

# 追加手順
- 上記Datastageのフロー画面にcsvファイルをUploadする手順を、以下に記載しました。
- [Datastage as a Service にローカルのcsvファイルをアップロードする。](https://qiita.com/Shumpei_Kubo/items/cf49a9623961445ae3c9)


# Solution BlogでのDatastageハンズオン紹介

https://www.ibm.com/blogs/solutions/jp-ja/practice-cp4d-04/

https://www.ibm.com/blogs/solutions/jp-ja/practice-cp4d-05/