ストレージ廃棄でデータ消去証明を取得するためのデータ消去手順 for NetApp ONTAP 9.8

#概要

この記事はNetAppストレージ(FAS/AFFシリーズ)上のデータを確実に消去する手順について記載します。
DISK消去(disk sanitize)を行う前の事前準備から消去手順、そして第三者機関による消去証明書を取得するために必要となるであろうログも紹介します。(必要なログは変わる可能性があるので、正しくは消去証明書を発行する機関にお問い合わせください。)

消去証明書の取得：
 https://www.onebe.co.jp/product/deletecert/index.html
Storage LCM for NetAppの説明：
 https://www.onebe.co.jp/product/storagelcm/index.html

#目次
1. はじめに
2. NetAppストレージのディスクサニタイズ機能
3. 前提事項
4. 消去手順

**結論だけ知りたい方は、「3. 前提事項」以降をご覧ください。**

#1. はじめに

みなさんはパソコンやサーバを廃棄する際に、ディスク上のデータをきちんと消去しているでしょうか。ファイルを削除したりディスクをフォーマットするだけでは不十分で、ゼロデータやランダムなデータをHDDやSSDの全領域にわたって書き込まないと、データは復元されてしまいます。

このためのツールとしてMicrosoft社から配布されているSDeleteは有名です。
https://docs.microsoft.com/en-us/sysinternals/downloads/sdelete
パソコンやサーバを捨てる際、まずマイドキュメントやマイピクチャなどを含むすべてのユーザデータをエクスプローラーで削除します。Outlookの添付ファイルが一時的に保存されるテンポラリディレクトリなども消し忘れないように注意してください。そしてディスクに空き容量を作った上でこのツールを実行すると、空き領域上に存在する見かけ上は削除されたデータに対してデータを上書きし、復元できない状態にしてくれます。この方法は米国国防総省の標準DOD 5220.22-Mで規定された「clear」と「sanitize」に準拠した消去方法となります。

ほとんどのユーザの場合、この消去方法で実質的に問題ありません。しかし完全消去かというと、ファイル名だけ(データは消去されている)がDISKに残ってしまったり、c:\windows\system32などの下に書き込まれたユーザデータをエクスプローラーで削除し忘れたがためにSDeleteで消去ができなかったり、ということが発生し得ます。
また、何らかの論理的な障害でWindowsが起動しない場合、Windowsを再インストールしてSDeleteをかけるか、パソコンからHDDを取り出して別のパソコンに接続して消去するなど、多少煩雑です。

そこで近年ではデータ消去サービスが存在し、OSが起動するかどうかに関係なく機器の廃棄と同時にHDD/SSDのデータを消去してくれる業者があります。しかしここで問題になるのは、この業者に勤務する個人がデータを漏洩させるパターンです。神奈川県庁の例でも廃棄業者によるHDDの転売によりデータが漏洩してしまいました。そのため、サーバやPCの使用者は廃棄業者に引き渡す前にデータを消去することが重要になっています。

このようにWindowsマシンはSDeleteがあり、LinuxであればOS標準のddコマンドで無意味なランダムデータをディスクの空き領域に書き込むことができます。しかし外部ストレージはどのように対応すればよいのでしょうか。サーバやPCからNFS/CIFSでマウントしてSDeleteやddコマンドで消去することはできますが、ストレージ側が独自に保持するスナップショット情報まではユーザ側からは削除することができません。そのためストレージ側で一括消去ができると便利です。

#2. NetAppストレージのディスクサニタイズ機能
NetAppのONTAP OSが動作するストレージにはdisk sanitizeという機能が実装されています。SDeleteと似たようなことができますが、サーバやパソコンが無くてもストレージ単体でデータを消去することができます。また、SDeleteでは削除できないファイルシステムの管理情報やディスクのパーティション情報の消去にも対応しています。

このdisk sanitize機能について、以降で記述します。

#3. 前提条件
##3.1. ONTAPのバージョンとストレージ機種
今回はONTAP9.8用に手順を作成していますが、おそらくONTAP9.2以降であればこの手順は使えると思われますのでお試しください。また、ONTAP9.8が動作する機種は以下となります。以下の機種でONTAP9.1以前を使われている場合は多少手順が異なるため、ONTAP9.8までアップデートをしてこの手順を試すか、あるいはそれが手間な場合はONTAP9.1でもこの手順と大きな流れは同じなので、トライしてみてください。(最初のBootメニュー構成が異なります。)

- FAS2500シリーズ
- FAS2600シリーズ
- FAS2700シリーズ
- FAS80X0シリーズ
- FAS8200/8300/8700シリーズ
- A200/A220/A250シリーズ
- AFF80X0シリーズ
- A300/A320/A400/A700/A700s/A800シリーズ
- C190
 
##3.2. ADP構成かそうでないか
以前はONTAP OSはDISKを3本占有してそこにOSをインストールしていましたが、DISKが無駄になるので最近はADP/ADP2というパーティショニング機能を使う構成が増えています。ここで説明する手順はADP構成かどうかにかかわらずにご利用いただけます。

##3.3. メンテナンスモードは不使用
ONTAPのBootメニューを見たことがある人は、メンテナンスモードというのをご存知かと思います。そのメニューからDISKを消去することもできるのですが、消去にかかる時間が数倍長くなってしまうので、あえて使っていません。

##3.4. DISKの本数についての注意
ストレージに搭載しているDISK本数が12本未満の場合、少しテクニックが必要になるので、この手順通りに削除することができません。（手順が以下の流れになっているため。）

(1) 先頭のDISK 6本(3本をコントローラA、もう3本をコントローラB)にOSを入れなおす
(2) クラスタセットアップ
(3) 先頭のDISK 6本以外のDISKを消去
(4) 消去したDISKにONTAP OSを移動
(5) 先頭のDISK 6本を消去


#4. 消去手順

以下の環境で操作することを前提として手順を記載しています。

■機種: FAS8040(ONTAP9.8)
　sr-8040_SP1	192.168.70.93
　sr-8040_SP2	192.168.70.94
　※ 管理用Storage ProcessorのIP。ONTAPが動作しない状況でも管理アクセスを提供。
　※ DISKが48本接続されています。

■テンポラリクラスタセットアップ情報
　node-a node management e0M 192.168.70.10/255.255.255.0
　node-b node management e0M 192.168.70.11/255.255.255.0
　Gateway 192.168.70.254
　cluster management e0M 192.168.70.20

全体の流れを以下に記載します。実際のDISK消去時間は、そのDISKのタイプ(SAS, NL-SAS, SATA, SSD)とその容量によって異なりますが、以下はSAS 600GB玉x24本に対して実行したときのトータル時間を記載しています。

4.1. ADPの解除(unpartition)と非ADP構成でONTAP再インストール (約40分)
　4.1.1. ローダーへの移行
　4.1.2. ADP解除前の環境変数設定
　4.1.3. ADP解除
　4.1.4. ONTAPの再インストール(非ADP構成)

4.2. クラスタセットアップ (約20分)
　4.2.1. A側でクラスタセットアップ
　4.2.2. A側で作成したクラスタにコントローラBをJoin (B側で操作)

4.3. 非ADP構成のディスク利用状況の確認 (約10分)
　4.3.1. クラスタシェル編 - プロンプトが「adec::>」
　4.3.2. ノードシェル編 - プロンプトが「adec-01>」

4.4. ディスクのサニタイズ (5-6時間, 4.2.で2時間、4.5.～4.6.で1.2時間、4.8で2時間)
　4.4.1. サニタイズするためのDISKのオーナー設定とホットスペア化
　4.4.2. コントローラAでスペアディスクのSanitize実行(DISK #06-#23)
　4.4.3. サニタイズしたログの収集(1) (クラスタシェル)
　4.4.4. DISK #00-#05のかわりとなるrootディスクの準備(#18-#23)
　4.4.5. コントローラAのroot領域の移動
　4.4.6. コントローラBのroot領域の移動
　4.4.7. root領域の移動結果確認
　4.4.8. コントローラAでDISK #00-#05のSanitize実行
　4.4.9. サニタイズしたログの収集(2) (クラスタシェル)

##4.1. ADPの解除(unpartition)と非ADP構成でONTAP再インストール (約30分)
- SSHクライアントで以下の2つのSPにそれぞれログイン  
　sr-8040_SP1	192.168.70.93　(コントローラA)  
　sr-8040_SP2	192.168.70.94　(コントローラB)  

##4.1.1. ローダーへの移行

コントローラAの操作

```
　SP SR-8040-01-01> system power cycle -f
　This will cause a dirty shutdown of your appliance.  Continue? [y/n] y
　SP SR-8040-01-01>
```

power cycle実行直後に以下実行

```
　SP SR-8040-01-01> system console
```

以下の文字列が表示されたら、CTRL+Cを数回連打
「Starting AUTOBOOT press Ctrl-C to abort...」
「LOADER-A」プロンプトが表示されるまで数分待つ

```
　LOADER-A> 
```

コントローラBの操作

```
　SP SR-8040-01-02> system power cycle -f
　This will cause a dirty shutdown of your appliance.  Continue? [y/n] y
　SP SR-8040-01-02> 
```

power cycle実行直後に以下実行

```
　SP SR-8040-01-02> system console
```

以下の文字列が表示されたら、CTRL+Cを数回連打
「Starting AUTOBOOT press Ctrl-C to abort...」
「LOADER-B」プロンプトが表示されるまで数分待つ

```
　LOADER-B> 
```

##4.1.2. ADP解除前の環境変数設定

```
　LOADER-A> set-defaults
　LOADER-A> saveenv
　LOADER-A> printenv
　LOADER-A> 
　LOADER-A> setenv root-uses-shared-disks? false
　LOADER-A> setenv root-uses-shared-ssds? false
　LOADER-A> saveenv
　LOADER-A> printenv
```

```
　LOADER-B> set-defaults
　LOADER-B> saveenv
　LOADER-B> printenv
　LOADER-B> 
　LOADER-B> setenv root-uses-shared-disks? false
　LOADER-B> setenv root-uses-shared-ssds? false
　LOADER-B> saveenv
　LOADER-B> printenv
```

##4.1.3. ADP解除
LOADER-Aから実施

```
　LOADER-A> boot_ontap menu 
```

以下のメニューが出るまで5分程度待つ

```
　Please choose one of the following:
　
　(1)  Normal Boot.
　(2)  Boot without /etc/rc.
　(3)  Change password.
　(4)  Clean configuration and initialize all disks.
　(5)  Maintenance mode boot.
　(6)  Update flash from backup config.
　(7)  Install new software first.
　(8)  Reboot node.
　(9)  Configure Advanced Drive Partitioning.
　(10) Set Onboard Key Manager recovery secrets.
　(11) Configure node for external key management.
　Selection (1-11)? 9
```

(9)のサブメニュー(9a)-(9e)が出るまで数分待つ

```
　*************************************************
　* Advanced Drive Partitioning Boot Menu Options *
　*************************************************

　(9a) Unpartition all disks and remove their ownership information.
　(9b) Clean configuration and initialize node with partitioned disks.
　(9c) Clean configuration and initialize node with whole disks.
　(9d) Reboot the node.
　(9e) Return to main boot menu.
　
　
　Selection (9a-9e)?: 9a
```

9aでADP構成が解除される
※1 もし(9a)を実行して以下の画面表示で進まなくなった場合は、コントローラBから(9a)の操作を実施し、完了後にA側を行う。

```
　　Waiting for reservations to clear
　　Waiting for reservations to clear
　　Waiting for reservations to clear
　　Waiting for reservations to clear
```

※2 Bから操作を実施すると、Bの操作中にA側がリブートして、その後繰り返しリブートするので、以下の文字列が出たタイミングでCTRL+Cを押下し、boot menuの(1)-(9)を選択する画面を表示してB側の(9a)が終わるまで待つ。

```
　　*******************************
　　*                             *
　　* Press Ctrl-C for Boot Menu. *
　　*                             *
　　*******************************
```

以下のログが出力されることを確認

```
　Unpartitioning disks...
　
　No disk found to be eligible for unpartitioning.
　
　
　Removing disk ownership...

　Disk ownership successfully removed.
```

LOADER-Bから実施(Aと同じことを実施)

```
　LOADER-B> boot_ontap menu
```

　以下の順に実行。
　　(9)  Configure Advanced Drive Partitioning.
　　(9a) Unpartition all disks and remove their ownership information.


##4.1.4. ONTAPの再インストール(非ADP構成)
A側の前の手順の続きでLOADER-Aから実施
「(9c) Clean configuration and initialize node with whole disks.」を選択
リブートが走り、初期化が行われる。
以下のメッセージが表示されるまで5-10分待つ。(この間、B側の操作をしてはいけない)
「Type yes to confirm and continue {yes}:」
※ 待つだけで、yesと入力してはいけない

B側の前の手順の続きでLOADER-Bから実施
「(9c) Clean configuration and initialize node with whole disks.」を選択
リブートが走り、初期化が行われる。
以下のメッセージが表示されるまで5-10分待つ。(この間、A側の操作をしてはいけない)
「Type yes to confirm and continue {yes}:」
※ 待つだけで、yesと入力してはいけない

##4.2. クラスタセットアップ (約20分)
##4.2.1. A側でクラスタセットアップ

```
　Type yes to confirm and continue {yes}:yes
　Enter the node management interface port [e0M]: e0M
　Enter the node management interface IP address: 192.168.70.11
　Enter the node management interface netmask: 255.255.255.0
　Enter the node management interface default gateway: 192.168.70.254
　A node management interface on port e0M with IP address 192.168.70.11 has been created.
```

以下が表示されたらEnter

```
　Otherwise, press Enter to complete cluster setup using the command line
　interface: 
```

クラスタの新規作成なので、以下はcreateを入力

```
　Do you want to create a new cluster or join an existing cluster? {create, join}:
　create
```

シングルノードクラスタではないので、以下はnoを入力

```
　Do you intend for this node to be used as a single node cluster? {yes, no} [no]:
　no
```

機器から提示されるクラスタ間通信のIPアドレスをそのまま使うかどうか聞かれるので、yes

```
　Do you want to use this configuration? {yes, no} [yes]: yes
```

adminユーザのパスワードを2回入力

```
　Enter the cluster administrator's (username "admin") password:
　Retype the password: 
```

作成するクラスタ名(任意の文字列)を入力

```
　Enter the cluster name: adec
```

以下のライセンスキー入力は、空欄のままEnter

```
　Enter an additional license key []: 
```

クラスタセットアップに必要なNICやIP情報を入力(この情報はこのあと使わないので、文字が通ればなんでもよい。)

```
　Enter the cluster management interface port [e0i]: e0M
　Enter the cluster management interface IP address: 192.168.70.20
　Enter the cluster management interface netmask: 255.255.255.0
　Enter the cluster management interface default gateway [192.168.70.254]:
```

以下、2項目は空欄のままEnter

```
　Enter the DNS domain names: 
　Where is the controller located []: 
```

以下の文字列が表示されたら、コントローラA側のセットアップは完了。

```
　Cluster "adec" has been created.
```

##4.2.2. A側で作成したクラスタにコントローラBをJoin (B側で操作)

```
　Type yes to confirm and continue {yes}:yes
　Enter the node management interface port [e0M]: e0M
　Enter the node management interface IP address: 192.168.70.12
　Enter the node management interface netmask: 255.255.255.0
　Enter the node management interface default gateway: 192.168.70.254
　A node management interface on port e0M with IP address 192.168.70.12 has been created.
```

以下、空欄のままEnter

```
　Otherwise, press Enter to complete cluster setup using the command line
　interface: 
```

A側で作成したクラスタに参加するため、以下はjoinを入力

```
　Do you want to create a new cluster or join an existing cluster? {join}:
　join
```

機器から提示されるクラスタ間通信のIPアドレスをそのまま使うかどうか聞かれるので、yes

```
　Do you want to use this configuration? {yes, no} [yes]: yes
```

以下で、A側のクラスターのIPを入力を求められるので、A側の操作ログからコピペする。

```
　Enter the IP address of an interface on the private cluster network from the
　cluster you want to join: 
```

※コピー元の情報はA側の操作ログの以下のIPのいずれかを入力

```
　Existing cluster interface configuration found:
　
　Port	MTU	IP		Netmask
　e0a	9000	169.254.xxx.xxx	255.255.0.0
　e0b	9000	169.254.xx.xx	255.255.0.0
　e0c	9000	169.254.xxx.xxx	255.255.0.0
　e0d	9000	169.254.xxx.xx	255.255.0.0
```

しばらく経過後、以下のメッセージが出力されることを確認。

```
　This node has been joined to cluster "adec".
```

このあと、プロンプトが表示されるのでadminユーザでログイン確認

```
　SP-login: admin
　Password:
　*****************************************************
　* This is an SP console session. Output from the    *
　* serial console is also mirrored on this session.  *
　*****************************************************
　adec::> 
```

##4.3. 非ADP構成のディスク利用状況の確認 (約10分)
##4.3.1. クラスタシェル編 - プロンプトが「adec::>」
アグリゲート構成の確認

```
adec::> aggr status -r

　Owner Node: adec-01
　 Aggregate: aggr0_adec_01 (online, raid_dp) (block checksums)
　  Plex: /aggr0_adec_01/plex0 (online, normal, active, pool0)
　   RAID Group /aggr0_adec_01/plex0/rg0 (normal, block checksums)
                                                              Usable Physical
     Position Disk                        Pool Type     RPM     Size     Size Status
     -------- --------------------------- ---- ----- ------ -------- -------- ----------
     dparity  1.5.0                        0   SAS    10000  546.9GB  558.9GB (normal)
     parity   1.5.1                        0   SAS    10000  546.9GB  558.9GB (normal)
     data     1.5.2                        0   SAS    10000  546.9GB  558.9GB (normal)

　Owner Node: adec-02
　 Aggregate: aggr0_adec_02 (online, raid_dp) (block checksums)
　  Plex: /aggr0_adec_02/plex0 (online, normal, active, pool0)
　   RAID Group /aggr0_adec_02/plex0/rg0 (normal, block checksums)
                                                              Usable Physical
     Position Disk                        Pool Type     RPM     Size     Size Status
     -------- --------------------------- ---- ----- ------ -------- -------- ----------
     dparity  1.5.3                        0   SAS    10000  546.9GB  558.9GB (normal)
     parity   1.5.4                        0   SAS    10000  546.9GB  558.9GB (normal)
     data     1.5.5                        0   SAS    10000  546.9GB  558.9GB (normal)
　6 entries were displayed.
```

非ADP構成になっていることを確認 (先頭3本 x2セットだけ使われている)

```
　adec::> disk show -disk *
　Disk                   Size Shelf Bay Type    Type        Name      Owner
　---------------- ---------- ----- --- ------- ----------- --------- --------
　1.5.0               546.9GB     5   0 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.1               546.9GB     5   1 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.2               546.9GB     5   2 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.3               546.9GB     5   3 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.4               546.9GB     5   4 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.5               546.9GB     5   5 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.6                     -     5   6 SAS     unassigned  -         -
　1.5.7                     -     5   7 SAS     unassigned  -         -
　1.5.8                     -     5   8 SAS     unassigned  -         -
　(後略)
```

##4.3.2. ノードシェル編 - プロンプトが「adec-01>」
Aでノードシェルに移行

```
　adec::> node run -node adec-01
```

Aのノードシェルでアグリゲートの情報を表示

```
　adec-01> aggr status -r
　Aggregate aggr0_adec_01 (online, raid_dp) (block checksums)
　  Plex /aggr0_adec_01/plex0 (online, normal, active, pool0)
  　  RAID group /aggr0_adec_01/plex0/rg0 (normal, block checksums)

      RAID Disk	Device  	HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
      ---------	------  	------------- ---- ---- ---- ----- --------------    --------------
      dparity 	0a.05.0 	0a    5   0   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 
      parity  	0a.05.1 	0a    5   1   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 
      data    	0a.05.2 	0a    5   2   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 
　(中略)
　Partner disks

　RAID Disk	Device  	HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
　---------	------  	------------- ---- ---- ---- ----- --------------    --------------
　partner 	0a.05.5 	0a    5   5   SA:A   0   SAS 10000 0/0               572325/1172123568 
　partner 	0a.05.3 	0a    5   3   SA:A   0   SAS 10000 0/0               572325/1172123568 
　partner 	0a.05.4 	0a    5   4   SA:A   0   SAS 10000 0/0               572325/1172123568 
```

※ ノードシェルで表示されるDISK名(0a.5.0)とクラスタシェルのDISK名(1.5.0)が異なる見え方になっていることを注意

Aですべてのディスクの情報を表示

```
　adec-01> disk show -v
　  DISK       OWNER                    POOL   SERIAL NUMBER         HOME                     DR HOME                CHKSUM
　------------ -------------            -----  -------------         -------------            -------------          --------
　0d.19.23     Not Owned                  NONE   KSJPWUSJ             Block
　0a.05.16     Not Owned                  NONE   PPG5100A             Block
　0a.05.4      adec-02   (536873785)    Pool0  PPG501AA              adec-02   (536873785)                          Block
　0a.05.7      Not Owned                  NONE   PPG4ZU3A             Block
　0d.19.18     Not Owned                  NONE   PPG54PNA             Block
　0d.19.17     Not Owned                  NONE   PPG501GA             Block
　0a.05.20     Not Owned                  NONE   PPG3D5XA             Block
　0a.05.3      adec-02   (536873785)    Pool0  PPG5042A              adec-02   (536873785)                          Block
　0a.05.14     Not Owned                  NONE   PPG518DA             Block
　0d.19.7      Not Owned                  NONE   PPG5KJDA             Block
　0d.19.1      Not Owned                  NONE   PPG4ZW1A             Block
　0d.19.16     Not Owned                  NONE   PPG5JB5A             Block
　0a.05.11     Not Owned                  NONE   PPG51U6A             Block
　0d.19.11     Not Owned                  NONE   PPG5018A             Block
　0a.05.6      Not Owned                  NONE   PPG4ZT9A             Block
　0a.05.1      adec-01   (536872934)    Pool0  PPG506VA              adec-01   (536872934)                          Block
　0d.19.8      Not Owned                  NONE   PPG504NA             Block
　0a.05.12     Not Owned                  NONE   PPG50YBA             Block
　0d.19.13     Not Owned                  NONE   PPG3R3GA             Block
　0d.19.9      Not Owned                  NONE   PPG3RN1A             Block
　0a.05.22     Not Owned                  NONE   PPG582AA             Block
　0a.05.13     Not Owned                  NONE   PPG4ZU9A             Block
　0a.05.2      adec-01   (536872934)    Pool0  PPG51HXA              adec-01   (536872934)                          Block
　0d.19.14     Not Owned                  NONE   PPG4ZSZA             Block
　0a.05.18     Not Owned                  NONE   PPG56LGA             Block
　0d.19.5      Not Owned                  NONE   PPG4GWKA             Block
　0d.19.20     Not Owned                  NONE   PPG4EUAA             Block
　0d.19.12     Not Owned                  NONE   PPG50J6A             Block
　0a.05.23     Not Owned                  NONE   PZH3ZAXD             Block
　0d.19.3      Not Owned                  NONE   PPG4APXA             Block
　0a.05.0      adec-01   (536872934)    Pool0  PPHVRJ3B              adec-01   (536872934)                          Block
　0a.05.21     Not Owned                  NONE   PPG4ZXSA             Block
　0a.05.5      adec-02   (536873785)    Pool0  PPG4EKRA              adec-02   (536873785)                          Block
　0d.19.22     Not Owned                  NONE   PPG4ZVYA             Block
　0a.05.15     Not Owned                  NONE   PPG54H0A             Block
　0d.19.0      Not Owned                  NONE   PZH40GYD             Block
　0d.19.19     Not Owned                  NONE   PPG4EKWA             Block
　0a.05.17     Not Owned                  NONE   PPG50S2A             Block
　0a.05.10     Not Owned                  NONE   PVJU2EXB             Block
　0a.05.19     Not Owned                  NONE   PPG54NPA             Block
　0d.19.21     Not Owned                  NONE   PPG4ZYEA             Block
　0d.19.15     Not Owned                  NONE   PPG4ZV8A             Block
　0d.19.10     Not Owned                  NONE   PZH40HWD             Block
　0a.05.8      Not Owned                  NONE   S0M1QHK6             Block
　0d.19.6      Not Owned                  NONE   S0M6N2J2             Block
　0d.19.2      Not Owned                  NONE   S0M1PKZY             Block
　0a.05.9      Not Owned                  NONE   S4237P8G             Block
　0d.19.4      Not Owned                  NONE   14I0A0O7FUZ6         Block
```


##4.4. ディスクのサニタイズ (5-6時間, 4.2.で2時間、4.5.～4.6.で1.2時間、4.8で2時間)
##4.4.1. サニタイズするためのDISKのオーナー設定とホットスペア化
「Not Owned」となっているディスクを、ノードA側のコントローラにすべて紐づける
直前の手順の結果から、adec-01 (536872934)とadec-02 (536873785)のカッコ内の数字をコマンドで指定する。

```
　adec-01> disk assign -s 536872934 all
```

以下で実行結果を確認

```
　adec-01> disk show -v
```

　(実行結果が長いので省略)

以下で、rootアグリゲート用のDISK以外がスペアディスクとして認識されていることを確認

```
　adec-01> aggr status -s

　Pool1 spare disks (empty)

　Pool0 spare disks

　RAID Disk	Device  	HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
　---------	------  	------------- ---- ---- ---- ----- --------------    --------------
　Spare disks for block checksum
　spare   	0d.19.4 	0d    19  4   SA:B   0   SAS 10000 560000/1146880000 560208/1147307688 (not zeroed)
　spare   	0a.05.8 	0a    5   8   SA:A   0   SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
　spare   	0a.05.9 	0a    5   9   SA:A   0   SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
　spare   	0d.19.2 	0d    19  2   SA:B   0   SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
　spare   	0d.19.6 	0d    19  6   SA:B   0   SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
　spare   	0a.05.6 	0a    5   6   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.7 	0a    5   7   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.10	0a    5   10  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.11	0a    5   11  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.12	0a    5   12  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.13	0a    5   13  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.14	0a    5   14  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.15	0a    5   15  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.16	0a    5   16  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.17	0a    5   17  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.18	0a    5   18  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.19	0a    5   19  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.20	0a    5   20  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.21	0a    5   21  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.22	0a    5   22  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0a.05.23	0a    5   23  SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.0 	0d    19  0   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.1 	0d    19  1   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.3 	0d    19  3   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.5 	0d    19  5   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.7 	0d    19  7   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.8 	0d    19  8   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.9 	0d    19  9   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.10	0d    19  10  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.11	0d    19  11  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.12	0d    19  12  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.13	0d    19  13  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.14	0d    19  14  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.15	0d    19  15  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.16	0d    19  16  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.17	0d    19  17  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.18	0d    19  18  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.19	0d    19  19  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.20	0d    19  20  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.21	0d    19  21  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.22	0d    19  22  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare   	0d.19.23	0d    19  23  SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
```

##4.4.2. コントローラAでスペアディスクのSanitize実行(DISK #06-#23)
以下のoptionsコマンドを実行しするとyes or noを質問されるので、yesと入力

```
　adec-01>　options licensed_feature.disk_sanitization.enable on
　You will not be able to disable this feature, are you sure you
　wish to continue? [no] yes
```

DISKをスペース区切りで指定して、まとめてサニタイズを実行

```
　adec-01> disk sanitize start -r -c 0a.05.6 0a.05.7 0a.05.8 0a.05.9 0a.05.10 0a.05.11 0a.05.12 0a.05.13 0a.05.14 0a.05.15 0a.05.16 0a.05.17 0a.05.18 0a.05.19 0a.05.20 0a.05.21 0a.05.22 0a.05.23 0d.19.0 0d.19.1 0d.19.2 0d.19.3 0d.19.4 0d.19.5 0d.19.6 0d.19.7 0d.19.8 0d.19.9 0d.19.10 0d.19.11 0d.19.12 0d.19.13 0d.19.14 0d.19.15 0d.19.16 0d.19.17 0d.19.18 0d.19.19 0d.19.20 0d.19.21 0d.19.22 0d.19.23
```

※ DISK本数が増えてもトータル時間は変わらない
※ 600GBのHDDで、1-2時間かかる。

以下のように注意・警告が表示されるので、yを2回入力

```
　WARNING: Disk sanitization will remove all data from the selected disks and cannot be recovered.
　Do you want to continue (y/n)? y

　WARNING:  The sanitization process might include a disk format.
　If the system is power-cycled or rebooted during a disk format,
　the disk might become unreadable. The process will attempt to
　restart the format after 10 minutes.

　The time required for the sanitization process might be significant,
　depending on the size of the disk and the number of patterns and
　cycles specified.
　Do you want to continue (y/n)? y
　The disk sanitization process has been initiated. When it is complete, the system's event log will be updated.
```

サニタイズ進捗チェック

```
　adec-01> disk sanitize status
　Sanitization for 0d.19.13 is 75% complete.
　Sanitization for 0d.19.23 is 75% complete.
　Sanitization for 0d.19.2 is 100% complete.
　Sanitization for 0d.19.6 is 100% complete.
　Sanitization for 0a.05.6 is 75% complete.
　Sanitization for 0a.05.16 is 75% complete.
　Sanitization for 0a.05.14 is 75% complete.
　Sanitization for 0a.05.19 is 75% complete.
```

　(後略)

※ 経年劣化しているHDDでは、サニタイズ処理による書き込みにリトライが多発し、そのHDDだけ進捗が遅い場合がある。
※ このサニタイズ処理が完了しないHDDは、故障DISKと判断される場合もある。
※ 故障DISKに対しては消去が行えないので、そのDISKの消去証明は取得できない。
※ 保守が残っていればDISKを交換後に再度実施する。保守が残っていなければさかのぼり保守を契約してDISKを交換後に再度実施する。
※ エンドユーザ側として、故障したDISKは消去証明を取らない、という方針であればその故障DISKは無視して次の手順に進む。
※ サニタイズが100％に達したDISKは、リリースして「Not Owned」状態に戻す。

サニタイズ済みDISKのリリース

```
　adec-01> disk sanitize release 0a.05.6
　adec-01> disk sanitize release 0a.05.7
　adec-01> disk sanitize release 0a.05.8
　adec-01> disk sanitize release 0a.05.9
　adec-01> disk sanitize release 0a.05.10
　adec-01> disk sanitize release 0a.05.11
　adec-01> disk sanitize release 0a.05.12
　adec-01> disk sanitize release 0a.05.13
　adec-01> disk sanitize release 0a.05.14
　adec-01> disk sanitize release 0a.05.15
　adec-01> disk sanitize release 0a.05.16
　adec-01> disk sanitize release 0a.05.17
　adec-01> disk sanitize release 0a.05.18
　adec-01> disk sanitize release 0a.05.19
　adec-01> disk sanitize release 0a.05.20
　adec-01> disk sanitize release 0a.05.21
　adec-01> disk sanitize release 0a.05.22
　adec-01> disk sanitize release 0a.05.23
　adec-01> disk sanitize release 0d.19.0
　adec-01> disk sanitize release 0d.19.1
　adec-01> disk sanitize release 0d.19.2
　adec-01> disk sanitize release 0d.19.3
　adec-01> disk sanitize release 0d.19.4
　adec-01> disk sanitize release 0d.19.5
　adec-01> disk sanitize release 0d.19.6
　adec-01> disk sanitize release 0d.19.7
　adec-01> disk sanitize release 0d.19.8
　adec-01> disk sanitize release 0d.19.9
　adec-01> disk sanitize release 0d.19.10
　adec-01> disk sanitize release 0d.19.11
　adec-01> disk sanitize release 0d.19.12
　adec-01> disk sanitize release 0d.19.13
　adec-01> disk sanitize release 0d.19.14
　adec-01> disk sanitize release 0d.19.15
　adec-01> disk sanitize release 0d.19.16
　adec-01> disk sanitize release 0d.19.17
　adec-01> disk sanitize release 0d.19.18
　adec-01> disk sanitize release 0d.19.19
　adec-01> disk sanitize release 0d.19.20
　adec-01> disk sanitize release 0d.19.21
　adec-01> disk sanitize release 0d.19.22
　adec-01> disk sanitize release 0d.19.23
```

※ まとめてリリースができず、1本ずつ指定する。
※ 障害のあるディスク以外は、ここで必ず全DISKをreleaseする。
※ releaseせずに以降の手順に進むと、releaseできなくなってreleaseするにはONTAPを初期化するところからリトライしなければならなくなります。

リリースされたDISKの確認 (1本だけリリースすると、以下の表示。)

```
　adec-01> disk show -n
　  DISK       OWNER                    POOL   SERIAL NUMBER         HOME                    DR HOME 
　------------ -------------            -----  -------------	   -------------           -------------            
　0d.19.4      Not Owned                  NONE   14I0A0O7FUZ6        
```

全ディスクでdisk sanitize releaseしたあとに、もう一度disk sanitize statusで残っている(サニタイズの遅い)DISKがないか確認。

```
　adec-01> disk sanitize status
```

##4.4.3. サニタイズしたログの収集(1) (クラスタシェル)

ノードシェルの「adec-01> 」プロンプトの場合は、exitを実行してクラスタシェル「adec::>」に戻る。

```
　adec-01> exit
　adec::> system node run -node adec-01 -command sysconfig -a
　adec::> system node run -node adec-02 -command sysconfig -a
　adec::> system node run -node adec-01 -command disk show
　adec::> system node run -node adec-02 -command disk show
　adec::> disk show -v
　adec::> security audit log show -node adec-01
　adec::> security audit log show -node adec-02
　adec::> node run -node adec-01
　adec-01> rdfile /etc/log/sanitized_disks
　adec-01> rdfile /etc/log/sanitization.log
　adec-01> exit
　adec::> node run -node adec-02 (B側でサニタイズしていない場合は不要)
　adec-02> rdfile /etc/log/sanitized_disks (B側でサニタイズしていない場合は不要)
　adec-02> rdfile /etc/log/sanitization.log (B側でサニタイズしていない場合は不要)
　adec-02> exit
　adec::> 
```


##4.4.4. DISK #00-#05のかわりとなるrootディスクの準備(#18-#23)
サニタイズ完了後のDISKのなかから、3本をコントローラA、3本をコントローラBのホットスペアとして登録

```
　adec::> node run -node adec-01 disk assign -o adec-01 0a.05.18 0a.05.19 0a.05.20
　adec::> node run -node adec-02 disk assign -o adec-02 0a.05.21 0a.05.22 0a.05.23
```

稀に割り当てたDISKが「broken」表示になることがあるので、以下で確認

```
　adec::> disk show -disk *
                                                                                           Usable           Disk    Container   Container
　Disk                   Size Shelf Bay Type    Type        Name      Owner
　---------------- ---------- ----- --- ------- ----------- --------- --------
　1.5.0               546.9GB     5   0 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.1               546.9GB     5   1 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.2               546.9GB     5   2 SAS     aggregate   aggr0_adec_01 
　                                                                    adec-01
　1.5.3               546.9GB     5   3 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.4               546.9GB     5   4 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.5               546.9GB     5   5 SAS     aggregate   aggr0_adec_02 
　                                                                    adec-02
　1.5.6                     -     5   6 SAS     unassigned  -         -
　1.5.7                     -     5   7 SAS     unassigned  -         -
　1.5.8                     -     5   8 SAS     unassigned  -         -
　1.5.9                     -     5   9 SAS     unassigned  -         -
　1.5.10                    -     5  10 SAS     unassigned  -         -
　1.5.11                    -     5  11 SAS     unassigned  -         -
　1.5.12                    -     5  12 SAS     unassigned  -         -
　1.5.13                    -     5  13 SAS     unassigned  -         -
　Press <space> to page down, <return> for next line, or 'q' to quit...                                                                                
　                     Usable           Disk    Container   Container
　Disk                   Size Shelf Bay Type    Type        Name      Owner
　---------------- ---------- ----- --- ------- ----------- --------- --------
　1.5.14                    -     5  14 SAS     unassigned  -         -
　1.5.15                    -     5  15 SAS     unassigned  -         -
　1.5.16                    -     5  16 SAS     unassigned  -         -
　1.5.17                    -     5  17 SAS     unassigned  -         -
　1.5.18              546.9GB     5  18 SAS     broken      -         adec-01
　1.5.19              546.9GB     5  19 SAS     broken      -         adec-01
　1.5.20              546.9GB     5  20 SAS     broken      -         adec-01
　1.5.21              546.9GB     5  21 SAS     broken      -         adec-02
　1.5.22              546.9GB     5  22 SAS     broken      -         adec-02
　1.5.23              546.9GB     5  23 SAS     broken      -         adec-02
　1.19.0                    -    19   0 SAS     unassigned  -         -
　1.19.1                    -    19   1 SAS     unassigned  -         -
```

　(後略)

brokenの場合は以下の手順で回復 (DISKの指定はノードシェル表記で記述)

```
　adec::> set advanced
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.18
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.19
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.20
　adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.21
　adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.22
　adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.23
```

3本ずつスペアになっているか確認

```
　adec::*> storage aggregate show-spare-disks -owner-name adec-01
　adec::*> storage aggregate show-spare-disks -owner-name adec-02
```

　(表示結果省略)

##4.4.5. コントローラAのroot領域の移動
コントローラB側のSP(192.168.70.94)にSSHして、ログインし、クラスタシェルを実行

```
　SP SR-8040-01-02> system console
　(admin / パスワード入力)
```

rootを移動するコマンドを実行（DISK名はクラスタシェル表記で実行）
コントローラAはDISKの#18-#20, コントローラBは#21-#23を使う想定。クラスタのDISK名を使用。

```
　adec::> set advanced
　adec::*> system node migrate-root -node adec-01 -disklist 1.5.18,1.5.19,1.5.20
　
　Warning: This operation will create a new root aggregate and replace the
　          existing root on the node "adec-01". The existing root aggregate will
　          be discarded.
　Do you want to continue? {y|n}: y

　Info: Started migrate-root job. Run "job show -id 34 -instance" command to
　      check the progress of the job.
```

```
　adec::*> job show -id 34 -instance

　                      Job ID: 34
　              Owning Vserver: adec
　                        Name: Migrate root aggregate
　                 Description: Root aggregate migration job for node adec-01
　                    Priority: High
　                        Node: adec-02
　                    Affinity: Cluster
　                    Schedule: @now
　                  Queue Time: 08/31 10:35:36
　                  Start Time: 08/31 10:35:36
　                    End Time: -
　              Drop-dead Time: -
　                  Restarted?: false
　                       State: Running
　                 Status Code: 0
　           Completion String: 
　                    Job Type: NDO Migrate Root
　                Job Category: Non Disruptive Operation
　                        UUID: 2dbed9ee-0a47-11ec-a416-00a09854cc46
　          Execution Progress: Starting node configuration backup. This might take several minutes.
　                   User Name: admin
　Restart Is Delayed by Module: -
　adec::*> 
　adec::*> 
```

※30分ほど経過後、job show -idを何度か実行し、「Execution Progress:」が完了していることを確認。

```
　　「Execution Progress: Complete: Root aggregate migration successfully completed」
```



##4.4.6. コントローラBのroot領域の移動
コントローラA側のSP(192.168.70.93)にSSHして、ログインし、クラスタシェルを実行

```
　SP SR-8040-01-01> system console
　(admin / パスワード入力)
　adec::> 
```

rootを移動するコマンドを実行（DISK名はクラスタシェル表記で実行）
コントローラAはDISKの#18-#20, コントローラBは#21-#23を使う想定。

```
　adec::> set advanced
　adec::*> system node migrate-root -node adec-02 -disklist 1.5.21,1.5.22,1.5.23

　Warning: This operation will create a new root aggregate and replace the
　          existing root on the node "adec-02". The existing root aggregate will
　          be discarded.
　Do you want to continue? {y|n}: y
　
　Info: Started migrate-root job. Run "job show -id <数字> -instance" command to
　      check the progress of the job.

　adec::*> job show -id 44 -instance
```

※30分ほど経過後、job show -idを何度か実行し、「Execution Progress:」が完了していることを確認。

```
　　「Execution Progress: Complete: Root aggregate migration successfully completed」
```

##4.4.7. root領域の移動結果確認
移動後のDISK名が表示されることを確認（クラスタシェルでDISK番号をチェック）

```
　adec::*> aggr status -r
　Owner Node: adec-01
　 Aggregate: aggr0_adec_01 (online, raid_dp) (block checksums)
　  Plex: /aggr0_adec_01/plex0 (online, normal, active, pool0)
　   RAID Group /aggr0_adec_01/plex0/rg0 (normal, block checksums)
                                                              Usable Physical
     Position Disk                        Pool Type     RPM     Size     Size Status
     -------- --------------------------- ---- ----- ------ -------- -------- ----------
     dparity  1.5.18                       0   SAS    10000  546.9GB  558.9GB (normal)
     parity   1.5.19                       0   SAS    10000  546.9GB  558.9GB (normal)
     data     1.5.20                       0   SAS    10000  546.9GB  558.9GB (normal)
     
　Owner Node: adec-02
　 Aggregate: aggr0_adec_02 (online, raid_dp) (block checksums)
　  Plex: /aggr0_adec_02/plex0 (online, normal, active, pool0)
　   RAID Group /aggr0_adec_02/plex0/rg0 (normal, block checksums)
                                                              Usable Physical
     Position Disk                        Pool Type     RPM     Size     Size Status
     -------- --------------------------- ---- ----- ------ -------- -------- ----------
     dparity  1.5.21                       0   SAS    10000  546.9GB  558.9GB (normal)
     parity   1.5.22                       0   SAS    10000  546.9GB  558.9GB (normal)
     data     1.5.23                       0   SAS    10000  546.9GB  558.9GB (normal)
　6 entries were displayed.
```

もともとrootだったDISK #00-#02がスペアになっていることの確認(コントローラA)

```
　adec::*> storage aggregate show-spare-disks -owner-name adec-01
　Original Owner: adec-01
　 Pool0
　  Spare Pool
　                                                             Usable Physical
 　Disk             Type   Class          RPM Checksum           Size     Size Status
 　---------------- ------ ----------- ------ -------------- -------- -------- --------
　 1.5.0            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.1            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.2            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　3 entries were displayed.
```

もともとrootだったDISK #03-#05がスペアになっていることの確認(コントローラB)

```
　adec::*>  storage aggregate show-spare-disks -owner-name adec-02
　　Original Owner: adec-02
　　 Pool0
　　  Spare Pool
　                                                             Usable Physical
　　 Disk             Type   Class          RPM Checksum           Size     Size Status
　　 ---------------- ------ ----------- ------ -------------- -------- -------- --------
　　 1.5.3            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　　 1.5.4            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　　 1.5.5            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　　3 entries were displayed.
```

ノードシェルでも、スペアになっていることを確認。

```
　adec::*> node run -node adec-01 -command aggr status -s
　
　Pool1 spare disks (empty)
　
　Pool0 spare disks
　
　RAID Disk       Device          HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
　---------       ------          ------------- ---- ---- ---- ----- --------------    --------------
　Spare disks for block checksum
　spare           0a.05.0         0a    5   0   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.1         0a    5   1   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.2         0a    5   2   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
```

```
　adec::*> node run -node adec-02 -command aggr status -s
　
　Pool1 spare disks (empty)
　
　Pool0 spare disks
　
　RAID Disk       Device          HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
　---------       ------          ------------- ---- ---- ---- ----- --------------    --------------
　Spare disks for block checksum
　spare           0a.05.3         0a    5   3   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.4         0a    5   4   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.5         0a    5   5   SA:B   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
```



##4.4.8. コントローラAでDISK #00-#05のSanitize実行
コントローラB側がOwnしているDISKもA側でまとめてサニタイズするので、#03-#05のオーナー権限を外す

```
　adec::> set advanced
　adec::*> disk removeowner -disk 1.5.3
　adec::*> disk removeowner -disk 1.5.4
　adec::*> disk removeowner -disk 1.5.5
```

オーナーを外したDISKをコントローラAに割り当てる。(ノードシェル用DISK名で実行)

```
　adec::*> node run -node adec-01 disk assign -o adec-01 0a.05.3 0a.05.4 0a.05.5
```

実行結果の確認

```
　adec::*> node run -node adec-01 -command aggr status -s
　
　Pool1 spare disks (empty)
　
　Pool0 spare disks
　
　RAID Disk       Device          HA  SHELF BAY CHAN Pool Type  RPM  Used (MB/blks)    Phys (MB/blks)
　---------       ------          ------------- ---- ---- ---- ----- --------------    --------------
　Spare disks for block checksum
　spare           0a.05.0         0a    5   0   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.1         0a    5   1   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.2         0a    5   2   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.3         0a    5   3   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.4         0a    5   4   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
　spare           0a.05.5         0a    5   5   SA:A   0   SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
```

```
　adec::*> storage aggregate show-spare-disks -owner-name adec-01
　Original Owner: adec-01
　 Pool0
　  Spare Pool
                                                             Usable Physical
 　Disk             Type   Class          RPM Checksum           Size     Size Status
　---------------- ------ ----------- ------ -------------- -------- -------- --------
　 1.5.0            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.1            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.2            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.3            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.4            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　 1.5.5            SAS    performance  10000 block           546.9GB  558.9GB not zeroed
　6 entries were displayed.
```

サニタイズ実行 (#00-#05) - ノードシェルのDISK名を使用

```
　adec::*> node run -node adec-01 disk sanitize start -r -c 1 0a.05.0 0a.05.1 0a.05.2 0a.05.3 0a.05.4 0a.05.5
```

```
　adec::*> node run -node adec-01 disk sanitize status
　Sanitization for 0a.05.5 is 57% complete.
　Sanitization for 0a.05.3 is 57% complete.
　Sanitization for 0a.05.2 is 56% complete.
　Sanitization for 0a.05.4 is 57% complete.
　Sanitization for 0a.05.0 is 56% complete.
　Sanitization for 0a.05.1 is 56% complete.
```

```
　adec::*> node run -node adec-01 rdfile /etc/log/sanitization.log
　Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.4 [S/N PPG501AA]
　Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.3 [S/N PPG5042A]
　Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.5 [S/N PPG4EKRA]
　Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.1 [S/N PPG506VA]
　Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.0 [S/N PPHVRJ3B]
　Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.2 [S/N PPG51HXA]
```

```
　adec::*> node run -node adec-01 disk sanitize status
　Sanitization for 0a.05.5 is 100% complete.
　Sanitization for 0a.05.3 is 100% complete.
　Sanitization for 0a.05.2 is 100% complete.
　Sanitization for 0a.05.4 is 100% complete.
　Sanitization for 0a.05.0 is 100% complete.
　Sanitization for 0a.05.1 is 100% complete.
```

```
　adec::*> node run -node adec-01 rdfile /etc/log/sanitized_disks
```

※ このコマンドは何も表示されないことがあります。node run -node adec-0?を実行した後のノードシェルでrdfileしてください。

```
　adec::*> node run -node adec-01
　adec-01> rdfile /etc/log/sanitized_disks
```

(DISK6本分が表示されることを確認)

```
　adec-01> exit
　adec::*> node run -node adec-01 disk sanitize release 0a.05.0
　adec::*> node run -node adec-01 disk sanitize release 0a.05.1
　adec::*> node run -node adec-01 disk sanitize release 0a.05.2
　adec::*> node run -node adec-01 disk sanitize release 0a.05.3
　adec::*> node run -node adec-01 disk sanitize release 0a.05.4
　adec::*> node run -node adec-01 disk sanitize release 0a.05.5
　adec::*> node run -node adec-01 disk show -v
　adec::*> disk show
```

ログ取得用に、コントローラAに、シェルフ1段目の未使用の#00-#17をアサイン
※ 故障したDISKは不要

```
　adec::*> node run -node adec-01 disk assign -o adec-01 0a.05.0 0a.05.1 0a.05.2 0a.05.3 0a.05.4 0a.05.5 0a.05.6 0a.05.7 0a.05.8 0a.05.9 0a.05.10 0a.05.11 0a.05.12 0a.05.13 0a.05.14 0a.05.15 0a.05.16 0a.05.17
```

```
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.0
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.1
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.2
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.3
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.4
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.5
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.6
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.7
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.8
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.9
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.10
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.11
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.12
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.13
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.14
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.15
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.16
　adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.17
```

ログ取得用に、コントローラAに、シェルフ2段目の未使用の#00-#23をアサイン
※ 故障したDISKは不要

```
　adec::*> node run -node adec-01 disk assign -o adec-01 0d.19.0 0d.19.1 0d.19.2 0d.19.3 0d.19.4 0d.19.5 0d.19.6 0d.19.7 0d.19.8 0d.19.9 0d.19.10 0d.19.11 0d.19.12 0d.19.13 0d.19.14 0d.19.15 0d.19.16 0d.19.17 0d.19.18 0d.19.19 0d.19.20 0d.19.21 0d.19.22 0d.19.23
```

```
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.0
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.1
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.2
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.3
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.4
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.5
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.6
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.7
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.8
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.9
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.10
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.11
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.12
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.13
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.14
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.15
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.16
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.17
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.18
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.19
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.20
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.21
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.22
　adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.23
```



##4.4.9. サニタイズしたログの収集(2) (クラスタシェル)

```
　adec::> system node run -node adec-01 -command disk show
　adec::> system node run -node adec-02 -command disk show
　adec::> disk show
　adec::> security audit log show -node adec-01
　adec::> security audit log show -node adec-02
　adec::> node run -node adec-01
　adec-01> rdfile /etc/log/sanitized_disks
　adec-01> rdfile /etc/log/sanitization.log
　adec-01> exit
　adec::> node run -node adec-02 (B側でサニタイズしてない場合は不要）
　adec-02> rdfile /etc/log/sanitized_disks
　adec-02> rdfile /etc/log/sanitization.log
　adec-02> exit
```