zfsをnfsでfile server/media serverにする(までの道のり)

## motivation

macosxの起動ディスク外付けHDDの容量がいっぱいになってきたので
省電力のファイルサーバ/メディアサーバを立てたい．

HDDは壊れるので冗長化したい．
freebsd好き by rhel6の奴隷

## 構成

別エントリを書く．
client :　macosx
server : freenas
HDD3TB x 3
raidz

freenasはデフォルトでweb interfaceから操作する
参考URL
collectdとかも走っているのでかっこいい．
jailとか．．．

# tips

zfsのdatasetってなにもの??


## 経過

recomendされたlz4圧縮でvolumeを構成．
2MBps->3MBpsぐらいしかDisk書き込みが出来なくて泣く．

routerはwimax端末
serverのNicでは20MBpsぐらいでてる．
server内で誰かが握りつぶしてる？？！

lz4圧縮が悪さをしている(普通は世間の記事によれば数10MBpsぐらいっぽい)という予測(希望)のもと
圧縮なしにする．

変わらず．

nfs serverでddコマンドでdiskのwrite

200MBpsぐらい出る．

nfsがわるいんじゃね．
zfsはなにかnfsを普通と違う感じでさわるっぽい?？！

200MBpsでなく、20Mbpsであることに気づく

ネットワークネックな可能性

ルータ(WiMax端末)かめっちゃ古いethケーブルか切り分けるために無線lanをインストールしようとする

freenasはrootでさえ、pkgをインストール出来ないことに気づく、クソOS
serviceはjailから追加提供が可能

FreeBSD11インストーラ(LiveCDにもなってる！)から
BSDをSDcard16GBにインストール
FreeBSDらしくないことに無線LANがはじめから認識される！

調子乗ってkde4をいれたらdiskfullに近い状態に
このせいか分からないがkde4notify的なプロセスが常に1core食いつぶす

つかえないのでPC-BSD謹製のluminaをインストール．
vncserverからだと相性が悪いのか立ち上がらなかったり
menubarが出てこなかったり

仕方ないのでlxdeをインストール．
そこそこ安定して動くようになる．

freenasでつくったzfsをマウントさせる

前述の速度低下はほぼほぼWiMax端末をrouterにしているせいだとわかったので
昔の外付けHDD500GB(壊れすぎているのか容量が250MB程度まで縮小してる)の中身を低速で移行してくる．

###　　ddコマンドでシーケンシャルread/writeをしていたときのlog
するどい人ならメモリ量がわかってしまいそう．

```

% sudo mount_nfs -P 192.168.100.108:/mnt/magi /Volumes/magi
Password:
% ssh root@192.168.100.108
root@192.168.100.108's password:
Last login: Wed Feb  1 00:51:54 2017 from 192.168.100.98
FreeBSD 10.3-STABLE (FreeNAS.amd64) #0 r295946+1805185(9.10.2-STABLE): Wed Jan 11 17:12:42 UTC 2017

	FreeNAS (c) 2009-2016, The FreeNAS Development Team
	All rights reserved.
	FreeNAS is released under the modified BSD license.

	For more information, documentation, help or support, go here:
 	http://freenas.org
Welcome to FreeNAS
[root@freenas] ~# top
last pid: 89902;  load averages:  0.30,  0.25,  0.24                                                                                  up 2+02:17:53  01:17:49
44 processes:  1 running, 43 sleeping
CPU:  0.0% user,  0.0% nice,  0.9% system,  1.1% interrupt, 97.9% idle
Mem: 1148K Active, 547M Inact, 14G Wired, 181M Free
ARC: 1339M Total, 12M MFU, 1306M MRU, 3142K Anon, 4228K Header, 13M Other
Swap: 6144M Total, 6144M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
88769 root         16  20    0 14476K  2268K rpcsvc  3   0:42   3.32% nfsd
86808 root          1  20    0 20704K  4048K rpcsvc  3   0:05   0.20% rpc.lockd
 2386 root          6  20    0   409M   187M select  3   4:56   0.00% python2.7
 2363 root          1  52    0   237M 64984K select  2   3:15   0.00% python2.7
 1380 root          1 -52   r0  6304K  2272K nanslp  2   0:26   0.00% watchdogd
47448 root          2  20    0 30264K 18124K select  1   0:15   0.00% ntpd
  201 root          2  20    0   338M 88672K kqread  1   0:13   0.00% python2.7
82662 root         12  20    0   227M 18036K nanslp  2   0:13   0.00% collectd
 2313 www           1  20    0 34272K  2004K kqread  0   0:05   0.00% nginx
 3026 root          1  52    0   181M 52348K ttyin   3   0:02   0.00% python2.7
 2137 root          1  32   10 17064K  1192K wait    3   0:01   0.00% sh
89549 root          1  20    0 26068K  3124K CPU0    0   0:01   0.00% top
 2973 root          1  20    0 20740K  1224K nanslp  3   0:01   0.00% cron
82761 root          1  20    0 68936K  7400K kqread  0   0:01   0.00% syslog-ng
 1019 root          2  20    0 14048K  5340K select  0   0:01   0.00% devd
 2963 root          1  20    0 51716K  3888K select  1   0:00   0.00% zfsd
88525 root          5  42    0   102M 13572K usem    0   0:00   0.00% python2.7
83095 root          1  20    0 30732K  4204K nanslp  2   0:00   0.00% smartd
89545 root          1  20    0 88408K  7168K select  3   0:00   0.00% sshd
89547 root          1  21    0 27716K  3628K pause   0   0:00   0.00% csh
82900 nobody        1  20    0 17036K  2688K select  1   0:00   0.00% mdnsd
88768 root          1  20    0 22720K  4044K select  0   0:00   0.00% nfsd
86702 root          1  20    0 20728K  2300K select  0   0:00   0.00% rpcbind
86732 root          1  20    0 16868K  2176K sbwait  2   0:00   0.00% nfsuserd
86733 root          1  20    0 16868K  2176K select  3   0:00   0.00% nfsuserd
86734 root          1   4    0 16868K  2176K select  0   0:00   0.00% nfsuserd
86731 root          1  20    0 16868K  2176K sbwait  1   0:00   0.00% nfsuserd
86750 root          1  20    0 22744K  4200K select  1   0:00   0.00% mountd
86792 root          1  20    0   280M  4196K select  3   0:00   0.00% rpc.statd
 2464 root          1  20    0 14460K   468K sigwai  3   0:00   0.00% daemon
88466 root          1  20    0 61028K  6740K select  1   0:00   0.00% sshd
 3030 root          1  52    0 14488K  2024K ttyin   3   0:00   0.00% getty
 3027 root          1  52    0 14488K  2024K ttyin   2   0:00   0.00% getty
 3032 root          1  52    0 14488K  2024K ttyin   3   0:00   0.00% getty
[root@freenas] ~# dd if=/dev/zero of=/Volumes/magi/zero count=5 bs=10000000
dd: /Volumes/magi/zero: No such file or directory
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5 bs=10000000
5+0 records in
5+0 records out
50000000 bytes transferred in 0.056087 secs (891471906 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5 bs=10000000
5+0 records in
5+0 records out
50000000 bytes transferred in 0.054571 secs (916239018 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=500 bs=10000000
500+0 records in
500+0 records out
5000000000 bytes transferred in 16.905279 secs (295765598 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5000 bs=10000000
5000+0 records in
5000+0 records out
50000000000 bytes transferred in 249.507943 secs (200394422 bytes/sec)
[root@freenas] ~# ll /m
media/ mnt/
[root@freenas] ~# ll /mnt/magi/zero
-rw-r--r--  1 501  wheel  50000000000 Feb  1 01:26 /mnt/magi/zero
[root@freenas] ~# ll /mnt/magi/zero
-rw-r--r--  1 501  wheel  50000000000 Feb  1 01:26 /mnt/magi/zero
[root@freenas] ~# zpool list
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
freenas-boot  7.25G   651M  6.61G         -      -     8%  1.00x  ONLINE  -
magi          8.12T  72.1G  8.05T         -     0%     0%  1.00x  ONLINE  /mnt
[root@freenas] ~# zfs list
NAME                                                    USED  AVAIL  REFER  MOUNTPOINT
freenas-boot                                            650M  6.39G    64K  none
freenas-boot/ROOT                                       643M  6.39G    29K  none
freenas-boot/ROOT/Initial-Install                       247K  6.39G   635M  legacy
freenas-boot/ROOT/default                               643M  6.39G   640M  legacy
freenas-boot/grub                                      6.50M  6.39G  6.50M  legacy
magi                                                   48.0G  5.20T  48.0G  /mnt/magi
magi/.system                                            858K  5.20T   128K  legacy
magi/.system/configs-ea02119b0df4495ba64ec1dbdd61ed06   117K  5.20T   117K  legacy
magi/.system/syslog-ea02119b0df4495ba64ec1dbdd61ed06    613K  5.20T   613K  legacy
[root@freenas] ~#

```