CentOS7＋Pacemaker＋Corosync+DRBD＋NFS組んだ備忘録

まあ需要により組んだ備忘録です。これ以上あたためると忘却の彼方になるので一応書きます。
間際に言われて年末はさんでたけど年明けてすぐなんとかなってよかったです。

冗長化とか真面目にやると、なんでそんなめんどくさ難しいことするの気持ち悪いって反応が稀にあるけど本音は関係者の皆様含めた安眠のためとご所望のとおり働くだけくらいで建前はSLAと事業継続性ですかね。パブリッククラウドでマネージドのやつで保障されてるなら不要なんじゃないかと思うかな。

一応なんとなく書くとDRBDとは異なるホストのディスクをマスタ・スレーブとして同期してくれるもので、PacemakerとCorosyncとpcsは壊れたらマスタスレーブを自動であらかじめ設定したとおり切り替えてくれるものでnfsはファイル共有を提供してくれて複数のwebなどのクライアントから同じディスクマウントして読み書きする（ランダム高頻度書き込みに向いていない）やつです。普及してるのは2台構成で組むもので今回も同じ2台構成です。

今回はCentOS6のheartbeat・crmベースだったのをCentOS7でpacemaker・corosync・pcsになったので丸ごと調査検証しなおしって感じでやりがいがありました。
具体的に言うとinitdがsystemdに変わったせいで各種起動停止手順も異なるしPacemaker的なResouceAgentを考え直す必要があったりなど。


#### **CentOS7.4を用意**

7.1だとpcsがまともに動かなかったりしました。メジャーバージョン切り替わったばっかのやつより3世代くらい経たほうがバグがつぶされて安定して必要な設定が増えたりなど(覚えてる範囲だとchronydや今回だとpcsd)改善されている気がします。firewalldはdisable前提ですみません。有効な人は別途色々止め方が要る感じだったと思いますがここでは書かないのでググってください。
(物理でもVMでもどっちでもよくて2台。あとデータ同期用の領域として別のディスクをアタッチ。回線は物理ならHA通信用のチャネルボンディングもあるとよさげだったりしますが今回は特になにもしてないです）

```
yum update 
cat /etc/redhat-release
```

#### **ハードウェアの認識さすのとdrbdをいれてその設定をする**

・ファイルシステムの確認。ルートデバイスとは別にくっつけてdrbdの領域とする。lvmはとりあえずしないことに。

```
fdisk -l
```
領域の拡張は省略。

DRBDパッケージインストール

```
wget http://ftp.kddilabs.jp/Linux/RPMS/elrepo/elrepo/el7/x86_64/RPMS/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
rpm -ivh elrepo-release*
sed -i 's/enabled=1/enabled = 0/g' /etc/yum.repos.d/elrepo.repo
yum install --enablerepo=elrepo kmod-drbd84*
rpm -qa | grep kernel
yum update kernel-devel kernel-headers kernel-debug-devel kernel-tools-libs kernel-tools
reboot
```

drbd.confを作成
2ノードで同じものを配置。

```
# cp -p /etc/drbd.conf{,.org}
# vi /etc/drbd.conf
#include "drbd.d/global_common.conf";
#include "drbd.d/*.res";

global {
    usage-count no;
}

common {
  syncer { rate 125M; }
      handlers {
        pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger; reboot -f";
        pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger; reboot -f";
        local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger; halt -f";
        fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
        after-resync-target "/usr/lib/drbd/crm-unfence-peer.sh";
#        outdate-peer "/usr/lib/heartbeat/drbd-peer-outdater -t 5";
      }
}

resource drbd0 {
  protocol C;
#      handlers {
#        outdate-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";
#      }
      startup {
        degr-wfc-timeout 120;    # 2 minutes.
      }

      disk {
#        on-io-error   pass_on;
        on-io-error   detach;
        fencing resource-only;
      }

      net {
      }

      on mynode03 {
        device     /dev/drbd0;
        disk       /dev/sdb1;
        address    10.33.0.42:7788;
        meta-disk  internal;
      }

      on mynode04 {
        device     /dev/drbd0;
        disk       /dev/sdb1;
        address    10.33.0.43:7788;
        meta-disk  internal;
      }
}
```
handlersがheartbeatの頃のファイルが存在してなかったので修正しました。

メタデータ初期化、起動

```
drbdadm create-md drbd0
systemctl start drbd.service
systemctl status drbd.service
systemctl enable drbd.service
systemctl is-enabled
cat /proc/drbd
```
Secondary/Secondaryになってるので片方をプライマリにする

```
drbdadm primary drbd0 --force
drbdadm status
```

ext4でフォーマット。マウントポイント作成、マウント。

```
mke2fs -t ext4 /dev/drbd0
mkdir -p /drbd
mount /dev/drbd0 /drbd
df -h
ls -al /drbd
```

あと`umount /drbd`でマウント外して切り替え。
マウント外れてればプライマリにしたいノードで`drbdadm primary <drbd-resource>`うつだけですね。
でマウントして書き込みテストする。（監視で定期書き込みテストは入れたほうが無難）

#### **nfs設定**

（実はリソースまともに動かねーよという状態から渡されたのでnfs設定は後から調べて書いたものです。）
とりあえずいれて止めとくのとnfsの状態ディレクトリバックアップ

```
yum install nfs-utils
systemctl status rpcbind nfs-server 
systemctl stop rpcbind nfs-server 
umount /drbd
cp -Rf /var/lib/nfs /var/lib/_nfs
```
NFSサーバの状態ファイルは/var/lib/nfs配下にあるので、
待機サーバ側でもそれを引き継げるように、ミラーリングの領域(/dev/drbd)へシンボリックしておく

```
mount /dev/drbd0 /drbd/
mv /var/lib/nfs /drbd/
mv /drbd/TEST-FILE /drbd/nfs/zabbix_file_exists.chk
ln -s /drbd/nfs /var/lib/nfs
umount /drbd
drbdadm secondary drbd0
drbdadm primary drbd0
mount /dev/drbd0 /drbd
mv /var/lib/nfs{,.org}
ln -s /drbd/nfs /var/lib/nfs
umount /drbd
drbdadm secondary drbd0
drbdadm primary drbd0
mount /dev/drbd0 /drbd
mount -t rpc_pipefs sunrpc /var/lib/nfs/rpc_pipefs
```

クライアントから見るIPを指定しとく。

```
# vi /etc/sysconfig/nfs
STATD_HOSTNAME=mynode-vip
```

同ファイル内のRPCNFSDCOUNTもCPUコア数（ぐぐるとコアあたり4～8と出てくる）に合わせて増やしても。負荷的に問題ないなら不要ですが。
あとexportsで公開ディレクトリの設定を。

```
vi /etc/exports 
/drbd        10.33.0.0/255.255.252.0(async,rw,no_root_squash)
exportfs -ra
```

クライアントからマウントして書き込みテストを適宜。
まあResouceAgentでexportsは設定するので要らないかもしれないです。
/var/lib/nfsが要るのかどうかもよくわからないけど一応やっといた体。

#### **クラスタリングソフトを入れて設定をする**

```
yum install corosync pacemaker pcs
```
わたされたときに/etc/yum.confにクラスタリングソフトのexcludeが追記されてて入れなおしたりなどの検証に手間取りましたがそういうのがなければyum普通にbaseやupdatesから入ると思われます。LinuxHAjapanのリポジトリダウンロードしてpacemaker1.1入れるのはcorosyncもpcsも安定してないのでしない方がいいと思いました。

```
systemctl start pcsd
systemctl enable pcsd
systemctl status pcsd
```

ちなみにpcsコマンドでnodeのauthが通らないという現象に遭遇して色々したんですがrubyまわりの開発ツール導入やらOSのアップデートやらpcsdのmakeインストール(結局戻した)やら色々やってみて何が効いたのかさっぱりわからないことになりましたすみません。入れなおしたりしたログは、とりあえず割愛。一応pcsがauthできないのの対応過程で追加で入れてたやつをここに置いときます。

```
yum install glib2-devel libtool-ltdl-devel libuuid-devel net-snmp-agent-libs fence-virt net-snmp-utils telnet pexpect python-requests gnutls-utils device-mapper-multipath sg3_utils python-suds libvirt-client
yum install rubygem-bundler ruby-devel python-devel pam-devel libffi-devel
```

hostsの設定

```
# vi  /etc/hosts
10.33.0.8       mynode-vip
10.33.0.42      mynode03
10.33.0.43      mynode04
```

corosyncの設定
いちおうパブリッククラウド上だったのでmcastじゃなくてunicastになるように設定。
`bindnetaddr`で対向のアドレスを指定し`transport: udpu`でunicastの設定。（heartbeatのha.cfなどでやってたようなクラスタの疎通確認の経路の指定）
あとinterfaceとnodelistにさっきhostsに書いたアドレスを設定。

```
# vi /etc/corosync/corosync.conf
#compatibility: whitetank
#aisexec {
#          user: root
#          group: root
#        }
#service {
#          name: pacemaker
#          ver: 0
#          use_mgmtd: yes
#        }
#amf     {
#          mode: disabled
#        }
totem   {
    version: 2
#    secauth: off
#    threads: 0
    rrp_mode: active
#    clear_node_high_bit: yes
    token: 4000
#    consensus: 10000
#    join: 60
    cluster_name: my_cluster
    interface {
          member {
                    memberaddr: 10.33.0.42
                 }
          member {
                    memberaddr: 10.33.0.43
                 }
       ringnumber: 0
       bindnetaddr: 10.33.0.43
#       mcastaddr: 239.255.1.1
#       mcastport: 5405
#       ttl: 1
              }
    transport: udpu
        }

nodelist {
    node {
        ring0_addr: mynode03
        nodeid: 1
    }

    node {
        ring0_addr: mynode04
        nodeid: 2
    }
}

quorum {
    provider: corosync_votequorum
    expected_votes: 2
#    two_node: 1
}

logging {
#    to_logfile: yes
#    logfile: /var/log/cluster/corosync.log
    to_syslog: yes
    syslog_facility: local0
    timestamp: on
#    logger_subsys {
#        subsys: AMF
#        debug: off
#        }
    }
#}
```
ログは上記だとsyslogにしか出してないですがファシリティ分けて別に出すならrsyslogとlogrotatedの設定が要るので忘れないようにどうぞ。
コメントだらけなのは最低限要る設定を模索していたためと入れなおしてた過程で旧いやつだと動作が不安定だったりしたためです。
corosyncはpacmakerを起動すると勝手に上がってくるので自動起動はどっちでもいい感じでした。
一応以下を修正し起動確認ました。設定に問題がなければ普通に起動します。

```
# diff /usr/lib/systemd/system/corosync.service /etc/systemd/system/corosync.service
3d2
< Documentation=man:corosync man:corosync.conf man:corosync_overview
19c18
< #Restart=on-failure
---
> Restart=on-failure
21c20
< #RestartSec=70
---
> RestartSec=70
23a23
> ExecStartPre=/sbin/modprobe softdog

# systemctl start corosync
# systemctl status corosync
# systemctl stop corosync
```

あと鍵が要るらしいので一応片方で作って両ノードに置いとく感じです

```
＠mynode03
# corosync-keygen -l
# scp -p /etc/corosync/authkey user＠mynode04:/tmp/

＠mynode04
# chown root. /tmp/authkey 
# mv /tmp/authkey /etc/corosync/
```

Pacemakerの設定
しなくても動くので要らないかもしれない。

```
# diff /etc/sysconfig/pacemaker{,.org}
78d77
< PCMK_fail_fast=yes
```

nodeをauthしてpcsでクラスタ起動する。

```
# passwd hacluster
# systemctl start pacemaker
# systemctl status pacemaker
# pcs cluster auth mynode04 mynode03 -u hacluster -p xxxxx --force
# pcs cluster start --all
# pcs cluster status
# pcs status
```
ちなみに
`pcs cluster setup <clustername> <node1> <node2>`とするとcorosync.confが作成されるようです。
あと`pcs cluster enable --all`は`systemctl enable pacemaker corosync pcsd`と同じ意味。
（corosyncと各種ResouceAgentはPacamakerがハンドリングするのでdisableでも大丈夫。）

pcsコマンドによる設定
-fで設定ファイル指定して書き込んだやつをpushして反映という流れ。
pacemakerのリソースとして登録することでそのクラスタ切り替えをハンドリングできるように。
リソースエージェントのスクリプト群はocfのは`/usr/lib/ocf/resource.d`の下に。

```
##stonithとめる
crm_verify -L -V
pcs -f drbd_cfg property set stonith-enabled=false
pcs cluster cib-push drbd_cfg
crm_verify -L -V

##フェイルバック抑制らしいのとスムーズに切り替えるらしい設定ほか
pcs -f drbd_cfg resource defaults resource-stickiness=200

pcs -f drbd_cfg resource defaults failure-timeout="3600s"
pcs -f drbd_cfg property set start-failure-is-fatal="false"


##drbdのデバイスのリソース設定
pcs -f drbd_cfg resource create res_drbd0 ocf:linbit:drbd \
 drbd_resource=drbd0 \
 op monitor interval=10s on-fail=restart role=Master timeout=20s \
 op monitor interval=20s on-fail=restart role=Slave timeout=20s \
 op promote interval=0s on-fail=restart timeout=90s \
 op demote interval=0s on-fail=block timeout=90s \
 op start interval="0" timeout="240" \
 op stop interval=0s on-fail=block timeout=100s

##drbdのクローンの設定
pcs -f drbd_cfg resource master ms_drbd0 res_drbd0 \
  master-max=1 master-node-max=1 \
  clone-max=2 clone-node-max=1 \
  notify=true 

##一度設定をpushしておく
pcs cluster cib-push drbd_cfg

##設定pushしたものを取り出して確認しておく
pcs cluster cib fs_cfg

##drbdのファイルシステムのマウントの設定
pcs -f drbd_cfg resource create res_FS_NFS Filesystem \
  device="/dev/drbd0" \
  directory="/drbd" \
  fstype="ext4"

##クローンにはdrbdにマウントされたファイルシステムが必須の設定
pcs -f drbd_cfg constraint colocation add res_FS_NFS with ms_drbd0 \
  INFINITY with-rsc-role=Master

##クローンをマスタに昇格させるときにファイルシステムを開始する
pcs -f drbd_cfg constraint order promote ms_drbd0 then start res_FS_NFS

##Mailto(アラート通知設定）
pcs -f drbd_cfg resource create res_Mailto_NFS ocf:heartbeat:MailTo \
 email="user＠domain" subject="(myalert-mail-prefix)" \
 op start interval=0 timeout=60s on-fail=restart \
 op monitor interval=10s timeout=60s on-fail=restart \
 op stop interval=0 timeout=60s on-fail=block

##VIP（NFS公開用仮想IP）
pcs -f drbd_cfg resource create res_VIP_NFS ocf:heartbeat:IPaddr2 \
 ip=10.33.0.8 cidr_netmask=22 \
 op start interval=0 timeout=60s on-fail=restart \
 op stop interval=0 timeout=60s on-fail=block \
 op monitor interval=30s timeout=60s on-fail=restart

##VIPcheck（VIPをモニタリングするリソース）
## /usr/lib/ocf/resource.d/heartbeat/VIPcheckが見当たらなかったのでlinux-haのパッケージから入れた。
## rpm -ivh /opt/linux-ha/pacemaker/rpm/{pm_extras*,cluster-glue-1.0*}

## pcs -f drbd_cfg resource create res_VIPcheck_NFS ocf:heartbeat:VIPcheck \
##  target_ip=10.33.0.8 count=1 wait=10 \
##  op start interval=0 timeout=90s on-fail=block \
##  op stop interval=0 timeout=90s on-fail=block

##　↓　※せっかく入れたけどRA(リソースエージェント)とまるのでpingで代替えすることにした(リソースグループから外してcloneにした）

pcs -f drbd_cfg resource delete res_VIPcheck_NFS
pcs -f drbd_cfg resource create res_VIPcheck_NFS ocf:pacemaker:ping \
name=nfssrv_ping \
dampen=5s \
multiplier=1000 \
host_list=10.33.0.8 \
op monitor interval=10s \
--clone


## NFSサーバ用リソース
pcs -f drbd_cfg resource create res_NFS systemd:nfs-server \
 op start interval=0 timeout=60s on-fail=block \
 op monitor interval=10s timeout=60s on-fail=restart \
 op stop interval=0 timeout=60s on-fail=block

## ※ocf:heartbeatをやめてsystemdにしたら安定的に動いた

## exportfs(もともとなかったが一応追加した）
pcs -f drbd_cfg resource create res_exportfs_NFS ocf:heartbeat:exportfs \
  clientspec="10.33.0.0/22" options="async,rw,no_root_squash" directory="/drbd" fsid="root"

## グループ化(rg_NFS)
pcs -f drbd_cfg resource group add rg_NFS res_VIP_NFS res_FS_NFS res_NFS res_exportfs_NFS res_Mailto_NFS

## drbdとグループの制約（コロケーションと順序）を追加
pcs -f drbd_cfg constraint colocation add master ms_drbd0 with rg_NFS INFINITY with-rsc-role=Master
pcs -f drbd_cfg constraint order promote ms_drbd0 then start rg_NFS

## drbdとNFSサーバの制約（コロケーション＝同居制約）を★切り替えテスト後に追加
pcs -f drbd_cfg constraint colocation add res_NFS with ms_drbd0 INFINITY with-rsc-role=Master

## ※with-rsc-role=Masterがないとdrbdを自らつかみにいかない感じだった

## 一応なんとなくロケーション制約を設定してみた(スコア値は正数の数が多いほうが優先度高い）
pcs constraint location rg_NFS prefers mynode03=100 mynode04=50

## 設定をpush
pcs cluster cib-push drbd_cfg

## 設定を確認
pcs config show
pcs constraint --full
```
リソースグループに入ってるリソースを消すだけなら特に作り直さなくていいけど、
リソースグループは変えたかったら消して作り直す感じでリソースグループ消すと付随する制約が勝手に消えるのでもろとも作り直しが要りました。

ステータスを確認するとクラスタの状態がわかります。
以下の例だと03側のノードにリソースが寄ってる様子が分かるかと。

```
# pcs status
Cluster name: my_cluster
Stack: corosync
Current DC: mynode04 (version 1.1.16-12.el7_4.5-94ff4df) - partition with quorum
Last updated: Fri Jan  5 17:54:33 2018
Last change: Fri Jan  5 17:52:58 2018 by root via cibadmin on mynode03

2 nodes configured
9 resources configured

Online: [ mynode03 mynode04 ]

Full list of resources:

 Master/Slave Set: ms_drbd0 [res_drbd0]
     Masters: [ mynode03 ]
     Slaves: [ mynode04 ]
 Clone Set: res_VIPcheck_NFS-clone [res_VIPcheck_NFS]
     Started: [ mynode03 mynode04 ]
 Resource Group: rg_NFS
     res_VIP_NFS        (ocf::heartbeat:IPaddr2):       Started mynode03
     res_FS_NFS (ocf::heartbeat:Filesystem):    Started mynode03
     res_NFS    (systemd:nfs-server):   Started mynode03
     res_exportfs_NFS   (ocf::heartbeat:exportfs):      Started mynode03
     res_Mailto_NFS     (ocf::heartbeat:MailTo):        Started mynode03

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled
```

スコアの優先度は`crm_simulate -sL`で現状が確認できる模様。
優先度高い　INFINITY > 200 > 100 > 0 > -100 > -INFINITY 優先度低い、という理解でおります。
ちなみにINIFINITYに設定されてるリソースを手動moveするとロケーション制約が追加されてそれを削除するまで二度と切り替わらないみたいなことになってだいぶ冷や汗でました。

フェイルアクションの消し方は`pcs resource cleanup`でよさそう。
制約はidを`pcs constraint --full`で確認してから`pcs constraint remove cli-ban-ms_drbd0-on-mynode03`みたいな感じでidを指定して消すようでした。

切り替えテストは普通にプロセス切ったりIPおとしてみたりリブートしてみたりなどでよさそう。
（切り替えテストの結果~~次第で制約を追加する必要があるかもしれない~~nfsserverプロセス断で切り替わらなかったので制約追加しました★↑）
（クライアントからの見え方はマウントされてるとこの読み書きテストなどで）
スタンバイにするには`pcs cluster standby <node>`で戻すには`pcs cluster unstandby <node>`で。

pcsコマンドは気軽に制約入れられてしまうため作業開始前と後に`pcs cluster cib fs_cfg.$(date +%Y%m%d_%H%M)`など打って`diff`るのと-fつけてpushするなどしないと危ういのかなと思いました。

あとリソースエージェントのリストと設定可能な詳細オプションが書かれたやつの見方。
マニュアル見ながら認識できない設定を入れたり必要なのが無くて作動しないのを防ぐというか。
`ocf:heartbeat`の`ResouceAgent`は特に`nfsserver`は不安定だったので`systemd`にしました。
`MailTo`は検索したらカスタマイズしてる人が結構いました。

```
pcs resource list 
pcs resource list ocf
pcs resource list pacemaker
pcs resource describe ocf:heartbeat:IPaddr2
pcs resource describe ocf:pacemaker:ping
pcs resource describe systemd:nfsserver
```

クラスタを消し去るには`pcs cluster destroy --all`するとauth通ってる全ノードのクラスタ情報がcorosync.confもろとも消されるらしいです。（これだけ聞いただけで試してない）
ちなみにCentOS7.1だとやっぱりpcsコマンドのauthが通らずそうすると--allのオプションは効かないけどクラスタは組めて切り替えは可能だったりなど。

とりあえずこんなところで。


####**参考**
参考にさせてもらいました。ありがとうありがとう。
[CentOS7.1でPacemaker+corosyncによるクラスタを構成する - とあるエンジニアの技術メモ](http://kan3aa.hatenablog.com/entry/2015/06/05/135150)
[CentOS7でPacemaker×Corosyncを動かす - Rhythm & Biology](http://mythosil.hatenablog.com/entry/2017/07/21/004523)
[CentOS7のMariaDB(MySQL)をDRBDでHA化 – 1Q77](https://blog.1q77.com/2017/06/mariadb-on-centos7-ha-using-drbd/)
[Pacemakerクラスタ管理コマンドまとめ - とあるエンジニアの技術メモ](http://kan3aa.hatenablog.com/entry/2015/11/14/194942)
[HAクラスターシステム構築(Pacemaker+Corosync+pcs) - CentOSで自宅サーバー構築](https://centossrv.com/pacemaker.shtml)
[アクティブ機のデータディスクが壊れたら遅滞なくフェイルオーバさせる方法 – Thirdware Tech Info](https://blog.3ware.co.jp/2015/04/%E3%82%A2%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E6%A9%9F%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E3%81%8C%E5%A3%8A%E3%82%8C%E3%81%9F%E3%82%89%E9%81%85%E6%BB%9E%E3%81%AA/)
[【学習メモ】corosyncとheartbeatを動かして違いを感じる - Qiita](https://qiita.com/Hige-Moja/items/c9286e3a1f6a3f4cff0f)
[Corosync.conf(5)マニュアル – Thirdware Tech Info](https://blog.3ware.co.jp/2015/05/corosync-conf-5/)
[CentOS 7 で DRBD/Pacemaker/Corosync で High Availability NFS - Qiita](https://qiita.com/ngyuki/items/9c2c6fccaa2ea8bb054f)
[AWS Multi-AZにおける Pacemaker + Corosync による Elastic IP の付け替え - Qiita](https://qiita.com/kenzo0107/items/851c002b6ea62f9a07c4)
[Linbit Docs - ドキュメントLINBIT](http://docs.linbit.com/docs/users-guide-8.4/#s-pacemaker-stacked-resources)
[Clusters from Scratch](http://clusterlabs.org/doc/en-US/Pacemaker/1.1-pcs/html-single/Clusters_from_Scratch/)
[Pacemaker 1.1 Configuration Explained – (12)利用と配置ストラテジ – Thirdware Tech Info](https://blog.3ware.co.jp/2017/12/util-place-strategy/#more-2497)
[Pacemakerでフェールオーバー時にAmazon SNSに通知するResource Agent書いてみた - YOMON8.NET](http://yomon.hatenablog.com/entry/2016/12/08/224501)
[Pacemakerのフェイルオーバ時にLINEに通知してみた - Qiita](https://qiita.com/htakeda/items/bf45f35a191718b0f93f)
[CentOS 7 の Pacemaker/Corosync で snmptrap やメールで通知 - Qiita](https://qiita.com/ngyuki/items/efb44a09f4d98645fba0)
[centos7にpacemakerをインストールしてみる | 日常系エンジニアのTech Blog](https://sky-joker.tech/2017/03/26/centos7%E3%81%ABpacemaker%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/)
[6.8. Move Resources Manually](http://clusterlabs.org/doc/en-US/Pacemaker/1.1/html/Clusters_from_Scratch/_move_resources_manually.html)
[障害時にサブサーバへ自動で切り替える「高可用性WordPressシステム」の作り方 後編：DRBDの仕組みを学ぶ（6） - ＠IT](http://www.atmarkit.co.jp/ait/articles/1601/21/news007_2.html)
[6.8. Specifying a Preferred Location](http://clusterlabs.org/doc/en-US/Pacemaker/1.1/html/Clusters_from_Scratch/_specifying_a_preferred_location.html)
[Chapter 6. Resource Constraints - Red Hat Customer Portal](https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/configuring_the_red_hat_high_availability_add-on_with_pacemaker/ch-resourceconstraints-haar)
[インフラ構築手順書 冗長化構築　PaceMaker+MySQL](http://infra.blog.shinobi.jp/Category/37/)
[zabbix-server+pcs+corosyncでHAクラスタを構築する検証 - Qiita](https://qiita.com/smallpalace/items/2afa1a17ef0b34d4c549)
[Integrate DRBD with Pacemaker Clusters on RHEL7 / CentOS7](http://www.learnitguide.net/2016/07/integrate-drbd-with-pacemaker-clusters.html)
[Pacemaker のリソースフェイルオーバーについて - NETWORK ENGINEER BLOG](http://friendsnow.hatenablog.com/entry/2013/05/29/235552)
[Pacemaker and pcs on Linux example - cluster creation, add a node to cluster, remove a node from a cluster, desctroy a cluster - Fibrevillage](http://fibrevillage.com/sysadmin/317-pacemaker-and-pcs-on-linux-example-cluster-creation-add-a-node-to-cluster-remove-a-node-from-a-cluster-desctroy-a-cluster)