質問: 一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか? ルールとか体制とかを中心に教えてほしいです。 ちなみにぼくの会社では、監視ツールや自作監視スクリプトでアラートをエンジニア社員全員に送って、誰かが対応することになっています。(たまに誰も対応やレスをしなくて上司に怒られます) これはぼくら社員にとって正直ストレスになるので、なにかよいルールや体制を上司に提案したいなと考えています。 ぜひみなさんの会社のやり方を教えてください。 よろしくお願いします。
回答: うちではまず、サーバやサービスに障害が発生したらメールを送信する監視システムが第一歩で、監視システムは担当者全員の携帯にメールを送信します。 これくらいはどこでもやってると思います。 ですが、これで安心してはいけません。 この障害メールに対して全員が対応を始めると2重に対応を行ってしまう無駄が出たり、 逆に誰かがやるだろうと全員が考えてスルーしてしまい大障害になる恐れがあるので、 対応担当を当番制で決めておきます。 例えば、担当者が3人いるとした場合1週間毎に対応当番を交代します。 当番の週は障害メールが来たら真っ先に対応する責任があります。 これにより責任が明確になるとともに、逆に当番以外の人間の精神的負担が大幅に軽減されます。 ですが、人間なのでいくら障害メールが来ていて当番脱兎しても寝ていて気がつかなかったりすることがあります。 この問題の対策として、更に以下のようなシステムを独自で作って運用しています。 まず監視システムは担当者以外に「担当を電話で叩き起こすシステム」にもメールを送ります。 この電話システムには担当者 A,B,C の携帯電話番号が設定されており、障害メールが届くと現在当番の人を判断してその人の携帯電話に電話をかけ始めます。 1回だと気がつかない場合もあるので10回くらいは何度もリダイアルして気付かせます。 ですが、人間なので、いくら寝ていなくても、風呂に入っているなどで電話の鳴る音にも気がつかない場合もあります。 その場合リダイアル上限に達したら電話システムはAを諦めて、B,Cの携帯に順番に電話をかけていきます。 Bが当番じゃないときでもBに電話が回ってきたときはAが対応できなかったんだなと諦めて対応します。 これはAに対するBの貸しになるので、Bは翌日Aに対して飯をおごってもらうなどして貸しを返してもらいます。 ちなみにこのリダイアル地獄は電話を取ってダイアルで暗証番号を入れることで止まります。 この暗証番号もポイントで、毎回同じ番号だと慣れてくると寝ぼけたまま障害電話を取って暗証番号を入れてリダイアルシステムを停止させてまた寝てしまうことがあります。 それを防ぐため、今日の日付を入力させるなど多少頭を使わないと止められない仕組みになってます。 いかにも人間的で単純なシステムですが、これが出来てからは対応漏れも減った上に、当番以外の時は実質対応休暇となるので担当者の精神的負担も大きく軽減されました。