質問: 「プロセスがロックしてしまうミドルウェア障害」とはどういうものですか?
回答: 「プロセスがロックしてしまうミドルウェア障害」についてですが、まずは現象の説明からさせていただきます。 はてなのアプリケーションは主にPerlで記述されています。またアプリケーションは、Apache上で動作しています。今回の障害は、Apacheのプロセスがロック、すなわち処理途中で固まってしまう状態になってしまうことで発生してしまいました。 このロックは、straceなどで状態を確認したところ、おそらく外部サイトへのリクエストを含む特定の動作パターンで発生すると考えていますが、障害対応時には既に挙動が再現せず、正確な原因追求は難しい状態です。そのため、まずApacheプロセスを再起動させることで処理を再開させました。またさらに対症療法となりますが、再発防止のため、ロックの検出と自律的な再起動を組込むことを検討しています。 今回の障害の原因は、おそらく外部サイトの挙動の変化を受けて、Perlで書かれたアプリケーションが利用しているライブラリ、もしくはApacheの動作が不安定になったことにあると考えており、「プロセスがロックしてしまうミドルウェア障害」という表現を使いました。 ユーザーの皆様にはご迷惑をお掛けし申し分けありませんでした。また、今後もできるだけ分かり易く、迅速な障害告知を心掛けていきたいと思います。 今後とも、~~人力検索はてな~~はてなハイクをよろしくお願い致します。