林檎の木が二日間止まってました

2010/10/04 09:00 〜 2010/10/06 08:30 まで約48時間の間サーバーの障害で林檎の木にアクセス出来ませんでした。使っているサーバーはDigiRock社のCORESERVER.JPです。XreaとかValue-domainなんかを運営している会社のサーバーです。いやー私も長い事サイトを運営していて、無料も有料もサーバーを渡り歩いてきましたが丸二日止まったのは、ちょっと記憶にありません。最長で半日くらいだと思う。半日止まった時は、えらい腹を立てたものですが、二日となると「もう、どーでもいいや」と悟りの境地に達していました。

復旧のタイミングですがCORESERVER.JPの障害情報では2010/10/06 01:20に解消とありますが、これは正しくありません。この時点ではデータベースのMySqlが動いていませんでした。林檎の木はDBを使わない静的ページは数える程しかないのでほぼ全滅状態。エラーログを見るかぎりMySqlを動かしたのは、2010/10/06 08:30頃のはず。今日日のWEBサイトでDBはほぼ必須。CORESERVER.JPの提供する価値の半分ぐらいDBが占めていると思う。そのDBを動かし忘れるとか信じられない。2010/10/06 02:00ぐらいに「MySqlデーモンが起動していません。障害復旧後に確認とかしないのですか？」と嫌味のメールを送ったら「障害対応には最大7日かかる可能性があります」というテンプレートメールが返ってきました。

今朝復旧したのですがどうも動作がおかしいと思ったらDBのテーブルが一つ無くなってた。ニュースのスレッドフロートするためにひたすら数を数える一カラム一レコードの無くなっても影響が小さいテーブルだったからすぐ復旧出来たけど、一体どこへ行ってしまったんだ。タイムラインテーブルのauto incrementがずれてタイムラインテーブルに書き込めないという事も起きました。これは復旧時からずれてたのか、テーブルが一個無い状態で色々処理を行ってずれたかは不明。

敗因はサーバー移転をぐずぐずしていた事。一時期サーバーが非常に重くなったので移転の準備はしていたのですが、その後軽くなっちゃったのもあってぐずぐずしてた。だって面倒なんですもの。しかも今回止まって直る気配がなかったので急いで準備中のサーバーに移転しようかと思ったのですが、ソースはあるけどDBのデータが無いよ！バックアップはとってあるけどサーバーに置いてあったから手出しが出来ない。ああああｓｄｓーーー。

障害のお詫びとしてサーバー30日無償延長してくれました。でもこれ意味ないよね。こっちは一秒でも逃げだそうとしているのに延ばしてくれてもなー。