トラブル対応

2010年02月13日

このエントリーをはてなブックマークに追加

AWSに関する復旧エントリを見かけないので、あえて積極的に書き記す。

whois.hansode.org」がトラブルに遭遇

2010年の年明け。Amazon EC2へ論理移転した直後の出来事。

▼当時の状況

  • 閲覧が出来ない!
  • SSH接続を試みたが、接続出来ない…
  • Elasticfoxではインスタンスがrunning
どうにかせねば…

▼システム構成

  • 環境構築済みAMIを登録していた
  • MySQL datadirはEBS Volume
  • 論理移転後にMySQLへ投入したデータを一旦snapshot生成

論理移転後にまで戻ってしまうけど、復旧可能だったので楽観視していた。

ダメ元で挑んだsnapshot作成

ssh接続出来ないインスタンス。
きっと何かのプロセスがディスクをがっちり掴んでしまっている。
snapshotを作れないだろうと思っていた…。

  1. Elasticfoxから問題発生インスタンスにattachされているEBSのsnapshot生成命令
  2. …snapshot作成成功!
  3. snapshotからEBS Volume作成
  4. これも成功!
何とかなるかもしれないぞ?
そして新環境構築へ

ここからの操作は簡単だ。

  1. 環境構築済みAMIでインスタンス起動
  2. 起動したインスタンスにEBS Volumeをattach
  3. 起動したインスタンスにElastic IPアドレスを割り当てる

SSH接続し、データ破損を確認。。。

  • MySQLdが起動
  • 幾つかselectしてみるが問題ない
  • web閲覧可能
  • クローラーが問題なく動いている
問題なし!対応完了!!!

復旧を確認出来たので、

  • 固まってたインスタンスをterminate
    • terminateをリクエストしてから、2・3日インスタンスがシャットダウンされずにいた
    • システムが悪さしていたのではなく、実はAWS側のトラブルだったのか…?
    • 謎は迷宮入りした
勝利の条件
  • 環境構築済みAMIの存在
  • MySQL datadirにEBS Volume
  • Elastic IPアドレス

対応者のスキルに大きく依存するが、
ここまで手軽に、そして、柔軟にインフラ操作を可能にしてくれているAWSは素晴らしい。

惚れ直した。





編集
@hansode at 19:40|PermalinkComments(1)TrackBack(0)