2015年5月21日

EC2インスタンスが止まってて死ぬかと思った

 運用直前のシステムをaws上で開発しているのですが今朝突然接続できなくなっていました。

 ロードバランサー(ELB)配下のEC2インスタンスがOutServiceになっていたのでおかしいなと思い、SSHでつなごうとしてもログインもできず。
 前日に設定を変更したわけでもないのに(何もしてないわけではないですが)何をしてもダメです。

今のところ原因は不明ですが以下の手順で復旧したので次回同じことが起きても焦らないようにメモって起きます。


最後の悪足掻きをしてみる


  1. 接続不能になったEC2インスタンスを停止→起動をする。
  2. ステータスチェックが「2/2 checkes passed」になっているか確認しなっていればOK
    今回の場合、「1/2 checkes passed」のままずーっと止まってました。
  3. 2.がNGだったら諦める。

EC2を再作成する

  1. 予め作成しておいたAMIからEC2を再作成する。
    もし作ってなかったら、再起動しても接続ができないEC2から作って対応します。
    今回は、ちょっと古いAMIしか無かったので再作成しました。
  2. 新しいEC2インスタンスを起動し、ステータスチェックが「2/2 checkes passed」になるのを待ちます。
    ここで「1/2 checked passed」のまま止まったら諦めるしかないのかもしれません。新しいEC2インスタンスを作ってシステムの入れなおしですね、きっと。
  3. ロードバランサに付け直す。
  4. Public IPを古いEC2から付け直す。
  5. システムの動作確認する。

次は、RDSをMultiA-Zにしているのに何か障害が発生した時に正しく対応ができるかどうかでしょうか?

0 件のコメント:

コメントを投稿