協助同事軟體更新時發生的 bug 進行配套措施，原先為了軟體更新而必須關閉另一個服務，沒想到關閉另一個服務反而造成 device 流程進入不斷詢問該服務是否正常的迴圈中，反而看到另一個 bug。就這樣被 DDOS 了 Orz
由於這套伺服器架構並沒有採用 Auto Scaling ，反而可以好好觀察到底服務會撐多久，很幸運的，機器們一直處於 CPU 100% 好一陣子，但服務並沒有被中斷，只是單純緩慢了點。
後來就順勢開始人工加機器，以為 requests/min 成長停住了！止血了！殊不知，這只是 ELB 的效應，他還在暖身 XD 等 ELB 熱身完畢後，流量又開始爆起來。
所幸這個 bug 將隨著裝置不斷更新後而解除，估計再撐一下吧！
沒有留言:
張貼留言