모든 글 · 12쪽
전체 글 292편 중 133–144번째 글이다. 최신 글이 앞에 있다.
12쪽 글 목록
292편 중 133–144
user_id 라벨 하나에 모니터링이 죽었다
디버깅하기 쉬우라고 지표에 사용자 ID 라벨을 붙였다. 몇 시간 뒤 모니터링 시스템이 메모리를 다 쓰고 죽었다. 서비스는 멀쩡한데 아무것도 안 보였다.
우리를 무너뜨린 건 트래픽이 아니었다
실제로 겪은 장애를 돌아보니 트래픽 때문에 무너진 건 거의 없었다. 결제사 지연, 인증서 만료, 설정 실수 같은 것들이었다. 대비는 엉뚱한 데 가 있었다.
장애도 없는데 클라우드 청구서가 세 배로 나왔다
장애도 없고 트래픽도 계획대로였는데 월말 클라우드 청구서가 예상의 세 배로 나왔다. 알림 하나 울리지 않았고, 한 달치 돈은 이미 다 나간 뒤였다.
부하 테스트는 통과했는데 출시 날 무너졌다
출시 전 부하 테스트에서 목표의 세 배를 버텼는데, 실제로는 목표치에서 무너졌다. 테스트가 틀린 게 아니었다. 시험한 조건이 실제와 달랐다.
앱 서버를 두 배로 늘렸는데 왜 그대로일까
트래픽이 늘어 앱 서버를 두 배로 늘렸는데 처리량은 그대로였고 응답은 오히려 나빠졌다. 앱 서버는 놀고 있었고, DB 만 CPU 100% 였다.
서버를 5대로 늘렸더니 레이트 리밋이 다섯 배로 샜다
초당 100회로 걸어 둔 제한이 서버를 다섯 대로 늘리자 500회가 됐다. 한곳에 모아 세니 이번엔 그 카운터가 병목이 됐다.
큐에 쌓아 두면 된다더니 서버가 메모리로 죽었다
큐에 쌓아 두면 언젠가 다 처리될 줄 알았다. 유입이 넘친 날 서버는 메모리 부족으로 줄줄이 죽었고, 쌓여 있던 것도 전부 날아갔다.
샤드는 고르게 나눴는데 한 샤드만 CPU 100%
샤드를 고르게 나눴는데 프로모션 상품 하나 때문에 한 샤드만 CPU 100% 가 됐다. 나머지는 20% 인데. 샤드를 더 늘리면 풀릴까? 안 풀린다. 키 하나는 여전히 한 샤드에 있다.
새로 띄운 인스턴스만 느리다, 늘릴수록 나빠진다
부하가 올라 서버를 늘렸는데 새로 뜬 인스턴스만 유독 느리고, 늘릴수록 상황이 나빠졌다. 같은 이미지인데도. 오래 산 인스턴스에만 쌓여 있는 게 따로 있었다.
오토스케일을 켜 뒀는데도 몇 분간 서비스가 죽었다
방송에 소개된 날 트래픽이 1분 만에 열 배가 됐다. 오토스케일은 제대로 움직였는데, 서버가 늘기까지 몇 분 동안 서비스는 죽어 있었다. 설정이 틀린 게 아니었다.
DB 페일오버는 끝났는데 앱은 왜 옛 주소로 붙을까
주 DB 가 죽고 대기 서버가 몇 초 만에 승격됐는데도 서비스는 계속 죽어 있었다. 앱이 아직 옛 주소로 붙고 있었다. 전환은 성공했는데 그 소식이 앱까지 안 닿았다.
트래픽이 세 배로 몰리면 일부는 빨리 거절해야 한다
트래픽이 세 배로 몰리자 서버는 살아 있는데 응답이 30초를 넘었다. 사용자는 이미 떠났는데 서버는 그 요청을 성실히 처리하고 있었다. 아무도 기다리지 않는 응답을 만드는 중이었다.
조건에 맞는 글이 없다. 브루니가 숨었나 보다.