Back to list

[안내] 6월 7일(14:16 ~ 15:22, 대략 70분 간) 사이트 이용 불가에 대한 결과

※ 일부 브라우저에서 "서버작업중" 페이지가 지속적으로 표시될 수 있습니다. 이는 서버가 새로 증설되면서 도메인과 내부 아이피가 변경되었는데, 브라우저 자체적으로 서버주소를 임의로 캐시하고 있는 상황에서 매칭되지 않아서 나타나는 현상입니다. 간단하게 캐시비우기를 하면 정상적으로 접속이 가능합니다(앱의 경우에는 환경설정 > 어플리케이션 > 후잉가계부 > 저장공간 비우기를 진행) --- 안녕하세요! 흥반장입니다. 지난 6월 7일 14:16 ~ 15:22 사이 약 70분간 사이트에 마비가 있었습니다. 추정하는 원인은 DDOS까지는 아니고, 사이트 취약점 공격을 위한 크롤링으로 의심되고 있습니다. 원래 일상적으로 이상한 접근은 있었고, 별탈없이 잘 막고 있었는데, 금일의 트래픽은 평소보다 수치가 조금 더 높은 것으로 추정됩니다. 후잉의 서버 리소스는 평상시에 5% 미만으로 사용되는 것을 기준으로 해놨었는데, 악의적 접속에 쉽게 서버가 나간 이유는 아래와 같습니다. 1. 제가 서버 설정 최적화는 미진한 관계로 최초의 진입점이 되는 웹서버(로드밸런서)와 실제 동작되는 웹서버 간의 트래픽 분산, 웹서버의 최적화에 실패하여 악의적 접속이 정상 접속을 밀어냈습니다. 2. 악의접 접속에 대하여 단순 거부가 아니라 일종의 딜레이 장치를 마련하였었는데, 이것이 더욱 웹서버 부담을 가중했습니다. 3. 연결 실패에 대한 별도의 수집기능이 있는데, 위의 1번 2번 현상과 맞물려 이 리포팅 자동요청의 폭발적으로 증가가 병목을 만들어냈습니다. 이에 따라 접속불가(502 Bad gateway / timeout)이 발생하였으며, 이는 웹서버가 기존에 밀린 요청을 처리하느라 사용자의 요청을 거부하면서 생기는 메시지입니다. 웹서버는 사용자의 요청을 받아들이고 DB서버와 소통을 해주는 중간 서버로써, 맛이 가는 것을 감안해서 여러대를 운영하고 있지만, 진입점이 되는 로드밸런서 측에서 이상이 생겨 접속이 불가하였습니다. 단기적으로 아래와 같이 계획하고 있습니다. 1. 로드밸런서 및 웹서버 서버의 상위스펙으로 변경 및 추가(새벽에 진행 완료) 2. 악의적 트래픽에 대한 지연없는 차단(적용) 3. 서버 설정 최적화(다른 설정 적용중) 4. 모니터링 알람을 기존보다 촘촘하게 설정 위는 단기적인 해결책입니다. 상황을 봐가면서 조금씩 대응을 보강해야겠습니다. 장기적으로는 네트워크 초입 단계에서 모든 요청에 대해서 방어가 가능한 기능을 알아보고 있습니다. 아마 장기적인 문제가 되기 전까지는 간헐적으로 접속지연이 발생할 수도 있을 것 같습니다. 금일 접속 지연에 대해서 많은 분들이 놀라셨을텐데, 핑계같지만 그래도 말씀을 드리자면, 후잉을 구성하는 많은 서버중에서 웹서버는 보통 이상이 있으면 새로 만들거나 껐다 켜는 수준으로 대응이 가능합니다(오늘은 접속을 관할하는 웹서버가 이상이 생겨 상황이 이용 자체가 불가능해졌지만ㅠ) 가장 중요한 데이터베이스 서버는 잘 유지되고 있습니다. 이것은 제가 임의 설정하는 것은 아니고 AWS 인프라내에서 재해방지를 위해 물리적으로 두개 이상의 지역에 복제본을 만들고 있으니 아마존을 믿으시면 됩니다. 제가 실수로 데이터베이스를 날려도 복구가 가능합니다(실제로 작년에 있었던 일이었습니다;;) 오늘 낮시간대에 후잉에 자료를 입력하셨다면 번거로우시겠지만 "정상적으로 입력이 되었는지" 한 번 확인 부탁드립니다. 그 와중에 모든 접속이 차단된 것은 아니라서 입력이 된 경우도 있습니다. 마지막으로 다시 한 번 미숙한 서비스 운영에 대해서 사과드립니다. 전화 및 카톡으로 서버 이상을 알려주신 많은 분들(서버에 이상이 있을 때 알람이 자동으로 오지만 놓쳤습니다;;)께도 감사드립니다. 최근 한 달 이내 활성유저분들께는 이번 주 내로 일주일 쿠폰을 발급하도록 하겠습니다. 사용자측 대응이 다소 미약하지만, 너그러운 마음으로 양해 부탁드리겠습니다.

차라리북쪽

고생하셨네요.ㅡ0ㅡ 한편으로 많은 후잉지킴이(?) 분들이 계셔서 든든 하네요^^ + 저는 모르고 지나간일이라 8일이라 쓰셔서 마이너리티 리포트 인줄^0^;

루실리스

고생 하셨습니다~

벨리더쵸퍼

old후잉은 아직 사용이 안되는건가요? 기존 즐겨찾기 경로로 들어가려고 하면 접속이 안되네요

익희

서버 문제가 있나보다~ 하면서 기다리면 복구될 것을 믿어 의심치 않았습니다 ㅎㅎ 상세한 설명 주셔서 감사합니다!

오빈제

오오 공부가 되네요.. 고생하셨고, 고맙습니다!

노란색공식

수고하시네요. 저도 걱정은 안했어요. 접속 못해 아쉬웠을 뿐..

호호호

고생하셨습니다. 후잉도 점점 유명해지는 것 같습니다. ㅎ

구르는계란덮밥

고생하셨습니다 ㅠㅠ

Richard

너그러우십니다. ^^;

자뻑보이

고생많으셨습니다. 자세한 설명도 감사합니다. 항상 감사히 사용하고 있습니다. ^^

Jain

고생하셨습니다.

얄라셩

에휴휴...후잉 잘못되믄 클나요!

후잉요정

항상 발빠른 문제해결에 진심으로 감사드립니다.

맥기

고생하셨습니다..!

1608_

잠깐쯤이야... 하루에 몇번을 들어오는걸요 쿠폰지급이라니! 배려 감사해요!

익호놈이

후잉쿠폰 사용법도 알려주세요~ 쿠폰 발급 되었다고 알림은 왔는데, 사용법을 몰라요 ㅠㅠ

마지막오늘

미숙하다니요... 늘 감사합니다.

airbo2

이런 일이 있었군요! 감사합니다:)

피자는맛있어

고생하셨습니다

나그네200

고생하셨습니다.

2creative

쿠폰 유효기간이 있을까요? 저는 지금 년단위로 이용중인데..^^