자바 heap 누수 분석
·
개발/trouble shooting
시스템이 실제로 살아있는데도 강제로 재기동돼요.이슈사항운영중인 솔루션에는 실제로 처리를 담당하는 시스템과 그 시스템들을 관리하는 상위 시스템이 존재한다.상위 시스템은 하위 시스템들에게 정기적으로 헬스체크를 날려 살았는지 죽었는지 판단하고 특정 조건에 다다르면 죽었다고 판단하여 하위 시스템을 재기동시킨다. 이론적으로는 문제될것이 없으나, 사이트에서 실제 하위시스템이 JVM에 떠있는데도 상위 시스템이 죽었다고 판단하여 강제로 재기동 시키는 현상이 발생했다. 재기동 여부는 10초 간격으로 헬스체크를 날려서 5초 이내에 응답이 오지않는 횟수가 3회를 초과하면 재기동시킨다.헬스체크 여부를 파악하기위해 상위 시스템쪽 로그를 확인해보았다.상위 시스템쪽은 정말 헬스체크를 보냈는데 응답을 받지 못했다는 로그가 찍혀있었다..