회사에서 kubernetes를 이용하여 서비스를 운영하다 보니 로그가 파드 별로 확인을 해야했었다.
물론 다른 여러 방법도 있었겠지만 팀 내에서 Elastic Stack을 이용하여 로그를 통합 관리하기로 했다.
kubernetes로 구성된 서비스여서 여러 개의 노드가 존재하여 모든 노드의 로그를 수집해오기 위해 filebeats를 통해 노드의 로그를 수집해오도록 구성하고, 수집된 로그를 Logstash로 가공하여 ElasticSearch에 저장하기로 했다.
마지막으로 kibana를 통해 화면에서 보여주기로 했다.
Elastic Stack 이란, 위의 다이어그램처럼 구성된 아키텍쳐를 얘기하는거였다.
ElasticSearch는 쉽게 말해서 DB의 한 종류이고, API통신을 통한 Data처리에 최적화되어있다고 느꼈다.
Kibana는 ElasticSearch에 데이터를 보여주는 Front 단 화면이고,
LogStash는 데이터 처리를 해주는 서비스로 이해했다. (정확하게 이해한건지는 모르겠지만….)
다음에는 ElasticStack을 구성한 내용으로 포스팅을 작성하도록 하겠다.