올빼미공방

Nginx로 Unique User 탐지하기 1. 개요 Nginx access log를 사용자 분석에 활용하기 위해서는, Nginx에서 제공하는 Default access log만으로는 부족합니다. 유저를 특정할 수 있는 정보가 부족하기 때문입니다. 이에 Log파일에 Userid 등 사용자 분석 기능에 활용할 수 있는 정보를 삽입하는 것이 필요합니다. Nginx의 userid 모듈과 cookie를 활용하여, Unique User을 탐지하고 이 정보를 access log상에 남겨 봅시다. 2. userid module 활용하기 userid module은 client 탐지를 위하여, client의 브라우저에 쿠키를 삽입합니다. nginx configuration file을 수정하는 것만으로도, 간단히 적용할 ..

ElasticSearch로 웹 서비스 로그 분석 시스템 만들기 [3]- Event log를 분석하기 위한 ELK+ kafka 파이프라인 구축 1. 개요 ​ 이벤트 로그를 실시간으로 처리하여 ElasticSearch에 적재하기 위하여, kafka를 이용해 파이프라인을 구축하기로 하였습니다. kafka는 대용량의 실시간 로그 처리에 특화된 메시징 시스템이며, 발행-구독 모델로 동작합니다. kafka의 broker는 topic을 기준으로 동작하며, producer가 특정 topic의 메시지를 생성하면 broker는 이를 topic별로 쌓아 둔뒤, 해당 topic을 구독하고 있는 consumer가 해당 메시지를 받아가는 방식으로 작동합니다. 이벤트 로그를 분석하기 위하여 구축한 현재의 시스템에서는, 이벤트 로그..

ElasticSearch로 웹 서비스 로그 분석 시스템 만들기 [2] - ELK + Filebeat module를 이용하여 내 로그를 분석하고 시각화하기 1. 개요 지금부터, ELK stack + Filebeat module을 이용하여 Nginx 로그를 분석하고 Kibana를 이용하여 시각화 해 볼 것입니다. Filebeat는 경량의 Shipper로 수집 대상 서버에 설치되어 Log파일 혹은 경로를 모니터링 하고, 이를 ES/logstash로 밀어주는 역할을 합니다. 이러한 Filebeat는 다양한 형식의 파일에 대응할 수 있도록 Module들이 개발되어 있습니다. 이를 이용하면 쉽고 간단하게 데이터를 수집하고, Parsing할 수 있습니다. 또한 데이터에 해당하는 Kibana Dashboard도 제공하..

[ElasticSearch 시작하기] - Concept / 설치하기 1. 포스팅을 시작하며 안녕하세요! 이번에 T-Workx 인턴으로 Skt Cloud CoE에서 근무를 하게 된 인턴 강덕형입니다. 이번 인턴 기간 중 Elastic Search를 이용한 웹 서비스 로그 분석 시스템 개발을 맡게 되었습니다. 이에 제가 시스템을 개발하면서 학습하였던 내용들을 공유하고자, 아직 미숙하지만 펜을 잡기로 하였습니다. 해당 자료는 Infrean의 ELK 무료 강좌와 Udemy의 ElasticSearch7 and the Elastic Stack을 기반으로 정리한 자료입니다. 많은 피드백 부탁드립니다! 그럼 이제 시작하도록 하겠습니다. 2.Concept 2.1. Elastic Search란 무엇인가? ElasticSe..