Elastic Stack (ELK)

Logstash Pipeline-to-Pipeline Communucation을 사용하면 길이가 너무 긴 설정 파일을 줄일 수 있지 않을까 싶어 사용해 봤어요. 그리고 설정을 다른 input에서 재사용하기도 좋을 것 같아서..! 한 번 사용해 보았습니다. 🥰00. 실습 환경Windows 10Elasticsearch 7.10.2Logstash 7.10.2Kibana 7.10.2Filebeat 7.10.2Git BashElasticsearch와 Kibana가 실행된 상태로 진행했어요. Elasticsearch와 Kibana 설치 및 실행에 대한 내용은 여기에 포함되어 있지 않아요. 01. 실습 파일 준비하기실습을 진행하기 위해 임의로 로그 파일을 생성했어요.access.logerror.logtransact..

OpenDistro가 아닌 OpenSearch를 쓰는 게 맞지만..! OpenDistro를 Elastic Stack에 적용해 볼 일이 있어서 사용하는 김에 내용 정리했어요. 사실 오래전에 Github에 대충 정리해 놓고 이제야 올리네요.. 😂 OpenDistro는 Elasticsearch와 Kibana를 위한 다양한 기능을 제공하고 있습니다.그 중 주요 기능에 대해서 요약하여 설명드리겠습니다.Security : Elasticsearch와 Kibana의 보안을 강화하는 기능 제공Alerting : Elasticsearch에서 실시간으로 데이터를 감지하고 알림을 생성하는 기능 제공Anomaly Detection : Elaticsearch에서 비정상적인 데이터 패턴을 감지하여 이상 징후를 식별하는 기능 제공..

Elasticsearch에 인덱스를 추가할 때, index-20241111 과 같이 날짜를 넣어 보려고 합니다.근데 Logstash에서 Elasticsearch에 데이터를 인입한 시간이 기록되는 @timestamp는 UTC 기준이에요..!!Logstash에서 Elasticsearch 인덱스 한국 시간(KST) 추가해서 생성하기Logstash에서 수집한 데이터를 Elasticsearch에 저장할 때, KST를 인덱스명에 사용하고 싶다면 ruby 코드를 활용해 날짜를 선언하여 사용해야 합니다. Logstash 설정 파일(.conf)를 보며 설명드릴게요 😊input { beats { port => 5044 }}filter { ruby { code => "event.set('index_day'..

Search Guard는 Elastic Stack을 위한 보안 및 알림 플러그인입니다. TLS 암호화, Elasticsearch 인덱스에 대한 역할 기반 액세스 제어, document 및 Field 수준 보안 제어, 감사 로깅 및 알림 기능을 제공합니다. 또한, 저장된 데이터에 대한 액세스를 암호화, 보호 및 모니터링 하는 데 필요한 도구를 제공합니다. Search Guard는 Community Edition, Enterprise Edition, Compliance Edition이 존재하며, 여기서는 무료로 제공되는 Community Edition을 사용하여 Elastic Stack의 보안 기능을 강화하는 실습을 진행하도록 하겠습니다.00. 실습 환경Apache 2.0 License 내에서 사용할 수 있..

00. 실습 환경CentOS 7.9Elasticsearch 7.10.2서버 사양 : CPU 16 cores RAM 64GB Memory 2TBElasticsearch는 rpm을 사용해 설치하였으며, Elasticsearch는 Cluster 구축이 되어 있는 상태입니다.여기서는 Elasticsearch 설치 및 Cluster 구축 관련 설명은 생략합니다.01. 힙 메모리 설정 변경/etc/elasticsearch/jvm.options 파일을 열고 현재 사용 중인 환경에 맞게 Xms, Xmx 설정을 변경합니다.# Xms represents the initial size of total heap space# Xmx represents the maximum size of total heap space-Xms26..

00. 실습 환경 Apache 2.0 License 내에서 사용할 수 있는 기능만 포함된 OSS 버전을 활용하여 실습하였습니다. CentOS 7.9 Elasticsearch OSS 7.10.2 Kibana OSS 7.10.2 여기서는 공식 홈페이지에서 다운로드 받은 후 CentOS 서버로 파일을 옮겨 설치하는 방식으로 환경을 구축하였으며, 다른 방식으로 환경 구축을 하고 싶다면 공식 문서를 참고하시길 바랍니다. 01. Elasticsearch 설치 공식 홈페이지에서 Elasticsearch RPM 버전을 다운로드 받은 후, CentOS 서버에 업로드합니다. 서버에 업로드가 완료되면, 아래 명령어를 통해 elasticsearch를 설치합니다. sudo rpm --install elasticsearch-os..

00. 실습 환경 Apache 2.0 License 내에서 사용할 수 있는 기능만 포함된 OSS 버전을 활용하여 실습하였습니다. CentOS 7.9 Elasticsearch OSS 7.10.2 Logstash OSS 7.10.2 Kibana OSS 7.10.2 Filebeat OSS 7.10.2 Java 11 여기서는 공식 홈페이지에서 다운로드 받은 후 CentOS 서버로 파일을 옮겨 설치하는 방식으로 환경을 구축하였으며, 다른 방식으로 환경 구축을 하고 싶다면 공식 문서를 참고하시길 바랍니다. 01. Elasticsearch 환경 구축 Elasticsearch 설치 공식 홈페이지에서 Elasticsearch RPM 버전을 다운로드 받은 후, CentOS 서버에 업로드합니다. 서버에 업로드가 완료되면, ..