PubSub1 [GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11. 이전 1 다음