본문 바로가기

Tech116

[GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11.
[kubernetes]Trouble shooting Trouble Shooting이전 포스트에서 replica set을 1개에서 3개로 변경하고 이미지를 prod tag가 있는 이미지로 업데이트 후 아래와 같은 에러가 발생하였다. 배포 후 ErrImagePull 이라는 에러가 나와서 해당 pod의 로그를 살펴본다.$ kubectl get pods -l 'tier=frontend'NAME READY STATUS RESTARTS AGEapache-petclinic-54bf9c58cb-5w46p 1/1 Running 0 1dapache-petclinic-54bf9c58cb-7795t 1/1 Running 0 12mapache-petclinic-568d9fd7db-64brr 0/1 ErrImagePull 0 6mapache-petclinic-568d9fd7db-.. 2018. 3. 30.
[Kubernetes]컨테이너를 이용하여 웹 어플리케이션 배포하기(3티어구조) #4 이전 포스트에서 배포된 컨테이너들을 scale out하고 업데이트 하는 방법을 정리한다.Kubernetes OperationPod의 상태를 조회한다.$ kubectl get podsNAME READY STATUS RESTARTS AGEapache-petclinic-54bf9c58cb-5w46p 1/1 Running 0 1ddefault-http-backend-hzzzq 1/1 Running 0 23dmysql-petclinic-b854f5ccc-knrmf 1/1 Running 0 1dnginx-ingress-kubernetes-worker-controller-6qnj9 1/1 Running 0 1dnginx-ingress-kubernetes-worker-controller-c4zs8 1/1 Running.. 2018. 3. 29.
[Kubernetes]컨테이너를 이용하여 웹 어플리케이션 배포하기(3티어구조) #3 이전 포스트에서는 PC에 Docker를 설치하고 3 티어 어플리케이션 구성을 했지만, 이제 Kubernetes 에다가 컨테이너로 구성된 3티어 어플리케이션을 배포해본다. 준비사항기존에 빌드한 docker image를 kubernetes에서 가져올 수 있도록 dockerhub에 저장한다.$ docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEapache-petclinic latest fb2b159ac038 18 hours ago 242MBtomcat-petclinic latest 3a818df03a1d 43 hours ago 584MBdocker images를 통해 apache, tomcat 컨테이너 이미지를 확인 한 뒤 dockerhub에 올린다. DockerHub에 .. 2018. 3. 28.

티스토리툴바