본문 바로가기

전체 글119

[GCP]Embulk를 이용한 대량의 데이터 로드 (BigQuery) Embulk를 이용한 대량의 데이터 로드 1. Embulk란?Bulk Data Loader로써 다양한 database, 스토리지, 파일, 클라우드 서비스를 지원한다.http://www.embulk.org/docs/ 2. Embulk 특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction ControlResumingRubyGem 기반임 3. Installationsudo apt install default-jrecurl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" chmod +x ~/.embulk/bin/embulk echo 'export PATH="$HOME/.em.. 2018. 4. 24.
[Openstack]오픈스택 방화벽 설정해보기 Openstack에서 VM에 대한 Security Group을 제공하지만 네트워크에서 Firewall 서비스를 이용하여 전체 네트워크에 대한 방화벽을 설정할 수 있다.UI가 제공되면 손쉽게 할 수 있지만, 아쉽게도 Horizon에서 Pike버전 이후 부터 UI가 보이지 않아 CLI로 셋팅을 해본다. 방화벽을 생성하기 위해서는 우선 Policy를 생성한다.neutron firewall-policy-create admin-fw-policyneutron CLI is deprecated and will be removed in the future. Use openstack CLI instead.Created a new firewall_policy:+----------------+------------------.. 2018. 4. 20.
[GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11.
[kubernetes]Trouble shooting Trouble Shooting이전 포스트에서 replica set을 1개에서 3개로 변경하고 이미지를 prod tag가 있는 이미지로 업데이트 후 아래와 같은 에러가 발생하였다. 배포 후 ErrImagePull 이라는 에러가 나와서 해당 pod의 로그를 살펴본다.$ kubectl get pods -l 'tier=frontend'NAME READY STATUS RESTARTS AGEapache-petclinic-54bf9c58cb-5w46p 1/1 Running 0 1dapache-petclinic-54bf9c58cb-7795t 1/1 Running 0 12mapache-petclinic-568d9fd7db-64brr 0/1 ErrImagePull 0 6mapache-petclinic-568d9fd7db-.. 2018. 3. 30.

티스토리툴바