본문 바로가기

GCP11

[GCP][K8S] Kubernetes 네트워크 살펴보기 Kubernetes에서 어떻게 pod간 네트워크, 외부(ingress, LB)와 네트워크가 동작하는지 살펴본다. 1. 환경 구성Google Cloud Platform에 GKE로 구성(1.9.7 버전)Container address : 10.12.0.0/14 (Overlay Network)Worker node는 3개로 구성테스트 application으로 sock-shop 배포 https://github.com/microservices-demo/microservices-demo 2. Kubernetes Worker NetworkKubernetes는 POD단위로 배포가 되며 하나의 POD는 Overlay network을 가진다. POD는 하나 이상의 Container를 가지게 되지만 POD에는 하나의 IP만 .. 2018. 7. 9.
[GCP]Embulk를 이용한 대량의 데이터 로드 (BigQuery) Embulk를 이용한 대량의 데이터 로드 1. Embulk란?Bulk Data Loader로써 다양한 database, 스토리지, 파일, 클라우드 서비스를 지원한다.http://www.embulk.org/docs/ 2. Embulk 특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction ControlResumingRubyGem 기반임 3. Installationsudo apt install default-jrecurl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" chmod +x ~/.embulk/bin/embulk echo 'export PATH="$HOME/.em.. 2018. 4. 24.
[GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11.
[K8S][GCP] Kubernets 설치(kubeadm) 및 테스트 배포하기 GCP내에서 GKE라는 Kubernetes 서비스를 제공하고 있지만 사용자는 worker node만 access가 가능하고 서비스를 배포하는 목적으로만 사용할 수 있기 때문에 GCP내에 VM을 만들어 Kubernetes를 배포해 본다.Kubernetes 설치는 다양한 방법(helm, ansible, kubeadm 등)이 있지만 아래는 손쉽게 kubeadm을 통해 구성해본다.A. 환경 구성1. GCP안에 1 vcpu, 4G Ram, 20G Disk로 VM을 2대 생성한다.2. CentOS 7으로 설치를 하고 PC에서 바로 접속 할 수 있도록 ssh-key를 넣어두고 생성한다.3. 설치는 아래 kubernetes 가이드 처럼 수행한다.https://kubernetes.io/docs/setup/independ.. 2018. 3. 26.