google cloud7 [GCP] BigQuery의 데이터를 MSSQL로 옮기기(EMBULK) 1. 설치 준비다운로드 ODBC Driver managerhttps://docs.microsoft.com/en-us/sql/connect/odbc/linux-mac/installing-the-driver-manager?view=sql-server-2017wget, gcc 설치 : sudo yum install wget gccODBC Driver 파일 압축을 풀고 ./build_dm.sh 실행정상적으로 수행 되면 아래 명령어를 실행하라고 나옴Run the command 'cd /tmp/unixODBC.21149.193.3799/unixODBC-2.3.0; make install' to install the driver manager.위의 디렉토리(/tmp/unixODBC.21149.193.3799/unix.. 2018. 8. 16. [GCP][K8S] Kubernetes 네트워크 살펴보기 Kubernetes에서 어떻게 pod간 네트워크, 외부(ingress, LB)와 네트워크가 동작하는지 살펴본다. 1. 환경 구성Google Cloud Platform에 GKE로 구성(1.9.7 버전)Container address : 10.12.0.0/14 (Overlay Network)Worker node는 3개로 구성테스트 application으로 sock-shop 배포 https://github.com/microservices-demo/microservices-demo 2. Kubernetes Worker NetworkKubernetes는 POD단위로 배포가 되며 하나의 POD는 Overlay network을 가진다. POD는 하나 이상의 Container를 가지게 되지만 POD에는 하나의 IP만 .. 2018. 7. 9. [GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11. [K8S][GCP] Kubernets 설치(kubeadm) 및 테스트 배포하기 GCP내에서 GKE라는 Kubernetes 서비스를 제공하고 있지만 사용자는 worker node만 access가 가능하고 서비스를 배포하는 목적으로만 사용할 수 있기 때문에 GCP내에 VM을 만들어 Kubernetes를 배포해 본다.Kubernetes 설치는 다양한 방법(helm, ansible, kubeadm 등)이 있지만 아래는 손쉽게 kubeadm을 통해 구성해본다.A. 환경 구성1. GCP안에 1 vcpu, 4G Ram, 20G Disk로 VM을 2대 생성한다.2. CentOS 7으로 설치를 하고 PC에서 바로 접속 할 수 있도록 ssh-key를 넣어두고 생성한다.3. 설치는 아래 kubernetes 가이드 처럼 수행한다.https://kubernetes.io/docs/setup/independ.. 2018. 3. 26. 이전 1 2 다음