Tech/Cloud22 [GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11. [GCP] Speech API를 이용하여 음성을 텍스트로 변환하기 Google Cloud Platform에서 제공하는 Cloud ML중 Speech API를 이용하여 음성파일로 저장한 것을 텍스트로 변환을 해본다.회의시나 통화중 저장된 음성을 텍스트로 변환할 필요가 생겼는데 이러한 것을 손 쉽게 GCP내의 Speech API를 이용하여 진행한다.1. 음성파일을 google cloud storage로 업로드를 한다.gsutil cp gs://2. Node.js 환경 설치 a. curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.2/install.sh | bash b. Node.js 및 npm 설치 nvm install stable nvm alias default stable npm install --save .. 2018. 3. 19. Google Cloud Platform (GCP) 로컬에서 사용하기 구글 클라우드 플랫폼 (GCP)의 콘솔에서 Shell을 열어서 작업을 할 수 있지만, 로컬환경에서 GCP의 명령어를 사용할 수 있다. 우선 리눅스 환경이 익숙해서 리눅스에서 적용을 해 본다.윈도우의 경우에는 Linux Bash가 10버전 부터 지원을 하기 때문에 아래 링크를 따라 구성하면 윈도우에서도 Linux를 사용할 수 있다.https://docs.microsoft.com/en-us/windows/wsl/install-win10 GCP의 Shell을 사용하기 위해서는 우선 인증이 되어야 한다.GCP Console에 로그인 할 때 ID랑 비밀번호를 넣고 인증을 하듯이 Shell 환경에서는 Console의 IAM에 들어가서 Service Account 계정을 하나 생성하고 생성할 때 JSON으로 된 키를.. 2017. 12. 28. Google Cloud Platform 사용하기 (GCP) Google의 클라우드 플랫폼인 GCP를 사용을 해본다.https://cloud.google.com짧게 말해서 GCP (Google Cloud Platform)이라고 하고, 개인적인 의견으로는 Big Data가 다른 Public Cloud Provider (AWS, Azure)에 비해 강점이 있다고 보여진다. 1년의 300$의 무료 크레딧이 주어지기 때문에 실제로 구매하기 전까지 간단한 용도로 사용해 볼 수 있다. 무료로 사용해보기를 클릭 후 가이드에 따라서 설정하고 난 뒤 GCP의 클라우드 콘솔을 사용할 수 있다https://console.cloud.google.com그러면 아래와 같이 대쉬보드가 나오게 되고 GCP를 사용할 수 있는 준비가 된다.이후에는 GCP의 콘솔 이외에 개인 PC에서 cli를 통.. 2017. 12. 27. 이전 1 2 3 4 5 6 다음
