본문 바로가기

Tech/Cloud22

[GCP] BigQuery의 데이터를 MSSQL로 옮기기(EMBULK) 1. 설치 준비다운로드 ODBC Driver managerhttps://docs.microsoft.com/en-us/sql/connect/odbc/linux-mac/installing-the-driver-manager?view=sql-server-2017wget, gcc 설치 : sudo yum install wget gccODBC Driver 파일 압축을 풀고 ./build_dm.sh 실행정상적으로 수행 되면 아래 명령어를 실행하라고 나옴Run the command 'cd /tmp/unixODBC.21149.193.3799/unixODBC-2.3.0; make install' to install the driver manager.위의 디렉토리(/tmp/unixODBC.21149.193.3799/unix.. 2018. 8. 16.
[GCP][ML] 얼굴 인식(face detection with AutoML)을 이용한 알림 시스템 만들어 보기 리눅스에서 인식 가능한 USB 카메라를 통해 모션 인식을 해보고, 해당 이미지를 Google Cloud의 ML Engine을 통해 이미지를 판별해보는 과정을 정리했다. 여기에서는 GCP의 Vision API(Face Detection), AutoML(모델링 생성), ML Engine(실제 데이터를 검증)하는 서비스를 사용했다. 1. 준비 단계목적은 집에 카메라가 모션을 감지해서, 그때 이미지를 GCP의 ML Engine에 보내서 그 이미지의 LABEL이 무엇인지를 판별 한다.Motion 패키지 : sudo apt-get install motionGCP Vision API, AutoML, ML Engine 사용이미지 준비 : 데이터(이미지)는 아들 사진으로 대략 20장 정도를 가지고 Machine Lear.. 2018. 7. 11.
[Hadoop] ambari를 이용한 hadoop 설치 Hadoop을 설치 하기 위해서는 다양한 툴들이 있다. 여기서는 Hortonworks의 Ambari라는 툴을 이용하여 Hadoop을 구성해 본다. Ambari는 UI를 통해서 손 쉽게 구성을 할 수 있도록 지원해 준다. 사전 준비VMWare(esxi)에 5개의 VM을 생성하고 Ubuntu 16.04 설치Ambari 서버가 hadoop1번 서버에 설치가 될 예정이고, hadoop1 서버는 ssh를 통해 나머지 호스트에 비밀번호 없이 접근되어야 한다. (각 서버의 .ssh/authorized_keys 에 hadoop1에서 생성한 id_rsa.pub 키가 등록되어야 한다.)Hadoop은 FQDN 기반이므로 각 서버의 /etc/hosts 파일에 동일하게 설정한다. $ cat /etc/hosts127.0.0.1l.. 2018. 5. 9.
[VMWARE] esxcli를 이용한 esxi 업그레이드 테스트 장비용으로 사용하고 있는 esxi용 머신은 6.5로 인스톨이 되지 않는다. 그래서 6.0으로 우선 설치 후 6.5로 업그레이드를 해야 한다.방화벽 해제esxcli network firewall ruleset set -e true -r httpClient 업그레이드 목록 조회esxcli software sources profile list -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml | grep -i ESXi-6 조회를 하고 나면 아래와 같이 설치 가능한 목록들이 나온다 [root@nuc01:~] esxcli software sources profile list -d https://hostupdat.. 2018. 4. 29.

티스토리툴바