빅쿼리2 [GCP] BigQuery의 데이터를 MSSQL로 옮기기(EMBULK) 1. 설치 준비다운로드 ODBC Driver managerhttps://docs.microsoft.com/en-us/sql/connect/odbc/linux-mac/installing-the-driver-manager?view=sql-server-2017wget, gcc 설치 : sudo yum install wget gccODBC Driver 파일 압축을 풀고 ./build_dm.sh 실행정상적으로 수행 되면 아래 명령어를 실행하라고 나옴Run the command 'cd /tmp/unixODBC.21149.193.3799/unixODBC-2.3.0; make install' to install the driver manager.위의 디렉토리(/tmp/unixODBC.21149.193.3799/unix.. 2018. 8. 16. [GCP]Embulk를 이용한 대량의 데이터 로드 (BigQuery) Embulk를 이용한 대량의 데이터 로드 1. Embulk란?Bulk Data Loader로써 다양한 database, 스토리지, 파일, 클라우드 서비스를 지원한다.http://www.embulk.org/docs/ 2. Embulk 특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction ControlResumingRubyGem 기반임 3. Installationsudo apt install default-jrecurl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" chmod +x ~/.embulk/bin/embulk echo 'export PATH="$HOME/.em.. 2018. 4. 24. 이전 1 다음