벌크 데이터1 [GCP]Embulk를 이용한 대량의 데이터 로드 (BigQuery) Embulk를 이용한 대량의 데이터 로드 1. Embulk란?Bulk Data Loader로써 다양한 database, 스토리지, 파일, 클라우드 서비스를 지원한다.http://www.embulk.org/docs/ 2. Embulk 특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction ControlResumingRubyGem 기반임 3. Installationsudo apt install default-jrecurl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" chmod +x ~/.embulk/bin/embulk echo 'export PATH="$HOME/.em.. 2018. 4. 24. 이전 1 다음