본문 바로가기

Tech116

[Hadoop] ambari를 이용한 hadoop 설치 Hadoop을 설치 하기 위해서는 다양한 툴들이 있다. 여기서는 Hortonworks의 Ambari라는 툴을 이용하여 Hadoop을 구성해 본다. Ambari는 UI를 통해서 손 쉽게 구성을 할 수 있도록 지원해 준다. 사전 준비VMWare(esxi)에 5개의 VM을 생성하고 Ubuntu 16.04 설치Ambari 서버가 hadoop1번 서버에 설치가 될 예정이고, hadoop1 서버는 ssh를 통해 나머지 호스트에 비밀번호 없이 접근되어야 한다. (각 서버의 .ssh/authorized_keys 에 hadoop1에서 생성한 id_rsa.pub 키가 등록되어야 한다.)Hadoop은 FQDN 기반이므로 각 서버의 /etc/hosts 파일에 동일하게 설정한다. $ cat /etc/hosts127.0.0.1l.. 2018. 5. 9.
[VMWARE] esxcli를 이용한 esxi 업그레이드 테스트 장비용으로 사용하고 있는 esxi용 머신은 6.5로 인스톨이 되지 않는다. 그래서 6.0으로 우선 설치 후 6.5로 업그레이드를 해야 한다.방화벽 해제esxcli network firewall ruleset set -e true -r httpClient 업그레이드 목록 조회esxcli software sources profile list -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml | grep -i ESXi-6 조회를 하고 나면 아래와 같이 설치 가능한 목록들이 나온다 [root@nuc01:~] esxcli software sources profile list -d https://hostupdat.. 2018. 4. 29.
[GCP]Embulk를 이용한 대량의 데이터 로드 (BigQuery) Embulk를 이용한 대량의 데이터 로드 1. Embulk란?Bulk Data Loader로써 다양한 database, 스토리지, 파일, 클라우드 서비스를 지원한다.http://www.embulk.org/docs/ 2. Embulk 특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction ControlResumingRubyGem 기반임 3. Installationsudo apt install default-jrecurl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" chmod +x ~/.embulk/bin/embulk echo 'export PATH="$HOME/.em.. 2018. 4. 24.
[Openstack]오픈스택 방화벽 설정해보기 Openstack에서 VM에 대한 Security Group을 제공하지만 네트워크에서 Firewall 서비스를 이용하여 전체 네트워크에 대한 방화벽을 설정할 수 있다.UI가 제공되면 손쉽게 할 수 있지만, 아쉽게도 Horizon에서 Pike버전 이후 부터 UI가 보이지 않아 CLI로 셋팅을 해본다. 방화벽을 생성하기 위해서는 우선 Policy를 생성한다.neutron firewall-policy-create admin-fw-policyneutron CLI is deprecated and will be removed in the future. Use openstack CLI instead.Created a new firewall_policy:+----------------+------------------.. 2018. 4. 20.

티스토리툴바