[Hadoop] HUE 기본 설치 가이드

HUE(휴)는 하둡(에코시스템)을 편하게 관리할 수 있는 웹기반의 어플리케이션?정도라고 볼 수 있을까?

일단, 에코시스템들은 설치하지 않았으나, 휴만의 단독 설치가 가능하였습니다.

OS : 우분투 14.04 버전

Hue : 3.6.0 버전

Hadoop : 2.4.0 버전(하둡은 기설치되어 있습니다 = 별도의 설치 필요)

1. Hue 설치

    (1) 종속 서비스 설치

sudo apt-get install -y ant

sudo apt-get install -y libxml2-dev libxslt-dev libsasl2-dev libsasl2-modules-gssapi-mit libmysqlclient-dev

sudo apt-get install -y python python-dev python-setuptools python-simplejson

sudo apt-get install -y libsqlite3-dev

sudo apt-get install -y krb5-config

sudo apt-get install -y libkrb5-dev

sudo apt-get install -y libldap2-dev    (for ubuntu, it's also has name python-ldap)

sudo apt-get install -y libssl-dev

sudo apt-get install -y gcc g++

sudo apt-get install -y cyrus-sasl-devel cyrus-sasl-gssapi

sudo apt-get install -y maven2

-- sudo apt-get install -y mvn

    (2) hue 사용자 추가

       sudo addgroup hue

       sudo adduser –ingroup hadoop hue

    (3) hue 다운로드 및 압축해제

       wget https://dl.dropboxusercontent.com/u/730827/hue/releases/3.6.0/hue-3.6.0.tgz

       tar zxvf hue-3.6.0.tgz

       sudo prefix=/usr/share make install    (hue-3.6.0 폴더 아래)

    - 혹은 git으로 다운받는다.(git 패키지 설치필요)

       git clone http://github.com/cloudera/hue.git

    (4) 아래와 같은 에러 발생시 체크사항

        1) make: *** [/usr/local/hue-2.1.0/build/env/stamp] Error 1 와 같은 에러 메시지 발생시에는 

           :: 파일을 복사한다. sudo ln -fs /usr/lib/python2.7/plat-x86_64-linux-gnu/_sysconfigdata_nd.py /usr/lib/python2.7/

2) krb5-config: not found

   :: krb5 관련 패키지 설치 여부

3) /usr/bin/ld: cannot find -lssl  \n  /usr/bin/ld: cannot find -lcrypto         

   :: ssl 패키지 설치 여부

4) error trying to exec 'cc1plus': execvp: No such file or directory

   :: gcc 패키지 설치 여부

5) [WARNING] The POM for org.apache.hadoop:hadoop-test:jar:2.0.0-mr1-cdh4.0.0-SNAPSHOT is missing, no dependency information available :: 해결못함

6) Reason: Cannot find parent: net.java:jvnet-parent for project: com.sun.jersey:jersey-project:pom:1.9 for project com.sun.jersey:jersey-project:pom:1.9

   :: Maven Repository clean 및 버전을 변경하여 재설치

        7) IOError: [Errno 13] Permission denied: '/usr/share/hue/build/env/bin/logs/syncdb.log'

        8) configobj.ConfigObjError: Parsing failed with several errors. 

   :: hue.ini의 내용이 잘못되었으니, 수정 필요.

9) DatabaseError: attempt to write a readonly database

            :: hue 서비스의 권한 확인 필요.

    (5) 하둡 설정

         1) htfs-site.xml 에 내용 추가

<property>

 <name>dfs.webhdfs.enabled</name>

 <value>true</value>

</property>     

2) core-site.xml 에 내용 추가

<property>

 <name>hadoop.proxyuser.hue.hosts</name>

 <value>*</value>

</property>

<property>

 <name>hadoop.proxyuser.hue.groups</name>

 <value>*</value>

</property>

3) httpfs-site.xml

<property>

 <name>httpfs.proxyuser.hue.hosts</name>

 <value>*</value>

</property>

<property>

 <name>httpfs.proxyuser.hue.groups</name>

 <value>*</value>

</property>

   

    (6) 웹서버 설정

         1) hue/desktop/hue.ini 에 내용 추가

# Webserver listens on this address and port

http_host=0.0.0.0

http_port=8888

    (7) SSL 설정 

         1) pyOpenSSL 활성화

    ./build/env/bin/easy_install pyOpenSSL

2) hue.ini에 SSL설정 추가

   ssl_certificate=/path/to/certificate

            ssl_private_key=/path/to/key

3) Key 생성

             openssl genrsa 1024 > host.key

         4) 자가서명 인증 생성 

             openssl req -new -x509 -nodes -sha1 -key host.key > host.cert

    (8) Database 설정 ( mysql )

         1) 데이터베이스 생성

    - create database hue;

         2) 계정생성 ( hue )

             - GRANT ALL PRIVILEGES ON hue.* TO hue@localhost IDENTIFIED BY hadoop WITH GRANT OPTION;

         3) hue.ini 에 설정 추가

host=localhost

port=3306

engine=mysql

user=hue

password=secretpassword

name=hue     

         4) 테이블 생성

$ /usr/share/hue/build/env/bin/hue syncdb --noinput

$ mysql -uhue -psecretpassword -e "DELETE FROM hue.django_content_type;"

    (9) Starting hue

         build/env/bin/supervisor (엔터)

    (10) http://localhost:8888

   ※ 참고사이트 : http://www.jopenbusiness.com/mediawiki/index.php/Hue

                         http://cloudera.github.io/hue/docs-3.6.0/manual.html

Q. pig 나 hbase등이 미리 설치되어야?

A. 일단, 휴의 설치만을 볼 때에 상관은 없는 것 같다.