IT・ビッグデータ徒然ブログ

関西でインフラ、データ基盤系のエンジニアになるため、転職活動中。

Ubuntu16にCDH6(Beta)をManagerなしでインストール

最近Clouderaの動向をウォッチしていなかったのですが、 知らぬ間にCDH6がリリースされていました。

https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_release_notes.html

※まだベータ版らしいです。

CDH6はHadoop3.0.0やSparkも2系がデフォルトで入っているようで、 新しい機能を試してみるのにサクサク入れられるディストーションとしても使えそうです。

というわけで、ひとまずデフォルトでインストールしてみました。 CDH5版インストール方法はこちらの記事から

というより前記事とほとんどインストール方法は変わりません。

インストール参考URL

ちなみにCloudera Managerを使ったのインストールはこちらから(めっちゃ簡単)

環境

Javaのインストール

ひとまず、java8を先に入れて、PATHを通しておきます。

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get -y install oracle-java8-installer
cat << EOF >> ~/.bashrc
JAVA_HOME=/usr/lib/jvm/java-8-oracle
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export PATH
EOF
source ~/.bashrc

cdh.listファイルの作成

/etc/apt/sources.list.dの中にcdh.listというファイルを作成

cd /etc/apt/sources.list.d
sudo touch cdh.list

## vimやEmacsなどでcdh.listの中に以下のコマンドを入力
deb [arch=amd64] https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt xenial-cdh6.0.0-beta1 contrib
deb-src https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt xenial-cdh6.0.0-beta1 contrib

Hadoopリポジトリ登録

sudo wget https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt/archive.key
sudo apt-key add archive.key

Hadoopインストール&起動

あとは素直にHadoopを入れて動かすだけ。

sudo apt update
sudo apt-get install -y hadoop-conf-pseudo

sudo -u hdfs hdfs namenode -format

sudo systemctl start hadoop-hdfs-namenode hadoop-hdfs-datanode hadoop-hdfs-secondarynamenode

sudo /usr/lib/hadoop/libexec/init-hdfs.sh


sudo systemctl restart hadoop-hdfs-namenode hadoop-hdfs-datanode hadoop-hdfs-secondarynamenode

sudo systemctl start hadoop-yarn-resourcemanager hadoop-yarn-nodemanager

結論

やっぱりCloudera ManagerとCloudera Directorは正義。