Ubuntu16にCDH6(Beta)をManagerなしでインストール
最近Clouderaの動向をウォッチしていなかったのですが、 知らぬ間にCDH6がリリースされていました。
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_release_notes.html
※まだベータ版らしいです。
CDH6はHadoop3.0.0やSparkも2系がデフォルトで入っているようで、 新しい機能を試してみるのにサクサク入れられるディストーションとしても使えそうです。
というわけで、ひとまずデフォルトでインストールしてみました。 CDH5版インストール方法はこちらの記事から
というより前記事とほとんどインストール方法は変わりません。
ちなみにCloudera Managerを使ったのインストールはこちらから(めっちゃ簡単)
環境
Javaのインストール
ひとまず、java8を先に入れて、PATHを通しておきます。
sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get -y install oracle-java8-installer cat << EOF >> ~/.bashrc JAVA_HOME=/usr/lib/jvm/java-8-oracle PATH=$PATH:$JAVA_HOME/bin export JAVA_HOME export PATH EOF source ~/.bashrc
cdh.listファイルの作成
/etc/apt/sources.list.dの中にcdh.listというファイルを作成
cd /etc/apt/sources.list.d sudo touch cdh.list ## vimやEmacsなどでcdh.listの中に以下のコマンドを入力 deb [arch=amd64] https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt xenial-cdh6.0.0-beta1 contrib deb-src https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt xenial-cdh6.0.0-beta1 contrib
Hadoopのリポジトリ登録
sudo wget https://archive.cloudera.com/cdh6/6.0.0-beta1/ubuntu1604/apt/archive.key sudo apt-key add archive.key
Hadoopインストール&起動
あとは素直にHadoopを入れて動かすだけ。
sudo apt update sudo apt-get install -y hadoop-conf-pseudo sudo -u hdfs hdfs namenode -format sudo systemctl start hadoop-hdfs-namenode hadoop-hdfs-datanode hadoop-hdfs-secondarynamenode sudo /usr/lib/hadoop/libexec/init-hdfs.sh sudo systemctl restart hadoop-hdfs-namenode hadoop-hdfs-datanode hadoop-hdfs-secondarynamenode sudo systemctl start hadoop-yarn-resourcemanager hadoop-yarn-nodemanager
結論
やっぱりCloudera ManagerとCloudera Directorは正義。
