Compile Hadoop with Intel ISA-L

 

编译 Hadoop with Intel ISA-L

1. 下载Hadoop Source Code

官方源-3.1.3清华源-3.1.3

 

2. 搭建编译环境

在使用docker或自行搭建环境中二选一即可。

2.1 使用docker

$ ./start-build-env.sh 

2.2 自己搭建环境

注意:protobuf必须要2.5.0版本 

安装protobuf2.5.0版本的方法:

wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz 
tar -xzf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0 
./configure 
make 
make check 
make install 

sudo ldconfig 

检查protobuf的版本

protoc --version 

3. 下载Intel ISA-L并安装

ISA-L下载链接

sudo apt install nasm yasm autoconf automake 

./autogen.sh 
./configure 
make 
sudo make install 

等待下载安装完成后,编译(binary with native code, without documentation) 

$ mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true -Drequire.isal -Disal.lib=/usr/lib -Dbundle.isal 

遇到的问题:  protoc –version出错 

解决: 将$PATH中的内容写入到/etc/sudoers的secure path中 

在编译目录/hadoop-dist/target/hadoop-3.1.3里执行./bin/hadoop checknative -a检查isa-l是否启用