跑MapReduce測試Hadoop

使用 Hadoop 內建的 WordCount 程式來跑看看 Hadoop 的 Map/Reduece。


在hadoop home目錄之下建立wordcount_folder
 mkdir wordcount_folder

進入wordcount_folder
cd wordcount_folder/

建立檔案input_file1,input_file2並輸入文字
echo "hello world" >> input_file1
echo "8181 hadoop" >> input_file2
(我這裡登入root才能建立文字檔案)

 回 hadoop 主目錄，輸入 $bin/hadoop dfs -put ./wordcount_folder input 指令，將剛剛建立的兩個文字檔當作 Map/Reduce 的輸入檔案，此指令是將檔案放到HDFS上。
 bin/hadoop dfs -put ./wordcount_folder input
(這邊用root帳號無法操做，必須回到hadoop帳號，因為我將檔案放在根目錄之下)

使用 hadoop-examples-1.1.2.jar 的wordcount method 來計算輸入檔案的內的每一個字的出現次數
 bin/hadoop jar hadoop-examples-1.1.2.jar wordcount input output

打開Browser進入Hadoop管理介面
查看執行結果