最近收到任務，希望在 Hadoop Cluster上面跑 Apache log的分析案例，雖然之前已經架設過環境，但是純手工真的不是件容易事，遇到版本衝突、網路沒設好之類的問題會讓人一個頭兩個大。認真覺得裝(懂)過一次，了解 Hadoop的安裝方式就可以了，為了快速完成目標，就直接用現成的雲端服務，開一個 Hadoop Cluster。
原本想用 Kubernetes (k8s) 架設，但是最近的 v1.6版出問題 (Issue #43815)，轉而使用 Google Container Engine (k8s v1.5)，後來才發現 Google 其實有推出 Cloud Dataproc服務，能直接幫架設好 Hadoop、Spark環境，幾分鐘的時間就能建置完成！
想一探究竟？來繼續研究 Cloud Dataproc 在 GCP上 的細節
本篇文章：https://jerrynest.io/dataproc-hadoop/
本文是現就讀台大電機所 – Jerry所擁有，請勿隨意轉載複製。 Jerry目前從事資安研究，同時也對雲端議題頗有心得，常在傑瑞窩在這分享所見所聞。
