一般來說,將應用遷移到雲端都需要大量的事前規劃,尤其是資料密集型、緊密耦合的高效能運算 (HPC) 應用程式,會為遷移規劃帶來特別的挑戰。HPC 的資料增長曾經受到運算能力限制。
但是現在有更多不同的數據源,包括感測器、攝影機和不同儀器,這種資料量的增長速度,已經超過了運算處理、網路流通量和儲存性能發展的速度,這會給 AI 和機器學習演算法帶來麻煩;因為資料處理的速度得同步跟上,演算法才能為您提供洞察。這種資料增長意味著,許多傳統的本地端 HPC 資料中心不得不開始逐步將部分應用負載遷移到雲端上面。
有鑑於此,Google Cloud 和 Data Direct Networks(以下簡稱 DDN)共同開發了一套適合HPC 的雲端檔案系統:DDN 的 EXAScaler,它是一個並行檔案系統,旨在處理共享資料集的高度並行存取模式。這種 I/O 模式是緊密耦合的 HPC 應用的典型特徵,例如天體物理學或金融領域的模擬運算。在最具挑戰性的資料密集型應用方面,DNN 正在為部署大規模資料方面,提供專業知識,而 Google 則提供全球規模的資料中心解決方案。
EXAScaler 是 DDN 品牌旗下的 Lustre 產品,Lustre 是一款開源的檔案系統,在大型的商業和研究環境中展現超過 15 年的穩定性和性能表現。Lustre 性能良好,但要將其效率達到最大化可能是個挑戰。Google 和 DDN 最近使用了頂級的 HPC 儲存基準 IO-500 來展示這個共同開發出來的系統的易用性。
在高效能運算 (HPC) 儲存的競爭中脫穎而出
IO-500 是一個新興的 HPC 儲存基準,它藉由運算一個大範圍儲存特性的評分,而不是以一個狹隘的性能