Challenge – 預估用量不夠精確,無法掌握未來用量
巨量的數據中台面臨數據成長的 infrastructure 以及管理風險,如何預估不管是 on premise 或是 SaaS 狀態的數據成長量有效提前預警是數據中台的挑戰之一。當用量增加到接近儲存的上限時,系統可能會無法負荷而有延遲等現象,造成使用上的困難。
Canner 運用 Amazon SageMaker 精確預測用量,提前預警使用者做準備
應用 Amazon SageMaker去計算可能的成長量,提早預警使 infrastructure 以及服務使用者可預先準備可能對應措施 Canner 可以在後台查看未來存儲量的預估值,可以提早對過量的資料去思考應變措施,例如去清理整理儲存中心,不要讓資料最後過載,讓系統整個變慢或是無法使用。
企業能有效運用 Amazon QuickSight 進行商業分析服務
讓組織內的所有員工隨時在任何裝置上,針對資料建置視覺化的檢視、執行臨機操作分析,以及迅速洞察商業先機。上傳 CSV 和 Excel 檔案;存取現場部署資料庫,例如 SQL Server、MySQL 和 PostgreSQL。QuickSight 讓組織能夠將商業分析功能擴展到數十萬名使用者,並使用強大的記憶體內引擎 (SPICE) 提供快速回應的查詢效能。
導入使用 Amazon Kinesis Data Streams ,收集並處理大型串流即時資料記錄
Amazon Kinesis Data Streams 是大規模擴展、持久且低成本的 streaming data service。Kinesis Data Streams 每秒可以做到數十萬個來源連續捕獲數 GB 的數據,例如網站點擊流、數據庫事件流、金融交易、社交媒體源、IT 日誌和位置跟踪事件。收集的數據可在幾毫秒內提供,以允許實時分析用例,例如實時儀表板、實時異常檢測、動態定價。
Amazon SageMaker 可用於建置、訓練和部署機器學習模型,用於具有全託管基礎設施、工具和工作流程的任何使用案例
機器學習模型構建包含數據準備,模型構建、訓練、部署,最終才能將模型應用於生產中。通常一個數據科學家在進行上述工作時需要多種工具配合,理解工具細節並打通各類工具。並且在數據預處理環節常需要花費大量時間和精力,完成重複的體力工作,不利於創新。Amazon SageMaker 提供了一個平台改善了這一系列問題。