技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用
Loading...
我們很高興地宣布 Pub/Sub 到 Splunk Dataflow 模板的幾個新的可觀察性功能,以幫助運營商密切關注他們的 streaming pipeline 性能。 Splunk Enterprise 和 Splunk Cloud 客戶使用 Splunk Dataflow 模板可靠地導出 Google Cloud 日誌,以便針對安全、IT 或業務用案例進行深入分析。 借由替 Splunk IO sink 新添加指標和改進日誌記錄,現在可以更輕鬆地回答操作問題,例如: Dataflow pi...
GCS Notification 功能實作 (三):應用於 Cloud Pub/Sub 什麼是 Cloud Pub/Sub? 是一款低延遲、高擴充性的推送服務,它支援多對多、非同步的訊息/資料傳送。 它是如何運作的? 推播者新增一個 topic,然後再新增一個或多個 subscription 去對應到這個 topic。推播者會傳送訊息/資料給指定的topic,對應到的subscription 就會把訊息/資料傳送給訂閱者。如下圖: 簡介 •  Topic: 哪個publisher 傳送的訊息 •...
在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。 Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflo...
最近有機會在 GCP 上開發分散式的系統,透過 GCP Cloud Pub/Sub 來解決我們系統上的瓶頸,於是整理了有關 Pub/Sub 的使用心得與經驗,同時與過去使用 Amazon Simple Queue Service (SQS) 比較。 Cloud Pub/Sub 簡介 在 Pub/Sub 中有下列角色: •  Pub/Sub topic: Publish application 可以創建 topic 用來發送 messages (tasks) 到此 topic。 •  Pub/Su...
「即時串流資料」已逐漸成為大勢所趨。根據 IDC 預測,到了 2025 年,有 25% 的資料都將會以「即時」(real-time) 的形式存在。隨之而來的,就是企業也會藉由即時資料來輔助決策。那究竟是什麼改變,帶動了這樣的趨勢呢?數位化的加速是直接因素之一。舉例來說,這些「即時資料」,可能來自各種行動裝置、數位通訊、電子商務、網路購物或數位媒體,甚至是工廠內的物聯網設備⋯⋯等。 對企業來說,未來的營運挑戰之一,就是要能駕馭這些即時串流資料,並借助資料洞察,來剖析市場、提高競爭力,更重要的是,改...
回到頂端