我們很高興地宣布 Pub/Sub 到 Splunk Dataflow 模板的幾個新的可觀察性功能，以幫助運營商密切關注他們的 streaming pipeline 性能。 Splunk Enterprise 和 Splunk Cloud 客戶使用 Splunk Dataflow 模板可靠地導出 Google Cloud 日誌，以便針對安全、IT 或業務用案例進行深入分析。 借由替 Splunk IO sink 新添加指標和改進日誌記錄，現在可以更輕鬆地回答操作問題，例如： Dataflow pi...

GCS Notification 功能實作 (三)：應用於 Cloud Pub/Sub 什麼是 Cloud Pub/Sub？ 是一款低延遲、高擴充性的推送服務，它支援多對多、非同步的訊息/資料傳送。 它是如何運作的？ 推播者新增一個 topic，然後再新增一個或多個 subscription 去對應到這個 topic。推播者會傳送訊息/資料給指定的topic，對應到的subscription 就會把訊息/資料傳送給訂閱者。如下圖： 簡介 •  Topic: 哪個publisher 傳送的訊息 •...

在串流分析日益普及的世代，優化資料處理以降低成本，並確保數據品質及完整性是相當重要的。方法之一就是，只專注於處理更動的數據，而非所有可用的數據，而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。 Dataflow 的開發人員（Google Cloud 的串流數據處理服務）開發了一個解決方案，可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫（自行管理、內部部署等）中接收更動的串流，並同步到 BigQuery 的資料集。Google 在 Dataflo...

最近有機會在 GCP 上開發分散式的系統，透過 GCP Cloud Pub/Sub 來解決我們系統上的瓶頸，於是整理了有關 Pub/Sub 的使用心得與經驗，同時與過去使用 Amazon Simple Queue Service (SQS) 比較。 Cloud Pub/Sub 簡介 在 Pub/Sub 中有下列角色： •  Pub/Sub topic: Publish application 可以創建 topic 用來發送 messages (tasks) 到此 topic。 •  Pub/Su...

「即時串流資料」已逐漸成為大勢所趨。根據 IDC 預測，到了 2025 年，有 25% 的資料都將會以「即時」(real-time) 的形式存在。隨之而來的，就是企業也會藉由即時資料來輔助決策。那究竟是什麼改變，帶動了這樣的趨勢呢？數位化的加速是直接因素之一。舉例來說，這些「即時資料」，可能來自各種行動裝置、數位通訊、電子商務、網路購物或數位媒體，甚至是工廠內的物聯網設備⋯⋯等。 對企業來說，未來的營運挑戰之一，就是要能駕馭這些即時串流資料，並借助資料洞察，來剖析市場、提高競爭力，更重要的是，改...