技術專欄

集結國內外精選文章,掌握最新雲端技術新知與應用 

iKala Cloud / 部落格 / 產業解決方案 / 財經巨擘道瓊結合 GCP 分析 13 億則新聞數據,即時視覺化揭露重大事件對產業的潛在影響

財經巨擘道瓊結合 GCP 分析 13 億則新聞數據,即時視覺化揭露重大事件對產業的潛在影響

道瓊不僅是 Google Cloud 技術合作夥伴,亦提供全球眾多消費者和企業優質的新聞內容和商業資訊,它的出版物和產品包括「Factiva」、「Barron’s」、「MarketWatch」還有美國最大的付費發行報紙「華爾街日報」。目前道瓊擁有逾 13 億則新聞,屬全球最大規模,由於它們希望能協助企業客戶數位化轉型,因此打造了 道瓊 DNA 平台,透過其強大穩定的 API 整合技術,提供靈活的優質新聞數據存取服務,為企業所需的進階分析和工作流程提供更強大的支援。

近期,道瓊與「Quantiphi」和「Google Cloud」三方合作開發「知識圖譜」,「知識圖譜」可以快速且穩定地分析近 30 年的重大新聞及其所延伸的網絡效應,將企業對於「大數據」和「機器學習」的期待,轉化為可以量化的商業策略。

Google Cloud 實質效益

  • 綜合 30 多年的非結構化新聞數據,以評估重要事件在商業上的影響
  • 定義複雜的網路結構,以發現隱藏的關聯性和觀點
  • 在 prototype 知識圖譜時展現 GCP 的易用性, 讓專案在 10 週內交附

「Google Cloud 與我們的 DNA 服務非常互補,它能夠把我們的資料庫運用在真實生活中,而 Quantiphi 在內容串接上非常專業,讓知識圖譜能更快速的取得成效。」- Niranjan Thomas,道瓊,平台與技術合作夥伴總經理

知識圖譜:將複雜的事件關聯視覺化

為了強化 DNA 資料庫的深度和廣度,團隊開發了知識圖譜 prototype,幫助資料科學家和開發人員分析與全球事件 (如:重大天然災害) 相關的網路效應及業務影響。客戶還可以針對「可能影響業務」或「隱含關聯性」的重要事件透過視覺化呈現。這項工具運用 GCP、道瓊 DNA 平台、TensorFlow、圖庫,來執行文本挖掘、機器學習、資料整合、結果視覺化。

道瓊官網上的知識圖譜範例顯示 2017 年颶風對保險和其他行業的影響。這顯現了全球性規模的事件經過進階分析後,是如何被視覺化的呈現。此 prototype 揭露了事件間的關係,企業可以根據這些關聯挖掘出更深入的觀點,並了解整起颶風事件是如何影響相關產業的生態全貌。

不僅如此,這項服務可以針對「想要關注其他類型事件」或是「希望更通盤了解潛在網絡效應」的客戶進行客製化,並以視覺化的方式呈現。

道瓊和 Quantiphi 在四週內發展出他們的知識圖譜原型概念,然後在另外六週內製作出一個可完整運作的 prototype,這必須歸功於 GCP 強大的基礎設施,以及道瓊、Quantiphi、Google 三方的有效合作。

「當企業達到一定規模,採用新技術的門檻通常很高且成本不菲,但 GCP 可以幫助採用 DNA 平台的客戶消除大部分的阻力,客戶不需要投入很高的成本,就能實踐進階分析。」– Niranjan Thomas,道瓊的平台與技術合作夥伴總經理

GCP 提供快速且高擴展性的分析功能

DNA 平台的 snapshot 需求非常龐大,因此它需要同時具備快速及高擴展性。「而 Cloud Bigtable 和 BigQuery 的結合,提供知識圖譜其所需的強大功能。」Quantiphi 的共同創辦人兼總裁 Asif Hasan 表示。「在 Cloud Bigtable 的幫助下,我們可以輕鬆存儲大量待處理的數據,而 BigQuery 讓我們可以在幾秒鐘內完數據操作且易於管理。在未來,我們期待能在知識圖譜中使用即時查詢和手動查詢功能,透過查詢新聞資料來回答不同問題,這功能將足以打破市場規則。」

讓道瓊最印象深刻的是:GCP 在機器學習上提供廣泛的服務。企業可以在 Compute Engine 上運行 TensorFlow,並使用 Google Kubernetes Engine 執行容器,透過 Cloud Storage 取得高性能的 object storage,最後使用 Cloud Dataproc 和 Cloud Dataflow 等工具來打造 Analysis Pipeline。接下來道瓊將持續開發知識圖譜的功能,它們將採用支援自然語言對話的 DialogFlow,提供用戶高效且準確的回應。

客製化知識圖譜

對於金融客戶而言,知識圖譜可以在事件發生時,顯示出事件對不同公司/產業的財務影響,以便進行投資及風險管理的識別。在醫療保健領域,知識圖譜可以分析「已發布的醫學研究結果」和「銷量」,為新藥品的研發順序提供建議。對於顧問產業而言,這項工具可以挖掘潛在競爭者發布的相關訊息,並提供其客戶對應的市場情報。

在未來將整合來自社群媒體、天氣資訊、人口普查數據等的即時資料來源。

「以前為了準備特定類型的分析,可能需要數個月的時間來篩選相關的文章,可能還無法找出事件間的關係。透過 GCP,我們可以更輕鬆地統整大量非結構化數據。道瓊 DNA 為我們提供了動力,我們可以快速運用數十年的知識,精準辨識出事件間的關連,而這些商業分析可以開拓新的收入來源、降低客戶的風險和成本。」Asif 說。

(本文翻譯自 Google Cloud。)

 

分享本文:
FacebookLineTwitter
回到頂端