技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用
Loading...
這篇文章中,您將使用 TensorFlow 的 high-level Estimator API 創建一個寬且深的機器學習預測模型。您可以透過上一篇文章:數據分析和準備中所創建的 CSV 文件在 Cloud ML Engine 上訓練模型。 架構 這篇文章將使用下圖中虛線內的元件: 成本 這篇文章將會使用到以下需付費的元件,包含: Compute Engine Persistent Disk Cloud Storage Cloud ML Engine 根據這個定價計算器,假設您花一天使用這些元件...
繼機器學習與結構化數據系列第一篇介紹了如何準備數據及分析之後,此篇文章將接續上一篇,介紹如何訓練模型。 定義輸入列 您必須為 Estimator API 定義 serving_input_fn 函數。此方法定義列以用作預測服務的 API 請求的輸入。輸入列通常與 CSV 文件中的輸入列相同,但在某些情況下,您希望接受與您在模型訓練過程中使用的格式不同的輸入數據。 通過使用此方法,您可以將輸入數據轉換為與訓練期間使用的表單相同的表單。預測的預處理步驟必須與您在訓練中使用的預處理步驟相同,否則您的模...
透過這篇文章,您可以透過運行在  App Engine 上的 Web 應用程式來使用 Prediction API,以進行線上預測。這將是機器學習與結構化數據系列文章的最後一篇,將接續系列二的訓練模型。 架構 這篇文章將用到下圖中虛線內的元件: 部署在 App Engine 上的 Web 應用程式來提供線上預測,並根據母親的相關背景資料,來提供預測嬰兒的體重基本數據。而這篇 Web 應用程式將使用部署在第二篇系列文的 Prediction API 作為其後端基礎。Managed ML Servi...
本文的內容是由數個教程所組成的概述,此系列教程將向您展示如何在 Google Cloud Platform (GCP) 中使用 TensorFlow 和 Cloud ML Engine 實作推薦系統 (recommendation system)。 本文內容將涵蓋: 概述以矩陣分解為基礎的推薦系統理論。 描述如何使用加權交替最小平方法 (weighted alternating least squares - WALS) 來進行矩陣分解。 提供系列教程概述,並提供在 GCP 上實作推薦系統的逐步...
本文是系列教程中的第一部分,將向您展示如何在 Google Cloud Platform (GCP) 中使用 TensorFlow 和 Cloud ML Engine 來實踐機器學習 (ML) 的推薦系統。而這個部分會介紹如何在開發系統上安裝 TensorFlow 模型程式碼並在 MovieLens 的資料集上執行模型。 本教程的推薦系統使用加權交替最小平方 (WALS) 演算法,而 WALS 包含於 TensorFlow 程式庫中的 contrib.factorization package,...
本文是多教程系列的第二部分,將展示如何透過 TensorFlow 和 Cloud ML Engine 部署機器學習 (ML) 推薦系統。在這個單元中,您將學習到:如何使用 GCP 中的 Cloud ML Engine 來訓練推薦系統,並調整其中的超參數。 這系列包括以下部分: 總覽 建立模型 (一) 如何在 TensorFlow 部署推薦系統:訓練和調校 Cloud ML Engine (二) (本教程) 運用 Google Analytics 數據 (三) 部署推薦系統 (四) 請先您閱讀系列...
本文是一系列教學的第三部分,向您展示如何利用 Google Cloud Platform(GCP) 中的 TensorFlow 和 Cloud Machine Learning Engine 實作機器學習 (ML) 推薦系統。本文將會介紹如何利用 Google Analytics 360 收集的數據,透過 TensorFlow 建模做到網站的內容推薦。 這一系列教學包含以下內容: 總覽 建立系統 (一) 訓練和調校機器學習引擎 (二) 運用 Google Analytics 數據 (三) (本教...
本文是教學系列的第四部分,教您如何在 TensorFlow 和 Cloud ML Engine 實行 machine learning (ML) 推薦系統。這個部分教導您如何在 GCP 上部署生產系統,並針對產品提供建議和定期更新推薦模型。 這個教學系列包括以下部分: 概要 創建模型 (第一部分) 訓練和調整 Cloud ML Engine (第二部分) 使用 Google Analytics 的數據來分析 (第三部分) 部署推薦系統 (第四部分) (本教程) 本教程中的推薦系統使用 WALS ...
之前的文章簡介了 AI、機器學習與深度學習。接下來我們會以生活化的情境說明傳統機器學習的方法。本篇首先介紹傳統機器學習中的「監督式學習」。 回顧之前文章提到的監督式與非監督式學習,兩者最大的差異在於資料是否預先被標註;如果有,則可說這個題目屬於監督式學習。演算法會由標註好的訓練資料學習並建構模型,以確定該給測試資料哪種標記。如 GCP 專門家開發的柴犬秋田辨識器,就是藉由已標記的資料去訓練模型。 監督式學習:迴歸 vs 分類 監督式學習最常處理的兩個問題:迴歸、分類。當你預測的目標為連續的數值,...
如前篇文章所述,監督式學習的演算法就是要學習得出一個方程式 y = f(x) 以表達資料集的分布狀況,讓我們之後匯入新的資料 (x) 就能做出相應的預測 (y)。這種方法通常也被稱作「預測模型」或「預測性分析」,而預測模型或預測分析的目標,就是盡可能地提高預測與實際結果的精準度(關於精準度的判斷,我們會在下期說明)。 本文針對機器學習新手簡述資料科學家經常使用的幾個演算法的基本概念,並比較其中幾項差異與優缺點。 迴歸的演算法 線性迴歸 Linear Regression、多項式迴歸 Polyno...
什麼是文字雲(Word Cloud)? 顧名思義,這就是一個整體形狀很像雲朵的圖形,並且由文字所構成。相信你一點都不陌生這類的圖。 (圖片來源) 這種由各種字詞組合成、如雲一般的圖形,稱作文字雲(Word Cloud)。我們常在各種社交網站與新聞網站中看到這類圖形的蹤跡,文字雲的存在目的在於能讓閱讀者在不閱讀所有文章的前提下,快速聚焦在大批文章中的主要內容。 網站上有一個可以玩文字雲的網頁,我們可以把想製作雲朵的文章往上面貼,它就可以畫出漂亮的文字雲,供我們日常分析作使用。(文字雲網址) 什麼是...
Cloud Machine Learning 是 Google Cloud Platform 對於深度學習提供的管理服務。它可以讓您建立作用於任何大小、任何資料的學習模型,並藉由 TensorFlow 框架打造您的服務。您立即可以將訓練模型放置於全球的 prediction 平台,能支持成千上萬的使用者與 TB 等級的資料。除此之外,此項服務同時整合了 Cloud Dataflow, Cloud Storage 甚至 BigQuery。現在我們就來使用看看如何簡單的進行手把手 Cloud Mac...
GCP 機器學習(1) - Cloud Speech API 應用實例 最近用信用卡開通了 Google Cloud Platform 的帳戶,一共得到了 300 美元的免費使用額度,和 12 個月的免費試用期。裡面的 API 相當的多 (連結)。裡頭關於機器學習的 API羅列如下: • Cloud Vision API • Cloud Speech APi • Natural Language API • Translation API 而這次要介紹的是第二項, Cloud Speech AP...
GCP 機器學習(2) - Natural Language API 應用實例 上一篇講完 Speech API,這週來提一下 Google Cloud Platform 另一個 API — Natural Language API。這個 API屬於 Computer Science Natural Language Process (NLP) 的範疇。有了這個API,我們就能快速的把一個句子的 tagging 和 parsing tree 以及情感 (sentiment) 給抓出來。如果不熟悉...
GCP 機器學習(3) – Cloud Translation API 應用實例 來到 Google Cloud Platform 系列文的第三篇,今天要講解 Translation API。我認為語言翻譯 API 是一般大眾最為熟悉的,今天就讓我們來看一下,它到底還有什麼新把戲? 快速測試 Translate API 首先我們先點進 Translate API 的介紹 網址。大家可以快速的使用 Google 提供的小 board 來 做測試,這部分我就不加贅述。 語言翻譯 接著我們進行 API...
GCP 機器學習(4) – Cloud Vision API 應用實例 終於來到 Google Cloud Platform 第四篇 —— Cloud Vision API,也是前四篇之中,API 最為豐富的一個。話不多說,就直接開始吧! 快速測試 首先,先選好一張圖片,裡面有越多東西越好,或者圖片越奇怪越好,這樣才能展現這個 API 的威力。因此我特別選了一張辦公桌的照片和一張 meme,以下是我選的圖片 (單一檔案須 < 4MB,取自 VRD dataset 和 這個網址): 選好後,...
GCP 機器學習(5) – Cloud Video Intelligence API 應用實例 簡介 Google 近期發佈了一個新的雲端機器學習API:Cloud Video Intelligence API。該 API 可用來識別影片中顯示的物體,並以 JSON 格式輸出分析結果: 透過過輸入影片檔案的 GCS URL 與辨識類型,可使用該 API 相對應的識別出影片中的個體、場景變化或是敏感內容標的。其中的辨識類型包含:Label Detection (例如人類、狗或者花之類的物體辨識)、...
開源機器學習系統 TensorFlow 應用實例 什麼是 TensorFlow? 簡單來說是 Google 開源的機器學習程式庫。除了應用在 AlphaGo 之外,也應用在 Google Photo 等服務上。 2017/12現在版本已經更新至1.4了,在教學文件上可以看到,能夠安裝的作業系統為 Linux 及 Mac OS X,開發語言為 C++ 及 Python 可供選擇。在本篇,作業系統會使用 Ubuntu 14.04 ,開發語言以Python 構築環境。 安裝 TensorFlow 的順...
一篇文章帶您了解 AutoML, Cloud ML Engine, ML API  Google 在 1/17 重磅推出了極具破壞性的機器學習產品 Cloud AutoML,引起各大產業的驚呼(相關文章:Google 發表 Cloud AutoML,對產業帶來的五大突破性影響)。究竟 Cloud AutoML 是什麼? 它與先前 Google 推出的機器學習 Cloud ML Engine(現名為 Vertext AI)、ML API 產品有什麼不同? GCP 專門家將透過這篇文章帶您了解 Cl...
GCP Machine Learning Engine 幫您節省大量維運成本! 隨著近期機器學習( Machine Learning,以下簡稱 ML )的熱潮,企業拿自己的機器學習模型做測試已經是司空見慣,且在這之中大部分的企業會選擇使用 TensorFlow。因 TensorFlow 開放原始碼,您可以在自己的電腦上做原型測試,讓您可以在小規模的程式驗證執行上快速測試。當您測試完畢,您可以將你在電腦上測試好的 TensorFlow 資料放進 Google Cloud,並可混合架構上的 CPU、...
Google 在一年一度的 Google Cloud Next 大會上,重磅推出新一代機器學習產品:Cloud AutoML,大幅降低企業進入機器學習的門檻。以 Cloud AutoML Vision 為例,Google 在機器學習領域深耕已久,熟悉各種機器學習模型所適合分析的照片類型,即便您沒有足夠的機器學習開發人員,也可以透過 Cloud AutoML 訓練客製化模型! 這篇文章將帶您了解,如何快速啟用 Google 最新一代產品:Cloud AutoML。 (直接觀看案例介紹:一秒辨識屈中...
暨上一篇帶您手把手快速啟用 Google Cloud AutoML 後,這篇將帶您了解 Cloud AutoML 的實際應用案例。 (圖片摘自於網路) GCP 的 Machine Learning 產品線,自今年 1/17 發表了 Cloud AutoML 後,在客製化 (Cloud ML Engine) 與服務化 (ML API) 兩者之間多了另一個折衷選項 (延伸閱讀:Google 機器學習三大服務介紹與比較),讓沒有足夠的機器學習背景的開發人員,也可以透過 Cloud AutoML 來訓練...
我們經常從企業客戶端聽到,他們需要導入像 AI 這樣的新技術來提高生產效率。事實證明,AI 的確能有效幫助製造業客戶實踐自動化的目視品管流程。 這些客戶告訴我們,他們希望使用 AI 解決方案來幫助他們提高品質控管和檢查的效率,進而提高整體品質。但是,有許多因素使他們難以防止瑕疵產品的發佈。此外,在製造過程中發現瑕疵的時間越晚,修復或更換所需的成本就越高。視覺檢測可以幫助製造業客戶,以較低的成本及早發現瑕疵,並以更創新的方式幫助企業革新其流程。 半導體業:用 Google AutoML Visio...
近年來,名為工業 4.0 的現象持續在製造業帶動轉變:工廠變得越來越「聰明」。因此,工廠在獲得技術工具的情況下,努力提高生產率、營運效率與安全性。許多工廠都將新舊機器結合在一起,而使工廠更聰明的第一步,就是啟用「預測性維護(PdM)」。 「預測性維護」著重識別傳感器和產量資料中的固定模式,這些模式代表設備狀態的變化,通常是特定設備的磨損。借助預測性維護功能,公司可以確定資產的剩餘價值,並準確確定製造工廠、機器、元件或零件何時可能發生故障、需要更換。 本系列文章共 3 篇,在第一篇文章中,我們將解...
在系列文的第一篇中,我們為大家科普了預測性維護 (predictive maintenance) ;預測性維護會識別感應器和產量資料中的特定模式,這些模式會顯示設備狀況的變化(特定的穿戴式裝備)。借助預測性維護功能,公司可以確定資產的剩餘量,並準確預測機器、組件或零件何時可能發生故障需要更換。 在我們的系列文的第二篇,我們將解釋一些資料探索技術,對機器學習的類別進行比較,並以範例來探討執行「預測性維護」時的一些公式和指標。 一、資料探索 資料探索 (data exploration) 階段的目標...
回到頂端