技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用

iKala Cloud / 寫手專欄 / 企業如何找到合適的生成式 AI 服務?掌握三大挑選關鍵、二大技術能力

企業如何找到合適的生成式 AI 服務?掌握三大挑選關鍵、二大技術能力

研究機構 Gartner 在 2023 年 10 月便指出,55% 企業正在測試或導入大型語言模型(Large Language Model;LLM)專案,包括大型企業與新創公司都嘗試透過 LLM 專案全方位提升員工生產力、優化營運流程,以及提升營收績效,但是,企業該掌握哪些關鍵,才能挑選到合適的生成式 AI 技術帶來最大的效益?

在四月圓滿落幕的 Google Cloud Next 2024 大會中,Google 直指:「未來將是一個連結雲端、由 AI 驅動的虛擬服務專員(Agent)世界。」為了協助企業佈局人工智慧大未來,Google Cloud 將基礎架構,結合 Gemini、多種模型與 Vertex AI,提供豐富多樣的 AI 產品組合,協助企業夥伴與客戶更快速且精準的打造專屬 AI 虛擬服務專員,例如跟 Nvidia 合推可支援生成式 AI(Generative AI;GenAI)應用的基礎架構、透過 Vertex AI 提供超過 130 種自家 Gemini 與第三方模型協助企業加速打造虛擬服務專員(Agent)、推出 Gemini Code Assist 協助企業導入 AI  程式碼編寫輔助功能、透過 Gemini 強化網路資安防禦,以及將 Gemini 導入 BigQuery、Database 跟 Looker 等自家服務以發揮數據的最大效益。

三大關鍵,企業如何挑選最合適的 LLM 平台服務?

值得特別注意的是,不僅 Google 積極佈局生成式 AI 市場,微軟與 AWS 等科技巨擘亦透過策略聯盟的方式強化在人工智慧技術的服務能力。簡言之,為搶進商機龐大的人工智慧市場,供應商積極投入,同樣的,需求方也嘗試找到最適合自己企業的解決方案,但該如何挑選平台工具,並且透過人工智慧極大化營運績效?

iKala Cloud 建議可以從三個面向做選擇:首先是開放性,為確保 LLM 平台服務可以跟企業既有系統或者是第三方系統串聯在一起,平台服務供應商是否夠開放、易於串接,十分重要;其次是生態體系,平台服務供應商除招募可提供諮詢、客製、導入與維護服務的在地夥伴,是否有跟全球與在地夥伴合作在平台上提供 LLM 加值服務或者是產業專屬應用模組也十分重要;最後,同時也是最重要的是評估 LLM 是否符合企業需求,評估指標包括但不局限於模型效能、模型的可擴展性、模型對資源(運算與數據)的需求、模型的自訂與客製化程度、模型的道德準則,以及是否有安全審核機制防止錯誤或有害資訊的傳播等。

 

 

事實上,這也是 Google Cloud 會吸引跨產業龍頭品牌青睞與採用的原因,例如,洲際酒店集團透過 Google Vertex AI 打造虛擬客服專員提供旅行規劃服務、家樂福透過 Google Vertex AI 在不同社群建立動態行銷活動並且將作業時間從數月縮減成數周,以及三星將 Google Vertex AI 平台上 Gemini Pro 整合至 Galaxy S24 旗艦機款等。

掌握兩大技能,發揮生成式 AI 最大功效

根據 IDC 公布的 2024 年台灣資通訊(ICT)市場重點趨勢預測,生成式 AI 技術的應用場域正從消費市場走向企業市場,亞洲企業的 TOP 5 生成式 AI 應用場域是產品設計、軟體開發、客戶互動、行銷公關跟供應鏈管理,強勁的生成式 AI 市場需求將加速雲端平台的新一波競爭態勢。

值得特別注意的是,IDC 認為 生成式 AI 平台工具對微調(fine-tuning)跟索引增強生成(Retrieval-Augmented Generation;RAG)的支援能力將直接影響企業採用意願,理由在於,前者讓企業可以透過(部分或完全)調整訓練好的 LLM 模型參數,讓模型輸出更符合產業預期或特定任務需求,亦即,讓生成式 AI 可以說得出「行話」;至於 RAG 則是一種結合搜尋檢索跟生成能力的自然語言處理架構,透過這個架構,企業可以要求 LLM 模型從特定的外部資料庫搜尋相關資訊,然後,以搜尋到的資訊生成、回應、完成特定的問題,企業不用擔心 LLM 會出現幻覺、或者是天馬行空的回答,可以極大程度確保 LLM 輸出的誠信與安全。

換言之,無論企業是要 Bring Your Own Model 或者是透過雲端平台提供的 LLM 進行生成式 AI 應用開發,只要掌握 Fine-tuning 跟 RAG 兩個技能,即可輕鬆發揮生成式 AI 的價值。那麼,Google Gemini 在這兩個領域的表現如何?

Google Gemini 生成式 AI 平台在 fine-tuning 與 RAG 表現

在 fine-tuning 這個領域,截至 2024 年 4 月,開發人員已經能針對 Gemini 1.0 Pro 穩定版的 002 版本(gemini-1.0-pro-002)進行參數高效率調整:透過更新相對小的參數子集讓 LLM 更適合特定任務應用,為協助開發人員快速上手,Google 釋出《Adaptation of Large Foundation Models》白皮書提供詳細索引資訊,此外,Google 亦承諾將陸續推出其他微調服務。

至於在 RAG 這個領域,開發人員可以透過 Google Vertex AI 存取 Gemini 模型,以及使用公司獨有的數據調整與提煉 Gemini 模型以增強其對產業的了解,另外,企業還可以透過低/無程式碼環境建立以 Gemini 模型為核心、可支援 RAG、混合搜尋、嵌入、對話劇本的搜尋與對話虛擬服務專員。

從當前的市場發展,可以清楚看到,不僅 Google Gemini 積極深化在 Fine-tuning 跟 RAG 的布局,微軟跟 AWS 亦不落人後,建議企業除從技術層面考量,還要進一步評估雲端服務供應商的在地夥伴可否提供相應服務,如 iKala Cloud 便積極協助台灣企業透過 Google Gemini 跟 Vertex AI 提升數據價值與智慧能力,讓企業以更安全、高效且事半功倍的方式搶進生成式 AI 世代。

 

參考資料:Google Cloud Next ’24 新聞重點、Overview of model tuning for Gemini、Adaptation of Large Foundation Models、It’s time for developers and enterprises to build with Gemini Pro

延伸閱讀:從 ChatGPT 到 Google Gemini,企業如何化生成式 AI 為成長動能?

分享本文:
FacebookLineTwitter
回到頂端