為了使開發人員能在快速變化的媒體環境中識別敏感內容，我們很高興地公開 PaLM 2 技術提供的文字審核功能，該功能可由 Cloud Natural Language API 取得。
由 Jigsaw 和 Google Research 合作構建的文字審核功能，可幫助企業掃描敏感或有害內容。
以下舉出幾個例子，示範文字審核服務的使用情境：
- 品牌安全：保護廣告主不受使用者生成的內容和出版商內容所認為的「不符合品牌安全」之處影響
- 使用者保護：掃描潛在的攻擊性或危害內容
- 減少生成式人工智能的風險：幫助防止生成模型的輸出中生成不當內容
提升品牌安全
品牌安全是一套旨在保護品牌在數位時代聲譽和可信度的程序。品牌安全面臨的最大風險之一是廣告所關聯的內容；如果廣告出現在一個網站上，該網站的內容不符合贊助品牌的價值觀，這可能會給品牌和組織帶來不良影響，因此公司需要識別和刪除不符合品牌指南或品牌一致性的內容至關重要。
文本審查可以被我們的客戶用來識別他們認為冒犯、有害、在特定情境下敏感，或以其他方式不適合品牌的內容。一旦組織識別到這些內容，團隊可以採取措施將其從廣告活動中刪除，或防止其在將來與品牌相關聯，有助於確保廣告活動的有效性，並確保品牌與正面和可信的內容相關聯。
避免使用者觸及危險內容
數位媒體平台、遊戲發行商和線上市場都有減輕使用者生成內容風險的利益。他們希望為使用者提供安全和友好的環境，同時保持思想交流的開放和自由。文本審查可以幫助他們實現這一目標，利用人工神經網絡來檢測並移除有害內容，如騷擾或虐待。這些努力可以幫助減少損害，提升客戶體驗，並增加客戶保留率。
降低生成模型的風險
在過去一年中，人工智慧領域取得的進展使得軟體更可靠地生成文本、圖像和影片，這帶來了使用機器學習的新產品和服務，包括文本生成器，以創建內容。然而，對於任何人工智慧內容生成，存在意外生成冒犯性材料的風險。
為了應對這種風險，我們已經對文本審查服務進行了訓練和評估，使用了來自大型生成模型的實際提示和回應。文本審查具有多功能性，覆蓋了廣泛的內容類型，使其成為保護使用者免受有害內容的強大工具。
使用 Natural Language API 開始進行文字審核
文字審核由 Google 最新的 PaLM 2 基礎模型提供技術支持，可識別各種有害內容，包括仇恨言論、霸凌和性騷擾。
此 API 易於使用並與現有系統集成，幾乎能以任何程式語言呼叫，以回傳 16 種不同「安全屬性」的安全度分數。
請至 Natural Language AI 網站進行嘗試，並參閱「文字審核」頁面以了解詳細資訊。 您也可以在此處嘗試文字審核。
