科技圈瘋養「龍蝦」 KPMG:當心一羣聰明AI一起做傻事
▲KPMG安侯企業管理股份有限公司董事總經理謝昀澤(圖/KPMG提供)
記者陳瑩欣/臺北報導
最近全球社羣媒體流行一句問候語:「你今天養龍蝦了嗎?」乍聽像玩笑,卻是當前 AI 科技圈最熱門的現象之一。KPMG安侯企業管理股份有限公司董事總經理謝昀澤表示,社羣把代理式 AI 比喻爲一種會「自己找食物、自己工作」的數位生物,因此網路逐漸用「養龍蝦」來形容部署 AI 助手的行爲。新一代 AI 代理程式的出現,突破了過去生成式 AI「光說不練」的限制。這些 AI 不只會回答問題,還能實際操作系統、執行任務。在企業環境中,如果運用得當,它們其實非常適合處理某些特定類型的數位工作。
一般而言,AI 代理最適合四種特性明顯的任務:跨系統、全天候、高頻率與大數據。例如,企業可以讓 AI 代理在庫存與客服系統之間自動運作,從 CRM 系統讀取客戶資料,到 ERP 查詢庫存,再到郵件系統回覆客戶。過去這類流程往往需要員工在不同系統之間來回切換,而 AI agent 可以全天候動態接收指令,自動完成整個流程。
然而,這股「養龍蝦」熱潮很快也出現了亂象。謝昀澤以自己的「養蝦」經驗爲例,他原本只是要AI簡單蒐集一些旅遊景點資料,結果經過一晚「龍蝦自主加班」,AI 不但開始分析旅遊趨勢、研究匯率變化、建立旅遊成本模型,最後甚至生成數十頁旅遊市場分析報告與風土人文白皮書。由於「勤奮」的 AI agent 持續呼叫大型付費語言模型服務,讓他的帳單迅速飆升。
除了 AI 過度「努力工作」,還出現更荒謬的產業鏈。在一些平臺上,開始有人提供「龍蝦安裝服務」,幫忙部署 AI agent、設定環境、調整參數;沒過多久,又有人推出「龍蝦卸載服務」。謝昀澤分析,造成近期「龍蝦棄養潮」的主要原因,是許多 AI 代理在安裝過程中需要取得大量系統與帳號權限,讓使用者逐漸意識到巨大的資安威脅。
在真正開始「養龍蝦」、發揮 AI 生產力之前,謝昀澤提醒企業應謹慎評估四大主要風險。第一是提示詞注入,也就是駭客在網站或文件中藏入惡意指令,誘導 AI 泄漏金鑰或機密資料。第二是指令誤判,AI 可能誤解任務,例如錯誤刪除重要郵件或資料。第三是外掛程式被投毒,部分 AI 插件可能暗藏惡意程式,讓電腦變成殭屍網路的一部分。第四則是漏洞被駭客利用,只要 AI 系統存在安全漏洞,就可能成爲駭客入侵的入口。
謝昀澤指出,資安研究人員已發現,駭客開始開發專門的「資訊竊取器(Info Stealer)」,只要掃描到未設防的 AI 代理,就能直接竊取 API 金鑰與系統憑證。駭客不僅可以盜刷模型費用,甚至能遠端控制整臺電腦。一旦電腦被控制,駭客可能竊取企業文件、監控鍵盤輸入,甚至把這臺電腦變成攻擊其他公司的跳板。
謝昀澤表示,過去 AI 的問題是「說錯話」,但當 AI 開始彼此合作,未來的風險可能變成「一羣聰明的 AI 一起做傻事」。他認爲,代理式 AI 的應用將在今年迎來爆發式成長,而這股浪潮最後帶來的是「數位助理」還是「資安內鬼」,關鍵就在於企業對 AI 的治理能力。
謝昀澤建議,一般使用者目前可以暫時保持觀望,因爲目前許多代理式 AI 工具安裝移除與管理門檻仍高,且資安問題仍難以完全掌控,不小心養到「毒龍蝦」的機率仍然偏高,與目前已普及的生成式 AI 成熟度仍有很大差異;而對於具備技術能力的開發者,則應在隔離測試環境與嚴格權限控管的條件下進行測試。
同時,產業界也開始嘗試建立更安全的 AI 代理平臺。例如 NVIDIA 近期推出的 AI agent 平臺 NemoClaw,以及微軟推動的 Copilot Coworker 概念,都是希望爲快速發展的 AI 代理生態建立更安全的框架。這類平臺被期待透過更嚴格的權限管理與安全機制,避免 AI 代理在企業環境中失控。