港大經管學院今日公布一項突破性研究結果,評估現時主流人工智能(AI)模型作為獨立外匯交易員的表現。 過去一年,AI大型語言模型(LLMs)已迅速從早期的生成文字,演變至現時能夠獨立執行任務及使用各種複雜工具。惟科技發展的同時,仍有一個關鍵問題有待解答:AI 智能體能否在充滿不確定性的真實環境中,作出具盈利能力的決策? 由蔣鎮輝教授帶領的港大經管學院人工智能評測實驗室(AIEL)推出Agentic Trader,以評估LLM智能體在即時外匯市場中的自主交易能力。 主要發現 1.阿里巴巴(09988)旗下的通義千問(Qwen)錄得最高交易回報。 2.各個模型的累計資產淨值差距顯著,如Qwen的回報率達9.9%,DeepSeek 則錄得 15.1% 的跌幅。 3.交易次數較多的模型未必錄得更高回報,反映頻繁交易未必帶來更佳表現。同樣地,即使模型能夠採取更高風險的投資策略,亦未必會帶來更理想的回報。 研究啟示 本次即時外匯交易實驗的結果,與AIEL早前發布的推理能力評測結果並不完全一致:在推理、知識問答或生成代碼等靜態任務中表現領先的模型,未必能夠在真實的金融市場中取得最佳收益。這項發現亦反映,隨著 LLM 逐漸從回答問題的工具,演變為持續參與真實決策的智能體,傳統靜態基準已難以全面反映其實際能力。展望未來,AI評估應進一步關注模型在動態、不確定環境中的長期決策表現,為AI智能體的真實部署、持續評估與治理提供更具實際意義的研究基礎。 AI 的終極測試 有別於數學或編程等標準化測試,由於金融市場大幅波動,因此要求模型進行即時交易是其中一項難度最高的真實能力測試。模型既要即時處理資訊、作出高風險判斷,同時需要在有限時間內進行交易,並持續管理由過往決策帶來的後果。 為進行這項嚴謹評估,Agentic Trader 連接 10 個業界領先的模型至即時外匯數據。參與測試的模型來自多間主要科技企業,包括 OpenAI、Anthropic、Google、阿里巴巴、Moonshot AI、智譜(02513) AI、字節跳動及 DeepSeek。 為確保公平性,全部測試模型均以相同的初始資本及即時市場環境下運作。研究主要評估這些 AI 系統能否超越基本推理,以及時作出決策、主動控制風險,並靈活回應市場變化,以產生實質成果。 港大經管學院創新及資訊管理學教授兼夏利萊伉儷基金教授、人工智能評測實驗室主任蔣鎮輝教授表示:「研究結果顯示,當大型語言模型需要持續解讀不斷變化的環境,並即時調整策略時,其表現差距會愈加明顯。」「金融交易不僅考驗模型處理資訊及在不確定情況下推理的能力,亦考驗其控制風險、管理倉位,以及長時間持續作出決策的能力。」 #AI (SY)
<匯港通訊>
