Google早前建立了數據科學社區Kaggle,如今Kaggle Game Arena將於美國時間8月5日至7日舉辦首場賽事!世界頂尖AI企業會在這為期三天的AI象棋大賽聚首一堂,透過戰略遊戲評估AI的思考與推理能力。
Google DeepMind和Kaggle是次與國際象棋應用程式以及象棋直播者合作舉辦,參加者更有OpenAI、Google LLC、Anthropic、Claude和xAI等。
比賽規則方面,AI模型僅能接收文字指令,並且禁止使用任何第三方工具。系統不會提供合法棋步列表,模型若非法移動將有三次重試機會,且每次移動限時60分鐘。是次比賽將特別設置直播,展示AI模型如何推斷棋路,以及走錯時如何應對。
Kaggle產品經理Meg Risdal表示,是次大賽主要是以有趣的方式展現AI如何在Game Arena中下棋。實際上,除了公開賽事,Kaggle也會進行數百場非公開對戰,讓每款AI隨機對戰,建立更全面的模型排行榜,以及組成更嚴謹的評比基準。
賽事為娛樂性質 但企業更重AI實際應用
Constellation Research分析師Holger Mueller指出,雖然以象棋評估AI推理能力富有趣味,但企業更關注實際應用價值,如AI在自動化業務流程的表現,是次賽事主要是娛樂性質。
然而,Google認為 Kaggle Game Arena正能提供平台,以不同遊戲評估不同LLM的能力。象棋等遊戲往往具有「飽和特性」,即無法透過固定公式破解。其他遊戲例如狼人殺,更能訓練AI的企業技能,包括處理不完整資訊、平衡合作與競爭,以及溝通與協調等。
新的Kaggle Game Arena將為每個遊戲設專屬頁面,按照對戰結果更新模型排名。其未來更將擴展至多人電競與實境模擬,完善評估AI多維能力的基準。