1. 网页内容摘要

这篇网页展示了一篇名为"Game-TARS: Pretrained Foundation Models for Scalable Generalist Multimodal Game Agents"的学术论文信息。该论文由Zihao Wang等多位研究者共同撰写，提交于2025年10月27日。论文介绍了Game-TARS，一种通用游戏智能体，它采用统一的、可扩展的行动空间，基于人类键盘鼠标输入进行训练。与基于API或GUI的方法不同，这种范式能够在操作系统、网页和模拟游戏等异构领域进行大规模持续预训练。Game-TARS在超过500B的多模态数据和多样化轨迹上进行了预训练。其关键技术包括衰减连续损失函数(用于减少因果混淆)和高效的Sparse-Thinking策略(平衡推理深度和推理成本)。实验表明，Game-TARS在开放世界Minecraft任务上的成功率约为之前最先进模型的2倍，在未见过的网页3D游戏中接近新手人类的通用性，并在FPS基准测试中优于GPT-5、Gemini-2.5-Pro和Claude-4-Sonnet。论文的研究结果表明，简单、可扩展的行动表示结合大规模预训练为具有广泛计算机使用能力的通用智能体提供了一条有前途的路径。

2. 与探究问题相关的信息提取

关于Game-TARS论文的详细内容，从网页中可提取以下信息：

作者信息：
论文由多位研究者共同完成，第一作者是Zihao Wang，其他作者包括Xujing Li、Yining Ye、Junjie Fang、Haoming Wang、Longxiang Liu、Shihao Liang、Junting Lu、Zhiyong Wu、Jiazhan Feng、Wanjun Zhong、Zili Li、Yu Wang、Yu Miao、Bo Zhou、Yuanfan Li、Hao Wang、Zhongkai Zhao、Faming Wu、Zhengxuan Jiang、Weihao Tan、Heyuan Yao、Shi Yan、Xiangyang Li、Yitao Liang、Yujia Qin和Guang Shi。

发布日期：
论文提交于2025年10月27日（值得注意的是，这个日期似乎是未来的日期，可能是网页内容的错误）。

摘要：
Game-TARS是一种通用游戏智能体，采用统一的、可扩展的行动空间，该空间锚定于人类对齐的原生键盘鼠标输入。与基于API或GUI的方法不同，这种范式能够在操作系统、网页和模拟游戏等异构领域进行大规模持续预训练。Game-TARS在超过500B的多模态数据和多样化轨迹上进行了预训练。

主要技术创新：

1. 统一的可扩展行动空间：基于人类键盘鼠标输入，使模型能够跨异构领域进行训练
2. 大规模预训练：在超过500B的多模态数据和多样化轨迹上进行训练
3. 衰减连续损失函数(decaying continual loss)：用于减少因果混淆
4. Sparse-Thinking策略：平衡推理深度和推理成本的高效策略
5. 跨领域泛化能力：能够在操作系统、网页和模拟游戏等不同领域应用

实验结果：

1. 在开放世界Minecraft任务上的成功率约为之前最先进模型的2倍
2. 在未见过的网页3D游戏中接近新手人类的通用性
3. 在FPS基准测试中优于GPT-5、Gemini-2.5-Pro和Claude-4-Sonnet
4. 训练时间和测试时间的扩展结果证实，统一的行动空间在扩展到跨游戏和多模态数据时能够持续改进

论文DOI：10.48550/arXiv.2510.23691

3. 与问题相关的网页链接

1. Zihao Wang - 第一作者链接
2. Xujing Li - 作者链接
3. Yining Ye - 作者链接
4. Junjie Fang - 作者链接
5. Haoming Wang - 作者链接
6. arXiv:2510.23691 - 论文arXiv链接
7. arXiv:2510.23691v1 - 论文特定版本链接
8. https://doi.org/10.48550/arXiv.2510.23691 - 论文DOI链接

4. 与问题相关的图片

网页内容中没有包含图片信息。

摘要

字节跳动Seed团队发布了一款名为Game-TARS的通用游戏智能体，其核心创新在于使用与人类相同的键盘和鼠标操作方式来玩游戏，而非传统智能体依赖的特定环境定制动作集。Game-TARS基于统一、可扩展的键盘-鼠标动作空间训练，能在操作系统、网页与模拟环境中进行大规模预训练。该智能体经过超5000亿token的多模态训练数据训练，结合稀疏推理与衰减持续损失技术，大幅提升了可扩展性和泛化性。在《我的世界》、FPS游戏、开放世界游戏和网页游戏等多种类型游戏中，Game-TARS的表现超越了GPT-5、Gemini-2.5-Pro和Claude-4-Sonnet等顶级AI模型。其训练过程包括持续预训练和后训练两个阶段，采用ReAct范式和稀疏推理方法，并引入双层记忆机制以增强长期记忆能力。该项目的第一作者是北京大学人工智能研究院博士生王子豪。

Game-TARS的具体游戏能力、支持的游戏类型和应用场景

Game-TARS展现了强大而多样化的游戏能力，支持多种游戏类型，并具有广泛的应用场景：

游戏能力：

1. 人类化操作能力：Game-TARS最突出的能力是能够像人类一样使用键盘和鼠标进行游戏操作，实现了Human-Native Interaction（人类自然交互）。它能执行三种基本操作：

   • mouseMove(dx, dy)：鼠标相对移动
   • mouseClick(buttons)：鼠标点击（左键、右键或中键）
   • keyPress(xkeys)：键盘按键（单个按键和按键组合）

2. 视觉感知与策略推理：将视觉感知、策略推理、动作执行和长期记忆整合到一个视觉语言模型中，能够理解游戏画面并做出相应决策。

3. 稀疏思维能力：能在关键决策点进行深度推理，模拟人类认知模式，在高熵步骤增强推理。

4. 长期记忆：采用双层记忆机制，短期记忆保存最新图像，长期记忆保留精炼的稀疏思维文本。

5. 指令遵循能力：能够适应随机替换的按键绑定，依靠系统提示理解动作语义。

6. 零样本迁移能力：能在未见过的3D网页游戏中实现零样本迁移，展示了强大的泛化能力。

支持的游戏类型：

1. 沙盒建造类游戏：如《我的世界》，Game-TARS在此类游戏中的表现比以前最先进的专家模型提高了约2倍。

2. 第一人称射击游戏(FPS)：如Vizdoom，展示了精准的瞄准和射击能力。

3. 3D模拟器游戏：如Miniworld，能够在3D环境中导航和完成任务。

4. 网页游戏：能玩各种在线网页游戏，包括文中提到的《神庙逃亡》。

5. 模拟经营类游戏：如《星露谷》，能够理解和执行复杂的游戏机制。

6. 开放世界游戏：能在开放世界环境中完成各种任务。

应用场景：

1. 游戏测试与开发：可作为自动化测试工具，帮助游戏开发者测试游戏功能和平衡性。

2. 游戏辅助：可作为游戏助手，帮助玩家完成困难任务或提供游戏策略建议。

3. GUI自动化：训练过程中引入了GUI自动化任务，表明Game-TARS可用于自动化测试和操作各种图形用户界面。

4. 代码生成：后训练阶段引入了代码生成任务，暗示其可能具有编程辅助能力。

5. 科研任务：文中提到后训练引入了科研任务，表明Game-TARS可能在科学研究中有应用潜力。

6. 通用计算机操作：由于其基于键盘和鼠标的操作方式，Game-TARS有潜力成为通用计算机用户代理，执行各种计算机操作任务。

Game-TARS的核心优势在于其统一动作空间的可扩展性，使其能够高效收集大规模数据，并在所有游戏中使用一致的格式进行预训练，为实现真正的通用智能体奠定了基础。

与问题相关性最高的前10条网页链接

1. https://arxiv.org/pdf/2510.23691 - 这是Game-TARS研究论文的原始链接，包含了关于该智能体的详细技术信息。

2. https://zhwang4ai.github.io/ - 这是Game-TARS第一作者王子豪的个人网站，可能包含更多关于该研究的信息。

与问题相关的图片及链接

1. 图片1

   • Title: Game-TARS性能对比图
   • Content: 展示Game-TARS在不同游戏任务中与GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet等模型的性能对比
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/5d3f911a-e156-4968-8efb-b3a8cca1f33c.jpg

2. 图片2

   • Title: Game-TARS的人类自然交互示意图
   • Content: 展示Game-TARS如何像人类一样使用键盘和鼠标操作
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/aec94883-8320-4026-8205-f8e255c3b835.jpg

3. 图片3

   • Title: 不同交互层级对比图
   • Content: 展示不同层级的交互方式对比，包括MCP/Code层、GUI层和Human Actions层
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/d2404055-55dd-40ac-a266-b44e772c179e.jpg

4. 图片4

   • Title: Game-TARS训练架构图
   • Content: 展示Game-TARS的训练架构，包括持续预训练和后训练两个阶段
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/3a2e0dfb-0e6a-4797-bf83-99a57fb39311.jpg

5. 图片5

   • Title: Game-TARS跨领域能力图
   • Content: 展示Game-TARS从游戏玩家成长为多功能通用计算机用户的能力扩展
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/0d9e608c-9387-4f6a-b40d-fd02fb417ed0.jpg

6. 图片6

   • Title: 《我的世界》测试结果
   • Content: 展示Game-TARS在《我的世界》中的测试结果，验证统一动作空间和大规模持续预训练的有效性
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/4caee23c-ae57-4643-b8cc-cbebdce56d4d.jpg

7. 图片7

   • Title: Game-TARS与其他模型性能对比
   • Content: 详细展示Game-TARS在各种任务上与Gemini-2.5-Pro、GPT-5和Claude-4-Sonnet的性能对比
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/0b840901-76f9-4b88-9c77-57c9bcf44585.jpg

8. 图片8

   • Title: Game-TARS可扩展性图表
   • Content: 展示Game-TARS在训练和推理过程中的可扩展性
   • Source: 字节跳动Seed团队研究
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/8a4a270f-41b1-40ee-8ace-6bc245bb32a3.jpg

9. 图片9

   • Title: 王子豪照片
   • Content: Game-TARS第一作者、北京大学人工智能研究院博士生王子豪的照片
   • Source: 未知
   • Link: https://imgpai.thepaper.cn/pphimage/20251031/37388922-a58d-4846-ac3c-eaec70645b8a.jpg