Agentic RL · Game AI · World Model

马纬彧Weiyu Ma

前星际争霸 II 职业选手中科院自动化所 硕士

正在求职 正在寻找 Agentic RL、LLM/VLM Agent 与游戏 AI 方向的研究 / 算法岗位,欢迎联系。 邮件联系 →

我关注一个核心问题:如何让 AI 像人一样感知、决策,并从交互中持续学习。我以游戏和多步智能体任务为试验场,研究 LLM/VLM Agent、Agentic RL、World Model 与多智能体决策。

本科期间我是星际争霸 II 职业选手,达到韩服宗师(天梯最高段位,仅限服务器前 200 名)。这段经历让我习惯从真实玩家的视角去构建环境、数据与评测基准,推动游戏 AI 从“能赢”走向会看、会想、会学、会协作。我在中国科学院自动化研究所群体决策智能实验室读完硕士,之后在 KAUST 读计算机科学博士(2025.08–2026.09,已离开)。

研究 Agentic RL / 游戏 AI 硕士 中科院自动化所 段位 SC2 韩服宗师 语言 中文 / English
8
篇论文
7
篇一作 / 共同一作
450
Google Scholar 引用
GM
星际争霸 II 韩服宗师
天梯最高段位,仅限每个服务器前 200 名
01 / News

最近动态

  • 2026.10
    ★ 开源电子竞技世界模型数据集:首个多游戏、长时程、多智能体的电竞世界模型数据集,以完整对局为单位提供逐玩家同步视角(SC2 / Dota 2 / CS2,2,673 场、约 3,828 小时)。 ModelScope Code
  • 2026.09
    发布 JEV-Star:语言模型规划 + 快速动作选择的星际争霸 II 实时控制,对 Lv7 内置 AI 10 局 9 胜。 Paper Code
  • 2026.04
    ★ 发布 FreshPER:面向 LLM/VLM 强化学习的新鲜度感知优先经验回放,Sokoban 相对 baseline 提升 39%。 arXiv Code
  • 2026
    EvoCurr 被 EMNLP 2026 Findings 接收(共同一作)。
  • 2026
    AVA 被 ACL 2026 Findings 接收(一作)。
查看更早动态(6)
  • 2026
    LLM-SMAC 被 AAMAS 2026 接收(共同一作)。
  • 2026.04
    启动 CS2 World Model 与约 20 TB 的电竞多智能体世界模型数据集。
  • 2025
    TacticCraft 被 ICML 2025 MusIML Workshop 接收。
  • 2024
    ★ TextStarCraft II(Chain of Summarization)被 NeurIPS 2024 接收,代码在 GitHub 获得 300+ Star。 arXiv Code
  • 2024
    AVA 获阿里云 Qwen 征文大赛一等奖。
  • 2024
    Adaptive Command 被 DAI 2024 接收。
02 / Research

研究方向

01

Agentic RL 训练

面向 LLM/VLM 的多步强化学习:经验回放、异步训练框架与工具调用,让模型在交互中持续变强。

代表工作 FreshPER · LLM-SMAC · Async Search-R1 ↗ · ROLL ↗
3 篇论文 →
02

LLM/VLM 游戏智能体

让大模型“读懂”并“打赢”即时战略游戏:环境构建、摘要式决策框架、自然语言战术控制与人机协作。

代表工作 JEV-Star · TextStarCraft II · AVA · TacticCraft · Adaptive Command
4 篇论文 →
03

多智能体决策与自我进化

用代码作为策略指挥多智能体协同,并让大模型自主设计环境与课程,实现环境与策略的协同进化。

代表工作 EvoCurr · LLM-SMAC · SMAC-Hard
3 篇论文 →
04

World Model 与电竞数据

从真实玩家的完整对局构建长时程、多智能体、多视角的电竞数据集(已开源,覆盖 SC2 / Dota 2 / CS2),并训练可交互、符合游戏逻辑的几何感知多智能体世界模型。

代表工作 CS2 World Model · eSports World Model Dataset
03 / Projects

核心项目

3 个系列 · 10 项工作
01

World Model 系列

从真实玩家的完整对局数据,到可交互的多智能体世界模型。

  • eSports World Model Dataset 2026.10 开源 开源

    首个开源的多游戏、长时程、多智能体电竞世界模型数据集

  • CS2 World Model 进行中

    基于 Cosmos 3 的几何感知多智能体世界模型

CS2 World Model:左为真实对局录像,右为模型生成。四张地图,每段 8 秒。

02

Agent Play Game 系列

让 LLM/VLM 智能体在星际争霸 II 等即时战略游戏中感知、决策与协作。

  • TextStarCraft II ★ 代表作 NeurIPS 2024 开源

    首个将大模型应用于即时战略决策的工作

  • AVA ACL 2026 Findings 开源

    首个基于 VLM 的多智能体即时战略决策系统

  • EvoCurr EMNLP 2026 Findings 开源

    首个复杂决策场景下基于代码的递归自我改进(RSI)

  • JEV-Star 2026 预印本 开源

    大模型直接决策在星际争霸 II 上的 SOTA 算法

  • TacticCraft ICML 2025 Workshop

    首个即时战略场景下的大小模型结合决策系统

  • Adaptive Command DAI 2024

    首个即时战略场景下的人机交互决策系统

03

Post-Training 系列

面向 LLM/VLM 与智能体的强化学习后训练算法。

04 / Publications

论文发表

8 篇 · 2A2B1C
  1. 2026

    Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

    Ma, W.Y., Zeng, Y., Song, Y., Cui, X., Zhao, J., Liu, X., Elhoseiny, M.

    arXiv 2026 一作 ICLR 投稿中 arXiv Code
  2. 2026

    AVA: Attentive VLM Agent for Mastering StarCraft II

    Ma, W.Y., Fu, Y., Zhang, Z., Ghanem, B., Li, G.

    ACL 2026 Findings CCF-A 一作 arXiv ACL Code
  3. 2026

    EvoCurr: Self-evolving Curriculum with Behavior Code Generation for Complex Decision-making

    Cheng, Y.*, Wang, Z.*, Ma, W.*, Zhu, W., Deng, Y., Zhao, J.

    EMNLP 2026 Findings CCF-B 共同一作 arXiv Code
  4. 2026

    LLM-SMAC: Solving Multi-Agent Decision-Making Tasks via LLM Decision Tree Code Generation

    Deng, Y.*, Ma, W.*, Fan, Y., Song, R., Zhang, Y., Zhang, H., Zhao, J.

    AAMAS 2026 CCF-B 共同一作 arXiv Code
  5. 2025

    TacticCraft: Natural Language-Driven Tactical Adaptation for StarCraft II

    Ma, W.Y., Jiang, J., Fu, H., Zhang, H.

    ICML 2025 MusIML Workshop 一作 arXiv
  6. 2024

    Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach

    Ma, W.Y., Mi, Q., Zeng, Y., Yan, X., Wu, Y., Lin, R., Zhang, H., Wang, J.

    NeurIPS 2024 CCF-A 一作 arXiv Code
  7. 2024

    Adaptive Command: Real-Time Policy Adjustment via Language Models in StarCraft II

    Ma, W.Y., Xu, D., Lin, S., Zhang, H., Wang, J.

    DAI 2024 一作 arXiv
  8. 2024

    SMAC-Hard: Enabling Mixed Opponent Strategy Script and Self-play on SMAC

    Deng, Y., Yu, Y., Ma, W., Wang, Z., Zhu, W., Zhao, J., Zhang, Y.

    arXiv 2024 arXiv Code

* 共同一作 · 加粗为本人

05 / Experience

教育与实习

教育经历

  1. 2025.08 – 2026.09
    阿卜杜拉国王科技大学(KAUST)
    计算机科学 博士(已离开)
    方向:游戏 AI / 多模态大模型 / 强化学习 / World Model
  2. 2022.09 – 2025.06
    中国科学院自动化研究所 / 中国科学院大学
    计算机技术 硕士
    群体决策智能实验室 · GPA 3.68/4
  3. 2016.09 – 2020.06
    西北农林科技大学 生命科学学院
    生物技术 学士
    本科四年同时征战星际争霸 II 职业赛场

实习经历

  1. 2025.02 – 2025.07
    上海交通大学
    NLP 算法工程师(实习)
    • 构建伴学 AI 智能体框架核心模块:网络检索、检索结果置信度评估与决策流程。
    • 基于 Qwen2.5-7B / QwQ-32B / Qwen2.5-72B,用 SFT、DPO、GRPO、REINFORCE++ 提升数学推理与工具调用。
    • 基于 verl 与 ROLL 实现异步 Agentic RL 框架,复现 multi-node / async Search-R1,训练提速约 40%。
  2. 2024.06 – 2025.01
    CAMEL-AI × KAUST
    联合正式实习 · 智能体与环境研发
    • 基于 CAMEL 开发 StarCraft II 决策智能体与微操环境,支持 VLM 基于画面与文本做多步决策,产出 AVA 论文。
06 / eSports

电竞经历

选手档案ID://MEISAH
Meisah
马纬彧 · 星际争霸 II 职业选手
种族
虫族
段位
宗师
服务器
韩服
职业生涯
2016 – 2019

宗师 · 天梯最高段位,仅限每个服务器前 200 名

11 冠军
1 亚军
4 晋级强赛
收到通讯

数千小时的高强度对抗,让我对不完全信息博弈、实时策略调整和心理博弈有切身体会。这些经验直接塑造了我后来做研究的问题意识与评估视角。

— Meisah
比赛记录10 条记录
  1. 2018 CSL 高校星际联赛春季赛 · 中西大区 冠军
  2. 2016–2018 CSL 高校星际联赛 · 西安赛区 冠军 ×7
  3. 2018 WESG 世界电子竞技运动会 · 西宁赛区 冠军
  4. 2018 狮王 S1 苏宁狮王全球邀请赛 · 城市赛 冠军
  5. 2017 NESO 全国电子竞技公开赛 · 陕西分赛区 冠军
  6. 2018 NSL 职业战队联赛 亚军
  7. 2018 中国好星际 全国赛 16 强
  8. 2018 WESG 全国总决赛 24 强
  9. 2016–2018 CSL 高校星际联赛 · 多次四强 / 八强 4 强
  10. 2017 NESO 全国电子竞技公开赛 · 全国赛 24 强
07 / Skills

技能与荣誉

LLM / Agentic RL PyTorch;LLaMA-Factory、verl、ROLL、slime;SFT、DPO、GRPO、REINFORCE++;异步 Agentic RL 训练流程与环境构建。
强化学习 DQN、PPO、REINFORCE;多智能体强化学习、经验回放、课程学习、Code-as-Policy。
Agent / Game AI LLM/VLM Agent、RAG、Tool Use、Skill、行为树;PySC2、DI-star、SMAC;World Model 与多模态游戏数据管线。
工程工具 Codex、Claude Code、Cursor;Linux / Windows 多机数据处理与训练环境部署。
  • 2024 阿里云 Qwen 征文大赛 一等奖(AVA)
  • 2023 MathorCup 数学建模 一等奖
  • 2023 中国科学院大学创新实践 二等奖
  • — IELTS 6.5 · 英语口语熟练