Agentic RL · Game AI · World Model

马纬彧Weiyu Ma

前星际争霸 II 职业选手中科院自动化所 硕士

正在求职 正在寻找 Agentic RL、LLM/VLM Agent 与游戏 AI 方向的研究 / 算法岗位,欢迎联系。 邮件联系 →

我关注一个核心问题:如何让 AI 像人一样感知、决策,并从交互中持续学习。我以游戏和多步智能体任务为试验场,研究 LLM/VLM Agent、Agentic RL、World Model 与多智能体决策。

本科期间我是星际争霸 II 职业选手(韩服宗师)。这段经历让我习惯从真实玩家的视角去构建环境、数据与评测基准,推动游戏 AI 从“能赢”走向会看、会想、会学、会协作。我在中国科学院自动化研究所群体决策智能实验室读完硕士,之后在 KAUST 读计算机科学博士(2025.08–2026.09,已离开)。

研究 Agentic RL / 游戏 AI 硕士 中科院自动化所 段位 SC2 韩服宗师 语言 中文 / English
8
篇论文
7
篇一作 / 共同一作
450
Google Scholar 引用
GM
星际争霸 II 韩服宗师
01 / News

最近动态

  • 2026.10
    ★ 开源电子竞技世界模型数据集:SC2 / Dota 2 / CS2 共 2,673 场对局、约 3,828 小时多视角玩家视频,与动作和引擎状态对齐。 ModelScope Code
  • 2026.09
    发布 JEV-Star:语言模型规划 + 快速动作选择的星际争霸 II 实时控制,对 Lv7 内置 AI 10 局 9 胜。 Paper Code
  • 2026.04
    ★ 发布 FreshPER:面向 LLM/VLM 强化学习的新鲜度感知优先经验回放,Sokoban 相对 baseline 提升 39%。 arXiv Code
  • 2026
    EvoCurr 被 EMNLP 2026 Findings 接收(共同一作)。
  • 2026
    AVA 被 ACL 2026 Findings 接收(一作)。
查看更早动态(6)
  • 2026
    LLM-SMAC 被 AAMAS 2026 接收(共同一作)。
  • 2026.04
    启动 CS2 World Model 与约 20 TB 的电竞多智能体世界模型数据集。
  • 2025
    TacticCraft 被 ICML 2025 MusIML Workshop 接收。
  • 2024
    ★ TextStarCraft II(Chain of Summarization)被 NeurIPS 2024 接收,代码在 GitHub 获得 300+ Star。 arXiv Code
  • 2024
    AVA 获阿里云 Qwen 征文大赛一等奖。
  • 2024
    Adaptive Command 被 DAI 2024 接收。
02 / Research

研究方向

01

Agentic RL 训练

面向 LLM/VLM 的多步强化学习:经验回放、异步训练框架与工具调用,让模型在交互中持续变强。

代表工作 FreshPER · LLM-SMAC · Async Search-R1 ↗ · ROLL ↗
3 篇论文 →
02

LLM/VLM 游戏智能体

让大模型“读懂”并“打赢”即时战略游戏:环境构建、摘要式决策框架、自然语言战术控制与人机协作。

代表工作 JEV-Star · TextStarCraft II · AVA · TacticCraft · Adaptive Command
4 篇论文 →
03

多智能体决策与自我进化

用代码作为策略指挥多智能体协同,并让大模型自主设计环境与课程,实现环境与策略的协同进化。

代表工作 EvoCurr · LLM-SMAC · SMAC-Hard
3 篇论文 →
04

World Model 与电竞数据

从真实玩家录像构建多视角电竞数据集(已开源,覆盖 SC2 / Dota 2 / CS2),训练可交互、符合游戏逻辑的几何感知多智能体世界模型。

代表工作 CS2 World Model · eSports World Model Dataset
03 / Projects

核心项目

10 个项目
2023.06 – 2024.06 开源 ★ 代表作

TextStarCraft II

首个将大模型应用于即时战略决策的工作

一作 · NeurIPS 2024 · 中科院自动化所 & UCL
  • 构建 TextStarCraft II 环境:把复杂局势翻译成自然语言,让大模型直接看局势、想策略、下指令。
  • 提出 Chain of Summarization:用单帧与多帧摘要压缩并追踪战局;评测 10+ 主流大模型,代码与数据全部开源。
对 Lv5 AI 胜率 >50%
2024.04 – 2025.03 开源

AVA

首个基于 VLM 的多智能体即时战略决策系统

一作 · ACL 2026 Findings · CAMEL-AI × KAUST
  • 基于 PySC2 的多端高并发微操环境,统一支持 VLM 与强化学习智能体的训练与评测。
  • 基于 CAMEL 的多步推理 VLM Agent,结合 RAG 与 Skill 机制;用 Code-as-Policy 生成多样化对手。
阿里云 Qwen 征文大赛一等奖
2025.06 – 2026.05 开源

EvoCurr

首个复杂决策场景下基于代码的递归自我改进(RSI)

共同一作 · EMNLP 2026 Findings
  • 由大模型自主设计、创建并调节复杂决策环境,课程难度随策略表现动态演化,无需人工干预。
  • 系统自主运行 72 小时,生成 10+ 新环境与 100+ 行为树策略;超大后期场景中协同指挥 100+ 单位。
100% 胜率超越人类宗师
2024.09 – 2025.08 开源

LLM-SMAC

首个多智能体决策场景下的 Agentic RL

共同一作 · AAMAS 2026 · 与 Polixir.ai 合作
  • 生成可执行的 Python 决策树代码指挥多智能体协同作战,形成代码生成—执行—反馈—迭代闭环。
  • 经 SFT、DPO、GRPO 训练的 7B 模型超越 DeepSeek-V3,单个策略在 18 个场景通用。
18 场景胜率≈100%
2025.09 – 2026.05 开源

FreshPER

首个通用的 LLM 后训练经验回放算法

一作 · ICLR 投稿中
  • 将经典 PER 引入 LLM/VLM 强化学习,按样本新鲜度衰减优先级,缓解策略快速变化带来的 priority staleness。
  • 适配 PPO、GRPO、REINFORCE++,基于 ROLL 与 slime 实现,覆盖数学、推理、多模态与 Agentic 环境。
NQ Search 68.75%(+20%)Sokoban 43%(+39%)MathVista 67%(+15%)
2026.09 开源

JEV-Star

大模型直接决策在星际争霸 II 上的 SOTA 算法

一作 · 2026 预印本
  • 宏观:神族 73 个动作的实时完整对局,由 Astra 规划器给出约束或建议,JEV 快速选择动作;微观:覆盖 SMAC-Hard 35 张地图。
  • Astra 约束 + JEV 对 Lv7 内置 AI 10 局 9 胜,纯随机与单独 JEV 均为 0 胜;JEV 中位响应约 0.4 秒。
对 Lv7 AI 9 胜 1 负中位响应 ~0.4 s
2026.04 – 2026.10 开源

eSports World Model Dataset

全球首个开源、多游戏的电竞世界模型数据集

项目负责人 · 2026.10 开源 · CC BY-NC 4.0
  • 覆盖 StarCraft II(RTS)、Dota 2(MOBA)、CS2(FPS),共 2,673 场对局、748 小时对局时长、约 3,828 小时玩家视角视频。
  • 用游戏引擎解码录像,生成多视角玩家视频,并与动作、引擎状态、事件逐帧对齐,可用于训练 World Model、VLA、VLM。
3 款游戏 · 2,673 场~3,828 小时玩家视角
2024.05 – 2025.04

TacticCraft

首个即时战略场景下的大小模型结合决策系统

一作 · ICML 2025 Workshop · 中科院 & 腾讯 AI Lab
  • 冻结 DI-star 策略网络,用轻量 Adapter 与“战术张量”作为条件,让自然语言调控小模型策略。
  • 从高水平玩家轨迹中提取战术标签,构建“语言 → 战术”数据集,支持 9 个战术维度切换。
2024.01 – 2024.07

Adaptive Command

首个即时战略场景下的人机交互决策系统

一作 · DAI 2024 · 中科院 & UCL
  • 玩家通过语音或文字实时与 AI 沟通:LLM 做战略分析,行为树执行动作,形成实时闭环。
新手胜率 0% → 42%
2026.04 – 进行中

CS2 World Model

基于 Cosmos 3 的几何感知多智能体世界模型

  • 面向交互式 World Model 的多智能体框架,基于 OpenCS2 与 CS2 数据做场景重建、轨迹清洗与筛选。
  • 预热、多清晰度、多数据比例训练,以及 teacher forcing、self-forcing、DMD;多个智能体在同一世界中交互交战。
04 / Publications

论文发表

8 篇 · 2A2B1C
  1. 2026

    Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

    Ma, W.Y., Zeng, Y., Song, Y., Cui, X., Zhao, J., Liu, X., Elhoseiny, M.

    arXiv 2026 一作 ICLR 投稿中 arXiv Code
  2. 2026

    AVA: Attentive VLM Agent for Mastering StarCraft II

    Ma, W.Y., Fu, Y., Zhang, Z., Ghanem, B., Li, G.

    ACL 2026 Findings CCF-A 一作 arXiv ACL Code
  3. 2026

    EvoCurr: Self-evolving Curriculum with Behavior Code Generation for Complex Decision-making

    Cheng, Y.*, Wang, Z.*, Ma, W.*, Zhu, W., Deng, Y., Zhao, J.

    EMNLP 2026 Findings CCF-B 共同一作 arXiv Code
  4. 2026

    LLM-SMAC: Solving Multi-Agent Decision-Making Tasks via LLM Decision Tree Code Generation

    Deng, Y.*, Ma, W.*, Fan, Y., Song, R., Zhang, Y., Zhang, H., Zhao, J.

    AAMAS 2026 CCF-B 共同一作 arXiv Code
  5. 2025

    TacticCraft: Natural Language-Driven Tactical Adaptation for StarCraft II

    Ma, W.Y., Jiang, J., Fu, H., Zhang, H.

    ICML 2025 MusIML Workshop 一作 arXiv
  6. 2024

    Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach

    Ma, W.Y., Mi, Q., Zeng, Y., Yan, X., Wu, Y., Lin, R., Zhang, H., Wang, J.

    NeurIPS 2024 CCF-A 一作 arXiv Code
  7. 2024

    Adaptive Command: Real-Time Policy Adjustment via Language Models in StarCraft II

    Ma, W.Y., Xu, D., Lin, S., Zhang, H., Wang, J.

    DAI 2024 一作 arXiv
  8. 2024

    SMAC-Hard: Enabling Mixed Opponent Strategy Script and Self-play on SMAC

    Deng, Y., Yu, Y., Ma, W., Wang, Z., Zhu, W., Zhao, J., Zhang, Y.

    arXiv 2024 arXiv Code

* 共同一作 · 加粗为本人

05 / Experience

教育与实习

教育经历

  1. 2025.08 – 2026.09
    阿卜杜拉国王科技大学(KAUST)
    计算机科学 博士(已离开)
    方向:游戏 AI / 多模态大模型 / 强化学习 / World Model
  2. 2022.09 – 2025.06
    中国科学院自动化研究所 / 中国科学院大学
    计算机技术 硕士
    群体决策智能实验室 · GPA 3.68/4
  3. 2016.09 – 2020.06
    西北农林科技大学 生命科学学院
    生物技术 学士
    本科四年同时征战星际争霸 II 职业赛场

实习经历

  1. 2025.02 – 2025.07
    上海交通大学
    NLP 算法工程师(实习)
    • 构建伴学 AI 智能体框架核心模块:网络检索、检索结果置信度评估与决策流程。
    • 基于 Qwen2.5-7B / QwQ-32B / Qwen2.5-72B,用 SFT、DPO、GRPO、REINFORCE++ 提升数学推理与工具调用。
    • 基于 verl 与 ROLL 实现异步 Agentic RL 框架,复现 multi-node / async Search-R1,训练提速约 40%。
  2. 2024.06 – 2025.01
    CAMEL-AI × KAUST
    联合正式实习 · 智能体与环境研发
    • 基于 CAMEL 开发 StarCraft II 决策智能体与微操环境,支持 VLM 基于画面与文本做多步决策,产出 AVA 论文。
06 / eSports

电竞经历

选手档案ID://MEISAH
Meisah
马纬彧 · 星际争霸 II 职业选手
种族
虫族
段位
宗师
服务器
韩服
职业生涯
2016 – 2019
4 冠军
1 亚军
4 晋级强赛
收到通讯

数千小时的高强度对抗,让我对不完全信息博弈、实时策略调整和心理博弈有切身体会。这些经验直接塑造了我后来做研究的问题意识与评估视角。

— Meisah
比赛记录9 条记录
  1. 2018 CSL 高校星际联赛春季赛 · 中西赛区 冠军
  2. 2018 WESG 世界电子竞技运动会 · 西宁赛区 冠军
  3. 2018 狮王 S1 苏宁狮王全球邀请赛 · 城市赛 冠军
  4. 2017 NESO 全国电子竞技公开赛 · 陕西分赛区 冠军
  5. 2018 NSL 职业战队联赛 亚军
  6. 2018 中国好星际 全国赛 16 强
  7. 2018 WESG 全国总决赛 24 强
  8. 2016–2018 CSL 高校星际联赛 · 多次四强 / 八强 4 强
  9. 2017 NESO 全国电子竞技公开赛 · 全国赛 24 强
07 / Skills

技能与荣誉

LLM / Agentic RL PyTorch;LLaMA-Factory、verl、ROLL、slime;SFT、DPO、GRPO、REINFORCE++;异步 Agentic RL 训练流程与环境构建。
强化学习 DQN、PPO、REINFORCE;多智能体强化学习、经验回放、课程学习、Code-as-Policy。
Agent / Game AI LLM/VLM Agent、RAG、Tool Use、Skill、行为树;PySC2、DI-star、SMAC;World Model 与多模态游戏数据管线。
工程工具 Codex、Claude Code、Cursor;Linux / Windows 多机数据处理与训练环境部署。
  • 2024 阿里云 Qwen 征文大赛 一等奖(AVA)
  • 2023 MathorCup 数学建模 一等奖
  • 2023 中国科学院大学创新实践 二等奖
  • — IELTS 6.5 · 英语口语熟练