论文 MigMoE:Task-Aware Expert Migration for Faster and More Balanced Expert-Parallel MoE Inference 被 International Conference on Parallel Processing（CCF-B）接收，恭喜学远！

论文主题内容介绍

研究背景

稀疏混合专家模型（Mixture-of-Experts，MoE）是扩展大语言模型容量的重要技术路线。与稠密模型（Dense Model）不同，MoE 模型在每一层只激活少量专家，因此可以在不过度增加单个 token 计算量的情况下容纳更多参数。随着 Mixtral、DeepSeek-V3 等 MoE 模型不断发展，如何在多 GPU、乃至多节点环境中高效部署这类模型，也逐渐成为大模型推理系统中的一个核心问题。

目前，大规模 MoE 模型通常采用专家并行（Expert Parallelism，EP）进行推理：不同专家被放置在不同 GPU 上，token 根据路由结果被发送到对应设备，再通过 All-to-All 通信完成交换。这种执行方式天然包含同步点。理想情况下，各个 GPU 接收到的 token 数量大致相同，计算和通信可以同步推进；但在真实负载中，token 路由往往并不均匀，热门专家还可能集中在少数 GPU 上。结果是部分设备承担了更多计算和通信，成为拖慢整个推理步骤的 straggler，并进一步放大尾延迟。

已有工作主要从两个方向缓解这一问题。一类方法直接调整 token 到专家的分配，例如丢弃或重新路由部分 token，以限制单个专家的负载，但这通常需要在推理质量和尾延迟之间作出取舍。另一类方法优化专家放置，例如复制热门专家并将副本分散到不同 GPU 上。此类方案可以改善当前负载下的均衡情况，却往往依赖某一种固定或近期观测到的路由分布。

问题在于，真实的大模型服务通常同时处理开放域问答、代码生成、数学推理和文本摘要等多种任务，请求组成也会随时间变化。一套对当前负载有效的专家布局，换到另一类任务后可能很快变得低效，甚至加剧 straggler。因此，多任务 MoE 推理真正需要解决的，并不是为某一种固定分布寻找一次性的最优布局，而是随着工作负载变化动态调整专家位置，同时把调整本身的开销控制在可接受范围内。

论文在分析多种任务的路由行为后发现，不同任务的 token 路由模式具有明显的任务特定性：同一类任务的专家激活分布相对稳定，而不同任务之间又存在可区分的差异。这一观察意味着，系统可以提前为不同任务准备更合适的专家布局，并在任务变化时主动切换，而不必等到负载失衡后再被动修补。

基于这一思路，本文提出了面向多任务专家并行 MoE 推理的任务感知专家迁移框架——MigMoE。MigMoE 将系统分为离线和在线两个阶段。在离线阶段，系统对每种任务进行 profiling，收集 token 路由、计算和通信等信息，并在给定迁移预算下，利用动态规划算法生成相应的专家迁移方案。在在线阶段，MigMoE 从请求的早期路由信息中提取轻量级 routing fingerprint，将请求匹配到最合适的任务 profile；如果当前专家布局与目标布局不同，系统便执行预先规划好的迁移，从而让专家放置及时适应新的工作负载。迁移过程中还采用量化传输，以降低专家参数跨 GPU 移动带来的额外开销。

图 1. MigMoE 系统总体架构

本文的核心贡献包括：

将任务感知的专家布局调整建模为迁移预算约束下的专家迁移问题，并设计了相应的动态规划算法，在改善 GPU 负载均衡的同时控制迁移开销；
提出了 MigMoE 任务感知专家迁移框架，通过离线任务 profiling 和在线 routing fingerprint 匹配，在多任务负载变化时快速切换到更合适的专家布局；
在三个 MoE 大模型上进行了系统实验。结果表明，MigMoE 相比 EPLB 和 HarMoEny 均能取得更高吞吐，同时有效缓解 straggler，并保持可比的回答质量。

实验结果

论文在 OLMoE-1B-7B-0125、Qwen1.5-MoE-A2.7B-Chat 和 Qwen2-57B-A14B 三个不同规模的 MoE 模型上评估 MigMoE，实验覆盖数学推理、问答与常识推理、代码生成和文本摘要等任务，并同时考察单任务、混合任务以及多节点部署场景。对比方法包括默认的专家并行实现、启发式专家迁移，以及两种当前具有代表性的负载均衡方案 EPLB 和 HarMoEny。

总体来看，MigMoE 在不同模型和工作负载下都表现出稳定优势。在单任务实验中，相比基于专家复制的 EPLB，MigMoE 的吞吐最高提升 56.4%；相比在运行时动态调整 token 分配的 HarMoEny，最高提升达到 68.4%。吞吐提升的同时，MigMoE 还降低了 p99 单步推理延迟。这说明，针对任务路由特点主动调整专家位置，可以更直接地消除长期存在的设备瓶颈。

在更接近真实服务的多任务负载下，MigMoE 在三个模型上依然取得了最高吞吐。相比 EPLB，其吞吐分别提升 22.0%、27.7% 和 33.6%，同时 p99 单步延迟和 GPU 利用率差异进一步下降。换句话说，当不同任务交替出现、热门专家不断变化时，MigMoE 不仅能让系统处理更多 token，也能让各个 GPU 的工作更加均衡。

图 2. MigMoE 在 Balanced-Mix 多任务负载下的吞吐表现

多节点实验进一步验证了这一方法的可扩展性。在跨节点通信成本更高的环境中，不合理的专家放置会造成更明显的持续性瓶颈，而 MigMoE 仍能通过预算约束下的任务感知迁移改善吞吐和尾延迟。此外，论文还验证了 routing fingerprint 的稳定性，并考察了反复量化迁移对模型输出的影响。结果显示，MigMoE 在获得性能提升的同时，能够保持与基线可比的回答质量。

韩学远个人介绍

研究方向：AI Infra / 大模型训推优化