大模型推理新突破:分布式推理技术探索与实践

QCon全球软件开发大会 2025-02-06 10:00
文章聚焦大模型分布式推理技术,针对推理中 Prefill 和 Decode 阶段问题,提出 P-D 分离技术。
推荐阅读