大模型推理加速的研究与分析

哔哩哔哩技术 2025-01-21 12:00
基于最新技术实践,B站对大模型推理加速的关键技术进行了分析,并结合MindIE-LLM框架的具体优化案例,探索了从算法到硬件的多层次优化方案。
推荐阅读