苏剑林|解构 Scaling Law:优化、架构、数据的三重奏

机器学习算法与自然语言处理 2026-08-24 00:00
训练一个大型的神经网络,最终效果会受到非常多因素的影响,换个优化器,换个模型架构,或者换一个训练集,结果都可能截然不同。在工程实践中,我们将之戏称为“炼丹”。但如何从经验上升到规律,更准确、定量地描述它们之间的关系呢?
推荐阅读