为了跟进最前沿最先进的模型,没有现成的部署包,我们必须从源代码级入手,这是没办法的事,最前沿的,一定是最粗糙的。做源代码级的构建与部署,最容易遇到坑的就是版本依赖问题。按照我们的技术栈,一定得小心翼翼对比每个依赖版本不能太高不能太低,还能向下兼容:框架层:CUDA版本框架层:Torch版本语言层:GCC版本语言层:Python版本模型层:模型版本不同的类库依赖的版本还不同,这沟沟坎坎就是乘数规模了。前天遇到一个教授,给我讲解他的芯片,我谈到的就是上层软件的可移植性,我建议他们先做好Torch的移植,再做好Python的移植。昨天,经过了服务器端长达8个小时的编译,终于环境走通。

阿朱说 2025-07-09 06:54
推荐阅读