背景 最近打算尝试微调 LLM 做一些科研有关的工作，但毕竟我之前不是做 AI 相关方向的因此自己并没有合适的 GPU 。目前多数开箱即用的模型训练都工作在 FP16 这样的精度（虽然有很多很多低精度训练的研究了），而不是推理常见的 INT4，因此仅仅 7B 参数完整载入就需要 14G 的 VRAM，再加上微调模型中所需的数据又需要额外的 VRAM，手里实在没有 VRAM 能超过 16G 的显卡。 于是，我就想起了手里 AMD Strix Halo，恰好最近（2025年11月） ROCm 7.1 刚刚发布，首次官方支持了…