分类: 大模型

1 篇文章

大模型显存:张量类型的底层原理
大模型显存:张量类型的底层原理 这篇文章回答两个问题: 浮点数核心结构、浮点误差的根本原因? 大模型显存:FP32、FP16、BF16等,是什么? 大模型训练与推理的显存占用,本质上就是海量张量(Tensor)的存储开销。理解 FP32/FP16/BF16 这些精度格式,需要从浮点数的底层二进制结构讲起。 一、浮点数的核心结构(IEEE 754) …