NVIDIA公司联合Meta公司发布了最新的Llama-3.1-Minitron 4B AI模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。

Llama-3.1-Minitron 4B模型在Llama-3.1-Minitron 8B基础上蒸馏而来，NVIDIA在深度和宽度方向上使用了结构化剪枝技术。剪枝是一种删除网络中不那么重要的层或神经元的技术，保留其性能的情况下，目的是减小模型的大小和复杂度。

NVIDIA通过从模型中删除16层来进行深度剪枝，并将其从8B模型缩减为4B模型，此外还部署另一种技术，通过修剪嵌入维度和MLP中间层来进行宽度剪枝。除了剪枝，Nvidia 还采用了经典蒸馏技术来提高Llama-3.1-Minitron 4B的效率。

Using structured weight pruning and knowledge distillation, the @NVIDIAAI research team refined Llama 3.1 8B into a new Llama-3.1-Minitron 4B.

They're releasing the new models on @huggingface and shared a deep dive on how they did it ➡️ https://t.co/fJTrcfzx9m pic.twitter.com/hTNVFwGjjh

— AI at Meta (@AIatMeta) August 15, 2024

知识蒸馏是一个过程，在这个过程中，一个较小的模型（即学生）会被训练成模仿一个更大、更复杂的模型（即教师）的行为。通过这种方式，较小模型中保留了原始模型的大部分预测能力，但速度更快，资源更节省。

NVIDIA将此与蒸馏技术和剪枝技术相结合，确保重新训练的4B模型性能优异，并在更大的模型中得到很好的应用。

【资料来源】

NVIDIA剪枝蒸馏出Llama-3.1-Minitron 4B AI模型！