拖延症终于更了…这篇文章 25 年春节前首发在我的公众号，后来又发在了知乎。那时候关于 DeepSeek v3 量化的系统性解读还不算多，这篇算是比较早做分享的，后来也意外收获了一些关注。

DeepSeek-V3 横空出世，不仅效果惊人，训练和推理成本也极低。

一个重要的原因就是采用了 FP8 进行训练和推理。

今天我们来一起探究其中的原理：

Group/Block-wise 量化

分块量化（Block-wise Quantization），也称为分组量化（Per-group Quantization），是一种细粒度量化方法。

上一节介绍了模型压缩的基本概念，这节介绍量化，模型量化是模型压缩里面常用的手段之一，注意不要和金融中的量化交易弄混了：）

“量化”是什么

“量化”这个词来源于物理学和工程学领域，用于描述将连续信号转换为离散信号的过程。

计算机里面数值有很多种表示方式，如浮点表示的 FP32、FP16，整数表示的 INT32、INT16、INT8，量化一般是将 FP32、FP16 降低为 INT8 甚至 INT4 等低比特表示。

最近打算开一个系列，介绍一下模型推理优化，先从我熟悉的模型压缩开始
之前参与了一个开源课程的编写，贡献了一些模型压缩和量化的内容，总共四节的内容，慢慢搬运过来。

基本介绍

随着神经网络模型的复杂性和规模不断增加，模型对存储空间和计算资源的需求越来越多，使得部署和运行成本显著上升。模型压缩的目标是通过减少模型的存储空间、减少计算量或提高模型的计算效率，从而在保持模型性能的同时，降低模型部署的成本。模型压缩的目标可以概括为以下几点：

创建线程

下面的程序，我们可以用它来创建一个 POSIX 线程：

1
2

#include <pthread.h>
pthread_create (thread, attr, start_routine, arg) 

使用 -lpthread 库编译下面的程序：

1

$ g++ test.cpp -lpthread -o test.o

阻塞 VS 非阻塞

阻塞 VS 非阻塞
当应用程序调用阻塞 I/O 完成某个操作时，应用程序会被挂起，等待内核完成操作，感觉上应用程序像是被“阻塞”了一样。实际上，内核所做的事情是将 CPU 时间切换给其他有需要的进程，网络应用程序在这种情况下就会得不到 CPU 时间做该做的事情。

非阻塞 I/O 则不然，当应用程序调用非阻塞 I/O 完成某个操作时，内核立即返回，不会把 CPU 时间切换给其他进程，应用程序在返回后，可以得到足够的 CPU 时间继续完成其他事情。

非阻塞 I/O

读操作

如果套接字对应的接收缓冲区没有数据可读，在非阻塞情况下 read 调用会立即返回，一般返回 EWOULDBLOCK 或 EAGAIN 出错信息。在这种情况下，出错信息是需要小心处理，比如后面再次调用 read 操作，而不是直接作为错误直接返回。

写操作

• 在阻塞 I/O 情况下，write 函数返回的字节数，和输入的参数总是一样的。如果返回值总是和输入的数据大小一样。
• 在非阻塞 I/O 的情况下，如果套接字的发送缓冲区已达到了极限，不能容纳更多的字节，那么操作系统内核会尽最大可能从应用程序拷贝数据到发送缓冲区中，并立即从 write 等函数调用中返回。返回值可能为0。 more >>

• 我们可以使用 fgets 方法等待标准输入，但无法同时在套接字有数据的时候读出数据；
• 我们也可以使用 read 方法等待套接字有数据返回，但无法同时在标准输入有数据的情况下，读入数据并发送给对方。

I/O 多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做 I/O 的一路，多路复用的意思，就是在任何一路 I/O 有“事件”发生的情况下，通知应用程序去处理相应的 I/O 事件，这样我们的程序在同一时刻就仿佛可以处理多个 I/O 事件。

select 函数

函数声明

1
2
3

int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout);
 
//返回：若有就绪描述符则为其数目，若超时则为 0，若出错则为 -1

n 表示的是待测试的描述符基数，它的值是待测试的最大描述符加 1。比如现在的 select 待测试的描述符集合是{0,1,4}，那么 maxfd 就是 5。 more >>