最近打算开一个系列，介绍一下模型推理优化，先从我熟悉的模型压缩开始
之前参与了一个开源课程的编写，贡献了一些模型压缩和量化的内容，总共四节的内容，慢慢搬运过来。

基本介绍

随着神经网络模型的复杂性和规模不断增加，模型对存储空间和计算资源的需求越来越多，使得部署和运行成本显著上升。模型压缩的目标是通过减少模型的存储空间、减少计算量或提高模型的计算效率，从而在保持模型性能的同时，降低模型部署的成本。模型压缩的目标可以概括为以下几点：

创建线程

下面的程序，我们可以用它来创建一个 POSIX 线程：

1
2

#include <pthread.h>
pthread_create (thread, attr, start_routine, arg) 

使用 -lpthread 库编译下面的程序：

1

$ g++ test.cpp -lpthread -o test.o

阻塞 VS 非阻塞

阻塞 VS 非阻塞
当应用程序调用阻塞 I/O 完成某个操作时，应用程序会被挂起，等待内核完成操作，感觉上应用程序像是被“阻塞”了一样。实际上，内核所做的事情是将 CPU 时间切换给其他有需要的进程，网络应用程序在这种情况下就会得不到 CPU 时间做该做的事情。

非阻塞 I/O 则不然，当应用程序调用非阻塞 I/O 完成某个操作时，内核立即返回，不会把 CPU 时间切换给其他进程，应用程序在返回后，可以得到足够的 CPU 时间继续完成其他事情。

非阻塞 I/O

读操作

如果套接字对应的接收缓冲区没有数据可读，在非阻塞情况下 read 调用会立即返回，一般返回 EWOULDBLOCK 或 EAGAIN 出错信息。在这种情况下，出错信息是需要小心处理，比如后面再次调用 read 操作，而不是直接作为错误直接返回。

写操作

• 在阻塞 I/O 情况下，write 函数返回的字节数，和输入的参数总是一样的。如果返回值总是和输入的数据大小一样。
• 在非阻塞 I/O 的情况下，如果套接字的发送缓冲区已达到了极限，不能容纳更多的字节，那么操作系统内核会尽最大可能从应用程序拷贝数据到发送缓冲区中，并立即从 write 等函数调用中返回。返回值可能为0。 more >>

• 我们可以使用 fgets 方法等待标准输入，但无法同时在套接字有数据的时候读出数据；
• 我们也可以使用 read 方法等待套接字有数据返回，但无法同时在标准输入有数据的情况下，读入数据并发送给对方。

I/O 多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做 I/O 的一路，多路复用的意思，就是在任何一路 I/O 有“事件”发生的情况下，通知应用程序去处理相应的 I/O 事件，这样我们的程序在同一时刻就仿佛可以处理多个 I/O 事件。

select 函数

函数声明

1
2
3

int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout);
 
//返回：若有就绪描述符则为其数目，若超时则为 0，若出错则为 -1

n 表示的是待测试的描述符基数，它的值是待测试的最大描述符加 1。比如现在的 select 待测试的描述符集合是{0,1,4}，那么 maxfd 就是 5。 more >>

socket API

socket 的主要API都定义在sys/socket.h头文件中

现代PC大多采用小端字节序，因此小端字节序又被称为主机字节序。

小端字节序则是指整数的高位字节存储在内存的高地址处，而低位字节则存储在内存的低地址处。

发送端总是把要发送的数据转化成大端字节序数据后再发送,因此大端字节序也称为网络字节序，它给所有接收数据的主机提供了一个正确解释收到的格式化数据的保证。(JAVA虚拟机采用大端字节序)
为了保证网络字节序一致，POSIX 标准提供了如下的转换函数：

1
2
3
4
5
6
7

uint16_t htons (uint16_t hostshort)
uint16_t ntohs (uint16_t netshort)
uint32_t htonl (uint32_t hostlong)
uint32_t ntohl (uint32_t netlong)

// 这里函数中的 n 代表的就是 network，h 代表的是 host
// s 表示的是 short，l 表示的是 long，分别表示 16 位和 32 位的整数。

• AF_LOCAL：表示的是本地地址，对应的是 Unix 套接字，这种情况一般用于本地 socket 通信，很多情况下也可以写成 AF_UNIX、AF_FILE；
• AF_INET：因特网使用的 IPv4 地址；
• AF_INET6：因特网使用的 IPv6 地址。 more >>

上周六下午我们三个人给别的学院拍照，最后出了点意外。在操场上他们把队形好不容易摆好了，但是无人机出了问题，最后这个场景就拍不了了。

虽然挺尴尬的，但我有了一点感想，这件事算是个引子吧。

看到过网上有讨论，自己也想过：什么才算朋友呢？ more >>