你好,我是盛延敏,这里是网络编程实战的第20讲,欢迎回来。
这一讲是性能篇的第一讲。在性能篇里,我们将把注意力放到如何设计高并发高性能的网络服务器程序上。我希望通过这一模块的学习,让你能够掌握多路复用、异步I/O、多线程等知识,从而可以写出支持并发10K以上的高性能网络服务器程序。
还等什么呢?让我们开始吧。
在第11讲中,我们设计了这样一个应用程序,该程序从标准输入接收数据输入,然后通过套接字发送出去,同时,该程序也通过套接字接收对方发送的数据流。
我们可以使用fgets方法等待标准输入,但是一旦这样做,就没有办法在套接字有数据的时候读出数据;我们也可以使用read方法等待套接字有数据返回,但是这样做,也没有办法在标准输入有数据的情况下,读入数据并发送给对方。
I/O多路复用的设计初衷就是解决这样的场景。我们可以把标准输入、套接字等都看做I/O的一路,多路复用的意思,就是在任何一路I/O有“事件”发生的情况下,通知应用程序去处理相应的I/O事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个I/O事件。
像刚才的例子,使用I/O复用以后,如果标准输入有数据,立即从标准输入读入数据,通过套接字发送出去;如果套接字有数据可以读,立即可以读出数据。
select函数就是这样一种常见的I/O多路复用技术,我们将在后面继续讲解其他的多路复用技术。使用select函数,通知内核挂起进程,当一个或多个I/O事件发生后,控制权返还给应用程序,由应用程序进行I/O事件的处理。
这些I/O事件的类型非常多,比如:
select函数的使用方法有点复杂,我们先看一下它的声明:
int select(int maxfd, fd_set *readset, fd_set *writeset, fd_set *exceptset, const struct timeval *timeout);
返回:若有就绪描述符则为其数目,若超时则为0,若出错则为-1
在这个函数中,maxfd表示的是待测试的描述符基数,它的值是待测试的最大描述符加1。比如现在的select待测试的描述符集合是{0,1,4},那么maxfd就是5,为啥是5,而不是4呢? 我会在下面进行解释。
紧接着的是三个描述符集合,分别是读描述符集合readset、写描述符集合writeset和异常描述符集合exceptset,这三个分别通知内核,在哪些描述符上检测数据可以读,可以写和有异常发生。
那么如何设置这些描述符集合呢?以下的宏可以帮助到我们。
void FD_ZERO(fd_set *fdset);
void FD_SET(int fd, fd_set *fdset);
void FD_CLR(int fd, fd_set *fdset);
int FD_ISSET(int fd, fd_set *fdset);
如果你刚刚入门,理解这些宏可能有些困难。没有关系,我们可以这样想象,下面一个向量代表了一个描述符集合,其中,这个向量的每个元素都是二进制数中的0或者1。
a[maxfd-1], ..., a[1], a[0]
我们按照这样的思路来理解这些宏:
其中0代表不需要处理,1代表需要处理。
怎么样,是不是感觉豁然开朗了?
实际上,很多系统是用一个整型数组来表示一个描述字集合的,一个32位的整型数可以表示32个描述字,例如第一个整型数表示0-31描述字,第二个整型数可以表示32-63描述字,以此类推。
这个时候再来理解为什么描述字集合{0,1,4},对应的maxfd是5,而不是4,就比较方便了。
因为这个向量对应的是下面这样的:
a[4],a[3],a[2],a[1],a[0]
待测试的描述符个数显然是5, 而不是4。
三个描述符集合中的每一个都可以设置成空,这样就表示不需要内核进行相关的检测。
最后一个参数是timeval结构体时间:
struct timeval {
long tv_sec; /* seconds */
long tv_usec; /* microseconds */
};
这个参数设置成不同的值,会有不同的可能:
第一个可能是设置成空(NULL),表示如果没有I/O事件发生,则select一直等待下去。
第二个可能是设置一个非零的值,这个表示等待固定的一段时间后从select阻塞调用中返回,这在第12讲超时的例子里曾经使用过。
第三个可能是将tv_sec和tv_usec都设置成0,表示根本不等待,检测完毕立即返回。这种情况使用得比较少。
下面是一个具体的程序例子,我们通过这个例子来理解select函数。
int main(int argc, char **argv) {
if (argc != 2) {
error(1, 0, "usage: select01 <IPaddress>");
}
int socket_fd = tcp_client(argv[1], SERV_PORT);
char recv_line[MAXLINE], send_line[MAXLINE];
int n;
fd_set readmask;
fd_set allreads;
FD_ZERO(&allreads);
FD_SET(0, &allreads);
FD_SET(socket_fd, &allreads);
for (;;) {
readmask = allreads;
int rc = select(socket_fd + 1, &readmask, NULL, NULL, NULL);
if (rc <= 0) {
error(1, errno, "select failed");
}
if (FD_ISSET(socket_fd, &readmask)) {
n = read(socket_fd, recv_line, MAXLINE);
if (n < 0) {
error(1, errno, "read error");
} else if (n == 0) {
error(1, 0, "server terminated \n");
}
recv_line[n] = 0;
fputs(recv_line, stdout);
fputs("\n", stdout);
}
if (FD_ISSET(STDIN_FILENO, &readmask)) {
if (fgets(send_line, MAXLINE, stdin) != NULL) {
int i = strlen(send_line);
if (send_line[i - 1] == '\n') {
send_line[i - 1] = 0;
}
printf("now sending %s\n", send_line);
size_t rt = write(socket_fd, send_line, strlen(send_line));
if (rt < 0) {
error(1, errno, "write failed ");
}
printf("send bytes: %zu \n", rt);
}
}
}
}
程序的12行通过FD_ZERO初始化了一个描述符集合,这个描述符读集合是空的:
接下来程序的第13和14行,分别使用FD_SET将描述符0,即标准输入,以及连接套接字描述符3设置为待检测:
接下来的16-51行是循环检测,这里我们没有阻塞在fgets或read调用,而是通过select来检测套接字描述字有数据可读,或者标准输入有数据可读。比如,当用户通过标准输入使得标准输入描述符可读时,返回的readmask的值为:
这个时候select调用返回,可以使用FD_ISSET来判断哪个描述符准备好可读了。如上图所示,这个时候是标准输入可读,37-51行程序读入后发送给对端。
如果是连接描述字准备好可读了,第24行判断为真,使用read将套接字数据读出。
我们需要注意的是,这个程序的17-18行非常重要,初学者很容易在这里掉坑里去。
第17行是每次测试完之后,重新设置待测试的描述符集合。你可以看到上面的例子,在select测试之前的数据是{0,3},select测试之后就变成了{0}。
这是因为select调用每次完成测试之后,内核都会修改描述符集合,通过修改完的描述符集合来和应用程序交互,应用程序使用FD_ISSET来对每个描述符进行判断,从而知道什么样的事件发生。
第18行则是使用socket_fd+1来表示待测试的描述符基数。切记需要+1。
当我们说select测试返回,某个套接字准备好可读,表示什么样的事件发生呢?
第一种情况是套接字接收缓冲区有数据可以读,如果我们使用read函数去执行读操作,肯定不会被阻塞,而是会直接读到这部分数据。
第二种情况是对方发送了FIN,使用read函数执行读操作,不会被阻塞,直接返回0。
第三种情况是针对一个监听套接字而言的,有已经完成的连接建立,此时使用accept函数去执行不会阻塞,直接返回已经完成的连接。
第四种情况是套接字有错误待处理,使用read函数去执行读操作,不阻塞,且返回-1。
总结成一句话就是,内核通知我们套接字有数据可以读了,使用read函数不会阻塞。
不知道你是不是和我一样,刚开始理解某个套接字可写的时候,会有一个错觉,总是从应用程序角度出发去理解套接字可写,我开始是这样想的,当应用程序完成相应的计算,有数据准备发送给对端了,可以往套接字写,对应的就是套接字可写。
其实这个理解是非常不正确的,select检测套接字可写,完全是基于套接字本身的特性来说的,具体来说有以下几种情况。
第一种是套接字发送缓冲区足够大,如果我们使用套接字进行write操作,将不会被阻塞,直接返回。
第二种是连接的写半边已经关闭,如果继续进行写操作将会产生SIGPIPE信号。
第三种是套接字上有错误待处理,使用write函数去执行写操作,不阻塞,且返回-1。
总结成一句话就是,内核通知我们套接字可以往里写了,使用write函数就不会阻塞。
今天我讲了select函数的使用。select函数提供了最基本的I/O多路复用方法,在使用select时,我们需要建立两个重要的认识:
和往常一样,给你布置两道思考题:
第一道, select可以对诸如UNIX管道(pipe)这样的描述字进行检测么?如果可以,检测的就绪条件是什么呢?
第二道,根据我们前面的描述,一个描述符集合哪些描述符被设置为1,需要进行检测是完全可以知道的,你认为select函数里一定需要传入描述字基数这个值么?请你分析一下这样设计的目的又是什么呢?
欢迎你在评论区写下你的思考,也欢迎把这篇文章分享给你的朋友或者同事,一起交流一下。