共享内存最快,为什么还要自己配一把锁
进程之间没有共享的地址空间,所谓 IPC,就是让内核或一块共享映射替两个进程搭桥。管道与 Unix socket 把数据搬进内核缓冲区,换来消息边界、阻塞语义和生命周期管理;共享内存只把同一段物理页映射两次,省掉复制,却把同步、通知和清理全部留给使用者。最常见的误区是把共享内存当成"更快的管道",忽略数据竞争、内存序与孤儿段,也忽略小消息场景下通知本身才是主要成本。读完你能按消息大小与频率选对机制,说清 PIPE_BUF 原子性、fd 传递与 EOF 的坑,并给出一套可落地的清理与观测办法。
是什么
IPC(Inter-Process Communication)是让彼此隔离的进程交换数据、协调动作的一组机制,管道、FIFO、Unix domain socket、共享内存、消息队列、信号与信号量都在其中。每个进程拥有独立的虚拟地址空间,A 里的一个指针到了 B 那里没有任何意义,所以通信只有两条路:请内核当中间人把字节抄过去,或者让两段虚拟地址映射到同一批物理页。
一句话直觉:进程之间没有共同的客厅,只能隔着门递纸条,或者申请一块双方都挂着同一把钥匙的公告板。递纸条安全但慢,公告板快,可谁先写、谁后读、写完怎么通知对方,全得自己定规矩。
典型场景就在身边:shell 里的 ls | grep、nginx 的 master 给 worker 派活、容器运行时通过 socket 把文件描述符递给守护进程、数据库的后台进程共享缓冲池、日志 sidecar 收走应用的输出。它们用的机制不同,面对的问题却是同一组。
核心原理
把十几种机制摆在一起看,差别其实落在三个问题上:数据要不要经过内核复制、有没有消息边界、同步由谁负责。
管道与 FIFO:内核里的一只环形缓冲区。 pipe() 返回一读一写两个 fd,写入的数据放在内核内存的环形缓冲里,read 再把它复制到用户缓冲区,一来一回两次复制。它是纯字节流,没有消息边界,你写两次"hello"和"world",对面一次 read 可能全读出来。管道默认容量是 16 页,常见 4 KiB 页下即 65536 字节,可用 fcntl(F_SETPIPE_SZ) 调整,上限受 /proc/sys/fs/pipe-max-size 约束。写满时 write 阻塞,读空时 read 阻塞,这就是天然的背压。所有写端关闭后 read 返回 0 表示 EOF;所有读端关闭后再写,内核发 SIGPIPE,默认动作是终止进程。POSIX 还规定了一个原子边界:Linux 上 PIPE_BUF 为 4096 字节,不超过它的写入不会被其他写者穿插。
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
int main(void) {
int p[2];
char buf[4096] = {0};
int total = 0;
pipe(p);
fcntl(p[1], F_SETFL, O_NONBLOCK);
for (;;) {
ssize_t n = write(p[1], buf, sizeof buf);
if (n < 0) { printf("EAGAIN after %d bytes\n", total); break; }
total += n;
}
return 0;
}
这段程序把写端设为非阻塞后一直写,直到内核说没地方了;在默认配置的机器上通常打印 EAGAIN after 65536 bytes。它说明容量是内核资源,不是可以无限缓冲的队列。
Unix domain socket:带名字和边界的管道。 它走 AF_UNIX,可以绑定文件系统路径,也可以用 Linux 的抽象命名空间;SOCK_STREAM 仍是字节流,SOCK_SEQPACKET 则保留消息边界。相比 TCP 回环,它不经过 IP 路由、校验和与端口分配,权限检查直接用文件权限,还能通过 SCM_RIGHTS 在进程间传递文件描述符,通过 SO_PEERCRED 拿到对端 pid、uid、gid。数据依然要在内核缓冲区里复制,所以它不是零拷贝,只是少了一层协议栈。
共享内存:把同一批物理页映射两次。 shm_open 创建命名对象,ftruncate 定大小,mmap(MAP_SHARED) 映射进地址空间;更轻的做法是 memfd_create 得到匿名内存 fd,再用 SCM_RIGHTS 传给对方。此后双方的读写就是普通的内存访问:没有系统调用、没有逐条消息的复制,只有首次触碰页面时的缺页。代价是内核退出了这段关系——没有边界,你得自己设计头部长度与环形结构;没有同步,两个进程同时改同一个计数器照样丢更新;没有生命周期管理,shm_unlink 只是删掉名字,已有映射仍在,进程崩溃留下的段可能一直占着内存。
消息队列与信号:两个容易走偏的极端。 POSIX 消息队列有名字、有边界、有优先级,内核负责排队,但每条消息仍要复制一次;它适合低频、要求可靠投递的控制消息。信号则根本不是数据通道,它只是一个通知:标准信号用 pending 位表示,同一信号连续来多次会被合并成一次,处理函数里只能调用 async-signal-safe 的函数,慢系统调用还会被中断返回 EINTR。
性能账要连着通知一起算。 管道和 socket 每条消息两次复制,共享内存零复制,但"零复制"不等于"零成本":对方怎么知道有新数据?要么轮询,要么用 eventfd、futex 或信号唤醒,一次唤醒就是一次系统调用加一次上下文切换。消息只有几十字节时,这点开销比复制本身还贵,管道往往更快;消息到几十 KB 以上、频率又高时,共享内存的优势才真正显现。splice/vmsplice 还能让文件与管道之间只搬页引用,但那只适用于特定的转接场景。
常见考点与误区
- "管道是文件,数据会写到磁盘":错。fd 只是统一抽象,匿名管道的数据只存在内核内存的环形缓冲里;FIFO 虽然有路径名,I/O 也不落到背后的设备。管道不支持
lseek,正说明它不是可随机访问的文件。 - "共享内存不需要锁":这是最危险的一条。只有当每个进程严格写自己独占的区域、且不存在跨区域不变量时才成立;一旦有共享计数、队列头尾指针,就必须用原子操作配 acquire/release 语义,否则编译器和 CPU 的重排会让"先写数据再置标志"变成"标志先到、数据没到"。
- "写入小于 PIPE_BUF 就万事大吉":原子性只保证这段字节不被别的写者穿插,不保证顺序公平,也不保证不阻塞。非阻塞模式下空间不够会返回
EAGAIN,超过PIPE_BUF的多写者场景则可能短写和交错,必须检查返回值并自己分帧。 - "信号可以当消息队列用":标准信号没有 payload,还会合并;实时信号虽然排队并带
siginfo,队列长度也有上限。在 handler 里调用printf、malloc属于未定义行为,正确做法是只置一个volatile sig_atomic_t标志,或改用signalfd把信号变成可 poll 的 fd。 - "read 返回 0 表示暂时没数据":0 是 EOF,含义是所有写端都已关闭。反过来更常见的 bug 是:
fork后子进程继承了管道写端却没关,读端就永远等不到 EOF,程序安静地挂死。这也是 man 手册专门提醒要关闭多余 fd 的原因。 - "共享内存段会自己消失":POSIX 共享内存要
shm_unlink删名字,最后一个映射解除后才真正释放;System V 的要shmctl(IPC_RMID),否则ipcs -m里会越积越多。容器里还有两个额外变量:IPC namespace 决定谁能看见这段共享内存,/dev/shm默认往往只有 64 MB。
实践建议
- 按消息形态选机制,而不是按"哪个最快"选。 小消息、低频控制流用
socketpair或管道;需要消息边界、传 fd、做权限校验时用 Unix socket,优先SOCK_SEQPACKET;几十 KB 以上的高频数据再考虑共享内存加环形队列;只有跨主机才值得上 TCP。 - 把 fd 卫生当成硬要求。 创建时加
O_CLOEXEC,fork后立刻关掉不用的那一端,写端要处理EPIPE或忽略SIGPIPE,所有可能被信号打断的调用都要处理EINTR;非阻塞 fd 交给poll/epoll统一等,不要用循环重试烧 CPU。 - 共享内存要当一份小型协议来设计。 用定长头部加偏移量而不是裸指针,写上 magic 与版本号,明确单写者还是多写者分槽,发布数据用 release 语义;再配心跳和启动时清理,避免上一个进程崩溃后留下一段没人认领的旧数据。
- 先确认容器边界再谈共享。 两个容器默认不在同一个 IPC namespace,
/dev/shm也各自独立且容量有限;需要传匿名内存时,memfd_create加SCM_RIGHTS通常比抢一个全局名字更干净。 - 用工具定位而不是猜。
strace -f -e trace=read,write能看出卡在哪个 fd,ss -x能看 Unix socket 的队列,lsof -p能抓 fd 泄漏,ipcs -m -q能清点 SysV 残留。压测时把"小消息延迟"和"大块吞吐"分开测,否则结论一定会互相打架。
一句话总结:IPC 的选择,本质是决定把复制、边界和同步这三笔账交给内核,还是留给自己。