对象存储节点调内核,五条抄错就翻车的参数:`dirty_bytes` 一写 `dirty_ratio` 直接归零、`limits.conf` 对 systemd 服务形同虚设、AIO 上下文 2000 并发就 EAGAIN

先说场景:一台自建的 S3 兼容网关(MinIO / Ceph RGW 那一类),或者对象存储的回源节点,前端挂着几块 NVMe 组成本地盘池,背后是 25G/40G 上行。功能测试全过,1GB 大文件 PUT 正常,但一上并发压测就露馅——P99 从 18ms 抖到 2.3 秒、LIST 请求把盘 IOPS 打满、跑到 2000 并发时客户端开始零星报 Connection reset by peer,服务端日志一片清白。

这类问题十有八九不在对象存储自己的代码里,而在你抄来的那几行 sysctl。下面五条都是我实打实踩过的,每条都给定位命令和根因,别背结论,背定位法。

坑一:`vm.dirty_bytes` 和 `vm.dirty_ratio` 互斥,你写的两条只有一条活着

现场

大对象 PUT 压测跑到第 20 秒,`iostat -x 1` 里 w_await 从 0.8ms 飙到 400ms,`aqu-sz` 冲到 200+,前端超时开始重试,重试又加重写入,雪崩。机器 256G 内存,`sysctl.conf` 里明明写了 vm.dirty_ratio = 20。

一条命令定性

sysctl vm.dirty_bytes vm.dirty_background_bytes vm.dirty_ratio vm.dirty_background_ratio
# vm.dirty_bytes = 34359738368
# vm.dirty_background_bytes = 4294967296
# vm.dirty_ratio = 0
# vm.dirty_background_ratio = 0

看到没,ratio 全是 0。内核文档里写得很死:dirty_bytes 和 dirty_ratio 是互为反面的两个开关,写其中一个,另一个立刻归零并被忽略;background 那对同理。而 `systemd-sysctl` 是按文件名顺序遍历 `/usr/lib/sysctl.d/*.conf` 和 `/etc/sysctl.d/*.conf` 的,某个 `99-tuning.conf` 里的 `dirty_bytes` 会把你 `50-storage.conf` 里的 `dirty_ratio` 悄悄清掉,sysctl -p 一个错都不报。

根因

你的盘是 NVMe,顺序写能到 2GB/s 以上。256G 内存按 20% 算脏页上限是 51GB,那意味着内核可以攒 25 秒的写入量再一次性回刷——回刷期间新来的 PUT 全堵在 balance_dirty_pages 里睡眠。对象存储的写入模式是"大文件顺序追加 + 写完就 close 等 ACK",跟数据库的随机小写完全是两码事,攒脏页没有任何收益。

修法

只留 bytes 那一组,按"脏页上限 ≈ 单盘 2~4 秒的写入量"来算,不要拍脑袋写百分比:

# /etc/sysctl.d/60-objstore.conf
# 前提:清掉其他文件里所有 vm.dirty_ratio / dirty_background_ratio
vm.dirty_background_bytes = 1073741824   # 1G,后台回刷触发线
vm.dirty_bytes            = 4294967296   # 4G,进程阻塞线
vm.dirty_expire_centisecs = 1000         # 10s(默认 30s,单位 1/100 秒)
vm.dirty_writeback_centisecs = 500       # 5s,后台回刷线程周期

检查一遍有没有漏网的:

grep -rn 'dirty_' /etc/sysctl.conf /etc/sysctl.d/ /usr/lib/sysctl.d/
sysctl -p /etc/sysctl.d/60-objstore.conf
sysctl vm.dirty_bytes vm.dirty_ratio   # ratio 必须读出来是 0,且是你主动选的 0

验证

watch -n1 'grep -E "^(Dirty|Writeback):" /proc/meminfo'
cat /proc/pressure/io          # some avg10 稳定在低位才算过

压测时 Dirty 应该贴着 4G 上下小幅波动,而不是线性爬到 50G 再跳水。

坑二:`limits.conf` 改了等于没改,systemd 服务根本不读 PAM

现场

百万级小对象场景,压测到 3000 QPS 时日志刷 accept4: too many open files,但 ulimit -n 在 shell 里敲出来是 1048576。

一条命令定性

systemctl show minio.service -p LimitNOFILE
# LimitNOFILE=1024        ← 真相在这
grep -E 'Max open files' /proc/$(pgrep -o minio)/limits

/etc/security/limits.conf 和 /etc/security/limits.d/*.conf 是 PAM 的 pam_limits 模块读的,只在登录会话建立时生效。systemd 拉起的长驻服务走的是 cgroup + unit 属性这条路,压根不经过 PAM。改完 limits.conf 记得 `systemctl restart` 然后发现毫无变化——这个场景太经典了。

修法

# /etc/systemd/system/minio.service.d/limits.conf
[Service]
LimitNOFILE=1048576
LimitNPROC=65536
LimitMEMLOCK=infinity
systemctl daemon-reload
systemctl restart minio
systemctl show minio.service -p LimitNOFILE   # 必须回显 1048576

还有一道内核门槛别忘了对齐:fs.nr_open(单进程 fd 硬上限,默认 1048576,是 ulimit -Hn 的天花板)和 fs.file-max(系统级)。对象存储网关每个连接 + 每个正在写的分片临时文件都占 fd,multipart 场景下 fd 涨得比你想象的快得多。

sysctl fs.nr_open fs.file-max
cat /proc/sys/fs/file-nr    # 已分配 / 未使用 / 上限,第三个数别贴脸

坑三:`vfs_cache_pressure=200`,把海量对象的 dentry 缓存全掏空

现场

对象数上了 800 万以后,一个普通的 LIST 前缀查询 P99 从 6ms 变成 90ms,但磁盘带宽占用不到 5%,CPU 也闲着。看起来哪儿都没瓶颈。

一条命令定性

slabtop -o -s c | head -15
# OBJS  ACTIVE  USE  OBJ SIZE  SLABS  NAME
# 1.2M  18000   1%   192        ...    xfs_inode
# 2.4M  35000   1%   192        ...    dentry

USE 只有 1%。意思是元数据缓存建了又立刻被回收,等于每次 HEAD/LIST 都要回盘读一遍目录和 inode。根因是 vm.vfs_cache_pressure 被调到了 200(很多"万能调优"模板都这么写),内核的回收器会把 dentry/inode 优先级拉到远高于 page cache 的位置,内存压力稍微一动就先砍元数据。

修法

vm.vfs_cache_pressure = 50      # 保住 dentry/inode,默认 100
vm.min_free_kbytes    = 2097152 # 2G,抬高水位避免 direct reclaim 抖动

还有一个必须点名的自杀操作:定时任务里跑 echo 2 > /proc/sys/vm/drop_caches。放在数据库上还能算无奈之举,放在对象存储节点上等于每隔几十分钟把几百万条目录缓存手动清零,然后所有 LIST 请求一起去打盘。真见过有人写进 cron 的。

验证

# LIST 压测同时观察
iostat -x 1        # r/s 是否异常飙升(元数据读放大)
slabtop -o -s c    # 压测稳定后 dentry 的 ACTIVE 比例应该爬到 20% 以上

顺带一提,如果磁盘还要承载 multipart 分片落地的临时目录,把那块单独挂一个 XFS,别和对象数据目录共用一个文件系统,否则临时文件产生/删除的元数据操作会直接干扰正式对象的目录缓存。

坑四:`fs.aio-max-nr` 在 2000 并发就耗尽,日志里只有一行 EAGAIN

现场

后端存储引擎(Ceph BlueStore 那一类走 libaio 的)在压测第 3 分钟开始报 io_setup() failed: (11) Resource temporarily unavailable,业务层表现为写入直接超时,但系统整体负载并不高,NVMe 的 util 才 40%。

一条命令定性

cat /proc/sys/fs/aio-nr /proc/sys/fs/aio-max-nr
# 65536
# 65536                ← 已经顶死

strace -f -e trace=io_setup -p $(pgrep -o ceph-osd) 2>&1 | head
# io_setup(128, ...) = -1 EAGAIN (Resource temporarily unavailable)

内核里 aio_setup_ring() 的判定就一行:当前全局 `aio_nr` 加上本次请求的 `nr_events` 一旦超过 `aio_max_nr`,立刻返回 EAGAIN。默认 65536 这个数对普通 Web 服务绰绰有余,对对象存储的存储引擎完全是另一个量级——每个 OSD 进程几十个线程、每个线程一套 aio 上下文,几百个并发写就吃干净了。

修法

fs.aio-max-nr = 1048576

运行时 sysctl 直接生效,`aio-nr` 是只读的实际使用量。改完再压一遍,看 `aio-nr` 的峰值落在 `aio-max-nr` 的 40% 以内算是健康,贴着上限就说明还得多给。

验证

watch -n1 'paste /proc/sys/fs/aio-nr /proc/sys/fs/aio-max-nr'
dmesg -T | grep -i aio

补充一句:如果你的存储引擎已经迁到 io_uring,这条就不适用了,但新内核的 kernel.io_uring_disabled 在部分加固模板里会被设成 1,表现是 io_uring_setup() = -1 EPERM,症状类似、根因完全不同,别混。

坑五:`tcp_mem` 和 orphan socket,客户端被 RST 而服务端日志干干净净

现场

对象存储回源节点,客户端上万个短连接并发拉小对象,大约 5% 的连接直接被拒,客户端日志 Connection reset by peer,而网关的 access log 里连对应的请求行都没有——说明连接根本没到应用层。

一条命令定性

netstat -s | grep -iE 'orphan|prune|listen|reset'
# 或者更干净:
nstat -az | grep -iE 'Orphan|PruneCalled|ListenDrops|TCPAbortOnMemory'

dmesg -T | grep -iE 'TCP:|Out of socket memory'
cat /proc/net/sockstat

看到 Orphaned 计数疯涨、`ListenDrops` 非零,基本就锁定了。两个独立的判定点:

  • net.ipv4.tcp_max_orphans:没有文件描述符归属的孤儿 socket 上限,超过后内核直接拒绝新连接,日志里一行 TCP: too many orphaned sockets。
  • net.ipv4.tcp_mem:三元组 low / pressure / high,单位是页不是字节(4K 页就是除以 1024 换算成 KB)。超过 high 之后内核开始丢包而不是排队,表现为连接时通时不通。

修法

# 256G 内存机器示例,tcp_mem 单位是页
net.ipv4.tcp_mem = 786432 1048576 1572864
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_tw_buckets = 262144
net.ipv4.ip_local_port_range = 10240 65535

别顺手写 `net.ipv4.tcp_tw_recycle=1`。这个参数在 4.12 就被移除了,老博客里的教程抄过来,`sysctl -p` 只会在 stderr 甩一行 cannot stat 就继续往下跑,返回码不为 0 但很多人 `|| true` 掉了,于是你以为生成了,其实整段配置可能压根没加载。

sysctl -p /etc/sysctl.d/60-objstore.conf; echo "exit=$?"

验证

nstat -az | grep -iE 'Orphan|ListenDrops|TCPAbortOnMemory'
# 压测 10 分钟,这几个计数不涨才算过

一份能落地的骨架,别抄别人的整数

下面这份是给"256G 内存 / 全 NVMe / 对象存储网关 + 回源"的机器用的,数字是按单盘顺序写 2GB/s 反推的,你换配置就得重算:

# /etc/sysctl.d/60-objstore.conf
# 脏页:按 2~4 秒写入量
vm.dirty_background_bytes = 1073741824
vm.dirty_bytes            = 4294967296
vm.dirty_expire_centisecs = 1000
vm.dirty_writeback_centisecs = 500

# 元数据缓存:别让 dentry/inode 被优先回收
vm.vfs_cache_pressure = 50
vm.min_free_kbytes    = 2097152
vm.swappiness         = 10

# 存储引擎的 AIO 上下文
fs.aio-max-nr = 1048576
fs.file-max   = 2097152

# 连接侧
net.ipv4.tcp_mem          = 786432 1048576 1572864
net.ipv4.tcp_max_orphans  = 262144
net.ipv4.tcp_max_tw_buckets = 262144
net.ipv4.ip_local_port_range = 10240 65535
net.core.somaxconn        = 8192

三条验证,压测时并排开着看,比任何"调优完成"的自检脚本都好使:

# 1. 脏页与回刷压力
watch -n1 'grep -E "^(Dirty|Writeback):" /proc/meminfo; cat /proc/pressure/io'

# 2. 元数据缓存是否被掏空
watch -n2 'slabtop -o -s c | head -8'

# 3. 连接侧有没有静默丢弃
watch -n2 'nstat -az | grep -iE "Orphan|ListenDrops|TCPAbortOnMemory|PruneCalled"'

最后一件事:这些参数解决的是"内核没成为短板",但如果物理链路本身的排队就压不住,参数调出花也没用。我们后来把回源层和大带宽网关拆到轻云互联的独立裸金属上,NVMe 直连、上行不共享,软中断和 IO 队列深度才彻底从变量列表里消失——排查真正的问题时,心里才有个干净的基线。

记住判断顺序:先看 /proc/pressure,再看 nstat,最后才动 sysctl。反过来做的话,你调的不是内核,是玄学。