证书续期成功、nginx reload 返回 0,HTTPS 仍报过期:nginx 在解析配置那一刻就把证书读进了内存,`nginx -t` 之后的一切都是假象
上周一个跑在轻云互联香港小鸡上的老项目出了个典型事故:certbot renew 日志里三张证书全部续上,`systemctl reload nginx` 退出码 0,`nginx -t` 语法 OK,本机 `curl -k https://127.0.0.1` 200。但外部监控一直在报警 `certificate has expired`,海外客户端的报错是 `NET::ERR_CERT_DATE_INVALID`。
磁盘上是新的,内存里是旧的,中间所有“验证手段”都在骗你。这篇把排查链拆开讲,全是命令。
假象一:不带 SNI 的 s_client,测的根本不是那个 vhost
第一反应大家都会敲 `openssl s_client -connect 127.0.0.1:443`。问题在于——OpenSSL 的 s_client 默认不发送 SNI。你给的是 IP,它就更没有理由发。于是 nginx 把请求丢给 `default_server`,你看到的证书从来就不是你刚续的那张。
同理,`curl -k https://127.0.0.1` 也不发 SNI(按 URL 主机名决定),只有 `curl https://example.com` 才会发。用 IP 自测的全部结论都不可信。
# 错:拿到的可能是 default_server 的证书
openssl s_client -connect 127.0.0.1:443 </dev/null 2>/dev/null | openssl x509 -noout -subject -dates
# 对:显式 SNI + 只取叶证书
openssl s_client -connect 127.0.0.1:443 -servername example.com </dev/null 2>/dev/null \
| openssl x509 -noout -subject -dates -fingerprint -sha256
# 验证链是否真的能过(s_client 不加 -verify_return_error 是永远“成功”的)
openssl s_client -connect 127.0.0.1:443 -servername example.com -verify_return_error -CAfile /etc/ssl/certs/ca-certificates.crt </dev/null 2>&1 | grep -E 'Verify return code|verify error'
把 `-servername` 加上之后,那次事故的真面目就出来了:拿到的还是旧指纹。说明问题不在客户端,在服务端内存。
假象二:nginx 解析配置时就把证书读进内存了,后面你 fuser / lsof 什么也看不到
这是最反直觉的一点:nginx 的 `ngx_ssl_certificate()` 在 配置解析阶段就 `SSL_CTX_use_certificate_chain_file()` 把 PEM 整个读进 SSL_CTX,之后握手时不再碰磁盘。所以你 `rm` 掉 fullchain.pem,nginx 照样握手;你 `mv` 走再 `mv` 回来,它也无感。
这意味着:
/proc/<worker>/fd里找不到任何 .pem,别去那儿找证据openssl x509 -in fullchain.pem看到的是磁盘的证据,不是内存的证据- 唯一能证明“内存里是哪张”的办法,就是从外部握手取指纹;或者在 error.log 里抓加载记录(要开 debug)
而 `systemctl reload nginx` 返回 0 这件事,更说明不了任何问题。Debian/Ubuntu 的 unit 里写的是:
ExecReload=/bin/kill -s HUP $MAINPID
只要 HUP 信号送达,退出码就是 0。master 收到 HUP 后重新解析配置、加载证书,一旦任何一步 emerg,它就保留旧 cycle 继续跑,但 systemd 那边已经报成功了。 那一晚的日志就是:
[emerg] cannot load certificate "/etc/letsencrypt/archive/example.com/fullchain3.pem": BIO_new_file() failed
nginx: [emerg] cannot load certificate ...
根因很土:certbot 续期后 `archive/` 下的文件名从 `fullchain3.pem` 变成了 `fullchain5.pem`,而有人当初图省事,在 conf 里写的是带序号的绝对路径,不是 `live/example.com/fullchain.pem` 这个稳定软链。
所以标准动作是三条,缺一不可:
# 1. 看 nginx 最终展开的配置里到底指向哪个文件
nginx -T 2>/dev/null | grep -nE 'ssl_certificate|server_name'
# 2. reload 之后必须回看 error.log,不能只看 $?
systemctl reload nginx && sleep 1 && tail -n 20 /var/log/nginx/error.log | grep -E 'emerg|reconfiguring|using the'
# 3. 把“磁盘指纹”和“握手指纹”对比,这才是判定生效的唯一依据
openssl x509 -in /etc/letsencrypt/live/example.com/fullchain.pem -noout -fingerprint -sha256
补充一个细节:如果是 systemd timer 触发的 certbot,deploy-hook 里写 `nginx -s reload` 大概率会 `command not found`(timer 的 PATH 不含 `/usr/sbin`),hook 返回 127,certbot 记一条 warn 继续走完,磁盘换了,内存没换。用绝对路径 `/usr/sbin/nginx -s reload`,或者直接用 `systemctl reload nginx`。
假象三:链的顺序、多余的 Root、漏掉的 SAN
服务器发的东西和磁盘上写的东西,可以直接拆开看。`-showcerts` 会把服务器发的全部证书吐出来,按 awk 切开逐张验 subject/issuer 是否首尾相接:
openssl s_client -connect 127.0.0.1:443 -servername example.com -showcerts </dev/null 2>/dev/null \
| awk '/BEGIN CERT/{n++} n{print > ("/tmp/chain" n ".pem")}'
for f in /tmp/chain*.pem; do openssl x509 -in "$f" -noout -subject -issuer; done
正常输出必须满足:第 1 张的 issuer = 第 2 张的 subject,第 2 张的 issuer 应该能在客户端信任库里找到。如果第 3 张是 Root,删掉它。 多带一个根证书的代价不只是握手多几个 RTT 的字节数,更阴的是在某些强校验客户端(部分 Java 版本、老 Android、某些 API 网关)上会触发链构建路径异常或者 `unable to get local issuer certificate`——因为它们不认服务器发来的自签根,只认自己的库。
另一个比链更常被漏掉的是 SAN。`openssl x509` 默认只读第一个证书,很多人只看了 subject 就以为对了:
openssl x509 -in /etc/letsencrypt/live/example.com/cert.pem -noout -ext subjectAltName
`*.example.com` 不覆盖 `example.com`,也不覆盖 `a.b.example.com`。certbot 少写一个 `-d`,浏览器报 `ERR_CERT_COMMON_NAME_INVALID`,而 s_client 那边的 `Verify return code: 0 (ok)` 一切正常。
假象四:真正冷门的那个——OpenSSL 3.x 的 SECLEVEL 直接把老证书链掐死在加载阶段
如果上面都排查干净了,reload 还是 emerg,看一眼具体报错文本:
SSL_CTX_use_certificate_chain_file() failed (SSL: error:0A00018E:SSL routines::ca md too weak)
这不是文件坏了,是 Debian/Ubuntu 自 Debian 10 起在 `/etc/ssl/openssl.cnf` 里写死的:
CipherString = DEFAULT@SECLEVEL=2
nginx 链接的 OpenSSL 会读这个 system_default 段。SECLEVEL=2 意味着证书链里任何一张用 SHA-1 签名的证书、任何小于 2048 位的 RSA,都会在加载阶段被拒。从老 CA 迁过来的证书、内网自签 CA 签出来的中间证书、十年前买的代码签名链,全中招。这类证书在 `openssl x509 -text` 里看着“有效期没过”,但握手永远起不来。
最烂的做法是去改全局 `openssl.cnf`,那会把整台机器上所有链接了系统 OpenSSL 的东西一起放宽(包括 curl、python-requests 的取证结果)。正确的做法是只对需要的那一个 server 块做精准手术,nginx 1.19.4+ 的 `ssl_conf_command` 就是干这个的——它直接把 OpenSSL 配置命令下发到该 server 的 SSL_CTX,不污染全局:
server {
listen 443 ssl;
server_name legacy.example.com;
ssl_certificate /etc/letsencrypt/live/legacy.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/legacy.example.com/privkey.pem;
# 只在这个 vhost 里放开到 SELEVEL=1,允许 SHA-1 签名的链和 1024 位 RSA
ssl_conf_command CipherString DEFAULT@SECLEVEL=1;
# 顺便钉死曲线,省掉握手时的协商开销(单核小鸡上很值)
ssl_conf_command Curves X25519:prime256v1;
}
验证方式是对比握手结果,而不是猜:
openssl s_client -connect 127.0.0.1:443 -servername legacy.example.com \
-cipher 'DEFAULT@SECLEVEL=1' </dev/null 2>&1 | grep -E 'Cipher is|Verify return code'
注意 `ssl_conf_command` 后面两个参数之间不要加引号(nginx 会自己拼),命令本身建议放在 server 块而不是 http 块,避免把整个站点拖下水。
收尾:监控别盯端口 200,盯指纹
端口通、HTTP 200、`nginx -t` 通过,这三件事加起来依然不能证明“线上那张证书是对的”。唯一可靠的判定量是:握手拿到的指纹 == 磁盘上的指纹,且 notAfter 在阈值之外。这段可以丢进 cron,一分钟一次,单核小鸡上耗时 30ms 量级,完全无感:
#!/bin/bash
DOMAIN=example.com
LIVE=/etc/letsencrypt/live/$DOMAIN/fullchain.pem
DISK=$(openssl x509 -in "$LIVE" -noout -fingerprint -sha256 | cut -d= -f2)
WIRE=$(openssl s_client -connect 127.0.0.1:443 -servername $DOMAIN </dev/null 2>/dev/null \
| openssl x509 -noout -fingerprint -sha256 | cut -d= -f2)
DAYS=$(( ( $(date -d "$(openssl x509 -in "$LIVE" -noout -enddate | cut -d= -f2)" +%s) - $(date +%s) ) / 86400 ))
if [ "$DISK" != "$WIRE" ]; then
echo "CRIT: cert in memory != cert on disk ($DOMAIN) -> reload failed"
exit 2
fi
[ "$DAYS" -lt 14 ] && { echo "WARN: $DOMAIN expires in $DAYS days"; exit 1; }
echo "OK: $DOMAIN $DAYS days left, fp=${DISK:0:16}"
最后提醒一句关于时间:如果 VPS 是从快照/镜像恢复的,chrony 没起来,本机时钟可能停在几周前,握手直接拒在 `not yet valid` 上,而 `date` 看着完全正常(时区掩盖了偏移)。排查时顺手跑一下 `timedatectl` 和 `openssl x509 -noout -dates`,两者对一下 UTC,能省掉很多绕路。这台轻云互联的机器就是 Debian 12 纯净镜像,`/etc/ssl/openssl.cnf` 没被动过,所以我复现 SECLEVEL 那个报错时环境是干净的——反倒是最省事的。