BGP多线主机的SSL证书架构:跨线session ticket失同步、OCSP拉取走错出口,HTTPS会话恢复率从93%掉到28%

先说结论:BGP多线主机上跑HTTPS,证书本身几乎不会出问题,出问题的永远是证书之外的TLS状态——ticket key、OCSP响应、ACME验证路径,这三样东西在单线单机上靠默认配置就能活,一旦挂到四条线四个IP上,全部原形毕露。下面是我们在一台三线接入(电信/联通/移动)+ 一个默认出口的BGP多线主机上踩出来的完整架构方案。

一、场景与裂缝定位

机器形态:单台物理机,eth0/eth1/eth2 分别对接电信、联通、移动,eth3 走默认出口做管理。公网侧四条A记录按线路分解析,TTL 60s。同一份通配符证书 + 一个 www 证书,Nginx 1.24,8 个 worker。

上线第一周,监控里的HTTPS会话恢复率($ssl_session_reused 打点)从单机压测时的 93% 掉到 28%,同时 P95 握手时间翻倍。排查下来是三条独立裂缝:

  • 跨线路session ticket失同步:DNS分线路解析 + 60s TTL + BGP切换,客户端重连时大概率落到另一条线的IP上,而ticket key是per-worker随机生成的,压根解不开。
  • OCSP拉取走错出口:Nginx的OCSP fetch走系统默认路由(管理口),CA的OCSP responder对单IP有速率限制,8个worker各拉一次,直接被限流返回503,stapling静默失效,客户端自己去查OCSP,握手多一个RTT。
  • ACME续签随机失败:HTTP-01验证请求落到哪条线不可控,联通线的vhost因为少写了一条location,challenge被return 301吃掉,续签成功率只有 1/3。

二、分层架构:证书资产 → TLS状态 → 外部依赖 → 观测

把SSL/TLS拆成四层,每层的复制语义完全不同,混在一起配就是灾难:

  • L0 证书资产层:私钥、证书链、双算法证书。特性是静态、必须全节点字节级一致。
  • L1 TLS参数层:协议版本、密码套件、曲线、buffer。特性是必须全节点完全一致,否则跨线行为分裂。
  • L2 TLS状态层:session cache、session ticket key。特性是cache是本地的,ticket key必须是全局共享的——这是整篇文章的核心。
  • L3 外部依赖层:OCSP/CRL拉取、ACME验证。特性是出口路径必须显式指定,不能靠默认路由。

三、L0:证书资产的一致性分发

私钥文件权限这块,Nginx的master进程是root启动读私钥,worker降权跑,所以 600 root:root 是安全的。但如果你的Nginx是用systemd以非root身份跑(比如只监听8443),那私钥必须给到 640 root:ssl-cert,否则reload时master读不到会直接 SSL_CTX_use_PrivateKey_file() failed,而且这个错误只在reload日志里出现,worker继续用旧证书,非常隐蔽。

多节点/多IP场景下,第一件事是给证书文件加校验和,把它当成二进制资产管:

# 下发前生成清单,下发后逐节点比对
find /etc/nginx/ssl -maxdepth 1 -type f \( -name '*.pem' -o -name '*.key' \) \
  -printf '%P\t' -exec sha256sum {} \; | sort -k2 \
  > /etc/nginx/ssl/MANIFEST.sha256

# 每个节点上校验
cd /etc/nginx/ssl && sha256sum -c MANIFEST.sha256

证书文件本身必须是fullchain,不能是叶子证书:

ssl_certificate     /etc/nginx/ssl/www.example.com.rsa.fullchain.pem;
ssl_certificate_key /etc/nginx/ssl/www.example.com.rsa.key;
# 双算法:老Android/老Java不支持ECDSA,Nginx会按ClientHello的signature_algorithms自动选
ssl_certificate     /etc/nginx/ssl/www.example.com.ecdsa.fullchain.pem;
ssl_certificate_key /etc/nginx/ssl/www.example.com.ecdsa.key;

ssl_protocols       TLSv1.2 TLSv1.3;
ssl_ecdh_curve      X25519:prime256v1;

多线主机上移动端占比高,ECDSA证书能省掉约 1KB 的Certificate消息,在弱网下有实感。但要注意:部分老客户端只发 rsa_pkcs1_sha256,Nginx会回落到RSA证书——这个回落只在 ssl_certificate 配了两份时才生效,配单份ECDSA就是握手失败。

四、L2:session ticket key 是跨线恢复的唯一希望

先厘清一个常被混淆的点:ssl_session_cache shared:SSL:64m 是进程共享内存,能解决单机多worker的问题,但它出不了这台机器。BGP多线主机如果做了多节点(或者哪怕只是多IP绑在不同vhost上,客户端跨IP重连),shared cache完全无效。

真正能跨节点的是session ticket:服务端用key加密一段状态丢给客户端,客户端下次带着来,任何持有同一把key的节点都能解开,服务端零存储。代价就是这把key必须全节点一致。

Nginx的默认行为是致命的:不配 ssl_session_ticket_key 时,每个worker进程在启动时各自 openssl rand 生成一把,reload重新生成。8个worker = 8把key = 会话恢复率上限 1/8,跨节点更是 0。

4.1 一个只在TLS 1.3下暴露的版本坑

Nginx 1.23.2 之前,ssl_session_ticket_key 指令只对 TLS 1.2 及以下生效。TLS 1.3 的 NewSessionTicket 走的是 OpenSSL 自己的 SSL_CTX_set_tlsext_ticket_key_cb 路径,Nginx 压根没接管,key 由 OpenSSL 内部随机生成、且每个进程一套。也就是说:你照着文档配了 key,TLS 1.2 的恢复率上去了,TLS 1.3 的还是趴着。这种"半修复"最难发现。

# 一行确认你的版本是否支持
nginx -V 2>&1 | grep -o 'nginx/[0-9.]*'
# < 1.23.2 就先把 TLSv1.3 从 ssl_protocols 里摘掉,或者升级

4.2 正确的配置与轮转

# key 文件必须 48 字节(AES-128)或 80 字节(AES-256),推荐 80
openssl rand 80 > /etc/nginx/ssl/ticket_2025q1.key
chmod 600 /etc/nginx/ssl/ticket_2025q1.key
ssl_session_cache    shared:SSL:64m;
ssl_session_timeout  4h;
ssl_session_tickets  on;

# 顺序有语义:第一把用于加密新ticket,所有列出的key都用于解密
# 最多 5 条,轮转时新旧并存
ssl_session_ticket_key /etc/nginx/ssl/ticket_2025q1.key;
ssl_session_ticket_key /etc/nginx/ssl/ticket_2024q4.key;

轮转流程必须严格串行,任何一步跳过都会造成跨线重连解不开ticket:

  • 生成新key,放到列表第一位,旧key保留在第二位
  • 先把新key文件同步到所有节点并校验sha256,再统一reload
  • 等待一个完整的 ssl_session_timeout(这里4h),让旧ticket自然过期
  • 移除旧key,再次全节点reload

4.3 验证必须跨IP打,不能同IP自测

同IP测 -reconnect 只能证明单机worker间一致,证明不了跨线。要用 -sess_out / -sess_in 手工搬运ticket:

# 在电信线 IP 上领一张 ticket
timeout 8 openssl s_client -connect 203.0.113.10:443 \
  -servername www.example.com -tls1_3 \
  -sess_out /tmp/t.ticket 

期望输出 Reused, TLSv1.3。如果还是 New, TLSv1.3,先怀疑key没同步,再怀疑版本不支持(第4.1节)。注意TLS 1.3的 NewSessionTicket 是握手之后异步下发的,-sess_out 必须等客户端收完 ticket 才能退出,所以要包 timeout 并且不能直接接管道到 grep(会把连接提前关掉)。

为什么这件事对BGP多线特别重要:线路抖动时BGP撤路由,存量TCP连接被RST,客户端重连必然落新IP。ticket key 同步得好,重连是 1-RTT 恢复;同步得不好,是完整握手 + 证书链传输,移动网络下就是 600ms 的体感差异,这就是"切换时卡一下"的根因。

五、L3-A:OCSP/CRL 拉取必须显式绑出口

先说现状:Let's Encrypt 已经停掉了 OCSP 服务,走的是短周期证书 + 不再提供 OCSP URL 的路线;但商业CA(DigiCert、Sectigo、GlobalSign)仍然在发带 AIA: OCSP 的证书。只要你的证书里还有 ocsp_uri,这件事就绕不开。

5.1 Nginx 自动 stapling 在多线主机上的三个问题

  • per-worker独立缓存:每个worker各自去fetch,8个worker就是8次请求,reload后全部清零重来。OCSP responder 通常有速率限制,多IP出站更容易触发。
  • 冷启动窗口:Nginx只在实际握手时才发现没缓存并异步fetch,第一次握手没有staple响应。低频站点的这个窗口可能长达几小时。
  • 无法指定出口:resolver 指令没有任何接口绑定选项,Nginx也不支持给resolver socket打 SO_MARK。请求走系统默认路由——在你的多线主机上,那可能是管理口,也可能是那条正在抖动的线。

5.2 剥离fetch,用 ssl_stapling_file 接管

核心思路:Nginx只负责读文件,不负责拉取。拉取交给外部脚本,出口用 network namespace 强制绑定,完全确定性。

# 建一个只走联通备用口的 netns,专门跑 OCSP 拉取
ip netns add ocsp
ip link add ocsp0 type veth peer name ocsp1
ip link set ocsp1 netns ocsp
ip addr add 10.99.0.1/30 dev ocsp0 && ip link set ocsp0 up
ip netns exec ocsp ip addr add 10.99.0.2/30 dev ocsp1
ip netns exec ocsp ip link set ocsp1 up
ip netns exec ocsp ip route add default via 10.99.0.1
ip netns exec ocsp ip route add default via 172.16.0.1 dev eth2
sysctl -w net.ipv4.ip_forward=1
# 源地址 NAT 到联通口的固定IP,CA侧看到的就是一个稳定出口
iptables -t nat -A POSTROUTING -s 10.99.0.0/30 -o eth2 -j MASQUERADE
#!/bin/bash
# /usr/local/bin/ocsp-refresh.sh
set -euo pipefail
DIR=/etc/nginx/ssl
LEAF=$DIR/www.example.com.crt
ISSUER=$DIR/www.example.com.issuer.pem
OUT=$DIR/ocsp.der

OCSP_URL=$(openssl x509 -in "$LEAF" -noout -ocsp_uri)
[ -z "$OCSP_URL" ] && { echo "no ocsp_uri, skip"; exit 0; }
HOST=${OCSP_URL#http://}; HOST=${HOST%%/*}

ip netns exec ocsp openssl ocsp \
  -issuer "$ISSUER" -cert "$LEAF" \
  -url "$OCSP_URL" -header Host "$HOST" \
  -respout "$OUT.tmp" -no_nonce -noverify -timeout 8

# 必须校验响应状态,revoked 绝对不能上线
openssl ocsp -respin "$OUT.tmp" -issuer "$ISSUER" -cert "$LEAF" -no_nonce \
  | grep -q ': good' || { echo "OCSP not good"; exit 1; }
mv "$OUT.tmp" "$OUT"
# 文件模式需要 reload 才生效,Nginx reload 是平滑的
nginx -t && nginx -s reload
ssl_stapling        on;
ssl_stapling_file   /etc/nginx/ssl/ocsp.der;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/ssl/www.example.com.issuer.pem;
# 用了 stapling_file 就不再需要 resolver,去掉能省一次DNS依赖

验证:

openssl s_client -connect 203.0.113.10:443 -servername www.example.com \
  -status 

应该看到 OCSP Response Status: successful 和 Cert Status: good。四个IP都要打一遍,验证每条线读的是同一个文件。

六、L3-B:ACME验证在多线路由下的收敛

HTTP-01 的本质是"CA从公网访问 /.well-known/acme-challenge/xxx"。多线主机的分线路DNS意味着CA的验证节点可能落到任意一条线上,而每条线的vhost配置是人工维护的,必然有偏差。

收敛方案是在每个监听80的地址上都有唯一的default_server兜底,challenge路径用 ^~ 前缀匹配锁死:

server {
    listen 80 default_server;
    listen [::]:80 default_server;
    server_name _;

    location ^~ /.well-known/acme-challenge/ {
        root /var/www/acme;
        default_type text/plain;
        try_files $uri =404;
    }
    location / { return 444; }
}

三个必须避开的坑:

  • 不要在 server级 写 rewrite ^ https://$host$request_uri permanent;,server级rewrite在location匹配之前执行,challenge会被301到https,而https的vhost可能没配这个路径,验证直接失败。
  • ^~ 不能省。用普通 location 时,如果站点里有 location ~ \.php$ 之类的正则,challenge文件(无后缀)虽然不会命中,但只要有一条 location ~ / 就会抢走。
  • 如果前面挂了四层转发或高防,确认回源到的就是这台机器的22/80,而不是某条线指向的备用后端。

上线前从每条线各打一遍,期望全部返回 404(说明流量确实进了acme location,只是文件不存在),返回444或301都说明配置没生效:

for ip in 203.0.113.10 203.0.113.20 203.0.113.30; do
  printf '%-16s ' "$ip"
  curl -sS -o /dev/null -w '%{http_code}\n' \
    -H "Host: www.example.com" \
    "http://$ip/.well-known/acme-challenge/probe-$$"
done

七、L4:可观测性——别等用户投诉才发现

会话恢复率必须打点,它是最灵敏的"ticket key是否同步"探针:

log_format ssl '$remote_addr [$time_local] "$request" $status '
                'reused=$ssl_session_reused proto=$ssl_protocol '
                'sni=$ssl_server_name local=$server_addr';

access_log /var/log/nginx/ssl.log ssl;

$ssl_session_reused 的值只可能是 r(复用)或 .(未复用):

grep -o 'reused=.' /var/log/nginx/ssl.log | sort | uniq -c
#   9312 reused=r
#    687 reused=.

按 local=$server_addr 分组看,如果某条线的恢复率显著低于其它线,基本就是那台/那个vhost的ticket key没同步,或者版本不一致。

几条日常巡检命令:

# 1. 链完整性(四个IP各跑一次,看 Verify return code: 0)
openssl s_client -connect 203.0.113.10:443 -servername www.example.com \
  -verify_return_error