高防CDN的SYN Proxy替你握了手,也顺手删掉Window Scale:BDP从4MB跌到64KB,大文件下载死死卡在13Mbps
先说现象。站点接入高防CDN之后,小请求、API、首页都正常,ping 和 curl 一个 1KB 文件也是毫秒级。但静态资源一上量就出问题:单个 TCP 连接的下载速度稳定在 12~13 Mbps,怎么都上不去,换多线程才勉强凑出带宽。同一个源站、同一个客户端,绕过高防直连能跑到 200 Mbps 以上。
大部分人的第一反应是“清洗节点限速了”或者“回源带宽不够”。去问厂商,厂商说没限。这时候如果你去抓包,会发现问题根本不在带宽,而在 TCP 握手那一瞬间就已经被写死了。
一、tcpdump 抓 SYN 和 SYN-ACK,对着 option 字段看
在源站侧抓(经过回源隧道解开之后),同时抓客户端侧的入向 SYN:
# 客户端 → 清洗节点 的 SYN
tcpdump -i eth0 -nn -c 3 -vv 'tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn and dst port 443'
# 清洗节点 → 客户端 的 SYN-ACK
tcpdump -i eth0 -nn -c 3 -vv 'tcp[tcpflags] & (tcp-syn|tcp-ack) == (tcp-syn|tcp-ack) and src port 443'
正常的一对,选项应该长这样:
Flags [S], seq 1234567, win 64240,
options [mss 1460,sackOK,TS val 3841220 ecr 0,nop,wscale 7], length 0
Flags [S.], seq 7654321, ack 1234568, win 65535,
options [mss 1400,sackOK,TS val 918223 ecr 3841220,nop,wscale 7], length 0
而出问题的那台,SYN-ACK 是这样的:
Flags [S.], seq 7654321, ack 1234568, win 65535,
options [mss 1400,sackOK,nop,nop,nop,nop,nop,nop,nop,nop,nop,nop], length 0
wscale 没了,TS 也没了。 这不是“优化”,这是灾难。因为 SYN Proxy 的核心工作就是:清洗节点截获客户端的 SYN,自己伪造一个 SYN-ACK 回过去(Linux 内核走 tcp_v4_send_synack,或者 DPDK 用户态手搓包头),只有客户端回 ACK 且 cookie 校验通过,才和源站真正建连。问题就出在“自己回 SYN-ACK”这一步——如果 SYN-ACK 是手搓的,选项模板就是配置里写死的那几个字段,wscale 和 TS 很容易被漏掉;如果 SYN-ACK 走的是内核栈,但套的是 SYN Cookie 路径,tcp_make_synack 是否带 wscale 取决于 tcp_synack_options() 里的判断,有些被裁剪过的内核或加速卡固件根本没实现这段。
二、Window Scale 只活在三秒握手里,之后永远补不回来
这是 Window Scale(kind=3)最坑的地方:它只在 SYN / SYN-ACK 里协商一次,一旦有一方没带,双方就永久退化为 16 位窗口,最大 65535 字节。你后面在源站怎么调 net.ipv4.tcp_rmem、tcp_wmem 都是白搭,因为 tp->rx_opt.wscale_ok 已经是 0,receiver 通告出去的窗口字段就只能是原始 16 位。
算一下上限,假设客户端到清洗节点 RTT 40ms:
python3 -c "print(f'{65535*8/0.040/1e6:.1f} Mbps')"
# 13.1 Mbps
刚好就是观测到的那个数。传输不会“慢”,它会精准地停在 BDP 上限:滑动窗口填满之后,发送方必须等 ACK 才能继续发。你在 ss 里能看到 cwnd 已经涨到头了却毫无意义:
ss -tin state established '( sport = :443 )' | head -20
ESTAB 0 0 10.0.0.5:443 203.0.113.7:51234
cubic wscale:0,0 rto:208 rtt:40.3/12.1 mss:1400 pmtu:1500
cwnd:45 ssthresh:43 send 1.9Mbps ...
三个判据同时命中,基本可以定案:
wscale:0,0—— 协商失败(若正常应是wscale:7,7)mss:1400而pmtu:1500—— 说明回源侧确实做了 MSS clamp,这不是问题cwnd:45贴着 65535/1400≈46 的上限 —— 拥塞窗口再大也没份额度可用
顺带一提,如果你在源站执行 sysctl net.ipv4.tcp_window_scaling 看到是 1,也别高兴太早——这个开关只影响本机主动发 SYN 时是否提议 wscale,对被动接收的连接不起作用,因为是否启用缩放由对端 SYN 里的选项决定。
三、Timestamp 丢失引出第二个坑:PAWS 误杀长连接
同样在这次抓包里,TS 也没了。丢掉 TS 本身不会立刻出事(RFC 7323 允许一段禁用),但一旦清洗节点是“TCP 拼接器”模式——客户端到 POP 是一条连接,POP 到源站是另一条连接,POP 做序列号和窗口的翻译——两侧的 TS 时钟源不同步就会出问题。
PAWS(Protection Against Wrapped Sequences)的逻辑是:收到的包 TSval 如果比本地记录的 ts_recent 小很多,就判定为回绕后的旧包,直接丢弃。tcp_paws_discard() 里还有 24 天的时间戳容差(TCP_PAWS_24DAYS)。当一条长连接维持了几天,而中间那台设备重启或者主备切换导致 TS 时钟回退,后续所有包都会被 PAWS 丢掉,表现为连接“假死”——不 RST,不发 FIN,就是没数据。
查这个不用抓包,看计数器就够:
nstat -az | grep -iE 'PAWS|TWRecycled|OutOfWindow'
# TcpExtPAWSActive 0
# TcpExtPAWSEstab 1237 <-- 这个非零就要查了
# TcpExtTCPBacklogDrop 0
治标在应用侧:把心跳压到 300 秒以内,别让连接活过清洗设备的会话老化时间(多数高防设备 established 表项是 1800s,跟 Linux 默认 nf_conntrack_tcp_timeout_established 的 432000s 差了两个数量级)。治本还是让回源连接支持完整的选项协商。
四、更阴的一层:SYN Cookie 的 secret 在多个清洗节点之间不同步
SYN Proxy 校验客户端靠的就是 SYN Cookie。Linux 的实现里,cookie 里的时间因子来自:
// include/net/tcp.h
#define TCP_SYNCOOKIE_TIME (60 * HZ)
static inline __u32 tcp_cookie_time(void)
{
u64 val = get_jiffies_64();
do_div(val, TCP_SYNCOOKIE_TIME);
return val;
}
每 60 秒换一个槽,校验时允许当前槽和上一个槽,也就是说容错窗口大概 60~120 秒。如果高防走的是 Anycast 或者多台设备共享 VIP(比如 DNS 轮询同一组清洗 IP),而各节点的 cookie secret 是用启动时的随机数做的、没有集中下发,那么:
- 客户端第一个 SYN 落到节点 A,A 回了 SYN-ACK,包里塞的是 A 的 cookie
- 客户端因为丢包重传 SYN,路由抖动或者哈希变了,落到节点 B
- B 拿到这个 ACK,用自己的 secret 去验,必然失败,
tcp_v4_check_syn_cookie()返回 false,静默丢弃 - 客户端侧表现:首次连接超时 3 秒,重试就成功,抓包看不到任何 RST
这个故障最恶心的地方是它“偶发且自愈”,监控上只看到 P99 握手耗时抬高,成功率掉 0.3%,很难归因。查计数器:
nstat -az | grep Syncookie
# TcpExtSyncookiesSent 48213
# TcpExtSyncookiesRecv 0
# TcpExtSyncookiesFailed 176 <-- 关键,非零说明 cookie 验不过
sysctl net.ipv4.tcp_syncookies
# 2 表示无条件发 cookie(不维护 SYN 队列),1 表示队列满了才发
如果 SyncookiesFailed 持续增长,先排除 secret 不同步,再排除时钟源漂移(虚拟机/容器的 jiffies 起点不同,60 秒槽的相位就不一致)。
五、怎么修:三条路,按代价从低到高
路线 1:推动上游把选项透传打开(成本最低)
成熟的高防设备都支持 “TCP Option Preserve” 或者叫 “Option Passthrough”,本质是让 SYN-ACK 的 option 列表从客户端的 SYN 里按白名单拷贝:mss / sackOK / wscale / TS / nop / ws。要求厂商把这条打开,然后回归验证:
# 回归判据,客户端侧执行
for i in $(seq 1 20); do
ss -tin dst :443 2>/dev/null | grep -o 'wscale:[0-9],[0-9]'
sleep 0.2
done | sort | uniq -c
输出应该全是 wscale:7,7(或者至少两端都非零),出现 wscale:0,x 就是没生效。
路线 2:不开 SYN Proxy,改走 BGP 引流 + 纯流量清洗
只做 L3/L4 的速率限制和特征过滤,握手由源站自己完成。这样选项协商天然完整,代价是源站要自己扛住 SYN flood——把 net.ipv4.tcp_syncookies=1、net.core.somaxconn、net.ipv4.tcp_max_syn_backlog 调上去,配合 XDP 侧做逐源限速就够了。我们后来把回源侧切到轻云互联的高防线路,他们的清洗节点用的是内核态 SYN Proxy 而不是用户态手搓包,SYN-ACK 的选项模板跟源站原生一致,wscale 和 TS 都是齐全的,这个问题就再没复现过。
路线 3:源站侧兜底,MSS clamp + MTU 探测
如果回源走 GRE / VXLAN 封装,PMTU 一定要处理,否则会出现“握手成功但大包全丢”的黑洞:
iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN \
-j TCPMSS --clamp-mss-to-pmtu
sysctl -w net.ipv4.tcp_mtu_probing=1
sysctl -w net.ipv4.tcp_base_mss=1024
tcp_mtu_probing=1 不是万能的——它只在检测到 PMTU 黑洞时才把 MSS 往下打,而且会让你多花几个 RTT 才收敛。它治不了 wscale 缺失,别拿它当银弹。
六、最后给一份排查清单
遇到“接入高防后单连接吞吐塌陷、长连接假死、偶发握手失败”,按这个顺序走,基本不会绕路:
ss -tin看wscale—— 为 0 就是 SYN Proxy 选项丢了,别再怀疑带宽ss -tin看cwnd是否贴着65535/mss—— 是的话坐实 16 位窗口退化nstat -az | grep PAWS——PAWSEstab增长说明长连接的 TS 拼接出了问题nstat -az | grep Syncookie——Failed增长说明多节点 secret 或时钟槽不同步conntrack -L -p tcp --state ESTABLISHED | wc -l对比清洗设备的会话表老化时间,把应用心跳压到老化时间的 1/6 以内- 抓 5 个 SYN 和 5 个 SYN-ACK,逐字段 diff option,比任何日志都直接
总结成一句:DDoS 防护里做握手代答是有代价的,代价就藏在 TCP option 那几十个字节里。清洗设备替你握了手,也就替你决定了这条连接之后能跑多快。