行业新闻
-
高防CDN回源尖峰把 PHP-FPM 池打穿,`max_execution_time` 却一声不吭:`setitimer(ITIMER_PROF)` 量的是 CPU 钟,不是墙钟
现象:清洗完成后回注的那 30 秒,502 和 active processes 一起飙 凌晨两点,攻击停了,CDN 控制台的"已清洗"绿灯亮起,回注流量在 30 秒内从 4000 QPS 冲到 3.2 万 QPS。源站 Nginx 的 error.log 在这个窗口里刷出两类错误,必须分开看: upstream timed out (...
-
大带宽服务器自建DDoS第一道闸:XDP吞掉800万pps的SYN,`ip -s link`却报零丢包
上个月帮一个做游戏登录网关的团队看一台25G独服,被8Mpps的SYN加UDP小包混着打。业务表现是:CPU总利用率只有18%, top 看不到任何进程飙升,机器能ping通,但玩家就是连不上, ss -lnt 看到80端口的Recv-Q常年贴着4096。 他们第一反应是上 iptables -m hashlimit 。我让他们先别写规则——8...
-
对象存储迁移三种“假绿”:分片 ETag 不是 MD5、归档层 GET 静默 403、sync 重猜 MIME 把 .gz 改坏
先把结论摆在最前面 做了这么多年迁移,最怕的不是迁移报错,而是 迁移脚本退出码 0、校验报告全绿、三天后业务反馈“附件打不开 / 图片变成下载 / 首页白屏” 。对象存储迁移的坑,九成集中在“校验”这一环——你以为你在校验,其实你什么都没校验。 下面这三条,是踩过之后才会记一辈子的。 坑一:把 ETag 当 MD5 用,multipar...
-
大带宽服务器数据迁移跑不到线速的底层账:tcp_wmem 把 BDP 焊死,rsync 的滚动校验又让零拷贝成了摆设
现象:iperf3 能到 23Gbps,rsync 单进程只有 9.8Gbps 两台 25G 双口 bond 的大带宽服务器,NVMe RAID 顺序写 fio 能到 2.9GB/s, iperf3 -P 8 跑到 23.1Gbps, ip -s link 和 ethtool -S 全是零丢包、零 discard。但 rsync -a ...
-
HAProxy 探云数据库全部 DOWN:`option mysql-check` 撞上 `require_secure_transport`,以及只读副本靠 agent-check 才拦得住写流量
上周三晚上,一套读写分离的 MySQL 云数据库前面那层 HAProxy 突然在 stat 页上全部变红, show stat 里所有 backend 的 check_status 都是 L4CON/L7STS,但运维拿 mysql -h 10.20.1.11 -u app -p 秒连,业务侧也看不出问题——因为应用连的是 rw 端。真正出...
-
高防CDN 的“无状态防护”是假象:SYN 洪水下内核 request_sock 的真实内存账,以及状态被推到 cookie / eBPF / 回注三处的代价
先看一个真实场景 某游戏业务,边缘节点 25G 网卡,SYN 洪水峰值 280 万 PPS 。现象很怪: 带宽只占 18%,网卡无丢包, ethtool -S 全绿 CPU 55%,没打满 但健康检查开始飘,业务侧 5xx 涨,控制台一直显示“攻击已清洗,回注 4.2Gbps” 抓包看内核计数器: nsta...
-
高防CDN控制台明明显示“攻击已清洗”,回注只剩 3Gbps 业务却丢 15% 包:UDP 反射洪水下 nf_conntrack 的三个静默丢包点
一、现场:控制台全绿,业务全红 凌晨 2:14,一个跑自研 KCP 的游戏业务告警:UDP 4000-4100 端口,P99 从 42ms 干到 380ms,丢包率 12%~18%,玩家批量掉线。这套业务接在高防 CDN 上,边缘是三台 25G 口的清洗节点,平时峰值 3Gbps。 登上高防控制台一看:攻击峰值 187Gbps / 32Mpp...
-
高防CDN回源层扩容 8→12 台,源站 DB 被打到 91%:reload 期间双 hash 环共存、proxy_next_upstream 连环重试、max_fails 级联摘除
一、事故时间线:边缘一切正常,源站却在流血 下午两点,源站集群扩容窗口。原计划把回源层的 upstream 从 8 台加到 12 台,脚本生成配置后 nginx -t && nginx -s reload ,全程 3 秒,没报错。 14:02:11 reload 完成,边缘节点侧的所有监控指标——带宽、QPS、5xx 比例、缓存命中...
-
VPS 上装 SSL:本地 openssl 全绿、安卓报 ERR_CERT_AUTHORITY_INVALID,三个静默坑逐个拆
先对齐一下现象 VPS 上折腾 SSL 证书,真正卡住人的极少是“怎么申请”,几乎都是申请完之后——Chrome、Safari、`curl` 看着都正常,偏偏用户群里有人反馈手机端打不开;或者监控三天两头告警说证书快过期,但你登上去看,明明刚续期过。 下面这三处是我在客户机器上反复遇到、而且每次都得花半小时才能定位的静默坑,按踩坑频率排。...
-
大带宽服务器自动化初始化的 4 个静默坑:巨帧 MTU 改反顺序、ethtool -L 热改不幂等、irqbalance 抢走 25G 中断、SNMP 计数器 3.4 秒回绕
大带宽服务器的自动化运维,坑不在"跑不起来",而在"跑起来了、脚本全绿、监控正常,业务一上量就废"。10G/25G 网卡上,很多配置项的失败是 静默 的——命令 exit 0,日志没报错,但实际没生效。下面四个坑,是我在批量交付 25G 机器时踩过的,每个都配了能直接抄的验证命令。 坑 1:巨帧 MTU 改错顺序,ping 通不代表通 先...