行业新闻
-
高防CDN回源层扩容 8→12 台,源站 DB 被打到 91%:reload 期间双 hash 环共存、proxy_next_upstream 连环重试、max_fails 级联摘除
一、事故时间线:边缘一切正常,源站却在流血 下午两点,源站集群扩容窗口。原计划把回源层的 upstream 从 8 台加到 12 台,脚本生成配置后 nginx -t && nginx -s reload ,全程 3 秒,没报错。 14:02:11 reload 完成,边缘节点侧的所有监控指标——带宽、QPS、5xx 比例、缓存命中...
-
VPS 上装 SSL:本地 openssl 全绿、安卓报 ERR_CERT_AUTHORITY_INVALID,三个静默坑逐个拆
先对齐一下现象 VPS 上折腾 SSL 证书,真正卡住人的极少是“怎么申请”,几乎都是申请完之后——Chrome、Safari、`curl` 看着都正常,偏偏用户群里有人反馈手机端打不开;或者监控三天两头告警说证书快过期,但你登上去看,明明刚续期过。 下面这三处是我在客户机器上反复遇到、而且每次都得花半小时才能定位的静默坑,按踩坑频率排。...
-
大带宽服务器自动化初始化的 4 个静默坑:巨帧 MTU 改反顺序、ethtool -L 热改不幂等、irqbalance 抢走 25G 中断、SNMP 计数器 3.4 秒回绕
大带宽服务器的自动化运维,坑不在"跑不起来",而在"跑起来了、脚本全绿、监控正常,业务一上量就废"。10G/25G 网卡上,很多配置项的失败是 静默 的——命令 exit 0,日志没报错,但实际没生效。下面四个坑,是我在批量交付 25G 机器时踩过的,每个都配了能直接抄的验证命令。 坑 1:巨帧 MTU 改错顺序,ping 通不代表通 先...
-
香港CN2服务器跑MySQL:InnoDB参数一个没动,只改TCP initcwnd和认证插件,跨境点查P99从212ms压到68ms
先说结论,省得你往下翻 我们有一批业务部署在香港,应用侧在深圳、上海、北京三地。MySQL 8.0.34 单机跑在香港 CN2 机器上,8C16G + NVMe。有段时间北京那边的接口超时告警天天响,我一开始也怀疑是 InnoDB 的问题——buffer pool 不够、redo 太小、刷盘策略不对,这些都是刻板印象。 后来 sysben...
-
宝塔面板每次点"保存"都在重写你的 vhost:用 extension 目录挂配置,顺手排掉 cron 的 PATH 雷和面板自己的 300MB
在 VPS 上跑宝塔,最容易踩的其实不是装什么组件,而是 你改的东西什么时候被面板悄悄覆盖 。下面这几个现场都是我自己或客户环境里实际踩过的,不是理论推演。 一、先验证:vhost 到底是不是你的 随便找一个站点,记下 md5,然后去面板点一下"保存"(改伪静态、加域名、切 PHP 版本、续签 SSL 任意一个动作都行),再算一次。 ...
-
高防CDN 源站被 Range: bytes=0-0 打穿:Nginx slice 分片回源落地、cache key 漏 $slice_range 引发的文件错乱,与 max_ranges 的兜底价值
事故现场:不是 DDoS,是 206 上周三凌晨,一个下载类客户的源站(Apache 2.4 + PHP-FPM)被打到不可用。奇怪的是高防节点侧的入向带宽只有 2.1Gbps,远没到清洗阈值,CC 防护也没触发告警——攻击流量看起来“很温和”。 源站上看到的是另一幅画面: top load 冲到 180,全是 httpd ...
-
裸金属 192 核上 Nginx 限流集体失效:shared zone 的 slab 分配账,1MB 到底装多少个 key
上周帮一个客户复盘一起刷单事故。反代是两台裸金属,2×96C / 512G / 25G 双口, limit_req 配的是 200r/s,一年没动过。攻击峰值打到单机 60 万 PPS,限流一点反应没有,业务侧 PHP 全挂。 翻 error.log,在凌晨 3 点那段翻到几百条: 2026/05/12 03:14:22 [emerg...
-
40TB 裸金属迁移验收全绿、切业务 3 小时就回滚——应用把 mtime 改回去了,全公司只有 ctime 抓得住
去年底给一家做日志归档分析的客户搬数据,源端是一台服役 4 年的老双路,目的端是轻云互联的裸金属(25G 双口直连、本地 NVMe、IPMI 和 BIOS 全套权限在手)。40TB,两百多万个文件,rsync 两轮同步,dry-run 校验输出为空,凌晨 2 点切流量。 3 小时后,业务侧的统计任务报了 1.1 万条主键冲突——目的端的文件比源...
-
25G 大带宽服务器卡在 17.3Gbps:ethtool 与 ip -s link 全是零丢包,softnet_stat 第二列却在偷偷涨
一、故障现场 客户是视频切片回源业务,用的是轻云互联一台 25G 口的大带宽独服。8 个 RX/TX 队列,MTU 1500,跑的是纯 TCP 出向分发。上线第三天报障: 带宽上不去,17.3Gbps 就横住了 ,客户端看速度曲线是"能跑但封顶",没有尖刺、没有超时、没有 5xx。 第一反应的战场一定在网络栈。 sar -n DEV 1 ...
-
裸金属跑 LVS-DR 的 5 个静默坑:bond0 的 arp_ignore 在 sysctl -p 时压根没写进去、ip_vs 默认 4096 个哈希桶把 25G 网卡锁在 3 万 PPS
先说清楚场景,不然下面全是空谈:两台裸金属物理机做 DS(Director Server),Keepalived 主备,LVS 走 DR 模式,后端是几十台物理机 RS 跑 nginx/PHP-FPM。25G 双口 bond4 接交换机,VIP 是公网段。 这个架构的问题在于—— 它在你压测到 30% 负载之前,看起来是完全正常的 。ipvsa...