香港CN2服务器的自动化运维架构:控制面下沉 + 幂等重入,一份 41 分钟的 playbook 怎么压到 5 分 20 秒

一、先算账:32ms 的 RTT 是怎么变成 41 分钟的

上海控制节点到香港 CN2 节点,去回对称,实测 RTT 32ms,`traceroute` 里能看到 59.43 段,是正经的 GIA 回程。一份 214 个 task 的基线收敛 playbook,20 台机器,跑完 41 分 00 秒。

很多人第一反应是"跨境带宽不够",但 `iftop` 全程没超过 2Mbps。真正的成本在这里:

  • 每个 task 起一个 Python 解释器。Ansible 的 module 执行是 spawn 一个新 python 进程,冷启动 180~350ms,这段是纯等待,不占 CPU,但对 playbook 时长是实打实的串行累加。
  • 不开 pipelining 时每个 task 6~8 次 SSH 往返。mkdir tmpdir → sftp put module → chmod → exec → stat → rm -rf,32ms 一次,光往返就 200ms+。
  • 默认 forks=5。上面两项加起来每个 task 约 2.9s,5 路并发,20 台机器就是 4280 次 task 执行除以 5,直接顶到 41 分钟。
  • gather_facts 单独吃 6~9 秒。40 多个 fact,每个都是独立的 `setup` 探针,跨境场景下这个开销被放大得最明显。

所以优化方向不是"加带宽",是减少往返次数和消灭解释器冷启动。下面这套架构就是围绕这两件事搭的。

二、架构:控制面切三段,跨境链路只跑指令

[境内 GitLab CI / 人工触发]
        │  只保留 1 条持久 SSH 隧道,ControlPersist=8h
        │  承载量:指令 + 结果,< 100KB/次
        ▼
[香港 relay / runner]  ← 与被管节点同机房,RTT < 1ms
        │  fan-out,forks=50,mitogen 持久解释器
        ▼
[节点 A] [节点 B] [节点 C] ... [节点 N]

三条硬性原则,后面所有配置都是为它们服务的:

  • 跨境链路不承载 fan-out。境内只到 relay 一跳,relay 到节点走内网。20 台时收益不明显,200 台时这是 5 小时和 30 分钟的差别。
  • playbook / roles 用 git 拉,不用 scp 推。推是 N 次跨境传输,拉是香港本地 mirror 拉 N 次。
  • 事务状态落在香港本地。变更标记、事实缓存、锁文件全放 relay 或节点本地,断链后境内重连能立刻知道断在哪。

relay 节点选同机房同 CN2 出口的机器就行,轻云互联的香港 CN2 线内网互通是标配,relay 和业务节点开在同一段内网,省掉一整套跨机房组网。

三、ansible.cfg 里真正影响跨境耗时的键

[defaults]
inventory               = ./inventory/hk_cn2.py
forks                   = 50
gathering               = smart
fact_caching            = redis
fact_caching_connection = 127.0.0.1:6379:0
fact_caching_timeout    = 86400
strategy                = free
callbacks_enabled       = profile_tasks, timer
interpreter_python      = auto_silent

[ssh_connection]
pipelining   = True
ssh_args     = -C -o ControlMaster=auto -o ControlPersist=8h -o ServerAliveInterval=15 -o ServerAliveCountMax=4 -o TCPKeepAlive=yes
control_path = /dev/shm/ansible-ssh-%%h-%%p-%%r
retries      = 3

3.1 pipelining=True 静默失效的三个前提

这个开关开了不等于生效,`ansible.cfg` 里写 `True` 但实际还在走 sftp 上传 module 的情况非常常见。三个前提缺一不可:

  • 目标机 sudoers 里不能有 Defaults requiretty。CentOS 7 系列默认带,Debian 系不带,混部环境一定会踩。批量清掉:sed -i '/Defaults.*requiretty/d' /etc/sudoers,改完 `visudo -c` 验一遍。
  • 不能用 become_method: su。su 强制走 tty,pipelining 直接退化成普通模式。
  • 目标机 ~/.ansible/tmp 必须可写且不在 noexec 挂载点上。

验证方式别靠猜,直接看有没有 PUT 动作:

ANSIBLE_DEBUG=1 ansible hk-node-01 -m ping 2>&1 | grep -c 'PUT /tmp'
# 返回 0 = pipelining 生效;返回 >0 = 还在走 sftp,回去查上面三条

3.2 control_path 必须放 /dev/shm

这是最隐蔽的一个。默认 control_path 在 ~/.ansible/cp/,很多精简镜像把 /tmp 挂成 overlay 且带 noexec,ControlMaster socket 建在 noexec 挂载点上,ssh 不会报错,而是静默跳过复用,每个 task 都新建连接,白丢 2 个 RTT。

ssh -O check -S /dev/shm/ansible-ssh-hk-node-01-22-root hk-node-01
# Master running (pid=xxxx) 才算真复用了

3.3 strategy: free 和 serial 是互斥的

`free` 策略让每台机器自己往前跑,不等最慢的那台,跨境抖动场景下收益很大。但它会打乱 `serial` 的批次语义——灰度批次不再严格按组推进。要灰度就用 `linear` + `serial: 10%`;要用 `free` 就把批次控制放到 inventory 分层里做,别指望 `serial`。

四、Mitogen:把 Python 冷启动彻底干掉

pipelining 只解决了往返,没解决解释器冷启动。Mitogen 的思路是在目标机起一个持久的 python 进程,后续 module 以函数调用的方式在同一个解释器里执行,不再 spawn、不再传 module 压缩包。

ansible-galaxy collection install mitogen

# ansible.cfg 追加
[defaults]
strategy_plugins = /usr/local/lib/python3.11/site-packages/ansible_mitogen/plugins/strategy
strategy         = mitogen_linear

坑也要说清楚,不然上线当天就翻车:

  • 和 pipelining 互斥。mitogen 自带传输通道,`pipelining=True` 下行为未定义,配 mitogen 就把 pipelining 关掉。
  • 目标机不能是 scratch 容器,得有可用的 python ≥ 3.6。
  • bootstrapper 版本漂移会报 Connection refused: mitogen。升级 ansible 或 mitogen 后,清 /tmp/mitogen_* 和 ~/.ansible/tmp/mitogen_* 再跑。
  • shell 模块的 chdir 语义有细微差异,playbook 里大量依赖相对路径的脚本要过一遍 check mode。

五、幂等重入:SSH 断在 task 中间怎么办

CN2 也会抖,晚高峰 20:00~23:00 有 BGP 收敛。最恶心的不是断,是断在 `dnf install` 中间——SSH 没了,但 yum 的 lock 还在,dnf 进程还在后台跑,下一次重试直接卡在 "Waiting for process with pid xxx"。

5.1 block/rescue + wait_for_connection 重入

- name: 基线收敛(可重入)
  block:
    - name: 打事务标记
      copy:
        content: "{{ lookup('pipe','date -Is') }} {{ inventory_hostname }}\n"
        dest: /var/lib/ops/txn/{{ txn_id }}.open
        mode: "0600"

    - include_tasks: tasks/kernel.yml
    - include_tasks: tasks/limits.yml
    - include_tasks: tasks/network.yml

  rescue:
    - name: 等节点回连(最多 300s)
      wait_for_connection:
        delay: 5
        timeout: 300
        sleep: 5
      register: reconn
      retries: 3
      until: reconn is succeeded

    - include_tasks: tasks/rollback_or_retry.yml

  always:
    - file:
        path: /var/lib/ops/txn/{{ txn_id }}.open
        state: absent

这套结构能不能重入,完全取决于被 include 的每个 task 是否幂等。`dnf: state=present` 幂等,`systemd: state=restarted` 不幂等——重入会多重启一次,如果是滚动重启,节点间会话表就乱了。规范是:所有 restart 类操作改成 `state: started` + handler 触发,或者在 shell 里显式判断状态。

5.2 shell 模块必须自带锁和状态判断

跨境电商机房的网络重启是最容易踩的,必须加 flock,否则两个 batch 撞上直接锁死:

- name: 刷新路由缓存并重启网络(带 flock 防并发)
  shell: |
    exec 9>/var/lock/ops-net.lock
    flock -w 60 9 || { echo LOCK_TIMEOUT; exit 75; }
    if systemctl is-active --quiet sshd; then
      ip route flush cache
      systemctl restart network
    fi
  args:
    executable: /bin/bash
  register: net_res
  changed_when: "'LOCK_TIMEOUT' not in net_res.stdout"
  failed_when: net_res.rc not in [0, 75]
  retries: 2
  delay: 20

5.3 变更门禁:链路不健康就别开始

再好的重入逻辑也不如"不开始"。把线路体检做成 playbook 的第一个 play,`delegate_to: localhost`,退出码非 0 直接 hold:

#!/bin/bash
# /usr/local/bin/cn2-gate.sh  —— 变更前体检
NODE="$1"
THRESH_LOSS=2      # 百分比
THRESH_RTT=45      # ms

out=$(ping -c 20 -i 0.05 -W 1 -q "$NODE" 2>/dev/null | tail -1)
loss=$(echo "$out" | awk -F'[,%]' '{gsub(/ /,"",$3); print $3}')
avg=$(echo "$out"  | awk -F'/' '{print $5}')

[ -z "$loss" ] && { echo "GATE: no reply"; exit 1; }
[ "$loss" -gt "$THRESH_LOSS" ] && { echo "GATE: loss ${loss}%"; exit 1; }
[ "${avg%.*}" -gt "$THRESH_RTT" ] && { echo "GATE: rtt ${avg}ms"; exit 1; }

# 确认回程仍走 CN2 GIA(59.43 段),被切到 202.97 说明线路降级
traceroute -n -w 1 -q 1 -m 12 "$NODE" 2>/dev/null | grep -q '59\.43\.' \
  || { echo "GATE: not on CN2 GIA"; exit 2; }

echo OK

六、ansible-pull:低频大批量场景把控制面彻底推走

对基线收敛这种低频、全量、结果确定的任务,push 模式本身就是错的。改成节点自己拉:

*/30 * * * * ansible-pull -U git@git.internal:hk/cn2-baseline.git \
  -d /var/lib/ansible/pull -C master -i "localhost," \
  -c local --limit "$(hostname)" -o /var/log/ansible-pull.log 2>&1

`-o` 是 only-if-changed,git 没更新就直接退出,日常成本接近 0。200 台机器同时收敛,跨境只拉了 N 次 git(还是走香港本地 mirror),完全不存在 SSH 往返放大。

注意 pull 模式拿不到 fact 缓存,每次都是真采。所以 pull 的 playbook 必须写死 gather_facts: false,只采自己需要的少数字段,别用默认采集。

七、落地后的实测曲线

阶段                                       单task均耗    整批(20台/214 task)
-----------------------------------------------------------------------------
默认 (forks=5, 无 pipelining)                 2.90s          41m 00s
+ pipelining + ControlPersist(/dev/shm)       1.85s          26m 10s
+ gathering=smart + redis fact_cache          1.62s          22m 55s
+ forks=50 + strategy=free                    1.10s          15m 35s
+ mitogen (控制面仍在境内)                     0.38s           5m 24s
+ 控制面下沉香港 relay                          0.34s           4m 48s

说句实话:20 台规模下控制面下沉只省了 36 秒,mitogen 才是主角。下沉的价值在 200 台以上——同样的配置,境内直连 fan-out 是 5 小时,下沉后 30 分钟出头。别把顺序搞反,先上 mitogen,规模到了再下沉。

八、顺手加两个自动化巡检项

重装、换机之后有两个东西必变,而且直接影响 CN2 高 PPS 场景的收包能力,自动化巡检一定要覆盖:

# 落基线
ethtool -g eth0 > /var/lib/ops/baseline/eth0.ring
for q in /sys/class/net/eth0/queues/rx-*; do cat "$q/rps_cpus"; done \
  > /var/lib/ops/baseline/rps.map

# 巡检 diff(ethtool -S 的计数器会变,别拿它做 md5)
diff -q /var/lib/ops/baseline/eth0.ring <(ethtool -g eth0) || echo "RING DRIFT"
diff -q /var/lib/ops/baseline/rps.map \
  <(for q in /sys/class/net/eth0/queues/rx-*; do cat "$q/rps_cpus"; done) \
  || echo "RPS DRIFT"

ring buffer 掉回默认 256、rps_cpus 全 0,这两件事不会报错,只会在流量峰值时表现为"带宽够、PPS 打不上去",没有基线根本查不出来。轻云互联的香港 CN2 节点出厂这两项是收敛过的,但换网卡或重装系统后照样会被重置,巡检脚本别省。

九、小结一下优先级

  • 先查 pipelining 是否真的生效(grep PUT 计数),这是最大的一块免费收益。
  • ControlMaster 的 socket 挪到 /dev/shm,noexec 挂载点上的静默失效坑过太多人。
  • 上 mitogen,单 task 从 2.9s 干到 0.4s 以内,收益远超所有 ssh_args 调参之和。
  • 所有变更 playbook 按"可重入"写,restart 类操作改成 started + handler,shell 模块自带 flock。
  • 变更门禁前置,链路不健康就别开始,比任何回滚逻辑都便宜。
  • 规模过百台再考虑控制面下沉,顺序别搞反。