痛点与场景

BGP多线主机最常见的用法是单IP自动选路，但在高可用、多活、或者需要精细化流量管理的场景下，你会发现一个痛点：所有容器共用主机的默认路由，无法按需选择出口线路。比如你跑了一个爬虫集群，希望部分容器走电信出口，部分走联通出口，或者你的API网关需要对不同来源的请求通过不同线路回源。普通Docker bridge或overlay网络根本做不到。

今天直接上硬核操作：利用Docker的Macvlan驱动，在BGP多线主机上为每个容器绑定独立的物理线路IP，并且实现线路故障时容器自动切换路由。全程无套话，只有命令和配置。

环境准备

测试机：轻云互联 BGP多线主机（3线接入：电信、联通、移动），CentOS 7.9，Docker 24.0.x，内核5.10+（Macvlan依赖）。

确认主机多线IP配置（假设）：

eth0: 电信 1.1.1.1/24  网关 1.1.1.254
eth1: 联通 2.2.2.2/24  网关 2.2.2.254
eth2: 移动 3.3.3.3/24  网关 3.3.3.254

确保宿主机已开启IP转发：

sysctl -w net.ipv4.ip_forward=1
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf

第一步：创建三线Macvlan网络

Macvlan直接绑定物理接口，容器拿到的是物理网段的独立IP，不经过NAT。注意：Macvlan模式下容器与宿主机不能直接通信（除非用Macvlan bridge模式或额外配置）。

创建三个独立网络：

docker network create -d macvlan \
  --subnet=1.1.1.0/24 \
  --gateway=1.1.1.254 \
  -o parent=eth0 \
  macvlan_telecom

docker network create -d macvlan \
  --subnet=2.2.2.0/24 \
  --gateway=2.2.2.254 \
  -o parent=eth1 \
  macvlan_unicom

docker network create -d macvlan \
  --subnet=3.3.3.0/24 \
  --gateway=3.3.3.254 \
  -o parent=eth2 \
  macvlan_mobile

第二步：启动容器并绑定多线IP

启动三个Nginx容器，分别绑不同线路的IP：

docker run -d --name nginx-tel \
  --network macvlan_telecom \
  --ip 1.1.1.100 \
  nginx:alpine

docker run -d --name ngix-uni \
  --network macvlan_unicom \
  --ip 2.2.2.100 \
  nginx:alpine

docker run -d --name nginx-mob \
  --network macvlan_mobile \
  --ip 3.3.3.100 \
  nginx:alpine

验证：分别在宿主机和外部机器ping这三个IP，确认三线直达。

第三步：核心操作——容器内多线冗余与故障转移

单个容器只能在一个Macvlan网络中，但我们可以通过多个网络接口+策略路由实现一个容器同时拥有三条线路，并设置主备切换。这才是真正的高阶玩法。

创建一个容器，同时接入两个Macvlan网络（最多可接三个）：

docker run -d --name multi-line \
  --network macvlan_telecom \
  --ip 1.1.1.101 \
  nginx:alpine

docker network connect --ip 2.2.2.101 macvlan_unicom multi-line
docker network connect --ip 3.3.3.101 macvlan_mobile multi-line

进入容器查看网卡：

docker exec -it multi-line sh
/ # ip addr
1: lo: ...
2: eth0: 1.1.1.101/24
3: eth1: 2.2.2.101/24
4: eth2: 3.3.3.101/24

问题来了：默认路由只有一条（通常是第一个接入的eth0的网关）。我们需要配置策略路由，让容器内部根据源IP选择出口。

容器内配置策略路由

# 在容器内执行（或者做成entrypoint脚本）
ip route add default via 1.1.1.254 table telecom
ip route add default via 2.2.2.254 table unicom
ip route add default via 3.3.3.254 table mobile

ip rule add from 1.1.1.101 table telecom
ip rule add from 2.2.2.101 table unicom
ip rule add from 3.3.3.101 table mobile

验证：从容器内分别bind不同源IP去curl外部服务，确认出口线路正确。

第四步：线路故障自动转移——核心机制

依赖内核的equalize或多路径路由？不用那么复杂。我们用ip monitor + 脚本实现秒级切换。在宿主机上写一个监视脚本，检测某个网关是否可达，如果不可达，则批量更新所有容器的路由表。

宿主机脚本示例（/usr/local/bin/failover.sh）：

#!/bin/bash
GW_TELECOM="1.1.1.254"
GW_UNICOM="2.2.2.254"
GW_MOBILE="3.3.3.254"

# 检测电信线路
ping -c 2 -W 1 $GW_TELECOM &>/dev/null
if [ $? -ne 0 ]; then
    echo "[$(date)] 电信网关不可达，执行切换"
    # 遍历所有容器，将默认路由切到联通
    docker ps -q | while read cid; do
        docker exec $cid ip route replace default via $GW_UNICOM 2>/dev/null
    done
fi

# 同理检测联通、移动，省略

配合systemd timer或crontab每5秒执行一次：

* * * * * sleep 0; /usr/local/bin/failover.sh
* * * * * sleep 5; /usr/local/bin/failover.sh
... 共12个条目，实现5秒间隔

真实场景下，你可以在容器内跑bird或frr实现BGP动态路由，直接接收上游的线路状态，切换速度可达毫秒级。 但轻量场景用上述脚本足够。

第五步：验证故障转移

模拟电信线路故障：在宿主机上执行iptables -A OUTPUT -d 1.1.1.254 -j DROP，然后观察容器内的默认路由是否自动切换到联通网关。

# 在multi-line容器内
ip route show
# 预期：default via 2.2.2.254 ...

curl外部测试IP（如curl --interface eth1 -s ifconfig.me），确认出口IP变为联通。

排坑与注意事项

• Macvlan与宿主机通信：默认Macvlan模式下，宿主机无法直接访问容器的Macvlan IP。如果需要，可以在宿主机上创建同网段的Macvlan子接口，或者使用ipvlan。
• 内核参数：如果容器内策略路由不生效，检查net.ipv4.conf.all.rp_filter是否设为0或2，或者设置net.ipv4.conf.eth0.rp_filter=0。
• ARP隔离：某些云环境（如轻云互联）的BGP多线主机，物理交换机可能做了MAC限制，Macvlan的MAC需要与IP对应，否则可能被丢弃。建议先在一台测试机验证。
• 性能：Macvlan接近原生性能，无NAT损耗。实测在轻云互联BGP主机上，容器内三线吞吐均能跑满带宽。

总结

这套方案让你在BGP多线主机上实现了真正的容器级多线绑定与故障转移，比传统的VIP漂移更精细、更灵活。适合爬虫、API多活、游戏加速、金融交易等需要精细控制出口线路的场景。如果不想手动管理路由，可以上BGP over WireGuard或FRR容器化，那就是另一个深水区了。