Calico IP In IP模拟组网

网络架构

模拟组网

• 先在k8s-master-1节点执行如下命令：

# 创建veth-pair设备对ip link add veth1 type veth peer name eth0# 创建ns1网络命名空间ip netns add ns1# 将eth0网卡插入ns1网络命名空间ip link set eth0 netns ns1# 为ns1网络命名空间中的eth0网卡配置IP地址ip netns exec ns1 ip addr add 10.70.1.1/24 dev eth0# 启动ns1网络命名空间中的eth0网卡ip netns exec ns1 ip link set eth0 up# 为ns1网络命名空间的eth0网卡添加路由，168.254.1.1这个IP实际上并没有使用，它仅作为eth0的网关使用,然后当数据发送到veth1后，这里会进行ARP欺骗，将veth1的MAC地址返回给eth0ip netns exec ns1 ip route add 169.254.1.1 dev eth0 scope linkip netns exec ns1 ip route add default via 169.254.1.1 dev eth0# 开启veth1网卡ip link set veth1 up# 宿主机添加路由条目ip route add 10.70.1.1 dev veth1 scope link							# 用于ens160接受到数据报文后，发送给ns1中的eth0网卡ip route add 10.70.2.1 via 192.168.0.12 dev ens160			# 用于veth1数据报文出来后，跨主机通信使用echo 1 > /proc/sys/net/ipv4/conf/veth1/proxy_arp

• 在k8s-node-1节点执行如下命令：

# 创建veth-pair设备对ip link add veth1 type veth peer name eth0# 创建ns1网络命名空间ip netns add ns1# 将eth0网卡插入ns1网络命名空间ip link set eth0 netns ns1# 为ns1网络命名空间中的eth0网卡配置IP地址ip netns exec ns1 ip addr add 10.70.2.1/24 dev eth0# 启动ns1网络命名空间中的eth0网卡ip netns exec ns1 ip link set eth0 up# 为ns1网络命名空间的eth0网卡添加路由，168.254.1.1这个IP实际上并没有使用，它仅作为eth0的网关使用,然后当数据发送到veth1后，这里会进行ARP欺骗，将veth1的MAC地址返回给eth0ip netns exec ns1 ip route add 169.254.1.1 dev eth0 scope linkip netns exec ns1 ip route add default via 169.254.1.1 dev eth0# 开启veth1网卡ip link set veth1 up# 宿主机添加路由条目ip route add 10.70.2.1 dev veth1 scope link							# 用于ens160接受到数据报文后，发送给ns1中的eth0网卡ip route add 10.70.1.1 via 192.168.0.11 dev ens160			# 用于veth1数据报文出来后，跨主机通信使用echo 1 > /proc/sys/net/ipv4/conf/veth1/proxy_arp

• 在k8s-master-1 ping k8s-node-1

[root@k8s-master-1 ~]# ip netns exec ns1 ping -c 1 10.70.2.1
PING 10.70.2.1 (10.70.2.1) 56(84) bytes of data.
64 bytes from 10.70.2.1: icmp_seq=1 ttl=62 time=1.01 ms--- 10.70.2.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.014/1.014/1.014/0.000 ms

具体的转发过程如下：

1. ns1网络空间的所有数据包都转发到一个虚拟的 IP 地址 169.254.1.1，发送 ARP 请求
2. k8s-master-1宿主机的 veth1 端收到 ARP 请求时通过开启网卡的代理 ARP 功能直接把自己的 MAC 地址返回给 ns1的eth0
3. k8s-master-1的ns1 发送目的地址为 k8s-node-1的ns1 的 IP 数据包
4. 因为使用了 169.254.1.1 这样的地址，宿主机判断为三层路由转发，查询本地路由 10.70.2.1 via 192.168.1.12 dev ens160 发送给对端 Host1，如果配置了 BGP，这里就会看到 proto 协议为 BIRD
5. 当 k8s-node-1 收到10.70.2.1的数据包时，匹配本地的路由表 10.20.2.1 dev veth1 scope link，将数据包转发到对应的 veth1端，从而到达 ns1
6. 回程类似

​ 通过这个实验，我们可以很清晰地掌握 Calico 网络的数据转发流程，首先需要给所有的 ns 配置一条特殊的路由，并利用 veth 的代理 ARP 功能让 ns 出来的所有转发都变成三层路由转发，然后再利用主机的路由进行转发。这种方式不仅实现了同主机的二三层转发，也能实现跨主机的转发