• 欢迎访问LLYCLOUD information technical share center (ITSC),Linux 安全,Linux 系统,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入LLYCLOUD QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏LLYCLOUD ITSC吧

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T

vmware Akide_Liu 1个月前 (10-13) 65次浏览 0个评论
文章目录[隐藏]

VMware Pivotal容器服务(PKS)入门,第3部分:NSX-T

在本文中,我们现在将开始配置NSX-T,以便我们可以准备安装PKS并使用NSX-T提供的网络和安全服务。结果是,当新的Kubernetes(K8S)集群时,PKS可以自动提供所有NSX-T组件的按需配置:容器网络接口(CNI),NSX-T容器插件(NCP)POD,NSX节点代理POD等)请求,所有操作都通过一个CLI或API调用完成。此外,PKS还通过与NSX-T集成提供了独特的功能,以实现K8S名称空间级别的网络微分段,从而使云/平台运营商可以在更精细的级别上管理应用程序和/或租户用户之间的访问。比以前更强大!

如前一篇博文所述,我将不逐步介绍NSX-T的安装,并且假定已经部署了基本的NSX-T环境,其中包括一些准备作为传输节点的ESXi主机,以及至少1个NSX-T控制器和1个NSX-T Edge。如果想逐步进行详细介绍,可以参考此处的NSX-T文档或者甚至可以利用我的《自动NSX-T实验室部署》脚本来设置基本环境并根据本文中的步骤进行修改。实际上,这是我用来为PKS部署我自己的NSX-T环境的脚本,但做了一些小的修改,我将在以后分享。

目录:

PKS支持支持以下网络部署拓扑:

  • 在NSX-T外部运行的PKS
    • 将PKS VM(Ops Manager,BOSH,PKS Control Plane,Harbor)部署到VSS或VDS支持的端口组
    • 通过物理或虚拟路由器在PKS VM,K8S群集管理和T0路由器之间建立连接
    • NAT仅在T0上配置为提供POD网络访问相关K8S群集命名空间的权限

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T

  • 在NSX-T内部运行的PKS
    • 将PKS VM(Ops Manager,BOSH,PKS Control Plane,Harbor)部署到NSX-T逻辑交换机(位于T0之后)
    • 通过物理或虚拟路由器在PKS VM,K8S群集管理和T0路由器之间建立连接
    • PKS Admin Network和K8S Cluster Management Network Logical Switch均可路由或NAT

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T 从操作和故障排除的角度来看,由于需要配置许多SNAT / DNAT规则以确保管理组件(NSX-T外部)与PKS之间的正确通信,因此NAT部署将是最复杂的Admin&K8S群集管理(在NSX-T内部)。无论是VSS / VDS还是NSX-T逻辑交换机,都有一个可供PKS VM驻留的可路由网络是首选。

注意:我要感谢来自CNABU的Francis Guillier(技术产品经理)和Gaetano Borione(PKS架构师),他们在从网络角度决定如何部署PKS时,确实帮助我理解了一些网络上的细微差别和限制。

步骤1-验证是否已准备好将用于部署K8S工作负载VM的ESXi主机。在下面的示例中,我有两个vSphere群集:Primp-Cluster(这是我的“管理”群集),将不附带NSX-T,而PKS-Cluster则附带NSX-T。

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T

注意:确保的管理群集和计算群集都由同一vCenter Server管理,这将影响PKS管理VM的位置,无论这些VM位于专用管理群集中还是位于计算群集中。出于实验室和教育目的,请使用单个vCenter Server来管理“管理”和“计算群集”。

步骤2-创建一个新的IP池,该池将用于为公开的K8S服务分配虚拟IP(例如,用于应用程序部署的负载均衡器)。为此,请导航至“ 清单”->“组”->“ IP池”并提供以下内容:

  • Name: Load-Balancer-Pool
  • IP Range: 10.20.0.10 – 10.20.0.50
  • CIDR: 10.20.0.0/24

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
第3步 -创建一个新的IP块,PKS将按需使用它来分割成较小的/ 24网络并将其分配给每个K8S命名空间。此IP块的大小应足够大,以确保不会用完地址,并且当前建议使用/ 16网络(不可路由)。为此,请导航至DDI-> IPAM并提供以下内容:

  • Name: PKS-IP-Block
  • CIDR: 172.16.0.0/16

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤4-创建一个新的T0路由器,该路由器将用于与的外部物理网络进行通信。确保已经创建了边缘群集(可以包含一个边缘),或者如果尚未创建新的边缘群集。由于K8S Management POD中的NCP服务使用NAT,因此HA模式必须为活动/备用。为此,请导航至“ 路由”->“路由器”并提供以下内容:

  • Name: T0-LR
  • Edge Cluster: Edge-Cluster-01
  • High Availability Mode: Active-Standby
  • Preferred Member: edge-01

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
第5步 -在T0上创建一条静态路由,这将使来自K8S管理POD的所有流量都能够与我们的管理组件进行出站通信。这是必需的,例如,NCP POD将需要与NSX-T对话,以便基于K8S群集中的应用程序部署来创建新的网络和/或负载均衡器服务。在我的示例中,172.30.50.1是中间网络的网关,它将用于将流量从T0内路由到我的虚拟路由器(pfSense)。为此,请单击刚刚创建的T0路由器,然后导航到“ 路由”->“静态路由”并提供以下内容:

  • Network: 0.0.0.0/0
  • Next Hop: 172.30.50.1

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤6-接下来,我们需要创建两个逻辑交换机,一个逻辑交换机将用于T0上行链路,另一个逻辑交换机将用于运行K8S管理POD的K8S管理集群(也称为K8S服务网络)。为此,请导航到Switching-> Switches并添加以下内容:

  • Name: Uplink-LS
  • Transport Zone: TZ-VLAN
  • VLAN: 0
  • Name: K8S-Management-Cluster-LS
  • Transport Zone: TZ-Overlay
  • VLAN: 0

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
完成此步骤后,将具有两个逻辑开关,如下面的屏幕快照所示。上行链路LS应该在TZ-VLAN上,而K8S-Management-Cluster-LS应该在TZ-Overlay上

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤7-  现在我们需要配置上行链路路由器端口,并从中间网络分配一个地址,以便我们可以从T0路由到物理或虚拟路由器。为此,导航到“ 路由”,然后单击我们之前创建的T0路由器,然后选择“ 配置”->“路由器端口”,并提供以下内容:

  • Name: Uplink-1
  • Type: Uplink
  • Transport Node: edge-01
  • Logical Switch: Uplink-LS
  • Logical Switch Port: Uplink-1-Port
  • IP Address/mask: 172.30.50.2/24

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤8- 创建一个新的T1路由器,该路由器将用于K8S管理集群POD。为此,请导航至“ 路由”->“路由器”并提供以下内容:

  • Name: T1-K8S-Mgmt-Cluster
  • Tier-0 Router: T0-LR
  • Failover Mode: Preemptive
  • Edge Cluster: Edge-Cluster-01
  • Edge Cluster Members: edge-01
  • Preferred Member: edge-01

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤9- 为K8S管理群集配置下行路由器端口,将在其中定义NSX-T用于这些VM的网络。在我的示例中,我决定使用10.10.0.0/24,为此,请单击刚刚创建的T1路由器,然后导航到Configuration-> Router Ports并提供以下内容:

  • Name: Downlink-1
  • Logical Switch: K8S-Mgmt-Cluster-LS
  • Logical Switch Port: Downlink-1-Port
  • IP Address/mask: 10.10.0.1/24

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤10-为了确保可以从外部访问K8S管理集群网络,我们需要发布这些路由。为此,请单击之前创建的T1路由器,然后导航到“ 路由”->“路由广告”并启用以下功能:

  • Status: Enabled
  • Advertise All NSX Connected Routes: Yes
  • Advertise All NAT Routes: Yes

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤11-此步骤可能是可选步骤,具体取决于配置物理网络的方式,在这种情况下,将需要使用BGP而非静态路由来将物理/虚拟网络连接到NSX-T的T0路由器。在我的环境中,我正在使用虚拟路由器(pfSense),并且是最简单的方法来启用来自管理网络以及vCenter Server,ESXi主机,NSX-T VM和PKS Management VM所托管的网络之间的连接的通信PKS正在建立一些静态路由。我们需要创建两条静态路由以同时到达我们的K8S管理集群网络(10.10.0.0/24)和K8S负载平衡器网络(10.20.0.0/24)。对于发往这10个网络中任何一个的所有流量,我们希望将它们转发到我们的T0上行链路地址,如果从第7步中回想起是172.30.50.2。根据物理或虚拟路由器解决方案,将需要按照产品文档设置BGP或静态路由。

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
步骤12-至此,我们已经完成了所有NSX-T配置,我们可以进行一些验证检查,以确保在部署PKS管理VMS(Ops Manager,BOSH和PKS Control Plane)时,我们将没有遇到网络问题。这是非常关键的一步,如果在这里没有成功,则应先进行故障排除并继续进行操作。

要验证ESXi主机与Edge VM之间的覆盖网络连接,应该能够使用所有ESXi主机之间以及边缘VM的覆盖接口之间的VXLAN网络堆栈进行ping操作。下表是从VTEP的IP池中自动分配的IP的表格,可以通过登录ESXi主机来发现这些IP,但它们应与定义的IP池的范围相继。另外,还要确保已将物理和虚拟交换机配置为使用MTU 1600进行叠加通信。

Host IP地址
esxi-01 192.168.0.10
esxi-02  192.168.0.11
esxi-03  192.168.0.12
edge-01  192.168.0.13

可以SSH到每个ESXi主机并运行以下命令:

vmkping ++ netstack = vxlan [IP]

或者也可以通过运行以下命令通过ESXCLI远程执行此操作:

esxcli network diag ping --netstack=vxlan --host=[IP]

要验证到NSX-T网络的连接以及到NSX-T的物理/虚拟网络之间的路由,请使用我们从第2部分中部署的PKS Client VM,应该能够从该系统ping以下地址:

  • 10.10.0.1(到我们的K8S管理集群网络的下行路由器端口)
  • 172.30.50.2(上行路由器端口)
  • 172.30.50.1(中间网络的网关)

如果无法访问Edge VM的覆盖界面和/或某些NSX-T界面,则一个很常见的错误(我自己做了)是在Edge VM部署中混淆了网络。在配置边缘传输节点并将其分配给正确的HostSwitch时,我认为fp-eth0 =网络适配器1,fp-eth1 =网络适配器2,以此类推。事实证明,NSX-T自动忽略边缘管理接口(即网络适配器1),因此fp-eth0在VM的第二个vNIC上启动。因此,请确保无论要用于ESXi主机的Overlay流量的网络是哪个,都已在Network Adapter 2上进行了配置,如下面的屏幕快照所示。第三个vNIC将用于边缘上行链路流量,该流量应连接到的中间网络,在我的情况下为VLAN 3250。

VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
在下一篇博客文章中,我们将从Ops Manager和BOSH开始我们的PKS部署。敬请关注!


Llycloud ITSC , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:VMware Pivotal容器服务(PKS)入门第3部分:NSX-T
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址