【金融保险】银行网络数据中心设计方案

【金融保险】银行网络数

据中心设计方案

2、系统设计总体方案 XX银行全国数据集中工程

目录

第1章前言7 第2章概述8 第3章网络设计原则9 第4章总体架构设计9 4.1结构设计9

4.1.1结构设计策略9 4.1.2分区模块设计10 4.1.3分层设计10 4.1.4物理部署设计11

4.2上海全国数据中心局域网拓朴11 4.3网络核心层12 4.4生产区12 4.5运行管理区14 4.6MIS区15 4.7广域接入区15 4.8OA接入控制区15 4.9生产外联16 4.10设备选型推荐17

4.10.1S8500简介18

4.10.2AR28-80简介25

第5章服务器接入设计32

第6章VLAN和SPANNINGTREE设计33 6.1VLAN简述33

6.2VLAN注册协议（GVRP）33 6.3VLAN设计35 6.4STP设计35 6.5VRRP36 第7章IP地址设计37 第8章路由选择和设计39 8.1路由协议选择39 8.2路由边界39

8.3路由协议设计（OSPF）40

8.3.1OSPFArea设计40 8.3.2OSPFProcessID41 8.3.3OSPFRouterID41 8.3.4OSPF链路Metric41 8.3.5OSPFMD5认证42 8.3.6选路规划42

8.4静态路由43 第9章QOS设计43

9.1QOS服务模型43

9.1.1Best-Effortservice43 9.1.2Integratedservice44 9.1.3Differentiatedservice45 9.1.4服务模型选择45

9.2QOS实现技术46

9.2.1报文分类46 9.2.2拥塞管理46 9.2.3拥塞避免48 9.2.4流量监管和整形49

9.3农行数据中心QOS设计49 第10章可靠性设计52 10.1可靠性概述52 10.2设备级可靠性设计53

10.2.1引擎（含主控及交换网）54 10.2.2电源57 10.2.3模块和端口57 10.2.4系统软件59

10.3链路级可靠性设计59 10.4网络级可靠性设计60

10.4.1拓扑冗余60 10.4.2网关冗余

10.4.3路由冗余65

10.5应用级可靠性设计66 第11章网络安全66 11.1安全设计概述66 11.2安全管理中心设计67 11.3安全认证中心设计70 11.4模块化的安全构架设计73

11.4.1核心交换区74 11.4.2生产区75 11.4.3OA接入控制区76 11.4.4运维管理区78 11.4.5MIS服务区79 11.4.6生产外联区80

11.5统一的安全联动设计81 11.6其他安全防护考虑83 11.7网络病毒控制85 第12章网络管理87 第13章数据中心切换95

第1章 前言

上海数据中心工程是XX银行数据大集中项目的重要组成部分，将作为全国生产中心投入运行。生产数据中心的建成将为提高XX银行的经营管理决策水平和风险控制能力打下坚实的基础，并支持提升中国XX银行整体的服务水平和信息化服务质量。

华为3公司深刻认识到数据中心建设对于大集中项目以及中国XX银行发展的重要性，针对数据中心承载多种业务应用的特点，按照高可靠、高安全和先进性的原则对网络整体结构和各个功能分区进行了详细的网络方案设计。

为用户提供最完善的服务是华为3技术有限公司的一贯宗旨，有关本方案的一切问题，欢迎用户在随时垂询。

第2章 概述

针对上海数据生产中心稳定、可靠、高效运行的要求，本方案以高可靠性，高安全性和先进性为原则进行了重点设计。整体结构上，根据上海数据中心承载多种业务功能的特点，依据统一性，开放性，易扩展和可管理的特性要求，通过模块化层次化的构筑方法，以高可靠、高速率的交换结构为中心，连接生产区，外联区，接入区和MIS区等功能分区，并针对各个功能不同的业务应用需求和安全要求进行了针对性设计。在本项目设备建议中，我们推荐了先进的QuidwayS8500系列万兆核心路由交换机作为平台构架的主要设备，通过高效的万兆交换技术实现骨干网络的高性能互联，同时，其安全联动、全面的业务支持以及电信级的高可靠特性，更保障本网络具备了有强大的业务支撑和性能扩展能力，可以满足上海数据中心未来3－5年的发展需要。

第3章 网络设计原则

高可用性

网络架构和设备均支持业务系统对服务级别高可靠性的要求，在网络分层部署的架构和设备体系选择以及相关配置上均充分按照高可用的系统设计。 高安全性

按照立体的安全体系进行设计，分布式部署，使网络具有统一的安全，支持全网的安全联动。 先进性

网络设备支持先进的高性能体系架构，支持高带宽的数据传输。 统一性

数据中心局域网是基于大集中“一个整体”基础上考虑。全网采用统一的架构、策略部署，QoS分类和设备形态，保证全网的可维护性。 开放性

本方案网络建设全面遵循业界标准，所推荐采用的设备、技术在互通性和互操作性上，可以支持本网络系统的快速布署。

第4章 总体架构设计

4.1 结构设计

4.1.1 结构设计策略

按照数据中心的结构，本方案采用以下策略设计

1、 高可靠的设计思想融合在结构设计、路由设计、应用服务设计的各个层面； 2、 针对业务网络应用需求实施全模块化分区设计； 3、 依照工作重点和结构分工的整网三层体系结构； 4.1.2 分区模块设计

网络按照业务应用需求，划分以下主要功能区：  生产区  MIS区  生产外联区  广域接入区  运行管理区  OA接入控制区

各个区以扩展模块的形式分别连接到数据中心高可靠的核心交换网络。 4.1.3 分层设计

按照网络核心，汇聚和接入的模型对数据中心以及之内的每一个功能区域按照层次化结构模型进行划分：

核心层

构成整个数据中心生产局域网的高速交换核心，为各个功能分区提供高可靠高稳定和支持快速愈合的第三层接入服务。在核心层设计以高可靠，高速交换为主要原则；

汇聚层

各个功能分区的交换核心是组成整个生产中心局域网的汇聚层。汇聚层提供各个分区内部接入层的汇聚，作为各个分区的对外接入，集中实现接入控制和安全控制；

接入层

在各个分区主机和服务器的接入，具有高密度的接入能力。支持基于主机端口的访问控制，并针对接入的数据流进行标记工作，便于传输过程中逐级实现针对流量的QoS控制策略。

4.1.4 物理部署设计

上海数据中心的核心网络主要分布在上海园区的E2楼的各层，因此网络将按照就近接入的原则将各个功能区网络设备与应用主机就近放置分布在各个楼层。

网络的交换核心、广域接入区等没有主机接入的功能区域放置于网络机房。

4.2 上海全国数据中心局域网拓朴

在数据中心的实际部署中，针对数据中心模型进一步细分各个功能分区。

生产区涉及到的应用系统较多包括核心业务以及各种总行级的业务系统。核心业务系统放置于IBMS/390上，通过在S/390上划分多个分区来实现核心业务相关的不同功能。考虑到核心业务系统属于银行全部业务核心，属于数据中心的重中之重，同时S/390的操作方式与其他开放平台不一致，因此物理上将生产区设置为核心业务生产区和开放平台生产区2个分区接入到核心层。

测试区根据测试需要尽量与生产网络实现完全分离，根据实际需求确定是否需接入到核心层。

生产外联区包括网上银行的Internet外联以及和合作伙伴的Extranet外联两种方式，在网络结构上和安全部署上有很大不同，因此在实际部署中分别设置2个接入区域连接到核心交换区。

广域接入区

设置一个单独的物理分区，提供各个一级分行的流量接入和汇聚。 灾备接入区

设置一个单独的物理分区，部署与北京灾备中心的连接和灾备策略的部署。 MIS服务区

设置一个单独的物理分区，提供MIS业务应用的服务。 运行管理区

设置一个单独的物理分区，提供数据中心和全网的管理和监控。

4.3 网络核心层

网络核心层由4台万兆交换机构成，通过万兆实现各个功能分区的接入，同时4台交换机之间采用双万兆捆绑的方式实现高速互联。

为了保证通过核心网络的流量和路径可控，并提高故障切换的效率，对各个功能分区实现三层接入的方式。

为了保证各个功能分区的高可靠性，与各个功能分区的汇聚交换机采用双星型的结构连接。

4.4 生产区

生产区将接入数据中心核心生产系统和部分生产系统前置；

生产区核心业务平台：由2台汇聚层交换机和2台接入层交换机构成，接入层交接机连接S/390主机系统平台。

生产区开放平台：由2台汇聚层交换机和4台接入层交换机构成，接入层交接机连接开放平台。

连接方式：四台接入层交换设备通过四条千兆线路上联到汇聚层，两台汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

4.5 运行管理区

运行管理区是生产中心主要的人员操作区，主要以各种管理配置平台为主。

运行管理区：由2台汇聚层交换机和2台接入层交换机构成，接入层交接机连接各类业务、网络、配置管理系统；

连接方式：两台接入层交换设备通过双千兆线路上联到汇聚层，两台汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

4.6 MIS区

MIS区将接入数据中心MIS处理主机系统，主要以开放平台为主。

MIS系统平台：由2台汇聚层交换机和4台接入层交换机（两层结构、分为外联接入交换机与内联接入交换机）构成，接入层交接机连接各MIS系统平台；

连接方式：两台接入层交换设备通过双万兆线路上联到汇聚层，两台汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

4.7 广域接入区

广域接入提供各个下联一级分行的接入，同时支持在接入边界部署安全控制策略。 广域接入平台：由2台汇聚层交换机构成，直接接入路由设备。

连接方式：汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

在汇聚交换机侧支持部署防火墙和入侵检测设备，采用访问控制和安全联动相结合的方式对接入流量进行安全防护。（关于安全联动的详细介绍请参阅第十一章：网络安全相关内容） 4.8 OA接入控制区

OA接入控制区是生产区和OA用户及OA服务器所在功能区的隔离区，OA用户通过此区访问生产的相关资源。

OA接入控制区：由2台汇聚层交换机构成。

在汇聚交换机对外互连处部署防火墙和入侵检测设备，采用访问控制和安全联动相结合

的方式对流量进行安全防护。

连接方式：汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

4.9 生产外联

生产外联区主要分为两大部分：网银Internet接入区域、合作伙伴接入区域，两大区域建立统一的汇聚层交换机，按照两大区域对安全级别的要求的不同，分别设置多层DMZ区域。在合作伙伴接入区域提供和各个金融服务机构，金融监管机构和金融市场的接入，会部署大量的外联前置系统，采用防火墙实现隔离，在DMZ区部署外联前置服务器。

合作伙伴接入区域接入平台：由2台DMZ区接入交换机构成。

在外联网接入和DMZ与汇聚层连接处部署高可用防火墙，并部署IDS设备实现安全联动。

连接方式：汇聚层设备之间通过两条冗余的千兆线路实现互连，同时，各自通过两条千兆冗余线路分别上行到两台核心交换层交换机。

网银互联网接入部分主要面向互联网的客户提供服务以及部分数据交换，网上银行作为主要特色应用会部署在此区域。此区域会有大量的互联网服务器如Web应用，DNS服务器等，同时还有大量的客户服务和应用处理服务器。考虑到Internet接入需要更高的安全因此将服务器分别部署在DMZ区和扩展DMZ区，并采用三层防火墙进行隔离，同时部署相应的IDS设备。

网银互联网接入平台：由2台汇聚层交换机和4台DMZ接入交换机构成。并配置6台防火墙实现各个区之间的安全隔离。

4.10 设备选型推荐

针对数据中心建设的统一性原则，针对数据中心尽量采用相同的设备进行配置，从而保证数据中心整体的易维护和易扩展。

针对数据中心大量服务器采用千兆接入，要求高效传输的特点，在骨干层和汇聚层间，以及部分汇聚和接入层间采用万兆连接，减少千兆捆绑带来的复杂配置，同时支持业务未来3－5年的快速增长。

对于生产外联区，考虑到需要有大量的防火墙隔离，受制于外联广域网的，接入层和汇聚层之间采用千兆连接。

针对上述分析数据中心在设备级的要求如下：

 电信级可靠性网络设备99.999%，支持热切换，热补丁  采用万兆技术，支持高密度万兆连接  支持安全联动

 有效抵御网络资源消耗型病毒攻击（例如DOS/REDCODE等）  全分布式线速处理  支持多业务的深度感知

 支持MPLSVPN和IPV6功能扩展  支持外置冗余电源  大容量冗余交换背板结构  单机具有高扩展能力

针对上述分析本项目的设备选型推荐列表如下： 数据中心核心交换机 数据中心汇聚层交换机 QuidwayS8512 QuidwayS8512 运维管理区接入交换机 其他功能区的接入交换机 中端路由器 网元管理系统 QuidwayS8512 QuidwayS8512 QuidwayAR28-80 QuidviewDMG，CAMS(AAA)，SUN/NT服务器 设备数量配置如下：

名称 1、核心交换区 2、主机生产区 3、开放生产区 4、MIS服务区 5、运维管理区 6、外联区(仅合作伙伴接入区) 7、广域网接入区 8、OA接入控制区 9、网元管理 10、基金国债业务接入路由器

4.10.1 S8500简介

设备配置情况 核心层：4台S8512 汇聚：2台S8512，接入：2台S8512 汇聚：2台S8512，接入：4台S8512 汇聚：2台S8512，接入：2台S8512 汇聚：2台S8512，接入：10台S8512 汇聚：2台S8512，接入：2台S8512 汇聚：2台S8512，接入：4台S8512 汇聚：2台S8512 QuidviewDMG，CAMS(AAA)，SUN/NT服务器 两台AR46-80 Quidway®S8500系列万兆核心路由交换机

Quidway®S8500系列万兆核心交换机是由华为3公司自主开发的新一代高性能万兆核心路由交换机产品，可广泛应用于电子政务网核心层、校园网及教育城域网核心层、园区网和企业网核心层以及运营商IP城域网核心层、汇聚层。

Quidway®S8500系列基于新一代核心交换机的设计理念，具备大容量高性能、可扩展能力强和业务与性能兼具的特点。Quidway®S8500系列支持新一代高性能万兆接口，能够为城域网、园区网、数据中心提供超高速链路，构建端到端以太网络，打造低成本、高性能、具有丰富业务支持能力的高性能网络。Quidway®S8500提供大容量、高密度、模块化的二、三层线速转发性能，内置强劲的全分布式业务处理引擎，以全线速处理二层、三层、MPLSVPN、组播等各种业务流量，提供完善的QoS保障、安全管理机制和电信级的高可靠设计，满足大型IP网络对多业务、高可靠、大容量、模块化的需求。

产品特点

1) 先进的体系结构

Quidway®S8500系列产品采用全分布式体系结构设计，采用功能强大的ASIC芯片进行高速路由查找，并通过Crossbar技术进行高速报文交换，从而大大提升了路由交换机的转发性能和扩充能力。Crossbar交换网芯片内置于主控板，不单独占用设备槽位，可提供高达720Gbps的交换容量，并可平滑升级到1.44Tbps的交换容量。接口板通过多条高速总线分别连到两块主控板上的Crossbar交换网，从而实现真正的双主控、双交换网的热备份，极大的提高了系统的可靠性。

Quidway®S8500系列产品采用高性能的最长匹配、逐包转发的方式，在保持线速性能和低成本的基础上，性的解决了传统交换机流Cache精确匹配转发的致命缺陷，能够有效的抗击网络“红色代码”、“冲击波”等病毒的攻击，更加适合大规模、多业务，复杂流量访问的网络。

2) 大容量、高密度线速交换

Quidway®S8500系列产品目前最高可以提供720Gbps交换容量/428Mpps包转发能力，并可平滑升级到1.44Tbps交换容量、857Mpps转发能力。支持各种高密度业务板和组合业务板，整机可支持高达576个千兆端口的同时线速转发，满足核心层设备大容量、高密度的要求。 3) 强大的业务支撑能力

Quidway®S8500支持MPLSVPN业务；支持丰富的组播协议（IGMP、IGMPSNOOPING，PIM-SM、PIM-DM和MSDP/MBGP等）；支持WebSwitch（硬件支持）、NAT（硬件支持），内置防火墙（硬件支持）、IDS；支持POS/ATM、RPR等接口。

4) 新一代万兆接口支持

Quidway®S8500系列产品提供的新一代万兆以太网克服了早期万兆以太网的诸多局限，在线速转发的基础上能够提供强大的QoS保障，并支持丰富的ACL、策略路由、安全等特性。Quidway®S8500的新一代万兆以太网不仅在接口密度上达到2端口/线卡（后续可扩展至4端口/线卡），并且可以支持线速的MPLS转发，可以提供更好的IPVPN业务和透明的LAN服务，真正实现性能与功能的完美统一。

Quidway®S8500系列产品除了提供标准的LAN接口，还可以提供使用波分复用技术的10GBASE-LX4接口，从而大大提高了用户组网的灵活性。 5) MPLS/IPv6分布式线速支持

Quidway®S8500系列产品遵循业务与性能并重的设计理念。一方面带宽和网络规模的增长推动核心路由交换机的性能容量不断提升，另一方面业务的发展要求核心交换机更加智能化并具备更强的业务提供能力。Quidway®S8500系列产品采用功能强大的

ASIC芯片实现MPLS、IPv6的分布式线速转发，并能够基于高性能NP实现线速NAT、WebSwitch等增值业务，在为用户提供全面的有保障业务的同时，也做到根据需求业务可裁减。

6) 完善的QoS机制

Quidway®S8500系列产品提供了灵活的队列调度算法，可以同时基于端口和队列进行设置，支持SP、WRR、SP+WRR三种模式；支持8个优先级队列，3个丢弃优先级；支持WRED拥塞避免算法和端口流量整形。支持带宽控制功能，流量限速的粒度为8Kbit/s，满足精品宽带网络的要求。 7) 电信级可靠性设计：

Quidway®S8500系列产品系统采用分布式结构，支持双主控交换板，无源背板设计，所有单板支持热插拔；电源系统交流/直流可选，采用1+1冗余热备份，并支持双路电源输入；支持STP/RSTP/MSTP协议和VRRP协议，能够满足苛刻的电信级网络可靠性要求，系统可靠性达到：99.999％。 8) 完善的安全机制：

Quidway®S8500系列产品的先进的逐包转发机制确保其在各种数据流状况下的设备安全，支持OSPF、RIPv2及BGPv4报文的明文及MD5密文认证；支持URPF（单播反向路径检查）；采用802.1x方式对接入用户进行认证，支持安全的SNMPv3的网管协议、支持配置安全，对登录用户进行认证，不同级别的用户有不同的配置权限，并提供两种用户认证方式：本地认证和RADIUS认证。

Quidway®S8500系列产品通过灵活的MAC、IP、VLAN、PORT任意组合绑定，有效的防止非法用户访问网络。支持多种ACL访问控制策略，能够对用户访问网络资源的权限进行设置，保证网络的受控访问。

Quidway®S8500系列产品还支持标准Radius协议，同时提供Radius+功能，以及HCBM™（华为可控组播管理协议）功能支持。基于硬件支持的内置防火墙/IDS功能为核心交换设备安全组网提供了多样化的选择，简化了网络层次，提高了整网性能。

产品规格

属性 体系结构 S8505 S8508 S8512 一体化机箱，可安装于19英寸机架内 436x450x619 436x450x753 外形尺寸436x450x486 （MM） 宽×深×高 满配置重量65 （Kg） 交换容量 XRCoreEngine™I300G XRCoreEngine™II600G 80 100 XRCoreEngine™I480G XRCoreEngine™II960G XRCoreEngine™I720G XRCoreEngine™II1.44T 背板容量 750Gbps（可扩展至1.2Tbps（可扩展至1.8Tbps（可扩展至1.5T） 2.4T） XRCoreEngine™I285Mpps XRCoreEngine™II571Mpps 3.6T） XRCoreEngine™I428Mpps XRCoreEngine™II857Mpps 包转发率 XRCoreEngine™I178Mpps XRCoreEngine™II357Mpps 槽位数量 7 10 8 14 12 业务单板槽5 位数量 二层功能 4KVLAN 支持802.1q优先级 生成树协议：STP/RSTP/MSTP 属性 S8505 S8508 S8512 支持动态VLAN注册协议（GVRP） 支持端口捆绑 支持端口镜像 支持广播风暴抑制 支持Jumbo帧 兼容Ethernet_II/Ethernet_SNAP/IEEE802.2/IEEE802.3 MDI/MDI-X自适应 三层功能 ARPProxy（SuperVLAN） 提供丰富的路由协议：RIP、OSPF、IS-IS、BGP4 支持256K最长匹配路由转发表 支持路由负载分担 支持分布式策略路由 支持URPF（单播反向路径检查） 支持VRRP 支持DHCP-RELAY 组播 二层组播协议：GMRP、IGMPSnooping 三层组播协议：IGMP、PIM-DM、PIM-SM、MSDP/MBGP 支持可控组播业务 NAT 支持NAT中NAPT模式 支持公有地址和私有地址的混合组网NAT转换 支持ICMP、FTP的等ALG 属性 S8505 S8508 S8512 安全功能，防止DOS攻击对NAT模块资源的过度使用 支持NAT板间的负荷分担和备份功能 WebSwitch 具有L3/L4层的线速交换 基于L4层的PBR及其他功能：如服务器负载均衡、防火墙负载均衡、WebCache高速缓存重定向等功能 MPLSVPN 支持二层MPLSVPN 支持三层MPLSVPN 支持QinQ 支持PE和P功能 MPLS标签空间：128K MPLS标签栈深度：4级 QoS 可基于物理端口、VLAN、源MAC地址、目的MAC地址、源IP地址、目的IP地址、IP端口、协议号等进行报文分类和过滤 支持带宽控制，带宽控制粒度为1Kbit/s 优先级队列调度：每端口支持8个优先级队列，3个丢弃优先级，支持SP、WRR、SP+WRR三种队列调度算法 支持WRED拥塞避免算法 支持流量整形 支持802.1P，DSCP/TOS优先级和重新标记能力 支持基于时间段的流分类和QoS控制能力 网络安全特支持IP+MAC+PORT任意组合的绑定 属性 性 S8505 支持非法帧报文过滤 支持IEEE802.1X认证 用户分级管理和口令保护 支持端口隔离 支持SSH 支持SNMPv3网管 S8508 S8512 可靠性 MTBF:>128,400小时 MTTR:<0.5小时 双主控 支持双路电源供电 支持热插拔 环境要求 温度范围：0℃～40℃ 相对湿度：10%～90%（非凝结） 电源要求 DC：输入电压：－48V～－60V AC：输入电压：100V～240V 最大输出功率：1200W（S8505）、2000W（S8508/S8512）

4.10.2 AR28-80简介

Quidway®AR28-40、AR28-80模块化中心路由器是华为3公司Quidway®AR系列路由器中面向企业用户的网络产品，采用32位的微处理器技术，使用VRP（通用路由平台），

提供了极其丰富的软件特性，支持哑终端接入服务器和金融POS接入功能，支持SNA/DLSw、VoIP特性等，提供丰富的备份方案及QoS特性；硬件采用模块化结构，具有更高的处理能力和更大的接入密度，具备MPLSVPN功能、DVPN功能、可平滑升级支持IPv6符合未来IP技术的发展潮流。Quidway®AR28-40、AR28-80既适合于在中小型企业网中担当核心路由器，也可以在大型网络中担当汇聚层路由器。

Quidway®AR28-40路由器外观图 Quidway®AR28-80路由器外观图

产品功能特性：

 VRP操作平台：

华为3在成熟的VRP软件平台的基础上，结合AR28系列的硬件体系结构和软件业务要求，度身定做的的AR28系列的软件体系，完全继承了VRP平台的稳定性、成熟性和可靠性，所提供的软件业务均为VRP平台的成熟特性，同时可以随着VRP平台的不断发展同步提供新的特性。

 VPN解决方案：

支持L2TPVPN、GREVPN、IPSecVPN、SSLVPN、MPLSL3VPN，MPLSL2VPN、华为动态VPN等多种VPN业务。  网络安全：

登录用户认证、RADIUS/HTACACS认证/计费、IPSEC、IKE、硬件加密卡、防火墙支持（对接口/时间段/MAC地址的过滤）、CA认证（数字证书）、高性能NAT。  互连协议：

以太网、桥、帧中继、X.25、HDLC、SDLC、LAPB、SLIP、PPP、PPP头压缩、MP、ISDN、PPPoEClient、按需拨号、拨号串循环备份、PPP/ISDN回呼、L2TP建立二层隧道、GRE

建立三层隧道、IPSEC建立三层隧道、xDSL宽带接入。  网络协议：

DHCP、VLAN、IPX、DLSw、RIP-1/RIP-2、OSPF、BGP、策略路由、组播、路由负载分担、地址借用、TCP报文头压缩、路由策略。  应用层协议及业务特性：

Telnet、SSH、Rlogin、dumbterminal、增强安全特性的终端接入服务器、金融POS接入服务，RTC、LPD、FTP、Ping及NTP应用层协议或业务特性。  QOS：

流量分类和流量监管CAR/LR、流量整形GTS、拥塞管理PQ/CQ/WFQ/CBQ、拥塞避免WRED。  网络可靠性：

接口/子接口间的物理层备份，虚链路/虚模板/拨号接口/逻辑接口间的链路层备份，动态路由实现网络层备份、VRRP实现设备层备份。  系统可靠性：

支持dualimage，能对image文件进行合法性判别，支持启动成功性自探测，支持装载image文件引导系统，支持从主image文件启动，支持从备份image文件启动。  语音特性：

静音压缩、舒适噪音、语音防抖动、音量调节、PBX交换机功能模拟、主叫号码识别、自动忙音检测、灵活VOIP选路与备份策略、IP传真、语音RADIUS、GKClient、IPHC、语音QoS。  IPV6：

从目前的硬件体系结构和软件平台的基础上能够平滑升级到IPV6的软件版本,全面支持IPv4

和IPv6双协议栈，提供丰富的IPV6协议，支持多种IPv4向IPv6的过渡技术：手工配置隧道、自动配置隧道、6to4隧道、GRE隧道、实现NAT-PT等；支持IPv6静态路由，支持

BGP4/BGP4+、RIPng、OSPF3、ISISv6等动态路由协议；支持ICMPv6MIB、UDP6MIB、TCP6MIB、IPv6MIB等。  配置管理：

中英文双语、命令分级保护、tracert/ping/debugging故障诊断功能、RMON、SNMPv1/v2c/v3、系统日志、可通过FTP或TFTP进行系统升级、可通过Console/AUX/X.25PAD/Telnet/反向Telnet等方式进行配置。

通过Quidview网管软件，能够对路由器进行远程配置，并且能够对主机程序通过Quidview进行在线升级。

产品规格

项目 插槽 功能模块 LAN接口模块 4 AR28-40描述 8 AR28-80描述 1FE/2FE（10/100Base-TX快速以太网接口模块） 1SFX（100Base-FX以太网单模光接口模块） 1MFX（100Base-FX以太网多模光接口模块） 1GBE（1000Base-T千兆以太网模块） 1GEF（1000Base-SFP千兆以太网光模块） WAN接口模块 2/4SA（高速同异步串口模块） 8/16AS（异步串口模块） 2/4/8SAE（增强型同异步串口模块） 1/2/4E1（通道化cE1/PRI模块） 1/2/4E1-F（非通道化E1模块） 1/2/4T1（通道化的cT1/PRI模块） 1/2/4T1-F（非通道化T1模块） 1CE3（通道化E3模块） 1CT3（通道化T3模块） 6/12AM（模拟调制解调器模块） 4BS（ISDNBRIS/T接口模块） 155M1ATM（ASM/AMM/ASL，155M单模/多模/单模长距离光接口模块） ATME3/T3（ATME3/T3传输模块） 1/2ADSL（ADSLoverPOTS通信模块） 1/2ADSL-I（ADSLoverISDN通信模块） POS（155M非通道化POS传输模块） CPOS（155M通道化POS传输模块） 4/8端口E1ATMIMA(高密度ATME1IMAE1制式传输模块) 4/8端口T1ATMIMA(高密度ATME1IMAT1制式传输模块) 语音模块 2FXS/4FXS（FXS接口语音模块） 2FXO/4FXO（FXO接口语音模块） 2E&M/4E&M（E&M接口语音模块） E1VI（E1语音模块） T1VI（T1语音模块） POS接入模块 其他模块 处理器 转发性能 NVRAM FLASH SDRAM 外型尺寸（mm）宽×深×高 重量 输入电压 AC 2/4/6FCM（快速连接MODEM模块） NDEC（网络数据加密模块） MPC8245300MHz 110-120KPPS 128KB 32MB 缺省：128MB，最大：256MB 440×400×43 8kg 440×400×86 14kg MPC8245300MHz 110-120KPPS/130-150KPPS 额定电压范围：100-240V；50/60Hz 最大电压范围：90-2V；50/60Hz 额定电压范围：-48--60V DC 最大电压范围：-36--72V 最大功率 工作环境温度 67W 0～40℃ 114W 环境湿度 5～90%不结露

第5章 服务器接入设计

数据中心的服务器对可靠性要求较高，会有多种高可靠的接入方式，根据对主机接入的分类，主要分为三类：多主机群集，双机HA应用，单机多网卡。这三种方式均涉及到多网卡与交换机连接。因此针对群集和HA应用还有多VLAN的方式和同一VLAN的方式。

针对多主机多VLAN的方式

这类主机部署的应用属于重要应用，以核心业务应用为主。为保证可靠性至少选择在2台接入交换机上均做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时并将多主机同一业务对应端口接入相同VLAN中（根据切换方式不同可选择同一交换机或不同交换机）。

针对多主机共享VLAN的方式，为保证可靠性至少选择在2台接入交换机上均做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时并将多主机对应业务端口分布到2台交换机。

针对HA主机多VLAN的方式

这类应用也属于重要应用，以各类基于开放平台的业务为主。为保证可靠性选择在2台接入交换机上做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时将双机对应端口部接入到不同交换机的对应VLAN中。

针对HA主机单VLAN的方式

这类应用也属于重要应用，以各类基于开放平台的业务为主。为保证可靠性选择在2台接入交换机上做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以

承载全部主机连接，在工作时将双机对应端口部接入到不同交换机的同一VLAN端口中。

针对单机多VLAN方式

单机应用一般数据次关键应用，以部分业务的前置服务器为主。针对单机多网卡多VLAN方式，也考虑将多VLAN在2台接入交换机上部署，实现VLAN端口1+1冗余。工作时将主机不同端口分别连接到不同交换机的对应VLAN端口。

针对单机单VLAN方式

这种方式是实现单机的网卡和链路备份，以部分业务的前置服务器为主。此种方式本身即是端口和链路备份，在2个交换机上均部署相同VLAN和对应端口，将这单机的2个端口分别连接到2个交换机的对应端口。

第6章 VLAN和SpanningTree设计

6.1 VLAN简述

VLAN（VirtualLocalAreaNetwork－虚拟局域网）逻辑上把网络资源和网络用户按照一定的原则进行划分，把一个物理上实际的网络划分成多个小的逻辑的网络。这些小的逻辑的网络形成各自的广播域，也就是虚拟局域网VLAN。VLAN在功能和操作上与传统LAN基本相同，可以提供一定范围内终端系统的互联。IEEE802.1Q是虚拟局域网的正式标准，定义了同一个物理链路上承载多个子网的数据流的方法。IEEE802.1Q定义了VLAN帧格式，为识别帧属于哪个VLAN提供了一个标准的方法。这个格式是统一标识VLAN的方法，有利于保证不同厂家设备配置的VLAN可以互通。

6.2 VLAN注册协议（GVRP）

GVRP（GARPVLANRegistrationProtocol）是VLAN注册协议。GVRP基于GARP的

工作机制，是GARP的一种应用，维护交换机中的VLAN动态注册信息并传播该信息到其它的交换机中。所有支持GVRP特性的交换机能够接收来自其它交换机的VLAN注册信息，并动态更新本地的VLAN注册信息，包括当前的VLAN成员，这些VLAN成员可以通过哪个端口到达等。而且所有支持GVRP特性的交换机能够将本地VLAN注册信息向其它交换机传播，以便使同一交换网内所有支持GVRP特性的设备的VLAN信息达成一致。GVRP传播的VLAN注册信息包括本地手工配置的静态注册信息和来自其它交换机的动态注册信息。

对GVRP特性的支持使得不同交换机上的VLAN信息可以由协议动态维护和更新，只需要对少数交换机进行VLAN配置，就可以应用到整个交换网络，无需耗费大量时间进行拓扑分析和配置管理，协议会自动根据网络中VLAN的配置情况，动态地传播VLAN信息并配置在相应的端口上。

根据VLAN注册信息，交换机了解到干道链路对端有哪些VLAN，自动配置干道链路，只允许对端交换机需要的VLAN在干道链路上传输。

GVRP注册类型 功能 Normal Fixed 允许在该端口手工或动态创建、注册和注销VLAN； 允许手工创建和注册VLAN，并且防止VLAN的注销和在其它Trunk端口注册此端口所知的动态VLAN。这种情况下，GVRP就不会自动配置Trunk端口允许哪些VLAN报文可以通过； Forbidden 将注销VLAN1以外的所有VLAN，并且禁止在该端口上创建和注销任何其它VLAN； 注：VLAN1的注册类型必须是Fixed，且不可以更改。 为了减少交换机之间的相互影响，中国XX银行上海数据中心的GVRP类型设计为Fixed。

根据前文所述，农行上海数据中心网络分为多个功能分区，每个网络功能分区的接入层交换机将定义为Layer2交换机，Layer2和Layer3的边界位于每个网络功能分区的汇聚层交换机上。

➢ 接入层交换机通过VLAN连接接入设备； ➢ 接入层和汇聚层交换机之间通过Trunk连接； ➢ 汇聚层交换机之间通过Trunk连接。 如下图：

6.3 VLAN设计

根据华为三康公司的经验，建议上海数据中心生产相关VLAN依据以下规则进行定义： 对VLANID进行连续分配；

分配的VLANID与数据中心不同的功能分区进行对应；

办公相关VLAN的VLANID可以复用生产相关VLAN的VLANID；

数据中心网络设备互连VLAN(不包括生产外联区内部设备互连VLAN)单独分区； 为了灵活的使用VLANID资源，相邻VLAN区的VLANID分配方式取反；例如，前一个VLAN分区分配方式为从低到高分配，后一个VLAN区就使用从高到低分配，反之亦然。

6.4 STP设计

STP（生成树协议）通过协商一条到根网桥的无环路径来避免和消除网络中环路，从而

解决透明桥接冗余网络中的环路问题。STA（生成树算法）在网络中选择RootBridge（根网桥）为参考点，通过发送BPDU（桥接协议数据单元）寻找冗余链路。生成树协议可以自动阻断或释放二层链路，确保到每个目的地都只有单一路径。

尽管生成树协议可以在二层网络中防止桥接环路问题，但在实际环境中，也会引起一些其它问题。对于使用大型生成树会造成扩展性及稳定性的问题，可以通过划分VLAN和控制交换域范围等方式，提高STP的收敛速度，达到更快的恢复能力和更高的可靠性。

建立根网桥

生成树网络中最重要的设计之一是根网桥的放置。根网桥的恰当放置不但可以优化生成树协议所选择的路径，还可以为数据提供明确的路径，明确的路径使排错和配置网络变得更为容易。

上海数据中心通过在汇聚层交换机上手工配置根网桥的主、备策略，确保生成树在二层链路形成最佳的树型拓扑。

根网桥设置还可以通过调节路径开销、端口优先级、端口ID等方式实现。 根据经验，推荐将汇聚层交换机设置成根网桥，图示如下：

6.5 VRRP

VRRP（VirtualRouterRedundancyProtocol）是一种容错协议，其目的是利用备份机制来提高路由器与外界连接的可靠性。VRRP确保当主机的下一跳三层设备坏掉时可以及时的由另一台三层设备来代替，从而保持通讯的连续性和可靠性。VRRP中只定义了一种报文——VRRP报文，这是一种多播报文，由主设备定时发出来通告它的存在，使用这些报文可以检测虚拟设备各种参数，还可以用于主设备的选举。VRRP中定义了三种状态模型初始状

态Initialize，活动状态Master，备份状态Backup，其中只有活动状态可以发送报文，而且报文也只有一种。VRRP报文是封装在IP报文上的，支持各种上层协议。同时VRRP还支持将真实接口IP地址设置为虚拟IP地址的做法。

1.汇聚层设备在连接普通接入时采用VRRP； 2.VRRP优先级策略与STP的根网桥主备设置一致； 下图是VRRP拓扑设置的示意图：

第7章 IP地址设计

IP地址的合理设计是数据中心网络设计中的重要一环，大型计算机网络必须对ＩＰ地址进行统一规划并得到实施。IP地址规划的好坏，影响到网络路由协议算法的效率，影响到网络的性能，影响到网络的扩展，影响到网络的管理，也必将直接影响到网络应用的进一步发展。

IP地址采用RFC1918规定的地址段（不包括外联区域IP地址）。根据选择的IP地址段和数据中心的业务功能模块进行映射，建议如下：

➢ 网段分配

功能分区类型 生产区(主机、开放平台) 备用 测试区(主机、开放平台) 备用 IP地址范围 16个C类地址 16个C类地址 16个C类地址 16个C类地址 运行管理区 备用 生产外联区 扩展DMZ和DMZ区域 外连区域 备用 MIS管理区 备用 上海中心网络设备互连 (不包括生产外联区内部设备互连) 备用 ➢ 设备和网关地址分配原则

16个C类地址 16个C类地址 16个C类地址 另一个RFC1918网段地址 使用公有地址 16个C类地址 16个C类地址 16个C类地址 16个C类地址 剩余C类地址 在单个子网地址范围内，为了减少干扰，网关通常使用最高位地址，用户地址由低到高依次分配。

设备地址 网关 VRRP地址 … … 普通接入设备

子网位置 最高位 次高位 / / 最低位 分配顺序 / 由高到低 预留 预留 由低到高 第8章 路由选择和设计

8.1 路由协议选择

以下是对两种适合大型网络路由协议的比较：

标准化 协议种类 协议算法 适用性 灵活性 通用性 扩展性 OSPF 国际标准（IETF） 链路状态 SPF 专为IP设计 高 高 中 IS-IS 国际标准(ISO、IETF) 链路状态 SPF 用于CLNS或CLNS+IP环境 高 中 高 建议上海数据中心内部将采用OSPF路由协议，生产外联区将采用静态路由协议。

8.2 路由边界

按照前文所述，网络核心和各功能分区的汇聚层交换机之间将构成数据中心的路由区域；而接入层交换机将定义为Layer2交换机，通过Trunk或VLAN连接汇聚层交换机；路由和交换的边界位于每个功能分区的汇聚层交换机。

➢ 核心层设备全部为路由区域； ➢ 接入层设备全部为交换区域；

➢ 对于普通接入，汇聚层设备作为路由域和交换域的边界；

➢ 前置机和主机单机参照普通接入模式；

➢ 对于Sysplex接入，汇聚层设备作为OSPF0域和Stub域的边界，汇聚层设备跨越

接入层设备与Sysplex建立OSPFstub连接。

8.3 路由协议设计（OSPF）

8.3.1 OSPFArea设计

根据上海数据中心内部的网络设备数量和连接方式，为在可预见的时间内，单独一个OSPFArea可以满足需要。因此，对于上海数据中心，所有核心层交换机和各功能分区的汇聚层交换机机都运行在OSPFArea0中。

根据业务需要，农行将构造多个主机Sysplex环境：

以上各主机Sysplex环境和所在功能分区的汇聚层交换机之间将运行OSPF路由协议，采用单独的OSPFArea。

其中：

1. OSPF普通接入设计如下：

➢ 汇聚层设备作为路由域和交换域的边界； ➢ 路由区域为OSPFArea0；

➢ OSPF在汇聚层交换机连接核心交换机的链路上通过Vlan建立点-点邻居关系； ➢ OSPF在汇聚层交换机互连Trunk上通过Vlan建立点-点邻居关系；

➢ 汇聚层交换机连接服务器的端口配置为OSPF的PassiveInterface，没有邻居关系。 2. OSPFSTUB接入设计如下：

➢ 汇聚层设备作为OSPFArea0和STUB的边界，是ABR；

➢ OSPF在汇聚层交换机和核心交换机的链路上通过Vlan建立点-点邻居关系； ➢ 汇聚层交换机互连Trunk的Vlan分别属于OSPFArea0和STUB； ➢ OSPF在汇聚层交换机互连链路上通过Trunk建立点-点邻居关系；

➢ OSPF在汇聚层交换机连接Sysplex的链路上通过Vlan与Sysplex建立BMA邻居

关系，汇聚层交换机分别定义为DR和BDR；

➢ OSPF的DR和BDR分别向STUB区域发送默认路由，为实现“单边路由”的设计，

需手工设置DefaultCost。

8.3.2 OSPFProcessID

OSPFProcessID对网络设备而言，只具有本地的意义，两个建立邻接关系的网络设备可以使用不同的OSPFProcessID。出于统一管理考虑，建议农行上海数据中心运行OSPF路由协议的网络设备使用相同的OSPFProcessID：10。 8.3.3 OSPFRouterID

OSPF需要使用唯一的RouterID标识每一台路由器，建议相关网络设备的Loopback地址作为其OSPFRouterID。 8.3.4 OSPF链路Metric

对OSPF协议，Interface的Metric为：108/InterfaceBandwidth，其中108为缺省的“OSPFAuto-costReferenceBandwidth”。

对于农行上海数据中心，可能的网络链路的速度范围可从100Mbps到4Gbps

（4PortsGEChannel），对于OSPF的链路的Metric设置必须能够区分链路速度和吞吐能力。

对农行上海数据中心OSPF链路Metric规划如下：

链路类型 10GigabitEthernet 4portsGEChannel 2portsGEChannel GigabitEthernet VLANInterface 8.3.5 OSPFMD5认证

考虑安全的因素，建议农行上海数据中心运行OSPF路由协议的网络设备采用MessageDigest(MD5)认证，以保证OSPFUpdate的可靠性。 8.3.6 选路规划

上海数据中心网络使用OSPF路由协议，为了使OSPF计算的路由最优，根据网络链路的cost计算设置进行选路规划，目标是最优路径最优选择。

考虑运行维护的简单性，配合STP的RootPrimary定义和VRRPPrimary定义，在网络设计上，将通过cost的调整，在汇聚层和核心层将数据流引导到冗余网络结构的一侧，而当设备或连接因故障中断时，OSPF会自动重新计算网络路径，并使用正常的连接保障数据通讯。如下图：

链路带宽(Mbps) Metric值 10,000 10 4,000 2,000 1,000 1,000 25 50 100 100 8.4 静态路由

生产外联区的被多层防火墙隔离成不同安全级别的区域，其内部将采用静态路由协议，并通过汇聚层交换机重分发到OSPF路由协议中。

第9章 QoS设计

在传统的IP网络中，其主要业务如：WWW浏览、Email电子邮件、FTP文件传输等对网络拥塞和时延并不敏感，网络以尽力传送模型为主，网络对所有报文统一对待、但对报文传送的可靠性、传送延迟等性能不提供任何保证。

XX银行上海数据中心是一个以IP为传输平台的网络，在这个网络上，将传输多种业务、多种应用，这些业务对可靠性、时延、时延抖动等服务质量有不同需求。为了保证农行关键业务应用在各一级分行到二级分行、以及二级分行到县支行之间的网络上的传输，需要在网络中实施QOS技术以保证关键业务在网络上传输的带宽和时延。

9.1 QoS服务模型

农行上海数据中心QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：

 Best-Effortservice——尽力服务

 Integratedservice（Intserv）——综合服务  Differentiatedservice（Diffserv）——区分服务 9.1.1 Best-Effortservice

尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且

不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。

尽力服务是互联网的缺省传输模式，由于它不区分具体的业务类型，采用先入先出的策略（FIFO）处理，对所有报文都无区别的等同对待，实现起来比较简单，但由于无法为高优先级的实时业务和关键业务提供额外保障，尽力服务模型并不适合用于农行上海数据中心的建网需求。

9.1.2 Integratedservice

Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。

网络在收到应用程序的资源请求后，执行资源分配检查（Admissioncontrol），即基于应用程序的资源申请和网络现有的资源情况，判断是否为应用程序分配资源。一旦网络确认为应用程序的报文分配了资源，则只要应用程序的报文控制在流量参数描述的范围内，网络将承诺满足应用程序的QoS需求。而网络将为每个流（flow，由两端的IP地址、端口号、协议号确定）维护一个状态，并基于这个状态执行报文的分类、流量监管（policing）、排队及其调度，来满足对应用程序的承诺，具有面向连接的特性。因此对网络设备的处理能力有较高要求。

传送QoS请求的信令是RSVP（资源预留协议），它通知路由器应用程序的QoS需求。

9.1.3 Differentiatedservice

Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integratedservice不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IPPrecedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。

通常在配置Differentiatedservice时，在网络边界的路由器通过报文的源地址和目的地址等对报文进行分类，对不同的报文设置不同的IP优先级，而其他路由器只需要用IP优先级来进行报文的分类。 9.1.4 服务模型选择

这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则，会使配置管理比较复杂。

由于农行网络规模庞大，覆盖了省到市、市到县的全部区域，同时农行网络要承载IP电话、IP会议电视、银行传统业务、银行新业务、OA等多种流量，这对网络设备（路由器）是一个很大的考验。考虑到Diffserv模式具有处理效率高，部署和实时方便的特点，建议在农行网络中，选用Diffserv模式。

不论是Diffserv，还是Intserv，在最终对服务进行保障时，都是通过以下一些成熟技术来实现的：

CAR。它根据IP包的优先级或QoS组，来进行报文的分类、以及报文的度量和流量监管。

队列技术。WRED、PQ、CQ、WFQ等队列技术进行拥塞避免及拥塞管理。

9.2 QoS实现技术

网络设备对转发报文进行QoS保障的处理，发生在报文从设备的一个接口进入，到从另一个接口出去的整个过程中。从技术上，这个过程按照处理顺序分为报文分类、拥塞管理、拥塞避免、流量监管与整形等部分。 9.2.1 报文分类

报文分类是QoS的基础，只有区分了不同的报文业务，才能进行分别处理及保障相应业务的服务质量。一般在网络边界，利用ACL等技术，根据物理接口、源地址、目的地址、MAC地址、IP协议或应用程序的端口号等依据对报文进行分类，并同时设置报文IP头的TOS字段作为报文的IP优先级；在网络的内部则可使用边缘设置好的IP优先级作为分类的标准，以提高网络的处理效率。 9.2.2 拥塞管理

网络资源总是有限的，当网上业务流量超过网络提供的能力时，即发生了拥塞。 在发生拥塞时，如何进行管理和控制呢？处理的方法是使用队列技术。在一个接口没有发生拥塞的时候，报文在到达接口后立即就被发送出去；在报文到达的速度超过接口发送报文的速度时，接口就发生了拥塞。拥塞管理就会将这些报文进行分类，送入不同的队列；而队列调度对不同优先级的报文进行分别处理，优先级高的报文会得到优先处理。不同的队列算法用来解决不同的问题，并产生不同的效果。常用的队列有FIFO、PQ，CQ，WFQ等，

下面简单介绍各种队列技术的特性。 1）先进先出队列（FIFO）

顾名思义，先进先出队列（简称FIFO）不对报文进行分类，按报文到达接口的先后顺序让报文进入队列，在队列的出口让报文按进队的顺序出队，先进的报文将先出队，后进的报文将后出队。 2）优先队列（PQ）

优先队列（简称PQ）对报文进行分类，将所有报文依据预先配置分成最多4类，按照先进先出的策略分别进入4个优先级不同的队列。在报文出队的时候，高优先级的队列相对于低优先级的队列具有绝对的优先权，只有高优先级队列报文发送完毕，较低优先级才得到发送，而且较低优先级的报文会在发生拥塞时被较高优先级的报文抢断。因此采用这种队列机制可以保证在网络发生拥塞的情况下，重要业务（高优先级）的数据传输得到绝对的优先传送。但在较高优先级的报文的速度总是大于接口的速度时，会使较低优先级的报文始终得不到发送的机会。 3）定制队列（CQ）

定制队列（简称CQ）根据设置将所有报文分成最多至17类，按照先进先出的策略分别进入1个系统队列和16个用户队列。在出队调度上，系统队列具有绝对的优先权，系统总是先处理完该队列后再用处理用户队列；16个用户队列占用出口带宽的比例可以设置，CQ按定义的比例使各队列之间在占用的接口带宽上满足管理员预先配置的比例关系。采用这种队列机制，当拥塞发生时，能保证不同业务根据比例获得相应的带宽占用，从而既保证关键业务能获得较多的带宽，又不至于使非关键业务得不到带宽，避免PQ的一些缺点。另外，没有拥塞时，各业务可以根据流量中业务的相对比例充分使用接口带宽，提高资源利用率。 4）加权公平队列（WFQ）

加权公平队列（简称WFQ）对报文按流进行分类（相同源IP地址，目的IP地址，源端口号，目的端口号，协议号，TOS相同的报文属于同一个流），每一个流被分配到一个队列。在出队发送的时候，WFQ根据报文分类时设置的流的优先级（precedence）来分配每个流应占有出口的带宽。优先级的数值越小，所得的带宽越少。优先级的数值越大，所得的带宽越多。在拥塞发生时，它能保证任何流量的流（业务），都能公平地得到一定的带宽占用，减少这个网络的时延，并当流（业务个数）的数目减少时，能自动增加现存流可占的带宽。 5）RTP（Real-timeTransportProtocol）优先队列

对实时要求高的数据流，例如语音，提供较高的优先级和预留带宽。 9.2.3 拥塞避免

据统计，互联网上发生70％的报文丢弃原因是由于拥塞造成的，对造成拥塞的原因进行分析，并制定避免拥塞的策略，将大大提高网络的可用性。当拥塞发生时，如果按照传统的队列尾丢弃处理方式，对于TCP报文，会引发TCP的慢启动和拥塞避免机制，使TCP减少报文的发送。当同时丢弃多个TCP连接的报文时，将造成多个TCP连接同时进入慢启动和拥塞避免，称之为：TCP全局同步。这使得发向网络的报文流量总是忽大忽小，线路上的流量总在极少和饱满之间波动，造成网络利用率降低。

为了避免这种拥塞情况的发生，可以采用随机早期检测（RED）或加权随机早期检测（WRED）的丢弃策略。可避免使多个TCP连接同时降低发送速度，避免TCP的全局同步现象。这样，无论什么时候，总有TCP连接在进行较快的发送，提高了线路带宽的利用率，降低拥塞的发生。

丢弃策略对网络中TCP方式的应用有比较好的效果，但对网络中UDP数据产生的拥塞则不会有很大的改善。

9.2.4 流量监管和整形

流量监管的作用是进入网络的某一连接流量与突发，在报文满足一定的条件下，如某个连接的报文流量过大，流量监管就可以选择丢弃报文，或重新设置报文的优先级。通常是使用CAR来某类报文的流量，如FTP报文不能占用超过50%的网络带宽。如果需要流出网络的某一连接流量报文，以比较均匀的速度向外发送，则使用流量整形。

约定访问速率（CAR）——是一种带宽管理机制，利用令牌桶技术来实现带宽的分配和测量。网络管理员可以为不同的业务分配不同的带宽，定义业务占用的带宽超过分配额度时的处理策略，通过通过路由器某一端口的流量，很好地保证整个网络的QOS。CAR既可用于网络的入口也可用于网络的出口，可以报文分类完成的结果区分不同的业务流。另外，它还可以对报文的IP优先级根据需要加以重新标记。

CAR技术是农行网络进行QoS管理的核心技术之一，通过CAR，我们可以保证在网络发生拥塞时，确保优先业务正常运行所需带宽，华为全系列NE路由器均支持CAR技术。

通常的CAR技术由软件来实现，需要花费路由器较多的处理能力，由于集中式转发路由器处理能力有限，采用CAR将严重的影响整个路由器的转发效率。QuidWay系列高端路由交换机全部采用了分布式转发体系，每块业务板均有CPU负责本板的CAR功能，分布式CAR不会为路由交换机造成性能瓶颈。

9.3 农行数据中心QoS设计

目前，农行上海数据中心网络相关业务可分为以下几个类别： 业务类别 实时业务 具体业务 生产实时、OA实时、用户认证、网络管理、设备管理、空调信号、语音、视频会议…… 普通交互业务 批量业务 其他业务 其他视频、OA非实时、生产非实时…… 代理业务、FTP…… WWW等不包含在以上分类的其他业务 业务对网络的QoS需求主要表现在对网络带宽、延迟、延迟抖动、包丢失等方面的要求。根据以上业务类别，可知农行上海数据中心的QoS需求列表如下： 业务类别 实时业务 普通交互业务 批量业务 其他业务 带宽要求 按需确保 适量带宽 适量带宽 尽量服务 延迟 低 适量 适量 尽量服务 延迟抖动 低 适量 适量 尽量服务 包丢失 低 适量 适量 尽量服务 由于上海数据中心的局域网采用万兆端口互联，应该不会出现网络拥塞，所以在上海数据中心的局域网中将主要实现对不同数据流的分类和标记。即在接入层对不同业务的数据流进行分类，并采用DSCP进行标记。

根据以上表格，把需要使用QOS的各种应用划分为5类：

 网络控制信令：关键的设备管理和控制信令传输。定义为最高优先级

 视频/语音：这类数据对延时也非常敏感，但属于多媒体业务，可以定义为最高优

先级；

 业务类实时业务：这类数据的特点是交易包长度固定，交易时限要求实时，上下

行数据流量基本对等，因为是网络中的关键应用，所以应定义为次优先级；  业务类非实时业务：这类数据的特点是数据流量大，网络要求实时性不高，定时

传输。所以应定义为比较高的优先级；

 管理类实时业务：这类业务对实时性要求高。定义为比较高的优先级。  管理类非实时业务：这类数据通常对网络实时性要求不高，可定义为一般优先级

业务；

 其它应用：其它应用包括大部分Internet访问，典型的应用是FTP或HTTP等，

可以把这类应用定义为最低的优先级。

由于DSCP向下兼容IPPrecedence，而DSCP提供了进一步细分不同类型数据流的能力，可以满足未来中国XX银行上海数据中心网络扩展的需求，因而在数据中心采用DSCP进行数据流分类、而在一级分行采用IPPrecedence进行数据流分类。DSCP与IPPrecedence值进行相互转换时有如下的对应关系：

IPPrecedence 0(000---) 1(001---) 2(010---) 3(011---) 4(100---) 5(101---) 具体数据流分类如下：

业务应用类型 DSCP/IPPrecedence值 其它应用（如FTP和HTTP） 0/0 非FTP/HTTP的OA应用 业务非实时，办公实时 8/1 16/2 DSCP 0(000000) 8(001000) 16(010000) 24(011000) 32(100000) 40(101000) 业务类实时业务 视频/语音 网管,控制信令传输 24/3 32/4 40/5 第10章 可靠性设计

10.1 可靠性概述

网络的可靠性是一个从端到端的全程概念，单纯提高某一层面的可靠性并不能对网络整体的可靠性有很大改善。

网络的可靠性最终要从设备级、链路级、网络级、业务级等各层次保证。

设备级的可靠性：包括设备本身的健壮性及对周围环境的适应能力，可靠的设备应该对关键部件（如主控板，交换网板，电源等）进行冗余备份，并且可以在恶劣的环境下长时间稳定运行。设备级可靠性的另外一个重要方面就是设备在线升级能力及容错能力，容错能力体现在如设备发生故障时，可自动平滑的启动备份部件，不对业务造成影响。

链路级的可靠性：包括链路本身的可靠性，包括良好的线路质量，及链路的备份技术，如采用一些物理线路捆绑技术提供线路的可靠性，也可以采用其它链路/线路保护技术，如环网技术。

网络级的可靠性：设计合适的拓扑，如避免采用单星型结构以避免单点故障；网络设计模块化，各功能区域相，任一区域的故障不会扩散到其它区域；设备间的备份，如采用VRRP进行备份，当主用设备发生故障时，流量自动切换到备份设备上，该过程对业务透明；路由可靠性：首先根据网络特点选择合理的路由协议，避免路由环路，减少路由振荡，并且保护某个网络节点失效后网络快速自愈。

业务可靠性：网络只是业务的承载平台，设备，链路及网络的可靠性设计归根到底都是

为了保证业务的可靠性，从网络角度考虑业务可靠性，主要是通过各种网络技术时业务数据流满足业务的要去，如流量分布是不均衡的，特别是突发流量会引起网络的拥塞，导致业务的中断，需流量管理的引入能够使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。

网络的可靠性设计并不是一个孤立的问题，受到网络的地理分布，规模，可用线路等多方面原因，但作为数据中心网络应具备以下可靠性设计特点：

 业务网络与后台管理层网络的分离  网络关键设备之间互相备份  网络关键设备重要部件备份

 业务网络的关键层次设备之间的冗余连接  后台管理层的双平面网络设计  网络结构模块化  优化后的动态路由保护  防火墙的冗余设计  VRRP的冗余设计  二层流量范围的控制

 在任何情况下，任何时间，任何地点的设备完全的管理维护手段 下面从各层次详细描述农行上海数据中心网络的可靠性设计。

10.2 设备级可靠性设计

农行数据中心网络的设备级可靠性主要从设备自身可靠性，设备间热备份两个方面考虑。作为网络核心、汇聚层、高密度与关键业务接入层的关键设备必须具有电信级可靠性：

 可靠性指标必须达到99.999%；

 网络核心设备采用全分布式体系结构，路由与转发分离；

 所有关键器件，如主控板、交换网、电源等都采用冗余设计，业务模块支持热插拔；  网络核心设备支持不间断转发，主控板热备份。主备倒换过程不影响业务转发，不

丢包。

 网络核心设备支持软件在线升级，升级过程中业务不中断。

 网络核心设备支持软件热补丁，打补丁过程中主控板和接口板都不需要重启动，业

务不中断。

10.2.1 引擎（含主控及交换网）

对高可靠性的支持必须是完备的，系统的。既要对硬件部件的备份，也需要对数据和系统的中间状态信息备份。

硬件的备份技术是由硬件逻辑或者底层软件控制的，系统需要实时检测硬件的状态，如果发现异常，则启动倒换过程，将备用硬件升级为主用，而原主用部件相应的转换为备用，同时尝试对硬件部件复位，并给系统发出告警。

对数据和系统状态的备份也需要相应的硬件配合，通过部件冗余备份实现来增强设备的可靠性，如对路由器的主控板进行冗余备份，备用板与主用板之间并不进行运行状态和与运行数据的同步。路由器启动时，主用板和备用板都要进行程序加载，并且开始相关模块的初始化，主用板正常执行启动过程，开始软件运行，备用板并不完成所有的初始化（包括配置文件的执行），而是在完成之前的最后一步暂时阻塞，保持等待运行的状态；一旦主用板出现故障，备用板重新启动所有的业务板并完成最后的初始化，接替主用板工作。这种备份方式称为冷备份。

冷备份节省了加载以及启动的时间、备用板配置恢复时间，减少了故障恢复时间，从而增加系统可靠性。不过在这种备份方式下，1）由于主备之间不进行任何数据的备份，需要进行数据的搜集或恢复处理，需要花费一定的时间，2)一些协议连接需要重新协商处理，如路由协议建立邻居、路由聚合需要花费一定的时间;3)可能会导致业务板的重新启动，需要花费一定的时间。所有这些，都可能导致业务的短时间中断，但是，即使是瞬间的网络中断，也可能给用户造成巨大的损失，对银行系统这种敏感用户尤其如此。

为了将网络中断时间减少至最短时间，甚至做到业务不中断，需要对系统运行时的动态数据或进程状态进行备份，这时备用板处于一个特殊的运行态，只接收和储存由主用板发送来的数据和状态，当主用板发生故障时，系统平滑的切换到备用板，切换过程对网络用户透明，业务不会因为网络的切换而中断。我们称这种备份方式为热备份。

当系统的备用板启动之后，主用板和备用板之间的状态差异可以非常大，这时需要将主用系统的数据批量的备份到备用板上，这个过程就是批量备份。当批量备份结束后，随着系统的运行，主用系统的数据会发生变化，这些变化需要定时的备份到备用系统中，这个过程称作定时备份。一旦主用系统出现故障，备用系统和主用系统的角色需要交换，将备用系统升格为主用系统的过程称作主备倒换。备用系统升级为主用系统后，一些状态信息没有从原主用系统得到，或数据失效，新的主用系统需要与接口板对硬件状态、链路层状态和配置数据上确认这些数据，这个确认过程是数据平滑。

热备份保证主备系统板之间的数据和状态始终一致，因而，业务板也感觉不到系统板发生倒换，再加上协议状态的一致，因此可以保证业务不会丢失。

华为的VRP(VirsatileRoutingPlatform)在QuidwayS8512万兆核心路由交换机产品的各个业务板上保存FIB表（转发表），报文转发不需要系统板的参与。主备倒换发生时，业务

板不发生变化，允许保文继续转发，从而保证业务不损失。

本次项目的配置建议中，我们推荐农行上海数据中心的核心层、汇聚层和接入层网络设备都采用冗余引擎。每台核心层设备均采用HA特性实现系统的高可靠性，可以在主控板发生故障时，快速、准确恢复系统的正常运行，从而增强系统的MTBF（MeanTimeBetweenFailure），即平均故障间隔时间。

HA特性是主控板单板的一个特性。交换机有两块主控板单板，工作在master-slave备份模式，即一块工作在master模式，为主控板，一块工作在slave模式，为备用板。当主控板发生故障时，主备倒换将自动进行。备用板将自动连接并控制系统的BUS，同时原来的主控板将断开和系统BUS的连接。主备倒换完成后，备用板将成为主控板，而原来的主控板将重新启动成为备用板。因此，即使主控板故障，备用板也能迅速取代它成为主控板，保证S8500系列路由交换机的正常运行。

此外，在网络异常情况下（如CPU占用超过70％）华为设备可采取多种保护措施，提高整机可靠性：

S8512设备设计特点之一是转发与控制相分离：转发层根据控制层下载的转发信息（如：转发表、STP状态）线速转发。控制层面繁忙不会影响已有流量/规则的线速转发；

S8512设备设计特点之二是控制层面采用全分布式体系架构（转发层也是全分布式结构）：部分协议分布在接口板上实现（如：ARP）以减轻主控CPU负担；同时接口板还过滤所有送往主控板的报文流量，在主控CPU占有率/接口板CPU占有率较高时根据策略发现攻击、非法报文并切断非法报文送往主控CPU，以保证主控CPU安全，将攻击/危险控制在有限范围内。同时主控板也根据自身策略做防护；

S8512设备特点三采用高性能的最长匹配、逐包转发的方式：在保持线速性能和低成本

的基础上，性的解决了传统交换机流Cache精确匹配转发的致命缺陷，能够有效的抗击网络“红色代码”、“冲击波”等病毒的攻击，更加适合大规模、多业务，复杂流量访问的网络。

另外，在QuidwayS8512设备发现自身CPU占用率异常情况下，比如超过70％，几乎可判定为受到攻击或网络拓扑不断发生新的变化。QuidwayS8512设备系统通过主控板/接口板协调配合实现系统自愈，有效较低CPU占有率，保障整机系统的稳定。 10.2.2 电源

本次为农行上海数据中心网络推荐的设备是全部采用QuidwayS8512万兆核心路由交换机。S8500系列路由交换机的电源系统支持交流和直流两种供电方式。供电系统位于机箱底部，电源占3U高度。直流供电和交流供电方面从结构设计上采取了空间复用方式，供电子系统可根据需求进行灵活配置，供电框和主功能框之间采用线缆连接，所有线缆在机箱后部走线。电源供电设计和主功能框采用相对腔体，电源散热采用电源模块内部风扇，为前后风道，前进风，后出风。

S8500系列路由交换机只需1个电源模块即可保证系统的正常工作，但路由交换机提供有2个电源模块的槽位，实现了电源模块的1+1冗余备份，并可以实现负载均衡。且S8500系列路由交换机的电源模块均支持热插拔。此外，外置POE电源系统也支持2+1冗余备份，并且支持热插拔。建议在数据中心采用负载均衡方式工作。 10.2.3 模块和端口

模块和端口设计通用原则如下：

 区分上连、互连和下连链路，尽量保证彼此模块相对；

 同一机箱优先使用高编号槽位；  同一模块优先使用高编号端口；

 确保Channel的所有端口使用相同模块； 10.2.3.1. 核心层QuidwayS8512

核心层QuidwayS8512路由交换机槽位和端口使用策略： 1. 0槽和1槽配置主备用引擎模块； 2. 12、13各自对应一个2×10GE核心互连； 3. 从9槽开始连接汇聚层设备。

4. 区分不同区域的接入端口，尽量保证彼此模块相对； 10.2.3.2. 汇聚层QuidwayS8512

汇聚层QuidwayS8512路由交换机槽位和端口使用策略： 1. 13、12、11槽连接2×GE汇聚互连和2/4×GE核心上连； 2. 从7槽开始连接接入层设备。 10.2.3.3. 接入层QuidwayS8512

接入层QuidwayS8512交换机槽位和端口使用策略： 1. 13、12槽分别配置一个2×GE接入汇聚设备； 2. 从11槽开始连接接入设备。

10.2.4 系统软件

所有的软件系统均无尽善尽美，那么软件的补丁技术可靠性也是数据中心网络建设设备级可靠性设计考虑的重要环节。补丁技术主要目的是修正已经发现并解决的BUG，防止相同的问题在不同的网络上发生。在两种补丁技术中，冷补丁的软件升级技术是传统数据通信产品的主要方式，热补丁技术则是现有电信网络设备的常用方式，冷补丁技术能够不中断业务的转发，但对设备的正常运行有一定影响；热补丁的执行过程中业务处理流程可以正常进行，对设备没有任何影响。

华为3公司本次项目推荐采用的是QuidwayS8512万兆核心路由器，该产品能够执行上述两种补丁方式。

冷补丁技术的主要原理是使用更新的软件版本替换有问题的版本，在这个过程中，如果是在无备份的机制下，会中断转发业务；在有备份板的情况下，打补丁操作需要在备板中进行，通过手动倒换操作，能实现无业务损失的升级工作，但在接口处理板上的补丁操作会影响业务的正常运行。

热补丁技术需要有操作系统和相应的编译工具的支持，它的原理是将所需要升级的那部分代码编译后形成一个补丁文件，在打补丁过程中，将这个补丁文件加载到系统的补丁区域，并修改原有软件的Bug区域，将新的特性跳转到补丁区域执行，整个过程不需要中断业务，可以在主用板执行，因此业务没有丝毫损失。另外热补丁技术并没有修改原有软件，因此在需要时可以回退，这也为补丁的更新提供了更便利的条件。

建议在农行数据中心今后网络设备维护时采用热补丁技术。

10.3 链路级可靠性设计

链路级可靠性设计主要考虑在网络的关键处采用链路冗余备份设计，可适当采用交叉连

接方式、链路捆绑等。

农行上海数据中心的网络链路连接方式建议如下：

农行上海数据中心的网络核心、汇聚层与接入层之间都有冗余连接；而对于汇聚层与接入层两个设备之间的连接采用了PortChannel的设计，如下：

网络连接 核心设备之间互连 核心与汇聚设备互连 分布设备之间互连 分布与接入设备互连 冗余链路设计 2×10GE 2/4GE 2/4GE 2/4GE 10.4 网络级可靠性设计

10.4.1 拓扑冗余

根据前文所述，农行上海数据中心网络分为多个功能分区，每个网络功能分区的接入层交换机将定义为Layer2交换机，Layer2和Layer3的边界位于每个网络功能分区的汇聚层交换机上。

交换区域的可靠性通过STP实现。被STP阻断的逻辑链路在线路或设备出现故障的情况下可以自动释放，形成新的拓扑结构，保证网络数据的正常传输。同时本次项目所推荐的QuidwayS8512除了支持基本的STP、RSTP、MSTP等，还从数据中心网络可靠性的角度出发，提供了许多便于管理的特殊功能：根桥保持、根桥备份、ROOT保护功能、BPDU保护功能、环路保护等功能。

1.BPDU保护功能

对于接入层设备，接入端口一般直接与用户终端（如PC机）或文件服务器相连，此时接入端口被设置为边缘端口以实现这些端口的快速迁移；当这些端口接收到配置消息（BPDU报文）时系统会自动将这些端口设置为非边缘端口，重新计算生成树，引起网络拓扑的震荡。这些端口正常情况下应该不会收到生成树协议的配置消息。如果有人伪造配置消息恶意攻击交换机，就会引起网络震荡。BPDU保护功能可以防止这种网络攻击。

2.Root保护功能

生成树的根桥及备份交换机应该处于同一个域内，特别是对于CIST的根桥和备份交换机，由于网络设计时一般会把CIST的根桥和备份交换机放在一个高带宽的核心域内。但是由于维护人员的错误配置或网络中的恶意攻击，网络中的合法根桥有可能会收到优先级更高的配置消息，这样当前根桥会失去根桥的地位，引起网络拓扑结构的错误变动。这种不合法的变动，会导致原来应该通过高速链路的流量被牵引到低速链路上，导致网络拥塞。Root保护功能可以防止这种情况的发生。

3.环路保护功能

依靠不断接收上游交换机发送的BPDU，交换机可以维持根端口和其他阻塞端口的状态。但是由于链路拥塞或者单向链路故障，这些端口会收不到上游交换机的BPDU。此时交换机会重新选择根端口，根端口会转变为指定端口，而阻塞端口会迁移到转发状态，从而交换网络中会产生环路。环路保护功能会抑制这种环路的产生。

在启动了环路保护功能后，根端口的角色不会迁移但是状态会转变，阻塞端口角色会发生迁移但是仍然会一直保持在Discarding状态，不转发报文，从而不会在网络中形成环路。

对于配置了环路的端口，如果该端口参与了STP计算，则不论其角色如何，该端口上的所有实例将一直被设置为Discarding状态。

4.防止TC-BPDU报文攻击的保护功能

交换机在接收到TC-BPDU报文后，会执行MAC地址表项和ARP表项的删除操作。在有人伪造TC-BPDU报文恶意攻击交换机时，交换机短时间内会收到很多的TC-BPDU报文，频繁的删除操作给交换机带来很大负担，给网络的稳定带来很大隐患。

防止TC-BPDU报文攻击的保护功能使能后，交换机在收到TC-BPDU报文后的一定时间内（一般为15秒），只进行一次删除操作，同时监控该时间段内是否收到TC-BPDU报文。如果在该时间段内收到了TC-BPDU报文，则交换机在该时间超时后再进行一次删除操作。这样可以避免频繁的删除MAC地址表项和ARP表项。

可以通过下面的命令来配置交换机的保护功能：

操作 命令 配置交换机的BPDU保护功能（系统视图） stpbpdu-protection 恢复配置交换机的BPDU保护功能为缺省undostpbpdu-protectio的关闭状态（系统视图） n stpinterfaceinterface-listroot-protection 配置交换机的Root保护功能（系统视图） 恢复配置交换机的Root保护功能为缺省undostpinterfaceinterfa的关闭状态（系统视图） 配置交换机的Root保护功能（以太网端口视图） 恢复配置交换机的Root保护功能为缺省的关闭状态（以太网端口视图） ce-listroot-protection stproot-protection undostproot-protection 配置交换机的环路保护功能（以太网端口视图） 恢复配置交换机的环路保护功能为缺省的关闭状态（以太网端口视图） 启动防止TC-BPDU报文攻击的保护功能（系统视图） 关闭防止TC-BPDU报文攻击的保护功能（系统视图） stploop-protection undostploop-protection stptc-protectionenable stptc-protectiondisable 缺省情况下，交换机只启动防止TC-BPDU报文攻击的保护功能，不启动BPDU保护功能、Root保护功能和环路保护功能。

交换机上启动了BPDU保护功能以后，如果边缘端口收到了配置消息，系统就将这些端口关闭，同时通知网管这些端口被MSTP关闭。被关闭的端口只能由网络管理人员恢复。

对于设置了Root保护功能的端口，其在所有实例上的端口角色只能保持为指定端口。一旦这种端口上收到了优先级高的配置消息，即其将被选择为非指定端口时，这些端口的状态将被设置为侦听状态，不再转发报文（相当于将此端口相连的链路断开）。当在足够长的时间内没有收到更优的配置消息时，端口会恢复原来的正常状态。

在对一个端口进行配置的时候，在Loop保护功能，Root保护功能或者边缘端口设置三个配置中，同一时刻只能有一个配置生效。

对于设置了loop保护功能的端口，其在所有实例上的端口状态只能迁移成discarding状态。一旦这种端口上长时间收不到配置消息，即其将发生状态角色迁移时，只发生角色的转换，但是仍然会维持discarding状态，不转发报文。这是为了防止对端由于错误操作导致

BPDU报文发不出，而该端口由于长时间收不到配置消息直接进入forwarding转发状态所产生的环路。

缺省情况下，交换机不启动BPDU保护功能、Root保护功能和环路保护功能。 10.4.2 网关冗余

VRRP（VirtualRouterRedundancyProtocol）是一种容错协议，其目的是利用备份机制来提高路由器与外界连接的可靠性。VRRP确保当主机的下一跳三层设备（本次推荐的QuidwayS8512）坏掉时可以及时的由另一台QuidwayS8512来代替，从而保持通讯的连续性和可靠性。为了使VRRP工作，要在设备上配置虚拟路由器号和虚拟IP地址，同时产生一个虚拟MAC地址，这样在这个网络中就加入了一个虚拟QuidwayS8512。而网络上的主机与虚拟QuidwayS8512通信无需了解这个网络上物理QuidwayS8512的任何信息，一个虚拟QuidwayS8512由一个主QuidwayS8512和若干个备份QuidwayS8512组成，主QuidwayS8512实现真正的转发功能。当主QuidwayS8512出现故障时一个备份QuidwayS8512将成为新的主QuidwayS8512接替它的工作。VRRP中只定义了一种报文——VRRP报文，这是一种多播报文，由主QuidwayS8512定时发出来通告它的存在，使用这些报文可以检测虚拟QuidwayS8512各种参数，还可以用于主QuidwayS8512的选举。VRRP中定义了三种状态模型初始状态Initialize，活动状态Master，备份状态Backup，其中只有活动状态可以发送报文，而且报文也只有一种。HSRP报文是封装在UDP报文上的，而VRRP报文是封装在IP报文上的，支持各种上层协议。同时VRRP还支持将真实接口IP地址设置为虚拟IP地址的做法。

1.汇聚层设备在连接普通接入时采用VRRP； 2.VRRP优先级策略与STP的根网桥主备设置一致；

10.4.3 路由冗余

网络物理链路的冗余设计为路由协议选择备份连接提供了基础。北京数据中心网络使用OSPF路由协议根据网络链路的cost计算最短路径。

考虑运行维护的简单性，配合STP和VRRP，在网络设计上，将通过cost的调整，在汇聚层和核心层将数据流引导到冗余网络结构的一侧，而当设备或连接因故障中断时，OSPF会自动重新计算网络路径，并使用正常的连接保障数据通讯。

此外，对负载分担链路，还可采用IP快速重路由技术，实现50ms级的路由收敛。现有重路由技术的缺陷在于：下一跳失效的消息是通过路由收敛的过程得到的，当路由器的某一端口失效时，必须要等待一个较长的路由收敛过程才能将以此端口为出端口的路由下一跳从转发表中删除掉。在这段时间内报文仍然会选择这些路由下一跳转发，而不能及时的重路由到其它可能的负载分担项上（即转发表中其它的下一跳）。此缺陷造成重路由生效时间较长，重路由生效过程中的丢包率较高。

为了使重路由功能快速生效，减少重路由过程中的丢包，华为3公司QuidwayS8512万兆核心路由交换机IP快速重路由技术对IP重路由技术进行了优化，由于有良好的体系结构，这一过程相当简单，也就是根据接口底层的检测和用户的配置加快路由表更新相应的数据。这一机制的使用效果非常明显，将重路由过程中的丢包率由5.9%减少到0.027%，使重路由的时间由秒级减少到毫秒级，丢包减少99%以上。

采用MPLS流量工程可以支持MPLS快速重新路由。MPLS快速重新路由是一种对需要备份的LSP的每隔一跳建立局部备份路由进行备份的一种机制。由于MPLS快速重新路由在发现链路或路由器故障以后，是通过硬件直接进行切换的，可以做到从链路故障到快速重新路由切换成功的延时小于50ms！在没有SDH环路备份的链路上，MPLS快速重新路由是一种更加灵活的备份机制！

10.5 应用级可靠性设计

对于IP网络，流量分布是不均衡的，特别是突发流量会引起网络的拥塞，由于很多业务都对网络拥塞敏感，如一些核心业务及实时联机业务，严重的网络拥塞将导致业务的中断，所以需要使用流量管理技术使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。目前流量管理主要通过QOS设计实现，QOS设计将在专门的章节中描述，这里不再详述。

业务可靠性还体现在不同业务流相互隔离，互不影响，如采用VLAN、ACL、VPN等技术将不同业务相互隔离。

第11章 网络安全

11.1 安全设计概述

目前常见的金融网络安全隐患主要来自以下一些方面： 1．网络级攻击

窃听报文--攻击者使用报文获取设备，从传输的数据流中获取数据并进行分析，以获取用户名/口令或者是敏感的数据信息。特别是通过Internet的数据传输，存在时间上的延迟，更存在地理位置上的跨越，要避免数据不受窃听，基本是不可能的。

IP地址欺骗--攻击者通过改变自己的IP地址来伪装成内部网用户或可信任的外部网络用户，发送特定的报文以扰乱正常的网络数据传输，或者是伪造一些可接受的路由报文（如发送ICMP的特定报文）来更改路由信息，以窃取信息。

源路由攻击--报文发送方通过在IP报文的Option域中指定该报文的路由，使报文有可能被发往一些受保护的网络。

端口扫描-通过探测防火墙在侦听的端口，来发现系统的漏洞；或者事先知道网络设备操作系统软件的某个版本存在漏洞，通过查询特定端口，判断是否存在该漏洞。然后利用这些漏洞对网络设备进行攻击，使得网络设备DOWN掉或无法正常运行。

拒绝服务攻击--攻击者的目的是阻止合法用户对资源的访问。比如通过发送大量报文使得网络带宽资源被消耗。

2．应用层攻击

有多种形式，包括探测应用软件的漏洞、\"特洛依木马\"等； 3．系统级攻击

不法分子利用操作系统的安全漏洞对内部网构成安全威胁。 另外，网络本身的可靠性与线路安全也是值得关注的问题。

由此可见，网络的安全覆盖系统的各个层面，由“物理级安全、网络级安全、应用级安全、系统级安全和管理级安全”五个层次组成。在物理层次的安全主要依靠物理线路的可靠保障、维护等措施防护，对于一些不同机密的内隔离，可采用一些物理隔离设备实现信息摆渡。而系统级层次的安全主要依靠操作系统的可靠性、漏洞补救、病毒防护等措施保障，该层次的安全性可以结合网络层、应用层和管理层的措施共同防护。

11.2 安全管理中心设计

为了合理的解决网络安全问题，必须充分分析网络逻辑组成，网络中不同部分的功能不同，所关注的安全问题也不同。而如今我们还面临着诸多安全问题的挑战：

 策略部署的挑战

安全防御体系缺乏统一的安全策略管理平台，使得网络管理人员无法全面掌握和控制网

络的整体安全策略和安全状态，造成策略部署和管理上的困难，难以在全网统一实施企业安全策略，容易产生安全“缝隙”和“三不管”的灰色地带。  事件分析的挑战

多层次的安全防御体系产生的海量安全事件无法人为管理，各安全部件(如IDS、FW)本身的局限性造成的误报和漏报，容易导致重要的信息被淹没、真正的攻击被忽视。由于缺乏对整网安全状态和被保护对象的了解，现有的安全防御体系没有将资产或业务的价值体现到安全策略中，难以对安全事件的原因做深入的关联分析，无法从海量的安全事件中判断攻击有效性、区分防御重点。  风险响应的挑战

孤立的安全防御体系中，安全防护、安全检测、安全响应没有形成高效的闭环，各安全子系统的响应手段单一，安全部件、网络设备、用户终端和管理员之间缺乏协同与联动，导致企业网络对安全事件的响应能力低下，难以做到及时、准确的整体防御。 现有安全防御体系面临的问题不是单一的安全部件能够解决的。网络信息安全的“木桶原则”表明：一个木桶能装多少水不仅取决于短木板的长度，也取决于木板间的紧密程度；一个网络的安全不仅依赖于单个安全部件的能力，也依赖于各安全部件之间的紧密协作。因此，通过全面、集中的安全管理，智能、综合的事件分析，动态、广泛的协同响应，将不同领域的安全部件融合成一个无缝的安全体系，成为新一代整网安全解决方案的发展趋势。

我们推荐了安全管理中心解决方案，以开放的安全管理平台为框架，将安全体系中各层次的安全产品、网络设备、网络服务、用户终端等纳入一个紧密的统一管理平台中，通过安全策略的集中部署、安全事件的深度感知与关联分析以及安全部件的协同响应，在现有安全设施的基础上构建一个协同安全防御体系，大幅度提高企业网络的整体安全防御能力。华为3安全管理中心由策略管理、事件采集、分析决策、协同响应四个组件构成，与网络中的安

全产品、网络设备、网络服务、用户终端等功能部件通过各种信息交互接口形成一个完整的协同防御体系（见下图）。

安全管理中心旨在集中部署网络安全保护策略，简化对安全部件的管理，确保网络安全策略的统一；广泛采集与分析来自于计算机、网络、存储、安全等设施的告警事件，通过关联来自于不同地点、不同层次、不同类型的安全事件，发现真正的安全风险，提高安全报警的信噪比；准确的、实时的评估当前的网络安全态势和风险，并根据预先制定的策略做出快速响应。其基本功能包括：

 安全策略的集中部署

网络中的安全部件涉及身份安全、终端安全、设备安全、连接安全、网络安全等各个层面，对应的安全防护技术包括AAA、防病毒、漏洞检测、防火墙、VPN、IDS等不同层次的防御部件。集中部署各部件的安全防护策略，可以简化对安全部件的管理，确保网络安全策略的统一，提高安全管理工作的效率。华为3安全管理中心的安全策略集中部署提供了集成、统一、完整的安全防护策略配置平台，可以通过直观的网络、服务器、终端及用户拓扑图，查看和配置安全策略、网络设备、网络服务与用户终端，有效屏蔽安全产品和网络设备的差异性，实现对安全产品或设备的配置一致性。  安全事件的深度感知

网络的不同层次、不同节点往往都部署了相应的安全部件，分别起到不同层面的安全防御作用。为了实时、全面地获取网络安全信息，必须解决网络安全管理中的事件透明性问题，让管理员可以监控到网络中每个安全产品的运行状态，为网络安全分析与决策提供支持。安全管理中心可以通过开放协议或安全代理的方式采集来自不同部件的安全事件数据，如病毒事件、异常登录事件、异常操作事件、漏洞检测事件、系统资源异常占用事件、流量异常事件等，帮助管理员及时掌握网络中的设备、服务和终端的安全状态，

为进一步的深入分析和决策奠定准确的数据基础。  安全事件的关联分析

网络中的各种安全部件产生的众多安全事件，往往使管理员淹没于信息的海洋中；各安全部件本身的局限性造成的误报和漏报，容易导致真正的攻击被忽视。华为3安全管理中心在全面采集安全事件的基础上，通过各种基于统计和规则的关联分析算法，结合安全事件产生的网络环境、资产重要程度、系统漏洞级别，对安全事件进行深度分析，可以有效提高安全事件的信噪比，减少告警日志数量而不丢失重要信息，为安全事件审计和风险响应提供更准确的决策支持。  安全威胁的协同响应

对安全事件进行全面采集和关联分析的目的是准确的阻断和防止攻击。华为3安全管理中心在全面了解网络资源部署的条件下，可以根据攻击源的不同，智能选择控制点以更有效的防止攻击，比如，对于外部攻击选择在防火墙ACL阻断、对内部攻击选择用户接入交换机端口关闭、对于内部蠕虫爆发选择隔离攻击源。也可以针对不同的被攻击对象，区分响应方式，以提高整个网络的自防御能力，比如，对于用户终端可以强制进行补丁修复和病毒库升级，对于服务器资源可以动态更新安全配置。

11.3 安全认证中心设计

在安全管理中心设计中，需要考虑设计一套完整的统一认证系统。便于整个数据中心对分权、分区、分域的管理实现。同时也为数据中心的网络安全管理提供了一套行之有效的管理手段。

我们建议在农行上海数据中心配置一套

CAMS

系统

（prehensiveAccessManagementServer），它是华为3公司推出的综合接入管理服务器，可以配合华为3网络设备组网，完成对用户网络使用过程的认证、授权和计费。CAMS作为

网络中的用户管理核心，在基本的AAA（Authorization、AuthenticationandAccounting）功能之上，提供了强大的管理、维护和安全控制平台，可与企业现有系统平滑对接，实现网络的可管理、可运营和高安全。

CAMS采用分布式、模块化的开放体系结构和基于TCP/IP的通信机制，可以平滑扩容、灵活扩展、按需定制，采用Linux操作系统、Oracle数据库，并支持集群服务器、磁盘阵列、数据库备份等特性，为用户提供了一种低价格、高可靠、高性能的网络安全和用户管理解决方案，能够满足各种规模网络的用户身份认证、权限控制和实时计费的要求。

1.完备、可靠的网络安全保证 a)强大的用户身份认证

支持802.1x、PPPoE、Portal（DHCP+WEB）等多种认证方式。

支持用户与设备IP地址、接入端口、VLAN、用户IP地址和MAC地址等硬件信息的绑定认证，增强用户认证的安全性，防止账号盗用和非法接入；并具备自动绑定功能，减少管理员手工录入的工作量。

支持与第三方邮件或Proxy系统（必须支持LDAP协议）的统一认证，避免用户记忆多个用户名和密码。

支持对Web服务器访问的统一认证和单点登陆，支持的Web服务器有IIS、Apache2.0，实现对WEB访问权限的统一管理和控制。

支持多区域用户漫游。 b)严格的用户权限控制

支持对接入用户下发安全策略，通过基于用户的权限控制策略，可以为不同用户定制不同网络访问权限。

CAMS可以控制用户的上网带宽（QoS）、用户的同时在线数、禁止用户设置和使

用代理服务器，有效防止个别用户对网络资源的过度占用。

CAMS配合接入设备可以实现对用户ACL、VLAN的控制，用户对内部敏感服务器和外部非法网站的访问。

可以用户IP地址分配策略，防止IP地址盗用和冲突。

可以用户的接入时段和接入区域，用户只能在允许的时间和地点上网。 可以终端用户使用多网卡和拨号网络，防止内部信息泄露。

可以用户必须使用专用安全客户端，并强制自动升级，确保认证客户端的安全性。 c)完善的用户行为监控

CAMS提供强大的“黑名单”管理策略，可以将恶意猜测密码的用户加入黑名单，并可按MAC、IP地址跟踪非法行为的来源。

管理员可以实时监控在线用户，强制非法用户下线。

支持消息下发，管理员可以通过CAMS向上网用户发布通知消息，如“系统升级，网络将在10分中后切断”、“您的密码遭恶意试探，请注意保护密码安全”等。

CAMS记录认证失败日志、并可以全面跟踪用户上网流程，方便定位与解决用户无法接入、异常断线等问题。

2.集中、方便的用户管理

基于服务的用户分类管理，用户的认证绑定策略、访问权限、计费策略均封装于服务中，简化管理员的操作，保证网络管理模式的统一。

丰富的批量操作，提供批量开户、批量续费、批量销户、批量修改等功能，便于用户数据的集中维护。

自定制的用户信息管理，管理员可根据网络运营的习惯进行用户信息定制：如学校可以定制学号、年级等信息，企业可以定制部门、职务等信息。

基于WEB的用户预注册，用户可以先通过WEB填写用户信息后，再到营业厅正式开通账号，保证用户信息的准确性，减轻管理员的维护工作量。

提供卡号管理功能，与一般的上网卡类似，卡号可以批量生成和发布，降低管理成本。 3.完备的系统管理与监控

灵活的业务运行参数配置，管理员可根据组网和运营环境进行功能定制。

操作级的管理员权限控制，可为不同管理员设置基于角色的操作权限，如系统管理员、账务管理员、前台营业员等；此外，系统提供详细的操作员操作日志，便于对管理员的操作进行跟踪。

CAMS能对自身运行状况进行实时监控，并且可以通过邮件将系统告警发给管理员，便于管理员及时了解系统运行状况，采取响应措施。

4.内置DHCPServer功能

CAMS内置了DHCP服务器，可以为用户指定DHCP分配策略，将用户与IP地址或地址池的绑定，为用户动态分配固定IP地址，实现基于用户的IP地址统一管理，既减少了管理员的维护工作量，又可以有效防止IP地址冲突。

11.4 模块化的安全构架设计

同时，针对网络的构架方面，我们建议从空间，网络层次，时间三个角度考虑网络系统的安全构架方案，从空间上，网络采用模块化思路构建，整个网络可以分为不同的逻辑功能区，不同功能区的安全关注的重点也不同，相应的，在其它两个方面（网络层次及时间）采取的安全措施也不同。如下图：

网络构架分为以下区域： ➢ 生产区

➢ OA接入控制区 ➢ 运行管理区 ➢ MIS服务区 ➢ 外联接入区

每个功能分区都采用接入层、汇聚层的层次化组网方式，通过汇聚层接入到数据中心网络核心。根据不同分区的功能要求，在汇聚层部署不同的网络访问控制、安全策略及安全产品以满足对本区安全访问的要求。通过分层、分区的模块化规划，能够很好实现安全模块的分布式部署及扩展，定义每个服务分区的网络安全规范，统一网络的安全策略： 11.4.1 核心交换区

作为数据中心的交换核心，完成整个数据中心网络的处理中心，流量交换及数据高速转发，这部分的安全处理比较简单，重点是设备安全。由于这部分实际上是整个数据中心网络的流量交换中心，可以在核心交换设备上通过端口镜像功能将符合一定条件的流量镜像到流量分析设备上，以完成高级别的网络流量分析，发现安全隐患，改善网络规划。华为3公司的QuidwayS8512通过网络处理器技术支持强大的端口镜像功能，并且可以对流量进行灵活的采样。另外，各多个功能区的中心交换机、核心交换区的交换机均启动了VRRP进行设备备份，对于安全程度不同的网络环境可以在报头上设定不同的认证方式和认证字，任何没有通过认证的报文将做丢弃处理。VRRP定义了三种认证方式无认证noauthentication简单字符认证，simplecleartextpasswords和MD5认证，MD5在一个安全的网络中可以将认证方式设置为NO，运行VRRP设备对要发送的VRRP报文不进行任何认证处理，而收到VRRP报文的路由器，也不进行任何认证就认为是一个真实合法的VRRP报文，这种情况下不需要设置认证字。在一个有可能受到安全威胁的网络中可以将认证方式设置为SIMPLE，

则发送VRRP报文的路由器就会将认证字填入到VRRP报文中，而收到VRRP报文的路由器会将收到的VRRP报文中的认证字和本地配置的认证字进行比较，相同则认为是真实的合法的VRRP报文，否则认为是一个非法的报文，将会丢弃。在一个非常不安全的网络中可以将认证方式设置为MD5，这样路由器就会利用AuthenticationHeader提供的认证方式和MD5算法来对VRRP报文进行认证，为到虚拟IP地址的转发请求服务。 11.4.2 生产区

该区域放置了大量的帐务主机、应用服务器，提供各种业务应用及数据处理，所以该区域实际上是整个网络的最关键、最敏感区域，对该区域的访问需要严格控制，建议在该区域配置防火墙设备，并根据农行总行的VLAN划分规范按照服务器、主机的功能分类划分VLAN，根据需要控制主机、服务间的互访。

除了网络安全，该区域还需关注主机、服务器的系统安全：

使用安全扫描软件，对关键的主机系统和网络定期进行扫描，可以检查出网络弱点和策略配置上的问题。根据扫描软件发现的问题，及时更新操作系统补丁，查杀病毒，更新安全策略。

部署基于主机和基于网络的入侵检测系统，及时处理入侵检测系统的报警，已发现攻击、蠕虫等异常情况。

定期强制更新用户口令，并制定用户口令规则，禁止使用不符合规则的口令。定期检查文件系统的访问权限是否合理，检查用户帐号的使用是否正常。

并定期整理归档入侵检测系统的日志 对用户操作进行进行审计。

11.4.3 OA接入控制区

OA接入控制区主要完成农行生产网络与OA网络的交互，是农行生产网络与OA网环境之间的关键关口，所以这些区域的安全设计重点是防范来自OA网络的攻击。

首先是设置防火墙，防火墙设置在OA接入之后，考虑到该访问是直接针对数据中心生产业务的，在防火墙的部署过程中，应该遵循这样几个必要的安全策略原则：最小授权，只有必要的流量，才能被授权通过防火墙；高度容错，即使防火墙出现问题，也不能降低生产系统的安全程度；深度防御，即使已经配置了防火墙，生产网络仍然要采取于防火墙的安全措施。可设置二层、三层防火墙（加网关、前置方式），其中外层用来保证直接对生产网的中间服务器的安全；内部一层用来保护内部网的网络安全，同时三层都采用双防火墙的连接方式，两台防火墙工作在热备份模式下。

此外，由于该区域主要负责接入OA网络，需要加强基于用户的进入生产网的管理措施。 用户管理主要包括以下几个方面：

用户身份管理：确保每个合法用户都具有一个唯一的身份标识，并且通过该标识可以唯一的确定一个合法用户。

用户接入管理：确保只有合法用户才能够访问网络。

用户权限管理：确保合法用户用户只能使用所授权的网络资源。

用户使用网络管理：记录用户使用网络的过程及操作，确保一旦出现问题进行追踪及回溯。

目前最常用的用户管理方式是基于用户名＋密码的认证授权管理，在以太网接入网络中，常通过802.1x及WEB认证两种方式进行，前者需要在用户主机上安装802.1x客户端软件，

后者没有此要求。二者都可以在认证通过后授权用户可的网络访问范围，目前此功能主要通过ACL实现。

华为公司的Quidway系列交换机支持802.1x及WEB认证方式，同时对ACL作了扩展，包括：

支持基于端口进行过滤：可以设定禁止或允许转发来自或去往某个端口的报文。 支持基于MAC地址进行过滤：可以设定禁止或允许转发来自或去往某个MAC地址的帧。

持基于Vlan进行过滤：可以设定禁止或允许转发来自或去往某个Vlan的报文。 支持基于应用进行过滤：可以对交换机端口的输入帧前80字节范围内的字节任意域设置过滤规则

局域网用户管理的另一个重要内容是防止IP盗用及MAC地址仿冒，华为公司的Quidway以太网交换机使用了地址绑定技术严格有效的防止了IP地址盗用。例如，绑定用户接入的端口与MAC地址及VLANID。Quidway以太网交换机支持设置端口的学习状态。关闭端口的地址学习功能后，该端口上只能通过认识的MAC地址（一般是用户手工配置的静态MAC地址），来自其它陌生MAC地址的报文均被丢弃。支持设置端口最多学习到的MAC地址个数。

用于这部分的用户组成较复杂，可能来自内部的攻击也可能较多。支持广播报文转发开关。可在端口上配置，禁止目的地址为广播地址的报文从该端口转发，以防止Smurf攻击。必要时可以考虑安装专用的入侵检测及扫描系统，及时发现和阻断非法用户对网络的刺探和攻击。

基于ACL的报文统计：这几部分的流量都主要集中于本区域，访问外部网络资源的流量相对较小。同时局域网内发生的攻击往往都伴随突发流量，所以可以通过基于ACL的报文统计作为一种有效的追踪手段。华为公司的Quidway系列交换机都支持基于ACL（IP五元组）及MAC地址的报文统计，并且可以分时间段进行统计。

对于跨VLAN的访问，可以通过ACLLog记录其访问外部网络资源的情况：在配置access-list时加入log关键字，可以在交换机处理相应的报文时，记录报文的关键信息。 11.4.4 运维管理区

该区域主要负责对整个数据中心的全部网络维护，不仅涉及了本区域的安全，还直接关系着各关键区域的安全策略、安全防护。因此其安全要求也非常高。特别是针对网络的维护人员的管理措施。

用户管理主要包括以下几个方面：

用户身份管理：确保每个合法用户都具有一个唯一的身份标识，并且通过该标识可以唯一的确定一个合法用户。

用户接入管理：确保只有合法用户才能够访问网络。

用户权限管理：确保合法用户用户只能使用所授权的网络资源。

用户使用网络管理：记录用户使用网络的过程及操作，确保一旦出现问题进行追踪及回溯。

目前最常用的用户管理方式是基于用户名＋密码的认证授权管理，在以太网接入网络中，常通过802.1x及WEB认证两种方式进行，前者需要在用户主机上安装802.1x客户端软件，后者没有此要求。二者都可以在认证通过后授权用户可的网络访问范围，目前此功能主要通

过ACL实现。

华为公司的QuidwayS8512系列交换机支持802.1x认证方式，同时对ACL作了扩展，包括：

支持基于端口进行过滤：可以设定禁止或允许转发来自或去往某个端口的报文。 支持基于MAC地址进行过滤：可以设定禁止或允许转发来自或去往某个MAC地址的帧。

持基于Vlan进行过滤：可以设定禁止或允许转发来自或去往某个Vlan的报文。 支持基于应用进行过滤：可以对交换机端口的输入帧前80字节范围内的字节任意域设置过滤规则

局域网用户管理的另一个重要内容是防止IP盗用及MAC地址仿冒，华为公司的Quidway以太网交换机使用了地址绑定技术严格有效的防止了IP地址盗用。例如，绑定用户接入的端口与MAC地址及VLANID。Quidway以太网交换机支持设置端口的学习状态。关闭端口的地址学习功能后，该端口上只能通过认识的MAC地址（一般是用户手工配置的静态MAC地址），来自其它陌生MAC地址的报文均被丢弃。支持设置端口最多学习到的MAC地址个数。 11.4.5 MIS服务区

该区域放置了大量的MIS应用服务器，提供各种业务应用及数据处理。该区域实际上是整个MIS应用的后台区域，对该区域也需要对访问进行严格控制，建议在该区域配置防火墙设备，并根据农行总行的VLAN划分规范按照服务器、主机的功能分类划分VLAN，根据需要控制主机、服务间的互访。

除了网络安全，该区域还需关注主机、服务器的系统安全：

使用安全扫描软件，对关键的主机系统和网络定期进行扫描，可以检查出网络弱点和策略配置上的问题。根据扫描软件发现的问题，及时更新操作系统补丁，查杀病毒，更新安全策略。

定期强制更新用户口令，并制定用户口令规则，禁止使用不符合规则的口令。定期检查文件系统的访问权限是否合理，检查用户帐号的使用是否正常。

并定期整理归档入侵检测系统的日志 对用户操作进行进行审计。 11.4.6 生产外联区

这些功能区主要完成农行生产网络与外部环境的交互，是农行生产网络与外部环境之间的关键关口，所以这些区域的安全设计重点是防范来自外部的攻击。

首先是设置防火墙，防火墙设置在第三方接入的路由器后面，考虑到该访问是直接针对数据中心生产业务的，在防火墙的部署过程中，应该遵循这样几个必要的安全策略原则：最小授权，只有必要的流量，才能被授权通过防火墙；高度容错，即使防火墙出现问题，也不能降低内部系统的安全程度；深度防御，即使已经配置了防火墙，内部网络仍然要采取于防火墙的安全措施。可设置三层、四层防火墙（加网关、前置方式），其中外面两层用来保证直接对网的交易前置服务器的安全；内部一至二层用来保护内部网的网络安全，同时三层都采用双防火墙的连接方式，两台防火墙工作在热备份模式下。

由于农行数据中心网络和第三方机构网络可能使用了不同的地址空间，所以在第三方机构接入路由器或防火墙上配置NAT功能。NAT可以有效地隐藏了内部网络地址：正常情况

下，所有访问只能由内部用户发起，外部用户无法主动发起连接。当内部主机需要访问外部网络时通过NAT将源地址转换成相应的公网地址。在外部网络主机返回报文中，其目的地址只是对外地址，防火墙/路由器负责通过NAT将公网地址转换成内部地址。

此外，作为农行数据中心与外部网络的关口，这部分的安全事件追踪功能尤为重要，这些记录主要来自于防火墙及接入路由器。

由于所有来自外部的通信都需要经过NAT转换，通过NAT日志可以记录内部员工访问外部网络的详细记录，一旦有内部员工访问外部非法站点或外部网络访问内部服务器，通过日志信息可以很容易的追踪。

11.5 统一的安全联动设计

上述模式均基于各区域内部，而整个数据网络对于安全的需求不能局限于单个区域、单项产品，例如防火墙出发点是阻断一切可疑数据从而切断攻击，而密码机来实现传输数据的加密，IDS实现入侵的检测。但是随着应用的不断深入，用户发现采用这种叠加方式不但成本高昂并且带来很多的管理问题。同时，部分安全隐患仍然存在，很多时候我们需要安全产品与安全产品之间、安全产品与网络中的其他部件之间通力协作，保证相关的攻击和漏洞在源头就被发现和阻断，从而更加有效的保护整个网络的安全。

在数据中心的安全部署中，我们建议采用IDS与网络设备全面联动的方式。

IDS联动通常可以采用两种阻断方式：即端口阻断和流阻断。端口阻断即在IDS在检测到攻击事件发生后，通过关闭相应网络设备的端口的方式来阻断后续攻击。而流阻断方式则是，IDS在检测到攻击事件发生后，结合产生的攻击事件，根据不同的攻击事件类型发送精确的流阻断消息到网络设备，在网络设备上实现流阻断。端口阻断由于采用比较粗犷的关闭物理端口方式对可疑的攻击行为进行阻断，有可能同时阻断正常业务流，而流阻断则结合攻

击者的相关信息，并通知到网络设备从而实现精确的数据流阻断，同时不影响正常业务的进行。

QuidwaySecEngineD系列可与华为3的QuidwayS8512万兆核心交换机、QuidwaySecPath防火墙/VPN网关等进行无缝联动，安全整体部署将为数据中心建立起立体的防护网络。

QuidwaySecEngine系列的IDS联动采用标准的SNMPv2/v3作为联动协议的承载协议，根据不同的攻击事件行为，使联动QuidwayS8512交换机产生下述不同的策略对数据流进行阻断：

 可以对单一主机发起的所有流进行阻断；  可以对单一主机特定端口发起的流进行阻断；  可以对单一主机接收的所有流进行阻断；  可以对单一主机特定端口的接收流进行阻断；  可以对指定网络发起的所有流进行阻断；  可以对指定网络接收的所有数据流进行阻断；

 可以对明确的五元组流(源和目的IP地址和端口和协议)进行阻断；

IDS系统可以与多个网络设备同时进行联动，并可以根据不同的联动对象设置不同的阻断时间等策略。QuidwayS8500系列核心交换机与IDS的联动处理包括下面主要内容：

1、 S8500通过端口镜像功能把攻击口（与攻击方相连的入端口）的数据流镜像到IDS侦听端口（下图中的监听口）。

2、 接收IDS发生过来协议头相关信息(IP/TCP/UDP/ICMP)及动作（如：阻断）信息，配

置ACL并下发到攻击口，阻断攻击流量。IDS和S8500的管理信息使用SNMP网路管理协议来传送。

S8500与IDS的联动过程如下：

图1 S8500联动过程

首先，在S8500上使用端口镜像配置功能，把攻击口的数据流量镜像到IDS监听口，IDS对镜像的数据流量镜像安全检测。

如果IDS发现攻击口有的可疑数据，则IDS把相应的流量数据的协议头相关信息(IP/TCP/UDP/ICMP)及动作（如：阻断）信息经管理口发给S8500。

S8500根据IDS发生过来的管理信息生成相应的流阻断或端口阻断ACL规则并下发到相应的攻击口，攻击口或攻击流量被阻断。

端口阻断或者流阻断是有时间的，当下发的ACL规则超时时，S8500取消攻击口ACL规则，攻击端口的流阻断被取消。

11.6 其他安全防护考虑

1．对网络设备和服务的保护 包括：

 在所有交换机上设置控制台口令  在所有交换机上设置用户口令  在所有交换机上设置远程登录口令  在所有交换机上设置分级用户名和口令

 在所有交换机上设置日志记录,建立单独日志服务器  所有口令加密 2、对应用系统的保护 包括：

 营业类网段不允许其他网段访问

 营业类网段中不允许FTP、Telnet、Rlogin等访问  对其他网段的保护根据具体情况所需设置

 这些规则最好在连接局域网的三层交换机上进行，如果交换机不支持访问控制，可以

在路由器上实现。 可实施如下的安全策略： 关闭一些不必要的网络服务：

缺省已关闭源路由功能、finger服务、bootp服务和域名解析功能，HE_RA、HE_RB、HE_RC上无需作任何配置

Telnet访问控制：

只允许所连接的数据中心的网管网段对网络设备进行Telnet访问， SNMP网络管理控制：

只允许所连接的数据中心的网管服务器对网络设备进行SNMP管理 前置网段访问控制：

为控制对前置网段中服务器的访问

11.7 网络病毒控制

蠕虫病毒通过大量繁殖，以主机为点、通过网络构成面的计算机自我复制机制对现有网络展开了大规模的网络流量攻击，一般攻击分为以下三步：

ARP攻击，蠕虫首先选择受感染系统所在子网的IP，然后再在互联网上选择目标攻击。因此，蠕虫会在短时间内向所有子网内主机、以及选择的互联网目标发起大量的ARP解析报文，造成“ARP风暴”。由于现网一般的LANSwitch、Router、L3、BAS设备等对接收到的广播ARP报文都要做解析处理，因此，在短时间内容会大量冲击ARP解析模块，造成部分网络设备崩溃，以及部分网络设备失效。

ICMP攻击和网络流量攻击，蠕虫的变种，部分会发起ICMP选择被攻击主机，短时间内会有成千上万个ICMP报文从连接被感染主机的设备端口涌入，占据大量的带宽。同时，一旦蠕虫侵入某个网络的一个主机，短时间内就会和这个网络中的其他用户建立连接，然后通过TFTP大量拷贝自身进行繁殖，数据占据大量带宽。这种数据流量的特点是时间短、带宽大，对网络造成很大的流量攻击。

DDOS攻击，蠕虫感染后，如2003年夏天爆发的蠕虫病毒，一旦8月之后或者日期是15日之后，就会向微软的更新站点“windowsupdate.”的80端口发动synflood拒绝服务攻击。也就是说，从2003年8月16日开始就会一直进行拒绝服务攻击。这种是典型的DDOS攻击方式。通过蠕虫本身的感染，子网内大量的主机都会被感染，一旦触发条件满足，在短时间内还会产生大量的数据包通过网络设备，对网络产生流量攻击。特别的是，为了防止安全系统跟踪到被感染设备，以及便于多次发起Synflood攻击，蠕虫修改了源IP地址，提供的源IP地址并非本机地址。

所以在网络技术上防止蠕虫病毒，可以从设备选择及组网技术两个方面进行考虑：

首先，为防止病毒攻击引起的局域网络瘫痪，很多情况下是与交换机的交换方式相关的，如很多中低端交换机甚至一些主流厂商早期的高端交换机都采用了流交换方式，当网络感染蠕虫病毒后，病毒不断变化IP报头发起网络流量攻击，导致网络中的流不断更新，流数目迅速增长，超出交换机能处理的流数目，交换机转而将报文交给CPU处理，由于交换机的CPU处理能力低，最终造成设备瘫痪。因此建议采用支持逐包转发模式的交换机，尤其是在高端。

在组网技术上，采用的措施有： 编号 1 攻击方式 ARP攻击 防护方法 1. VLAN隔离用防护结果 控制住整个二次网络中的户，每用户一个VLAN ARP风暴； 2. 单位时间内某用户的ARP报文数目，以及ARP报文总流量 2 ICMP攻击和网络流量攻击 1. 单位时间内某用户访问其他用户的次数，以及某用户同时访问其他用户的个数 2. 每用户带宽 3 DDOS－对用户源IP地址、MAC丢弃了大量的非法攻击报抑止了蠕虫的攻击速度； 同时保证非感染用户的正常上网。 同时保证网络设备本身正常运转。 Synflood攻地址进行严格匹配，凡是文，基本消除了DDOS对击 4 不匹配的，一率丢弃 整个城域网的网络攻击。 综合上述方式采用分布式用户接入管理每个设备都能够完全控制的大用户量攻构架，而不是集中式构架，住所有接入用户，某个端口击 每个设备都接入比较合理故障，不会影响其他端口用的用户量。 户；某个设备故障，不会影响其他大多数用户，从而有效地避免了大量用户接入时的大用户攻击和故障后的全网失效。 5 蠕虫在主机中提供ACL进行临时保护，控制住蠕虫的蔓延，提供充传播 禁止蠕虫传播使用的所有足的时间让网络中的客户RPC端口 进行杀毒、修复；等攻击隐患基本消除后，再开启对应的RPC端口。 第12章 网络管理

如何保证业务的连续运作，尤其是在错误发生时保持服务的连续性和可用性？这是农行数据中心在网络运行维护、管理，整网设计时关注的一个重要问题。无论是复杂的系统管理应用程序（如专业网络管理系统），还是价格相对低廉的网络管理程序（如简单的网管系统，如SNMPc），都依赖于生产性网络自身的正常运转来进行网络管理与监测，而在网络连接本身运转不正常的情况下，它们就无法有效地发挥作用。工程师们必须带上笔记本电脑，以及相关的检测工具，来到出问题的设备那里，进行问题的诊断，最终恢复网络连接并使其正常

运作。这一过程费时费力，成本昂贵，就是通常我们所说的“本地管理”。

远程管理则允许管理员采用与生产性网络相脱离的连接途径，通过网络、串口或modem连接，实现对网络资产的访问。远程网络管理可以通过带外管理架构来实现。带外管理架构能够提供安全的替代性途径远程访问、监测和管理生产性基础设施内的众多网络资产。如果网络设备断网，带外管理能够通过的网络系统帮助恢复其网络连接，并在最短的时间内使其重新接受管理并恢复生产运作。与传统的带内管理相比，带外管理架构的优点就在于：更有效的网络维护方式、更高的生产力、更低的风险。

因此，在本次的运行管理区的设计上，我们建议采用带内带络管理相结合的方式。即可利用带内网管系统对全网的网络、设备、链路等全面监控的同时，提供带外管理手段为补充，实现一套高可靠、高安全的网络管理体系构架。

本次网管系统的推荐采用的是华为3公司的Quidview网络管理软件，它是华为3公司对公司全线数据通信设备实现统一管理和维护的网管产品。产品采用灵活的组件化结构，支持与华为3QuidviewNMF、HPOpenview、SNMPc、IBMNetview等通用网管平台的集成，与华为3公司的QuiwayS8512设备一起为农行数据中心提供简单易用网络管理系统，帮助农行真正实现网络的按需构建。

网络管理系统特点

Quidview网络管理系统采用分布式、组件化、跨平台的开放体系结构，用户通过选择安装不同的业务组件，可以实现设备管理、拓扑管理、告警管理、性能管理、软件升级管理、配置文件管理、VPN监视与部署等多种管理功能。产品不仅能够提供完整的网络管理平台，还能够与OpenView、SNMPc多种主流通用网管平台灵活集成；不仅能够管理华为3公司的全线数据通信设备，还能够通过标准MIB管理CISCO、3等各主流厂商的数据通讯设备。

灵活展示网络拓扑

Quidview网络管理软件可以通过拓扑发现功能，帮助客户迅速发现网络资源。能够实时监视所有设备的运行状况，通过可视化的网络拓扑界面帮助用户及时了解网络的变化。

自动发现网络拓扑结构； 支持全网设备的统一拓扑视图；

可以灵活裁减拓扑视图，聚焦网络的关键区域； 可以灵活选择设备、背景图标，构建逼近真实网络的拓扑 可以直接点击拓扑视图节点，快速查看设备面板； 拓扑节点颜色能够直观反映网络、设备状态； 可以灵活定制对设备状态的轮询间隔； 全流程的故障管理

Quidview的网络故障管理功能为用户及时发现问题、深入分析问题、快速解决问题提供了全流程的支持。

支持告警快速定位到网络拓扑；

支持多种告警通知方式，包括：告警声光提示、告警转Email和手机短信； 支持告警相关性分析，包括屏蔽重复告警、自动确认相关告警等。

支持告警过滤，用户能够按照告警级别、告警源、关键词等过滤条件迅速聚焦到“真正有价值的告警”；

可以灵活定义告警级别，以符合客户网络的实际状况；

提供常见问题的修复建议。同时用户可以根据实际的维护经验，不断完善丰富维护经验

库。

主动的网络监视

Quidview网管系统提供了丰富的性能管理功能，帮助用户主动监视网络的状况，及时发现网络潜在的隐患。同时，丰富的历史性能统计数据为用户升级扩容网络提供了客观准确的参考。

提供基于任务的工作向导，简化用户网络监视活动的操作；

提供接口流入、流出、广播报文等常用的性能统计模板，使用户不需要关注MIB表达式的技术细节；

支持Ataglance功能，使用户能够快速了解关键设备的CPU、内存、流量等重要信息； 支持饼图、折线图、曲线图等多种图形方式，直观地反映性能指标的变化趋势； 支持性能的门限设置，使网络隐患能够以告警的方式及时通知到网络管理员； 支持RFC1757定义的标准RMON-MIB及华为3自定义告警扩展MIB，实现统计组、事件组、告警组等分组的配置和浏览；

批量的设备配置备份

60%的设备故障是因为网络误配置造成的。网络管理员需要定期备份配置文件，跟踪设备配置变化，以保证一旦发生网络故障时，能够利用历史配置备份将网络立刻恢复正常。

支持网络运行设备的配置变化检查，一旦配置发生变化，立刻以告警方式通知管理员关注；

支持设备配置文件的批量备份和恢复功能，极大提高了管理员的工作效率；

支持灵活的设备配置文件比较功能，包括指定设备的运行配置和启动配置的比较、不同设备间的配置文件比较等，使管理员能够快速查看设备配置差异，迅速定位导致问题的配置命令；

可靠的设备软件升级

升级和备份网络中的设备软件是非常烦琐而复杂的事情。在升级过程中，用户需要认真检查软件版本和设备的配套关系，还需要检查设备当前的flash空间是否足够容纳新的软件版本等等一系列工作，以保证整个软件升级过程是安全可靠的。当网络中设备数量众多时，管理这些设备的软件将是非常巨大的工作量。

提供基于任务的工作向导，降低用户操作的复杂性；

支持网络运行设备的软件版本查询功能，使用户对网络中的版本情况一清二楚； 提供设备软件版本库功能，使用户可以集中管理设备软件，建立版本基线； 支持对设备软件的批量备份和恢复功能，极大提高了管理员的工作效率； 支持先备份后升级，保证一旦升级失败后可以恢复到原有设备软件版本；

支持对整个升级过程的可靠性检查，如设备软件版本和设备是否配套，flash空间是否足

够等，确保用户的整个升级操作万无一失；

简便直观的设备管理

Quidview向用户提供了网元管理功能，通过逼真的面板图片，直观地反映了设备运行情况。

通过面板图标直观地反映设备的框、架、槽、卡、风扇、CPU、端口等关键部件的运行状态；

能够查看、设置设备端口状态； 能够查看路由、VLAN等配置信息；

能够查看端口流量、丢包率、错包率等关键统计数据； 支持对华为3公司交换机集群、堆叠能力的管理；

设备管理功能既可以单独启动，也可以通过双击拓扑节点直接启动； 快捷易用的管理工具

针对设备端口故障，Quidview网络管理软件提供了便捷的定位检测工具——路径跟踪和端口环回测试工具。当用户报告网络接入存在问题时，网络管理员不需要到达用户现场，直接通过网管对指定用户端口做环回测试，实现用户侧端口的远程诊断。

Quidview还提供了按MAC地址或IP地址反查端口的功能。管理员只需要输入终端用户的MAC地址或IP地址，就能够直接定位终端用户所连接的交换机及交换机的端口，迅速定位非法报文所接入网络的原始端口，以及时关闭端口，阻止违规用户进行滥发报文、盗用IP等恶意行为。

多厂商设备的统一管理

Quidview可管理所有支持标准SNMP网管协议的网络设备，为多厂商设备共存的网络提供了统一的管理方式。

自动发现多厂商设备，展示多厂商设备组成的网络拓扑； 监视设备性能，包括接口的流量、错包率、丢包率等指标； 接收和解析设备告警，提供告警分析和查询功能； 服务器的集成管理

服务器是企业IT架构中的重要组成部分，通过Quidview可以实现服务器与网络设备的统一管理。包括：

支持对CPU、内存资源消耗的监视； 支持对硬盘使用情况的监视； 支持运行进程的资源监视；

产品规格

管理能力

部署Quidview，最多可以管理多达6000个设备的网络规模。如果Quidview集成在第三方网管平台上，其组网能力依赖于网管平台的组网能力。此外，Quidview的集群管理的LanSwitch数量为2047，堆叠管理的层数为5层。

可管理设备

Quidview系统管理的设备 类别 设备列表 NetEngine5000、NetEngine80核心路由器、NetEngine40系列通用交换Quidway系列路由器 路由器、NetEngine16E/08E/05骨干多业务路由器、AR46系列路由器、AR28系列路由器、AR18系列路由器、R系列路由器。 Quidway系列安全网关 Quidway系列语音网关 Secpach10、Secpach100、Secpach1000系列安全网关 VG系列语音网关 S8500系列万兆核心交换机S8000/6000系列千兆核心交换机、S5000系列千兆路由交换机、MA5200F、S3000系列快速以太网交换机、S2000系列边缘接入交换机、E026/E050系列交换机以及系列WlanAP产品。 Eudemon1000千兆防火墙、Eudemon200防火墙、Eudemon100防火墙产品 Quidway系列以太网交换机 Quidway系列防火墙 *可以

管理支持标准MIB的第三方厂家的数据通讯设备

硬件平台

Quidview系统运行平台 属性 支持多种硬件平台 支持多种操作系统 支持与多种网管平台集成 描述 包括各种微机及主流机型的SUN工作站。 包括WindowsXP/2000/NT、SUNSolaris等。 HPOpenView、SNMPc等。

第13章 数据中心切换

数据中心切换是上海数据中心投入运行的一步重要工作，网络切换需要于主机，业务应用系统配合共同实现。

以下简述网络切换的步骤： 1、 网络启用

a) 上海数据中心网络启用

b) 检验网络的连通性和运行的稳定性 c) 检验与各个一级分行生产系统的连通状况 2、 测试环境演练

a) 生成网络切换配置 b) 检验切换流程 c) 优化完善切换方案 3、 完成切换步骤和切换方案

a) 制定切换流程 b) 制定切换配置 c) 制定应急回退方案 4、 试点分行网络切换

a) 确认切换方案配置、流程 5、 数据中心切换

a) 按照切换方案逐个分行完成切换

b)