以太网30年：万兆已为HPC集群做好准备

虽然以太网问世至今已经有三十年了，但它并未像这三十年中消逝的其他技术一样淡出人们的视线，而是到现在仍然可行。因为它随着技术的变革也一直在向前发展，以满足不断变化的行业需求。随着万兆以太网逐渐走入人们的视线，如果可以做到高成本效益和高可靠性的话，高性能集群升级到万兆以太网为是不会太远。

具有深远意义的技术，其发端都难免有些寂寞。

当年，以太网的发明者之一Robert Metcalfe提出了有关网络增长重要性的Metcalfe定律：网络的价值将随着用户的增长呈指数增长。事实证明，他不仅在技术上是正确的，他的定律也在应用中得到了验证。

如今，以太网的速度正在不断提高，从开始的10兆(10M)、百兆(100M)，发展到千兆(1G)、直到今天的万兆(10G)，而以太网设备的价格则随着大规模的采用和生产而逐渐下调。在越来越多的服务器改用千兆以太网作为上联技术后，数据中心或集群的骨干带宽相应增加，以千兆或千兆捆绑作为平台已经不够使用，升级到万兆以太网在服务质量及成本上都将占有相对的优势。

尽管HPC TOP500集群中，采用千兆以太网的是采用InfiniBand集群的两倍。但事实上在绝大多数商业环境中，千兆以太网高性能计算集群的规模远不够大。

目前，随着万兆以太网逐渐走入人们的视线，如果可以做到高成本效益和高可靠性的话，高性能集群升级到万兆以太网为时不会太远。虽然到现在为止，一些决策者还是对以太网持犹豫和怀疑的态度，但随着千兆以太网在高性能计算市场地位的确立，阻碍万兆以太网普及的壁垒已经越来越少。技术的进步、价格的减低，并且更多厂商进入这一市场，使得选择万兆以太网做HPC集群已相当具吸引力。

了解万兆以太网：信守“Metcalfe定律”

要认识万兆以太网先得提一提它的历史。虽然以太网问世至今已经有三十年了，但它并未像这三十年中消逝的其他技术一样淡出人们的视线，而是到现在仍然可行。因为它随着技术的变革也一直在向前发展，以满足不断变化的行业需求。以太网大规模普及始于1983年，这一年IEEE建立了10 Mbps以太网标准。之后，该标准发展到快速以太网(100 Mbps )，千兆以太网( 1000 Mbps )以及今天的万兆以太网，40GE和100GE标准即将推出。事实上，目前关于Tb级以太网(即百万Mbps)的讨论已经开始了，这在几年前是很难想象的。

尽管以太网取得了如此巨大的进步，但基本的以太网帧格式和运行原理本质上仍维持不变。因此，混合速度( 10/100/1000 Mbps )网络可以一致运行，而不需要昂贵且复杂的网关。最初的以太网部署有点复杂，布线不太容易，有些同轴管线甚至连弯曲一下都需要使用特殊的工具才行。不过，随着以太网的发展，它吸收了电缆和光学领域的先进技术，从共享介质到交换介质;借虚拟局域网引进了虚拟化的概念;并结合了Jumbo Frames等诸多先进技术。今天的以太网仍在不断发展，并且已经发生了巨大变化，例如可以支持块级存储(光纤通道以太网)。

2002年通过的IEEE 802.3ae 标准，使得今天的万兆以太网能够支持每秒10Gb的传输，传输距离达到了80公里。万兆以太网几乎在所有方面都可以完全兼容以太网以前版本，它采用了相同的帧格式、帧大小、介质访问控制( MAC )协议，以及网络管理人员熟悉的管理工具和操作程序。

高性能计算采用以太网的优势

当我们了解了以太网的优势之后，再看到超过半数的TOP 500强超级计算机和几乎所有的小型集群都选择以太网也就不足为奇了。目前千兆以太网在高性能集群中应用已经越来越广泛，相信的不久的将来，万兆也终会在高性能领域异军突起。要了解万兆的优势，先得知道以太网的优势，笔者认为有以下几点：

首先，高适应性：作为一种广泛使用的技术，以太网对于全世界的IT主管、网络管理员、服务器厂商以及管理服务供应商来说并不陌生。他们可以比较容易地具备管理和维护以太网的工具及知识，广泛的供应商支持也是一个优先条件，几乎所有厂商都支持以太网。

其次，技术特色：高可用性、容错、管理、安全、备份网络，以及其他最佳实践已经在以太网上广泛建立，并且它们的执行也得到了普遍认可。

第三，单一基础架构：以太网提供给高性能计算管理员的好处是：支持四项重要连接的单一基础架构：：用户访问、服务器管理、存储连接性，以及集群互连。一个单一基础架构更容易管理，而且其采购成本、电费及维护费都低于采用单独存储或处理器互联技术。

第四，较低的电源要求：电源是数据中心管理人员今天面临的一项最大的开支。能源需求的增加及其成本的上升正在迫使管理人员把重点放在绿色节能上。以太网是一种高效发挥电源和冷却资源的选择，尤其在使用降耗设计产品时更是如此。

第五，更低的成本：目前，已经有内置10G端口主板服务器的上市，而10G交换端口的售价也不到500美元，万兆提供了比InfiniBand技术更具竞争优势的性价比。

第六，应用基础：万兆以太网将充分利用广泛的千兆以太网基础。新的40GE和100GE产品预计不久也会上市，并会得到诸多芯片和设备供应商的支持。

万兆以太网延迟比Infiniband低

兆的实惠

了解了以太网的优势之后，我们再来进一步看看万兆以太网会给高性能集群提供哪些实惠：

第一，更有效的电源利用率：万兆以太网每Gb的功耗比千兆以太网的要低，这使得用户可获得10倍的带宽，而能耗需求却远低于原来。

第二，实际性能：万兆以太网传输数据速度比千兆以太网快十倍。新一代万兆以太网网卡可以减少服务器之间延迟约八倍。由带宽增加和延迟缩小获得的更高的应用性能比想象的还要好，而且几乎与InfiniBand速度不相上下。更多的测试也得出了类似的结果，在常见的FLUENT及RADIOSS等高性能计算应用中就是这样。

万兆以太网的速度比Infiniband快　　

当然，万兆的厂商们总喜欢夸大其词，但是，万兆商业应用中真正的优势是提高用户的工作效率，这是用时间来衡量的。如果计算速度快了70%，用户的生产力将提高70%。

如何克服目前的障碍

万兆以太网的上述优点，让许多集群对升级到万兆以太网的前景非常乐观，而且专家已预测，在未来很多年内，万兆以太网集群市场将会快速增长。但这种情况现在还没有发生。

直到最近，万兆以太网还是停留在起点，主要因为价格、稳定性和标准。不过业界正在逐步克服这些问题，据路透社市场数据系统( RMDS )基准研究资料显示，万兆以太网市场正在发生明显变化，主要有以下几点：

网络接口卡( NIC ) ：有些早期采用万兆以太网的用户受到NIC问题的困扰，首先是它的价格。目前万兆网卡价格约为800美元，许多用户基本为每台服务器安装两个万兆网卡。现在，服务器厂商也开始加入进来，他们在主板上添加以太网芯片，即LOM(LAN-on-Motherboard)技术，而不是使用一个单独的板子。这使得成本降到不到100美元，根除了万兆网卡价格过高的障碍，独立万兆网卡的价格目前已经跌至500美元，并将继续下降。

另一个跟网卡相关的障碍是：产品可靠性问题。因为某些网卡的原因，用户对万兆网有着不好的第一印象。不成熟的软件与驱动程序，导致性能不佳。现在，一些有实力的厂商，如Chelsio 、英特尔和Broadcom公司正在提供稳定可靠的产品。

交换机价格：跟网卡一样，早期万兆以太网交换机的价格也抑制了万兆以太网的使用。最初万兆以太网交换机每端口价格高达20000美元，甚至超过了服务器的价格。现在万兆以太网交换机公开价为每端口不到500美元，而市场价格甚至会更低。这个价格对嵌入式刀片交换机以及机架产品均适用。

另一个万兆网最初不被大型集群接受的原因是：如何将所有交换机整合在一起共同创建集群。大多数集群比较小，所以对它们来说这不算问题。而现在对于大型集群来说，CLOS技术为以太网交换机分级提供了解决方案，并开始在市场上站稳脚跟。

物理层混乱：迅速发展的不同光纤收发器标准阻止了客户的脚步。标准界定迅速从XENPAK 改到X2 到 XFP 再到 SFP+，每次改变都带来更小的尺寸和更低的成本。但由于每种类型的收发器都具有不同的大小和形状，一个交换机或网卡只符合其中一个选项。使用多种类型的设备将增加数据中心的复杂性和采购成本，如需要保存更多的零部件。Blue-ray和 HD-DVD，VHS 和Betamax，MS-DOS 和CP/M，用户可不愿意赌哪个会幸存下来，他们会选择等待，看看市场会走向哪种技术。

最后，这一系列标准的发展终于停在了SFP+ ，它由ANSI T11组规范，为8.5 Gbps和10 Gbps光纤通道以及万兆以太网建立了标准。SFP+ 模块的体积非常小，在单位机架高度的交换机里可以容纳48个，就像用在上一代以太网中的RHJ-45连接器一样。同时，它还占用更少的电，从而减少每端口的功耗和成本。SFP+对万兆网行业非常有益，它允许交换机厂商以更小的体积捆绑更多端口，并通过在主机卡级更好的整合IC功能以降低系统成本。因此，格式之争少了，整个行业迅速融合到SFP+ 。

布线：许多用户一直在等待10GBASE-T，因为它使用一个共同的RJ45连接器，可以提供给市场他们所期待的：简单便宜的万兆以太网。但是，这在物理上的却与万兆以太网不同。使用目前的技术，这种芯片价格昂贵、更耗电，并需要新的布线( Cat6A或CAT 7 )。10GBase-T产品中，每个电缆增加2.6微秒的延迟，这可不是你在一个集群互连里希望看到的。而在我们等待10GBase-T的同时，更便宜更省电的技术正在发展。10GBase - CX4提供了更高的可靠性和低延迟，是一个成熟的解决方案，已成为万兆以太网的主体技术。

SFP+铜(双绞线)直连电缆使得这场等待更轻松些，它更细，具SFP+终端。支持距离达10米，它们实际上是距离较近的机架或服务器和交换机之间理想的内部配线。最初价格在40美元至50美元之间，未来其价格会更便宜，这使得双绞线成为光缆的一个简单而廉价的替代品。伴随着这些进展，市场的混乱情况得到改善。结合用于短距离的SFP+ 直连电缆和用于远距离的光收发器，以及最低延时的10GBASE-CX4，今天的电路集群有很大的选择空间。

在某种意义上，Metcalfe的定律与Moore定律类似。以太网的速度不断提高，从开始的10兆(10M)、百兆(100M)，发展到千兆(1G)、万兆(10G)，而以太网设备的价格则随着大规模的采用和生产而逐渐下调。以太网不仅成为局域网网络技术的主流，随着千兆和万兆技术的成熟，它正逐步延伸至城域网和广域网。

(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。