Dell PowerEdge R760 是戴尔工程师对这一代服务器卓越设计的研究成果。在我们的评测中，我们将了解该公司新的主流 2U 双英特尔至强服务器与业内其他服务器的比较。像往常一样，这将是一次非常深入的服务器审查，所以让我们开始吧。
Dell PowerEdge R760 硬件概述
正如我们一直在做的那样，我们将把它分为内部和外部概述。我们还提供了本文随附的视频，您可以在此处找到：
我们建议在其自带的浏览器、标签页或应用程序中观看，以获得更好的观看体验。有了这个，让我们来看看硬件。
Dell PowerEdge R760 外部硬件概述
查看 2U PowerEdge R760 的正面，我们可以看到部分填充的 24x 2.5" 设计。戴尔还有其他前置存储选项，包括 3.5 英寸以上的 SAS、更多 NVMe 等等，但我们在这里只展示一种配置。
在左侧，我们有服务按钮，然后是八个 SAS 托架。其中四个托架装有 1.6T SAS SSD。如今，我们希望我们的许多读者更多地关注 NVMe 存储，但许多戴尔客户习惯于将基于 Broadcom 的 PERC 控制器用于 SAS 阵列。
戴尔背板设计的一个很酷的功能是它可以将 SAS 组件直接放在背板上，从而腾出 PCIe 插槽区域。
在另一边，我们有服务标签，然后是 USB 控制台端口、VGA 端口和电源按钮。这方面的一大特点是 NVMe 驱动器连接。这里我们有八个 3.2TB NVMe SSD。
戴尔的 24x 2.5" 背板被分成三个独立的 PCB，因此可以像我们在本单元中看到的那样对其进行自定义。一些供应商使用单个背板，但这些背板更容易更换并且具有 SAS/SATA 选项。这些背板的物理设计是迄今为止我们在服务器上看到的最精美的设计。
首先，我们有电源。我们的装置有两个 1.4kW 80Plus Platinum 装置。这些可能是我们针对大多数高端 CPU 而没有高功率 GPU 和加速器或前面没有完整的 NVMe 驱动器托架的目标。80Plus Platinum 不错，但我们看到越来越多的服务器配备 80Plus Titanium 电源。戴尔也有可选的钛级电源，但许多仍然是白金级的。
电源位于机箱的两侧，略有不同。戴尔在这里有一个细长的 PSU，为电源周围的气流提供了更多空间。
接下来是 STH 最喜欢的功能：Dell BOSS。如今，M.2 SSD 非常可靠，因此我们现在经常在机箱内看到它们。戴尔有一个解决方案，它采用两个 SSD 并使它们可以在后方更换，称为 Dell BOSS。
这是专为启动媒体设计的解决方案。BOSS 控制器是低端 RAID 控制器，因此可以对两个 M.2 SSD 进行 RAID，然后使用该阵列进行引导。这对于 Windows 和 VMware ESXi 等操作系统很重要。大多数 Linux 发行版都可以使用软件 RAID。尽管如此，它仍然是一个易于部署的解决方案。
这里值得注意的一个小项目是 BOSS 解决方案的复杂程度。其他供应商只使用主板 M.2 或将在简单的竖板上安装 Marvell 控制器。戴尔有定制的金属板、电缆、固定翼形螺钉等。
服务器上的标准 I/O 不存在。所有 I/O 都是通过卡进行的。尽管如此，我们仍想介绍此服务器中的内容并展示它是如何实现的。
我们可以看到这是 Broadcom NetXtreme BCM5720 双 1GbE 解决方案。
接下来，我们安装了带有 Intel E810-XXV 双 25GbE NIC 的 OCP NIC 3.0 端口。您可以在此处了解有关 OCP NIC 3.0 外形尺寸的更多信息，但这是 4C + OCP 连接器，并使用带有内部锁定设计的 SFF 来将卡固定到位。这意味着必须打开系统并更换 riser 才能为该 NIC 提供服务。带有 Pull Tab 的 SFF 可以在不打开系统的情况下进行维修，这就是为什么我们在旨在最大限度地降低服务成本的服务器（如超大规模服务器）上看到它。戴尔的商业模式包括可观的服务收入，因此它可能不太愿意在这里使用该设计。
在转接卡方面，PowerEdge R760 拥有处理八个 PCIe Gen5 插槽的惊人能力，这还不包括 OCP NIC 3.0 插槽。
在 OCP NIC 3.0 插槽的正上方，有一个双薄型转接卡。稍后我们将更详细地介绍连接器，但戴尔正在使用高密度连接器而不是所有转接卡的电缆。它确实有一些中间电缆设计，比如这个双 PCIe Gen4 插槽提升板设计。
这是一个很棒的服务器外观设计，但现在让我们进入服务器内部看看它是如何工作的。
首先，我们将从粉丝开始。有六个热插拔风扇。戴尔拥有业内最流畅的热插拔风扇设计之一。
戴尔在服务器中有很多定制的扁平布线等，用于将电缆穿过机箱。尽管如此，它在主板的前部也有连接器。快速移除风扇隔板意味着可以访问它以及维修前置 PERC 卡等。
风扇将空气推过一个非常好的气流导管。戴尔的气流指南是业内最好的指南之一。
这些气流导管将空气推过 CPU 散热器和内存。我们在视频中展示了尺寸比较，但令人惊奇的是，与微软在这一代 Azure 服务器中使用的散热器相比，戴尔在这里使用的散热器要小得多。
在处理器方面，我们获得了双 第 4 代英特尔至强可扩展“Sapphire Rapids”处理器。这意味着每个插槽最多 56/60 个内核和两个插槽。上面的链接文章包含新 CPU 的所有新功能，例如 AMX AI 加速、内置 QuickAssist 加密/压缩加速（在某些 SKU 上）等。
在处理器方面，我们获得了双 第 4 代英特尔至强可扩展“Sapphire Rapids”处理器。这意味着每个插槽最多 56/60 个内核和两个插槽。上面的链接文章包含新 CPU 的所有新功能，例如 AMX AI 加速、内置 QuickAssist 加密/压缩加速（在某些 SKU 上）等。
使用新的 CPU，我们可以获得 8 个 DDR5 通道，最高可达 DDR5-4800，但这取决于 SKU 和人口。此服务器支持每个 CPU 16 个 DIMM 的 2DPC 操作，总共最多 32 个。如果您想了解有关 1DPC 与 2DPC 的更多信息，请查看为什么每个通道 2 个 DIMM 在服务器中的重要性降低。
新平台的另一大特点是 PCIe Gen5。用于存储等事物的 PCIe Gen5 取决于选项，但新一代允许高达 400GbE NIC。大约两周后，我们将进行 400GbE 网络评估，包括 PCIe Gen5 卡和 64x 400GbE 交换机。只有新一代 PCIe Gen5 才有可能实现这一点。
随着 PCIe Gen5 的过渡，长长的主板 PCIe 走线被淘汰了。必须使用电缆跨越长距离。因此，我们看到服务器主板的深度在缩小。这就是为什么这块主板停在后 I/O 区域之前。随着 OCP DC-MHS 平台在整个行业的兴起，这将变得更加普遍。
在 CPU 后面，我们可以看到它的影响。主要的 PCIe Gen5 转接卡插槽和转接卡高密度连接器不会经过 Intel Emmitsburg PCH。相反，这些连接器更靠近 CPU 以缩短 PCB 跟踪运行。
这一代依然采用戴尔的iDRAC 9管理。需要明确的是，iDRAC 9 可能是 PowerEdge R760 中最大的差异化因素。使用 iDRAC 9，可以收集许多组件和配置集的数据。然后这些可以输入到戴尔的 OpenManage 解决方案中，这样组织就可以轻松地监控和管理服务器群。这并非都是免费功能，但对于想要比拼凑开源或第三方工具更简单的解决方案的组织来说，这非常有用。
许多人都熟悉 iDRAC 9，因为它已经存在了一段时间。它具有无需进入操作系统或 UEFI 工具即可管理存储的功能。
一项很棒的功能是可以直接从 Web 界面设置 BIOS 设置。并非所有供应商都具有此功能。我们展示了如何使用此功能在 Dell PowerEdge 上更改英特尔至强 Y CPU 的内核数和 TDP。
除了 iDRAC BMC，戴尔还有可选的软件代理，例如 iDRAC 服务模块（请参阅如何安装戴尔 iDRAC 服务模块），可用于通过操作系统代理收集信息并将其传递到管理堆栈。
Dell PowerEdge R760 性能
安装在本机中的 CPU 是 Intel Xeon Platinum 8452Y 单元。我们将它们配置为 P1 36 核、300W TDP 和 2.0GHz 基本时钟，这是这些 Intel CPU 的最大核数。我们使用本地 Supermicro 服务器、PhoenixNAP 的云裸机服务器，然后是 PowerEdge R760，并运行相同的工作负载，从虚拟化到一些微基准测试，再到 AVX-512 HPC 工作负载、数据库工作负载、编译工作负载，甚至利用用于推理的新 Intel AMX AI 扩展。
可以看出，我们最终在具有相同 CPU SKU 的三台服务器之间非常接近。总有一些测试变化，我们无法控制云数据中心，但关键发现是配备这些 300W CPU 的戴尔 PowerEdge R760 符合预期。
Dell PowerEdge R760 功耗
通过两个 Dell 80Plus Platinum 1.4kW PSU 提供电源。戴尔有多种 PSU 配置，因此这只是一种选择。我们注意到，我们的服务器是为非常高性能的配置而设置的。它的闲置功率超过 600W。我们不得不从数据中心拉出服务器并在工作室中进行测试以验证这一点。
使用此配置，我们预计最大功耗约为 1kW。虽然有很多选择。添加更多更快的 NVMe 存储会对功耗产生巨大影响。同样，添加 GPU 或其他加速器可以提高功率。我们也没有 top-bin 350W SKU。Intel 用于此插槽的下一代 CPU 也将具有更高的 TDP，因此如果您在第 5 代 Intel Xeon Scalable 时阅读本文，那将是另一个考虑因素。
这凸显了设计现代服务器的挑战。Dell PowerEdge R760 可能会在 200W 以下运行的低端配置中度过其生命周期。另一个可能会花费超过 2kW 的使用寿命。戴尔的设计考虑到了这种 10 倍的场景差距。
在 2018 年下半年，我们推出了 STH Server Spider 作为服务器系统能力所在的快速参考。我们的目标是开始快速直观地描述服务器所针对的参数类型。Dell PowerEdge R760 是一款用途广泛的服务器。它并不意味着每个 U 可以安装最大数量的 3.5 英寸硬盘驱动器，处理NVIDIA HGX H100 GPU 组件，或者每个 U 可以将最多的 RAM 或 CPU 安装到最密集的机架中。相反，PowerEdge R760 旨在处理一个通用平台上的一系列场景。
主要经验教训
Dell PowerEdge R760 令人着迷。在这台服务器上工作，并且在其他供应商的前几代和几代服务器上工作过，会有一种压倒一切的感觉。大多数组件的设计中都内置了迭代层。戴尔 BOSS 是一个很好的例子，它是市场上精心设计的 M.2 解决方案之一（如果不是最多的话）。从物理设计的角度来看，许多其他服务器寻求最小化成本并采用非常简单的设计。PowerEdge R760 感觉它的设计就是为了美观。这就像在高端汽车中使用实木装饰一样。这不是必需的，但它非常好。部分原因在于 PowerEdge R760 和具有相同主板的变体旨在满足多少角色。
32GB DIMM 标价为每个 2150 美元。64GB DDR5 RDIMM？那是 4200 美元。在视频中，我说过我们为 64GB RDIMM 支付的费用不到 400 美元，我记得在我们做为什么DDR5 在现代服务器中绝对必要时，我们当时使用的 32GB DIMM 每个不到 200 美元。戴尔的标价是我们支付价格的 10 倍以上。
另一种观点是SSD端。如今，960GB SATA SSD 的价格应该远低于 100 美元，即使是数据中心版本也是如此。不是 1200 美元到 1800 美元。
这是因为网络配置器的标价本质上是幻想数字，即使有自动应用的折扣也是如此。该工具似乎旨在生成配置，通过销售代表折扣流程定价，并可能推动服务收入，而不是实际在线购买。
在 2010 年初，我在 PwC 领导一个团队在 Dell EMC 的一个大竞争对手那里重新制定定价、折扣和销售例外流程，所以这并不令人震惊，因为 60% 的折扣在当时的行业中很常见。令人震惊的是，在美国标价中看到的价格本应打折 90% 以上。十年前，原始设备制造商在该范围内为中国等国家/地区制定特殊标价，这样那里的采购团队就可以通过获得 90% 的折扣而大获全胜。在检查我们配置的价格之前，我还没有看到美国客户经常使用同样的策略。
最后的话
Dell PowerEdge R760 是一款非常出色的服务器，它将吸引戴尔拥有的庞大安装基础。如果我们回溯 3-5 年前的服务器，例如 PowerEdge R740，那么新一代服务器和插槽整合率可达到 2:1 或更高。那简直太棒了。PowerEdge R760 的设计非常灵活，每个物理部分都融入了多年的系统专业知识。作为一个每年审查主要供应商的数十种服务器模型的人，很明显在设计中投入了多少心思。
总的来说，如果您是 PowerEdge 的粉丝，或者一般的服务器，那么新的 Dell PowerEdge R760 简直太棒了。
发表评论