国货之光!全球 AI 存储基准测试 MLPerf Storage 3.0 结果发布,斩获九项第一

号外
2026
09/02
15:45
分享
评论

9月1日,MLCommons 正式发布 MLPerf® Storage Benchmark 3.0(简称 MLPerf Storage)基准测试结果。XSKY 星辰天合旗下 MeshFS 首次参赛,在并行文件存储赛道获得九项第一

MLPerf Storage 是由 MLCommons 组织的全球 AI 存储基准测试,用于验证存储系统对训练数据读取和模型状态读写的支撑能力。3.0 版本覆盖 Unet3D 大文件训练、RetinaNet 海量小文件训练,以及 Llama3 8B 至 405B Checkpoint 读写。三项负载具有不同的 I/O 形态,可从多个维度衡量存储系统性能。

本届测试共有来自全球的 19 家厂商、23 款产品参评,其中并行文件系统赛道有 14 家厂商参与,包括 Pure Storage、WEKA、浪潮存储、Alluxio 等国内外厂商,相关结果可为 AI 存储选型提供参考。

MeshFS 是 XSKY 设计的高性能并行文件系统,面向 AI 大模型训练、推理及高性能大规模数据处理场景。据 XSKY 公开资料,MeshFS 采用其自研的 Shared-Everything 全闪存架构,利用 NVMe 与 RDMA 硬件能力,产品指标包括微秒级 I/O 延迟和 TB/s 级聚合带宽。

九项第一:多项性能与硬件成本效率指标居首

XSKY MeshFS 获得的九项第一分布在小文件训练吞吐、Unet3D、RetinaNet 与 405B Checkpoint 等测试项,涉及每客户端读带宽、训练场景单位性能成本和容量效率等指标。结果显示,MeshFS 可支撑多训练客户端并发访问,并在三节点硬件配置下提供较高训练带宽;Checkpoint 读写性能也有助于缩短模型状态保存与故障恢复时间。

图:XSKY MeshFS 九项第一总览

三节点 EC 配置,覆盖全部参测场景

从 Training 到 Checkpoint,存储端在全部测试中使用同一套三节点硬件配置。

每个存储节点配置双路英特尔® 至强® 6530P 处理器、512 GB 内存和 4 个 200*2 Gb/s ConnectX-7 网卡。6530P 属于搭载 P-core(性能核)的英特尔® 至强® 6 处理器家族。三节点共使用 48 块 7.68 TB 忆联 UH812a TLC SSD;集群采用 EC 4+2:1 数据保护,可提供 223.5 TiB 受保护可用容量。

客户端共配置 9 台节点,通过 POSIX 客户端和 RDMA 网络访问存储。

图:XSKY MeshFS 测试环境

三类负载实测:大文件、小文件与 Checkpoint

此次 XSKY MeshFS 参与的三类负载对应不同的 I/O 压力。Unet3D 侧重大文件连续读取,RetinaNet 考察海量小文件并发和元数据处理能力,Llama3 405B Checkpoint 则要求存储同时承受大模型状态的高强度读写。同一套系统支撑三类负载,可同时检验单一负载性能以及不同 I/O 路径的处理能力。

Unet3D · 大文件训练读取 双项第一

Unet3D 在 MLPerf Storage 中主要考察存储持续满足训练端大文件读取需求的能力。测试结果显示,XSKY MeshFS 每客户端带宽为 67.73 GiB/s,位列第一;每 GiB/s 硬件成本为 1,053 美元,同样位列第一,两项指标均居首位。

RetinaNet · 海量小文件训练 三项第一

海量小文件场景对存储系统的元数据处理与小 I/O 能力要求较高。RetinaNet 包含 7540 万个、平均约 315 KiB 的小文件,高并发访问会同时对元数据处理与小 I/O 通路形成压力。测试模拟 675 个 B200 训练 I/O 负载,XSKY MeshFS 训练吞吐为 96.13 GiB/s,每客户端带宽为 10.68 GiB/s,每 GiB/s 硬件成本为 4,163 美元,三项指标均位列第一。

图:RetinaNet 训练吞吐与效率

Llama3 405B · Checkpoint 读写 双项第一

大模型训练中,Checkpoint 直接影响训练连续性与容错能力,既需要定期写入保存状态,也需要在故障恢复时快速读回。Llama3 405B 单次检查点文件大小为 5292 GB,对存储双向读写能力提出较高要求。结果显示,XSKY MeshFS 读取每客户端带宽为 47.49 GiB/s,位列第一;每 GiB/s 硬件成本为 1,053 美元,同样位列第一;Checkpoint 写入时每客户端带宽为 13.34 GiB/s,可为大模型检查点保存与恢复提供支持。

不同参测方案的硬件成本评估

在高性能存储测试中,不同厂商采用的硬件方案差异较大,仅比较单一性能数值存在一定局限。除性能外,硬件投入与成本效率也是实际选型中的重要考量。

根据 2026 年 Q3 硬件渠道价格参考进行测算,对参与测试的并行文件系统方案进行了硬件成本量化。其中排除 1 个双品牌重复提交方案,以及 2 个存储侧配置无法核实的方案。测算结果如下:

 图:各参测方案的硬件投入情况

从图中可以看到,不同参测方案的硬件成本存在较大差异,部分方案的 DRAM 成本占比较高,可能与将内存用于写缓存的配置有关。基于此测算范围,XSKY MeshFS 使用同一套三节点硬件配置完成全部场景测试,并在硬件成本效率指标上处于领先位置。

MeshFS,国产 AI 存储的新名片

在全球 AI 存储基准测试 MLPerf Storage 3.0 中拿下九项第一,意味着 XSKY MeshFS 的价值不只体现在单项性能数字上。以一套三节点配置完成大文件读取、海量小文件并发和大模型 Checkpoint 读写等多类负载,并兼顾性能与硬件成本效率,展现了国产 AI 存储在复杂训练场景中的竞争力。随着国内 AI 基础设施建设加速,XSKY MeshFS 正在成为国产高性能并行文件系统中一张值得关注的新名片。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

相关推荐

1
3