副：花几百万买的 GPU，可能一半时间在空转。问题不在算力，在数据管道。

别只盯着 GPU 了：你的训练慢，可能卡在存储上

花几百万上的那柜 GPU，白天黑夜灯火通明，利用率显示 95% 以上——可训练脚本每 15 分钟就要卡上几分钟，Loss 曲线像心电图一样规律抖动。多数人的第一反应是模型写错了、代码有 bug，很少有人想到：问题根本不在算力，而在数据管道。

过去几年，GPU 单卡算力几乎一年一个台阶，混合精度、FlashAttention 又把计算压榨到极限。结果就是：每张卡“吃数据”的速度被自己喂了出来，可存储的带宽和元数据并发并没有同步跟上。算得越快，伸手要下一批数据的频率越高，存储的缺口反而被一次次放大。AI 训练的真正瓶颈，往往不是算力不够，而是算力与存力之间的增速差。

01 一个被忽视的事实：GPU 在等数据

把 GPU 想象成流水线上的工人，数据就是从仓库运来的原料。工人手脚被训练得越来越快，运料的卡车却还是老速度，于是工人干两下就得站着等料。“工人在岗”统计是 95%，“工人在干活”可能只有一半。万卡集群，就是上万名工人一起等料。

业内调研显示，约六成深度学习训练任务都存在 IO 瓶颈；把 IO 优化好，端到端训练速度能提升 1.5 到 3 倍。换句话说，很多“训练慢”，十次有六次不是算法问题，是数据没送到 GPU 嘴边。

02 AI 训练对存储的“四道高压”

AI 训练对存储的压迫方式，与传统业务完全不同。传统存储的目标是“存得下、查得到”，而 AI 训练一上来就是四道高压叠加：

第一道，海量小文件洪流。一次大规模图像训练，训练集可能被切成上百万张 100–200KB 的小文件；万亿级 token 语料，动辄切成几百亿个几十 KB 的小块。不是“大文件多”，是“小文件巨多”，元数据和随机读同时被打爆。

第二道，Checkpoint 海啸。大模型训练要定期保存快照，一次就是几十到上百 GB，大到 TB 级，而且每 15 到 60 分钟就来一次。这不是“偶尔存一下”，是持续的高压写。

第三道，随机读占大头。训练时的 shuffle、数据增强都是随机读，单节点瞬时读带宽可达 10–30 GB/s，QPS 数十万量级，传统 NAS 很快就开始丢包。

第四道，强同步写。AllReduce 之后必须等 Checkpoint 写完才能进下一轮，GPU 不能“擅自”往前走。Checkpoint 一慢，整条训练流水线一起等。

03 数据也有温度：热温冷分层

AI 数据有明显的“温度”。刚采集的原始数据是烫的；正在训练的 batch 和刚生成的 Checkpoint 是秒级要用的，必须贴着 GPU 放；训练语料几分钟到几十分钟访问一次，属于温层；历史预训练权重、合规归档可能几个月才翻一次，属于冷层，丢进最便宜的对象存储甚至磁带归档即可。

业内经验值大约是 80/15/5——绝大多数数据只在被训练的那一周是“热”的，过一周就迅速冷却。把所有数据都放全闪 NVMe，等于拿爱马仕的钱装大白菜。分层不是省钱的技巧，而是 AI 存储的基本功。

04 让存储“喂得饱”，才是真省钱

把数据管道设计对，比多买 GPU 划算得多。一个集群 GPU 利用率从 60% 提到 90%，等于凭空多出近一半有效算力——这笔“多出来”的算力，很多时候不花一分钱买卡，只花在把存储和数据管道设计对。

这也是专业方案集成商的价值所在。北京蓝美视讯科技有限公司深耕视音频与存储行业二十余年，是国内一线专业方案集成商，服务覆盖 IT 与广电行业。面对 AI 训练存储这个新课题，蓝美视讯的能力不在某一台设备，而在全链路的数据管道设计：从并行文件系统承载温层数据、本地 NVMe 做热点缓存，到 Checkpoint 分级落地，再到冷数据下沉 LTO 磁带归档，形成“热—温—冷”一体化的完整方案，并依托自主品牌“飞编大师”覆盖非编、演播、媒资等业务场景，把多年积累的行业经验变成可落地的工程实践。存储这件事，交给懂行的人，省下的是真金白银的算力账单。

05 避坑七条，建议收藏

1. 先算清 IO 模型再谈采购：AI 训练的关键指标是带宽和元数据 QPS，不是容量。2. 热温冷分层：八成数据别进全闪，冷数据下沉对象存储或磁带。3. 存储网络与训练网络隔离，别让 Checkpoint 抢梯度同步的带宽。4. 元数据服务做高可用，单点故障在大模型训练里就是数小时停机。5. 小文件打包：打成 tar、WebDataset 等大文件，元数据操作能减九成。6. 监控盯对指标：除了 IOPS 和带宽，更要看 queue depth、I/O wait、Checkpoint 写入时长、P99 延迟。7. 容量预留 30%，Checkpoint 异步落地。

存储喂得饱，GPU 才不空转。这句话值得每个上 AI 训练的人先想清楚，再开机。如果你的集群也在“陪等”，欢迎咨询蓝美视讯聊聊——把数据管道设计对，可能比买新卡更值。

封面图

封面推荐语：花几百万买的 GPU，可能一半时间在空转。问题不在算力，在数据管道。