八张卡不一定比四张卡快一倍。多卡并行训练硬件选型要先弄清楚模型怎样切分、卡间交换多少数据，以及输入数据能否及时送达；只按卡数或单卡峰值算账，容易买到昂贵却用不满的系统。
先辨认瓶颈：显存、计算还是通信
训练任务对硬件的要求并不相同。数据并行会在各卡复制模型，并同步梯度，适合模型能放进单卡、但希望提高样本吞吐的情况。张量并行把模型计算拆到多卡，能缓解单卡显存压力，却会增加卡间通信；若卡间链路慢，增加显卡可能只增加等待。
GPU显存也不能简单相加。比如八张各有80GB显存的卡，不等于程序可以把它们当作一块640GB显存使用；只有支持相应切分的框架和并行策略，才能分配模型状态与计算。训练时还要给激活值、梯度、优化器状态和临时缓存留空间，序列长度、批量大小变化都会影响占用。
容易踩的四个选型误区
误区一：只比较卡数和峰值算力
规格表中的理论算力不能代表实际训练速度。实际表现还受精度格式、算子支持、功耗限制和并行通信影响。比较方案时，至少用目标模型、目标输入长度和拟采用的精度跑同一段训练任务，记录每秒处理样本数、显存占用及同步等待。
误区二：忽视卡间互联拓扑
同一台服务器内，GPU之间可能通过PCIe或专用高速互联通信；具体带宽和连接关系取决于型号与整机设计。以NVIDIA H100为例，SXM与PCIe是不同产品形态，不能只看到“H100”就推断节点内通信能力相同。购买前查看厂商的拓扑图，并确认训练框架能否利用对应链路。跨服务器还要核对网卡速率、交换机、布线和通信库的兼容性。
误区三：按总显存估算模型能否训练
参数本身只是内存开销的一部分。全参数训练通常还要保存梯度、优化器状态和中间激活；混合精度、梯度检查点、优化器类型会改变需求。不要仅凭“参数量乘每参数字节数”定卡，应在目标软件栈中验证可运行批量，并逐步增加序列长度或批量，确认余量。
误区四：漏算供电、散热和数据读取
多卡服务器的整机功耗、机柜供电能力与冷却条件必须匹配。数据若从存储读取过慢，或预处理跟不上，GPU会等待。若训练数据可压缩或重复读取，还应检查本地盘容量、网络存储吞吐和数据加载进程，而不是只升级计算卡。
按可执行步骤确定配置
- 固定工作负载：记录模型结构、输入尺寸或序列长度、训练方式、精度和目标批量，避免用不相干的基准测试替代。
- 单卡先测：在目标软件环境运行代表性训练片段，观察GPU利用率、显存峰值、数据加载等待和每步耗时；如果单卡已被数据读取拖慢，先优化输入链路。
- 逐级扩卡：依次测试2卡、4卡等配置，比较总吞吐与扩展效率。扩卡后收益明显下降时，检查梯度同步时间、并行划分和节点网络，而非继续按比例加卡。
- 核实整机约束：确认主板槽位、GPU间连接、网卡与交换机、供电、散热、机柜空间，以及驱动和训练框架支持情况。多机方案还要验证网络与通信软件栈能稳定工作。
- 按总成本决策：把服务器、网络、存储、电力、冷却和维护一并比较。若任务规模小或作业不连续，少量高显存卡可能比大型多机集群更易利用；持续的大规模训练则更需要关注高速互联和扩展能力。
选型结论：为实测瓶颈买单
可靠的多卡并行训练硬件选型，不是寻找显卡数量最多的配置，而是让显存容量、卡间互联带宽、网络与数据供给共同匹配任务。先测单卡，再逐级扩展，最后用目标训练任务验收；这样才能判断增加的卡是否转化为真实吞吐，而不是账面规格。
常见问题
显卡越多，训练一定越快吗？
不一定。通信、数据读取或同步成为瓶颈时，扩卡收益会下降，甚至可能增加单步耗时。
多卡显存能直接合并吗？
通常不能当作一块统一显存使用。需要通过模型切分等并行策略分配工作，并受框架实现和通信链路限制。
单机多卡和多机多卡怎么选？
单机部署较简单，适合规模能容纳在一台服务器的任务；多机更便于扩展，但要额外考虑网络带宽、交换设备、软件配置和运维复杂度。
采购前最值得做的测试是什么？
用目标模型和数据跑短时训练，逐级增加卡数，同时记录吞吐、显存峰值、通信等待和功耗约束，再按实测结果定配置。
