NCCL 集合通信算子总结

NCCL（NVIDIA Collective Communications Library）主要提供面向多 GPU / 多机场景的集合通信（collective communication）能力，常用于深度学习训练中的梯度同步、参数分发和结果聚合。核心集合通信算子┌─────────────────

查看全文

大模型的训练效率

大模型的训练效率

查看全文

GPU 常见故障及排查方法

GPU 常见故障及排查方法

查看全文

Nvidia 相关命令集合

Nvidia Command

查看全文

稀疏特征和密集特征

在机器学习中，特征是指对象、人或现象的可测量和可量化的属性或特征。特征可以大致分为两类：稀疏特征和密集特征。稀疏特征和密集特征稀疏特征和密集特征是机器学习和深度学习中常见的两种特征类型，它们有不同的存储方式和处理方法。稀疏特征（Sparse Feature） 指的是特征值大部分为0的特征，例如文本数

查看全文