模型训练时GPU利用率太低的原因及解决

Editor · 发表于 2023-5-4 17:22:49

总结
模型训练时GPU利用率太低的原因
最近在训练SSD模型时发现GPU的利用率只有8%，而CPU的利用率却非常高。
后来了解到，一般使用CPU进行数据的读取和预处理，而使用GPU进行模型的正向传播和反向传播。由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。
最后总结一下，有的时候模型训练慢并不是因为显卡不行或者模型太大，而是在跑模型过程中有一些其他的操作导致速度很慢，尤其是文件的IO操作，这会导致GPU得不到连续性使用，整体速度特别慢。

问题的解决办法
1，关闭一些日志记录，减少日志IO操作频率。
2，NVIDA提供了DALI库，可以将数据处理转移到GPU上。

模型训练GPU利用率低，占用低怎么破
GPU 的显存占用和算力利用直接影响模型的训练速度

GPU 显存占用低问题
1、提高batch_size
2、提高模型输入尺寸
3、增加模型深度
推荐：优先提高batch_size, 其他方法会对模型结构产生影响

GPU利用率低问题
1、提高线程数
2、打开pin_memory
# 在pytorch 加载数据时提高线程数，打开pin_memory
torch.utils.data.DataLoader(image_datasets[x],
                        batch_size=batch_size,
                        shuffle=True,
                        num_workers=8,
                        pin_memory=True)
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持知鸟论坛。

冀苍鸾 · 发表于 2023-6-28 20:06:28

楼主，大恩不言谢了！知鸟论坛是最棒的！

塞翁364 · 发表于 2023-6-29 00:52:03

这个帖子不回对不起自己！我想我是一天也不能离开知鸟论坛。

永远爱你冰塘 · 发表于 2023-6-29 07:30:39

楼主太厉害了！楼主，I*老*虎*U！我觉得知鸟论坛真是个好地方！

123456809 · 发表于 2023-6-29 22:41:02

这个帖子不回对不起自己！我想我是一天也不能离开知鸟论坛。

幸福341 · 发表于 2023-6-30 00:29:30

其实我一直觉得楼主的品味不错！呵呵！知鸟论坛太棒了！

贰十岁装成熟装s · 发表于 2023-6-30 11:03:27

既然你诚信诚意的推荐了，那我就勉为其难的看看吧！知鸟论坛不走平凡路。

我的苦恼冉 · 发表于 2023-6-30 16:36:22

其实我一直觉得楼主的品味不错！呵呵！知鸟论坛太棒了！

ffycxyw2274436 · 发表于 2023-7-3 09:09:54

这个帖子不回对不起自己！我想我是一天也不能离开知鸟论坛。

计划你大爷计j · 发表于 2023-7-3 10:25:24

论坛不能没有像楼主这样的人才啊！我会一直支持知鸟论坛。

[Python] 模型训练时GPU利用率太低的原因及解决