pytorch 如何在GPU上训练
发布日期：2022-03-27 13:11 | 文章来源：gibhub
1.网络模型转移到CUDA上
net = AlexNet() net.cuda()#转移到CUDA上
2.将loss转移到CUDA上
criterion = nn.CrossEntropyLoss() criterion = criterion.cuda()
这一步不做也可以，因为loss是根据out、label算出来的
loss = criterion(out, label)
只要out、label在CUDA上，loss自然也在CUDA上了，但是发现不转移到CUDA上准确率竟然降低了1%
3.将数据集转移到CUDA上
这里要解释一下数据集使用方法
#download the dataset
train_set = CIFAR10("./data_cifar10", train=True, transform=data_tf, download=True)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)
dataset是把所有的input,label都制作成了一个大的多维数组
dataloader是在这个大的多维数组里采样制作成batch，用这些batch来训练
for im, label in train_data: i = i + 1 im = im.cuda()#把数据迁移到CUDA上 im = Variable(im)#把数据放到Variable里 label = label.cuda() label =Variable(label) out = net(im)#the output should have the size of (N,10)
遍历batch的时候，首先要把拿出来的Image、label都转移到CUDA上，这样接下来的计算都是在CUDA上了
开始的时候只在转成Variable以后才迁移到CUDA上，这样在网络传播过程中就数据不是在CUDA上了，所以一直报错
训练网络时指定gpu显卡
查看有哪些可用的gpu
nvidia -smi
实时查看gpu信息1代表每1秒刷新一次
watch -n -1 nvidia -smi
指定使用的gpu
import os # 使用第一张与第三张GPU卡 os.environ["CUDA_VISIBLE_DEVICES"] = "0,3"
以上为个人经验，希望能给大家一个参考，也希望大家多多支持本站。
版权声明：本站文章来源标注为YINGSOO的内容版权均为本站所有，欢迎引用、转载，请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站，禁止在非www.yingsoo.com所属的服务器上建立镜像，否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来，仅供学习参考，不代表本站立场，如有内容涉嫌侵权，请联系alex-e#qq.com处理。
相关文章
上一篇：
关注官方微信