解决Pytorch在测试与训练过程中的验证结果不一致问题

引言

今天在使用Pytorch导入此前保存的模型进行测试，在过程中发现输出的结果与验证结果差距甚大，经过排查后发现是forward与eval()顺序问题。

现象

此前的错误代码是

 input_cpu = torch.ones((1, 2, 160, 160))
 target_cpu =torch.ones((1, 2, 160, 160))
 target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
 model.set_input_2(input_gpu, target_gpu)
 model.eval()
 model.forward()

应该改为

 input_cpu = torch.ones((1, 2, 160, 160))
 target_cpu =torch.ones((1, 2, 160, 160))
 target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
 model.set_input_2(input_gpu, target_gpu)
 # 先forward再eval
 model.forward()
 model.eval()

当时有个疑虑，为什么要在forward后面再加eval()，查了下相关资料，主要是在BN层以及Dropout的问题。

当使用eval()时，模型会自动固定BN层以及Dropout，选取训练好的值，否则则会取平均，可能导致生成的图片颜色失真。

PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval

使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval，eval（）时，框架会自动把BN和DropOut固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！！！！！！

eg：

Class Inpaint_Network()
......
Model = Inpaint_Nerwoek()
#train:
Model.train(mode=True)
.....
#test:
Model.eval()

以上为个人经验，希望能给大家一个参考，也希望大家多多支持本站。

美国服务器租用

版权声明：本站文章来源标注为YINGSOO的内容版权均为本站所有，欢迎引用、转载，请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站，禁止在非www.yingsoo.com所属的服务器上建立镜像，否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来，仅供学习参考，不代表本站立场，如有内容涉嫌侵权，请联系alex-e#qq.com处理。