解决Pytorch中的神坑:关于model.eval的问题

有时候使用Pytorch训练完模型，在测试数据上面得到的结果令人大跌眼镜。

这个时候需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在

那么在测试之前需要加入一行代码：

#model是实例化的模型对象
model = model.eval()

表示将模型转变为evaluation（测试）模式，这样就可以排除BN和Dropout对测试的干扰。

因为BN和Dropout在训练和测试时是不同的：

对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致是相同的；而测试阶段往往是单个图像的输入，不存在mini-batch的概念。所以将model改为eval模式后，BN的参数固定，并采用之前训练好的全局的mean和std；

对于Dropout，训练阶段，隐含层神经元先乘概率P，再进行激活；而测试阶段，神经元先激活，每个隐含层神经元的输出再乘概率P。

如下图所示：

补充：pytorch中model.eval之后是否还需要model.train的问题

答案是：需要的

正确的写法是

for循环之后再开启train，

循环之后的评估model.eval之后就会再次回到model.train

以上为个人经验，希望能给大家一个参考，也希望大家多多支持本站。

海外稳定服务器

版权声明：本站文章来源标注为YINGSOO的内容版权均为本站所有，欢迎引用、转载，请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站，禁止在非www.yingsoo.com所属的服务器上建立镜像，否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来，仅供学习参考，不代表本站立场，如有内容涉嫌侵权，请联系alex-e#qq.com处理。