新闻动态

Pytorch获取无梯度TorchTensor中的值

发布日期:2022-04-23 14:43 | 文章来源:站长之家

获取无梯度Tensor

遇到的问题:

使用两个网络并行运算,一个网络的输出值要给另一个网络反馈。而反馈的输出值带有网络权重的梯度,即grad_fn=<XXXBackward0>.

这时候如果把反馈值扔到第二网络中更新,会出现第一个计算图丢失无法更新的错误。哎哟喂,我根本不需要第一个网络的梯度好吗?

一开始用了一个笨办法,先转numpy,然后再转回torch.Tensor。因为numpy数据是不带梯度的。

但是我的原始tensor的放在cuda上的,

cuda的张量是不能直接转Tensor,所以

t_error = td_error.cuda().data.cpu().numpy()
t_error = torch.FloatTensor(t_error).to(device)

从cuda转回了cpu,变成numpy,又转成了tensor,又回到了cuda上,坑爹呢这是,可能只有我才能写出如此低效的辣鸡代码了。

后来发现,其实直接在返回的时候添加

with torch.no_grad():
 td_error = reward + GAMMA * v_ - v

即可.

补充:在pytorch中取一个tensor的均值,然后该张量中的所有值与其对比!

Pytorch中的Tensor的shape是(B, C, W, H),

对该tensor取均值并与所有值做对比代码如下:

C, H, W = tensor.shape[1], tensor.shape[2], tensor.shape[3]
for c in range(C):
 mean = torch.mean(x[0][c])
 for h in range(H):
  for w in range(W):
  if x[0][c][h][w] >= mean:
  x[0][c][h][w] = mean

以上为个人经验,希望能给大家一个参考,也希望大家多多支持本站。

香港服务器租用

版权声明:本站文章来源标注为YINGSOO的内容版权均为本站所有,欢迎引用、转载,请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站,禁止在非www.yingsoo.com所属的服务器上建立镜像,否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来,仅供学习参考,不代表本站立场,如有内容涉嫌侵权,请联系alex-e#qq.com处理。

相关文章

实时开通

自选配置、实时开通

免备案

全球线路精选!

全天候客户服务

7x24全年不间断在线

专属顾问服务

1对1客户咨询顾问

在线
客服

在线客服:7*24小时在线

客服
热线

400-630-3752
7*24小时客服服务热线

关注
微信

关注官方微信
顶部
请您留言

YINGSOO400-630-3752

提交