admin 管理员组

文章数量: 1184232

Pytorch踩坑：Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.

问题描述：

上述如题，全网络仅一个backward，非gan训练出现此问题。训练过程中，第一轮时，对第一组数据可以进行backward，但是对第二组数据会在backward处报错。

网上相关解释：

  1. 针对gan，由于gan网络包含多个backward，但pytorch本身仅支持一个，所以解决方案为对第一个backward中增加reain为True；
  2. 包括格式不规范的问题，例如a+=1此类；

本人代码问题

网上相关解释不是本人问题所在，本人网络中涉及到CNN，GRU，FC，在调试代码过程中，发现GRU层所需要的h0这个变量，并不是随着batch重置的，而是随着epoch发生重置，也即，将h0的初始化放在了网络类的init中，而init是随着epoch调用的，于是将初始化放在forward中，问题得到解决。

本文标签： 踩坑 pytorch Graph buffers Time

版权声明：本文标题：Pytorch踩坑：Trying to backward through the graph a second time, but the buffers have 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1755028682a3062574.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。