记录Pytorch的autograd功能，可能涉及的函数有：
- tensor.requires_grad_(True) #动态修改跟踪
- d = torch.autograd.grad(z, y, grad_outputs=torch.ones_like(y))
- z.backward() #反向传播
创建矩阵Tensor
下面是两种创建Tensor的方法。
x = torch.tensor([[0.0, 1.0], [1.1, 2.2]], requires_grad=True) y = torch.ones(2, 1).clone().detach().requires_grad_(True)
矩阵乘法
直接写 x * y得到的是哈达玛积，可以参考这篇文章《pytorch tensor 乘法运算汇总与解析_程序之巅的博客-CSDN博客_tensor相乘》
利用函数torch.matmul(x, y)求得的才是x和y矩阵相乘的结果。
z = torch.matmul(x, y)
自动微分（求导）
Pytorch提供了强大的API可以对变量进行自动微分。
利用函数torch.autograd.grad(z, x)可以求得\(\frac{\partial z}{\partial x}\)，但是如果x是一个矩阵，z也是一个矩阵的话，需要提前规定梯度输出的格式，传入参数grad_outputs=[构造对应大小的全1矩阵]即可。
import torch # 创建图 x = torch.tensor([[0.0, 1.0], [1.1, 2.2]], requires_grad=True) y = torch.ones(2, 1).clone().detach().requires_grad_(True) z = torch.matmul(x, y) k = torch.autograd.grad(z, y, grad_outputs=torch.ones_like(y)) print(k) # 打印： dz/dy
反向传播
通过tensor.backward()方法，可以将某个tensor前面的所有变量全部微分得到梯度，但是只能使用一次，再次使用需要将所有梯度归零且第一次使用要保留图。
import torch x = torch.tensor(2.0, requires_grad=True) z = x ** 3 z.backward() print(x.grad) # 打印： dz/dx
参考文章《pytorch报错详解：RuntimeError: Trying to backward through the graph a second time_糖豆豆今天也要努力鸭的博客-CSDN博客》
文章评论