Como transformar a saída da rede neural e ainda treinar?

Question 1

Eu tenho uma rede neural que saídas output. Eu quero para transformar output antes da perda e backpropogation acontecer.

Aqui é o meu código geral:

with torch.set_grad_enabled(training):
                  outputs = net(x_batch[:, 0], x_batch[:, 1]) # the prediction of the NN
                  # My issue is here:
                  outputs = transform_torch(outputs)
                  loss = my_loss(outputs, y_batch)

                  if training:
                      scheduler.step()
                      loss.backward()
                      optimizer.step()

Eu tenho uma função de transformação que eu colocar a minha saída através de:

def transform_torch(predictions):
    torch_dimensions = predictions.size()
    torch_grad = predictions.grad_fn
    cuda0 = torch.device('cuda:0')
    new_tensor = torch.ones(torch_dimensions, dtype=torch.float64, device=cuda0, requires_grad=True)
    for i in range(int(len(predictions))):
      a = predictions[i]
      # with torch.no_grad(): # Note: no training happens if this line is kept in
      new_tensor[i] = torch.flip(torch.cumsum(torch.flip(a, dims = [0]), dim = 0), dims = [0])
    return new_tensor

O meu problema é que eu recebo um erro na penúltima linha:

RuntimeError: a view of a leaf Variable that requires grad is being used in an in-place operation.

Alguma sugestão? Eu já tentei usar "com a tocha.no_grad():" (comentou), mas isso resulta em muito a falta de formação e acredito que os gradientes não backpropogate corretamente depois que a função de transformação.

Obrigado!

Question 2

O erro é bastante correta sobre qual é o problema - quando você criar um novo tensor com requires_grad = True, você cria um nó folha no gráfico (apenas como parâmetros de um modelo) e não é permitido no local de operação.

A solução é simples, você não precisa criar o new_tensor antecipadamente. Não é suposto para ser um nó folha; criar na mosca

new_tensor = [ ]
for i in range(int(len(predictions))):
    a = predictions[i]
    new_tensor.append(torch.flip(torch.cumsum(torch.flip(a, ...), ...), ...))

new_tensor = torch.stack(new_tensor, 0)

Este new_tensor vai herdar todas as propriedades como dtype, device a partir de predictions e vai ter require_grad = True já.

ayandas · Answer 1 · 2021-11-20T04:18:52

O erro é bastante correta sobre qual é o problema - quando você criar um novo tensor com requires_grad = True, você cria um nó folha no gráfico (apenas como parâmetros de um modelo) e não é permitido no local de operação.

A solução é simples, você não precisa criar o new_tensor antecipadamente. Não é suposto para ser um nó folha; criar na mosca

new_tensor = [ ]
for i in range(int(len(predictions))):
    a = predictions[i]
    new_tensor.append(torch.flip(torch.cumsum(torch.flip(a, ...), ...), ...))

new_tensor = torch.stack(new_tensor, 0)

Este new_tensor vai herdar todas as propriedades como dtype, device a partir de predictions e vai ter require_grad = True já.

Como transformar a saída da rede neural e ainda treinar?

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria