Como construir uma rede neural nesta estrutura？com diferentes nós se conecta a diferentes número de nós na camada seguinte

Question 1

Eu só sei usar o built-in de rede como RNN de LSTM em PyTorch. Mas eles tendem a lidar com cada nó da camada anterior que vai lhe dar informações para todos os nós na camada seguinte.

Eu quero fazer algo diferente, mas não sei como código de mim. Como nesta figura: o nó de um mapas para todos [d, e, f] três nós na camada 2, enquanto o nó b mapas para [e,f] e o nó c só maps [f]. Como resultado, o nó d só irá conter informações de um, enquanto e vai conter informações de [a, b]. E f irá conter informações de todos os nós da camada anterior. Alguém sabe como o código esta estrutura? PLS me dar algumas dicas eu vou ser muito grato :D

Estrutura

Question 2

Quando você tem uma camada que parece Totalmente Ligado camada, mas com o costume de conectividade, use uma máscara com estrutura adequada.

Vamos dizer que x = [a, b, c] é a sua 3-dim de entrada e W denota a matriz de conectividade.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

em seguida, W[i][j] aponta para a ligação entre peso jth entrada e iº saída do neurônio. Para construir a estrutura semelhante ao seu brinquedo exemplo, vamos fazer uma máscara

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Em seguida, você pode simplesmente mascarar a W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ é a multiplicação de matrizes e * é pointwise multiplicação.

ayandas · Answer 1 · 2021-11-21T18:17:35

Quando você tem uma camada que parece Totalmente Ligado camada, mas com o costume de conectividade, use uma máscara com estrutura adequada.

Vamos dizer que x = [a, b, c] é a sua 3-dim de entrada e W denota a matriz de conectividade.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

em seguida, W[i][j] aponta para a ligação entre peso jth entrada e iº saída do neurônio. Para construir a estrutura semelhante ao seu brinquedo exemplo, vamos fazer uma máscara

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Em seguida, você pode simplesmente mascarar a W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ é a multiplicação de matrizes e * é pointwise multiplicação.

Por isso, se a minha entrada dim é de 3, saída dim é 3. Minha rede neural estrutura vai ser como {input 3 dim, LSTM_layer(3, 64), Totalmente connected_layer(64, 3), * triangular inferior máscara matrix(3, 3), saída dim 3}. Será que funcionam como meu costume de conectividade, para fazer os últimos três nós de ficar differerent informações? Ou devo colocar a máscara matrix entre a camada de entrada(3,1) e LSTM camada(3,64)
É a sua entrada sequencial (você tem LSTM entre) ? A sua figura é Completamente ligado camadas. A solução que eu fornecida é apenas para mascarar o FC camada.
Desculpe, eu fiz a figura simples. O meu de entrada é o tempo da série de valores(valores, hour_index, week_index) e quero usar um LSTM camada para extrair alguma informação entre a entrada(3 dimensões) e de saída(3 dimensões). Então, se eu usar uma máscara após LSTM camada, será que a saída de três nós de ser assim: d nó contém apenas informações de semana, e nó contém semana e hora, f nó contém valores, hora, informações de semana?

Como construir uma rede neural nesta estrutura？com diferentes nós se conecta a diferentes número de nós na camada seguinte

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria