我只知道如何使用建立在网络等递归神经网络的LSTM在PyTorch. 但他们往往处理中每个节点上一层,这将提供信息的所有节点在下一层。
我要做不同的东西,但不知道如何编写我自己。 喜欢这个图:节点的 一个 地图给所有[d, e, f]中的三个节点在第2层,同时节点 b 的地图[e,f]和节 c 仅映[f]. 结果,节 d 仅包含的信息从 一个,而 电子 中将包含的信息[a, b]. 和 f 将包含的信息的所有节点上一层。 没有人知道如何编写这种结构? 请给我一些见解,我将非常感谢:D
我只知道如何使用建立在网络等递归神经网络的LSTM在PyTorch. 但他们往往处理中每个节点上一层,这将提供信息的所有节点在下一层。
我要做不同的东西,但不知道如何编写我自己。 喜欢这个图:节点的 一个 地图给所有[d, e, f]中的三个节点在第2层,同时节点 b 的地图[e,f]和节 c 仅映[f]. 结果,节 d 仅包含的信息从 一个,而 电子 中将包含的信息[a, b]. 和 f 将包含的信息的所有节点上一层。 没有人知道如何编写这种结构? 请给我一些见解,我将非常感谢:D
当你有一层看起来像完全连接层,但与定义连接,使用一个 面罩 以适当的结构。
让我们说 x = [a, b, c]
是你3-暗淡和输入 W
表示的连通性矩阵。
>> x
tensor([[0.1825],
[0.9598],
[0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
[0.9016, 0.4690, 0.0471],
[0.5926, 0.9700, 0.5222]])
然后 W[i][j]
指连接之间的重量 j
第输入和 i
第输出神经元。 建立的结构类似于你的玩具的例子中,我们将做一个面具这样
>> mask
tensor([[1., 0., 0.],
[1., 1., 0.],
[1., 1., 1.]])
然后你可以简单地掩 W
>> (mask * W) @ x
tensor([[0.1361],
[0.6147],
[1.1892]])
注: @
是矩阵和乘法 *
是逐点的乘法运算。