
References
• [MPNN] Neural message passing for quantum chemistry
• [NLNN] Non-local neural networks
• [GN] Relational inductive biases, deep learning, and graph networks
• Learning CNN for graphs
• https://tkipf.github.io/graph-convolutional-networks/
• DeepWalk: Online Learning of Social Representations
• node2vec: Scalable Feature Learning for Networks
Graph Neural Networks:A Review of Methods and Applications
GNN
图神经网络(Graph Neural Network,GNN
)。
- 从神经网络(RNN,CNN)的全连接到GNN中的散链接。
- 不再满足欧式空间(更加关注拓扑性质)
$\longrightarrow$符号主义、连接主义、行为主义。
- 连接主义+行为主义:深度强化学习
- 连接主义+符号主义:GNN
MPNN。很多GNN都可以统一为MPNN。
- Message passing phase
- 下一时刻由邻居的上一时刻决定(拓扑空间中的元胞自动机)(t?)
- Readout phase
- 从新的图中做一个变换,产生一个输出
NLNN(Non-local neural network):远距联系。
点-边变换。
Open Questions:
• Where do the graphs come from that graph networks operate over?
• How to induce sparsity?
• How to adaptively modify graph structure during the course of computation?
• Interpretability of the behavior of graph network
Graph embedding 图嵌入
Graph Embedding:从DeepWalk到SDNE - 知乎
Graph Embeddings — The Summary – Towards Data Science
A Comprehensive Survey of Graph Embedding: Problems … - arXiv
将一个图向量化。
DeepWalk
(深度游走算法)- *把每个节点**表示**为一个向量*
- 节点的聚类
- 节点的连通性强弱
- 随机游走形成的序列就生成了所求的向量
- 对复杂的线性结构进行多个序列采样
node2vec
- 条件独立假设 + 空间对称假设(归一化)
- 图遍历策略(BFS vs. DFS$\longrightarrow$通过基于距离的概率超参来调节广度和深度的权衡)
- 基于联想的概率游走(三元的概率,下一边的概率与上一边有关而不是上一点)
没有参数共享。
很难泛化。(加入新节点不能增量学习)