References
• [MPNN] Neural message passing for quantum chemistry
• [NLNN] Non-local neural networks
• [GN] Relational inductive biases, deep learning, and graph networks
• Learning CNN for graphs
• https://tkipf.github.io/graph-convolutional-networks/
• DeepWalk: Online Learning of Social Representations
• node2vec: Scalable Feature Learning for Networks
Graph Neural Networks:A Review of Methods and Applications
GNN
图神经网络（Graph Neural Network，GNN）。
- 从神经网络（RNN，CNN）的全连接到GNN中的散链接。
- 不再满足欧式空间（更加关注拓扑性质）
$\longrightarrow$符号主义、连接主义、行为主义。
- 连接主义+行为主义：深度强化学习
- 连接主义+符号主义：GNN
MPNN。很多GNN都可以统一为MPNN。
- Message passing phase
- 下一时刻由邻居的上一时刻决定（拓扑空间中的元胞自动机）（t？）
- Readout phase
- 从新的图中做一个变换，产生一个输出
NLNN（Non-local neural network）：远距联系。
点-边变换。
Open Questions：
• Where do the graphs come from that graph networks operate over?
• How to induce sparsity?
• How to adaptively modify graph structure during the course of computation?
• Interpretability of the behavior of graph network
Graph embedding 图嵌入
Graph Embedding：从DeepWalk到SDNE - 知乎
Graph Embeddings — The Summary – Towards Data Science
A Comprehensive Survey of Graph Embedding: Problems … - arXiv
将一个图向量化。
DeepWalk（深度游走算法）![]()
- *把每个节点**表示**为一个向量*
- 节点的聚类
- 节点的连通性强弱
- 随机游走形成的序列就生成了所求的向量
- 对复杂的线性结构进行多个序列采样
node2vec![]()
- 条件独立假设 + 空间对称假设（归一化）
- 图遍历策略（BFS vs. DFS$\longrightarrow$通过基于距离的概率超参来调节广度和深度的权衡）
- 基于联想的概率游走（三元的概率，下一边的概率与上一边有关而不是上一点）
没有参数共享。
很难泛化。（加入新节点不能增量学习）