思维之海

——在云端,寻找我的星匙。

GNN学习笔记

图神经网络(GNN)学习笔记。

References

Awesome-Graph-Neural-Networks

• [MPNN] Neural message passing for quantum chemistry
• [NLNN] Non-local neural networks
• [GN] Relational inductive biases, deep learning, and graph networks
Learning CNN for graphs
https://tkipf.github.io/graph-convolutional-networks/
• DeepWalk: Online Learning of Social Representations
• node2vec: Scalable Feature Learning for Networks

Graph Neural Networks:A Review of Methods and Applications

图卷积网络(GCN)新手村完全指南

GNN

图神经网络(Graph Neural Network,GNN)。

  • 从神经网络(RNN,CNN)的全连接到GNN中的散链接
  • 不再满足欧式空间(更加关注拓扑性质)

$\longrightarrow$符号主义、连接主义、行为主义。

  • 连接主义+行为主义:深度强化学习
  • 连接主义+符号主义:GNN

MPNN。很多GNN都可以统一为MPNN。

  • Message passing phase
    • 下一时刻由邻居的上一时刻决定(拓扑空间中的元胞自动机)(t?)
  • Readout phase
    • 从新的图中做一个变换,产生一个输出

NLNN(Non-local neural network):远距联系。


点-边变换。


Open Questions:

• Where do the graphs come from that graph networks operate over?
• How to induce sparsity?
• How to adaptively modify graph structure during the course of computation?
• Interpretability of the behavior of graph network

Graph embedding 图嵌入

Graph Embedding:从DeepWalk到SDNE - 知乎

Graph Embeddings — The Summary – Towards Data Science

A Comprehensive Survey of Graph Embedding: Problems … - arXiv

GitHub - benedekrozemberczki/awesome-graph-embedding: A …

img

将一个图向量化。

  • DeepWalk(深度游走算法)

    • *把每个节点**表示**为一个向量*
    • 节点的聚类
    • 节点的连通性强弱
    • 随机游走形成的序列就生成了所求的向量
    • 对复杂的线性结构进行多个序列采样
  • node2vec

    • 条件独立假设 + 空间对称假设(归一化)
    • 图遍历策略(BFS vs. DFS$\longrightarrow$通过基于距离的概率超参来调节广度和深度的权衡)
    • 基于联想的概率游走(三元的概率,下一边的概率与上一边有关而不是上一点)

没有参数共享。

很难泛化。(加入新节点不能增量学习)