【论文笔记】2009-IEEE-The graph neural network model
概要 在科学与工程的许多领域中的数据的潜在关系都可以用图来表示，比如计算机视觉，分子化学，分子生物学，模式识别，数据挖掘以及自然语言处理。本论文提出了一种新的神经网络模型称为图神经网络模型，用来处理以图来表示的数据。
本文中所提到的图均指图论中的图(Graph)。它是一种由若干 ...
【论文笔记】Structual Deep Network
概要 网络嵌入方法（Network Embedding）旨在学习网络中节点的低维度潜在表示，所学习到的特征表示可以用作基于图的各种任务的特征，例如分类，聚类，链路预测和可视化。
问题概述 现存的网络嵌入方法几乎都是利用了浅层网络模型，但是随着网络结构愈发复杂，浅层模型无法捕捉到高 ...
【Pytorch基础】深度残差神经网络
回顾 前面我们讨论的神经网络的层数都不会很大，但是对于一些深层的神经网络来说，训练它将会变得非常困难。其中一个原因是对于深层神经网络其越接近输入的层越有可能出现梯度消失和梯度爆炸问题，导致网络无法继续学习到更多特征。
梯度消失、梯度爆炸 假设有如下图神经网络：
由于我们的梯度 ...
【Pytorch基础】卷积神经网络进阶(GoogLeNet)
回顾 之前我们谈及的卷积神经网络都是串行的，现在来看下更复杂的卷积神经网络以及应用函数、封装等编程思想来实现它。
GoogLeNet GoogLeNet是谷歌（Google）研究出来的深度网络结构，为什么不叫“GoogleNet”，而叫“GoogLeNet”，据说是为了向“LeN ...
FashionMnist数据集卷积神经网络实战
数据集介绍 Fashion-MNIST是Zalando的商品图片数据集，其中包含60,000个示例的训练集和10,000个示例的测试集。 每个示例都是一个28×28灰度图像，与来自10个类别的标签关联。 Fashion-MNIST旨在直接替代原始MNIST数据集，以对机器学习算法进行基准测 ...
【Pytorch基础】卷积神经网络基础
回顾 之前我们讨论的网络都是由线性层串起来组成的，其相邻层的任意两个结点之间都有一个链接（权重），因此称之为全连接神经网络(Fully Connected Nerual Network)。但是，在处理图像时，由于输入被reshape成一个$N \times 1$的向量，使得图像的二维特征被 ...
【Pytorch基础】多分类问题
回顾 之前讨论的分类问题都是二分类问题，那么在多分类问题下如和设计网络。
输出层 对于多分类问题，如MNIST手写数字分类，在用了Sigmoid函数之后，其每一个输出节点的值都会在0到1之间，表示某样本属于$i\in [0,9]$的概率为$\hat{y}_i$.
如此一来，相当 ...
【Pytorch基础】加载数据集
回顾 上一篇训练神经网络是用的是批梯度下降，容易陷入鞍点中。Pytorch 提供了一个数据集加载工具，使得我们可以方便地用小批量随机梯度下降来训练网络。其包含两个部分：
Dataset: 用于构造数据集(支持索引)
DataLoader: 每次拿出一个Mini-Batch用于训练更新
...
【Pytorch基础】处理多维特征的输入
回顾 到目前为止，我们讨论的都是只有一个实数输入的模型。但实际情况要复杂的多，因此，如何处理多维输入是个非常重要的问题。
关于糖尿病的二分类问题1. 准备数据集
上述样本的输入为 8 个指标，输出为两个类别（病情未来会加重 1、病情未来不会加重 0）。
12345678import num ...
【Pytorch基础】逻辑回归
回顾 之前我们讨论过一个线性模型：
上述模型预测出的$\hat{y} \in R$属于一个连续的空间内，我们称这类任务为回归任务。但是很多的机器学习任务要求我们去分类，比如给动物图片分类、给手写数字分类。对于分类任务，它预测出来的结果属于一个离散的集合，例如手写数字分类的结果 ...