【Pytorch基础】深度残差神经网络
回顾 前面我们讨论的神经网络的层数都不会很大，但是对于一些深层的神经网络来说，训练它将会变得非常困难。其中一个原因是对于深层神经网络其越接近输入的层越有可能出现梯度消失和梯度爆炸问题，导致网络无法继续学习到更多特征。
梯度消失、梯度爆炸 假设有如下图神经网络：
由于我们的梯度 ...
【Pytorch基础】卷积神经网络进阶(GoogLeNet)
回顾 之前我们谈及的卷积神经网络都是串行的，现在来看下更复杂的卷积神经网络以及应用函数、封装等编程思想来实现它。
GoogLeNet GoogLeNet是谷歌（Google）研究出来的深度网络结构，为什么不叫“GoogleNet”，而叫“GoogLeNet”，据说是为了向“LeN ...
FashionMnist数据集卷积神经网络实战
数据集介绍 Fashion-MNIST是Zalando的商品图片数据集，其中包含60,000个示例的训练集和10,000个示例的测试集。 每个示例都是一个28×28灰度图像，与来自10个类别的标签关联。 Fashion-MNIST旨在直接替代原始MNIST数据集，以对机器学习算法进行基准测 ...
【Pytorch基础】卷积神经网络基础
回顾 之前我们讨论的网络都是由线性层串起来组成的，其相邻层的任意两个结点之间都有一个链接（权重），因此称之为全连接神经网络(Fully Connected Nerual Network)。但是，在处理图像时，由于输入被reshape成一个$N \times 1$的向量，使得图像的二维特征被 ...
【Pytorch基础】多分类问题
回顾 之前讨论的分类问题都是二分类问题，那么在多分类问题下如和设计网络。
输出层 对于多分类问题，如MNIST手写数字分类，在用了Sigmoid函数之后，其每一个输出节点的值都会在0到1之间，表示某样本属于$i\in [0,9]$的概率为$\hat{y}_i$.
如此一来，相当 ...
【Pytorch基础】加载数据集
回顾 上一篇训练神经网络是用的是批梯度下降，容易陷入鞍点中。Pytorch 提供了一个数据集加载工具，使得我们可以方便地用小批量随机梯度下降来训练网络。其包含两个部分：
Dataset: 用于构造数据集(支持索引)
DataLoader: 每次拿出一个Mini-Batch用于训练更新
...
【Pytorch基础】处理多维特征的输入
回顾 到目前为止，我们讨论的都是只有一个实数输入的模型。但实际情况要复杂的多，因此，如何处理多维输入是个非常重要的问题。
关于糖尿病的二分类问题1. 准备数据集
上述样本的输入为 8 个指标，输出为两个类别（病情未来会加重 1、病情未来不会加重 0）。
12345678import num ...
【Pytorch基础】逻辑回归
回顾 之前我们讨论过一个线性模型：
上述模型预测出的$\hat{y} \in R$属于一个连续的空间内，我们称这类任务为回归任务。但是很多的机器学习任务要求我们去分类，比如给动物图片分类、给手写数字分类。对于分类任务，它预测出来的结果属于一个离散的集合，例如手写数字分类的结果 ...
【Pytorch基础】Pytorch实现线性模型
回顾 之前我们用纯python实现了一个线性模型。现在，以第一篇文章的例子来，试着用 Pytorch 提供的工具来实现一个线性模型。
Pytorch 写神经网络的套路
准备数据集
设计模型类（用来计算 $\hat{y}$）
构造损失函数和优化器（optmizer）
训练模型：
前馈计算L ...
【Pytorch基础】反向传播算法
回顾 之前我们只讨论过线性模型$\hat{y} = w * x$的权重更新方法。实际上，它可以被看成一个最简单的神经网络：
可以看出，得到预测之后直接就能将误差反馈给权重进而调整权重值，因为它仅仅只有一个结点。但是，如果是非常复杂的模型呢？比如：
上图是一个 4 隐层的神经 ...