【论文笔记】A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking
概要问题：
现有方法利用历史信息来确定通常表示为槽值对的对话状态。这导致了两个问题：
由于缺乏建模插槽和对话历史之间的交互的强大机制，它们中的大多数在有效利用相关上下文方面都有局限性
现有的方法通常忽略槽不平衡问题，不加区别地处理所有槽，这限制了槽的学习，最终损害整体性能
方法贡献：
提出了一种有效的上下文层次注意网络，以充分利用对话历史中的相关上下文，并采用状态转换预测任务来进一步增强它。
设计了一个自适应的目标来动态地调整每个槽的权重解决槽不平衡问题，并且该方法是第一个解决DST中的槽不平衡问题的方法。
相关工作
2017-IEEE-Focal loss for dense object detection
2018-EMNLP-Towards universal dialogue state tracking.
模型
Contextual Hierarchical Attention NetworkSentence Encoder 利用Bert来编码句子表示 $h_t$:
h_t = BERT_{finetune}([R_t;U_t])对于槽$s$和值$v ...
【Pytorch基础】深度残差神经网络
回顾 前面我们讨论的神经网络的层数都不会很大，但是对于一些深层的神经网络来说，训练它将会变得非常困难。其中一个原因是对于深层神经网络其越接近输入的层越有可能出现梯度消失和梯度爆炸问题，导致网络无法继续学习到更多特征。
梯度消失、梯度爆炸 假设有如下图神经网络：
由于我们的梯度更新方式为：
w_{new} = w_{old} - \alpha \frac{\partial E_{total}}{\partial w_{old}}前馈传播方式：
y_i = \sigma(z_i) = \sigma(w_ix_i + b_i)
根据链式法则计算第一层的梯度：
\frac{\partial E_{total}}{\partial w_1} = \frac{\partial E_{total}}{\partial y_4}\cdot \frac{\partial y_4}{\partial z_4}\cdot \frac{\partial z_4}{\partial x_4}\cdot \frac{\partial x_4}{\partial z_3}\cdot \fra ...
FashionMnist数据集卷积神经网络实战
数据集介绍 Fashion-MNIST是Zalando的商品图片数据集，其中包含60,000个示例的训练集和10,000个示例的测试集。 每个示例都是一个28×28灰度图像，与来自10个类别的标签关联。 Fashion-MNIST旨在直接替代原始MNIST数据集，以对机器学习算法进行基准测试。
网络结构
Pytorch实现123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121import torchfrom torchvision import transformsfrom torchvision import datas ...
【Pytorch基础】卷积神经网络基础
回顾 之前我们讨论的网络都是由线性层串起来组成的，其相邻层的任意两个结点之间都有一个链接（权重），因此称之为全连接神经网络(Fully Connected Nerual Network)。但是，在处理图像时，由于输入被reshape成一个$N \times 1$的向量，使得图像的二维特征被破坏，所以其并不能较好地用于图像问题。
计算机眼中的图像
毫无疑问，你可以很快分辨下图中的动物是只猫。但在计算机“眼中”，它仅仅是一个数字序列。图像由一个个像素组成，每一个像素通常以RGB(Red,Green,Blue)三原色（三通道）表示。但为了简化，我们使用灰度（0-255）表示，仅仅一个数字就可以表示（0：黑色 255：白色）。如此一来，对于一张$200\times 200$像素的图片，在计算机眼中就为一个$200\times 200$的矩阵。
卷积神经网络基本操作：1、卷积运算：
顾名思义，卷积神经网络得名于“卷积”运算。在卷积神经网络中，卷积的主要目的是从目标图像中提取“特征”。通过使用输入数据中的小方块（矩阵分块）来学习图像特征，卷积运算保留了像素间的 ...
【Pytorch基础】多分类问题
回顾 之前讨论的分类问题都是二分类问题，那么在多分类问题下如和设计网络。
输出层 对于多分类问题，如MNIST手写数字分类，在用了Sigmoid函数之后，其每一个输出节点的值都会在0到1之间，表示某样本属于$i\in [0,9]$的概率为$\hat{y}_i$.
如此一来，相当于把每一个类别看成一个二分类的问题，若是个类别的输出分别为$\hat{y}=[0,8,0.9,0.91,0.95,0.5,0.3,0.6,0.2,0.1,0.16]$,我们当然可以按概率大小得出该样本最有可能是$P(3)=0.95$。但是$P(0),P(1),P(2)$都很大，这在逻辑上解释不通啊，一个东西要么像个啥，不能即像又像。因此，我们的输出必须每个类别将彼此有种竞争（competive）关系,要能够互相抑制，不会产生歧义，且满足一个概率分布的性质\hat{y}_i \geq 0 ,\sum_{i=0}^{9}\hat{y}_i = 1
Softmax 运算 Softmax 运算解决了上述提出的问题，他通过下式将输出值变换成为正且和为1的概率分布：
\lbrace \hat{ ...
【Pytorch基础】加载数据集
回顾 上一篇训练神经网络是用的是批梯度下降，容易陷入鞍点中。Pytorch 提供了一个数据集加载工具，使得我们可以方便地用小批量随机梯度下降来训练网络。其包含两个部分：
Dataset: 用于构造数据集(支持索引)
DataLoader: 每次拿出一个Mini-Batch用于训练更新
Epoch，Batch-Size，Iterations 概念释义
Epoch: 表示一个训练周期，所有样本都进行一次前馈、反馈计算
Batch-Size: 表示一个Mini-Batch包含的样本数量，即每次训练（一次更新）时用到的样本数量
Iterations: 全部样本被划分的Mini-Batch的数量，如1000个样本，Batch-Size=100，那么Iteration=10
12345# 训练循环for epoch in range(trainning_epochs): # 用所有Mini-Batch训练 for i in range(total_batch): # 执行Iteration次 pass
DataLoader1torch.utils.dat ...
【Pytorch基础】处理多维特征的输入
回顾 到目前为止，我们讨论的都是只有一个实数输入的模型。但实际情况要复杂的多，因此，如何处理多维输入是个非常重要的问题。
关于糖尿病的二分类问题1. 准备数据集
上述样本的输入为 8 个指标，输出为两个类别（病情未来会加重 1、病情未来不会加重 0）。
123456789import numpy as npimport torchxy = np.loadtxt('https://project-preview-1257022783.cos.ap-chengdu.myqcloud.com/diabetes.csv.gz',delimiter=',',dtype=np.float32)# 创建tensorx_data = torch.from_numpy(xy[:,:-1]) # 所有行，最后一列不要y_data = torch.from_numpy(xy[:,[-1]]) # 所有行，只要最后一列，-1加[]表示拿出来一个矩阵，而不是向量
多维度输入的逻辑回归模型 上述数据集的输入不再是一个简单的实数，而是一个8维向量$x^{ ...
【Pytorch基础】逻辑回归
回顾 之前我们讨论过一个线性模型：
上述模型预测出的$\hat{y} \in R$属于一个连续的空间内，我们称这类任务为回归任务。但是很多的机器学习任务要求我们去分类，比如给动物图片分类、给手写数字分类。对于分类任务，它预测出来的结果属于一个离散的集合，例如手写数字分类的结果集合为$y \in \left[ 0,1,2,3,4,5,6,7,8,9 \right]$。对于分类任务，用回归模型去预测是不合适的，因为这些类别之间并没有连续空间中的数值大小的含义（不能说某个类别大于或小于某个类别如猫大于狗）。在分类问题中，分类模型输出一个概率分布，再在所有类别的概率值（0 ~ 1）中找到最大值就是预测结果了。另外要注意的是，逻辑回归不是回归，它常用于分类问题，只是名字易让人误会。
接下来，不妨用一个二分类任务来进行讨论。问题描述为每周学习时间与是否通过期末考试的关系。
输出映射由于输出的是一个概率分布，每个类别的输出概率值都应该在0和1之间。因此，不能直接使用输出层的输出值。一方面因为输出层的输出值范围不确定，我们难以直观上判断这些值的意义；另一方面，由于真 ...
【Pytorch基础】Pytorch实现线性模型
回顾 之前我们用纯python实现了一个线性模型。现在，以第一篇文章的例子来，试着用 Pytorch 提供的工具来实现一个线性模型。
Pytorch 写神经网络的套路
准备数据集
设计模型类（用来计算 $\hat{y}$）
构造损失函数和优化器（optmizer）
训练模型：
前馈计算Loss
反向传播Loss （梯度下降算法）
更新
开始1.准备数据集：
在pytorch中，采用的是小批量地图下降算法，因此，$X$ 和 $\hat{Y}$ 是一个多维的 Tensor. 展开后的模型为：
$$\begin{bmatrix} \hat{y}_1 \\ \hat{y}_2 \\ \hat{y}_3 \\ \dots \\ \end{bmatrix} = w \cdot \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ \dots \\ \end{bmatrix} + b$$
上式的" $\cdot$ " 表示的是数乘，要与矩阵乘法 " $\times$ " 区分开来。$w \cdot \begin{bmatrix} x_1 \\ x ...
【Pytorch基础】反向传播算法
回顾 之前我们只讨论过线性模型$\hat{y} = w * x$的权重更新方法。实际上，它可以被看成一个最简单的神经网络：
可以看出，得到预测之后直接就能将误差反馈给权重进而调整权重值，因为它仅仅只有一个结点。但是，如果是非常复杂的模型呢？比如：
上图是一个 4 隐层的神经网络，中间的的线条数就是其权重的个数，即
5*6+6*7+7*7+7*6+6*5=193实际情况还可能更多。显然想用线性模型的算法传播算法来更新权重在这里是行不通的。
计算图先把模型看成一个图，考虑数据在图内的传播算法。
对于上图所示的模型，是一个两层(单隐层)的神经网络。假设其输入$X$的维度为$n$，隐层（中间层）输出$H$的维度为$m$,输出层$O$的维度为$n$其结构如下：
那么，对应的两个权重矩阵为$W{1 (m\times n)},W{2 (n\times m)}$。$b_1,b_2$ 称为偏置。
问题如果对上述模型进行变形可以发现，无论它有多少层，最终都会被简化为单层。
这样一来，意味着层数（权重数量）的增加对模型的效果没有起到积极意义。因此，我们要将每一层的输 ...