【深度学习】模型评估

算法诊断

上图的代价函数J是经过了正则化的，假设当前代价函数J的拟合误差较大，如何来减小误差？在这一章中，列举了几种方法，在上图中也写出了：

• 增加训练样本
• 尝试减少特征集
• 增加一些额外的特征
• 添加多项式特征
• 试着改变正则化系数λ

有的时候我们的机器学习算法并不能达到想要的效果，那么也许是哪里出问题了，解决问题并不难，关键在于找到问题出在哪里，因此我们需要对神经网络进行诊断。
诊断是一种测试，我们可以运行它来深入算法，了解算法中那些是有效的，那些是无效的，从而提升算法的性能。因此学习算法诊断是必要的，不过在此之前，我们看看应当如何评估我们的算法。

模型评估

因此上述模型存在两个问题：

• 如何保证拟合其他数据？
• 对于三个以上的特征，我们无法通过图像判断性能，能否更系统地判断模型的性能？

接下来，我们可以通过式子①最小化代价函数来找到拟合参数$w,b$，因为假设函数是包括了多个特征的多项式，因此我们会采取正则化来减小拟合误差。

式子②称为测试误差，通过式子①我们找到了拟合参数$w,b$，现在将其带入到假设函数，并用式子②算出测试集的测试误差，我们并不是在拟合函数，而是计算测试误差的大小，因此该式子是不用正则化的，最后计算的结果即为测试误差。

式子③与式子②同理。注意，式子①$J(w,b)$是代价函数，而式子②③中的$J_{test}(w,b)$和$J_{train}(w,b)$,是计算误差的函数，从本质上来讲误差函数(损失函数)和代价函数是一个东西，但是它们的功能并不相同，理解概念并注意区分。

$J_{train}(w,b)$较低，代表了训练误差低，这是必然的，因为我们是基于训练集的数据来最小化代价函数进行参数选择的，因此拟合出来的函数的训练误差一定是较小的。（与训练集的误差在于正则化）

然而如果测试集的数据点如图所示，就会发现$J_{train}(w,b)$较高，这代表着测试误差较大，这意味着对于测试集，这个拟合函数的拟合状态并不是很好，因此我们可以认为这个函数并不具有泛化性，这个模型是有问题的。

不过在分类问题中，我们对于误差的定义有点不同

通过训练集和测试集，你可以系统地对模型误差进行评估，从而创建更好的模型。

交叉验证测试

实际上，答案是否定的，因为我们的估计流程依然存在着问题，导致了$J_{test}$很可能乐观估计了泛化误差，也就是说虽然我们计算出来的测试误差与实际的泛化误差相比可能偏小了，实际误差将会比计算结果要大。原因在于多项式的次数d，因为d是在测试集上确定的，用测试集确定的d来检验测试集的误差，那必然能得到一个较小的误差，就像我给我自己监考，这显然是不公平的。

我们解决问题的方法是：将数据集分为三个子集，训练集60%，交叉验证集20%，测试集20%。其中新加入的交叉验证集(cross validation set)的作用是用于检查不同验证集合的准确性,你也可以叫他验证集(validation set)或者开发集(development set 或dev set)。

$w,b$还是用最小化代价函数计算，现在我们要计算的误差总共有三个，它们的公式是一样的，交叉验证集的误差被称为验证误差或者开发误差。

现在再让我们回到之前的步骤，我们首先通过训练集的数据的正则化最小化代价函数计算不同次数的$w，b$,我们带入验证误差来计算对应次数的$J_{cv}$,假设现在我们找到了$d=4$时的验证误差最小，那么我们就可以用$d,w^{<4>},b^{<4>}$去计算测试误差$J_{test}$,因为$w,b$是训练集确定的，$d$是交叉验证集确定的，因此没有一个参数与测试集有关，这样就保证我们的误差计算结果相对公平。

在整个神经网络模型的选择上我们也是这样测试的，例如这三个模型的隐藏层，我们计算得到二号模型的参数对应的验证误差较小，那么我们就可以使用第二个神经网络训练的参数，如果想要得到泛化误差的估计值，我们就可以用这个参数带入计算测试误差$J_{test}$来判断神经网络的性能，使用交叉验证集来选择模型也是目前最佳的决定方法。不过想要作出决定只需要训练集和交叉验证集来确定参数即可，在确定参数之后我们可以在测试集进行评估。这种方法可以确保测试集的公平估计，而非对泛化误差的乐观估计。一个重要原则就是：在未决定模型之前，千万不要使用测试集的数据，来保证估计的公平性。