06.1 二分类函数

6.1 二分类函数

此函数对线性和非线性二分类都适用。

6.1.1 二分类函数

对率函数Logistic Function，即可以做为激活函数使用，又可以当作二分类函数使用。而在很多不太正规的文字材料中，把这两个概念混用了，比如下面这个说法：“我们在最后使用Sigmoid激活函数来做二分类”，这是不恰当的。在本书中，我们会根据不同的任务区分激活函数和分类函数这两个概念，在二分类任务中，叫做Logistic函数，而在作为激活函数时，叫做Sigmoid函数。

• Logistic函数公式

\[Logistic(z) = \frac{1}{1 + e^{-z}}\]

以下记 \(a=Logistic(z)\)。

• 导数

\[Logistic'(z) = a(1 - a)\]

具体求导过程可以参考8.1节。

• 输入值域

\[(-\infty, \infty)\]

• 输出值域

\[(0,1)\]

• 函数图像（图6-2）

图6-2 Logistic函数图像

• 使用方式

此函数实际上是一个概率计算，它把 \((-\infty, \infty)\) 之间的任何数字都压缩到 \((0,1)\) 之间，返回一个概率值，这个概率值接近 \(1\) 时，认为是正例，否则认为是负例。

训练时，一个样本 \(x\) 在经过神经网络的最后一层的矩阵运算结果作为输入 \(z\)，经过Logistic计算后，输出一个 \((0,1)\) 之间的预测值。我们假设这个样本的标签值为 \(0\) 属于负类，如果其预测值越接近 \(0\)，就越接近标签值，那么误差越小，反向传播的力度就越小。

推理时，我们预先设定一个阈值比如 \(0.5\)，则当推理结果大于 \(0.5\) 时，认为是正类；小于 \(0.5\) 时认为是负类；等于 \(0.5\) 时，根据情况自己定义。阈值也不一定就是 \(0.5\)，也可以是 \(0.65\) 等等，阈值越大，准确率越高，召回率越低；阈值越小则相反，准确度越低，召回率越高。

比如：

• input=2时，output=0.88，而0.88>0.5，算作正例
• input=-1时，output=0.27，而0.27<0.5，算作负例

6.1.2 正向传播

矩阵运算

\[ z=x \cdot w + b \tag{1} \]

分类计算

\[ a = Logistic(z)=\frac{1}{1 + e^{-z}} \tag{2} \]

损失函数计算

二分类交叉熵损失函数：

\[ loss(w,b) = -[y \ln a+(1-y) \ln(1-a)] \tag{3} \]

6.1.3 反向传播

求损失函数对 \(a\) 的偏导

\[ \frac{\partial loss}{\partial a}=-\left[\frac{y}{a}-\frac{1-y}{1-a}\right]=\frac{a-y}{a(1-a)} \tag{4} \]

求 \(a\) 对 \(z\) 的偏导

\[ \frac{\partial a}{\partial z}= a(1-a) \tag{5} \]

求误差 \(loss\) 对 \(z\) 的偏导

使用链式法则链接公式4和公式5：

\[ \frac{\partial loss}{\partial z}=\frac{\partial loss}{\partial a}\frac{\partial a}{\partial z}=\frac{a-y}{a(1-a)} \cdot a(1-a)=a-y \tag{6} \]

我们惊奇地发现，使用交叉熵函数求导得到的分母，与Logistic分类函数求导后的结果，正好可以抵消，最后只剩下了 \(a-y\) 这一项。真的有这么巧合的事吗？实际上这是依靠科学家们的聪明才智寻找出了这种匹配关系，以满足以下条件：

1. 损失函数满足二分类的要求，无论是正例还是反例，都是单调的；
2. 损失函数可导，以便于使用反向传播算法；
3. 计算过程非常简单，一个减法就可以搞定。

多样本情况

我们用三个样本做实例化推导：

\[ Z= \begin{pmatrix} z_1 \\\\ z_2 \\\\ z_3 \end{pmatrix}, A=Logistic\begin{pmatrix} z_1 \\\\ z_2 \\\\ z_3 \end{pmatrix}= \begin{pmatrix} a_1 \\\\ a_2 \\\\ a_3 \end{pmatrix} \]

\[ \begin{aligned} J(w,b)=&-[y_1 \ln a_1+(1-y_1)\ln(1-a_1)] \\\\ &-[y_2 \ln a_2+(1-y_2)\ln(1-a_2)] \\\\ &-[y_3 \ln a_3+(1-y_3)\ln(1-a_3)] \\\\ \end{aligned} $$ 代入公式6结果： $$ \frac{\partial J(w,b)}{\partial Z}= \begin{pmatrix} \frac{\partial J(w,b)}{\partial z_1} \\\\ \frac{\partial J(w,b)}{\partial z_2} \\\\ \frac{\partial J(w,b)}{\partial z_3} \end{pmatrix} =\begin{pmatrix} a_1-y_1 \\\\ a_2-y_2 \\\\ a_3-y_3 \end{pmatrix}=A-Y \]

所以，用矩阵运算时可以简化为矩阵相减的形式：\(A-Y\)。

6.1.4 对数几率的来历

经过数学推导后可以知道，神经网络实际也是在做这样一件事：经过调整 \(w\) 和 \(b\) 的值，把所有正例的样本都归纳到大于 \(0.5\) 的范围内，所有负例都小于 \(0.5\)。但是如果只说大于或者小于，无法做准确的量化计算，所以用一个对率函数来模拟。

说到对率函数，还有一个问题，它为什么叫做“对数几率”函数呢？

我们举例说明：假设有一个硬币，抛出落地后，得到正面的概率是\(0.5\)，得到反面的概率是\(0.5\)。如果用正面的概率除以反面的概率，\(0.5/0.5=1\)，这个数值叫做\(odds\)，即几率。

泛化一下，如果正面的概率是 \(a\)，则反面的概率就是 \(1-a\)，则几率等于：

\[odds = \frac{a}{1-a} \tag{9}\]

上式中，如果 \(a\) 是把样本 \(x\) 的预测为正例的可能性，那么 \(1-a\) 就是其负例的可能性，\(\frac{a}{1-a}\)就是正负例的比值，称为几率(odds)，它反映了 \(x\)作为正例的相对可能性，而对几率取对数就叫做对数几率(log odds, logit)。

假设概率如表6-3。

表6-3 概率到对数几率的对照表

概率\(a\)	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1
反概率\(1-a\)	1	0.9	0.8	0.7	0.6	0.5	0.4	0.3	0.2	0.1	0
几率 \(odds\)	0	0.11	0.25	0.43	0.67	1	1.5	2.33	4	9	\(\infty\)
对数几率 \(\ln(odds)\)	N/A	-2.19	-1.38	-0.84	-0.4	0	0.4	0.84	1.38	2.19	N/A

可以看到几率的值不是线性的，不利于分析问题，所以在表中第4行对几率取对数，可以得到一组成线性关系的值，并可以用直线方程来表示，即：

\[ \ln(odds) = \ln \frac{a}{1-a}= xw + b \tag{10} \]

对公式10两边取自然指数：

\[ \frac{a}{1-a}=e^{xw+b} \tag{11} \]

\[ a=\frac{1}{1+e^{-(xw+b)}} \]

令\(z=xw+b\)：

\[ a=\frac{1}{1+e^{-z}} \tag{12} \]

公式12就是公式2！对数几率的函数形式可以认为是这样得到的。

以上推导过程，实际上就是用线性回归模型的预测结果来逼近样本分类的对数几率。这就是为什么它叫做逻辑回归(logistic regression)，但其实是分类学习的方法。这种方法的优点如下：

• 把线性回归的成功经验引入到分类问题中，相当于对“分界线”的预测进行建模，而“分界线”在二维空间上是一条直线，这就不需要考虑具体样本的分布（比如在二维空间上的坐标位置），避免了假设分布不准确所带来的问题；
• 不仅预测出类别（0/1），而且得到了近似的概率值（比如0.31或0.86），这对许多需要利用概率辅助决策的任务很有用；
• 对率函数是任意阶可导的凸函数，有很好的数学性，许多数值优化算法都可以直接用于求取最优解。