偏差在神经网络中的作用

我知道了梯度下降和反向传播定理。我没有得到的是：什么时候使用偏见很重要，以及如何使用它？

例如，在映射AND函数时，当我使用 2 个输入和 1 个输出时，它不能给出正确的权重，但是，当我使用 3 个输入（其中 1 个是偏差）时，它给出正确的权重。

artificial-intelligence machine-learning neural-network

我认为偏见几乎总是有帮助的。实际上， 偏差值使您可以将激活功能向左或向右移动 ，这对于成功学习至关重要。

看一个简单的例子可能会有所帮助。考虑以下无偏置的 1 输入 1 输出网络：

简单网络

网络的输出是通过将输入（x）乘以权重（w ₀ ）并将结果传递给某种激活函数（例如 S 型函数）来计算的。

对于 w _{0 的}各种值，这是该网络计算的函数：

网络输出，给定不同的w0权重

改变权重 w ₀本质上改变了 S 形的 “硬度”。这很有用，但是如果您希望网络在 x 为 2 时输出 0，该怎么办？仅仅改变 S 型曲线的陡度并不能起作用 - 您希望能够将整个曲线向右移动 。

这正是偏差允许您执行的操作。如果我们向该网络添加偏见，如下所示：

有偏见的简单网络

... 然后网络的输出变为 sig（w ₀ * x + w ₁ * 1.0）。这是 w _{1 的}各种值的网络输出结果：

网络输出，给定不同的w1权重

w ₁的权重为 - 5 时，曲线向右移动，这使我们拥有一个在 x 为 2 时输出 0 的网络。

只是加上我的两分钱。

理解偏差是一种更简单的方法：它在某种程度上类似于线性函数的常数b

y = 轴 + b

它使您可以上下移动线以更好地将预测与数据拟合。如果没有b，则直线始终穿过原点（0，0），因此拟合度可能较差。

该线程确实帮助我开发了自己的项目。这是一些进一步的说明，显示了一个简单的 2 层前馈神经网络在二变量回归问题上有无偏置单元的结果。权重随机初始化，并使用标准 ReLU 激活。正如我面前的答案所得出的那样，在没有偏差的情况下，ReLU 网络无法在（0,0）处偏离零。