BP网络目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值。
举一反三
- BP神经网络中采用的负梯度下降算法，当误差目标函数中存在多个极值点时，仍然能够寻找到全局最优解。
- 下列关于梯度下降法的描述错误的是？ A: 梯度下降是利用一阶的梯度信息找到代价函数局部最优解的一种方法 B: 通常会先初始化一组参数值，然后在这个值之上，用梯度下降法去求出下一组的值。有于梯度是下降的，所以损失函数的值在下降。当迭代到一定程度，此时的参数取值即为要求的值。 C: 学习速率的选取很关键，如果学习速率过大，容易达不到极值甚至会发散，学习速率太小容易导致收敛时间过长 D: 学习速率不是超参数。
- BP算法陷入局部极小值的问题可通过更换激活函数解决。
- BP网络用梯度下降法对权值参数进行更新，假设参数w目前值为0.3，当前目标函数的梯度值是-0.2，学习率是0.4，那么参数w更新后的值应该是（ ） A: 0.38 B: 0.22 C: 0.3 D: 0
- 下列选项中属于BP网络的不足的是？ A: 全连接网络计算大 B: 隐层神经元数量难以确定 C: 容易陷入局部极小值 D: 无法做到深度很深，会产生梯度消失