title: 深度学习调参
catogories:
- 深度学习
权重衰减
regularization_loss变化都很小，说明learning_rat太小啦 当没有使用regularization，的时候，网络训练只是通过classification_loss，改变权值，这是后梯度下降的通道
只有一个，当到达一定效果时，就jj了，不能用了。增加regularization，使得改变了整个模型的梯度，跳出了局部极值的怪圈，
使得整个函数目标函数分布改变了。赞赞赞！！！从这个经验来说真好用。
不过，也不是随便用，要看classification_loss 多少？ regularization_loss？，连个量的比值多少，这里我发现比值在
3:1，到5:1左右效果不错
深度学习中，使用regularization正则化(weight_decay)的好处，loss=nan
学习率衰减
|
|
作者：慕森卡链接：https://www.imooc.com/article/details/id/27808来源：慕课网
使用字符串张量的Tensorflow字典查找https://stackoom.com/question/2OBMw/%E4%BD%BF%E7%94%A8%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%BC%A0%E9%87%8F%E7%9A%84Tensorflow%E5%AD%97%E5%85%B8%E6%9F%A5%E6%89%BE
共享参数，共享变量
Gradient Check**，如果你觉得网络feedforward没什么问题，那么GC可以保证BP的过程没什么bug**。值得提的是，如果feedforward有问题，但是得到的误差是差不多的，GC也会感觉是对的。大多情况GC可帮你找到很多问题！步骤如下：
[
