深度学习中怎么把训练好的权值赋给复杂的网络用于初始化 深度学习 如何找到训练最优权重

深度学习中怎么把训练好的权值赋给复杂的网络用于初始化

dnn 从名字上你就可以看出来，是深度神经网络，类比于浅层神经网络，它的训练方法也是BP，没有引入无监督的预训练。隐层的激活函数使用了 ReLU,改善了“梯度弥散”，通过正则化 dropout 改善了过拟合的现象，在输出层 是softmax 作为激活函数。目标函数是交叉熵。
他是一个 有监督的判别模型。
stacked denoised autoencoder (SDA)深度学习结构，和DBN类似 使用 无监督的网络“堆叠”起来的，他有分层预训练来寻找更好的参数，最后使用BP来微调网络。比dnn利用各种算法来初始化权值矩阵，从经验上来看是有帮助的。但是缺点也很明显，每层的贪婪学习权值矩阵，也带来了过长的训练时间。在大量的数据面前 dnn(relu)的效果已经不差于预训练的深度学习结构了。最终DBN也是看成是“生成模型”。
CNN 也没有pre-train过程，训练算法也是用BP。 因为加入卷积 可以更好的处理2D数据，例如图像和语音。并且目前看来 相比其它网络有更好的表现。dnn/dbn/sda 等都是处理1D的数据。

深度学习 如何找到训练最优权重

AlphaGo依靠精确的专家评估系统（value network）:专家系统是一个智能计算机程序系统，其内部含有大量的某个领域专家水平的知识与经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。
基于海量数据的深度神经网络（policy network）:多层的好处是可以用较少的参数表示复杂的函数。在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。但是很多任务难以得到足够多的标记样本，在这种情况下，简单的模型，比如线性回归或者决策树往往能得到比多层神经网络更好的结果。非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角； 而顶层可能有一个结点表示人脸。
传统的人工智能方法蒙特卡洛树搜索的组合:是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性。

深度学习权重初始化为什么要随机

为了获得更多的特征
以卷积神经网络为例，如果你初试化两个卷积核权值都一样，那么在一次训练后两个卷积核变化都一样，卷积后的特征层都一样；如果你定义了100个一样的卷积核本质上只提取了一个特征。
如果你一百个卷积核的权值随机定义，你就能提取100个特征。

top 5 accuracy 是什么意思深度学习

这个好像是用于分类问题中的，如果有10个类，那网络最终会给出10个值，分别代表样例是对应类的几率，最终将几率按从大到小排序。
我们一般认为，样例对应的类的几率最大，则认为网络对该样例的分类是正确的，
而top 5 accuracy则放宽了要求，如果 网络对该样例的分类是排在前5个几率之内，就认为分类是正确的
再接合 而accuracy = 被正确分类的样例个数 / 总样例个数 * 100% 就可以计算出 top 5 accuracy 了