家们都在用什么：Github上的十大深度学习项目 深度学习目前主要有哪些研究方向

家们都在用什么：Github上的十大深度学习项目

项目学习就是对一个特殊的将被完成的有限任务，它是在一定时间内，满足一系列特定目标的多项相关工作的学习掌握。

项目学习，对学生来说是参与了一个长期的学习任务。要求他们扮演现实世界中的角色，通过工作，研究问题、得出结论，就象成人工作一样。他们常会遇到社区或真实世界中的问题，使用科技手段研究、分析、协作和通信。他们会在社区与专家或社区成员一起工作。学生接触各个学科领域，使他们更容易理解概念，明白不同学科是如何相互联系和相互支持的。

项目学习的特点：

（1）所有项目都是真实的。

（2）每个项目都是独立的，都由项目确立、实施、结束和结果评估等阶段构成。

（3）项目实施活动所给予同学们的，不仅是将来做事所需要的知识和能力，而且可能就是同学们将来所要做的事情本身。

深度学习目前主要有哪些研究方向

深度学习已经在语音识别、图像处理等方面取得了巨大成功。从2013、2014年开始，也在自然语言处理领域出现深度学习的应用浪潮，例如今年ACL上有人（应该是BBN公司？）利用深度学习极大地提升了统计机器翻译的性能，颇值得期待。
关于深度学习的挑战与方向，其实可以关注深度学习重要学者们的相关综述文章和专著，例如Yoshua Bengio曾经写过的Learning Deep Architectures for AI （2009年）、Practical Recommendations for Gradient-Based Training of Deep Architectures（2012年）、Representation Learning: A Review and New Perspectives （2013年）。
限于自己的研究方向和兴趣，我比较关注的一个方向如下，希望与大家交流。人们一般认为深度学习在语音识别和图像处理方面能够取得长足进度，是因为这两个领域的相关特征信息都是相对低层次的，可以借助深度学习的强大学习能力学习其中的复杂信息；而到了自然语言处理领域，人们利用深度学习做过很多尝试，发现很难取得像语音识别和图像处理那么大的突破，原因在于自然语言的相关特征信息都是相对高层次的（如自然语言的基本单位——词汇——本身就有丰富的语义内涵，与图像中的“线条”、“纹理”等特征相比尤其如此），在深度学习之前就由语言专家编制了很多精致而复杂的知识库，如WordNet等，这些知识已经将相关处理性能推到了较高层次。因此，当深度学习进入自然语言时，如果还是像语音识别、图像处理那样从零知识开始做特征学习，相当于将丰富的语言知识弃之不用而另起炉灶，是不符合自然语言处理特点的。所以，深度学习的一个可能重要的发展方向是，如何在深度学习框架中高效地融合人们已经构建出来的丰富先验知识（包括语言知识、世界知识）。
需要注意的是，与LDA（latent Dirichlet allocation）等之前流行的机器学习算法不同，深度学习不是某个具体算法，而是采用”深度“学习思想的一系列算法的统称，在机器学习领域中（如ICML、NIPS），貌似很少有论文会以deep learning命名，而是具体算法的名称，如autoencoder，等等。因此，建议首先阅读一些tutorial，了解深度学习中的主要算法和人物，然后再去了解具体算法。

“深度学习”和“多层神经网络”的区别

深度学习”和“多层神经网络”的区别
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 　　多层神经网络是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是，在输入层与输出层之间引入... 　　深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
多层神经网络是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是，在输入层与输出层之间引入隐层（隐层个数可以大于或等于1）作为输入模式“的内部表示”　，单计算层感知器变成多（计算）层感知器。
补充：
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

深度学习有哪些加快收敛的tricks

深度学习，按个人的理解主要就是多层神经网络。而多层神经网络目前效果比较好的是卷积神经网络，目前在图像和音频信号上效果比较好，而在自然语言处理上效果没有显示出来。

深度学习从统计学的角度来说,就是在预测数据的分布，从数据中学得一个模型然后再通过这个模型去预测新的数据，这一点就要求测试数据和训练数据必须是同分布。

深度学习，它是在一定的学习量的积累基础之上的质的飞越，就是学习能力的质变和新实现。度学习的前提在于大数据技术的成熟和支撑。同时，深度学习是一种经验的连接和运用。它是人类的经验和智慧在机器中的再生和活化。