softmax输出层公式推导及代码实验

十月 2, 2017 发布在 Machine Learning, Neural Network

sigmoid激活函数在神经网络中有着强大的通用性，但也存在这一些问题，softmax输出层提供了一种解决这些问题比较有效的方法，本文对softmax输出层进行一些推导体会。

神经网络之反向传播算法

九月 25, 2017 发布在 Machine Learning, Neural Network

之前使用神经网络算法的时候并没有认真总结关键的算法，虽然可以用但总觉得不爽，于是这两天对神经网络算法中的反向传播（Back Propagation）进行了推导。即理解了算法的数学本质，也对神经网络算法的工程特性有了深刻体会，工程算法真的是以解决问题为驱动的，追求的是解决问题的实用性。