家里的Macbook Air年事已高电池也充不了电了，而且最近电池鼓包已经影响到了触摸板的使用，趁着假期买了块国产电池换上去。
sigmoid激活函数在神经网络中有着强大的通用性，但也存在这一些问题，softmax输出层提供了一种解决这些问题比较有效的方法，本文对softmax输出层进行一些推导体会。
之前使用神经网络算法的时候并没有认真总结关键的算法，虽然可以用但总觉得不爽，于是这两天对神经网络算法中的反向传播（Back Propagation）进行了推导。即理解了算法的数学本质，也对神经网络算法的工程特性有了深刻体会，工程算法真的是以解决问题为驱动的，追求的是解决问题的实用性。
最近在学习机器学习的过程中发现了许多上学时在概率论和统计学课上学过的知识点，可是年代久远已经都忘记了，重新学起来还是费了不少力气，不过因为带着目的学习所以也有了一些新的认识。
