tf.contrib.layers.optimize_loss总结。

神经网络作为一个优化问题，优化函数的选择成为了训练过程的关键。但是对于现代的网络框架来说，反向传播封装成一个黑盒，造成我们只需要几行代码就可以完成整个反向传播的过程。这给初学者带来了极大的方便，但是对于想进一步深入理解神经网络的人来说，就造成了很大的困扰。本文就是想将反向传播中最重要的一环优化器剥离出来，希望能够对各位深入理解神经网络带来帮助。