关于激励函数选择
- 必须是可微分的函数
- 隐藏层少的时候，选择哪种影响都不大。
- 隐藏层多的时候，选择不当可能造成梯度爆炸，梯度消失。
- 卷积神经网络cnn 一般用 relu
- 循环神经网络rnn 一般用 relu / tanh
卷积神经网络
非常直观的一个卷积神经网络深层分析（手写数字识别）
http://scs.ryerson.ca/~aharley/vis/conv/
过程
卷积=>ReLU抹零=>卷积=>ReLU抹零=>
池化=>卷积=>ReLU抹零=>池化=>
全连接=>全连接=>乘以权重比对
谷歌 的 tensorflow playground
http://playground.tensorflow.org
图片分类素材网站
pycharm 里面 matplotlib 不能动态显示的解决办法
如图设置即可解决
TensorFlow中的reduce_sum()中的reduction_indices
来源https://www.zhihu.com/question/51325408/answer/125426642
reduction_indices，直译过来就是指“坍塌维度”，即按照哪个维度进行加法运算。
如：
由于square(y-x)=[1,4,9,16]，是个一维向量（张量），所以reduction_indices只能设为0，设其他会报错。运算结果是30，也就是1维坍塌为0维。
将xy换成二维张量试试：
此时，square(y-x)=[[1,4,9,16]，[1,4,9,16]]，各位猜测一下结果是多少呢？没错，就是按照0维坍塌，即“行”，即原来的n行变1行，即按行进行sum，答案为[2,8,18,32]。
举一反三，如果reduction_indices=[1]呢？
答案是：[30,30],可以理解为[[30],[30]]。
pch18 
