第一章 Python入门

• Python
• Numpy
• Matplotib

第二章 感知机

• 实现
• 单个感知机无法表示异或门，因为它是非线性的
• 多层感知机可以表示

第三章 神经网络

• 激活函数登场，从输入信号总和到输出
• Sigmoid、阶跃函数、Relu
• Softmax、恒等函数
• 多维数组计算
• 手写数字识别
• 批处理

第四章 神经网络的学习

• 训练数据和测试数据、泛化能力
• 损失函数 均方误差、交叉熵误差
• 数值微分、偏导数、梯度
• 学习算法实现：mini-batch、计算梯度、更新参数、重复
• class TwoLayerNet

第五章 误差反向传播法

• 计算图
• 链式法则
• 反向传播
• 激活函数层实现
• Affine/Softmax实现
• class TwoLayerNet

第六章 与学习相关的技巧

• SGD、Momentum、AdaGrad、Adam
• 权重初始值，Xavier初始值、Relu的权重初始值
• Batch Norm
• 正则化抑制过拟合 权重衰退、Dropout
• 超参数的验证、最优化

第七章 卷积神经网络

• 卷积层
• 卷积运算 填充、步幅
• 池化层 Max池化
• im2col
• 简单CNN实现

第八章 向更深的网络出发