描述

这是几年前机器学习课程的学习笔记。特此记录，持续更新。。。

基础框架

回归模型是对已有数据和未知信息的沟通，预测模型本质上是历史数据的函数。寻找一个拟合函数是机器学习或者统计学习的主要目的。注意，这里的拟合函数的获得不同经典的统计学方法，比如最小二乘法，机器学习的回归模型是多参数
Sigmoid函数：

$$f(w,b,c)= c \frac{1}{1+e^{-( b+w x)}}$$

原来的线性模型

$$f(\boldsymbol{x})=b+\sum_i w_ix_i$$

可以换成

$$f(\boldsymbol x)=b+\sum_{i}c_i \mathrm{Sigmoid}(b_i+\sum_{ij}w_{ij}x_j)$$

用矩阵写出

$$f(\boldsymbol x)=b+c^T\sigma(\boldsymbol b+W \boldsymbol x)$$

其中$\sigma$是激活函数，$\theta$显然是模型中所有未知的参数。
以上过程可以重复进行，示意图的结构就变成了多层，构成了所谓的人工神经网络。在一些例子中模型层数的增加会显著优化预测数据的准确度，降低loss函数的误差。最终发展出了所谓的深度学习框架（Deep Learning）

确定损失函数$L(\theta)$

我们实际上是想确定一个$\theta$使得损失函数最小：

$$\theta'=\mathrm{arg}\,min_{\theta}(L)$$

梯度下降法（gradient decent）

贝叶斯统计

启发式算法

卷积神经网络

深度学习初步