[DL] BackPropogation

Introduction反向传播是神经网络训练过程中非常重要的步骤。目前许多深度学习框架以(例如Tensorflow)已在定义的computational graph中自行帮开发者完成了反向传播算法的计算。但是作为深度学习领域的研究人员,还是应该了解该算法的本质。本文就对该算法进行深入讲解(素材来自Stanford CS231n Spring,2017):一个简单的computational graph $f(x, y, z)=(x + y)z$ (e.g. $x = -2$, $y = ...

Read More

[ML] Ensemble Learning

IntroductionEnsemble Learning是ML中一个非常热门的领域,也是很多比赛Top方案的必选。本文对常见的Ensemble Learning做一个简要介绍。 根据Base Learner的生成方式,目前的Ensemble Learning方法大致可以分为两大类:即base learner之间存在强依赖关系、必须串行生成的序列化方法,以及base learner间不存在强依赖关系、可同时生成的并行化方法;前者的代表是Boosting,后者的代表是Bagging和Rand...

Read More

[ML] Loss Function in ML

IntroductionLoss Function是ML/DL领域一个非常关键的因素,很多时候,我们如果能确定一个问题的Loss Function,那么这个问题就几乎已经被解决。常见的Loss可以归为以下几种: Classification: Log Loss; Focal Loss; KL Divergence; Exponential Loss; Hinge Loss Regression: MSE; MAE; Huber Loss; Log Cosh Loss; Quantile ...

Read More

[ML] Decision Tree

Introduction决策树也是机器学习中一种非常经典的分类和回归算法,在工业界有着非常广泛的应用,并且有着非常好的可解释性。 决策树学习决策树学习的Loss Function通常是正则化的极大似然函数,决策树学习的策略是以Loss Function最小化为目标函数的最小化。 决策树的生成对应于模型的局部选择,决策树的剪枝对应模型的全局选择。决策树的生成只考虑局部最优,决策树的剪枝则考虑全局最优。 特征选择 Entropy是表示随机变量不确定性的度量,设$X$是一个取有限个值的离散随机变...

Read More

[ML] Logistic Regression and Maximum Entropy Model

IntroductionLogistic Regression是机器学习中一种非常经典且应用非常广泛的分类算法。Logistic Regression属于对数线性模型的一种。 Logistic Regression Logistic Distribution: 设$X$是连续随机变量,$X$服从Logistic Distribution指的是$X$具有下列分布函数和密度函数:$F(x)=P(X\leq x)=\frac{1}{1+e^{-(x-\mu)/\gamma}}$ $f(x)=\f...

Read More

[ML] SVM

介绍SVM是一种非常经典的分类算法,也是很多机器学习面试中必问的算法。它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM的学习策略就是间隔最大化,等价于 正则化的Hinge Loss最小化问题。 当训练数据线性可分时,通过硬间隔最大化学习一个线性的分类器;当训练数据近似线性可分时,通过软间隔最大化学习一个线性的分类器;当训练数据线性不可分时,通过Kernel Tricks和软间隔最大化学习一个非线性的分类器; 当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时,核函数表示 ...

Read More

[DL] Optimization Algorithm in Deep Learning

介绍与很多传统机器学习算法相比,由于深度神经网络的本身特性(例如非凸、高度非线性等),使得整个目标函数的优化极为困难。因此优化算法是深度学习领域一个非常非常重要的组成部分。私以为,Deep Learning主要有3大组件:1) 网络结构,2) Loss Function, 3) 优化算法。虽然目前Paper中大多数都是设计Networks Architecture + Loss Function,然后SGD/Adam Optimizer一波带走,但笔者还是觉得有必要把这些优化算法来一个自己...

Read More

[ML] Naive Bayes

Introduction Naive Bayes 是基于Bayes Theorem与 特征条件独立 假设的分类算法。对于给定的数据集,首先基于特征条件独立假设 学习输入/输出的联合概率分布;然后基于此模型,对给定的输入$x$,利用Bayes Theorem求出后验概率最大的输出$y$。 Naive Bayes通过训练数据集学习联合概率分布$P(X,Y)$。Naive Bayes对条件概率分布做了条件独立性假设:$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots...

Read More

[ML] KNN

介绍KNN是机器学习中一种非常常见的分类/回归算法。在 分类 时,根据majority voting来选择相应的预测Label;在 回归 时,可取K个距离最近点的mean作为预测值。K值的选择、Distance Metric、分类决策规则是KNN算法的关键。 常用的 Distance Metric$L_p(x_i, x_j)=(\sum_{l=1}^n |x_i^{(l)}-x_j^{(l)}|^p)^{\frac{1}{p}}$当$p=\infty$时,它是各个坐标的极大值:$L_{\i...

Read More

[ML] Linear Model

Statistical Methods 参数方法,例如Linear Model。参数方法容易拟合,且可解释性强,但也存在问题。以Linear Model为例,若真实存在的模型本身就不是Linear,那就会有问题。 非参数方法:不需要显式指定$f$的形式,例如KNN。非参数方法的优点在于:因没有显示指定$f$,故Non-Parameter Methods可以拟合比Parameter Methods更广的函数。 Linear Model Standard error can be used ...

Read More


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2024 LucasXU All Rights Reserved.

UV : | PV :