[ML] Semi-supervised & Unsupervised Learning

IntroductionSemi-supervised Learning和Unsupervised Learning是ML research领域一个非常活跃、也非常值得探索的方向,为什么这么说呢?现如今应用最广泛的ML算法叫作Deep Learning,而熟悉Deep Learning的同学都知道,这类算法实际上是非常“蠢”的,即要用大量标记样本去train一个DNN,来学习某种mapping function $\mathcal{f}(x)=y$,而人类在认识某样物品时,可是不需要用这么...

Read More

[DL] Regularization

IntroductionRegularization是Machine Learning中一个非常重要的概念,是对抗Overfitting最有用的利器。DNN由于参数众多,很容易overfitting,若直接选用small model,则会导致model特征学习、分类能力不足。因此现实中往往是 使用较大的模型 + 正则化 来解决相应问题。因此本文简要介绍一下Deep Learning中常用的正则化方法。 $$\tilde{J}(\theta;X,y)=J(\theta;X,y)+\alpha...

Read More

[CV] Video Classification

Introduction随着抖音、快手等短视频平台的火热,视频分析也成了计算机视觉领域的研究热点。视频分类是视频内容分析的基础,以抖音为例,算法后台需要对用户实时拍摄上传的视频进行分类打上tag,然后再借助推荐算法分发到用户端。本文旨在记录一下video classification领域一些具有代表性的paper。 Deep CNN for Video Classification Paper: Large-scale video classification with convoluti...

Read More

[CV] Medical Image Analysis

Introduction医疗AI是现如今工业界和学术界都非常火热的方向,也是AI落地非常有价值的方向。因毕业论文需要涉及Medical Image Analysis相关的方向,所以本文旨在收集并梳理Deep Learning在Medical Image Analysis领域一些具有代表性的Paper以及Report。 @LucasX注:本文长期更新。 CNN for Medical Image Analysis. Full Training or Fine Tuning? Paper:...

Read More

[DL] Siamese Neural Network

IntroductionSiamese Network也是一个比较有意思的网络结构,并且在许多领域都有了非常成功的应用,本文主要记录这些具体的application中一些代表性的paper。 @LucasX注:对网络结构感兴趣的可以阅读我的另外一篇文章Architecture。 Siamese Network Paper: Signature verification using a “siamese” time delay neural network 这算是Siamese Net...

Read More

[CV] Face Recognition

Introduction人脸识别(Face Recognition)是工业界和学术界都非常火热的一个方向,并且已经催生出许多成功的应用落地场景,比如刷脸支付、安检等。而Face Recognition最大的突破也是由Deep Learning Architecture + 一系列精巧的Loss Function带来的。本文旨在对Face Recognition领域里的一些经典Paper进行梳理,详情请参阅Reference部分的Paper原文。 @LucasX注:本文长期更新。 Fac...

Read More

[ML] Model Selection and Performance Metric

Introduction Overfitting的本质:过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含“抽样误差”,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合。 当$p>n$时,无法使用Backward Selection,但Forward Selection可以。 $Precision=\frac{TP}{TP+FP}$$Recall=\frac{TP}{TP+FN}$$F_1=\frac{2PR}{P+R}$ ...

Read More

[DL] RNN

IntroductionRNN(Recurrent Neural Network)是一类专门处理序列数据的网络。RNN主要在NLP领域有着非常广泛的应用,也是当今火热的Deep Learning的其中模型之一。RNN在模型的不同部分共享参数,从而使得模型能够扩展到不同形式的样本并进行泛化。 展开Computational Graph 我们可以用一个函数$g^{(t)}$代表经过 $t$ 步展开后的循环:$$h^{(t)}=g^{(t)}(x^{(t)}, x^{(t-1)}, x^{(t-...

Read More

[Book] ML Practice At MeiTuan

Introduction本文主要记录一下最近在看的一本书《美团机器学习实践》,这本书和我们所熟知的PRML/MLAPP/DL Book等不同的是,它非常偏实践,而非理论,所以可作为参考书使用。一千个读者会产生一千个哈姆雷特,对这本书的评价也看读者自己吧,个人给3.5/5 $\star$,模型层面上可能没有太大的新意,但是结合了美团的具体业务场景,所以还是推荐阅读。 问题建模评估指标分类指标$$Precision=\frac{TP}{TP+FP}$$ $$Recall=\frac{TP}{T...

Read More

[DL] Batch Normalization

IntroductionBatch Normalization是现如今主流深度学习模型必备组件。笔者认为,这是一个和ResNet里提出的skip connection一样对深度学习发展十分insightful的idea。本文旨在对BatchNorm进行一下系统的梳理与讲解。 Paper: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 训练Deep ...

Read More


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2023 LucasX All Rights Reserved.

UV : | PV :