[DL] Knowledge Distillation

Introduction自 AlexNet 以来,Deep Learning 在许多领域取得了突破性的成果。理论上来说,模型的容量(即参数量)越大,性能越好,更能拟合海量数据的分布。与学术界一味追求在某个 benchmark 上刷分突破 SOTA 不同,AI 落地则非常关注能耗与移动端推理。轻量级模型设计与模型压缩也成为了近些年学术界与工业级关注的重心。常见的模型压缩方法有: Quantization: 即模型量化,训练时通常采用 FP32 精度,但部署时可降低精度至 FP16 甚至 I...

Read More

[DB] MongoDB

MongoDBIntroductionMongoDB是一种典型的NoSQL数据库,与常用的RDBMS(例如MySQL)相比,MongoDB没有显式的shema定义,因此数据结构非常灵活。MongoDB的基本数据结构为BSON,是一种类JSON的结构,下表展示了MongoDB与MySQL的对比: MongoDB MySQL db db collection table document record field attribute MongoDB GUI管理工...

Read More

[DIP] LSD

Line Segmentation DetectionLSD算法是一个直线提取算法,在opencv 中也有封装,它的主要思想是通过求导得到灰度的梯度,因为灰度梯度的方向的垂直方向就是线条的方向,将有相同方向的向量用矩形圈起来,再将举行精细化,最后就可以得到的一条线段了。 首先,我们看下图,这里的图片首先根据梯度的垂线构造了一个level-line field,它把和梯度的垂直方向的线叫做level-line,所以这个field就是由这样的线组成的场。有了这个场,因为有直线的区域我们总能够找...

Read More

[DL] GAN

IntroductionGAN (Generative Adversarial Nets)是当前DL/CV方向的研究热门,在工业界也开始有一些比较成功的落地应用,例如TikTok上人脸卡通脸生成、变老特效等等。本文就来介绍一下GAN方向一些非常有代表性的paper。 GAN在GAN框架下,会同时训练一个generative model $G$(用来capture data distribution)和discriminative model $D$(用来判断sample来自于真实数据而非$...

Read More

[ML] Distributed Machine Learning

Distributed Machine Learning分布式机器学习框架分布式机器学习基本流程使用分布式机器学习(Distributed Machine Leaning, DML)的情形主要有: 计算量太大:可采取基于共享内存(或虚拟内存)的多线程或多机并行计算,即所有workload共享一块公共内存,并且数据和模型全部存储于这块共享内存中,我们不需要对模型和数据进行划分。这时,每个workload都有权访问数据,可以并行执行优化算法,此为Computation Parallel 训练...

Read More

[AI] AI in Production

AI in Production从AlexNet让深度神经网络重回视野,到AlphaGo被广为人知,AI得到了越来越多的关注。时间到了2020年,与前些年不少公司热衷于发paper、打比赛做PR不同,现在越来越看重AI落地。基于此背景,本文旨在记录AI在各行各业落地的一些行业解决方案、insightful Paper、以及笔者本人的一些思考,希望能给大家一些启发。 Geometry Supervised Pose Network for Accurate Retail Shelf Pose...

Read More

[Note] AI Industry

Introduction最近刷知乎,有看到这样一个问题“如何看待2021年秋招算法岗灰飞烟灭?”,虽然标题夸张,但确实反映了当前算法岗位内卷严重的真实情况。前面写了很多篇paper的阅读笔记,这篇就站在产业界的角度,来谈一谈AI在实际产业界的落地、商业模式以及对人才的要求吧。 What’s the Gap Between Academia and Industry?Emphasis在学术界,追求的普遍都是模型的创新与方法在某个数据集上的精度,因此常见的衡量标准就是Paper产出量以及Kag...

Read More

[DL] CNN

Introduction做Vision的同学们对Convolutional Neural Networks (CNN)一定不会陌生,可以毫不夸张的说,现如今绝大多数的视觉问题,都是由CNN驱动的。从LeNet到如今的ResNet、DenseNet、CliqueNet,CNN的结构发生了很大的变化。本文旨在记录CNN的基础构件。 Basic of CNNConvolution VALID:无论怎样都不使用zero padding,并且filter只允许访问那些图像中能够完全包含整个核的位置。...

Read More

[CV] Re-identification

IntroductionReID可以看作是Visual Search的一个specific task,也在工业界有着非常广泛的应用场景。本文主要记录一些ReID领域比较insightful的paper。按照惯例,介绍某个新领域之前,首先得需要了解该领域的benchmark datasets以及performance evaluation metric。在ReID领域,主要有CMC、mAP和rank1 Accuracy作为evaluation metric。 CMCThe CMC curv...

Read More

[CV] Classification

IntroductionVisual Classification是CV领域最最重要的fundamental task,没有之一,并且是其他task (例如RCNN-based detection)的基础。关于分类,现如今主流方法是设计更加精巧的网络结构(请参阅DL-Architecture),或直接NAS搜一个,或设计更有效的Loss Function辅助model learning(请参阅ML-Loss Function)。尽管已经发展很成熟,但在实际应用场景中,依然会碰到许多非常ch...

Read More


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2021 LucasX All Rights Reserved.

UV : | PV :