[LLM] Parameter Efficient Fine-tuning

Introduction大模型的训练通常包含两个阶段:self-supervised pre-training 来学习 general representation(近些年的趋势是堆大模型 + 自监督学习作为 Foundation Model),典型的代表性算法有 BERT、MAE、MoCo 系列以及 CLIP 为代表的多模态预训练大模型等supervised fine-tuning 在下游任务上进行适配SFT (Supervised Fine-tuning) 主要指的是第二部分,在模型参...

Read More

[DL] A Deeper Look At Faiss

IntroductionFaiss 是由 Facebook 开源的一款用于 ANN Search 的库,常用于大规模信息检索。其主要用到的算法如下: Faiss 的基础依赖 Faiss 与计算资源之间需要一个外部依赖框架,这个框架是一个矩阵计算框架,官方默认配置安装的是 OpenBlas,另外也可以用 Intel 的 MKL,相比于 OpenBlas 使用 MKL 作为框架进行编译可以提高一定的稳定性。 OpenMP:如果向量之间的相似性搜索是逐条进行的那计算效率会非常低,而Faiss内...

Read More

[DL] Knowledge Distillation

Introduction自 AlexNet 以来,Deep Learning 在许多领域取得了突破性的成果。理论上来说,模型的容量(即参数量)越大,性能越好,更能拟合海量数据的分布。与学术界一味追求在某个 benchmark 上刷分突破 SOTA 不同,AI 落地则非常关注能耗与移动端推理。轻量级模型设计与模型压缩也成为了近些年学术界与工业级关注的重心。常见的模型压缩方法有: Quantization: 即模型量化,训练时通常采用 FP32 精度,但部署时可降低精度至 FP16 甚至 I...

Read More

[DB] MongoDB

MongoDBIntroductionMongoDB是一种典型的NoSQL数据库,与常用的RDBMS(例如MySQL)相比,MongoDB没有显式的shema定义,因此数据结构非常灵活。MongoDB的基本数据结构为BSON,是一种类JSON的结构,下表展示了MongoDB与MySQL的对比: MongoDB MySQL db db collection table document record field attribute MongoDB GUI管理工...

Read More

[DIP] LSD

Line Segmentation DetectionLSD算法是一个直线提取算法,在opencv 中也有封装,它的主要思想是通过求导得到灰度的梯度,因为灰度梯度的方向的垂直方向就是线条的方向,将有相同方向的向量用矩形圈起来,再将举行精细化,最后就可以得到的一条线段了。 首先,我们看下图,这里的图片首先根据梯度的垂线构造了一个level-line field,它把和梯度的垂直方向的线叫做level-line,所以这个field就是由这样的线组成的场。有了这个场,因为有直线的区域我们总能够找...

Read More

[DL] GAN

IntroductionGAN (Generative Adversarial Nets)是当前DL/CV方向的研究热门,在工业界也开始有一些比较成功的落地应用,例如TikTok上人脸卡通脸生成、变老特效等等。本文就来介绍一下GAN方向一些非常有代表性的paper。 GAN在GAN框架下,会同时训练一个generative model $G$(用来capture data distribution)和discriminative model $D$(用来判断sample来自于真实数据而非$...

Read More

[ML] Distributed Machine Learning

Distributed Machine Learning分布式机器学习框架分布式机器学习基本流程使用分布式机器学习(Distributed Machine Leaning, DML)的情形主要有: 计算量太大:可采取基于共享内存(或虚拟内存)的多线程或多机并行计算,即所有workload共享一块公共内存,并且数据和模型全部存储于这块共享内存中,我们不需要对模型和数据进行划分。这时,每个workload都有权访问数据,可以并行执行优化算法,此为Computation Parallel 训练...

Read More

[AI] AI in Production

AI in Production从AlexNet让深度神经网络重回视野,到AlphaGo被广为人知,AI得到了越来越多的关注。时间到了2020年,与前些年不少公司热衷于发paper、打比赛做PR不同,现在越来越看重AI落地。基于此背景,本文旨在记录AI在各行各业落地的一些行业解决方案、insightful Paper、以及笔者本人的一些思考,希望能给大家一些启发。 Geometry Supervised Pose Network for Accurate Retail Shelf Pose...

Read More

[Note] AI Industry

Introduction最近刷知乎,有看到这样一个问题“如何看待2021年秋招算法岗灰飞烟灭?”,虽然标题夸张,但确实反映了当前算法岗位内卷严重的真实情况。前面写了很多篇paper的阅读笔记,这篇就站在产业界的角度,来谈一谈AI在实际产业界的落地、商业模式以及对人才的要求吧。 What’s the Gap Between Academia and Industry?Emphasis在学术界,追求的普遍都是模型的创新与方法在某个数据集上的精度,因此常见的衡量标准就是Paper产出量以及Kag...

Read More

[DL] CNN

Introduction做Vision的同学们对Convolutional Neural Networks (CNN)一定不会陌生,可以毫不夸张的说,现如今绝大多数的视觉问题,都是由CNN驱动的。从LeNet到如今的ResNet、DenseNet、CliqueNet,CNN的结构发生了很大的变化。本文旨在记录CNN的基础构件。 Basic of CNNConvolution VALID:无论怎样都不使用zero padding,并且filter只允许访问那些图像中能够完全包含整个核的位置。...

Read More


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2023 LucasX All Rights Reserved.

UV : | PV :