[AIGC] Evaluation

IntroductionAIGC 在各行业得到了广泛的应用,相应的算法改进也层出不穷。本文重点不在于梳理具体的生成式模型,而在于如何对 AIGC 模型效果进行合理、科学的评价。 MethodsInception Score Paper: A note on the inception scoreThis metric is motivated by demonstrating that it prefers models that generate realistic and varied...

Read More

[DL] Improving Robustness of Deep Learning Models

Background PyTorch 模型训练时的预处理环节与实车部署环节无法完全对齐,我们回灌 case 发现:PyTorch 模型表现正常,但 fp32 & fp16 的 trt 模型存在线弯折、左右甩等异常现象。模型对上游的一些 perturbation 过于敏感,希望在训练过程中增强鲁棒性。 不同初始化&训练方式对模型的 robustness、generality 有较大的影响,需要在训练过程中选择最优的训练方式。 MethodsAre All Layers Cr...

Read More

[LLM] Parameter Efficient Fine-tuning

Introduction大模型的训练通常包含两个阶段:self-supervised pre-training 来学习 general representation(近些年的趋势是堆大模型 + 自监督学习作为 Foundation Model),典型的代表性算法有 BERT、MAE、MoCo 系列以及 CLIP 为代表的多模态预训练大模型等supervised fine-tuning 在下游任务上进行适配SFT (Supervised Fine-tuning) 主要指的是第二部分,在模型参...

Read More

[DL] A Deeper Look At Faiss

IntroductionFaiss 是由 Facebook 开源的一款用于 ANN Search 的库,常用于大规模信息检索。其主要用到的算法如下: Faiss 的基础依赖 Faiss 与计算资源之间需要一个外部依赖框架,这个框架是一个矩阵计算框架,官方默认配置安装的是 OpenBlas,另外也可以用 Intel 的 MKL,相比于 OpenBlas 使用 MKL 作为框架进行编译可以提高一定的稳定性。 OpenMP:如果向量之间的相似性搜索是逐条进行的那计算效率会非常低,而Faiss内...

Read More

[DL] Knowledge Distillation

Introduction自 AlexNet 以来,Deep Learning 在许多领域取得了突破性的成果。理论上来说,模型的容量(即参数量)越大,性能越好,更能拟合海量数据的分布。与学术界一味追求在某个 benchmark 上刷分突破 SOTA 不同,AI 落地则非常关注能耗与移动端推理。轻量级模型设计与模型压缩也成为了近些年学术界与工业级关注的重心。常见的模型压缩方法有: Quantization: 即模型量化,训练时通常采用 FP32 精度,但部署时可降低精度至 FP16 甚至 I...

Read More

[DB] MongoDB

MongoDBIntroductionMongoDB是一种典型的NoSQL数据库,与常用的RDBMS(例如MySQL)相比,MongoDB没有显式的shema定义,因此数据结构非常灵活。MongoDB的基本数据结构为BSON,是一种类JSON的结构,下表展示了MongoDB与MySQL的对比: MongoDB MySQL db db collection table document record field attribute MongoDB GUI管理工...

Read More

[DIP] LSD

Line Segmentation DetectionLSD算法是一个直线提取算法,在opencv 中也有封装,它的主要思想是通过求导得到灰度的梯度,因为灰度梯度的方向的垂直方向就是线条的方向,将有相同方向的向量用矩形圈起来,再将举行精细化,最后就可以得到的一条线段了。 首先,我们看下图,这里的图片首先根据梯度的垂线构造了一个level-line field,它把和梯度的垂直方向的线叫做level-line,所以这个field就是由这样的线组成的场。有了这个场,因为有直线的区域我们总能够找...

Read More

[DL] GAN

IntroductionGAN (Generative Adversarial Nets)是当前DL/CV方向的研究热门,在工业界也开始有一些比较成功的落地应用,例如TikTok上人脸卡通脸生成、变老特效等等。本文就来介绍一下GAN方向一些非常有代表性的paper。 GAN在GAN框架下,会同时训练一个generative model $G$(用来capture data distribution)和discriminative model $D$(用来判断sample来自于真实数据而非$...

Read More

[ML] Distributed Machine Learning

Distributed Machine Learning分布式机器学习框架分布式机器学习基本流程使用分布式机器学习(Distributed Machine Leaning, DML)的情形主要有: 计算量太大:可采取基于共享内存(或虚拟内存)的多线程或多机并行计算,即所有workload共享一块公共内存,并且数据和模型全部存储于这块共享内存中,我们不需要对模型和数据进行划分。这时,每个workload都有权访问数据,可以并行执行优化算法,此为Computation Parallel 训练...

Read More

[AI] AI in Production

AI in Production从AlexNet让深度神经网络重回视野,到AlphaGo被广为人知,AI得到了越来越多的关注。时间到了2020年,与前些年不少公司热衷于发paper、打比赛做PR不同,现在越来越看重AI落地。基于此背景,本文旨在记录AI在各行各业落地的一些行业解决方案、insightful Paper、以及笔者本人的一些思考,希望能给大家一些启发。 Geometry Supervised Pose Network for Accurate Retail Shelf Pose...

Read More


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2024 LucasXU All Rights Reserved.

UV : | PV :