IntroductionAIGC 在各行业得到了广泛的应用，相应的算法改进也层出不穷。本文重点不在于梳理具体的生成式模型，而在于如何对 AIGC 模型效果进行合理、科学的评价。 MethodsInception Score Paper: A note on the inception scoreThis metric is motivated by demonstrating that it prefers models that generate realistic and varied...
[DL] Improving Robustness of Deep Learning Models
Background PyTorch 模型训练时的预处理环节与实车部署环节无法完全对齐，我们回灌 case 发现：PyTorch 模型表现正常，但 fp32 & fp16 的 trt 模型存在线弯折、左右甩等异常现象。模型对上游的一些 perturbation 过于敏感，希望在训练过程中增强鲁棒性。 不同初始化&训练方式对模型的 robustness、generality 有较大的影响，需要在训练过程中选择最优的训练方式。 MethodsAre All Layers Cr...
[LLM] Parameter Efficient Fine-tuning
Introduction大模型的训练通常包含两个阶段：self-supervised pre-training 来学习 general representation（近些年的趋势是堆大模型 + 自监督学习作为 Foundation Model），典型的代表性算法有 BERT、MAE、MoCo 系列以及 CLIP 为代表的多模态预训练大模型等supervised fine-tuning 在下游任务上进行适配SFT (Supervised Fine-tuning) 主要指的是第二部分，在模型参...
[DL] A Deeper Look At Faiss
IntroductionFaiss 是由 Facebook 开源的一款用于 ANN Search 的库，常用于大规模信息检索。其主要用到的算法如下： Faiss 的基础依赖 Faiss 与计算资源之间需要一个外部依赖框架，这个框架是一个矩阵计算框架，官方默认配置安装的是 OpenBlas，另外也可以用 Intel 的 MKL，相比于 OpenBlas 使用 MKL 作为框架进行编译可以提高一定的稳定性。 OpenMP：如果向量之间的相似性搜索是逐条进行的那计算效率会非常低，而Faiss内...
[DL] Knowledge Distillation
Introduction自 AlexNet 以来，Deep Learning 在许多领域取得了突破性的成果。理论上来说，模型的容量（即参数量）越大，性能越好，更能拟合海量数据的分布。与学术界一味追求在某个 benchmark 上刷分突破 SOTA 不同，AI 落地则非常关注能耗与移动端推理。轻量级模型设计与模型压缩也成为了近些年学术界与工业级关注的重心。常见的模型压缩方法有： Quantization: 即模型量化，训练时通常采用 FP32 精度，但部署时可降低精度至 FP16 甚至 I...
[DB] MongoDB
MongoDBIntroductionMongoDB是一种典型的NoSQL数据库，与常用的RDBMS（例如MySQL）相比，MongoDB没有显式的shema定义，因此数据结构非常灵活。MongoDB的基本数据结构为BSON，是一种类JSON的结构，下表展示了MongoDB与MySQL的对比： MongoDB MySQL db db collection table document record field attribute MongoDB GUI管理工...
[ML] Distributed Machine Learning
Distributed Machine Learning分布式机器学习框架分布式机器学习基本流程使用分布式机器学习（Distributed Machine Leaning, DML）的情形主要有： 计算量太大：可采取基于共享内存（或虚拟内存）的多线程或多机并行计算，即所有workload共享一块公共内存，并且数据和模型全部存储于这块共享内存中，我们不需要对模型和数据进行划分。这时，每个workload都有权访问数据，可以并行执行优化算法，此为Computation Parallel 训练...
[AI] AI in Production
AI in Production从AlexNet让深度神经网络重回视野，到AlphaGo被广为人知，AI得到了越来越多的关注。时间到了2020年，与前些年不少公司热衷于发paper、打比赛做PR不同，现在越来越看重AI落地。基于此背景，本文旨在记录AI在各行各业落地的一些行业解决方案、insightful Paper、以及笔者本人的一些思考，希望能给大家一些启发。 Geometry Supervised Pose Network for Accurate Retail Shelf Pose...