Introduction
本文主要记录一下最近在看的一本书《美团机器学习实践》，这本书和我们所熟知的PRML/MLAPP/DL Book等不同的是，它非常偏实践，而非理论，所以可作为参考书使用。一千个读者会产生一千个哈姆雷特，对这本书的评价也看读者自己吧，个人给3.5/5 $\star$，模型层面上可能没有太大的新意，但是结合了美团的具体业务场景，所以还是推荐阅读。
问题建模
评估指标
分类指标
$$
Precision=\frac{TP}{TP+FP}
$$
$$
Recall=\frac{TP}{TP+FN}
$$
$$
Accuracy=\frac{TP+TN}{TP+FP+FN+TN}
$$
$$
Error Rate=\frac{FP+FN}{TP+FP+FN+TN}
$$
ROC曲线的纵轴是TPR，横轴是FPR。
$$
TPR=\frac{TP}{TP+FN}
$$
$$
FPR=\frac{FP}{FP+TN}
$$
回归指标
- MAE
- Weighted MAE
$$
WMAE=\frac{1}{N}\cdot \sum_{i=1}^N w_i|y_i-p_i|
$$ - Mean Absolute Percentage Error (MAPE)
$$
MAPE=\frac{100}{N}\cdot \sum_{i=1}^N |\frac{y_i-p_i}{y_i}|, y_i\neq 0
$$MAPE通过计算绝对误差百分比来表示预测效果，其取值越小越好。若MAPE=10，说明预测值平均偏离真实值10%。
- RMSE
- Root Mean Squared Logarithmic Error (RMSLE)
$$
RMSLE=\sqrt{\frac{1}{N}\sum_{i=1}^N (log(y_i+1)-log(p_i+1))^2}
$$RMSLE对预测值偏小的样本惩罚比对预测值偏大的样本惩罚更大。若评价指标采用RMSLE，没法直接优化RMSLE，所以通常会先对预测目标进行对数变换$y_{new}=log(y+1)$，最后预测值再还原为 $p=exp(p_{new})-1$
排序指标
Mean Average Precision (MAP)
$$
AP@K=\frac{\sum_{k=1}^{min(M,K)}P(k)\cdot rel(k)}{min(M,K)}
$$
$$
P(i)=\frac{前i个结果中相关文档数量}{i}
$$其中，$AP@K$ 代表计算前 $K$ 个结果的平均准确率；$M$ 代表每次排序的文档总数，可能一次返回文档数不足 $K$ 个；$P(k)$ 表示前$K$ 个结果是否是相关文档，相关取1，不相关取0。
$$
MAP@K=\sum_{q=1}^Q \frac{AP_q@K}{Q}
$$
其中$Q$ 为查询数量，$AP_q@K$ 为第$q$ 次查询的 $AP@K$ 结果。Normalized Discounted Cumulative Gain (NDCG)
$$
DCG@K=\sum_{k=1}^K \frac{2^{rel_k}-1}{log_2(k+1)}
$$$$
IDCG@K=\sum_{k=1}^{|REL|}\frac{2^{rel_k}-1}{log_2(K+1)}
$$$$
NDCG@K=\frac{DCG@K}{IDCG_K}
$$
其中，$NDCG@K$ 表示计算前$K$ 个结果的NDCG，$rel_k$ 表示第$k$ 个位置的相关性得分，$IDCG@K$ 是前$K$ 个排序返回结果能得到的最佳排序结果，用于归一化$DCG@K$，$|REL|$为结果集按相关性排序后的相关性得分列表。
Model Ensemble
理论分析
模型多样性度量
假设binary classification分类结果如下：
| $h_i=1$ | $h_i=0$ |
| :—: | :—: | :—: |
| $h_j=1$ | a | c |
| $h_j=0$ | b | d |
不一致度量
$$
dis_{i,j}=\frac{b+c}{m}
$$相关系数
$$
\rho_{ij}=\frac{ad-bc}{\sqrt{(a+b)(a+c)(c+d)(b+d)}}
$$Q统计
$$
Q_{ij}=\frac{ad-bc}{ad+bc}
$$K统计
$$
K=\frac{p_1-p_2}{1-p_2}
$$$$
p_1=\frac{a+d}{m}
$$$$
p_2=\frac{(a+b)(a+c) + (c+d)(b+d)}{m^2}
$$双次失败度量
$$
df_{ij}=\frac{\sum_{k=1}^m \prod (h_i(x_k)\neq y_k \bigwedge h_j(x_k)\neq y_k)}{m}
$$KW 差异
$$
KW=\frac{1}{mT^2}\sum_{k=1}^m l(x_k)(T-l(x_k))
$$k 度量
$$
k=1-\frac{1}{(T-1)\bar{p}(1-\bar{p})}KW
$$$$
\bar{p}=\frac{1}{mT}\sum_{i=1}^T \sum_{k=1}^m \prod (h_i(x_k)=y_k)
$$熵度量
$$
Ent_{cc}=\frac{1}{m}\sum_{k=1}^m \sum_{y\in \{-1, 1\}} -P(y|x_k)log P(y|x_k)
$$$$
P(y|x_k)=\frac{1}{T}\sum_{i=1}^T \prod (h_i(x_k)=y_k)
$$
Feature Engineering
当获取到一批数据后，可以先做探索性数据分析，即可视化/统计分析基础统计量，来探索数据内部的规律。
对那些目标变量为输入特征的光滑函数模型，例如Linear Regression/Logistic Regression，其对输入特征的大小很敏感，因此需要做归一化。而那些Tree-based model，如Random Forest/GBDT等，其对输入特征的大小不敏感，因此不需要归一化。
对于数值特征，通常有如下处理方法：
- 截断
- 二值化
- bin
- scale
- 缺失值处理
- 对于缺失值，填充mean
- 对于异常值，填充median
- XGBoost可以自动处理缺失feature
- 特征交叉：即让特征直接进行四则运算来获取新的特征(例如$area=width\times height$)，特征交叉可以在linear model中引入非线性性质，从而提升模型的表达能力
- 非线性编码：t-SNE，局部线性embedding，谱embedding
- 行统计量：mean/median/mode/maximum/minimum/偏度/峰度
对于类别特征，通常有如下处理方法：
- 自然数编码
- one-hot encoding
- 分层编码
- 散列编码
- 计数编码：将类别特征用其对应的计数来代替
- 计数排名编码
Filter
- Coverage：计算每个特征的coverage(特征在training set中出现的比例)，若feature的coverage很小，则此coverage对模型的预测作用不大，可以剔除。
Pearson Correlation：计算两个变量$X$和$Y$直接的相关性：
$$
\rho_{X,Y}=\frac{cov(X,Y)}{\alpha_X \alpha_Y}=\frac{E[(X-\mu_X)(Y-\mu_Y)]}{\alpha_X \alpha_Y}
$$$$
r=\frac{\sum_{i=1}^n (X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{\sum_{i=1}^n (X_i-\bar{X})^2} \sqrt{\sum_{i=1}^n (Y_i-\bar{Y})^2}}
$$- Fisher score：对于分类问题，好的feature应该是在同一个category中的取值比较类似，而在不同category之间的取值差异比较大。
$$
S_i=\frac{\sum_{j=1}^K n_j(\mu_{ij}-\mu_i)^2}{\sum_{j=1}^K n_j \rho_{ij}^2}
$$
其中，$\mu_{ij}$和$\rho_{ij}$分别为特征$i$在类别$j$中的mean和variance。Fisher score越高，特征在不同类别直接的差异性越大，在同一类别中的差异性越小，则该特征越重要。 - 假设检验：$\chi^2$统计量越大，特征相关性越高。
- Mutual Information：MI越大表明两个变量相关性越高。
$$
MI(X,Y)=\sum_{y\in Y}\sum_{x\in X}p(x,y)log(\frac{p(x,y)}{p(x)p(y)})=D_{KL}(p(x,y)||p(x)p(y))
$$ - 最小冗余最大相关性(mRMR)：由于单变量filter方法只考虑了单特征变量和目标变量之间的相关性，因此选择的特征子集可能过于冗余。mRMR在进行feature selection时考虑了feature之间的冗余性，对跟已选择feature的相关性较高的冗余feature进行惩罚。
- 相关特征选择(CFS)：好的feature set包含跟目标变量非常相关的feature，但这些feature之间彼此不相关，对于包含$k$个feature的集合，CFS定义如下：
$$
CFS=\mathop{max} \limits_{S_k}[\frac{r_{cf_1} + r_{cf_2} + \cdots + r_{cf_k}}{\sqrt{k + 2(r_{f_1f_2} + \cdots + r_{f_if_j} + \cdots + r_{f_kf_l})}}]
$$
Bagging
Bagging直接使用ML算法评估特征子集的效果，它可以检测出两个或多个feature之间的交互关系，而且选择的特征子集让模型的效果达到最优。Bagging是特征子集搜索 + 评估指标 相结合的方法，前者提供候选的新特征子集，后者则基于新特征子集训练一个模型，并用validation set进行评估，为每一组特征子集进行打分，然后选择最优的特征子集。
- 完全搜索
- 启发式搜索(greed search)：feedforwad search/backward search/feedforwad + backward search
- 随机搜索
Embedding
即与具体的ML算法结合。
- LASSO：L1 Regularization可一定程度上做feature selection
- Decision Tree
- SVM
- Random Forest
- GBDT