1.问题的根源

在许多机器学习任务中，特征并不总是连续值，而可能是分类值。

离散特征的编码分为两种情况：

1.离散特征的值之间没有意义，比如颜色：[红，蓝]，则使用one-hot编码

2.离散特征的值有大小含义，如size:[X,XL,XXL]，则使用数值映射{X:1,XL:2,XXL:3}

使用离散特征的one-hot编码是非常方便的。

import pandas as pd
df = pd.DataFrame([
            ['green', 'M', 10.1, 'class1'], 
            ['red', 'L', 13.5, 'class2'], 
            ['blue', 'XL', 15.3, 'class1']])
 
df.columns = ['color', 'size', 'prize', 'class label']
 
size_mapping = {
           'XL': 3,
           'L': 2,
           'M': 1}
df['size'] = df['size'].map(size_mapping)
 
class_mapping = {label:idx for idx,label in enumerate(set(df['class label']))}
df['class label'] = df['class label'].map(class_mapping)

例如，考虑以下三个特征：

["male", "female"]
["from Europe", "from US", "from Asia"]
["uses Firefox", "uses Chrome", "uses Safari", "uses Internet Explorer"]

如果将上述特征用数字来表示，效率会高很多。例如

["male", "from US", "uses Internet Explorer"] 表示为[0, 1, 3]
["female", "from Asia", "uses Chrome"]表示为[1, 2, 1]

然而，即使在转换为数值表示之后，上述数据也不能直接在我们的分类器中使用。 因为分类器往往默认的数据是连续的（可以计算距离吗？）和有序的（而且上面的0并不代表比1更高级）。 然而，根据我们上面的表示，数字不是有序的，而是随机分配的。

2. One-hot编码

为了解决上述问题，可能的解决方案之一是使用单热编码（One-Hot）。 One-hot编码即One-Hot编码，也称为一位有效编码。 其方法是用一个N位状态寄存器来编码N个状态。 每个状态都有自己独立的寄存器位，任何时候只有一个有效。

例如：

自然状态代码为：000,001,010,011,100,101

one-hot 编码是：,,,,,

可以理解为，对于每个特征，如果它有m个可能的取值，那么经过one-hot编码后，就变成了m个二值特征（比如等级的特征有好、中、差就变成了one-hot。 100 、010、001）。 此外，这些功能是互斥的，一次只有一个功能处于活动状态。 因此，数据变得稀疏。

这样做的主要好处是：

解决了分类器不能很好处理属性数据的问题

一定程度上也起到了扩展功能的作用

实现方法一：方法

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False)

该方法可以将分类变量转换为新的虚拟变量/指标变量。

常用参数

data : array-like, Series, or DataFrame 
输入的数据
prefix : string, list of strings, or dict of strings, default None 
get_dummies转换后，列名的前缀 
*columns : list-like, default None 
指定需要实现类别转换的列名
dummy_na : bool, default False 
增加一列表示空缺值，如果False就忽略空缺值
drop_first : bool, default False 
获得k中的k-1个类别值，去除第一个

1. 实验

实现方法二：

from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])    # fit来学习编码
enc.transform([[0, 1, 3]]).toarray()    # 进行编码

输出：数组([[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]])

数据矩阵为4*3，即4个数据和3个特征维度。

0 0 3 观察左侧的数据矩阵。 第一列是第一个特征维度，有两个值0\1。 所以对应的编码方式是10和01

1 1 0 同样，第二列是第二个特征维度。 0\1\2共有三个值，所以对应的编码方式为100、010、001。

0 2 1 同样，第三列是第三个特征维度，有四个值0\1\2\3，所以对应的编码方式为1000, 0100, 0010, 0001

1 0 2

我们来看一下要编码的参数[0,1,3]。 第一个特征 0 编码为 10，第二个特征 1 编码为 010，第三个特征 3 编码为 0001，因此编码结果为 1 0 0 1 0 0 0 0 1

3. 为什么采用one-hot编码？

如上所述，one-hot 编码（虚拟变量）是因为大多数算法都是基于向量空间中的度量来计算的。 为了使非偏序关系中的变量的值不具有偏序性，并且到圆上的点是等距的。 使用one-hot编码，将离散特征的值扩展到欧几里德空间，离散特征的某个值对应于欧几里德空间中的某个点。 对离散特征使用one-hot编码会让特征之间的距离计算更加合理。 离散特征经过one-hot编码后，实际上可以将编码后的特征视为每一维的连续特征。 就像连续特征的归一化方法一样，每个维度的特征都可以归一化。 例如，标准化为 [-1,1] 或标准化为平均值 0 和方差 1。

为什么特征向量需要映射到欧几里德空间？

之所以通过one-hot编码的方式将离散特征映射到欧氏空间，是因为在回归、分类、聚类等机器学习算法中，特征之间的距离或者相似度的计算非常重要，而我们常用的距离是或者相似度的计算全部在欧几里德空间中进行。 余弦相似度的计算基于欧几里德空间。

4. One-Hot 编码的优点和缺点 5. 什么情况下（不）应该使用 One-Hot 编码？ 6、什么情况下需要（不需要）正常化？7． 为什么one-hot编码可以解决分类数据的离散值问题

首先，one-hot 编码是 N 位状态寄存器对 N 个状态进行编码的方式

例如：高、中、低是不可分割的，→用三位数字0 0 0编码后，它们就变得可分割，成为独立的事件。

与SVM类似，原本线性不可分离的特征在达到高维度后变得可分离。

GBDT 在处理高维稀疏矩阵时效果不佳。 即使是低维稀疏矩阵也未必比 SVM 更好。

8. Tree Model不需要one-hot编码。

对于决策树来说，one-hot的本质就是增加树的深度

tree-model是一种类似于One-Hot+的机制，是动态生成的

一个特征或者多个特征最终会转化为叶子节点作为代码。 one-hot可以理解为三个独立的事件。 决策树没有特征大小的概念，只有特征位于其分布的哪一部分的概念。

one-hot可以解决线性可分问题，但不如label

one-hot 降维后的缺点：

降维前可以交叉的，降维后可能就变得不可交叉了。