独热编码(One-Hot Encoding),又称为一位有效编码,主要是采用位状态寄存器来对每个状态进行编码,每个状态都有他独立的寄存器位,并且在任意时候只有一位有效。

1. One-Hot编码介绍

独热编码是利用0和1表示一些参数,使用N位状态寄存器来对N个状态进行编码。


例如:参考数字手写体识别中,如数字字体识别0~9中,6的独热编码为0000001000

自然状态码为:000,001,010,011,100,101
独热编码为:000001,000010,000100,001000,010000,100000

有如下三个特征属性:
性别:["male","female"] ======》[1,0] 表示男,[0,1]表示女
地区:["Europe","US","Asia"]
浏览器:["Firefox","Chrome","Safari","Internet Explorer"]
对于某一个样本,如["male","US","Internet Explorer"],我们需要将这个分类值的特征数字化,最直接的方法,我们可以采用序列化的方式:[0,1,3],但是这样的特征处理并不能直接放入机器学习算法中

对于上述的问题,性别的属性是二维的,同理,地区是三维的,浏览器则是思维的,这样,我们可以采用One-Hot编码的方式对上述的样本“["male","US","Internet Explorer"]”编码,“male”则对应着[1,0],同理“US”对应着[0,1,0],“Internet Explorer”对应着[0,0,0,1]。则完整的特征数字化的结果为:[1,0,0,1,0,0,0,0,1]。这样导致的一个结果就是数据会变得非常的稀疏。

2. One-Hot编码优点

独热编码的优点为:
1)能够处理非连续型数值特征。
2)在一定程度上也扩充了特征。比如性别本身是一个特征,经过one-hot编码以后,就变成了男或女两个特征。

3. One-Hot编码示例

    from sklearn import preprocessing
     
    encoder = preprocessing.OneHotEncoder()
    # 4个特征:
     
    #第一个特征(即为第一列)为[0,1,2,1],其中三类特征值[0,1,2],因此One-Hot Code可将[0,1,2]表示为:[100,010,001]
    #第一个特征有三种值:采用三个编码:[100,010,001]
     
    #同理第二个特征列可将两类特征值[2,3]表示为[10,01]
     
    #第三个特征将4类特征值[1,2,4,5]表示为[1000,0100,0010,0001]
     
    #第四个特征将2类特征值[3,12]表示为[10,01]
     
    encoder.fit([
        [0, 2, 1, 12],
        [1, 3, 5, 3],
        [2, 3, 2, 12],
        [1, 2, 4, 3]
    ])
    encoded_vector = encoder.transform([[2, 3, 5, 3]]).toarray()
    print("\n Encoded vector =", encoded_vector)
    #[[0. 0. 1.    0. 1.      0. 0. 0. 1.     1. 0.]]