数据预处理说明(操作分析)

王 茂南
王 茂南
王 茂南
2820
文章
75
评论
2019年4月27日07:30:05
评论 5276字阅读17分35秒
摘要这一篇会记录一下数据预处理的方式，即将离散的值进行one-hot编码，同时最后输出为X_train, Y_train, X_test, Y_test这四个文件。

简介

这一篇会介绍数据预处理的方式，即进行如下的操作：

  • 对于离散的数据 : 使用one-hot表示;
  • 对于连续的数据 : 则不进行改变;
  • 最后输出为X_train, Y_train, X_test, Y_test这四个文件;

数据处理

数据读取

这一步，我们导入数据，同时记录train和test数据的长度。

  1. # read raw data
  2. dfDataTrain = pd.read_csv("./data/train.csv")
  3. dfDataTest = pd.read_csv("./data/test.csv")
  5. # show Training Size and Testing Size
  6. intTrainSize = len(dfDataTrain)
  7. intTestSize = len(dfDataTest)

数据的样式大致如下（好像压缩了有点不清楚了，不过没事），就是数据中包含离散的数据。

数据预处理说明(操作分析)

处理labels标签

因为是做分类任务，原始的label是使用文字来描述的，我们先将其变为0或是1.

  1. # processing Training Label (Y)
  2. dfDataTrainY = dfDataTrain["income"]
  3. dfTrainY = pd.DataFrame((dfDataTrainY==" >50K").astype("int64"), columns=["income"]) # >50K 1, =<50K 0

处理之前的样子：

数据预处理说明(操作分析)

处理之后的样子

数据预处理说明(操作分析)

我们需要将income这一列在训练集中去除;

  1. dfDataTrain = dfDataTrain.drop(["income"], axis=1)

离散数据one-hot编码

  1. # 训练集和测试集的数据合并
  2. dfAllData = pd.concat([dfDataTrain, dfDataTest], axis=0, ignore_index=True)
  4. # 找出离散变量
  5. listObjectColumnName = [col for col in dfAllDataX.columns if dfAllDataX[col].dtypes=="object"] # 找到连续值得变量
  6. listNonObjectColumnName = [col for col in dfAllDataX.columns if dfAllDataX[col].dtypes!="object"] # 找到离散值得变量
数据预处理说明(操作分析)

接着我们重构数据集即可，即将连续变量放在前面，离散的使用one-hot编码后接在后面。

  1. # 连续变量
  2. dfNonObjectData = dfAllDataX[listNonObjectColumnName]
  4. # 离散变量
  5. dfObjectData = dfAllDataX[listObjectColumnName]
  6. dfObjectData = pd.get_dummies(dfObjectData) # 对离散变量使用one-hot编码
  8. # 合并连续变量与离散变量
  9. dfAllDataX = dfNonObjectData.join(dfObjectData)

最后的dfAllDataX就是最后需要的。

离散数据转为标号

上面是介绍了离散数据如何转换为one-hot的编码，有的时候我们不需要转为one-hot，只需要转为标号就可以了，于是我们可以使用下面的方式进行转换。

  1. dfObjectData = dfDataX[listObjectColumnName] # 这个是离散变量的值
  2. dfObjectData = dfObjectData.astype('category') # 对离散变量变成编号
  3. for i in dfObjectData.columns:
  4.     dfObjectData[i] = dfObjectData[i].cat.codes
  6. dfDataX = dfNonObjectData.join(dfObjectData) # 合并

总体的思路是和上面转one-hot的方式是一样的，也是先把离散变量拆出来，不过上面是转为one-hot，这里是转为标号，接着把数据合并即可。

 训练集,测试机分割与数据保存

  1. # 切分训练集和预测集
  2. dfTrainX = dfAllDataX[0:intTrainSize]
  3. dfTestX = dfAllDataX[intTrainSize:(intTrainSize + intTestSize)]
  5. # 数据的保存
  6. dfTrainX.to_csv("./ProcessData/X_train_my.csv", index=False)
  7. dfTestX.to_csv("./ProcessData/X_test_my.csv", index=False)
  8. dfTrainY.to_csv("./ProcessData/Y_train_my.csv", index=False)
  9. dfTestY.to_csv("./ProcessData/Y_test_my.csv", index=False)

总体代码

下面是KDD99预处理的代码，放一个总体的代码在这里，方便查看。

  1. # KDD99数据得预处理
  2. # - discrete(离散)变量使用one-hot表示
  3. # - continuous(连续)变量仍然保留
  5. import csv, os
  6. import numpy as np
  7. import pandas as pd
  9. COL_NAMES = ["duration", "protocol_type", "service", "flag", "src_bytes",
  10.              "dst_bytes", "land", "wrong_fragment", "urgent", "hot", "num_failed_logins",
  11.              "logged_in", "num_compromised", "root_shell", "su_attempted", "num_root",
  12.              "num_file_creations", "num_shells", "num_access_files", "num_outbound_cmds",
  13.              "is_host_login", "is_guest_login", "count", "srv_count", "serror_rate",
  14.              "srv_serror_rate", "rerror_rate", "srv_rerror_rate", "same_srv_rate",
  15.              "diff_srv_rate", "srv_diff_host_rate", "dst_host_count", "dst_host_srv_count",
  16.              "dst_host_same_srv_rate", "dst_host_diff_srv_rate", "dst_host_same_src_port_rate",
  17.              "dst_host_srv_diff_host_rate", "dst_host_serror_rate", "dst_host_srv_serror_rate",
  18.              "dst_host_rerror_rate", "dst_host_srv_rerror_rate", "labels"] # 共42个维度
  20. def makeDataProcessing(dfData):
  21.     dfDataX = dfData
  23.     listObjectColumnName = [col for col in dfDataX.columns if dfDataX[col].dtypes=="object"]
  24.     print("离散变量名称:{}".format(listObjectColumnName))
  25.     listNonObjectColumnName = [col for col in dfDataX.columns if dfDataX[col].dtypes!="object"]
  26.     print("连续变量名称:{}".format(listNonObjectColumnName))
  28.     dfNonObjectData = dfDataX[listNonObjectColumnName] # 这个是连续变量的值
  30.     dfObjectData = dfDataX[listObjectColumnName] # 这个是离散变量的值
  31.     dfObjectData = pd.get_dummies(dfObjectData) # 对离散变量做one-hot编码
  33.     dfDataX = dfNonObjectData.join(dfObjectData) # 合并
  34.     # dfDataX = dfDataX.astype("int64")
  35.     return dfDataX
  37. if __name__ == "__main__":
  39.     # the filename
  40.     Trainfilepath = './NSL-KDD/KDDTrain+_20Percent.txt'
  41.     Testfilepath = './NSL-KDD/KDDTest-21.txt'
  43.     # read raw data
  44.     dfDataTrain = pd.read_csv(Trainfilepath, names=COL_NAMES, index_col=False)
  45.     dfDataTest = pd.read_csv(Testfilepath, names=COL_NAMES, index_col=False)
  47.     # show Training Size and Testing Size
  48.     intTrainSize = len(dfDataTrain)
  49.     intTestSize = len(dfDataTest)
  51.     # processing Training Label (Y)
  52.     dfDataTrainY = dfDataTrain["labels"]
  53.     dfDataTestY = dfDataTest["labels"]
  54.     dfTrainY = pd.DataFrame((dfDataTrainY=="normal").astype("int64"), columns=["labels"]) # normal 1, anomaly 0
  55.     dfTestY = pd.DataFrame((dfDataTestY=="normal").astype("int64"), columns=["labels"]) # normal 1, anomaly 0
  57.     # processing Training and Testing data (X)=>对离散的变量做one-hot
  58.     dfDataTrain = dfDataTrain.drop(["labels"], axis=1)
  59.     dfDataTest = dfDataTest.drop(["labels"], axis=1)
  60.     dfAllData = pd.concat([dfDataTrain, dfDataTest], axis=0, ignore_index=True)
  61.     dfAllData = makeDataProcessing(dfData=dfAllData)
  63.     # sperate All data to Training and Testing
  64.     dfTrainX = dfAllData[0:intTrainSize]
  65.     dfTestX = dfAllData[intTrainSize:(intTrainSize + intTestSize)]
  67.     # save Training data, Testing data and Training label
  68.     dfTrainX.to_csv("./ProcessData/X_train_my.csv", index=False)
  69.     dfTestX.to_csv("./ProcessData/X_test_my.csv", index=False)
  70.     dfTrainY.to_csv("./ProcessData/Y_train_my.csv", index=False)
  71.     dfTestY.to_csv("./ProcessData/Y_test_my.csv", index=False)

参考资料

数据预处理说明(操作分析)

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南
  • 本文由 发表于 2019年4月27日07:30:05
  • 转载请务必保留本文链接：https://mathpretty.com/10346.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: