12.10 数据预处理

进行恰当的数据预处理（亦称数据校正）对于化学计量学分析而言具有重要的意义，通过标准化、变换、提取及保留有效数据，同时清除冗余及无关信息，从而可获得理想的分析结果。相反如果使用不当也可能导致错误的解析结果。

需要进行数据预处理通常包括以下情况：

• 消除各样本在自变量强度及范围上差异，使得数据具有标准的变化幅度或范围，同时保留自变量的相对比值信息。这类处理方法可一并视为标准化或称归一化方法（Normalization）。

  从化学分类学角度而言，复杂体系样本个体所携带的化合物组成种类和构成比例信息，通常要比单纯的化合物含量信息更稳定、也对分类更有价值。由于生物样品的个体差异，经常同一分组的组内样本的含量波动在绝对值上要超过组间样品在比例上差异，此时无论使用原始的定性或定量数据，都会对正确区分组间和组内样品带来较大的干扰，如图12-8所示。


注：上图显示中药材北柴胡（Bupleurum chinense DC.）中皂苷类成分指纹图谱的原始图谱，显示组内差异较大。下图示意经过针对观测的数据归一化变换后，突出了该类样本共有特征的模式图谱。
• 数据预处理即可针对样本（亦称观测，即原始数据矩阵的行）进行，也可针对变量（即原始数据矩阵的列）进行（图12-9）。由上节可知，对于自变量矩阵一般应采用针对观测的数据预处理方式。而对于因变量矩阵，则更多地采用针对变量的数据预处理方式，以消除各因变量在测量尺度上的差异，从而便于回归建模。
• 对数据进行变换，以使自变量或因变量符合线性相关，或使样本符合正态分布。虽然许多多变量分析方法如聚类分析是非参数的（不要求假设数据服从正态分布），但仍有相当多的理由要对数据进行变换使之更接近正态分布。以生物学上受酶促代谢动力学影响的指标为例，如血药浓度-时间曲线，次生代谢或病理代谢产物浓度水平分布等，一般经过对数转换后可更有利于解释和刻画变量间的关系（图12-10）。这一类常见的变换包括对数及开方转换等。

注：铁陨石的性质由各类定性、定量指标所描述，显示各指标的类型和计量范围差异极大，在分类前需要针对变量进行数据预处理。

亚型	镍 (wt.%)	钴 (mg/g)	镓 (μg/g)	硅酸盐	代表 晶型
IAB	9.50	4.9	63.6	+	八面体
IIAB	5.65	4.6	58.63	-	六面体
IIIAB	8.33	5.1	19.79	-	八面体
IVA	8.51	4.0	2.14	-	八面体
IVB	17.13	7.6	0.23	-	无结构


上图：中药材北柴胡（B. chinense DC.）中各样本的柴胡皂苷a峰面积在经过对数转换后与正态分布符合良好；下图：经对数转换的不同剂量标准促肾上腺皮质激素释放因子（CRF）与其刺激离体大鼠垂体前叶合成的肾上腺皮质激素（ATCH）的量之间呈良好的线性关系。
• 对数据进行预处理或降维压缩，以满足算法的计算要求，或提高运算速度。如支持向量机（SVM）的数据必须经过预处理化为单位长度，在NIR等解决方案中应用自组织映射聚类（SOM）人工神经网络前首先进行数据压缩，可使网络训练速度提高1-2个数量级，等等。
• 消除样品数据中的奇异点或称离群值。与总体偏离较高的样品离群值虽然数目相对较少，但可能会对分析结果带来较大的干扰。因此需要在分析过程中加以甄别并剔除。

针对不同应用领域的各自特点，数据预处理技术发展出了众多算法，标度化（Scaling）和中心化（Centering）是其中的代表（图12-11）。

图中每列代表不同自变量及其测度范围，横线代表对应均值

关于各类数据预处理方法在ChemPattern完整的化学计量学数据处理流程中的应用，可参考11.11分析数据准备。