数据词典：数据集成（Data Integration）

赵老师

数据处理常常涉及数据集成操作，即将来自多个数据源的数据，结合在一起形成一个统一的数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。

在数据集成过程中，需要考虑解决以下几个问题：

1．模式集成问题。也就是如何使来自多个数据源的现实世界的实体相互匹配，这其中就涉及实体识别问题。例如，如何确定一个数据库中的“user_id”与另一个数据库中的“user_number”是否表示同一实体。

2．冗余问题。这个问题是数据集成中经常发生的另一个问题。若一个属性可以从其他属性中推演出来，那么这个属性就是冗余属性。例如，一个学生数据表中的平均成绩属性就是冗余属性，因为它可以根据成绩属性计算出来。此外，属性命名的不一致也会导致集成后的数据集出现数据冗余问题。

3．数据值冲突检测与消除问题。在现实世界实体中，来自不同数据源的属性值或许不同。产生这种问题的原因可能是比例尺度或编码的差异等。例如，重量属性在一个系统中采用公制，而在另一个系统中却采用英制；价格属性在不同地点采用不同的货币单位。这些语义的差异为数据集成带来许多问题。

【出处】林子雨.大数据导论.人民邮电出版社,2020年9月第1版.