原创2024-12-05小艾老师

CDMP认证是目前全球认可的数据管理方面专业认证证书。它评估个人在数据管理领域的知识和技能，包括数据治理、数据质量、数据架构、数据安全等方面的能力。获得CDMP认证可以证明持证人具备专业的数据管理知识和能力。

很多刚入门的数据分析员，还有做业务、做项目的人，拿到数据后_反应就是赶紧开始分析。但忙活一阵后，才发现浪费了好多时间和精力，结果还可能是错的。为啥会这样呢？根源通常是没重视数据质量的评估。

要是数据质量不行，分析结果就没法给业务帮上忙，还可能让决策出错，影响业务方向和成果。所以啊，做数据分析之前，一定得把数据质量评估做好。

1、评估数据质量的6个维度

国际数据管理协会（DAMA）提出了一套数据质量衡量标准，分成六大维度，能从不同的角度全面评估数据的质量。

准确性：数据是否正确无误，没有错误。数据准确性也叫可靠性，是用于分析和识别哪些是不准确的或无效的数据，不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和错误的决策。
合规性：数据是否符合既定的标准和规则。数据合规性也叫有效性，即对于数据的值、格式要求符合数据定义或业务定义的规范要求。无效的数据会导致错误的决策。
完整性：数据是否完整，没有缺失。数据缺失或不完整可能会导致分析结果的偏差，影响决策的质量。
及时性：数据是否能够及时更新和传递。数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。
一致性：数据在不同地方是否保持一致。如果数据不一致，在数据分析时就会产生混淆。
_性：数据中是否有重复的记录。重复冗余的数据情况，会导致业务无法协调，流程无法追溯。

2、数据质量分析：注意4种“脏数据”

数据质量分析主要就是检查数据中是否存在“脏数据”，即不符合要求且不能直接进行分析的数据。“脏数据”主要有四种，包括缺省值、异常值、不一致的值、重复数据以及含有特殊符号的数据。

3、数据清洗：如何处理“脏数据”？

数据清洗是一个反复的过程，不可能一下子就完成了，只有不断的发现问题，解决问题。数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。

数据清洗，主要分为五个类别：

格式内容清洗
- 解决格式和内容不一致的问题，如：
  - 时间、日期格式不一致
  - 数值格式不一致
  - 企业单位格式不一致
  - 内部字段不符号业务需求
  - 内容字段与库内存储格式不符
  - 数据类型不规范
异常值清洗
- 异常值检测方法：
  - 基于统计分析（如3σ准则、箱型图分析）
  - 基于机器学习（如基于中位数、基于方差、基于邻近值、基于聚类）
  - 基于领域的异常值处理
- 异常值处理方法：
  - 分箱、回归、删除记录
  - 数据转换
  - 异常数据分布映射
逻辑错误清洗
- 数据逻辑异常清洗
- 不合理值清洗
- 矛盾内容修正
缺失值清洗
- 造成缺失值的原因
- 缺失数据处理方法：
  - 不处理、人工填充、特殊值填充、统计值填充（如均值、中位数）、模型预测填充、插值填充、删除缺失值等
非需求数据清洗
- 不符合业务需求的数据