目录

业务背景

业务背景

业务系统中常有这样的需求:原始数据量非常巨大,如果基于原始数据生成报表,必然导致运算速度非常慢,因此需要过滤那些不符合要求的数据,并定期对原始数据进行初步汇总,汇总数据存入汇总数据库。然后再基于汇总数据库生成报表。由于汇总数据库的数据量大大减少,因此报表的生成速度非常快。

我们把过滤原始数据中不符合要求的数据,然后汇总放入汇总数据库的过程,称为数据的清洗和迁移。该过程可以用图表示如下:

 

数据清洗与迁移过程

利用润乾填报表提出的自由库表关联技术以及数据来去无关技术,可以很轻松地实现上述清洗过程。