1、缓慢变化维简介
- 缓慢变化维，简称SCD（Slowly Changing Dimensions）
- 一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，事实表数据变化的速度比维度表快）
- 这种随着时间发生变化的维度称之为缓慢变化维
- 把处理维度表数据历史变化的问题，称为缓慢变化维问题，简称SCD问题
以下为解决缓慢变化维问题的几种办法：
- 保留原始值
- 改写属性值
- 增加维度新行
- 增加维度新列
- 添加历史表
SCD解决方案 - 保留原始值
某一个属性值绝不会变化。事实表始终按照该原始值进行分组。例如：
- 出生日期的数据，始终按照用户第一次填写的数据为准
- 用户的地址，产品的描述信息，品牌信息等等;
2.需要查看某一个时间点或者时间段的历史快照信息，例如：
- 查看某一个产品在历史某一时间点的状态
- 查看某一个用户在过去某一段时间内，更新过几次等等
3.变化的比例和频率不是很大，例如：
- 总共有1000万的会员，每天新增和发生变化的有10万左右
方案一：快照每一天的数据到数仓
该方案为：
- 每一天都保存一份全量，将所有数据同步到数仓中
- 很多记录都是重复保存，没有任何变化
方案一：MySQL到Hive数仓代码实现
MySQL&Hive初始化
- 1、在MySQL demo库中 创建表
- 2、在Hive中 demo库创建表
增量导入12月20日数据
- 1、MySQL数据库导入12月20日数据（4条数据）