分享好友 最新动态首页 最新动态分类 切换频道
阿里巴巴大数据之路——数据模型篇
2024-12-02 04:29
阿里巴巴大数据之路——数据模型篇 阿里巴巴

  1.什么是数据模型

    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。

  2.典型数据仓库建模方法论

    ER模型

    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表

   1.体系架构

    核心内容包括规范定义、模型设计等

     2.模型分层

      主要分为三大层(4小层:操作数据层(ODS,公共纬度模型层(CDM,应用数据层(ADS,其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS

      操作层数据ODS:贴源设计,几乎无处理地存放操作系统数据

              结构化数据增量或全量同步到MaxComputer

         非结构化数据(日志)结构化处理同步到MaxComputer

         累积并保存清洗数据

       公共纬度模型层:存放明细数据、维表数据以及公共指标汇总数据,比较多的采用纬度退化的手段,将纬度退化到事实表中,减少关联

          组合相关和相似数据,采用明细宽表,减少数据扫描

          公共指标统一加工,统一口径,建立逻辑汇总宽表

          建立一致性纬度

      应用数据层ADS:存放数据产品个性化的指标数据

          个性化指标加工,无公用性

          基于应用的数据组装,大宽表集市、横表转纵表...

      整个模型如下图所示

 

          

          //数据调用服务一般优先使用CDM层,然后ODS,ADS作为应用数据一般不对外提供服务

    3.基本原则

         高内聚低耦合:将业务相近的放在一起,将高概率使用的放一起,遵循软件设计开发的高内聚低耦合原则

      核心模型与拓展模型分离:核心模型只包含常用核心业务字段,保证核心模型的简洁性

      一致性:相同含义的字段在不同表中必须使用相同的命名,表名等命名必须清晰一致,见名知意

      ...

   4.实施工作流

    (1) 数据调研

      包含业务调研和需求调研

       (2) 架构设计

      数据域划分    

    【数据域设计】(就是给出数据的大分类,数据所属的域

 

 

 

      构建总线矩阵

    【总线结构】(就是列出纬度与主题,进行存在的纬度画✔

      后续包括规范定义、模型设计与总结

     规范定义

      命名规范统一:表名、字段名等规范统一

      字段类型统一:相同与相似字段类型统一

      公共代码与代码值统一:代码与标志性字段应统一

最新文章
EyouCms(易优企业建站系统) 官网版 v3.5.6
EyouCms(易优企业建站系统)官方版是一款十分受欢迎的企业内容管理软件。EyouCms(易优企业建站系统)最新版支持文章的「发布、删除、移动、复制、排序、推荐、置顶、隐藏、显示」操作。EyouCms(易优企业建站系统)官方版支持设置每篇文章的「
【技术】全站仪测量使用方法及坐标计算,一步一步讲解!
全站仪常规注意事项:在使用本仪器之前, 要把各种注意事项烂熟于心,务必检查并确认该仪器各项功能运行正常。1、不要将仪器直接对准太阳将仪器直接对准太阳会严重伤害眼睛。若仪器的物镜直接对准太阳, 也会损坏仪器。2、将仪器架设到脚架
宅家新姿势—威联通NAS安装套件版Emby搭建家庭影音服务器
创作立场声明:最近一直在折腾威联通的NAS,也折腾出了一些小心得,网上关于威联通系统的相关教程较少,所以新的一年,准备开一个新系列,写写威联通系统的介绍、配置技巧等,是分享也是记录。在阿文菌等各位大佬的影响下开始研究Emby这款
【原创】解锁社交媒体SEO:获取海量流量的密钥
  在当今数字化时代,社交媒体已成为人们日常生活的重要组成部分,同时也是企业和个人获取流量、提高品牌知名度的重要渠道。社交媒体SEO(搜索引擎优化)作为一种优化社交媒体平台的方法,旨在提高网站在搜索引擎和社交媒体上的排名和流量
AI文案创作神器:让你的营销更有感染力
在快节奏的互联网时代,营销信息的传递速度超乎想象,但要让你的内容在众多信息中脱颖而出,并非易事。一篇优秀的营销文案不仅仅要传达产品信息,更要打动人心,引发共鸣。而今,AI技术的崛起为文案创作注入了新的活力,句无忧——这款集违
如何有效利用百度购买关键词排名提升网站流量
青衣网络-www.ra0.cn:如何有效利用百度购买关键词排名提升网站流量目录:1. 理解百度关键词购买机制2. 确定目标关键词的策略3. 关键词竞价与优化技巧4. 监控和调整关键词表现5. 避免常见错误和陷阱6. 结语正文:理解百度关键词购买机制在
经验:百度收录规则与机制:运营专家分享亲身经历,提升收录率的秘诀
随着信息化时代的飞速发展,百度收录成为了每一位内容创作者难以避免的难题。本人身为一名具有丰富经验的运营专家,深谙百度收录规则与机制。今日在此,愿将亲身经历与众共享,期盼能为同业者带来有益的启示。百度收录的意义与现状首先要明
微信视频号链接地址怎么提取?4套方法都能用。
3. 点击链接中的保存视频按钮即可将视频保存到您的设备,或者直接提取视频号视频的链接。建议:选择在线视频下载器时,请确保选择合法可靠的网站,以避免安全风险。同时,在选择视频格式和质量时,根据您的需求考虑下载速度和存储空间。方
最新Q/W防洪跳转页面/微信小程序跳转到未备案域名
wwthyn.lanzoup.com/iJJ3f1hpcq2j使用教程: 1.上传插件网站根目录 2.打开khyy文件夹 修改index.php文件中的链接(url前面的0是跳转时间,可自行设置) echo 'html head     meta http-equiv="refre
相关文章
推荐文章
发表评论
0评