电商数仓导航

文章
GitHub
集群服务器规划
数据来源
仓库分层规划

文章

用户行为采集平台概述 : https://blog.csdn.net/qq_44226094/article/details/123170914
用户行为采集平台搭建 : https://blog.csdn.net/qq_44226094/article/details/122915599
业务数据采集平台概述 : https://blog.csdn.net/qq_44226094/article/details/122993834
业务数据采集平台搭建 : https://blog.csdn.net/qq_44226094/article/details/123171150
电商数据仓库系统 : https://blog.csdn.net/qq_44226094/article/details/123013113
数据仓库环境准备 : https://blog.csdn.net/qq_44226094/article/details/123464218
数仓开发之ODS层 : https://blog.csdn.net/qq_44226094/article/details/123013143
数仓开发之 DIM 层 : https://blog.csdn.net/qq_44226094/article/details/123474962
数仓开发之 DWD 层 : https://blog.csdn.net/qq_44226094/article/details/123474986
数仓开发之DWS层 : https://blog.csdn.net/qq_44226094/article/details/123475019
数仓开发之ADS层 : https://blog.csdn.net/qq_44226094/article/details/123475030
数仓报表导出 : https://blog.csdn.net/qq_44226094/article/details/123013149
DolphinScheduler 工作流调度 :
Superset : https://blog.csdn.net/qq_44226094/article/details/123057730
Kylin 即席查询 : https://blog.csdn.net/qq_44226094/article/details/123110637
Presto 即席查询 : https://blog.csdn.net/qq_44226094/article/details/123058328
Zabbix 监控 : https://blog.csdn.net/qq_44226094/article/details/123121858
Kerberos 用户认证 :
安全环境验证 :
Ranger 权限管理 :
Atlas 元数据管理 :
数据质量管理 :

GitHub SQL 和脚本都统一上传 GitHub
【电商数仓导航】GitHub : https://github.com/CPU-Code
集群服务器规划功能服务名称子服务cpu101cpu102cpu103配置8核 32G8核 32G8核 32GJava环境JDK8√√√脚本Shell√√√脚本Python√√√HA选举ZookeeperZookeeper Server√√√存储HDFSNameNode√√√DataNode√√√JournalNode√√√ZKFC√√√资源调度YarnNodeManager√√√Resourcemanager√√√日志收集Flume采集日志√√消费 Kafka√实时缓存KafkaKafka√√√全量同步DataXDataX√增量同步MaxwellMaxwell√离线查询HiveHive√计算引擎Spark√√√元数据存储MySQLMySQL√任务调度DolphinSchedulerMasterServer√WorkerServer√√√数据可视化Superset√即席查询PrestoCoordinator√Worker√√√即席查询Kylin√集群监控Zabbix√√√元数据管理Atlas√数据来源行为日志数据业务数据全量增量页面浏览记录activity_info 活动表cart_info 加购表 ( 特殊 )动作记录activity_rule 优惠规则表comment_info 商品评论表错误记录base_category1 商品一级分类coupon_use 优惠卷领用表曝光记录base_category2 商品二级分类favor_info 收藏表启动记录base_category3 商品三级分类order_detail_activity 订单明细活动关联表base_dic 编码字典表order_detail_coupon 订单明细优惠卷关联表base_province 省份表order_detail 订单详情表base_region 地区表order_info 订单表base_trademark 品牌表order_refund_info 退单表cart_info 加购表(特殊)order_status_log 订单状态表coupon_info 优惠卷表payment_info 支付表sku_attr_value SKU平台属性表refund_payment 退款表sku_sale_attr_value SKU销售属性表user_info 用户表sku_info SKU商品表spu_info SPU商品表仓库分层规划

ods : 原始数据层
dim : 公共维度层
dwd : 明细数据层
dws : 汇总数据层
ads : 数据应用层