数据仓库架构

最下层是数据源,比如ERP系统、SIS系统、生产管理系统、OA系统等业务系统,BI系统直接对接业务系统的数据库,直接通过JDBC方式抽取业务数据到数据仓库的ODS层,对于事实表的数据支持全量和增量两种方式抽取数据,增量抽取采用时间戳的方式,对于字典表的数据采用全量抽取,抽取后的数据放入数据仓库的维度表区域。

数据仓库采用3层架构,ODS层、DW层和DM层,ODS层数据在清洗、转换后汇入DW层,DW层数据再汇总到DM层用来数据可视化。数据的抽取、清洗、转换、汇总等操作都可以保存为一个ETL步骤,再通过任务调度程序实现数据的自动化处理及更新。

数据仓库的元数据是关于数据仓库中数据的数据。它的作用类似于数据库管理系统的数据字典,保存了逻辑数据结构、文件、地址和索引等信息。数据仓内容的检索、数据的索源、血统分析、对外接口等应用都基于数据仓库的元数据信息。

数据仓库的维度表区域用来存放所有字典表,方便在数据清洗、转换、汇总时对数据进行关联。

DM层的数据在建模后就可在数据可视化中使用,建模主要定义分析主题的维度和度量、方便用户理解并使用数据。

数据可视化主要包括多维分析、报表、仪表盘、大屏等功能模块,每个功能模块对应不同的业务场景,满足不同用户的不同需求。

results matching ""

    No results matching ""