数据源抽取数据

1.在数据抽取页面点击从数据源抽取数据菜单,系统进入从数据源抽取数据页面,目前支持从MySQL、SQLserver、Oracle、DB2、达梦等数据库抽取数据到BI系统。2.点击选择已有数据源,填出用户已创建的数据源列表,直接勾选数据源后,数据源信息自动填充到界面中。

3.完成数据源信息的填写后,点击测试按钮,测试链接信息是否正确,测试成功后,点击下一步,进入数据抽取配置页面,如下图:4.系统数据抽取是把业务系统的数据直接1比1的抽取到数据仓库ODS层,原表填写业务系统要抽取的表名,取数SQL是一句查询SQL语句,BI系统通过查询SQL来抽取数据,目标表是指数据仓库中用来存储原表数据的具体表,用户可以直接新建一张表或者选择一张已有的表,选择的表请注意和原表字段保持一致,选择表后系统会自动创建原表和目标表的字段映射。

5.取数SQL采用模版语言,用户可以做逻辑判断,可以直接获取系统内置对象,已提供的内置对象如下:

  • 通过 ${变量标识} 方式获取变量值;
  • 通过 ${productBatch} 方式获取本次抽取的数据批次号;
  • 通过 ${dateLabel} 方式获取本次抽取的时间戳;
  • 通过 ${srcTf} 方式获取过程ID;
  • 通过 ${now} 方式获取系统当前时间;
  • 通过 $tools.dateFormat($now, "yyyy-MM-dd HH:mm:ss") 方法格式化当前时间
  • 通过 $tools.dateFormat($now, "yyyy-MM-dd HH:mm:ss", -1, "day") 方法当前日期减1天, 在返回日期的格式化
  • 表内置数据批次号字段名:rsbi_pb
  • 表内置创建时间字段名:rsbi_crtdate

6.比如下图SQL代码,演示通过时间戳实现数据增量导入功能,其中date 字段是原表的时间戳字段:

select * 
from rs_logs where 1=1
#if($dateLabel)
and date > '$tools.dateFormat($dateLabel, "yyyy-MM-dd HH:mm:ss")'
and date <= '$tools.dateFormat($now,"yyyy-MM-dd HH:mm:ss")'
#else
and date <= '$tools.dateFormat($now,"yyyy-MM-dd HH:mm:ss")'
#end

代码配置好以后,需要在表单时间戳字段设置date为时间戳字段,设置完成后即可实现数据按时间戳增量抽取。

7.抽取前清除数据选项允许用户在抽取数据时,先对原表数据进行一些处理,比如清空数据。

8.异常处理表示当数据抽取发生异常后,系统自动回滚已经抽取的数据和时间戳。

9.录入任务节点名称,点击保存按钮可以保存本次抽取过程,点击执行按钮立即执行本次抽取任务,点击取消按钮系统返回数据抽取列表页面。

results matching ""

    No results matching ""