流处理

流处理支持全量增量一条化任务，包含全量数据迁移、数据清洗和转换、数据实时同步等多个功能点。处理器: Mysql/InfluxDB/Kafka/MongDB/OceanBase/Oracle/Pgsql/Sqlserver等

功能入口

• 开始创建任务流

  ​

配置抽取器

• 拖取抽取器：本例配置两个数据源，分别是mysql和oracle。编辑按钮修改处理器名字。

  

• 编辑按钮：可测联通性， 表名可下拉获取，当前配置可以保存为预设。点问好查手册

  

• 输出按钮：可给指定列做主键设置、溯源、删除等操作。所有处理器配置都一样

  

配置过滤器

• 配置过滤器: 类似抽取器，把过滤器作为抽取器的下游。支持公式过滤和基本过滤

  

配置转换器

• 配置普通列: 类似抽取器，把转换器作为过滤器的下游。支持公式换。本列使用加法

  

• 配置公式列：列名、选公式、输入公式内容。本列把event_value转成整形后加10

  

配置join处理器

• 关联关系配置: 选择关联方式、选择左表关联字段、选择右表关联字段

  

• 关联字段配置：拖入用户行为表数据，拖入用户信息表数据

  

配置加载器

• 配置加载器: 类似拖取，手动填入表名，如果表不存在自动创建

  

事件检查器使用

• 事件检查器使用：未合规配置会列出，按照提示修正即可

  

任务流执行

• 配置完成后的任务流展示如下

  

• 执行任务流： 点击右上角按钮。状态变更日志、处理记录条数、处理器状态、任务流状态、可以做暂停、取消、恢复等等操作。

  

数据观察

• 源表信息如下

  用户信息表：

  

  用户行为表：

• 目标表信息如下：宽表数据已经生成，空记录已过滤，公式列值在原来基础上加10

  

• 原表增删改记录，目标表数据秒级变更。如用户行为表修改600为800.目标表展示