Skip to main content

离线计算

作业开发

作业开发面向临时查询的需求,仅执行一段测试脚本 SQL,同时此脚本可以被工作流程引用。

使用教程

1、登录虎符平台

2、选择数据开发 > 离线计算 > 作业开发进入开发页面。

3、在工作目录中右键单击,选择新建作业进入开发工作台。

工作流程

离线计算支持向导模式与脚本模式,向导模式以配置的方式完成数据清洗加工,屏蔽底层复杂的计算架构,以更加友好、便捷的方式完成数据开发;脚本模式以编写 SQL 的方式完成开发。

使用教程一、创建工作流程

1、登录虎符平台

2、选择数据开发 > 离线计算 > 工作流程进入列表页面。

3、在工作目录中右键单击,选择新建工作流程 > 脚本模式进入开发工作台,从开发组件区域拖入相应的组件,并进行开发。

二、开始节点

画布创建初始,自带一个开始节点作为该工作流程的起始节点,主要用于整个工作流程的调度配置:包括生效日期、调度周期,设置任务依赖。

右侧导航栏可查看节点详情调度依赖和任务的操作记录

  • 节点详情:查看该节点基本信息

  • 调度配置:设置该工作流的调度周期,需要配置的参数如下:

  • 操作记录:记录节点更新情况

三、开发组件配置

开发组件支持数据集成、数据开发、数据质量三类。

使用教程:

1、双击工作流程目录下需要编辑的工作流

2、进入画布,拖动左侧组件栏,拖动组件到画布中,编辑组件的名称和描述信息,点击“保存”。

3、双击开发组件节点,进入该组件配置页面。

四、连线属性

各个组件根据业务逻辑关系使用连线形成上下游关系,虎符提供 3 种连线关系,并以颜色区别:

(1)上一节点运行成功,则执行下一节点;

(2)上一节点运行失败,则执行下一节点;

(3)总是执行下一节点。

注:开始节点的连线“只有总是执行下一节点”这一条属性

资源管理

用户可以通过资源管理功能,将写好的自定义函数以 jar 文件形式上传至虎符平台,在离线任务运行时调用

使用教程一、上传资源

1、登录虎符平台

2、选择数据开发 > 实时开发 > 资源管理进入资源列表页面。

3、在工作目录中右键单击上传按钮,进入弹窗页面配置各项参数。

二、引用资源函数中引用资源

如果现有的系统内置函数无法满足您的需求,离线计算支持创建自定义函数。将实现逻辑的资源 Jar 包上传至项目空间下,便可在创建自定义函数的时候进行引用资源。详细操作请参见函数管理

三、删除资源

如果需要删除一个资源,在资源目录中右键单击该资源,选择删除即可。

注: 删除资源后,引用该资源的函数或代码在运行时会报错,故请慎重操作。

函数管理

用户可以通过函数管理功能,上传自定义 Jar 文件作为资源,发布自定义函数,并进行注册使用。同时以文件树形式对函数资源统一进行管理。

使用教程前提:需要在资源目录中上传好所需资源 jar 包,具体操作看资源目录 > 上传资源文档一、自定义函数

1、登录虎符平台

2、选择数据开发 > 离线时开发 > 函数管理进入资源列表页面。

3、在工作目录中点击新建函数按钮,进入弹窗页面配置各项参数。

4、填写完成后,提交后函数创建成功,之后即可在 SQL 代码中使用此函数。

二、查看函数及引用

单击函数名,可以查看函数的类型、命令格式以及参数说明。可在离线开发任务中,通过代码编写引用函数。

三、删除函数

在函数目录页面找到需要删除的函数,右键单击,在菜单栏选择删除,即可删除该函数。

任务运维

在任务运维,可以查看离线任务的运行状态以及日志,支持重跑任务终止运行等操作,也可以重要的任务设置关注等。

使用教程

1、登录虎符平台

2、选择运维中心 > 实时开发 进入运维列表页面,查看任务运行状态和基础信息。

3、可对您需要的任务,进行查看任务详情,查看日志、历史任务、关注、重跑/终止运行等操作

  • 任务详情。查看该离线任务基本信息及运行情况。
  • 查看日志。在操作栏点击“查看日志”,该离线数据同步任务的详情,点击同步来源数据表的名称,则自动定位至该数据表同步的日志信息,方便问题排查。
  • 关注。在操作栏点击“关注”,可方便后期搜索栏检索关注任务
  • 历史任务。查看该离线任务下的所有以往的历史调度信息,如任务详情和查看日志。
  • 重跑/终止运行。可对离线任务进行重跑或者终止等操作。

4、设置监控。在列表中点击更多 > 设置监控,进入弹窗页面配置各项参数。