离线计算
作业开发
作业开发面向临时查询的需求,仅执行一段测试脚本 SQL,同时此脚本可以被工作流程引用。
使用教程1、登录虎符平台
2、选择数据开发 > 离线计算 > 作业开发进入开发页面。
3、在工作目录中右键单击,选择新建作业进入开发工作台。
工作流程
离线计算支持向导模式与脚本模式,向导模式以配置的方式完成数据清洗加工,屏蔽底层复杂的计算架构,以更加友好、便捷的方式完成数据开发;脚本模式以编写 SQL 的方式完成开发。
使用教程一、创建工作流程1、登录虎符平台
2、选择数据开发 > 离线计算 > 工作流程进入列表页面。
3、在工作目录中右键单击,选择新建工作流程 > 脚本模式进入开发工作台,从开发组件区域拖入相应的组件,并进行开发。
画布创建初始,自带一个开始节点作为该工作流程的起始节点,主要用于整个工作流程的调度配置:包括生效日期、调度周期,设置任务依赖。
右侧导航栏可查看节点详情、调度依赖和任务的操作记录。
- 节点详情:查看该节点基本信息
- 调度配置:设置该工作流的调度周期,需要配置的参数如下:
- 操作记录:记录节点更新情况
开发组件支持数据集成、数据开发、数据质量三类。
使用教程:1、双击工作流程目录下需要编辑的工作流
2、进入画布,拖动左侧组件栏,拖动组件到画布中,编辑组件的名称和描述信息,点击“保存”。
3、双击开发组件节点,进入该组件配置页面。
四、连线属性各个组件根据业务逻辑关系使用连线形成上下游关系,虎符提供 3 种连线关系,并以颜色区别:
(1)上一节点运行成功,则执行下一节点;
(2)上一节点运行失败,则执行下一节点;
(3)总是执行下一节点。
注:开始节点的连线“只有总是执行下一节点”这一条属性
资源管理
用户可以通过资源管理功能,将写好的自定义函数以 jar 文件形式上传至虎符平台,在离线任务运行时调用
使用教程一、上传资源1、登录虎符平台
2、选择数据开发 > 实时开发 > 资源管理进入资源列表页面。
3、在工作目录中右键单击上传按钮,进入弹窗页面配置各项参数。
如果现有的系统内置函数无法满足您的需求,离线计算支持创建自定义函数。将实现逻辑的资源 Jar 包上传至项目空间下,便可在创建自定义函数的时候进行引用资源。详细操作请参见函数管理。
三、删除资源如果需要删除一个资源,在资源目录中右键单击该资源,选择删除即可。
注: 删除资源后,引用该资源的函数或代码在运行时会报错,故请慎重操作。
函数管理
用户可以通过函数管理功能,上传自定义 Jar 文件作为资源,发布自定义函数,并进行注册使用。同时以文件树形式对函数资源统一进行管理。
使用教程前提:需要在资源目录中上传好所需资源 jar 包,具体操作看资源目录 > 上传资源文档一、自定义函数1、登录虎符平台
2、选择数据开发 > 离线时开发 > 函数管理进入资源列表页面。
3、在工作目录中点击新建函数按钮,进入弹窗页面配置各项参数。
4、填写完成后,提交后函数创建成功,之后即可在 SQL 代码中使用此函数。
单击函数名,可以查看函数的类型、命令格式以及参数说明。可在离线开发任务中,通过代码编写引用函数。
三、删除函数在函数目录页面找到需要删除的函数,右键单击,在菜单栏选择删除,即可删除该函数。
任务运维
在任务运维,可以查看离线任务的运行状态以及日志,支持重跑任务、终止运行等操作,也可以重要的任务设置关注等。
1、登录虎符平台
2、选择运维中心 > 实时开发 进入运维列表页面,查看任务运行状态和基础信息。
3、可对您需要的任务,进行查看任务详情,查看日志、历史任务、关注、重跑/终止运行等操作
- 任务详情。查看该离线任务基本信息及运行情况。
- 查看日志。在操作栏点击“查看日志”,该离线数据同步任务的详情,点击同步来源数据表的名称,则自动定位至该数据表同步的日志信息,方便问题排查。
- 关注。在操作栏点击“关注”,可方便后期搜索栏检索关注任务
- 历史任务。查看该离线任务下的所有以往的历史调度信息,如任务详情和查看日志。
- 重跑/终止运行。可对离线任务进行重跑或者终止等操作。
4、设置监控。在列表中点击更多 > 设置监控,进入弹窗页面配置各项参数。