task_id bigint COMMENT ‘任务ID’,
task_code string COMMENT ‘task code’,
project_id bigint COMMENT ‘项目ID’,
project_code string COMMENT ‘项目英文名’,
project_name string COMMENT ‘项目中文名’,
tenant_id bigint COMMENT ‘租户ID’,
tenant_name string COMMENT ‘租户名’,

asset_id string COMMENT ‘资产ID,三段式’,
direct_baseline_id bigint COMMENT ‘基线id’,
task_version int COMMENT ‘数据开发的版本’,
minute_timeout int COMMENT ‘超时kill分钟数’,
task_actually_priority int COMMENT ‘上推后的优先级’,
task_actually_priority_lnum string COMMENT ‘上推后的优先级L表示’,
task_own_priority int COMMENT ‘任务自身的优先级’,
task_own_priority_lnum string COMMENT ‘任务自身的优先级L表示’,
job_memory int COMMENT ‘使用内存’,
start_time_offset int COMMENT ‘时间偏移(分钟)’,
retry_interval int COMMENT ‘重跑时间间隔(秒)’,
retry_times int COMMENT ‘重试次数’,
minute_interval int COMMENT ‘分钟级任务间隔’,
dry_run int COMMENT ‘是否空跑 1: 开启 0: 关闭’,
enable int COMMENT ‘是否启用 1: 开启 0: 关闭’,
task_status int COMMENT ‘兼容字段,是否启用 1: 开启 0: 关闭’,
task_create_type string COMMENT ‘任务创建来源类型’,
task_desc string COMMENT ‘任务描述’,
task_type string COMMENT ‘任务类型枚举’,
is_export int COMMENT ‘是否导出任务’,
task_period_type string COMMENT ‘周期类型’,
schedule_type string COMMENT ‘调度类型,CYCLE,MANUAL’,
schedule_cron string COMMENT ‘cron表达式’,
cascade string COMMENT ‘回溯设置(枚举)’,
generate_type string COMMENT ‘生成实例的类型’,
cluster_queue string COMMENT ‘yarn队列’,
cluster_tag string COMMENT ‘yarn集群’,
task_labels string COMMENT ‘任务标签,暂时单个’,
task_callback_url string COMMENT ‘执行成功回调(预留)’,
build_batch_rule string COMMENT ‘生成批次的各种规则’,
task_conf string COMMENT ‘任务参数’,
task_dependence_files string COMMENT ‘依赖资源文件’,
schedule_policy string COMMENT ‘调度策略枚举’,
schedule_start_time string COMMENT ‘开始的调度时间’,
schedule_end_time string COMMENT ‘结束的调度时间’,
create_time string COMMENT ‘创建时间’,
update_time string COMMENT ‘更新时间’,
sql_engine string COMMENT ‘sql_engine’,
schedule_content string COMMENT ‘调度的配置信息’,
is_depend_on_past int COMMENT ‘是否自依赖’,
last_prod_file_version bigint COMMENT ‘文件版本号\t’,
last_prod_commit_time string COMMENT ‘提交时间’,
last_prod_change_type string COMMENT ‘变更类型 新增/更新/删除’,
folder_name string COMMENT ‘目录名称’,
output_tag string COMMENT ‘tag依赖array json体’,
tag_out_table_full_name_arr array COMMENT ‘tag匹配的输出表名’,
hbo_enable int COMMENT ‘hbo开关是否打开’,
actual_hbo_run int COMMENT ‘是否hbo参数运行’,
hbo_source_types string COMMENT ‘hbo参数类型’,
hbo_conf_ids string COMMENT ‘hbo_conf_ids’

任务编排系统
任务调度系统
任务管理系统

任务编排/调度系统
大规模任务调度图,DAG血缘表(组)
任务分发
任务执行方案表

任务管理系统
大规模任务元信息子系统
任务基础元信息表
任务树KOM表(组)

运行执行系统(Task,Job,Thread,Process)
任务建模(粒度):Job(批任务,任务组)-> Task
载体建模(粒度):Process(抽象进程,顶级线程组)-> ThreadGroup(线程组)-> Thread(抽象线程)
注:这里的线程和进程是绝对抽象概念,实现可以是各种各样的,不一定是传统意义上的单机操作系统级。
载体体现(典型):
这里的线程是指流水线执行为抽象单执行器维度的(即表现型最终等效为单执行器维度)
Thread:
一般典型:SystemThread(单机操作系统级线程)、Coroutine(协程,用户级轻量线程)
扩展典型:DistributeThread(分布式线程)、SystemProcess(单机系统级进程,等效体现为单执行器感知时)、Service(服务,由若干个进程、集群(任意形式的,VM、容器、主机、机房级等)等,最终体现为单执行器感知时)

载体镜像(Image):
Exe二进制可执行文件、Script脚本(SQL、Python、Shell、PHP、JS等)、APP(抽象应用程序,底层实现抽象)、DLL(可执行二进制动态链接库,C/C++/ASM二进制包、Java Class/Jar文件、PCode字节码等)、Pod(执行镜像,发布件)

运行实例(Instance):

任务运行信息表

guid
task_name
task_version
priority
task_actually_priority
dry_run
enable
task_status
schedule_type
is_root
create_time
update_time
task_desc

Author:undefined  Create time:2024-10-15 13:15
Last editor:undefined  Update time:2025-03-13 13:51