task_id
bigint COMMENT ‘任务ID’,
task_code
string COMMENT ‘task code’,
project_id
bigint COMMENT ‘项目ID’,
project_code
string COMMENT ‘项目英文名’,
project_name
string COMMENT ‘项目中文名’,
tenant_id
bigint COMMENT ‘租户ID’,
tenant_name
string COMMENT ‘租户名’,
asset_id
string COMMENT ‘资产ID,三段式’,
direct_baseline_id
bigint COMMENT ‘基线id’,
task_version
int COMMENT ‘数据开发的版本’,
minute_timeout
int COMMENT ‘超时kill分钟数’,
task_actually_priority
int COMMENT ‘上推后的优先级’,
task_actually_priority_lnum
string COMMENT ‘上推后的优先级L表示’,
task_own_priority
int COMMENT ‘任务自身的优先级’,
task_own_priority_lnum
string COMMENT ‘任务自身的优先级L表示’,
job_memory
int COMMENT ‘使用内存’,
start_time_offset
int COMMENT ‘时间偏移(分钟)’,
retry_interval
int COMMENT ‘重跑时间间隔(秒)’,
retry_times
int COMMENT ‘重试次数’,
minute_interval
int COMMENT ‘分钟级任务间隔’,
dry_run
int COMMENT ‘是否空跑 1: 开启 0: 关闭’,
enable
int COMMENT ‘是否启用 1: 开启 0: 关闭’,
task_status
int COMMENT ‘兼容字段,是否启用 1: 开启 0: 关闭’,
task_create_type
string COMMENT ‘任务创建来源类型’,
task_desc
string COMMENT ‘任务描述’,
task_type
string COMMENT ‘任务类型枚举’,
is_export
int COMMENT ‘是否导出任务’,
task_period_type
string COMMENT ‘周期类型’,
schedule_type
string COMMENT ‘调度类型,CYCLE,MANUAL’,
schedule_cron
string COMMENT ‘cron表达式’,
cascade
string COMMENT ‘回溯设置(枚举)’,
generate_type
string COMMENT ‘生成实例的类型’,
cluster_queue
string COMMENT ‘yarn队列’,
cluster_tag
string COMMENT ‘yarn集群’,
task_labels
string COMMENT ‘任务标签,暂时单个’,
task_callback_url
string COMMENT ‘执行成功回调(预留)’,
build_batch_rule
string COMMENT ‘生成批次的各种规则’,
task_conf
string COMMENT ‘任务参数’,
task_dependence_files
string COMMENT ‘依赖资源文件’,
schedule_policy
string COMMENT ‘调度策略枚举’,
schedule_start_time
string COMMENT ‘开始的调度时间’,
schedule_end_time
string COMMENT ‘结束的调度时间’,
create_time
string COMMENT ‘创建时间’,
update_time
string COMMENT ‘更新时间’,
sql_engine
string COMMENT ‘sql_engine’,
schedule_content
string COMMENT ‘调度的配置信息’,
is_depend_on_past
int COMMENT ‘是否自依赖’,
last_prod_file_version
bigint COMMENT ‘文件版本号\t’,
last_prod_commit_time
string COMMENT ‘提交时间’,
last_prod_change_type
string COMMENT ‘变更类型 新增/更新/删除’,
folder_name
string COMMENT ‘目录名称’,
output_tag
string COMMENT ‘tag依赖array json体’,
tag_out_table_full_name_arr
array
hbo_enable
int COMMENT ‘hbo开关是否打开’,
actual_hbo_run
int COMMENT ‘是否hbo参数运行’,
hbo_source_types
string COMMENT ‘hbo参数类型’,
hbo_conf_ids
string COMMENT ‘hbo_conf_ids’
任务编排系统
任务调度系统
任务管理系统
任务编排/调度系统
大规模任务调度图,DAG血缘表(组)
任务分发
任务执行方案表
任务管理系统
大规模任务元信息子系统
任务基础元信息表
任务树KOM表(组)
运行执行系统(Task,Job,Thread,Process)
任务建模(粒度):Job(批任务,任务组)-> Task
载体建模(粒度):Process(抽象进程,顶级线程组)-> ThreadGroup(线程组)-> Thread(抽象线程)
注:这里的线程和进程是绝对抽象概念,实现可以是各种各样的,不一定是传统意义上的单机操作系统级。
载体体现(典型):
这里的线程是指流水线执行为抽象单执行器维度的(即表现型最终等效为单执行器维度)
Thread:
一般典型:SystemThread(单机操作系统级线程)、Coroutine(协程,用户级轻量线程)
扩展典型:DistributeThread(分布式线程)、SystemProcess(单机系统级进程,等效体现为单执行器感知时)、Service(服务,由若干个进程、集群(任意形式的,VM、容器、主机、机房级等)等,最终体现为单执行器感知时)
载体镜像(Image):
Exe二进制可执行文件、Script脚本(SQL、Python、Shell、PHP、JS等)、APP(抽象应用程序,底层实现抽象)、DLL(可执行二进制动态链接库,C/C++/ASM二进制包、Java Class/Jar文件、PCode字节码等)、Pod(执行镜像,发布件)
运行实例(Instance):
任务运行信息表
guid
task_name
task_version
priority
task_actually_priority
dry_run
enable
task_status
schedule_type
is_root
create_time
update_time
task_desc
Last editor:undefined Update time:2025-03-13 13:51