赛博战略核武器–大规模的艺术,中央集权、分治、级联、一致、介稳与弹性
曼哈顿计划
Manhattan

前言
现代分布式架构一般是建立在经世致用的分治策略之上,这是一种古老的策略和方法论。引用古老的炼金术拉丁语 “Solve et coagula”(分解和混凝),希腊人把这种过程解释于知识的产生 “Noegenesis “,形容为知识产生的过程,古中国古话则称为 “不破不立”。这似乎是宇宙底层的基础法则,一种泛数据的重组过程,一种自顶向下拆解并递归向上重组。
大规模分治和级联控制通常具有巨大的能力,合理的级联扳机可以带来巨大的造物能力或巨大的破坏能力。这类方法论被现代多种计算机领域所应用,如我们耳熟能详的MapReduce、微服务、RingReduce、多路/多通道和阵列等架构,这些架构通常被用于解决大规模数据处理、深度模型训练、服务能力提供和高性能等大规模临界领域。

绪论
曼哈顿计划,是索伦项目的建设计划,旨在建设一套功能完备的大规模数据处理、分析、服务和应用平台。提供OLAP分析、搜索引擎、大规模通用任务调度、数据集市、数据地图、云部署、多模态数据主题数据集等多样能力。
该设计本质是探索非微观的、维度宏观、战略的、战术不敏感的大数据反映的上层建筑的宏观维度,同时本计划也是非商业的、学术的大规模实验项目。这是一种降维打击,系统设计不会过度关注非常局部的设计,强调系统性的功能落地。

索伦是一套系统完备的分布式大型设计

索伦是最顶级的全局工程,下属由天网基架、克苏鲁数仓、Sparta中台等多个子系统组成。

Hydra是服务于索伦的

Hydranium / Hydradom <Hydra Kingdom 中心化子架构核基架、基建工程组体系架构>
Hydranium / Hydradom <Hydra Kingdom 中心化子架构核基架、基建工程组体系架构>
Kernel Object Model
内核对象模型
(对象信息微内核)
(内核挂载索引统一对象管理器)
Kernel Object Model...
Uniform Service Instrument
统一服务树内核对象设施
Uniform Service Instrument...
Registry Instrument
分布式统一注册表内核对象设施
(统一分布式配置管理中心)
Registry Instrument...
Uniform Runtime Instrument
统一运行单元内核对象设施
(统一可执行单元元信息管理中心)
Uniform Runtime Instrument...
Uniform Service Manager
统一服务管理/调度器
Uniform Service Manager...
Uniform Transaction Orchestrator
统一泛事务化编排调度器
(支持非事务化性能模式、支持级联模式)
Uniform Transaction Orchestrator...
Uniform Message Control Model

统一消息控制模型
Uniform Message Control Model...
Uniform Message Control Middleware
统一消息控制中间件
Wolf MC / RPC
Uniform Message Control Middleware...
Uniform Message Express
统一消息映射控制分发总线
(借鉴Spring,使用Controller做消息拦截)
Uniform Message Express...
Uniform MQ Model
统一消息队列应用模型
将消息队列的消息重定向到总线统筹调度
Uniform MQ Model...
Uniform Object File System
统一对象文件系统
(统一文件/目录元信息和对象化文件系统)
>>> Hydra 系统安装ROOT挂载点 <<<
Uniform Object File System...
Uniform Volume Instrument
统一存储卷管理系统
(支持多种RAID、大数据存储架构系统)
Uniform Volume Instrument...
Uniform Scenario Instrument
统一场景树设计内核对象设施
(大型级联项目级命名空间管理系统)
Uniform Scenario Instrument...
Deus Handle Object
上帝句柄对象
进程级内核对象、资源等元素句柄数据库

通过一个句柄找到所有关联的对象句柄/路径
Deus Handle Object...
元信息管理和资源、对象、单元分离
容器化封装思想(统一、一致、高度抽象)
弹性伸缩的级联化架构设计、积木化架构
元信息管理和资源、对象、单元分离容器化封装思想(统一、一致、高度抽象)弹性伸缩的级联化架构设计、积木化架构...
Kernel Object Model
类 WinNT / Unix 混合内核架构
统一对象路径化索引、句柄索引支持
Kernel Object Model...
Text is not SVG - cannot display
Cthulhu 克苏鲁数据引擎 / 数仓
Cthulhu 克苏鲁数据引擎 / 数仓
在线链路 / 业务 / 缓存
在线链路 / 业务 / 缓存
统一中央 RDB 集群
统一中央 RDB 集群
MySQL Maste
MySQL Maste
MySQL Slave
MySQL Slave
MySQL Slave
MySQL Slave
MySQL Fundamental
MySQL Fundamental
MySQL Fundamental
MySQL Fundamental
统一中央 Redis 阵列
统一中央 Redis 阵列
Redis Master
Redis Master
Redis Slave
Redis Slave
Redis Slave
Redis Slave
Redis Fundamental
Redis Fundamental
Redis Fundamental
Redis Fundamental
Kafka Load Gateway
Kafka 实时负载入口点
Kafka Load Gateway...
离线链路
离线链路
Hadoop
Hadoop
Spark SQL
Spark SQL
Hive
Hive
底层存储阵列区
底层存储阵列区
内存热存
内存热存
NVMe 热存
NVMe 热存
SATA 固态温存
SATA 固态温存
SATA 机械冷存
SATA 机械冷存
EnderChest 末影箱NAS 网关
EnderChest 末影箱NAS 网关
边缘第三方云对象存储
边缘第三方云对象存储
IaaS Skynet Cluster / 天网集群(Hydra部署区)
IaaS Skynet Cluster / 天网集群(Hydra部署区)
Elder Brain 存算阵列集群
Elder Brain 存算阵列集群
Text is not SVG - cannot display
索伦
内核基架构
索伦 内核基架构
God View
上帝之眼
God View...
克苏鲁数平
引擎/存储/数据架构
克苏鲁数平 引擎/存储/数据架构
Elder Brain基架
存算一体化集群架构
Elder Brain基架...
红后计算平台
计算架构
红后计算平台 计算架构
Shadow
大规模分布式数据采集系统
DNS 探针/ 爬虫 / 多级 / 端口分析探测
Shadow...
入湖入仓
入湖入仓
Xenomorph Query
异形数据集大数据离线取数业务平台
Xenomorph Query...
Cthulhu Brain Query
在线取数业务平台(搜索引擎)
Cthulhu Brain Query...
Elder Brain Noegenesis
机器学习 / 分析业务
Elder Brain Noegenesis...
天网基架
全局云架构
天网基架 全局云架构
坚果云基架
混合云业务架构
坚果云基架 混合云业务架构
用户
用户
后端支持
后端支持
计算支持
计算支持
实现
实现
实现
实现
实现
实现
Text is not SVG - cannot display
Hydra
Hydra
Hydranium
操作系统内核
Hydranium...
HydraFederal
联邦架构组
HydraFederal...
HydraKingdom
集权架构组
HydraKingdom...
HydraBlock
链式架构组
HydraBlock...
基于
基于
Radium
集权架构典型系统
Radium...
Uranium
联邦架构典型系统
Uranium...
Helium
链式架构典型系统
Helium...
基于
基于
基于
基于
Text is not SVG - cannot display

全局架构爆炸拆解蓝图

Feedback
反馈流
Feedback...
数据回传
数据回传
采集数据流
采集数据流
主题化入湖入仓
主题化入湖入仓
主题湖1
主题湖1
主题湖2
主题湖2
主题湖N
主题湖N
主题采集集群阵列
(私有云)
主题采集集群阵列 (私有云)
主题采集集群阵列
(公有云)
[边缘计算 / IP阵列]
主题采集集群阵列(公有云)[边缘计算 / IP阵列]...
部分流量代理
部分流量代理
直接边缘采集
直接边缘采集
实现
实现
Heist 架构 (掠夺者算子)
Heist 架构 (掠夺者算子)
统一任务编号
Map操作
统一任务编号 Map操作
任务页1
采集算子
任务页1...
任务页2
采集算子
任务页2...
任务页N
采集算子
任务页N...
Reduce
整理如果必要
Reduce...
统一分页编排
统一分页编排
非结构化数据湖
关系化
非结构化数据湖 关系化
Heist 架构 (洗钱者算子)
Heist 架构 (洗钱者算子)
统一任务编号
Map操作
统一任务编号 Map操作
任务页1
清洗算子
任务页1...
任务页2
清洗算子
任务页2...
任务页N
清洗算子
任务页N...
Reduce
整理如果必要
Reduce...
统一分页编排
统一分页编排
输入
原始流数据
如Socket
输入原始流数据如Socket...
输出
原始数据
HTML / JSON
XML / BIN
输出原始数据HTML / JSON...
输出
结构化数据
SQL / JSON / XML
输出结构化数据SQL / JSON /...
实现
实现
主题数仓1
主题数仓1
主题数仓2
主题数仓2
主题数仓N
主题数仓N
主题化入仓
主题化入仓
部分满足标准数据
部分满足标准数据
数据关系分析
一级分析
如宽表化
数据关系分析一级分析如宽表化...
Spark SQL 引擎
Spark SQL 引擎
实现
实现
Hydra UOFS
Hydra UOFS
支持
支持
Kafka
实时高速查询

实时数据流推送
(周期任务:如新闻、定时、分析报告)
Kafka...
实时阵列
实时阵列
离线阵列
离线阵列
业务数据库
RDB集群
业务数据库 RDB集群
出仓任务
出仓任务
Hive2MySQL
Hive2MySQL
Hive2TiDB
Hive2TiDB
Hive2Starrocks
Hive2Starrocks

数仓 / 数据集市层

克苏鲁数据平台

数仓 / 数据集市层...

数据采集层

暗影平台 

DNS 探针/ 爬虫 / 多级 / 端口分析探测

数据采集层暗影平台...

业务层

上帝之眼搜索引擎

业务层 上帝之眼搜索引擎
主题离线服务
1
Web 子服务
主题离线服务1...
主题离线服务
2
Web 子服务
主题离线服务2...
主题离线服务
N
Web 子服务
主题离线服务N...
主题离线检索服务
主题离线检索服务
Adhoc
Adhoc
预测分析模型层
预测分析模型层
聚类任务
聚类任务
大规模打标任务
大规模打标任务
预测任务
预测任务
Transformer

类 Informer 模型
Transformer...
Text -> Sequence

时序 / 特征预测
Text -> Sequence...
大模型接口
大模型接口
OpenAI ChatGPT API支持
OpenAI ChatGPT API支持
Stable Diffusion 训练任务
Stable Diffusion 训练任务
其他任务
其他任务
支持
支持
预测分析模型层
预测分析模型层

分析算法层

预测 / 聚类 / 分析 / NLP 等任务

分析算法层 预测 / 聚类 / 分析 / NLP 等任务
聚类任务
聚类任务
TODO 大数据聚类????
TODO 大数据聚类????
数据回传
数据回传
机器学习
数仓
机器学习 数仓
预测任务核心框架(TODO)[先落地再优化]
预测任务核心框架(TODO)[先落地再优化]
< Text, Tokens,  Attributes >
< Text, Tokens,  Attributes >
Token 向量组
Token 向量组
Token / Label
Token / Label
多目标特征提取(Encoder)
多目标特征提取(Encoder)
关键目标定位任务
关键目标定位任务
时序特征提取任务
时序特征提取任务
Embedding
Embedding
权重网络
权重网络
Token 序列预测输出(Decoder)
Token 序列预测输出(Decoder)
时序序列预测输出
时序序列预测输出
二级网络
二级网络
关键打标输出
关键打标输出
二级网络
二级网络
持续学习架构
持续学习架构
训练数据混淆
Shuffle
训练数据混淆Shuffle...
数据特征任务
数据特征任务
TODO
能不能数据特征采用非监督学习

TODO2
显卡要求太高
TODO...
TODO
二级开发(具体模型待定)

加入时间变化点检测

难点不是模型是数据集
TODO...
数据分析服务
数据分析服务
主题在线服务
1
Web 子服务
主题在线服务1...
主题在线服务
2
Web 子服务
主题在线服务2...
主题在线服务
N
Web 子服务
主题在线服务N...
主题在线检索服务
主题在线检索服务
部分数据流线略
部分数据流线略
中央服务网关
中央服务网关
红石中级框架
红石中级框架
业务后端统一由红石做服务拆分
业务后端统一由红石做服务拆分
中央服务网关
2
中央服务网关 2
如果多人使用
使用多网关负载均衡
如果多人使用 使用多网关负载均衡

中台业务层 (Hydra 图形界面)

Sparta 斯巴达中台平台(中央集权统一总控)

中台业务层 (Hydra 图形界面)...
用户
用户
抽象网关
抽象网关
图太乱了
数据流线略

数据来源于在线 / 离线
图太乱了数据流线略数据来源于在线 / 离线...
服务管理子服务
服务管理子服务
任务管理子服务
任务管理子服务
文件管理子服务
文件管理子服务
子服务N
子服务N
中间网关
中间网关
中央服务网关
中央服务网关
中台集群微服务基架:

中台数据区服务架构比较特殊,为K8S、虚拟机和物理主机组成的混合集群;并加上公有云虚拟机集群组成阵列。

其他集群为物理主机集群 + K8S 集群
中台集群微服务基架:中台数据区服务架构比较特殊,为K8S、虚拟机和物理主机组成的混合集群;并加上公有云虚拟机集群组成阵列。...
管理员
管理员
架构性设计TODO
数据湖建设,非结构化零散数据存储构建困难
自建已经到工作量极限,非常昂贵
业内?Iceberg?
架构性设计TODO...
Text is not SVG - cannot display

全局架构鸟瞰图

中台
中台
大规模数据采集
大规模数据采集
主题数据湖
主题数据湖
主题数仓
主题数仓
中央实时数据库
中央实时数据库
Hydra 操作系统
Hydra 操作系统
数据与指令内核服务
数据与指令内核服务
中央元数据中心
中央元数据中心
中央决策编制程序组
中央决策编制程序组
执行编排与控制内核服务
执行编排与控制内核服务
中央事务编排与任务统一调度
中央事务编排与任务统一调度
中央服务控制系统
中央服务控制系统
审计、权限与运行数据采集内核服务
审计、权限与运行数据采集内核服务
中央运行审计中心
中央运行审计中心
中央内核滤过与情报控制系统
中央内核滤过与情报控制系统
大规模数据基架
大规模数据基架
统一分布式文件系统
统一分布式文件系统
统一OLTP RDB阵列模型
统一OLTP RDB阵列模型
统一存储卷系统
统一存储卷系统
统一缓存阵列模型
统一缓存阵列模型
统一湖仓
统一湖仓
统一元数据树(KOM统治树)
统一元数据树(KOM统治树)
大规模调度基架
大规模调度基架
统一矢量调度图模型
统一矢量调度图模型
统一事务编排系统
统一事务编排系统
统一运行控制系统
统一运行控制系统
统一大规模任务编制树
统一大规模任务编制树
统一大规模服务编制树
统一大规模服务编制树
统一子服务级联控制系统
统一子服务级联控制系统
大规模情报基架
大规模情报基架
统一日志审计系统
统一日志审计系统
统一战术情报与统一消息中心
统一战术情报与统一消息中心
统一过滤审计
统一过滤审计
统一权限控制系统
统一权限控制系统
统一数据CDC服务
统一数据CDC服务
统一运行情报采集系统
统一运行情报采集系统
模型训练数据集任务
模型训练数据集任务
实时模型推导
实时模型推导
离线模型训练
离线模型训练
中央数据分发调度
中央数据分发调度
应用
应用
顶层应用(上帝战略战术分析数据平台)
顶层应用(上帝战略战术分析数据平台)
应用库
应用库
全局知识图谱
全局知识图谱
全局数据可视化与BI系统
全局数据可视化与BI系统
全局数据GPT检索
全局数据GPT检索
外部模型在线处理
外部模型在线处理
全局Adhoc SQL检索
全局Adhoc SQL检索
即席主题化检索
即席主题化检索
中台中级应用(自动化数据采集、处理、调度平台)
中台中级应用(自动化数据采集、处理、调度平台)
数据采集
数据采集
入湖
驻留
入湖 驻留
入仓
主题化
入仓 主题化
自动聚类
自动聚类
加速数据集
加速数据集
出仓
入实时库
应用层化
出仓入实时库 应用层化
增殖反馈
增殖反馈
自动主题增殖
自动主题增殖
数据挖掘
数据挖掘
数据自举
数据自举
内部模型训练
内部模型训练
外部模型离线处理
外部模型离线处理
即席采集
即席采集
中台底层应用
中台底层应用
底层存储基架服务
底层存储基架服务
分布式文件系统控制服务
分布式文件系统控制服务
对象存储服务
对象存储服务
CDN控制服务
CDN控制服务
系统句柄与微内核中央控制服务
系统句柄与微内核中央控制服务
底层任务基架服务
底层任务基架服务
进程级任务管理器服务
进程级任务管理器服务
任务级任务管理器服务(任务树)
任务级任务管理器服务(任务树)
服务管理器服务
服务管理器服务
调度图控制服务(任务血缘系统)
调度图控制服务(任务血缘系统)
小程序控制服务(进程级部署发布服务)
小程序控制服务(进程级部署发布服务)
统一分布式定时任务调度服务
统一分布式定时任务调度服务
第三方服务(Hydra引用依赖)
第三方服务(Hydra引用依赖)
容器编排控制接入服务
容器编排控制接入服务
虚拟机编排控制接入服务
虚拟机编排控制接入服务
第三方服务控制接入服务
第三方服务控制接入服务
其他第三方接入服务
其他第三方接入服务
底层数据应用服务
底层数据应用服务
统一Adhoc与SQL审计代理查询网关
统一Adhoc与SQL审计代理查询网关
统一湖仓接入
统一湖仓接入
统一OLTP RDB阵列接入
统一OLTP RDB阵列接入
统一缓存阵列接入
统一缓存阵列接入
硬件资源基架服务(202506本期弱能力)
硬件资源基架服务(202506本期弱能力)
服务器主机管理器
服务器主机管理器
虚拟主机管理器
虚拟主机管理器
其他底层服务
其他底层服务
系统统一事件查看管理器
系统统一事件查看管理器
系统分布式注册表
系统分布式注册表
系统场景树管理器
系统场景树管理器
系统统一域账号管理器
系统统一域账号管理器
Text is not SVG - cannot display

全局架构鸟瞰图

中台
中台
大规模数据采集
大规模数据采集
主题数据湖
主题数据湖
主题数仓
主题数仓
中央实时数据库
中央实时数据库
Hydra 操作系统
Hydra 操作系统
数据与指令内核服务
数据与指令内核服务
中央元数据中心
中央元数据中心
中央决策编制程序组
中央决策编制程序组
执行编排与控制内核服务
执行编排与控制内核服务
中央事务编排与任务统一调度
中央事务编排与任务统一调度
中央服务控制系统
中央服务控制系统
审计、权限与运行数据采集内核服务
审计、权限与运行数据采集内核服务
中央运行审计中心
中央运行审计中心
中央内核滤过与情报控制系统
中央内核滤过与情报控制系统
模型训练数据集任务
模型训练数据集任务
实时模型推导
实时模型推导
离线模型训练
离线模型训练
中央数据分发调度
中央数据分发调度
应用
应用
顶层应用(上帝战略战术分析数据平台)
顶层应用(上帝战略战术分析数据平台)
应用库
应用库
全局知识图谱
全局知识图谱
全局数据可视化与BI系统
全局数据可视化与BI系统
全局数据GPT检索
全局数据GPT检索
外部模型在线处理
外部模型在线处理
全局Adhoc SQL检索
全局Adhoc SQL检索
即席主题化检索
即席主题化检索
中台中级应用(自动化数据采集、处理、调度平台)
中台中级应用(自动化数据采集、处理、调度平台)
数据采集
数据采集
入湖
驻留
入湖 驻留
入仓
主题化
入仓 主题化
自动聚类
自动聚类
加速数据集
加速数据集
出仓
入实时库
应用层化
出仓入实时库 应用层化
增殖反馈
增殖反馈
自动主题增殖
自动主题增殖
数据挖掘
数据挖掘
数据自举
数据自举
内部模型训练
内部模型训练
外部模型离线处理
外部模型离线处理
即席采集
即席采集
中台底层应用
中台底层应用
底层存储基架服务
底层存储基架服务
底层任务基架服务
底层任务基架服务
第三方服务(Hydra引用依赖)
第三方服务(Hydra引用依赖)
底层数据应用服务
底层数据应用服务
硬件资源基架服务(202506本期弱能力)
硬件资源基架服务(202506本期弱能力)
其他底层服务
其他底层服务
OLTP 存储基础设施
OLTP 存储基础设施
MySQL
MySQL
SQLite
SQLite
Druid
Druid
底层存储基础设施
(直接IaaS)
底层存储基础设施 (直接IaaS)
NAS
NAS
NTFS
NTFS
Ext4
Ext4
湖仓基础设施
湖仓基础设施
Hydra UOFS
Hydra UOFS
Iceberg
Iceberg
Spark
Spark
Hadoop
Hadoop
缓存基础设施
缓存基础设施
Redis
Redis
消息基础设施
消息基础设施
RocketMQ
RocketMQ
Kafka
Kafka
Thrift
Thrift
Hydra WolfMC
Hydra WolfMC
Text is not SVG - cannot display
Author:undefined  Create time:2024-10-24 12:39
Last editor:undefined  Update time:2025-01-14 22:46