Contents Search Unfold 摘要索伦架构总述基于真实100TB数据的SSD组与评测物理架构介绍总述软件技术-需求与基本性能软件技术-Java部分重点总述软件技术-C++部分重点总述Skynet 天网云架构系统（全局架构）坚果云技术方案（草案，团队空间）服务层需求Hydra/Sparta系统设计与安排软件技术-集群架构Bean 天网云基架系统基础架构设计云架构中台设计数据中台设计Hydra 九头龙分布式操作系统（中台基架）分布式操作系统设计原则抽象系统控制理论设计抽象系统工程体系理论设计抽象信息编制模型理论设计中央架构技术方案统一大规模消息网络模型统一消息控制模型统一消息控制传输模型统一消息集权控制模型统一消息队列模型统一消息分发内核统一进程/任务 事务化调度编排架构Servgram 小程序技术方案（草案，团队空间）Legion 集团军，大型服务、任务及插件家族可视化部署系统信号控制任务内核事务内核统一大规模图调度模型统一分布式内核对象模型统一分布式模型类 Unix/WinNT 混合微内核设计统一配置注册表中心统一服务模型统一任务/进程模型统一对象文件系统模型UOFS 架构设计UOFS 卷系统架构设计条带卷架构与算法设计UOFS 系统能力UOFS 数据中台化建模统一细节需求文档统一场景设计模型统一设备/集群部署模型统一大数据储存架构应用场景Slime 史莱姆数据处理框架（中台数据）统一缓存第一版技术方案Sparta 斯巴达中台系统（中台平台）Heistotron 分布式爬虫引擎（中台基架）GodKing 神王数据平台（业务终端）GodView 上帝之眼搜索引擎GodOncall 上帝在线Adhoc大规模 OLAP 引擎GodReport 上帝报告知识图谱GodBi 上帝分析Bi系统GodBrain 上帝之脑AI分析系统Cthulhu 克苏鲁数据引擎（中台数据）数仓建设（RDB集群设计）数仓建设（数据分层）数仓建设（对象存储设计）数仓建设（数据湖设计）引擎架构技术方案入口链路在线数据链路离线数据链路大数据/存储架构体系系统性调研学习Spark 底层设计Yarn 底层设计简述数据湖系统性调研Xenomorph 数据仓库/主题（中台数据）Crusade 全网抓取计划Redstone 红石中级框架（微服务统一中台接口）Spring大型微服务统一框架改造方案一般开发规范（团队空间）现代互联网架构体系关键技术、组织、基建调研 No search results! Number of views：68 Copyright © 2008 - Now Bean Nuts Digital 索伦架构总述 索伦是一套系统完备的分布式大型设计索伦是最顶级的全局工程，下属由天网基架、克苏鲁数仓、Sparta中台等多个子系统组成。Hydra是服务于索伦的Hydranium / Hydradom <Hydra Kingdom 中心化子架构核基架、基建工程组体系架构>Hydranium / Hydradom <Hydra Kingdom 中心化子架构核基架、基建工程组体系架构>Kernel Object Model内核对象模型（对象信息微内核）（内核挂载索引统一对象管理器）Kernel Object Model...Uniform Service Instrument统一服务树内核对象设施Uniform Service Instrument...Registry Instrument分布式统一注册表内核对象设施（统一分布式配置管理中心）Registry Instrument...Uniform Runtime Instrument统一运行单元内核对象设施（统一可执行单元元信息管理中心）Uniform Runtime Instrument...Uniform Service Manager统一服务管理/调度器Uniform Service Manager...Uniform Transaction Orchestrator统一泛事务化编排调度器（支持非事务化性能模式、支持级联模式）Uniform Transaction Orchestrator...Uniform Message Control Model统一消息控制模型Uniform Message Control Model...Uniform Message Control Middleware统一消息控制中间件Wolf MC / RPCUniform Message Control Middleware...Uniform Message Express统一消息映射控制分发总线（借鉴Spring，使用Controller做消息拦截）Uniform Message Express...Uniform MQ Model统一消息队列应用模型将消息队列的消息重定向到总线统筹调度Uniform MQ Model...Uniform Object File System统一对象文件系统（统一文件/目录元信息和对象化文件系统）>>> Hydra 系统安装ROOT挂载点 <<<Uniform Object File System...Uniform Volume Instrument统一存储卷管理系统（支持多种RAID、大数据存储架构系统）Uniform Volume Instrument...Uniform Scenario Instrument统一场景树设计内核对象设施（大型级联项目级命名空间管理系统）Uniform Scenario Instrument...Deus Handle Object上帝句柄对象进程级内核对象、资源等元素句柄数据库通过一个句柄找到所有关联的对象句柄/路径Deus Handle Object...元信息管理和资源、对象、单元分离容器化封装思想（统一、一致、高度抽象）弹性伸缩的级联化架构设计、积木化架构元信息管理和资源、对象、单元分离容器化封装思想（统一、一致、高度抽象）弹性伸缩的级联化架构设计、积木化架构...Kernel Object Model类 WinNT / Unix 混合内核架构统一对象路径化索引、句柄索引支持Kernel Object Model...Text is not SVG - cannot displayCthulhu 克苏鲁数据引擎 / 数仓Cthulhu 克苏鲁数据引擎 / 数仓在线链路 / 业务 / 缓存在线链路 / 业务 / 缓存统一中央 RDB 集群统一中央 RDB 集群MySQL MasteMySQL MasteMySQL SlaveMySQL SlaveMySQL SlaveMySQL SlaveMySQL FundamentalMySQL FundamentalMySQL FundamentalMySQL Fundamental统一中央 Redis 阵列统一中央 Redis 阵列Redis MasterRedis MasterRedis SlaveRedis SlaveRedis SlaveRedis SlaveRedis FundamentalRedis FundamentalRedis FundamentalRedis FundamentalKafka Load GatewayKafka 实时负载入口点Kafka Load Gateway...离线链路离线链路HadoopHadoopSpark SQLSpark SQLHiveHive底层存储阵列区底层存储阵列区内存热存内存热存NVMe 热存NVMe 热存SATA 固态温存SATA 固态温存SATA 机械冷存SATA 机械冷存EnderChest 末影箱NAS 网关EnderChest 末影箱NAS 网关边缘第三方云对象存储边缘第三方云对象存储IaaS Skynet Cluster / 天网集群（Hydra部署区）IaaS Skynet Cluster / 天网集群（Hydra部署区）Elder Brain 存算阵列集群Elder Brain 存算阵列集群Text is not SVG - cannot display索伦内核基架构索伦 内核基架构God View上帝之眼God View...克苏鲁数平引擎/存储/数据架构克苏鲁数平 引擎/存储/数据架构Elder Brain基架存算一体化集群架构Elder Brain基架...红后计算平台计算架构红后计算平台 计算架构Shadow大规模分布式数据采集系统DNS 探针/ 爬虫 / 多级 / 端口分析探测Shadow...入湖入仓入湖入仓Xenomorph Query异形数据集大数据离线取数业务平台Xenomorph Query...Cthulhu Brain Query在线取数业务平台（搜索引擎）Cthulhu Brain Query...Elder Brain Noegenesis机器学习 / 分析业务Elder Brain Noegenesis...天网基架全局云架构天网基架 全局云架构坚果云基架混合云业务架构坚果云基架 混合云业务架构用户用户后端支持后端支持计算支持计算支持实现实现实现实现实现实现Text is not SVG - cannot displayHydraHydraHydranium操作系统内核Hydranium...HydraFederal联邦架构组HydraFederal...HydraKingdom集权架构组HydraKingdom...HydraBlock链式架构组HydraBlock...基于基于Radium集权架构典型系统Radium...Uranium联邦架构典型系统Uranium...Helium链式架构典型系统Helium...基于基于基于基于Text is not SVG - cannot displayFeedback反馈流Feedback...数据回传数据回传采集数据流采集数据流主题化入湖入仓主题化入湖入仓主题湖1主题湖1主题湖2主题湖2主题湖N主题湖N主题采集集群阵列（私有云）主题采集集群阵列 （私有云）主题采集集群阵列（公有云）[边缘计算 / IP阵列]主题采集集群阵列（公有云）[边缘计算 / IP阵列]...部分流量代理部分流量代理直接边缘采集直接边缘采集实现实现Heist 架构 （掠夺者算子）Heist 架构 （掠夺者算子）统一任务编号Map操作统一任务编号 Map操作任务页1采集算子任务页1...任务页2采集算子任务页2...任务页N采集算子任务页N...Reduce整理如果必要Reduce...统一分页编排统一分页编排非结构化数据湖关系化非结构化数据湖 关系化Heist 架构 （洗钱者算子）Heist 架构 （洗钱者算子）统一任务编号Map操作统一任务编号 Map操作任务页1清洗算子任务页1...任务页2清洗算子任务页2...任务页N清洗算子任务页N...Reduce整理如果必要Reduce...统一分页编排统一分页编排输入原始流数据如Socket输入原始流数据如Socket...输出原始数据HTML / JSONXML / BIN输出原始数据HTML / JSON...输出结构化数据SQL / JSON / XML输出结构化数据SQL / JSON /...实现实现主题数仓1主题数仓1主题数仓2主题数仓2主题数仓N主题数仓N主题化入仓主题化入仓部分满足标准数据部分满足标准数据数据关系分析一级分析如宽表化数据关系分析一级分析如宽表化...Spark SQL 引擎Spark SQL 引擎实现实现Hydra UOFSHydra UOFS支持支持Kafka实时高速查询实时数据流推送（周期任务：如新闻、定时、分析报告）Kafka...实时阵列实时阵列离线阵列离线阵列业务数据库RDB集群业务数据库 RDB集群出仓任务出仓任务Hive2MySQLHive2MySQLHive2TiDBHive2TiDBHive2StarrocksHive2Starrocks数仓 / 数据集市层克苏鲁数据平台数仓 / 数据集市层...数据采集层暗影平台 DNS 探针/ 爬虫 / 多级 / 端口分析探测数据采集层暗影平台...业务层上帝之眼搜索引擎业务层 上帝之眼搜索引擎主题离线服务1Web 子服务主题离线服务1...主题离线服务2Web 子服务主题离线服务2...主题离线服务NWeb 子服务主题离线服务N...主题离线检索服务主题离线检索服务AdhocAdhoc预测分析模型层预测分析模型层聚类任务聚类任务大规模打标任务大规模打标任务预测任务预测任务Transformer类 Informer 模型Transformer...Text -> Sequence时序 / 特征预测Text -> Sequence...大模型接口大模型接口OpenAI ChatGPT API支持OpenAI ChatGPT API支持Stable Diffusion 训练任务Stable Diffusion 训练任务其他任务其他任务支持支持预测分析模型层预测分析模型层分析算法层预测 / 聚类 / 分析 / NLP 等任务分析算法层 预测 / 聚类 / 分析 / NLP 等任务聚类任务聚类任务TODO 大数据聚类？？？？TODO 大数据聚类？？？？数据回传数据回传机器学习数仓机器学习 数仓预测任务核心框架（TODO）[先落地再优化]预测任务核心框架（TODO）[先落地再优化]< Text, Tokens, Attributes >< Text, Tokens, Attributes >Token 向量组Token 向量组Token / LabelToken / Label多目标特征提取（Encoder）多目标特征提取（Encoder）关键目标定位任务关键目标定位任务时序特征提取任务时序特征提取任务EmbeddingEmbedding权重网络权重网络Token 序列预测输出（Decoder）Token 序列预测输出（Decoder）时序序列预测输出时序序列预测输出二级网络二级网络关键打标输出关键打标输出二级网络二级网络持续学习架构持续学习架构训练数据混淆Shuffle训练数据混淆Shuffle...数据特征任务数据特征任务TODO能不能数据特征采用非监督学习TODO2显卡要求太高TODO...TODO二级开发（具体模型待定）加入时间变化点检测难点不是模型是数据集TODO...数据分析服务数据分析服务主题在线服务1Web 子服务主题在线服务1...主题在线服务2Web 子服务主题在线服务2...主题在线服务NWeb 子服务主题在线服务N...主题在线检索服务主题在线检索服务部分数据流线略部分数据流线略中央服务网关中央服务网关红石中级框架红石中级框架业务后端统一由红石做服务拆分业务后端统一由红石做服务拆分中央服务网关2中央服务网关 2如果多人使用使用多网关负载均衡如果多人使用 使用多网关负载均衡中台业务层 （Hydra 图形界面）Sparta 斯巴达中台平台（中央集权统一总控）中台业务层 （Hydra 图形界面）...用户用户抽象网关抽象网关图太乱了数据流线略数据来源于在线 / 离线图太乱了数据流线略数据来源于在线 / 离线...服务管理子服务服务管理子服务任务管理子服务任务管理子服务文件管理子服务文件管理子服务子服务N子服务N中间网关中间网关中央服务网关中央服务网关中台集群微服务基架：中台数据区服务架构比较特殊，为K8S、虚拟机和物理主机组成的混合集群；并加上公有云虚拟机集群组成阵列。其他集群为物理主机集群 + K8S 集群中台集群微服务基架：中台数据区服务架构比较特殊，为K8S、虚拟机和物理主机组成的混合集群；并加上公有云虚拟机集群组成阵列。...管理员管理员架构性设计TODO数据湖建设，非结构化零散数据存储构建困难自建已经到工作量极限，非常昂贵业内？Iceberg？架构性设计TODO...Text is not SVG - cannot displayAuthor：undefined Create time：2024-10-24 12:39Last editor：undefined Update time：2024-10-29 13:39 提交评论
