Contents Search Unfold 摘要索伦架构总述基于真实100TB数据的SSD组与评测物理架构介绍总述软件技术-需求与基本性能软件技术-Java部分重点总述软件技术-C++部分重点总述Skynet 天网云架构系统（全局架构）坚果云技术方案（草案，团队空间）曼哈顿计划三期服务层需求曼哈顿计划四期工程合作方案Hydra/Sparta系统设计与安排曼哈顿计划四期中台部分OKR四期项目模块清单1月周会软件技术-集群架构Bean 天网云基架系统基础架构设计云架构中台设计数据中台设计Hydra 九头龙分布式操作系统（中台基架）分布式操作系统设计原则抽象系统控制理论设计抽象系统工程体系理论设计抽象信息编制模型理论设计架构技术方案统一大规模消息网络模型统一消息控制模型统一消息控制传输模型统一消息集权控制模型统一消息队列模型统一消息分发内核统一进程/任务 事务化调度编排架构Servgram 小程序技术方案（草案，团队空间）Legion 集团军，大型服务、任务及插件家族可视化部署系统信号控制任务内核事务内核统一大规模图调度模型统一分布式内核对象模型统一分布式模型类 Unix/WinNT 混合微内核设计统一配置注册表中心统一服务模型统一任务/进程模型统一对象文件系统模型UOFS 架构设计UOFS 卷系统架构设计条带卷架构与算法设计UOFS 系统能力UOFS 数据中台化建模统一细节需求文档UOS 架构设计S3 协议设计统一场景设计模型统一设备/集群部署模型统一账户/权限模型统一大数据储存架构应用场景Slime 史莱姆数据处理框架（中台数据）统一缓存第一版技术方案Sparta 斯巴达中台系统（中台平台）Heistotron 分布式爬虫引擎（中台基架）GodKing 神王数据平台（业务终端）GodView 上帝之眼搜索引擎GodOncall 上帝在线Adhoc大规模 OLAP 引擎GodReport 上帝报告知识图谱GodBi 上帝分析Bi系统GodBrain 上帝之脑AI分析系统Cthulhu 克苏鲁数据引擎（中台数据）数仓建设（RDB集群设计）数仓建设（数据分层）数仓建设（对象存储设计）数仓建设（数据湖设计）引擎架构技术方案入口链路在线数据链路离线数据链路大数据/存储架构体系系统性调研学习Spark 底层设计Yarn 底层设计简述数据湖系统性调研Xenomorph 数据仓库/主题（中台数据）Crusade 全网抓取计划Redstone 红石中级框架（微服务统一中台接口）Spring大型微服务统一框架改造方案服务集权化与一致性设计一般开发规范（团队空间）现代互联网架构体系关键技术、组织、基建调研 No search results! Number of views：127 Copyright © 2008 - Now Bean Nuts Digital UOFS 卷系统架构设计 I/O指令I/O指令入口逻辑卷入口逻辑卷入口卷guid入口卷guidSimpleVolumeSimpleVolumeLogicVolumeLogicVolumeLogicVolumeLogicVolume卷分配表获取guid卷分配表获取guid文件文件LogicVolumeLogicVolume卷关系树（主数据库表）卷关系树（主数据库表）target_guidtarget_guidparent_guidparent_guidother infosother infosLogicVolumeLogicVolume卷文件分配表（SQLite表）卷文件分配表 （SQLite表）target_guidtarget_guidfile_guidfile_guidfile_storage_source_pathfile_storage_source_path物理卷物理卷卷分配表（元数据）卷分配表 （元数据）条带块或文件块条带块或文件块文件文件物理卷物理卷卷分配表（元数据）卷分配表 （元数据）条带块或文件块条带块或文件块Text is not SVG - cannot display物理卷物理卷卷分配表（元数据）卷分配表 （元数据）条带块或文件块条带块或文件块元数据容积规划元数据容积规划5 MB5 MB5 MB5 MB10 MB10 MB物理卷物理卷卷分配表（元数据）卷分配表 （元数据）条带块或文件块条带块或文件块5 MB5 MB元数据容积规划元数据容积规划5 MB5 MB5 MB5 MB10 MB10 MB下一个状态下一个状态15 MB15 MBText is not SVG - cannot displaydp_min[i] = min( dp_min[ i - 1 ] + new, dp_min[ i - 1 ] ) dp_reserve[i] = max( dp_reserve[ i - 1 ], dp_min[ i - 1 ] + new )方案1 线段树法（考古）RAID卷 FATRAID卷 FATid_min，id_max，volume_guidid_min，id_max，volume_guid0-1000-100150-200150-200300-400300-400450-500450-500线段树（表法）线段树（表法）底层卷 FAT底层卷 FAT1，file_name1，file_name2，file_name_22，file_name_23，file_name_33，file_name_372，file_name_472，file_name_4底层卷 FAT底层卷 FAT151，file_name151，file_name152，file_name_2152，file_name_2153，file_name_3153，file_name_3172，file_name_4172，file_name_4底层卷文件索引（分治策略）[多个SQLite 文件]底层卷文件索引（分治策略）[多个SQLite 文件]...guid => 404file_nameguid => 404...下一个动作：欲插入404文件下一个动作： 欲插入404文件插入新节点插入新节点RAID卷 FATRAID卷 FATid_min，id_max，volume_guidid_min，id_max，volume_guid0-1000-100150-200150-200300-400300-400404-404404-404450-500450-500guid => 405file_nameguid => 405...合并新节点合并新节点RAID卷 FATRAID卷 FATid_min，id_max，volume_guidid_min，id_max，volume_guid0-1000-100150-200150-200300-400300-400404-405404-405450-500450-500guid => 310file_nameguid => 310...删除删除删除动作分裂删除动作 分裂RAID卷 FATRAID卷 FATid_min，id_max，volume_guidid_min，id_max，volume_guid0-1000-100150-200150-200300-309300-309311-400311-400404-405404-405450-500450-500guid => 310file_nameguid => 310...重新插入重新插入RAID卷 FATRAID卷 FATid_min，id_max，volume_guidid_min，id_max，volume_guid0-1000-100150-200150-200300-400300-400404-405404-405450-500450-500多节点合并多节点合并懒汉式设计，节点仅在操作时合并和分裂查询复杂度：log(n)合并和分裂确保幂等性（无后期垃圾回收和碎片整理）懒汉式设计，节点仅在操作时合并和分裂查询复杂度：log(n)...算法：det_hi = 310 + 1 => 311det_lo = 310 - 1 => 309命中碎片段，且连续309,310,311因此执行区间合并如果命中多个，执行多个碎片合并算法：det_hi = 310 + 1 => 311...Text is not SVG - cannot display方案2 分布式HASH法跨区卷跨区卷简单卷 V1简单卷 V1简单卷索引 S1简单卷索引 S1跨区卷索引 SIM1跨区卷索引 SIM1简单卷 V2简单卷 V2简单卷索引 S2简单卷索引 S2SIM 1 HASH冲突表SIM 1 HASH冲突表hash_key key_guid target_volume_guid目标HASH 实际KEY 真实所在的位置hash_key key_guid target_...0 FEA01 V20 FEA01...1 FCC02 V11 FCC02...SIM 1 直接索引表 （类编号表）SIM 1 直接索引表 （类编号表）hash_key target_volume_guidhash_key target_volume_g...0 V10 V11 V21 V2由于Hash可能冲突该表只存实际卷 GUID 冲突的情况。例如：0原则上应该存 V1，实践中因为Hash冲突（实际存在V2），因此记录后面去V2找由于Hash可能冲突该表只存实际卷 GUID 冲突的情况。...因为冲突因为冲突欲查询的 FBA01欲查询的...H(key) = Hash32( key ) ^ prime % NH(key) = Hash32( key ) ^ prime % NKey: FBA01Hash: 0RealVol: V1Key: FBA01...该表中 `目标卷GUID` 指的是无冲突下对应Hash值应该存储的卷位置该表中 `目标卷GUID` 指的是无冲突下对应...无冲突无冲突直接去V1找直接去V1找欲查询的 FCE01欲查询的...H(key) = Hash32( key ) ^ prime % NH(key) = Hash32( key ) ^ prime % NKey: FCE01Hash: 0RealVol: V2Key: FCE01...有冲突有冲突重定向去V2找重定向去V2找Text is not SVG - cannot displayAuthor：undefined Create time：2024-10-30 22:25Last editor：undefined Update time：2025-01-07 22:14 提交评论
