淄博市知识产权公共服务平台

导航
专利号 2025114684353 申请日 2025-10-15 专利名称 一种基于湖仓一体架构的动态分级存储方法及系统
授权日 2025-12-30 专利权人 山东商业职业技术学院 发明人 曹代;姜晓琳;朱佳;王立英
主分类号 G06F3/06 关键词 应用领域
摘要 本发明公开了一种基于湖仓一体架构的动态分级存储方法及系统,涉及动态分级存储技术领域,包括:数据管理层:基于Apache Doris的Catalog、Database与Table三层逻辑结构;物理存储层:包括高速缓存层、中间缓冲层与持久化层;所述高速缓存层由NVRAM/NVDIMM构成,搭载于Doris的BE/FE节点;所述中间缓冲层由NVMe SSD构建的Burst Buffer系统构成;所述持久化层包括SSD阵列与磁盘阵列,用于低成本大容量数据留存;计算引擎层:集成Seatunnel、Spark与Flink。本发明要解决的技术问题是提供一种基于湖仓一体架构的动态分级存储方法及系统,融合大数据常用计算引擎如seatunnel、Flink、Spark,通过热点数据的定义,结构化数据和非结构化数据的标签定义,以及数据属性实现湖仓数据的分级存储和自动迁移。
创新点
技术分类 标 签 战兴产业 新一代信息技术    互联网与云计算、大数据服务
运营方式 合作方式
联系人 联系电话 电子邮箱
详细说明
【关 闭】