| 专利号 | 2019105433473 | 申请日 | 2019-06-21 | 专利名称 | 海量数据下并行Skyline处理方法及系统 |
| 授权日 | 2021-11-12 | 专利权人 | 齐鲁工业大学 | 发明人 | 鲁芹;梁心美;李名玉 |
| 主分类号 | G06F9/50 | 关键词 | 应用领域 | ||
| 摘要 | 本公开提出了海量数据下并行Skyline处理方法及系统，包括：分配web数据到worker节点：将web数据上传到HDFS中，通过Hadoop的文件系统HDFS将数据进行切分，将切分的数据块分配到worker节点，以进行并行计算；worker节点进行Skyline计算：通过本地Skyline计算阶段得到本地候选Skyline服务，然后将每个本地Skyline候选服务通过网络传送到master主节点，经过master节点Skyline计算，最终得到全局Skyline服务；master节点Skyline计算：汇总所有worker节点的候选Skyline服务，再次通过改进的Skyline算法，将所有的数据分成4个区域，这样得到全局Skyline服务。将传统的Skyline算法进行改进，将服务集合进行区域划分，大量减少了不具有支配关系的数据点，节省了内存的占用，并将改进的Skyline算法通过Spark平台实现了并行化。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 互联网与云计算、大数据服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
