基于Spark平台的XP-EHH算法的分布式处理实现方法

	基于Spark平台的XP-EHH算法的分布式处理实现方法
	周维 ; 谢海兵 ; 刘长春 ; 罗静 ; 张亚平
	2016-11-07
专利权人	云南大学
公开日期	2017-03-15
授权国家	中国
专利类型	发明
摘要	本发明公开了一种基于Spark平台的XP‑EHH算法的分布式处理实现方法，首先采集染色体数据，存储至HDFS文件系统，然后对染色体数据进行预处理，将预处理后的染色体数据缓存至Spark平台的RDD缓存中，将需要使用的数据广播到参与XP‑EHH算法分布式处理的Spark工作节点中；将ped文件RDD拆分成不同的片段，发放给各个Spark工作节点，各个Spark工作节点并行化地执行XP‑EHH计算的各个步骤，从而实现分布式处理。采用本发明可以因为XP‑EHH算法的并行化执行，使得在大数据环境下基于Spark平台的XP‑EHH算法能够保持良好的扩展性，进而能够克服现有实现方式无法支持大数据的问题。
申请日期	2016-11-07
专利号	CN106503225A
语种	中文
申请号	201610972593.7
文献类型	专利
条目标识符	http://ir.kiz.ac.cn/handle/152453/11631
专题	科研部门_分子进化与基因组多样性（张亚平）
作者单位	1.云南大学 2.中国科学院昆明动物研究所
推荐引用方式 GB/T 7714	周维,谢海兵,刘长春,等. 基于Spark平台的XP-EHH算法的分布式处理实现方法. CN106503225A[P]. 2016-11-07.