基于Spark分布式框架的海量星表數(shù)據(jù)時序重構(gòu)方法研究

摘要： 時序重構(gòu)是時域天文學(xué)中的一個重要數(shù)據(jù)處理步驟，也是擬合光變曲線、開展時域分析研究的基礎(chǔ)。Hadoop、Spark這類MapReduce分布式模型在執(zhí)行過程中分布式集群節(jié)點(diǎn)間的任務(wù)比較獨(dú)立，需要跨節(jié)點(diǎn)的數(shù)據(jù)傳輸量較少。提出了非阻塞異步執(zhí)行流程，每個分布式進(jìn)程完全針對獨(dú)立天區(qū)的數(shù)據(jù)進(jìn)行連續(xù)處理，而分塊邊緣的新增天體導(dǎo)致的其他節(jié)點(diǎn)的新增證認(rèn)任務(wù)延時批量追加，并且會根據(jù)各進(jìn)程間的進(jìn)度不... （共16頁）