2022年04月08日
前 言
近年来，随着5G时代的到来以及物联网和云计算的迅猛发展，人类社会逐渐步入了大数据时代。所谓大数据，是指所涉及的数据量规模巨大，无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。大数据在带来发展机遇的同时，也带来了新的挑战，催生了新技术的发展和旧技术的革新。例如，不断增长的数据规模和数据的动态快速产生要求必须采用分布式计算框架才能实现与之匹配的吞吐和实时性。
1.大数据计算基本概念
1.1 离线计算
大数据离线计算技术应用于静态数据的离线计算和处理，框架设计的初衷是