大数据领域首个批流融合国家标准发布,阿里云引领行业发展近日,国家市场监督管理总局、国家标准化管理委员会正式发布了大数据领域首个批流融合国家标准——GB/T44216-2024《信息技术大数据批流融合计算技术要求》。该标准由阿里云计算有限公司牵头起草,将于2025年2月1日起正式实施
大数据领域首个批流融合国家标准发布,阿里云引领行业发展
近日,国家市场监督管理总局、国家标准化管理委员会正式发布了大数据领域首个批流融合国家标准——GB/T44216-2024《信息技术大数据批流融合计算技术要求》。该标准由阿里云计算有限公司牵头起草,将于2025年2月1日起正式实施。
该标准对批流融合技术进行了清晰定义,并规定了批流融合系统需要具备的关键能力。这些能力包括:
- 同时支持实时和离线计算模型: 批流融合系统能够灵活应对各种数据处理需求,满足不同场景的实时性和离线性要求。
- 统一资源管理: 统一管理计算资源,提高资源利用率,降低运营成本。
- 统一计算框架: 提供统一的计算框架,简化开发和维护,提高效率。
- 统一API: 提供统一的应用程序接口,方便用户调用,提高开发效率。
- 统一SQL接口: 提供统一的SQL语言接口,方便用户使用,降低学习成本。
- 统一作业管理: 提供统一的作业管理工具,方便用户管理和监控作业,提升效率。
- 统一权限管理: 提供统一的权限管理机制,保证数据安全和系统稳定。
- 弹性拓展: 支持系统灵活扩展,适应数据量和计算需求的变化。
批流融合是大数据领域的重要新兴技术趋势。随着互联网的发展,企业对实时数据计算的需求不断攀升。传统批量计算范式在时延方面难以满足要求,而实时处理数据的流式计算则能够快速响应需求。将实时处理数据的流式计算与批量计算在统一技术框架下融合,成为行业必经之路。
Apache Flink作为以流计算兼容批计算的开源计算引擎,是大数据计算领域的后起之秀。Flink允许用户以一套代码进行流处理或批处理,节省了大量开发成本。阿里巴巴于2019年收购了Apache Flink母公司,并结合自身电商场景实践,投入大量研发力量优化Apache Flink产品,使其达到高吞吐、低延迟、高可用、高准确性的企业级应用标准。阿里云持续为全球开源社区贡献,成为推动社区和技术创新的主导力量。
目前,Apache Flink已成为行业内批流融合计算的事实标准,阿里巴巴、蚂蚁集团、字节跳动、小米、快手、小红书、哔哩哔哩、滴滴、中国联通等上百家企业都在使用Apache Flink进行实时计算。
阿里云在2019年发起了批流融合计算技术的国家标准立项和编制工作,并联合行业内各单位共同起草完善。该标准融合了阿里云实时计算Flink版的打造经验和丰富的行业实践,将更好地推动批流融合计算的技术发展,指导国内批流融合计算系统的设计、开发和部署,并进一步帮助批流融合技术在各行业中落地应用。
随着国家标准的正式实施,批流融合技术将迎来快速发展期,并将在更多领域得到应用,为企业带来更大的价值。阿里云作为该标准的牵头起草单位,将继续致力于推动批流融合技术的创新和发展,为行业提供更加可靠和先进的大数据解决方案。
声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。如果侵害了您的合法权益,请您及时与我们联系,我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!(Email:[email protected])