用spark替代hadoop中的计算框架需要什么技术?

 2024-02-19 04:02:19  阅读 0

首先

由3个核心组件组成

它是一个分布式计算程序开发框架。 它没有特殊的业务功能。 用户需要使用API​​来编写自己的程序。 然而,使用API​​开发的程序自然是分布式计算程序(相对于你直接用jdk编写的数据分析程序)

HDFS是一个分布式文件系统,对外提供完整的文件存储服务; 通过客户端可以对HDFS进行文件写入、文件读取、文件删除、移动、重命名等管理操作。

Yarn是一个为分布式计算程序提供运行资源管理和调度的系统。 它没有直接的商业用途。 它为您编写的分布式计算程序提供服务。 一般情况下,不需要直接编程开发。

我们来谈谈火花

Spark的功能非常集中。 它是一个用于开发分布式计算程序的开发框架。 与其类似,但其底层实现机制有所不同。 外界最直观的感受就是,开发API完全不同。但是,它和对方能做的事情,对方都能做

hadoop生态系统的工具_go生态中替换hadoop_举例说明hadoop生态圈

我们来谈谈更换

“火花替代”一词是不正确的。 正确的术语是:“火花替换

Spark的替代不需要主要问题中的所谓“什么技术”。 Spark本身就是一种替代技术。

go生态中替换hadoop_举例说明hadoop生态圈_hadoop生态系统的工具

您只需更换它即可。 所谓替换,就是用Spark的API重写你原来写的程序。 写完之后,就像程序一样,提交给YARN执行。

题外话

提问者在提问结束时也谦虚了。 嗯,这个问题确实很简单,表达本身也很简单。 说明你对Spark的理解还没有达到入门水平。

强烈建议您首先学习一些基本概念并练习基本实践。

标签: 替换 程序 运算

如本站内容信息有侵犯到您的权益请联系我们删除,谢谢!!


Copyright © 2020 All Rights Reserved 京ICP5741267-1号 统计代码