Spark2.0版本之后sparkSQL的新特性

 2024-01-28 01:04:05  阅读 0

.0之后

1、.0之后,我们操作的sql对象是,

只是[Row](行是弱类型)

有弱类型()和强类型(类型化)

2.作为新版本的上下文,可以在sql中使用

整合在一起

3. .0之前的SQL不支持窗口函数和子查询。 2.0之后,标准开始实施并开始支持。

如果在2.0之前需要实现窗口函数和子查询,则需要使用Hive-On-Spark来实现。

4..0可以支持csv格式数据的输入和输出

特性新什么_sql2024新特性_sql2024新特性

5、spark sql默认生成的数据格式为(列存储)

5. [Row]——包含RDD+信息(用于描述数据的数据)

6、编程时可以使用DSL语言风格或者SQL语句风格进行操作。

7. 和之间可以使用as方法进行转换

sql2024新特性_sql2024新特性_特性新什么

8.获取json数据时,里面的数值数据会被解析成long类型

9. 不能添加、删除、修改数据,只能查询。

启用配置单元:

1、配置信息时添加("spark.sql..dir","d://spark-")

2、在启动hive支持的方法之前调用()方法

标签: hive sql语言

如本站内容信息有侵犯到您的权益请联系我们删除,谢谢!!


Copyright © 2020 All Rights Reserved 京ICP5741267-1号 统计代码