.0之后
1、.0之后,我们操作的sql对象是,
只是[Row](行是弱类型)
有弱类型()和强类型(类型化)
2.作为新版本的上下文,可以在sql中使用
整合在一起
3. .0之前的SQL不支持窗口函数和子查询。 2.0之后,标准开始实施并开始支持。
如果在2.0之前需要实现窗口函数和子查询,则需要使用Hive-On-Spark来实现。
4..0可以支持csv格式数据的输入和输出
5、spark sql默认生成的数据格式为(列存储)
5. [Row]——包含RDD+信息(用于描述数据的数据)
6、编程时可以使用DSL语言风格或者SQL语句风格进行操作。
7. 和之间可以使用as方法进行转换
8.获取json数据时,里面的数值数据会被解析成long类型
9. 不能添加、删除、修改数据,只能查询。
启用配置单元:
1、配置信息时添加("spark.sql..dir","d://spark-")
2、在启动hive支持的方法之前调用()方法