区块链技术博客
www.b2bchain.cn

7.5 Spark外部数据源

这篇文章主要介绍了7.5 Spark外部数据源的讲解,通过具体代码实例进行16394 讲解,并且分析了7.5 Spark外部数据源的详细步骤与相关技巧,需要的朋友可以参考下https://www.b2bchain.cn/?p=16394

本文实例讲述了2、树莓派设置连接WiFi,开启VNC等等的讲解。分享给大家供大家参考文章查询地址https://www.b2bchain.cn/7039.html。具体如下:

文章目录

      • Apache Parquet 开荒
  • Data Sources
    • 1 通用的加载和保存方式
      • 1.1 加载数据
      • 1.2 保存数据
    • 2 读取文件实例
        • 2.1 Json
        • 2.2 Parquet
        • 2.3 CSV

Apache Parquet 开荒

Apache Parquet

Parquet 是 Hadoop 生态圈中主流的列式存储格式,最早是由 Twitter 和 Cloudera 合作开发,2015 年 5 月从 Apache 孵化器里毕业成为 Apache 顶级项目。

有这样一句话流传: HDFS 是大数据时代文件系统的事实标准,Parquet 就是大数据时代存储格式的事实标准。

Parquet与语言 框架无关

Parquet 是与语言无关的,而且不与任何一种数据处理框架绑定在一起,适配多种语言和组件,能够与 Parquet 适配的查询引擎包括 Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM Big SQL等,计算框架包括 MapReduce, Spark, Cascading, Crunch, Scalding, Kite 等,数据模型包括 Avro, Thrift, Protocol Buffer, POJOs 等。

Parquet文件格式
7.5 Spark外部数据源
Parquet文件的每个文件块负责存储一个行组, 行组 由列块组成 ,一个列块负责存储一列数据,每个列块数据以页为单位

Parquet的原子类型
7.5 Spark外部数据源
Parquet的逻辑类型

7.5 Spark外部数据源

Data Sources

Spark Data Sources

SparkSQL 提供了通用的API去读不同格式的数据,默认保存为Parquet格式

1 通用的加载和保存方式

7.5 Spark外部数据源

1.1 加载数据

scala> spark.read.format("…")[.option("…")].load("…") 
  • format("…"):指定加载数据的类型,包括"csv"、“jdbc”、“json”、“orc”、“parquet"和"textFile”。
  • load("…"):在"csv"、“jdbc”、“json”、“orc”、"parquet"和"textFile"格式下需要传入加载数据的路径
  • option("…"):在"jdbc"格式下需要传入JDBC相应参数,url、user、password和dbtable
    我们前面都是使用read API 先把文件加载到 DataFrame然后再查询,其实,我们也可以直接在文件上进行查询: 文件格式.文件路径
scala>spark.sql("select * from json.`/opt/module/data/user.json`").show 

1.2 保存数据

2 读取文件实例

2.1 Json

JavaScript Object Notation

    /*     * 1 JSON     * */     import spark.implicits._     //读取数据     val JSON = spark.read.json("D:\workplace\ifeng-Spark\ifeng-Spark-core\data\employees.json")     //创建临时表     val JsonView = JSON.createOrReplaceTempView("emp")     //查询数据     spark.sql("select name from emp where salary > 3500").show() 

2.2 Parquet

Spark SQL的默认数据源为Parquet 格式,Parquet是一种有效存储列式格式

数据源为Parquet文件时,不需要使用format

    /*     * 2 Parquet     * SparkSQL 默认的数据源格式,Parquet是一种能够有效存储嵌套数据 的列存储格式     * 数据源为Parquet时,不需要使用format     * */     //读取Parquet     val ParquetRDD = spark.read.load("D:\workplace\ifeng-Spark\ifeng-Spark-core\data\users.parquet")     // careteOrRepalceTempView     val ViewParquet = ParquetRDD.createOrReplaceTempView("color")     //      spark.sql("select * from color").show() 

2.3 CSV

Spark SQL 可以配置CSV文件的列表信息,读取CSV文件第一行设置为数据列

本文转自互联网,侵权联系删除7.5 Spark外部数据源

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 7.5 Spark外部数据源
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们