区块链技术博客
www.b2bchain.cn

GroupBy列和筛选器行在Pyspark中具有最大值 – python程序员分享

D0b2wT.gif

本文介绍了GroupBy列和筛选器行在Pyspark中具有最大值 – python程序员分享,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

我几乎可以肯定,这已经被问过了,但是a search through stackoverflow没有回答我的问题。不是[2]的副本,因为我想要最大值,而不是最常用的项目。我是pyspark的新手,并尝试做一些非常简单的事情:我想对“A”列进行分组,然后仅将每个组中具有最大值的行保留在“B”列中。像这样:

df_cleaned = df.groupBy("A").agg(F.max("B")) 

不幸的是,这将丢弃所有其他列-df_cleaned仅包含列“A”和最大值B。我该如何保留行? (“A”,“B”,“C” …)

参考方案

您可以使用udf在不使用Window的情况下执行此操作。

考虑以下示例:

import pyspark.sql.functions as f data = [     ('a', 5),     ('a', 8),     ('a', 7),     ('b', 1),     ('b', 3) ] df = sqlCtx.createDataFrame(data, ["A", "B"]) df.show() #+---+---+ #|  A|  B| #+---+---+ #|  a|  5| #|  a|  8| #|  a|  7| #|  b|  1| #|  b|  3| #+---+---+ 

创建一个Window以按列A进行分区,并使用它来计算每个组的最大值。然后过滤掉行,以使B列中的值等于最大值。

from pyspark.sql import Window w = Window.partitionBy('A') df.withColumn('maxB', f.max('B').over(w))     .where(f.col('B') == f.col('maxB'))     .drop('maxB')     .show() #+---+---+ #|  A|  B| #+---+---+ #|  a|  8| #|  b|  3| #+---+---+ 

或等效地使用pyspark-sql:

df.registerTempTable('table') q = "SELECT A, B FROM (SELECT *, MAX(B) OVER (PARTITION BY A) AS maxB FROM table) M WHERE B = maxB" sqlCtx.sql(q).show() #+---+---+ #|  A|  B| #+---+---+ #|  b|  3| #|  a|  8| #+---+---+ 

有效地将包含字母的字符串转换为Int-Apache Spark – java

我正在使用将用户作为字符串的数据集(即B000GKXY4S)。我想将这些用户中的每一个都转换为int,因此可以在Apache Spark ALS中使用Rating(user:Int,product:Int,rating:Double)类。最有效的方法是什么?最好使用Spark Scala函数或python本机函数。 参考方案 如果只想将任何可匹配的Strin…

在返回'Response'(Python)中传递多个参数 – python

我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)… python文件:def get(request): … return Response(seriali…

Python exchangelib在子文件夹中读取邮件 – python

我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…

R'relaimpo'软件包的Python端口 – python

我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。

Python ThreadPoolExecutor抑制异常 – python

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » GroupBy列和筛选器行在Pyspark中具有最大值 – python程序员分享
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们