Como obter a lista de amigos comuns entre qualquer par de amigos na rede usando pyspark

Question 1

Eu tenho três registros como este [('a1', ['b1', 'c1', 'd1', 'e1']), ('a2', ['b1', 'c2', 'd2', 'e1']),('a3', ['b1', 'c2', 'd1', 'e2'])] contém o id de chave de como a lista de valores para cada chave.

Eu quero obter o número total de valores na lista para cada chave pyspark.
Como eu posso obter a lista de amigos comuns entre qualquer par de demônios em pyspark.

Question 2

1 Simplesmente usa o size função.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilize o array_intersect função para obter o cruzamento de matrizes.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

过过招 · Answer 1 · 2021-11-24T02:39:00

1 Simplesmente usa o size função.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilize o array_intersect função para obter o cruzamento de matrizes.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

Como obter a lista de amigos comuns entre qualquer par de amigos na rede usando pyspark

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria