Dividir dataframe em menor dataframe por Nomes de coluna

Question 1

Então, eu estou fazendo uma série de Tempo/LSTM atribuição e eu tenho um conjunto de dados de estoque: https://www.kaggle.com/camnugent/sandp500

A coisa é que eu preciso dividir o principal dataframe em menor dataframes com o nome de cada empresa. Existe uma maneira rápida de fazer isso? porque há dezenas de nomes de empresas, tenho visto que isso pode ser feito com iloc mas o esforço é muito grande.

df = pd.read_csv('all_stocks_5yr.csv', parse_dates=['date'])
df['date'] = pd.to_datetime(df['date'])

grouped_df = df.groupby('Name')

Aqui pode ser visto melhor:

Como você pode ver, existem diversas empresas com nomes diferentes, o que eu quero é uma dataframe para cada empresa. Ajuda é muito apreciada

Question 2

Suponha que esse é o dataframe:

 Name  price
0   aal      1
1   aal      2
2   aal      3
3   aal      4
4   aal      5
5   aal      6
6   bll      7
7   bll      8
8   bll      9
9   bll      8
10  dll      7
11  dll     56
12  dll      4
13  dll      3
14  dll      3
15  dll      5

Em seguida, faça o seguinte:

for Name, df in df.groupby('Name'):
    df.to_csv("Price_{}".format(Name)+".csv", sep=";")

Que vou guardar todos os sub-dataframes como csv. Para ver o que o código faz:

for Name, df in df.groupby('Name'):
    print(df)

retorna:

Name  price
0  aal      1
1  aal      2
2  aal      3
3  aal      4
4  aal      5
5  aal      6
  Name  price
6  bll      7
7  bll      8
8  bll      9
9  bll      8
   Name  price
10  dll      7
11  dll     56
12  dll      4
13  dll      3
14  dll      3
15  dll      5

Se você necessitar de repor o índice em todos df, faça isso:

for Name, df in df.groupby('Name'):
    gf = df.reset_index()
    print(gf)

o que dá:

index Name  price
0      0  aal      1
1      1  aal      2
2      2  aal      3
3      3  aal      4
4      4  aal      5
5      5  aal      6
   index Name  price
0      6  bll      7
1      7  bll      8
2      8  bll      9
3      9  bll      8
   index Name  price
0     10  dll      7
1     11  dll     56
2     12  dll      4
3     13  dll      3
4     14  dll      3
5     15  dll      5

Question 3

Este deve ser factível com um valor booleano de indexação:

list_of_dataframes = [
    df[df.Name == name]
    for name
    in df.Name.unique()
]

Serge de Gosson de Varennes · Answer 1 · 2021-11-23T17:49:39

Suponha que esse é o dataframe:

 Name  price
0   aal      1
1   aal      2
2   aal      3
3   aal      4
4   aal      5
5   aal      6
6   bll      7
7   bll      8
8   bll      9
9   bll      8
10  dll      7
11  dll     56
12  dll      4
13  dll      3
14  dll      3
15  dll      5

Em seguida, faça o seguinte:

for Name, df in df.groupby('Name'):
    df.to_csv("Price_{}".format(Name)+".csv", sep=";")

Que vou guardar todos os sub-dataframes como csv. Para ver o que o código faz:

for Name, df in df.groupby('Name'):
    print(df)

retorna:

Name  price
0  aal      1
1  aal      2
2  aal      3
3  aal      4
4  aal      5
5  aal      6
  Name  price
6  bll      7
7  bll      8
8  bll      9
9  bll      8
   Name  price
10  dll      7
11  dll     56
12  dll      4
13  dll      3
14  dll      3
15  dll      5

Se você necessitar de repor o índice em todos df, faça isso:

for Name, df in df.groupby('Name'):
    gf = df.reset_index()
    print(gf)

o que dá:

index Name  price
0      0  aal      1
1      1  aal      2
2      2  aal      3
3      3  aal      4
4      4  aal      5
5      5  aal      6
   index Name  price
0      6  bll      7
1      7  bll      8
2      8  bll      9
3      9  bll      8
   index Name  price
0     10  dll      7
1     11  dll     56
2     12  dll      4
3     13  dll      3
4     14  dll      3
5     15  dll      5

o conjunto de dados tem alguns campos, tais como: abrir, alta, baixa, perto... Como faço para adicioná-los ao transformar o df para csv?
@enekovalero Você não precisa fazer mais nada do que o código acima. Minha df foi simplesmente um exemplo. Todas as colunas serão todos produzidos dataframe. É apenas filtrado no nome. Para o seu futuro de perguntas (ou se você quer me testar no seu real de dados), não poste imagens. Em vez de o fazer: df.head(50).to_dict() (ou qualquer número em vez de 50) e colar o resultado em entre `` <aqui> `` em você TÃO-pergunta.
@eneko valero...eu não acho que o seu conceito faz muito sentido, ou em qualquer sentido que seja. Você pode tentar o conceito referenciado abaixo? Provavelmente apenas o primeiro 1/4 aplica-se o que você está fazendo. github.com/ASH-WICUS/Notebooks/blob/master/...

Joooeey · Answer 2 · 2021-11-23T16:22:54

Este deve ser factível com um valor booleano de indexação:

list_of_dataframes = [
    df[df.Name == name]
    for name
    in df.Name.unique()
]

Isto irá funcionar, mas eu imagino que vai ser muito lento em um grande conjunto de dados, porque você tem que calcular todo o boolean série para cada nome exclusivo.

Dividir dataframe em menor dataframe por Nomes de coluna

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria