Exercícios sobre manipulação e transformação de dados com Pandas Python

Na aula de hoje,  a gente vai extrair um arquivo Excel(formato .xlsx) que está em uma pasta no meu computador e realizar as etapas de manipulação e transformação dos dados e no final, converter o arquivo em um formato CSV.

1. Eu tenho esse arquivo de vendas aqui no meu computador

2. eu vou abrir esse arquivo no Excel para gente olhar a maneira como está estruturado.

Para realizar a extração e tratamento desse arquivo, irei usar a as funções da Biblioteca Pandas do Python.

O que é o Pandas?

Pandas é uma biblioteca de software criada para manipulação e análise de dados com Python.

A biblioteca Pandas  é uma biblioteca muito poderosa para a manipulação de dados tabulares. Em Python, os dados tabulares são armazenados no Pandas DataFrame.

DataFrame  é uma estrutura de dados bidimensional em forma de tabelas, semelhante a uma tabela em SQL ou até com uma planilha do Excel, ou do Google Sheets.

Observe a figura:

Diferença entre Series e DataFrame

3.    Eu vou usar a IDE Visual Studio Code para fazer esse treinamento

4.     Abrindo o arquivo

Para extrair o arquivo, vou precisar importar a biblioteca Pandas, se você não tem instalada, vá no terminal do seu ambiente de desenvolvimento e digite: pip install pandas. Para importar vamos utilizar o comando import pandas as pd.

Esse pd é para dar um apelido a nossa biblioteca, com isso,  ao invés de sempre ter que escrever pandas só vamos precisar escrever pd para utilizar os comandos dessa biblioteca.

Em seguida, vou usar a função read_excel para ler o arquivo Excel, dentro da função, vou inserir o caminho de onde se encontra o meu arquivo e também, a extensão(xlsx).

import pandas as pd

meu_arquivo = pd.read_excel("C:\\Users\\PHILCO15A\\Music\\python\\vendas.xlsx")

print(meu_arquivo)        

Ao imprimir os códigos, teremos  a seguinte saída:

5.    Estou querendo saber o tipo de dados de cada coluna que está no arquivo

Para verificar o tipo de dados no DataFrame do pandas, podemos usar o atributo “dtypes”. O atributo retorna uma série com o tipo de dado de cada coluna . 

import pandas as pd

meu_arquivo = pd.read_excel("C:\\Users\\PHILCO15A\\Music\\python\\vendas.xlsx")

print(meu_arquivo.dtypes)

Ao executar as linhas de códigos, teremos  a seguinte saída:

Nossa, o pandas inseriu a minha coluna de vendas como INT e isso, não está em conformidade porque a venda envolve casas decimais. Por isso, preciso alterar o tipo de dados para float(ponto flutuante, um tipo de dados que aceita casas decimais).

• Convertendo o tipo de dados com a função astype ()

import pandas as pd

meu_arquivo = pd.read_excel("C:\\Users\\PHILCO15A\\Music\\python\\vendas.xlsx")

# CONVERTENDO O TIPO DE DADOS

meu_arquivo['ValorVenda',]=meu_arquivo['ValorVenda'].astype(float)

meu_arquivo['ValorCusto']=meu_arquivo['ValorCusto'].astype(float)

meu_arquivo['CustoEntrega']=meu_arquivo['CustoEntrega'].astype(float)

# MOSTRANDO OS TIPOS CONVERTIDOS

print(meu_arquivo.dtypes)

Ao executar as linhas de códigos, teremos  a seguinte saída:

Etapas para filtrar, ordenar(classifcar) e agrupamento de dados

6.  Eu vou ordenar a minha tabela(DataFrame) em ordem crescente.

Para realizar essa tarefa, vou usar o método sort_values() que é uma função do Pandas que classifica um DataFrame em ordem crescente ou decrescente da coluna passada como argumento.

• Selecionar a coluna "NomeCliente" e ordenar por ordem crescente.
  Neste caso, é só colocar o nome da coluna, após a cláusula by do método sort_values()

   print(meu_arquivo.sort_values(by='NomeCliente'))

Ao executar essa linha de código, teremos  a seguinte saída:

• Ordenar os dados de forma decrescente pela coluna "ValorVenda".

Para isso, vou colocar o valor booleano False , no ascending

print(meu_arquivo.sort_values(by='ValorVenda',ascending=False))

Ao executar essa linha de código, teremos  a seguinte saída:

7.  Renomear a coluna "ValorVenda" para preço.

  Sempre que desejamos atribuir um novo nome a uma coluna, utilizamos o método rename.

meu_arquivo = meu_arquivo.rename(columns={'ValorVenda':'Preço'})

print(meu_arquivo)

Ao executar essa linha de código, teremos  a seguinte saída:

Alterando o nome da coluna 

8.  Calcular o total de clientes por Estado.

Se eu preciso trazer o total de clientes por Estado, significa que eu tenho que agrupar todos os clientes que são de um determinado Estado, ou seja, vou dividir os meus clientes de acordo com a localidade em que foi realizada a venda.

Para isso, vou usar a função groupby. A função groupby () é usada para dividir os dados em grupos com base em alguns critérios.  

Vou criar uma variável para receber os dados agrupados.

meu_arquivo_agrupado=meu_arquivo.groupby('Estado')['NomeCliente'].count()

print (meu_arquivo_agrupado)

Ao executar essa linha de código, teremos  a seguinte saída:

9. Selecionar e trazer apenas as colunas: DataNotaFiscal, NomeCliente, Estado e Preço

Para extrair uma única ou várias colunas, podemos usar o operador colchete.

meu_arquivo_selecionado= meu_arquivo[['DataNotaFiscal','NomeCliente','Estado','Preço']]

print (meu_arquivo_selecionado)

Ao executar essa linha de código, teremos  a seguinte saída:

Etapa de Limpeza e Transformação de dados

10. Durante a execução do código anterior , eu marquei uma venda que está com dados duplicados. Eu preciso tirar essa duplicidade.

Para remover os itens duplicados, utilizamos a função do pandas drop_duplicates.

meu_arquivo_selecionado= meu_arquivo[['DataNotaFiscal','NomeCliente','Estado','Preço']]

remover_duplicados_arquivo_selecionado = meu_arquivo_selecionado.drop_duplicates()

print (remover_duplicados_arquivo_selecionado)

Ao executar essa linha de código, teremos  a seguinte saída:

11. Converter o DataFrame para o formato CSV

Vou utilizar o DataFrame "remover_duplicados_arquivo_selecionado" por ser o Dataframe que não tem dados duplicados. Para realizar a conversão, vou usar a função to_csv.

arquivo_csv = remover_duplicados_arquivo_selecionado.to_csv("C:\\Users\\PHILCO15A\\Music\\python\\arquivo.csv", sep =';',encoding = 'utf-8')

Com isso, arquivo foi salvo 

no caminho desejado : C:\Users\PHILCO15A\Music\python. Com o nome "arquivo"

#LinguagemPython #BibliotecaPandas #SeriesTemporais #introdução_LinguagemPython #PythonLanguage #ComoAprenderPython #ExercíciosdePython #pip_em_python #arquivo_CSV #DataFrame #DataFrame_em_python #iloc() #loc() #Função_loc() #Python #funções_em_python #Tratamento_de_dados.