kempii
/
datos_numeros_y_genero
2
0
Fork 1
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Actualiza preprocesamiento de datos

This commit is contained in:
Gregorio Reyes 2022-12-07 23:00:26 -06:00
parent 6952b59710
commit 5e62f5d870
2 changed files with 137072 additions and 137045 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

274080
data/preprocessed_dvgm.csv
View File

File diff suppressed because it is too large Load Diff

37
src/preprocesar_datos.py
View File

@ -3,13 +3,38 @@ import pandas as pd
import utilerias as ut
def reformatea_fecha(data):
"""Corrige el error en el formato de la fecha."""
data.loc[:, "fecha"] = pd.to_datetime(data.loc[:, "fecha"], format="%d/%m/%y")
data_date_wrong = data.loc[(data.fecha.dt.day >= 1) & (data.fecha.dt.day <= 12)]
data_date_right = data.loc[data.fecha.dt.day >= 13]
data_date_wrong.loc[:, "fecha"] = data_date_wrong.loc[:, "fecha"].dt.date
data_date_right.loc[:, "fecha"] = data_date_right.loc[:, "fecha"].dt.date
data_date_wrong.loc[:, "fecha"] = pd.to_datetime(
data_date_wrong.loc[:, "fecha"], format="%Y-%d-%m"
)
data_date_right.loc[:, "fecha"] = pd.to_datetime(
data_date_right.loc[:, "fecha"], format="%Y-%m-%d"
)
new_data = pd.concat([data_date_wrong, data_date_right])
new_data.loc[:, "fecha"] = new_data.loc[:, "fecha"].dt.strftime(
date_format="%Y-%m-%d"
)
return new_data
def formatea_fecha(data):
"""Formatea para tener fecha completa con hora, minutos y segundos."""
data.loc[:, "fecha_completa"] = (
data.loc[:, "fecha"] + " " + data.loc[:, "hora_recepcion"]
)
data.loc[:, "fecha_completa"] = pd.to_datetime(
data.loc[:, "fecha_completa"], format="%d/%m/%y %H:%M:%S"
data.loc[:, "fecha_completa"], format="%Y-%m-%d %H:%M:%S"
)
@ -53,7 +78,9 @@ def guarda_en_csv(data):
def run(data):
formatea_fecha(data)
limpia_descripcion_cierre(data)
limpia_via_recepcion(data)
guarda_en_csv(data)
reformatted_data = reformatea_fecha(data)
formatea_fecha(reformatted_data)
limpia_descripcion_cierre(reformatted_data)
limpia_via_recepcion(reformatted_data)
guarda_en_csv(reformatted_data)
return reformatted_data