[R-es] buscar y reemplazar tabs dentro de un archivo
Hola, Además de la solución de modificar el fichero antes de procesarlo en R usando comando Unix/Linux del sistema, puedes probar a hacerlo todo en "R" con otras funciones de lectura de otros paquetes. Mira este ejemplo: En un fichero "Myfile.txt" tengo las siguientes lÃneas con algunas "trampas": #--------------- DeployID Date.Time LocationQuality Latitude Longitude STM05-1 2005/02/28 17:35 Good -35.562 177.158 STM05-1 2005/02/28 19:44 Good -35.487 177.129 STM05-1 2005/02/28 23:01 Unknown -35.399 177.064 STM05-1 2005/03/01 07:28 Unknown -34.978 177.268 STM05-1 2005/03/01 18:06 Poor -34.799 177.027 STM05-1 2005/03/01 18:47 Poor -34.85 177.059 STM05-2 2005/02/28 12:49 Good -35.928 177.328 STM05-2 2005/02/28 21:23 Poor -35.926 177.314 #--------------- - En la segunda lÃnea entre SMT05-1 y 2005... hay varios espacios y varios tabuladores. - En la tercera lÃnea entre STM05-1 y 2005, hay dos tabuladores - En la quinta lÃnea entre la fecha y 07:28 hay dos/tres tabuladores... Mira lo que son capaces de hacer estas funciones:
library(data.table)
fread("Myfile.txt")
V1 V2 V3 V4 V5 V6
1: STM05-1 2005/02/28 17:35 Good -35.562 177.158
2: STM05-1 2005/02/28 19:44 Good -35.487 177.129
3: STM05-1 2005/02/28 23:01 Unknown -35.399 177.064
4: STM05-1 2005/03/01 07:28 Unknown -34.978 177.268
5: STM05-1 2005/03/01 18:06 Poor -34.799 177.027
6: STM05-1 2005/03/01 18:47 Poor -34.850 177.059
7: STM05-2 2005/02/28 12:49 Good -35.928 177.328
8: STM05-2 2005/02/28 21:23 Poor -35.926 177.314
Warning message:
In fread("Myfile.txt") :
Starting data input on line 2 and discarding line 1 because it has too
few or too many items to be column names or data: DeployID Date.Time
LocationQuality Latitude Longitude
library(readr)
read_table("Myfile.txt")
DeployID Date.Time LocationQuality Latitude Longitude 1 STM05-1 2005/02/28 17:35 Good -35.562 177.158 2 STM05-1 2005/02/28 19:44 Good -35.487 177.129 3 STM05-1 2005/02/28 23:01 Unknown -35.399 177.064 4 STM05-1 2005/03/01 07:28 Unknown -34.978 5 STM05-1 2005/03/01 18:06 Poor -34.799 177.027 6 STM05-1 2005/03/01 18:47 Poor -34.85 177.059 7 STM05-2 2005/02/28 12:49 Good -35.928 177.328 8 STM05-2 2005/02/28 21:23 Poor -35.926 177.314 La función "fread()" del paquete data.table avisa de un posible error con la cabecera, pero ignora todas las trampas que hemos puesto y crea las columnas donde corresponde. Y como cabecera pone directamente "V1", "V2",.... Mientras que "read_table" ni avisa, e incluye la cabecera y las lÃneas con las trampas. La solución "fread()" puede servirte tal cual. Mientras que read_table podrÃa ayudarte pero exigirÃa que luego la salida como data.frame la post-procesaras... Cuidado con "fread()" que la salida es un data.table y data.frame. Mi consejo serÃa que a la salida de fread() la convirtieras a un data.frame puro con "as.data.frame()" para no tener problemas. Salvo que el resto de tu código lo quieras hacer con la sintaxis de data.table. Gracias, Carlos Ortega www.qualityexcellence.es El 18 de mayo de 2016, 10:02, eric <ericconchamunoz en gmail.com> escribió:
Muchas gracias Javier ... cuando hay un doble \teb\teb desaparece la fila completa al importar el archivo a un data.frame, por eso queria modificarlo antes de importar el archivo, o pensaba que quiza habia una funcion robusta para importar, que no fuera afectada por el doble tab muchas gracias por su sugerencia, Saludos, Eric. On 05/17/2016 11:19 PM, Javier Marcuzzi wrote:
Estimado Eric Las filas que faltan, ¿son filas enteras, donde todo es valor NA o ?? en un data.frame? Porque si es asà podrÃas importar todo y luego buscar (filtrar) los que no son NA. Copio y pego un código que utilizo en un trabajo, posiblemente le sea útil. Tratamientos$Tratamiento[Tratamientos$Tratamiento == ""] <- NA # asignar NA a las celdas vacÃas Tratamientos<- Tratamientos[ !is.na(Tratamientos$Tratamiento),] #Solo dejo filas en las que las tratamiento son diferentes de cero Javier Rubén Marcuzzi De: ja palazon Enviado: martes, 17 de mayo de 2016 18:06 Para: r-help-es en r-project.org Asunto: Re: [R-es] buscar y reemplazar tabs dentro de un archivo Usa la función system para desde R usar las herramientas del sistema. On 17/05/16 16:13, eric wrote:
Hola Jose, muchas gracias por la sugerencia, no conocia la existencia de "sed" ... yo preguntaba por la posibilidad de hacerlo con R mismo para no tener que escribir algo en otro lenguaje, porque te refieres a "sed" en linux, no ? y tambien por lo mucho mejor que es un script que hacerlo a mano, considerando que son varios cientos de archivos ... voy a probar con un script de bash a ver si me funciona. Muchas gracias a todos, Saludos, Eric. On 05/15/2016 11:57 AM, JA Palazón wrote:
Hola Lo más sencillo es utilizar sed, desde la lÃnea de comandos: sed 's/^I^I/^I/g' ficheroOriginal.dat >ficheroCorregido.dat Alternativa: usa la hoja de cálculo de libre office te da la opción de eliminar repeticiones de separador de campos. Espero que te sirva El 14/05/16 a las 18:58, eric escribió:
Estimados, tengo el siguiente problema: tengo muchos archivos (algunos cientos) con columnas de datos separados por \tab y al importar en R me di cuenta que me faltaban algunas filas ... despues de 3 dias dandole vueltas al problema encontre que las filas que faltaban tenian un doble \tab en alguna columna Luego la pregunta es: existe alguna forma de importar los archivos de modo que el doble \tab no produzca errores o existe alguna forma de "abrir" los archivos sin importarlos en R (pero con R), buscar y reemplazar ese doble \tab para luego importar Saludos y muchas gracias, Eric,
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
-- Forest Engineer Master in Environmental and Natural Resource Economics Ph.D. student in Sciences of Natural Resources at La Frontera University Member in AguaDeTemu2030, citizen movement for Temuco with green city standards for living Nota: Las tildes se han omitido para asegurar compatibilidad con algunos lectores de correo.
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]