-----Mensaje original-----
De: r-help-es-bounces en r-project.org [mailto:r-help-es-bounces en r-
project.org] En nombre de Javier Marcuzzi
Enviado el: miércoles, 04 de junio de 2014 1:54
Para: Joan Carmona
CC: r-help-es; laura tomé
Asunto: Re: [R-es] Cargar csv de 16GB en R
Estoy de acuerdo con la observación de Joan, yo supe utilizar formas
para trabajar con más memoria de la configurada como base, pero
tengamos en cuenta que una vez importados los datos, cualquier
operación estará entre la memoria fÃÂsica y la virtual, es todo un
desafÃÂo y dependerá del análisis estadÃÂstico (me refiero a los
algoritmos que ordenen al CPU).
Mi experiencia cuándo trabaje con muchos datos y tocando los
parámetros de memoria, en algo parecido a un modelo mixto, una
variable 5 minutos de procesamiento, dos variables unos 15 minutos,
ambas más una relación más de dos dÃÂas de procesamiento, esa
relación en solo una variable algo como una hora. Básicamente podÃÂa
por separado, pero cuándo sumaba algo al modelo de tiempos razonables
pasaba a dos dÃÂas (medido en la pantalla de R porque pasaba datos
según procesaba - verbose=TRUE).
Javier Marcuzzi
El 3 de junio de 2014, 18:54, Joan Carmona <jcmld en carmonarocha.com>
escribió:
Hola Laura,
Asumo que estás usando una versión de R de 64 bits, de lo contrario
ya irÃÂas muy limitada por la versión, si ésta fuera de 32 bits.
R puede trabajar con objetos mayores que la memoria fÃÂsica
gracias a la memoria virtual de la máquina.
Pero hay que tener en cuenta que, en Windows, R limita la memoria
disponible para una sesión de R. Para cambiar este lÃÂmite, mira los
comandos memory.size y memory.limit
Saludos,
Juan Carmona
-----Mensaje original-----
De: r-help-es-bounces en r-project.org [mailto:
r-help-es-bounces en r-project.org]
En nombre de laura tomé
Enviado el: martes, 03 de junio de 2014 19:37
Para: r-help-es en r-project.org
Asunto: [R-es] Cargar csv de 16GB en R
Hola,
Estoy todavÃÂa dando mis primeros pasos en R y una de las cosas que
tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
columnas, 7 númericas He probado varias cosas entre ellas los
paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador
de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
¿Debo trocear previamente el csv,me recomendais algún paquete en
especial, etc para trabajar con un fichero tan pesado, otra
Muchas gracias
[[alternative HTML version deleted]]