[R-es] Procesos paralelos

Hola:

Vuelvo a la carga con algo que resolvÃ hace aÃ±os y que ahora me ha dejado de funcionar y no consigo arreglar. A ver si alguien me sugiere algÃºn enfoque o directamente la solucion.

Utilizo R en muchos procesos ETL y la cuestiÃ³n es que me encuentro con que tengo que hacer inserts en un BBDD de SQL  Server  de varios miles (a veces millones de registros) que mientras R las realiza parece que no estÃ¡ haciendo nada.

La soluciÃ³n que conseguÃ hacer en su momento fue paralelizar el proceso de inserciÃ³n en dos procesos distintos usando el paquete snowfall.
-Un proceso se encargaba de la propia inserciÃ³n de los datos.
-El otro proceso mostraba una barra de progreso que se construÃa consultando la tabla (tab) donde se insertaban los registros (datos) para monitorizar su proceso.

La subida al servidor es esta funciÃ³n:

subida <- function( datos, tab)
                               {
                                               flush.console()
                                               canal2 <- odbcDriverConnect( "case=nochange; Driver=xxx; Server=xxx; Database=xxx; uid=xxx; pwd=xxx; wsid=xxx;")
                                               sqlSave(canal2,datos,tablename= tab, rownames = FALSE, append=TRUE, fast=TRUE )
                                               close(canal2)
                                               rm(canal2)
                               }

La barra de progreso se toma de esta funciÃ³n:
pb <-function( datos,tab){
                ##Creamos canal de conexion a BBDD
                canal1 <- odbcDriverConnect( "case=nochange; Driver=SQL Server; Server=xxx; Database=xxx; uid=xxx; pwd=xx; wsid=ESMADN1003;;")

                ##Obtenemos conteos de registros##################
                #Numero de registro que se van a cargar
                asubir <- as.numeric(nrow(datos))

                #Numero de registro que ya hay en la tabla
                entabla <- as.numeric(sqlQuery(canal1,paste("SELECT Count(*) ", " FROM ",tab, sep="")))

                #Numero de registros cargados en el momento n
                total <- as.numeric(0)

#Frecuenca de actualizacion de la barra
  frec <- 0.1

  ##Creamos barra de progreso
  barra <- winProgressBar(title="Subiendo datos a SQL ", label = "Subido el:  ", min= 0, max= 1,initial= 0, width = 800)

                ##Mientras los registros que quedan por subir sean inferiores a los que actualmente hay en la tabla se muestra la barra
                while ( entabla + asubir > total  )
                                 {
                                               #Reconectamos
                                               canal1 <- odbcReConnect(canal1)

                                               #Obtenemos registros actuales en la tabla (los que habia + los que han subido hasta el momento)
                                               total <- as.numeric(sqlQuery(canal1,paste("SELECT Count(*) FROM ",tab, sep="")))

                                               #Calculamos porcentaje de registros subidos en el momento
                                               porcen <- as.numeric((total - entabla) / asubir)

                                               #Actualizamos barra de progreso
                                               setWinProgressBar(barra, porcen,title="SUBIENDO DATOS A SQL", label =paste("Subido el:  ", round(porcen *100,0), "% de los datos. Quedan por subir ",(entabla + asubir)-total, " registros de ", asubir, "." , sep=""))

                                               #Actualizamos consola
                                               flush.console()
                                               Sys.sleep(frec)
                                 }
                close(barra)
}

Ahora estoy intentando usar el paquete parallel (en lugar de snowfall que ya no me funciona) haciendo esto.
library(parallel)
library(RODBC)

##Creo un cluster con dos nodos
cl <-makeCluster(2)

##Exporto datos y funciones a los dos cluster
clusterExport(cl,varlist=c("pb","subida","datos","tab"))

##En el primer cluster hago la inserciÃ³n en el segundo la barra de progreso
clusterApply(cl,subida(datos,tab),pb(datos,tab) )

La inserciÃ³n la realiza correctamente pero la barra de progreso no aparece por ningÃºn lado :( y en el monitor de procesos aparecen dos Rscript.exe corriendo (uso Windows 7)

Si alguien quiere que le proporcione la funciÃ³n que construÃ usando snowfall (y que ahora tampoco muestra la barra) se la puedo enviar para destriparla.

Muchas gracias

Un saludo

JosÃ© Luis Gilsanz GÃ³mez
EstadÃstica
Departamento TÃ©cnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle EspaÃ±a S.A.)
Paseo de la Castellana 130 - 1Âª; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es

SÃguenos en: Twitter<https://twitter.com/JLLSpain> I Linkedin<https://www.linkedin.com/profile/view?id=173156047&trk=nav_responsive_tab_profile> I Youtube<https://www.youtube.com/user/joneslanglasallesp> I Blog<http://www.jllinmuebles.es/elblogdelosanillos/>
PPiense en el medio ambiente antes de imprimir este e-mail

Los datos personales que en esta comunicaciÃ³n aparecen, asÃ como los que nuestra empresa mantiene de Vd. y de su empresa, son tratados con la finalidad de mantener el contacto asÃ como realizar las gestiones que en esta aparecen (Ley OrgÃ¡nica 15/1999, de 13 de diciembre, de ProtecciÃ³n de Datos de CarÃ¡cter Personal).
Puede ejercer sus derechos de acceso, rectificaciÃ³n, cancelaciÃ³n y oposiciÃ³n dirigiÃ©ndose a atencion.clientesth en tasacionesh.com<mailto:atencion.clientesth en tasacionesh.com>.
La utilizaciÃ³n de su direcciÃ³n de correo electrÃ³nico por parte de nuestra empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la Sociedad de la InformaciÃ³n y el Comercio ElectrÃ³nico. Si Vd. recibe comunicaciÃ³n comercial por nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por vÃa electrÃ³nica a travÃ©s de la direcciÃ³n atencion.clientesth en tasacionesh.com <mailto:atencion.clientesth en tasacionesh.com> .

JLL Valoraciones
Registration number: A-28/806222.
Registered Office: PÂº de la Castellana, 130 - 1Âª ; 28046 Madrid

This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect