[R-es] Barra de progreso en RODBC

Hola:

Hace como un mes pregunte si se podÃa desarrollar una barra de progreso 
que informara del progreso de una subida de datos a SQL Server desde R.

Miguel Ãngel me dio una orientacion de como enfocar el problema y al final 
lo he conseguido hacer usando el paquete snowfall.
Ahora bien hay una parte del cÃ³digo que, aunque funciona no entiendo muy 
bien como, porque "adapte" un cÃ³digo que encontrÃ© por internet.

El proceso consiste bÃ¡sicamente en crear dos funciones:
-La primera es una barra de progreso que va obteniendo, a intervalos 
regulares, el numero de registros que hay en la tabla donde se realiza la 
inserciÃ³n de datos.
-La segunda es una que establece la conexiÃ³n al SQL Server e inserta los 
datos en el.

La idea es que mientras un cluster se encarga de gestionar la barra de 
progreso, el otro realiza la inserciÃ³n de los datos.

La cuestiÃ³n es que esta instrucciÃ³n (que funciona bien) no entiendo como 
funciona:
sfClusterApply( tarea , function(f) f())

En concreto function(f) f() es lo que aplica las funciones de la lista 
tareas (t1 y t2) a cada cluster por separado y en paralelo, pero no 
entiendo que es lo que realiza esa sintaxis.
Â¿Alguien me podrÃa explicar porque se puede definir asÃ y no como yo 
hubiera pensado que era:?;
sfClusterApply( tarea, pb(tab,asubir,entabla,frec),subida(datos,tab))

El cÃ³digo de todo el proceso es el siguiente:

#Cargamos los paquetes necesarios
library(snowfall)
library(RODBC)

#Cargamos el df (datos) que vamos a subir al SQL Server
load("C:\\Documents and Settings\\My Documents\\datos.Rdata")

###########################################
#   Iniciamos los 2 clusters          #################
###########################################

#Iniciamos dos cluster para trabajar en paralelo y el log lo guardamos en 
esclavos txt
sfInit( parallel=TRUE, cpus=2, slaveOutfile="esclavos.txt" )

#Cargamos paquete RODBC en los dos cluster
sfLibrary( RODBC )

############################################
# Definimos variables del proceso       ############
############################################

tab <- as.character("Pruebas_R")  #Nombre de la tabla donde se realizara 
la inserciÃ³n de los datos
asubir <- as.numeric(nrow(datos))  #Numero de registros (filas) de nuestro 
df datos que se van a subir al          #SQL Server

canal <- odbcDriverConnect( "case=nochange; Driver=SQL Server; Server=X; 
Database=X; uid=X; pwd=X; wsid=X;")     #Abrimos conexion RODBC
entabla <- as.numeric(sqlQuery(canal,paste("SELECT Count(*) ", " FROM 
",tab, sep="")))                                        #NÂº de registro 
que hay actualmente en tabla en la que vamos a insertar     #los datos

close(canal)                                    #Cerramos conexiÃ³n RODBC
rm(canal)                                       #Eliminamos conexiÃ³n RODBC 

frec <- 0.1                                     #Establecemos frecuencia 
de actualizaciÃ³n de la barra de progreso

###########################################
#    FUNCIONES ############################
###########################################

#FunciÃ³n que genera una barra de progreso que se actualiza segÃºn la 
variable frec e informa del numero de registros
#insertados hasta ese momento y de los registros que quedan por insertar

pb <-function( tab,asubir,entabla ,frec ){
                        canal1 <-  odbcDriverConnect( "case=nochange; 
Driver=SQL Server; Server=X; Database=X; uid=X; pwd=X; wsid=X;") #ConexiÃ³n 
RODBC
                        barra <- winProgressBar(title="SUBIENDO DATOS A 
SQL ", label = "Subido el:  ", min= 0, max= 1,initial= 0, width = 800) 
#Definimos barra de progreso
                        total <- as.numeric(0)   #Vble total acumulara el 
nÂº registros que 
                                                                #hay en la 
tabla
                        while ( entabla + asubir > total ) #El bucle se 
realizara hasta que todos los datos estÃ©n subidos
                                        {
                                        canal1 <- odbcReConnect(canal1)    
                #ConexiÃ³n RODBC
                                        total <- 
as.numeric(sqlQuery(canal1,paste("SELECT Count(*) FROM ",tab, sep=""))) 
#Obtenemos el nÂº de registros que hay en la tabla en ese 
                                                #momento
                                        porcen <- as.numeric((total - 
entabla) / asubir) #Calculamos porcentaje de registros subidos del total a 
subir
                                        setWinProgressBar(barra, 
porcen,title="SUBIENDO DATOS A SQL",                    #Actualizamos la 
barra de progreso con la 
                                                        label 
=paste("Subido el:  ", round(porcen *100,0), "% de los datos.   #la 
informaciÃ³n obtenida y calculada
                                                        Se han subido 
",total - entabla, " registros de ", asubir, "." , sep=""))
                                        flush.console()   #Refrescamos la 
consola
                                        Sys.sleep(frec)   #Hacemos una 
pausa de 0.1 segundos
                                        }
                        close(barra, canal1) #Cerramos los objetos usados
                        rm(barra,canal1,total) #Eliminamos los objetos 
usados
                        } 

#Funcion que realiza la insercion de los registros del df (datos) en la 
tabla de SQL Server (tabla) 
subida <- function( datos, tab)
                        {
                        canal2 <-  odbcDriverConnect( "case=nochange; 
Driver=SQL Server; Server=X; Database=X; uid=X; pwd=X; wsid=X;") #ConexiÃ³n 
RODBC
                        sqlSave(canal2,datos,tablename= tab, rownames = 
FALSE, append=TRUE, fast=TRUE ) #Realizamos la inserciÃ³n del df (datos) 
                                                                #en tabla 
(tabla)
                        close(canal2)           #Cerramos conexiÃ³n RODBC
                        rm(canal2)              #Eliminamos conexiÃ³n RODBC 

                        }

##############################
# PreparaciÃ³n de los cluster #####
##############################

sfRemoveAll() #Eliminamos los objetos que pudieran contener los cluster
sfExport("tab","asubir","entabla","frec","datos", "pb","subida") 
#Exportamos a los 2 cluster los objetos que necesitamos

tarea <- list( t1 = function() pb(tab,asubir,entabla,frec),t2 = function() 
subida(datos,tab))   #Creamos lista con las dos funciones definidas 
previamente

############################
# InserciÃ³n de datos #######
############################

hora.ini <- Sys.time()                                  #Establecemos 
tiempo de inicio del proceso

sfClusterApply( tarea , function(f) f())                        #Lanzamos 
en el primer cluster la t1 de la lista tarea, en el segundo cluster se 
lanzara t2 de la lista tarea de forma paralela

print(paste("Tiempo 
transcurrido",round(difftime(Sys.time(),hora.ini,units="hours" ),digits = 
2) , "horas"))          #Una vez finalizada la inserciÃ³n informamos del 
tiempo que hemos tardado

sfStop()        #Detenemos los dos cluster

Un saludo

JosÃ© Luis Gilsanz GÃ³mez 
EstadÃstica 

Tasaciones Hipotecarias 
MarÃa de Molina, 54 - 28006 - Madrid
Tel. : 34-914549694
Fax : 34-917822164
Email : jluis.gilsanz en tasacionesh.com 
Site web: www.tasacionesh.es 

-- AVISO LEGAL --
Los datos personales que en esta comunicaciÃ³n aparecen, asÃ como los que 
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la 
finalidad de mantener el contacto asÃ como realizar las gestiones que en 
esta aparecen (Ley OrgÃ¡nica 15/1999, de 13 de diciembre, de ProtecciÃ³n de 
Datos de CarÃ¡cter Personal). 
Puede ejercer sus derechos de acceso, rectificaciÃ³n, cancelaciÃ³n y 
oposiciÃ³n dirigiÃ©ndose a atencion.clientesth en tasacionesh.com.
La utilizaciÃ³n de su direcciÃ³n de correo electrÃ³nico por parte de nuestra 
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios 
de la Sociedad de la InformaciÃ³n y el Comercio ElectrÃ³nico. Si Vd. recibe 
comunicaciÃ³n comercial por nuestra parte y desea dejar de recibirla, 
rogamos nos lo comunique por vÃa electrÃ³nica a travÃ©s de la direcciÃ³n 
atencion.clientesth en tasacionesh.com . 

{In Archive}  Resumen de R-help-es, Vol 50, EnvÃo 14

(Internet)
r-help-es-request 

To:
r-help-es

05/04/2013 13:07

Sent by : r-help-es-bounces en r-project.org
Please respond to r-help-es

Archive: 
This message is being viewed in an archive.

EnvÃe los mensajes para la lista R-help-es a
                 r-help-es en r-project.org

Para subscribirse o anular su subscripciÃ³n a travÃ©s de la WEB
                 https://stat.ethz.ch/mailman/listinfo/r-help-es

O por correo electrÃ³nico, enviando un mensaje con el texto "help" en
el asunto (subject) o en el cuerpo a:
                 r-help-es-request en r-project.org

Puede contactar con el responsable de la lista escribiendo a:
                 r-help-es-owner en r-project.org

Si responde a algÃºn contenido de este mensaje, por favor, edite la
linea del asunto (subject) para que el texto sea mas especifico que:
"Re: Contents of R-help-es digest...". AdemÃ¡s, por favor, incluya en
la respuesta sÃ³lo aquellas partes del mensaje a las que estÃ¡
respondiendo.

Asuntos del dÃa:

   1. Re: Barra de progreso en RODBC (jluis.gilsanz en tasacionesh.com)

----------------------------------------------------------------------

Message: 1
Date: Fri, 5 Apr 2013 13:05:51 +0200
From: jluis.gilsanz en tasacionesh.com
To: miguel.angel.rodriguez.muinos en sergas.es
Cc: r-help-es en r-project.org
Subject: Re: [R-es] Barra de progreso en RODBC
Message-ID:

<OF5A83E487.D4B34CDF-ONC1257B44.003C120B-C1257B44.003CF664 en bnpparibas.com>

Content-Type: text/plain; charset="iso-8859-1"

Hola Miguel Ãngel.

Pues me acabas de dar una idea estupendaÂ¡Â¡Â¡

HarÃ© unas pruebas de la velocidad media de subida de registros desde R a 
MSSQL.
ObtendrÃ© un valor de x registros por segundo.
Creare esa ventana (me pondrÃ© a bucear en la ayuda para ver como hacerlo) 
y como se cuantos registros voy a insertar podrÃ© mostrar un progreso 
aproximado.

Suponiendo que consiga 1100 registros subidos por segundo y que tenga 
1.658.900  registros a subir, tendrÃa unos 1508 segundos de proceso (unos 
25 minutos).
Seria cuestiÃ³n de tomar la hora de inicio del proceso, aÃ±adir 26 o 27 
(papochiacaso) minutos y hacer correr una barra o similar durante esos 26 
minutos en pequeÃ±os intervalos.

Me gusta la idea Miguel Ãngel, muchas gracias.Â¡Â¡Â¡

Voy a investigar el tema de las ventanas que comentasÂ¡Â¡Â¡

GRACIAS

JosÃ© Luis Gilsanz GÃ³mez 
EstadÃstica 

Tasaciones Hipotecarias 
MarÃa de Molina, 54 - 28006 - Madrid
Tel. : 34-914549694
Fax : 34-917822164
Email : jluis.gilsanz en tasacionesh.com 
Site web: www.tasacionesh.es 

-- AVISO LEGAL --
Los datos personales que en esta comunicaciÃ³n aparecen, asÃ como los que 
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la 
finalidad de mantener el contacto asÃ como realizar las gestiones que en 
esta aparecen (Ley OrgÃ¡nica 15/1999, de 13 de diciembre, de ProtecciÃ³n de 
Datos de CarÃ¡cter Personal). 
Puede ejercer sus derechos de acceso, rectificaciÃ³n, cancelaciÃ³n y 
oposiciÃ³n dirigiÃ©ndose a atencion.clientesth en tasacionesh.com.
La utilizaciÃ³n de su direcciÃ³n de correo electrÃ³nico por parte de nuestra 
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios 
de la Sociedad de la InformaciÃ³n y el Comercio ElectrÃ³nico. Si Vd. recibe 
comunicaciÃ³n comercial por nuestra parte y desea dejar de recibirla, 
rogamos nos lo comunique por vÃa electrÃ³nica a travÃ©s de la direcciÃ³n 
atencion.clientesth en tasacionesh.com . 

RE: [R-es] Barra de progreso en RODBC

(Internet)
miguel.angel.rodriguez.muinos 

To:
Jluis GILSANZ
Cc:
r-help-es

05/04/2013 11:33

Hola JosÃ© Luis.

Se me ocurre una cosa que puede valerte (aunque no es demasiado ?fino?)?.
Puedes crear una ventana en la que pintes una barra animada (e, incluso un 

contador y/o cronÃ³metro)? la activas justo antes de lanzar la peticiÃ³n y 
la desactivas cuando se devuelva el control a R.
AsÃ el usuario verÃ¡ algo en pantalla mientras espera y no tendrÃ¡ esa 
sensaciÃ³n de que el proceso ?se colgÃ³?.

Eso te valdrÃa?

NOTA: En tu proceso de una hora, podrÃas ponerles mejor unos videos 
musicales!
J

Un saludo,
Miguel.

De: r-help-es-bounces en r-project.org [
mailto:r-help-es-bounces en r-project.org] En nombre de 
jluis.gilsanz en tasacionesh.com
Enviado el: viernes, 05 de abril de 2013 11:16
Para: cgb en datanalytics.com
CC: r-help-es en r-project.org; gilbellosta en gmail.com
Asunto: Re: [R-es] Barra de progreso en RODBC
Importancia: Alta

Hola de nuevo: 

Ahora creo que he conseguido explicarme bien, esos callbacks de RODBC a R 
era justo lo que necesitaba para mostrar el progreso. 
Pero como RODBC no los tiene, mi gozo en un pozo :-( 

La opciÃ³n de partir los datos en varios lotes ya la habÃa sopesado pero 
teniendo en cuenta que esto era una especie de refinamiento del cÃ³digo no 
me merece la pena. 
SeguirÃ© ejecutando la query directamente en el MSSQL para saber cuantos 
registros han subido como hacia hasta ahora. 

Muchas gracias por vuestra ayuda. 

Un saludete 

Re: [R-es] Barra de progreso en RODBC

(Internet) 
cgb 

To: 
Jluis GILSANZ 
Cc: 
r-help-es

04/04/2013 16:14

Sent by : gilbellosta en gmail.com 

La Ãºnica manera en que podrÃas conseguir lo que quieres es que el
_driver_ de ODBC proporcionara _callbacks_ a R (para indicarle, por
ejemplo, por dÃ³nde va en la tarea encomendada). Pero no es el caso.

Una vez que llamas a sqlFetch o sqlSave, R pierde el control de lo que
pasa hasta que el _driver_ decide que ha terminado de hacer lo que se
le ha encomendado.

La Ãºnica manera de disponer de barras de progreso serÃa partiendo la
captura e inserciÃ³n de datos en bloques para actualizarla tÃº a mano.

Un saludo,

Carlos J. Gil Bellosta
http://www.datanalytics.com

El dÃa 4 de abril de 2013 10:34,  <jluis.gilsanz en tasacionesh.com> 
escribiÃ³: