ok Carlos, pongo un ejemplo con pocos registros a ver si puedo explicarlo
mejor:
Datos:
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1 63 1 1 145 A 233 1 2 3 0
2 67 1 4 160 A 286 0 2 2 3
3 67 2 4 120 B 229 0 2 2 2
4 37 1 3 130 C 250 0 0 3 0
5 41 1 2 130 C 204 0 2 1 0
6 56 2 2 120 A 236 0 0 1 0
7 62 1 4 140 B 268 0 2 3 2
8 57 2 4 120 C 354 0 0 1 0
9 63 2 4 130 A 254 0 2 2 1
10 53 1 4 140 B 203 1 2 3 0
11 57 2 4 140 B 192 0 0 2 0
12 56 1 2 140 A 294 0 2 2 0
13 56 2 3 130 C 256 1 2 2 1
14 44 2 2 120 B 263 0 0 1 0
15 52 2 3 172 B 199 1 0 1 0
tengo la matriz que sale de V5:
A
B
C
junto las filas de A con B, y obtengo el punto respecto de V2, y me da
(0.33, 0.67), puesto que V2 tiene dos valores, es un porcentaje en
definitiva
junto las filas de A con C, y se obtiene el punto (0.5, 0.5)
obtengo la distancia euclidea de dichos puntos sobre el punto definido,
supongamos (0.34, 066), lo que significa que la menor distancia se obtiene
entre A y B, por lo tanto las filas que tienen A en V5 se cambia su valor a
C, y se obtiene la siguiente matriz, donde V5 ya no tiene la A
V0 V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1 63 1 1 145 C 233 1 2 3 0
2 67 1 4 160 C 286 0 2 2 3
3 67 2 4 120 B 229 0 2 2 2
4 37 1 3 130 C 250 0 0 3 0
5 41 1 2 130 C 204 0 2 1 0
6 56 2 2 120 C 236 0 0 1 0
7 62 1 4 140 B 268 0 2 3 2
8 57 2 4 120 C 354 0 0 1 0
9 63 2 4 130 C 254 0 2 2 1
10 53 1 4 140 B 203 1 2 3 0
11 57 2 4 140 B 192 0 0 2 0
12 56 1 2 140 C 294 0 2 2 0
13 56 2 3 130 C 256 1 2 2 1
14 44 2 2 120 B 263 0 0 1 0
15 52 2 3 172 B 199 1 0 1 0
en este ejemplo el while seria 2, es decir que se pararÃa puesto que solo
tengo dos valore en V5
Evidentemente cuando tengo 100.000 filas con 100 columnas y tengo la
matriz intermedia que he puesto en este ejemplo con letras de 2000 filas,
puesto no veo como consumir menos tiempo de ejecucion.
espero que lo haya podido explicar mejor con este ejemplo.
gracias de antemano Carlos
El mié, 22 sept 2021 a las 17:48, Carlos Ortega (<cof en qualityexcellence.es>)
escribió:
Vaya me cuesta verlo... :-)...
¿Puedes poner un ejemplo con números con los diferentes vectores con los
que partes y cómo vas rellenando esa matriz?
Y cómo quedarÃa al final..
Gracias!
Carlos.
El mié, 22 sept 2021 a las 16:01, Carlos Santos (<
carlossantos.csm en gmail.com>) escribió:
jajajaja, perdón no te habÃa entendido, lo siento
a ver, de esta forma y para que sea fácil, supongamos esta matriz,
evidentemente el problema lo tengo cuando esta matriz es muy grande claro.
G1
G2
G3
G4
G5
G6
G7
G8
G9
G10
El while lo puse porque quite el for que tenia al principio para no
poner muchos FOR anidados, por lo tanto el while va a ejecutar el FOR
siguiente 7 veces
El FOR lo que hace es ejecutarse 9 veces la primera vez, y agrupa los
registros de G1 con cada uno de los otros grupos individualmente, calcula
el porcentaje de elementos de cada nuevo grupo respecto a una de las
variables del registro, por ejemplo supongamos que la variable tiene 2
valores, obtenemos un punto (X,Y) que representa el porcentaje de cada
valor que tiene la variable dentro de su nuevo grupo
Lo mismo para el resto de nuevos grupos, y se calcula la distancia
euclidea entre cada nuevo punto respecto de un punto predefinido.
a continuación se harÃa tomando G2 con el resto descendente, y asÃ
sucesivamente hasta que el while ejecute en este ejemplo 7 veces = 10-3
Quizas asi este mas claro, Carlos
El mié, 22 sept 2021 a las 15:43, Carlos Ortega (<
cof en qualityexcellence.es>) escribió:
Hola Carlos,
SÃ, si lo he entendido asÃ.
Lo que te propongo es que nos cuentes qué quieres hacer con esos dos
bucles o un bucle y un while. Porque a lo mejor se puede plantear otra
aproximación para actualizar cada elemento de la matriz.
Gracias,
Carlos.
El mié, 22 sept 2021 a las 15:31, Carlos Santos (<
carlossantos.csm en gmail.com>) escribió:
Gracias Carlos,
Si, quizas no lo explique bien, lo fundamental y es donde se tarda
mucho tiempod e cpu, es el bucle FOR, que tiene que recorrer una matriz
desde 1 hasta totcluy, entendiendo que la variable totclu puede ser por
ejemplo 10.000, lo que quiere decir que por cada fila tiene que realizar el
calculo que he puesto en el FOR que tampoco es demasiado pero logicamente
tiene que recorrer por ejemplo en este caso 10.000 columnas
A su vez el while tiene que hacerlo otras 10000 veces menos 3, lo que
significa que el tiempo empleado hasta completar cada fila de la matriz es
enorme
no se si he podido explicarlo mejor, es por eso que entiendo que el
bucle FOR es muy costoso, y aunque he puesto un while bien podia ser un FOR
dentro de otro FOR, en donde el primero controla las filas y el segundo las
columnas, pero no se como hacer que el tiempo de cpu sea lo menor posible
El mié, 22 sept 2021 a las 14:56, Carlos Ortega (<
cof en qualityexcellence.es>) escribió:
Hola,
¿Por qué no nos dices mejor el problema qué quieres resolver con tus
datos/matriz/matrices inicial?
Seguramente podamos ver una forma alternativa a utilizar un bucle...
En cualquier caso, por si quieres ir viendo como correr ese bucle en
paralelo..:
-
https://stackoverflow.com/questions/53054366/how-can-i-run-a-for-loop-in-parallel-in-r
Saludos,
Carlos Ortega
www.qualityexcellence.es
El mié, 22 sept 2021 a las 13:18, Carlos Santos (<
carlossantos.csm en gmail.com>) escribió:
Hola a todos, familia de R
Tengo un pequeño problema de tiempo de ejecución con una rutina, a
ver si
me pueden echar una mano y ayudarme si es posible, claro.
La rutina es la siguiente:
while(totclu != 3){
matrizF <- matrix(0, nrow = 1, ncol = totclu)
for (j in 1:totclu) {
q1 <- c(which(data1$Clus.Multi.FAIRNESS == k2A$Var1[1]),
which(data1$Clus.Multi.FAIRNESS == k2A$Var1[j]))
q2 <- nrow(as.data.frame(c(which(data1$Clus.Multi.FAIRNESS ==
k2A$Var1[1]),
which(data1$Clus.Multi.FAIRNESS ==
k2A$Var1[j]))))
observado <- table(data1$VarFC[q1])/q2
matrizF[i] <- dist(rbind(observado,propuesto),method =
"euclidean")
}
matrizF[1] <- 99
min_observado <- which.min(matrizF)
q4 <- which(data1$Clus.Multi.FAIRNESS == k2A$Var1[1])
data1$Clus.Multi.FAIRNESS[q4] <-
as.character(k2A$Var1[min_observado])
k2A$Freq[min_observado] <- k2A$Freq[min_observado] + k2A$Freq[1]
k2A <-
as.data.frame(table(as.character(data1$Clus.Multi.FAIRNESS))) %>%
arrange(Freq)
totclu=nrow(k2A)
}
El problema fundamental es que la matriz que aparece como k2A es una
matriz
(nxn) lo que significa que puede ser muy grande, por ejemplo
1000x1000, y
el tiempo que tarda es enorme y no veo como disminuir el tiempo de
ejecución del "for" que pienso que es lo mas duro.
No se si se puede poner como procesamiento en paralelo en r, pero
tampoco
ser como ponerlo
Si me pueden echar una mano, les estaré muy agradecido
muchas gracias de antemano
Carlos Santos
[[alternative HTML version deleted]]