Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
[R-es] El test de la chi-cuadrado, ¿demasiado restrictivo asintóticamente?
15 messages · Olivier Nuñez, Carlos J. Gil Bellosta, José Trujillo Carmona +4 more
No estoy seguro si entiendo correctamewnte el problema. peri si si, Brad Efron ha desarrollado ideas interesantes para atacar este tripo de problemas, el esta hablando de "estimar la hipótesis nula"! Estrictamente la _distribución_ nula. Asà el criterio de rechazo se puede adaptar al los datos. Yo he encontrado estas idéas útiles. Estan coneccionados con la idea de controlar FDR "la taza de descubrimientos falsos". http://www-stat.stanford.edu/~ckirby/brad/ Especialmente, mire: Mire la lista de sus papeles desde 2000, comenzando con 2003: "Large-scale simultaneous hypothesis testing: The choice of a null hypothesis" Yo encuentro estas idéas superinteresantes (y superútiles!) Kjetil 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
"... an entire human genome would fit on a music CD." --- www.thinkgene.com
Carlos, fija un alpha más conservador: alpha = 1%? Pues al fin y al cabo, estás diciendo que las variaciones pequeñas no te interessan. De hecho, serÃa interesante saber lo que quieres detectar. Un abrazo. Olivier ----- Original Message ----- From: "Carlos J. Gil Bellosta " <cgb en datanalytics.com> To: "r-help-es" <r-help-es en r-project.org> Sent: Monday, July 20, 2009 4:17 PM Subject: [R-es] El test de la chi-cuadrado, ¿demasiado restrictivo asintóticamente? Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Hola, ¿qué tal? Voy a reescribir la pregunta con números: He aquà mi población original, dividida en 10 grupos.
pop.1 <- 20 + floor( 20 * runif( 10 ) ) pop.1
[1] 38 29 33 36 34 29 35 36 32 30
Pasa un tiempo y la estructura de la población cambia:
delta <- 10 * runif( 10 ) - 5 delta
[1] 4.7020517 4.3205607 2.0654851 -3.7318978 -3.2750279 3.3187095 -2.3651520 -3.2477705 -4.7871293 [10] -0.4588495
pop.2 <- floor( pop.1 * ( 1 + delta / 100 ) ) pop.2
[1] 39 30 33 34 32 29 34 34 30 29 Pero el test de homogeneidad nos indica que no ha variado sustancialmente.
summary( as.table( cbind( pop.1, pop.2 ) ) )
Number of cases in table: 656
Number of factors: 2
Test for independence of all factors:
Chisq = 0.20326, df = 9, p-value = 1
Pero no tengo sum( pop.1 ) individuos sino 100 veces más, y:
summary( as.table( 100 * cbind( pop.1, pop.2 ) ) )
Number of cases in table: 65600
Number of factors: 2
Test for independence of all factors:
Chisq = 20.326, df = 9, p-value = 0.01601
No es que no sepa por qué sucede esto. Muy al contrario. Lo que quiere
decir eso es que dicho test es prácticamente inútil para determinar
cambios en la estructura poblacional de poblaciones muy amplias.
Es decir, que, por ejemplo, el test que sugiere la página 52 de
http://www.bis.org/publ/bcbs_wp14.htm no es práctico dado que se
aplica a poblaciones tÃpicamente del orden de cientos de miles de
individuos.
De ahà mi pregunta: ¿existe algún tipo de medida que utilicen
biólogos, demógrafos, etc.que les permita decir si la estructura de
dos poblaciones (o la misma en dos tiempos distintos) es diferente de
una manera menos rÃgida para N grande que con el test anterior?
Un saludo,
Carlos J. Gil Bellosta
http://www.datanalytics.com
delta <- 10 * runif( 10 ) delta
[1] 6.740857 2.525657 2.873351 4.993330 7.544971 2.166013 8.508014 8.216934 [9] 4.014574 5.096739
pop.2 <- floor( pop.1 * ( 1 * delta / 100 ) ) pop.2
[1] 2 0 0 1 2 0 2 2 1 1
pop.2 <- floor( pop.1 * ( 1 + delta / 100 ) ) pop.2
[1] 40 29 33 37 36 29 37 38 33 31
summary( table( pop.1, pop2 ) )
Error en table(pop.1, pop2) : objeto 'pop2' no encontrado
summary( table( pop.1, pop.2 ) )
Number of cases in table: 10
Number of factors: 2
Test for independence of all factors:
Chisq = 52.5, df = 42, p-value = 0.1285
Chi-squared approximation may be incorrect
El 20 de julio de 2009 16:10, Kjetil Halvorsen<kjetil1001 en gmail.com> escribió:
No estoy seguro si entiendo correctamewnte el problema. peri si si, Brad Efron ha desarrollado ideas interesantes para atacar este tripo de problemas, el esta hablando de "estimar la hipótesis nula"! Estrictamente la _distribución_ nula. Asà el criterio de rechazo se puede adaptar al los datos. Yo he encontrado estas idéas útiles. Estan coneccionados con la idea de controlar FDR "la taza de descubrimientos falsos". http://www-stat.stanford.edu/~ckirby/brad/ Especialmente, mire: Mire la lista de sus papeles desde 2000, comenzando con 2003: "Large-scale simultaneous hypothesis testing: The choice of a null hypothesis" Yo encuentro estas idéas superinteresantes (y superútiles!) Kjetil 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
-- "... an entire human genome would fit on a music CD." --- www.thinkgene.com
Si lo he entendido me parece que se trata de un problema de concepto. El problema del contraste de hipótesis consiste en demostrar que la hipótesis nula es falsa y además mientras menos datos para comprobarlo mejor. No ponemos la hipótesis que queremos demostrar en la hipótesis nula, sino que si hace falta llevamos la igualdad a la hipótesis alternativa como hacen los bioensayos. La hipótesis nula es falsa por principio pero la damos como buena si no hay evidencias en contra en base al principio de parsimonia o su forma más antigua "la navaja de Occam": si los datos no lo piden no compliquemos el modelo. Pero es que de tu planteamiento se deduce que efectivamente la hipótesis nula ha de ser falsa siempre; dices: En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. ... Es decir, t0 no es igual que t1; hay evolución. Luego siempre deberÃa dar falsa H0. A veces el movimiento es tan leve que ni con 100.000 datos; pero ya sabes que H0 es falsa. El planteamiento del modelo de test de hipótesis es: "O son exactamente iguales, como dos números reales con infinitos decimales, o H0 es falsa". El problema por tanto ha de ser replanteado y definir cuando podemos dar por "similar" la situación t0 y t1, porque ya sabes que no son iguales y el test Ji-Cuadrado dirá que no son iguales si no son "EXACTAMENTE" iguales y tienes suficientes datos para acreditarlo, como es tu caso. Saludos. Carlos J. Gil Bellosta escribió:
Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
An embedded and charset-unspecified text was scrubbed... Name: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20090720/44d56699/attachment.pl>
Mire abajo: 2009/7/20 José Trujillo Carmona <trujillo en unex.es>:
Si lo he entendido me parece que se trata de un problema de concepto. El problema del contraste de hipótesis consiste en demostrar que la hipótesis nula es falsa y además mientras menos datos para comprobarlo mejor. No ponemos la hipótesis que queremos demostrar en la hipótesis nula, sino que si hace falta llevamos la igualdad a la hipótesis alternativa como hacen los bioensayos. La hipótesis nula es falsa por principio pero la damos como buena si no hay evidencias en contra en base al principio de parsimonia o su forma más antigua "la navaja de Occam": si los datos no lo piden no compliquemos el modelo. Pero es que de tu planteamiento se deduce que efectivamente la hipótesis nula ha de ser falsa siempre; dices: En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. ... Es decir, t0 no es igual que t1; hay evolución. Luego siempre deberÃa dar falsa H0. A veces el movimiento es tan leve que ni con 100.000 datos; pero ya sabes que H0 es falsa. El planteamiento del modelo de test de hipótesis es: "O son exactamente iguales, como dos números reales con infinitos decimales, o H0 es falsa".
Este es justo el problema que Brad Efron (inventor del bootstrap) trata de resolver. Efectivamente, el esta redefiniendo el concepto de hipótesis nula de "igualdad exacta" a "diferencias pequeñas sim importar" y el clave de sus ideas es hacer este operacional mediante suponer a) muchos datos (por lo menos 100 H_0, mejor 1000) b) suponer que la gram mayoria de estos H_0 son verdaderos, y c) bajo el supuesto b) ESTIMAR la distribución del criterio test bajo H_0. Yo he visto que esto funciona muy bién. Si Carlos tiene más que 100 H_0, debe tratar esta idea. Kjetil
El problema por tanto ha de ser replanteado y definir cuando podemos dar por "similar" la situación t0 y t1, porque ya sabes que no son iguales y el test Ji-Cuadrado dirá que no son iguales si no son "EXACTAMENTE" iguales y tienes suficientes datos para acreditarlo, como es tu caso. Saludos. Carlos J. Gil Bellosta escribió:
Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
"... an entire human genome would fit on a music CD." --- www.thinkgene.com
"Followup" (¿en español') Un paquete en CRAN que implementa estas ideas (para pruebas T) es locfdr es muy interesante! Kjetil 2009/7/20 Kjetil Halvorsen <kjetil1001 en gmail.com>:
Mire abajo: 2009/7/20 José Trujillo Carmona <trujillo en unex.es>:
Si lo he entendido me parece que se trata de un problema de concepto. El problema del contraste de hipótesis consiste en demostrar que la hipótesis nula es falsa y además mientras menos datos para comprobarlo mejor. No ponemos la hipótesis que queremos demostrar en la hipótesis nula, sino que si hace falta llevamos la igualdad a la hipótesis alternativa como hacen los bioensayos. La hipótesis nula es falsa por principio pero la damos como buena si no hay evidencias en contra en base al principio de parsimonia o su forma más antigua "la navaja de Occam": si los datos no lo piden no compliquemos el modelo. Pero es que de tu planteamiento se deduce que efectivamente la hipótesis nula ha de ser falsa siempre; dices: En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. ... Es decir, t0 no es igual que t1; hay evolución. Luego siempre deberÃa dar falsa H0. A veces el movimiento es tan leve que ni con 100.000 datos; pero ya sabes que H0 es falsa. El planteamiento del modelo de test de hipótesis es: "O son exactamente iguales, como dos números reales con infinitos decimales, o H0 es falsa".
Este es justo el problema que Brad Efron (inventor del bootstrap) trata de resolver. Efectivamente, el esta redefiniendo el concepto de hipótesis nula de "igualdad exacta" a "diferencias pequeñas sim importar" y el clave de sus ideas es hacer este operacional mediante suponer a) muchos datos (por lo menos 100 H_0, mejor 1000) b) suponer que la gram mayoria de estos H_0 son verdaderos, y c) bajo el supuesto b) ESTIMAR  la distribución del criterio test bajo H_0. Yo he visto que esto funciona muy bién. Si Carlos tiene más que 100 H_0, debe tratar esta idea. Kjetil
El problema por tanto ha de ser replanteado y definir cuando podemos dar por "similar" la situación t0 y t1, porque ya sabes que no son iguales y el test Ji-Cuadrado dirá que no son iguales si no son "EXACTAMENTE" iguales y tienes suficientes datos para acreditarlo, como es tu caso. Saludos. Carlos J. Gil Bellosta escribió:
Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
-- "... an entire human genome would fit on a music CD." --- www.thinkgene.com
"... an entire human genome would fit on a music CD." --- www.thinkgene.com
An embedded and charset-unspecified text was scrubbed... Name: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20090720/cd835ba0/attachment.pl>
Hola Carlos, Esto es solo una idea que he utilizado en casos similares. Lo que se hace es clasificar cada observacion segun el cambio que hay desde t0 a t1. Esto lo podes hacer armando una tabla de contingencia de 10x10 en tu caso o quizas de mayor tamaño. Esta tabla la podes analizar utilizando regresion Poisson por medio de glm( ... , family=poisson). Esto te permite estudiar como se realizaron los cambios en tu poblacion y cambios son interesantes. Una referencia buena es el libro de Jim Lindsey " Modelling Frequency and count data". El libro tiene las scripts en R para estos modelos. Saludos, Pablo ----- Original Message ----- From: "Carlos J. Gil Bellosta " <cgb en datanalytics.com> To: "r-help-es" <r-help-es en r-project.org> Sent: Monday, July 20, 2009 4:17 PM Subject: [R-es] El test de la chi-cuadrado, ¿demasiado restrictivo asintóticamente? Hola, ¿qué tal? Las propiedades asintóticas del test de la chi-cuadrado me están llevando a rechazar sistemáticamente hipótesis de homogeneidad. El problema es el siguiente. Parto de una población de n individuos (n del orden de 100.000). En t0, están agrupados en 10 bloques, A1-A10. En t1, algunos inviduos han entrado, otros han salido, otros han cambiado de bloque. Y me interesa estimar la medida en la que ha cambiado la distribución de la población sobre los bloques. Pero encuentro la hipótesis que conduce al test de la chi-cuadrado demasiado restrictivo. De hecho, haciendo las cuentas, observo que las desviaciones de frecuencias respecto a la población original que conducen a un rechazo de la hipótesis de homogeneidad son del orden de la raÃz cuadrada de n. Es decir, conforme n aumenta, una desviación de un 1% puede pasar de no provocar un rechazo de H0 a provocarlo. ¿Existe algún test o conjunto de hipótesis distinto al que subyace al test de la chi-cuadrado que útil para el estudio de este tipo de problemas que se usen en campos como demografÃa, ecologÃa, etc., donde n sea, tÃpicamente grande? Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
An embedded and charset-unspecified text was scrubbed... Name: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20090720/fc9e995f/attachment.pl>
Hola, ¿qué tal? El problema que motiva mi mensaje es el siguiente. Imaginad un banco que ha concedido un millón de hipotecas. Cada hipoteca está asignada a uno de 10 niveles de riesgo distinto (A1 el menos arriesgado, A10 "subprime"). Pasa un mes y se recalculan los niveles de cada una de las hipotecas. Algunas ya se han cancelado, hay hipotecas nuevas, etc. Tanto el banco en cuestión como el regulador (Banco de España, en mi caso particular) están interesados en detectar si hay "desviaciones poblacionales significativas". Si se detecta una "desviación poblacional significativa" se generan una serie de alarmas, hay que replantear modelos, hay que notificar al regulador, etc. Para detectar estas "desviaciones poblacionales significativas" se plantean distintos tests. Uno de ellos (utilizado por algunos bancos, sugerido también en el documento regulatorio que he apuntado antes) es el de la chi-cuadrado. Problema: que la población subyacente es tan grande que los p-valores obtenidos con fluctuaciones "mÃnimas" son alarmantes, del tipo 0.000000000000000000000021233. Y eso aun cuando los histogramas, a simple vista, son casi idénticos. Claro, es difÃcil justificar que con histogramas casi idénticos, con conteos de frecuencias muy similares, haya que decir: "según el p-valor obtenido por el test de la chi-cuadrado, Vd. tiene que replantearse la homogeneidad de su población". Simplemente creo que en este contexto, a pesar de que se utilice el test de la chi-cuadrado y que incluso se recomiende desde "altas esferas", es necesario plantearse una alternativa. De ahà que haya escrito a la lista: no sé si en estudios demográficos, de poblaciones de especies en ecosistemas, en disciplinas donde se manejen frecuencias elevadas, se utilizan medidas de "homogeneidad poblacional" distintas de la de la chi-cuadrado. Entiendo que, en última instancia, deberÃa ser el banco (o el regulador) el que determinase cómo de grande deberÃa ser la desviación que tuviese que generar una alarma (y eso no lo decido yo). Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)... No sé si esto aclara las cosas o consigue el efecto contrario... Un saludo, Carlos J. Gil Bellosta
Carlos, creo que la respuesta la ha dado ya José Trujillo Carmona. Si
el Banco de España quiere detectar desviaciones poblacionales
significativas, el Banco de España es el que debe decidir qué es lo
que considera "significativo", no en el sentido de p-valor, sino en el
sentido de "desviación que me importa". (Y lo qué es o no importante
imagino que depende de las consecuencias de esas desviaciones, etc,
etc. Supongo que para eso tienen economistas en el BE :-).
O sea, es el "subject matter knowledge" lo que debe dictaminar cual es
la diferencia mÃnima que queremos detectar, NO el p-valor per se. A
partir de ahÃ, uno construye un test apropiado para detectar esas
diferencias que nos importan.
Como ya ha indicado Jo?e, la idea de bioequivalence et al. es
apropiada aquÃ. Por ejemplo, copio de un artÃculo en The American
Statistician de Barker et al. ("Equivalence Testing for Binomial
Random Variables: Which Test to Use?", The American Statistician,
55(4), pp. 279-287, 2001). "In studies intended to show that two
populations are practically equivalent, the null hypothesis that a
substantial difference between the populations exists is more
appropriate". Y "In equivalence testing, a difference is specified
between parameters such that the experimenter does not care about a
smaller difference, but does care about a larger difference". Etc.
Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)...
Me temo que ese deseo sencillamente no puede ser satisfecho Un saludo, R. P.D. No estoy seguro de que lo que menciona Kjetil sea aplicable inmediatamente a este caso. El problema que examina Efron es el contraste de muchas (miles a centenares de miles) de hipótesis nulas, como se da frecuentemente en genómica. Pero si entiendo bien tu estás satisfecho con UNA sola hipótesis nula (lo que falta es decidir exactamente CUAL es esa unica hipótesis nula que tienes). 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
Hola, ¿qué tal? El problema que motiva mi mensaje es el siguiente. Imaginad un banco que ha concedido un millón de hipotecas. Cada hipoteca está asignada a uno de 10 niveles de riesgo distinto (A1 el menos arriesgado, A10 "subprime"). Pasa un mes y se recalculan los niveles de cada una de las hipotecas. Algunas ya se han cancelado, hay hipotecas nuevas, etc. Tanto el banco en cuestión como el regulador (Banco de España, en mi caso particular) están interesados en detectar si hay "desviaciones poblacionales significativas". Si se detecta una "desviación poblacional significativa" se generan una serie de alarmas, hay que replantear  modelos, hay que notificar al regulador, etc. Para detectar estas "desviaciones poblacionales significativas" se plantean distintos tests. Uno de ellos (utilizado por algunos bancos, sugerido también en el documento regulatorio que he apuntado antes) es el de la chi-cuadrado. Problema: que la población subyacente es tan grande que los p-valores obtenidos con fluctuaciones "mÃnimas" son alarmantes, del tipo 0.000000000000000000000021233. Y eso aun cuando los histogramas, a simple vista, son casi idénticos. Claro, es difÃcil justificar que con histogramas casi idénticos, con conteos de frecuencias muy similares, haya que decir: "según el p-valor obtenido por el test de la chi-cuadrado, Vd. tiene que replantearse la homogeneidad de su población". Simplemente creo que en este contexto, a pesar de que se utilice el test de la chi-cuadrado y que incluso se recomiende desde "altas esferas", es necesario plantearse una alternativa. De ahà que haya escrito a la lista: no sé si en estudios demográficos, de poblaciones de especies en ecosistemas, en disciplinas donde se manejen frecuencias elevadas, se utilizan medidas de "homogeneidad poblacional" distintas de la de la chi-cuadrado. Entiendo que, en última instancia, deberÃa ser el banco (o el regulador) el que determinase cómo de grande deberÃa ser la desviación que tuviese que generar una alarma (y eso no lo decido yo). Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)... No sé si esto aclara las cosas o consigue el efecto contrario... Un saludo, Carlos J. Gil Bellosta
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Ramon Diaz-Uriarte Structural Biology and Biocomputing Programme Spanish National Cancer Centre (CNIO) http://ligarto.org/rdiaz Phone: +34-91-732-8000 ext. 3019
Hola, ¿qué tal? Ramón, estoy de acuerdo contigo. Es ciertamente efecto de la pereza intelectual que cuando en el campo X surja el problema de comparar la estructura (respecto a cierta variable cualitativa) de dos poblaciones se recurra automáticamente al test de la chi-cuadrado. Y todavÃa de mayor pereza intelectual que dicho consejo se reproduzca incontestadamente en artÃculos y manuales. En el problema que estoy estudiando, el uso de la chi-cuadrado no se justifica porque: 1) No se cumplen las hipótesis básicas para ser aplicado. 2) Da lugar a resultados no razonables. En particular, los individuos que forman parte de la población en estudio no son, ni mucho menos, iid según una multinomial con parámetros fijos. Es una hipótesis de rigidez distribucional muy restrictiva. Quiero pensar que bajo hipótesis que tuviesen en cuenta la incertidumbre sobre los parámetros observados y las correlaciones entre los individuos (tal vez introduciendo variables latentes (¿normales?) asociadas a cada individuo con un grado de correlación dado) se obtendrÃan intervalos de confianza más generosos. O plausibles. Aunque me da que abundar en esto es matar moscas a cañonazos: hay que saber mucho para expresar analÃticamente que se sabe poco. La alternativa, muy en el espÃritu de lo que apunta Ramón, serÃa, efectivamente, dentro del "conocimiento de la materia", determinar qué se puede entender por "significativo". Yo no sé a partir de qué umbral un cambio en la estructura poblacional es relevante pero sà que intuyo que la relevancia (medida en este ámbito en términos del coste económico del error) está relacionada linealmente con la tasa de error. En fin, creo que me reintegraré dócilmente al redil de los que no cuestionan en este contexto el uso de la chi-cuadrado consolándome pensando que nunca despidieron a nadie por seguir diligentemente las normas que emanan de los despachos del Banco de España. Un saludo y muchas gracias a todos, Carlos J. Gil Bellosta http://www.datanalytics.com El 21 de julio de 2009 10:02, Ramon Diaz-Uriarte<rdiaz02 en gmail.com> escribió:
Carlos, creo que la respuesta la ha dado ya José Trujillo Carmona. Si
el Banco de España quiere detectar desviaciones poblacionales
significativas, el Banco de España es el que debe decidir qué es lo
que considera "significativo", no en el sentido de p-valor, sino en el
sentido de "desviación que me importa". (Y lo qué es o no importante
imagino que depende de las consecuencias de esas desviaciones, etc,
etc. Supongo que para eso tienen economistas en el BE :-).
O sea, es el "subject matter knowledge" lo que debe dictaminar cual es
la diferencia mÃnima que queremos detectar, NO el p-valor per se. A
partir de ahÃ, uno construye un test apropiado para detectar esas
diferencias que nos importan.
Como ya ha indicado Jo?e, la idea de bioequivalence et al. es
apropiada aquÃ. Por ejemplo, copio de un artÃculo en The American
Statistician de Barker et al. ("Equivalence Testing for Binomial
Random Variables: Which Test to Use?", The American Statistician,
55(4), pp. 279-287, 2001). "In studies intended to show that two
populations are practically equivalent, the null hypothesis that a
substantial difference between the populations exists is more
appropriate". Y "In equivalence testing, a difference is specified
between parameters such that the experimenter does not care about a
smaller difference, but does care about a larger difference". Etc.
Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)...
Me temo que ese deseo sencillamente no puede ser satisfecho Un saludo, R. P.D. No estoy seguro de que lo que menciona Kjetil sea aplicable inmediatamente a este caso. El problema que examina Efron es el contraste de muchas (miles a centenares de miles) de hipótesis nulas, como se da frecuentemente en genómica. Pero si entiendo bien tu estás satisfecho con UNA sola hipótesis nula (lo que falta es decidir exactamente CUAL es esa unica hipótesis nula que tienes). 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
Hola, ¿qué tal? El problema que motiva mi mensaje es el siguiente. Imaginad un banco que ha concedido un millón de hipotecas. Cada hipoteca está asignada a uno de 10 niveles de riesgo distinto (A1 el menos arriesgado, A10 "subprime"). Pasa un mes y se recalculan los niveles de cada una de las hipotecas. Algunas ya se han cancelado, hay hipotecas nuevas, etc. Tanto el banco en cuestión como el regulador (Banco de España, en mi caso particular) están interesados en detectar si hay "desviaciones poblacionales significativas". Si se detecta una "desviación poblacional significativa" se generan una serie de alarmas, hay que replantear  modelos, hay que notificar al regulador, etc. Para detectar estas "desviaciones poblacionales significativas" se plantean distintos tests. Uno de ellos (utilizado por algunos bancos, sugerido también en el documento regulatorio que he apuntado antes) es el de la chi-cuadrado. Problema: que la población subyacente es tan grande que los p-valores obtenidos con fluctuaciones "mÃnimas" son alarmantes, del tipo 0.000000000000000000000021233. Y eso aun cuando los histogramas, a simple vista, son casi idénticos. Claro, es difÃcil justificar que con histogramas casi idénticos, con conteos de frecuencias muy similares, haya que decir: "según el p-valor obtenido por el test de la chi-cuadrado, Vd. tiene que replantearse la homogeneidad de su población". Simplemente creo que en este contexto, a pesar de que se utilice el test de la chi-cuadrado y que incluso se recomiende desde "altas esferas", es necesario plantearse una alternativa. De ahà que haya escrito a la lista: no sé si en estudios demográficos, de poblaciones de especies en ecosistemas, en disciplinas donde se manejen frecuencias elevadas, se utilizan medidas de "homogeneidad poblacional" distintas de la de la chi-cuadrado. Entiendo que, en última instancia, deberÃa ser el banco (o el regulador) el que determinase cómo de grande deberÃa ser la desviación que tuviese que generar una alarma (y eso no lo decido yo). Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)... No sé si esto aclara las cosas o consigue el efecto contrario... Un saludo, Carlos J. Gil Bellosta
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
-- Ramon Diaz-Uriarte Structural Biology and Biocomputing Programme Spanish National Cancer Centre (CNIO) http://ligarto.org/rdiaz Phone: +34-91-732-8000 ext. 3019
Hola Carlos, Muy estimulante la discusion! En mi experiencia, los documentos regulatorios son superficiales y conservadores. Una de las razones por la que los bancos (industria farmaceutica, etc.) contratan consultores es porque si siguen al pie de la letra estos documentos no pueden hacer negocios. Seguramente, el problema estadistico que planteaste se deberia resolver muy puntualmente como se ha mensionado en la mails anteriores. De todos modos y fuera del contexto particular de tu aplicacion, aca hay algo muy profundo en el uso de metodos estadisticos que hay que cambiar. Tambien algo muy profundo en la enseñanza de la estadistica que tambien hay que cambiar, sino profesionales de otras areas, con uno o dos cursos de estadistica en su carrera, nos seguiran indicando que hay que mirar los valores p! "R-utopia" (el mundo fantastico de R) nos seguira brindando esta posibilidad de cambios. Saludos, Pablo ----- Original Message ----- From: "Carlos J. Gil Bellosta " <cgb en datanalytics.com> To: "Ramon Diaz-Uriarte" <rdiaz02 en gmail.com> Cc: "r-help-es" <r-help-es en r-project.org> Sent: Tuesday, July 21, 2009 7:42 PM Subject: Re: [R-es]El test de la chi-cuadrado, ¿demasiado restrictivo asintóticamente?
Hola, ¿qué tal? Ramón, estoy de acuerdo contigo. Es ciertamente efecto de la pereza intelectual que cuando en el campo X surja el problema de comparar la estructura (respecto a cierta variable cualitativa) de dos poblaciones se recurra automáticamente al test de la chi-cuadrado. Y todavÃa de mayor pereza intelectual que dicho consejo se reproduzca incontestadamente en artÃculos y manuales. En el problema que estoy estudiando, el uso de la chi-cuadrado no se justifica porque: 1) No se cumplen las hipótesis básicas para ser aplicado. 2) Da lugar a resultados no razonables. En particular, los individuos que forman parte de la población en estudio no son, ni mucho menos, iid según una multinomial con parámetros fijos. Es una hipótesis de rigidez distribucional muy restrictiva. Quiero pensar que bajo hipótesis que tuviesen en cuenta la incertidumbre sobre los parámetros observados y las correlaciones entre los individuos (tal vez introduciendo variables latentes (¿normales?) asociadas a cada individuo con un grado de correlación dado) se obtendrÃan intervalos de confianza más generosos. O plausibles. Aunque me da que abundar en esto es matar moscas a cañonazos: hay que saber mucho para expresar analÃticamente que se sabe poco. La alternativa, muy en el espÃritu de lo que apunta Ramón, serÃa, efectivamente, dentro del "conocimiento de la materia", determinar qué se puede entender por "significativo". Yo no sé a partir de qué umbral un cambio en la estructura poblacional es relevante pero sà que intuyo que la relevancia (medida en este ámbito en términos del coste económico del error) está relacionada linealmente con la tasa de error. En fin, creo que me reintegraré dócilmente al redil de los que no cuestionan en este contexto el uso de la chi-cuadrado consolándome pensando que nunca despidieron a nadie por seguir diligentemente las normas que emanan de los despachos del Banco de España. Un saludo y muchas gracias a todos, Carlos J. Gil Bellosta http://www.datanalytics.com El 21 de julio de 2009 10:02, Ramon Diaz-Uriarte<rdiaz02 en gmail.com>
escribió:
Carlos, creo que la respuesta la ha dado ya José Trujillo Carmona. Si
el Banco de España quiere detectar desviaciones poblacionales
significativas, el Banco de España es el que debe decidir qué es lo
que considera "significativo", no en el sentido de p-valor, sino en el
sentido de "desviación que me importa". (Y lo qué es o no importante
imagino que depende de las consecuencias de esas desviaciones, etc,
etc. Supongo que para eso tienen economistas en el BE :-).
O sea, es el "subject matter knowledge" lo que debe dictaminar cual es
la diferencia mÃnima que queremos detectar, NO el p-valor per se. A
partir de ahÃ, uno construye un test apropiado para detectar esas
diferencias que nos importan.
Como ya ha indicado Jo?e, la idea de bioequivalence et al. es
apropiada aquÃ. Por ejemplo, copio de un artÃculo en The American
Statistician de Barker et al. ("Equivalence Testing for Binomial
Random Variables: Which Test to Use?", The American Statistician,
55(4), pp. 279-287, 2001). "In studies intended to show that two
populations are practically equivalent, the null hypothesis that a
substantial difference between the populations exists is more
appropriate". Y "In equivalence testing, a difference is specified
between parameters such that the experimenter does not care about a
smaller difference, but does care about a larger difference". Etc.
Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)...
Me temo que ese deseo sencillamente no puede ser satisfecho Un saludo, R. P.D. No estoy seguro de que lo que menciona Kjetil sea aplicable inmediatamente a este caso. El problema que examina Efron es el contraste de muchas (miles a centenares de miles) de hipótesis nulas, como se da frecuentemente en genómica. Pero si entiendo bien tu estás satisfecho con UNA sola hipótesis nula (lo que falta es decidir exactamente CUAL es esa unica hipótesis nula que tienes). 2009/7/20 Carlos J. Gil Bellosta <cgb en datanalytics.com>:
Hola, ¿qué tal? El problema que motiva mi mensaje es el siguiente. Imaginad un banco que ha concedido un millón de hipotecas. Cada hipoteca está asignada a uno de 10 niveles de riesgo distinto (A1 el menos arriesgado, A10 "subprime"). Pasa un mes y se recalculan los niveles de cada una de las hipotecas. Algunas ya se han cancelado, hay hipotecas nuevas, etc. Tanto el banco en cuestión como el regulador (Banco de España, en mi caso particular) están interesados en detectar si hay "desviaciones poblacionales significativas". Si se detecta una "desviación poblacional significativa" se generan una serie de alarmas, hay que replantear modelos, hay que notificar al regulador, etc. Para detectar estas "desviaciones poblacionales significativas" se plantean distintos tests. Uno de ellos (utilizado por algunos bancos, sugerido también en el documento regulatorio que he apuntado antes) es el de la chi-cuadrado. Problema: que la población subyacente es tan grande que los p-valores obtenidos con fluctuaciones "mÃnimas" son alarmantes, del tipo 0.000000000000000000000021233. Y eso aun cuando los histogramas, a simple vista, son casi idénticos. Claro, es difÃcil justificar que con histogramas casi idénticos, con conteos de frecuencias muy similares, haya que decir: "según el p-valor obtenido por el test de la chi-cuadrado, Vd. tiene que replantearse la homogeneidad de su población". Simplemente creo que en este contexto, a pesar de que se utilice el test de la chi-cuadrado y que incluso se recomiende desde "altas esferas", es necesario plantearse una alternativa. De ahà que haya escrito a la lista: no sé si en estudios demográficos, de poblaciones de especies en ecosistemas, en disciplinas donde se manejen frecuencias elevadas, se utilizan medidas de "homogeneidad poblacional" distintas de la de la chi-cuadrado. Entiendo que, en última instancia, deberÃa ser el banco (o el regulador) el que determinase cómo de grande deberÃa ser la desviación que tuviese que generar una alarma (y eso no lo decido yo). Pero me gustarÃa ser capaz de proponer una medida alternativa al estadÃstico que da lugar al test de la chi-cuadrado que, como propiedad deseable, no dependiese de n (el tamaño muestral)... No sé si esto aclara las cosas o consigue el efecto contrario... Un saludo, Carlos J. Gil Bellosta
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
-- Ramon Diaz-Uriarte Structural Biology and Biocomputing Programme Spanish National Cancer Centre (CNIO) http://ligarto.org/rdiaz Phone: +34-91-732-8000 ext. 3019
_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es