[R-es] Nested cross validation

Buenas,


Os escribo porque no termino muy bien de entender el nested cross validation.


Por lo que he leido se hacen dos bucles. El bucle interno es de afinamiento de modelo y el externo es donde se ve como funciona ese modelo.


Pero lo que no entiendo es que para el interno, pruebo con el ajuste de modelos y me quedo con el mejor de ellos para luego pasarlo por el fold externo. Lo que pasa es que de un fold externo a otro el ajuste que puede haber dentro del fold interno es diferente.

Supongamos que quiero probar un knn, variando unicamente el valor de k.


En el externo creo 10 folds y en el interno creo 5 folds en los que voy ajustando el valor de la k. Para el primer fold, en el interno puedo ver que la mejor k es 7. Entonces con el modelo ajustado con k=7 valido el test del primer fold.

Voy a por el segundo fold externo. Entonces en el fold interno me sale que el modelo que mejor ajusta es con k=5 y vuelvo a validar con test externo de ese segundo fold....


Y así sucesivamente, pero entonces, cuando me tenga que quedar con un modelo, ¿con cual lo hago?


Gracias

Jesús