Cómo validamos un sistema antes de operarlo

El primer filtro es el más básico: el sistema debe generar ROI positivo sobre la muestra histórica completa. Utilizamos datos históricos verificados desde la temporada 2015-16, lo que proporciona una muestra de más de 116.000 partidos en las principales ligas europeas.

Un sistema que no supera este filtro ni merece análisis posterior. Pero superarlo tampoco es suficiente — una muestra grande permite que el ruido estadístico se acumule y genere falsos positivos. Por eso este test es necesario pero no suficiente.

El umbral mínimo que exigimos: ROI positivo en al menos 8 de 11 temporadas, con ROI agregado superior al 5%.

Un ROI positivo puede ser fruto del azar, especialmente con muestras pequeñas. El p-value mide la probabilidad de que los resultados observados se hayan producido por casualidad bajo la hipótesis nula (un sistema sin ventaja real generando los mismos números).

Exigimos p < 0.05, lo que significa que hay menos de un 5% de probabilidad de que los resultados sean ruido estadístico. Para sistemas con muestras reducidas (menos de 100 operaciones por temporada), elevamos el umbral a p < 0.01.

Este filtro elimina la mayoría de "sistemas" que circulan en comunidades de apostadores: sin este análisis, un racha afortunada en una temporada puede parecer un sistema sólido.

El walk-forward analysis simula cómo habría operado el sistema si hubiéramos ido descubriendo los datos año a año, en lugar de optimizarlo sobre toda la muestra de golpe.

El procedimiento: entrenamos los parámetros del sistema sobre las primeras N temporadas, luego lo aplicamos sin modificar a la temporada N+1. Repetimos el proceso desplazando la ventana hacia adelante. Cada temporada "de test" ha sido genuinamente out-of-sample en su momento.

Un sistema que solo funciona cuando conocemos el futuro (optimización in-sample) se colapsa en el walk-forward. Los sistemas que sobreviven este test tienen parámetros robustos, no ajustados al pasado.

Antes de definir los parámetros del sistema, reservamos el 20% más reciente de la muestra histórica como conjunto de validación. Este bloque no se toca durante el desarrollo.

Una vez que el sistema supera los tests anteriores sobre el 80% restante, lo aplicamos al bloque reservado sin modificación alguna. Si el ROI colapsa en el OOS, el sistema está sobreajustado al período de entrenamiento — lo descartamos.

Esta metodología es estándar en machine learning y modelización cuantitativa, pero raramente aplicada en el mundo de las apuestas deportivas. Es nuestro filtro más exigente: un sistema puede pasar los tests anteriores por azar, pero difícilmente superará el OOS si no existe una ineficiencia real en el mercado.

Una ineficiencia de mercado genuina debería aparecer en múltiples ligas y temporadas, no solo en una liga concreta durante un período específico. Si un sistema funciona únicamente en La Liga entre 2019 y 2022, no es una anomalía estadística — es ruido.

Exigimos que el sistema muestre ROI positivo en al menos el 70% de las ligas donde aplica y en al menos el 70% de las temporadas analizadas. Las ligas con comportamiento históricamente negativo se excluyen explícitamente (no se ocultan en el agregado).

Este test también detecta un fallo frecuente: sistemas que "funcionan" en el agregado pero con una sola liga o temporada excepcional que eleva el promedio. La consistencia transversal es la señal más fiable de que existe una ineficiencia estructural en el mercado.