Validación Masiva en StrategyQuant: el flujo completo en 4 pasos

Cómo generar miles de estrategias candidatas y filtrarlas progresivamente —retest por lotes, Monte Carlo, Walk-Forward Matrix y filtrado avanzado del databank— hasta quedarte solo con las "bolas blancas".

Un generador de estrategias (Builder) es, por su propia naturaleza, una máquina de sobreoptimizar: si le das tiempo suficiente, siempre acabará encontrando una combinación de parámetros que se ajusta a la perfección al histórico que le has dado. El problema es que ese ajuste perfecto al pasado no garantiza nada sobre el futuro — cuanto mejor encaja una estrategia con unos datos concretos, mayor es el riesgo de que ese encaje sea puro azar y no un patrón de mercado real.

La Validación Masiva invierte el planteamiento habitual: en vez de perseguir la estrategia "perfecta", genera un universo amplio de candidatas y las somete a filtros cada vez más exigentes. La lógica es estadística — si generas miles de estrategias y les aplicas pruebas de robustez rigurosas, las pocas que sobrevivan tendrán una probabilidad genuinamente alta de comportarse bien en mercado real.

Visión general del embudo en 4 pasos

Cada paso actúa como un filtro adicional. No hace falta acertar a la primera con los parámetros de cada fase: es habitual ajustar los umbrales entre tiradas según cuántas estrategias sobreviven y cuánto tiempo de cómputo tienes disponible.

Paso 1: generación inicial — construir el universo

El objetivo de esta fase es generar el mayor número posible de estrategias diversas. La cantidad importa porque el filtrado posterior eliminará a la inmensa mayoría: se necesita un universo amplio para que los supervivientes finales sean estadísticamente significativos.

Ten en cuenta también que activar la opción de simetría (Symmetry) obliga al Builder a generar también operaciones de venta en activos con sesgo alcista estructural, como el oro — algo a valorar según si buscas un universo equilibrado en ambas direcciones o prefieres dejar que el algoritmo explore libremente.

Paso 2: primer filtrado — retest en un mercado diferente

Este filtro es conceptualmente simple pero muy efectivo. Si una estrategia generada en un índice también genera beneficio en otro índice correlacionado pero con dinámica distinta, hay una evidencia inicial de que su lógica captura algún patrón general y no está simplemente ajustada al ruido específico del primer activo. Un ejemplo típico es generar el universo inicial sobre un índice como el Nasdaq y usar el Dow Jones como mercado de contraste: comparten un componente común de renta variable estadounidense, pero su composición y comportamiento intradía son distintos.

• Exporta el databank completo del Builder con todas las estrategias generadas.
• Impórtalo en el módulo de Retest.
• Configura el activo secundario y los mismos parámetros de spread y comisiones que usarías en real.
• Ejecuta el retest masivo sobre todo el databank.
• Aplica el filtro: conserva únicamente las estrategias con Profit Factor superior a 1 en el nuevo mercado.

El Retest no está pensado para lanzarse estrategia por estrategia: su función de retest por lotes toma directamente el databank entero y lo vuelve a probar de una sola vez, lo cual es imprescindible cuando hablas de miles de candidatas. Si además activas varios símbolos y varios timeframes a la vez en la misma pasada, la herramienta prueba automáticamente cada estrategia contra todas las combinaciones posibles de símbolo y timeframe habilitadas, sin que tengas que configurar cada combinación por separado.

Para el spread, la comisión, el swap y el slippage, puedes elegir entre aplicar el valor original con el que se generó cada estrategia, forzar un valor personalizado para toda la tanda, o usar el valor típico del instrumento — una distinción útil cuando quieres endurecer deliberadamente las condiciones de todo el retest respecto a las que se usaron en la generación.

Paso 3: segundo filtrado — Monte Carlo y ratio Retorno/Drawdown

Las estrategias que superan el retest cruzado pasan ahora por pruebas de robustez estadística, que evalúan si el rendimiento observado podría deberse simplemente al azar.

El Monte Carlo en esta fase del Builder trabaja directamente sobre la lista de operaciones que ya tienes calculada, sin necesidad de volver a ejecutar el backtest — es precisamente esa ligereza lo que permite aplicarlo sobre miles de estrategias sin que el proceso se eternice. Existen dos formas principales de generar las simulaciones:

• Reordenar aleatoriamente la secuencia de operaciones, manteniendo las mismas operaciones pero cambiando el orden en que se sucedieron, para ver cómo varía el camino (y sobre todo el drawdown) que habría seguido la curva de equity.
• Eliminar operaciones al azar con una probabilidad determinada, simulando qué pasaría si algunas operaciones simplemente no se hubiesen producido — por ejemplo, por un fallo de conexión o de ejecución en real.

Con 1.000 simulaciones se obtiene una distribución robusta del comportamiento potencial de la estrategia. El nivel de confianza exigido no tiene por qué ser fijo en el 90%: los niveles habituales son 80%, 90% y 95%, y puedes moverte entre ellos según lo exigente que quieras ser en esta fase — cuanto mayor la confianza exigida, menos estrategias pasan pero más fiables son las que sobreviven.

Junto al Monte Carlo, aplica un filtro por Ratio Retorno/Drawdown, que mide cuánto retorno se genera por cada unidad de riesgo asumida:

Al configurar el ranking por este ratio, exige siempre un valor mínimo un punto por encima del umbral que usaste como filtro, para evitar aceptar estrategias que apenas rozan el límite.

Paso 4: tercer filtrado — Walk-Forward Matrix, la prueba de fuego

Este es el filtro más exigente y el más importante de todo el proceso. La versión simplificada de este criterio, y la más habitual para tiradas masivas, consiste en dividir el histórico en dos tramos y comprobar que la pendiente de la curva de equity en el tramo Out-of-Sample (el que la estrategia no vio durante la optimización) es igual o mejor que en el tramo In-Sample.

Pero conviene conocer también la versión completa de la herramienta, que es más rica de lo que sugiere esa comparación simplificada: la Walk-Forward Matrix no ejecuta un único test IS/OOS, sino una auténtica matriz de walk-forwards, combinando distintos números de periodos de reoptimización con distintos porcentajes de Out-of-Sample. El resultado se visualiza como un mapa de calor o gráfico tridimensional sobre la métrica que elijas (beneficio neto, drawdown, estabilidad, Profit Factor...), donde cada celda de la matriz es una combinación concreta de "número de reoptimizaciones × % de OOS" y se marca como superada o fallida.

Un criterio más exigente que la simple comparación de pendientes es buscar un clúster de robustez: en lugar de fijarte en una sola combinación de parámetros, comprueba si existe un grupo compacto de combinaciones vecinas en la matriz —por ejemplo, un bloque de 3×3 combinaciones de periodos y porcentaje de OOS— donde la gran mayoría de esas celdas (no todas, pero sí la mayoría) superan el test. Que el resultado dependa de un bloque amplio de configuraciones vecinas, y no de un único punto afortunado, es una señal mucho más fiable de que el comportamiento no depende de haber acertado por casualidad con un parámetro concreto.

Algunas variantes y matices adicionales que conviene conocer sobre este filtro:

• Cuando el Walk-Forward se configura con dos tramos Out-of-Sample independientes, una versión más estricta del criterio exige que el ángulo de la curva supere al del In-Sample en cada tramo por separado y también en el tramo combinado de ambos — en la práctica esta versión de tres condiciones puede resultar incluso más permisiva en algunas tiradas que exigir solo la pendiente global, así que conviene probar ambas variantes con tus propios datos.
• Puedes añadir un criterio adicional: que la racha máxima de pérdidas consecutivas en el Out-of-Sample sea igual o menor que en el In-Sample, como señal extra de que el comportamiento no empeora fuera de muestra.
• Si el filtro de pendiente resulta demasiado restrictivo, antes de relajar el criterio prueba primero a ampliar el histórico uno o dos años: a menudo el problema no es la estrategia, sino que el tramo Out-of-Sample es demasiado corto para ser representativo.
• En una tirada real aplicando este criterio de forma exacta, solo un 6% de las estrategias que llegaron hasta esta fase lo superaron — una muestra de lo exigente que resulta este último filtro cuando se aplica sin concesiones.

En la fase final, muchos no aplican ranking alguno entre las supervivientes: si una estrategia ha pasado todos los filtros de robustez, ya es una "bola blanca" por derecho propio, y no hace falta ordenarlas entre sí antes de pasarlas a portfolio.

Filtrado avanzado dentro del databank

Todo el embudo anterior se apoya, en la práctica, en las herramientas de filtrado y ranking del propio databank, que conviene conocer para exprimir mejor el proceso.

El databank no guarda todo lo que generas de forma indefinida: normalmente se configura para conservar solo las mejores N estrategias (por ejemplo, las 100 o 1.000 mejores), ordenadas por un valor de fitness entre 0 y 1 calculado a partir del Profit Factor o de una fórmula de fitness ponderada que tú mismo puedes definir combinando varias métricas.

Los filtros avanzados o personalizados que puedes construir sobre el databank no se limitan a un puñado de métricas fijas: pueden aplicarse prácticamente sobre cualquier estadística del backtest o de las pruebas de robustez, y —esto es importante para todo lo descrito en este artículo— cada métrica puede filtrarse por separado según el tramo de datos al que pertenece: In-Sample, Out-of-Sample, el resultado de las pruebas de robustez (Monte Carlo, Walk-Forward, etc.) o el resultado agregado de portfolio. Esto te permite, por ejemplo, construir un único filtro compuesto que exija Profit Factor > 1 en el tramo OOS y, al mismo tiempo, confianza Monte Carlo > 90% en el tramo de robustez, sin tener que aplicar cada condición en pasadas separadas.

Dos métricas de simetría, poco conocidas pero útiles para detectar sesgos direccionales sospechosos, completan el conjunto: una que compara cuántas operaciones se han hecho en largo frente a corto, y otra que compara el rendimiento neto entre ambas direcciones. Una estrategia con una simetría muy desequilibrada —por ejemplo, casi todo el beneficio concentrado en el lado largo de un índice que ha sido estructuralmente alcista durante el periodo de backtest— es una candidata más sospechosa de estar ajustada a la tendencia del histórico que a un patrón de mercado genuino.

Comparar visualmente a las estrategias supervivientes

Una vez completado el embudo, es habitual quedarse con dos poblaciones: las que superaron los filtros iniciales y el subconjunto más reducido que además superó la Walk-Forward Matrix. Comparar ambas poblaciones visualmente, y no solo por sus medias agregadas, ayuda a confirmar que el filtrado ha sido realmente efectivo y no un artefacto de cómo se han promediado los números.

Una forma práctica de automatizar esta comparación es exportar cada población a un archivo CSV independiente (por ejemplo, uno con las estrategias que pasaron el filtrado inicial y otro con las que además superaron la Walk-Forward Matrix) y procesarlos con un script sencillo —en Python o en cualquier otro lenguaje con el que te manejes— que genere automáticamente dos histogramas de retorno superpuestos, uno por población, junto con un pequeño resumen estadístico comparativo. No hace falta nada sofisticado: el objetivo es simplemente ahorrarte reconstruir el gráfico a mano cada vez que repites el proceso sobre un activo distinto.

Si el filtrado ha funcionado, el histograma de la población final debería aparecer visiblemente desplazado hacia valores de retorno más altos y con menos dispersión que el histograma de la población descartada en el último paso — una diferencia que debería ser evidente a simple vista, no algo que necesites entrecerrar los ojos para apreciar.

Checklist completo de validación

Generación

• Activo y timeframe definidos con una justificación clara.
• Builder configurado con varias islas y factor de población bajo.
• Money Management en lote fijo durante toda la generación.
• Objetivo mínimo de varios miles de estrategias alcanzado.

Filtrado inicial

• Retest por lotes ejecutado sobre el databank completo, en un mercado diferente pero correlacionado.
• Spread, comisiones, swap y slippage del Retest ajustados a condiciones reales, no a los valores originales de generación.
• Filtro de Profit Factor > 1 aplicado correctamente.

Robustez estadística

• Monte Carlo ejecutado con un mínimo de 1.000 simulaciones, combinando reordenación y eliminación aleatoria de operaciones.
• Solo se conservan estrategias con la confianza mínima que hayas fijado (80%, 90% o 95%).
• Filtro de Ratio Retorno/Drawdown aplicado (idealmente por encima de 2).

Validación Out-of-Sample

• Walk-Forward Matrix ejecutada, al menos en modo de simulación rápida, sobre todo el subconjunto superviviente.
• Pendiente OOS verificada como igual o mejor que la IS, idealmente respaldada por un clúster de combinaciones vecinas y no por un único punto de la matriz.
• Análisis visual de las curvas de equity completado, no solo numérico.

Selección final

• Comparación visual entre la población filtrada y la descartada realizada, idealmente con un script propio que automatice los histogramas.
• Máximo de pérdidas consecutivas y simetría direccional evaluados y considerados aceptables.
• Cada estrategia final revisada manualmente, no solo por sus estadísticas.
• Condiciones de mercado del periodo de backtest documentadas.

Errores frecuentes y cómo evitarlos

Validación Masiva y Custom Project Multinivel

La Validación Masiva descrita en este artículo tiene una evolución natural: separar por completo la búsqueda de la lógica de entrada/salida de la optimización de sus parámetros, en dos niveles sucesivos de Builder. Es un enfoque más laborioso, pero que suele producir estrategias de mayor calidad.

El desarrollo completo de esta metodología en dos fases —con su propio checklist y sus propias pruebas de robustez— tiene su artículo dedicado dentro de esta misma serie.

Resumen ejecutivo

La Validación Masiva invierte el paradigma tradicional de creación de estrategias: en lugar de optimizar una única estrategia hasta hacerla "perfecta", genera miles de candidatas y aplica filtros progresivos hasta conservar solo las que demuestran robustez genuina. El proceso se sostiene sobre cinco pilares:

• Diversidad: generar un universo amplio, con parámetros variados y varias islas genéticas.
• Validación cruzada: demostrar que la lógica funciona también en mercados no vistos durante la generación, aprovechando el retest por lotes sobre el databank completo.
• Robustez estadística: confirmar mediante Monte Carlo que el rendimiento no es fruto del azar.
• Generalización Out-of-Sample: verificar, idealmente con un clúster de combinaciones y no un único test, que la estrategia mantiene su rendimiento en periodos que no vio durante la optimización.
• Filtrado inteligente en el databank: usar el fitness, los filtros por tramo (IS/OOS/robustez/portfolio) y las métricas de simetría para automatizar y afinar cada etapa del embudo.

Preguntas frecuentes (FAQs)

Sigue leyendo el contenido de esta serie