Tests de robustez en StrategyQuant X: IS/OOS y Monte Carlo

Cómo funciona la división In-Sample/Out-of-Sample en StrategyQuant X, los ratios de aceptación recomendados, y los dos tipos de test Monte Carlo —manipulación de trades y retest completo— para medir robustez.

Una vez identificadas las señales y construidas las estrategias candidatas, hay que someterlas a una batería de pruebas de robustez. Este es el proceso que separa las estrategias reales de las ilusiones del backtest. Esta página cubre los dos primeros filtros del embudo: la división IS/OOS y los tests Monte Carlo.

Tabla de contenidos

In-Sample (IS) frente a Out-of-Sample (OOS)

La división IS/OOS es el primer y más fundamental test de robustez.

Concepto	Definición
In-Sample (IS)	Periodo histórico usado para generar y optimizar la estrategia. La estrategia "conoce" estos datos.
Out-of-Sample (OOS)	Periodo histórico reservado para validar la estrategia. Datos nunca vistos durante la construcción.
True OOS	Periodo adicional —normalmente los últimos 1-2 años— completamente alejado del proceso de desarrollo, reservado como última verificación.

Configuración recomendada de la división

División	Porcentaje
In-Sample	30% de los datos disponibles
Out-of-Sample	50% de los datos disponibles
True OOS (verificación final)	20% más reciente, normalmente los últimos 2 años



CLAVE PRÁCTICA

Una estrategia robusta debe mostrar un ratio de métricas OOS/IS cercano a 0.6-1.0. Si la estrategia gana 1.000 puntos en IS pero solo 50 en OOS, hay overfitting grave. Si gana 1.000 en IS y 800 en OOS, es una señal muy positiva de robustez.



ATENCIÓN

Confiar solo en el Profit Factor del In-Sample es uno de los errores más frecuentes. El IS es información sobre cómo se comportó la estrategia en los datos que ya conocía; no es una conclusión sobre si funcionará en el futuro. Esa conclusión solo empieza a formarse con el resultado en OOS.

Monte Carlo: dos tipos con propósitos distintos

Tipo 1: manipulación de trades

Trabaja directamente con las operaciones ya existentes del backtest, sin necesidad de re-testear. Es rápido, y por eso suele ir primero en el embudo.

Reshuffle de trades: reordena las operaciones aleatoriamente miles de veces, para comprobar si la rentabilidad depende del orden concreto en que ocurrieron.
Omisión de trades: elimina aleatoriamente un porcentaje de operaciones. Una estrategia robusta no debería colapsar si se pierden algunas de sus operaciones.

Tipo 2: retest completo

Requiere ejecutar un backtest completo por cada simulación, por lo que es más lento, pero también más profundo.

Randomize Strategy Parameters: varía los periodos de los indicadores un porcentaje. Si una estrategia solo funciona con exactamente RSI(14) y falla con RSI(13) o RSI(15), es frágil.
Randomize OHLC History Data: introduce ruido en los propios datos históricos, simulando cómo se habría comportado la estrategia si el mercado hubiera sido ligeramente distinto.
Randomize Spread/Slippage: prueba la estrategia con costes de transacción más elevados de los configurados por defecto.



NOTA

Un estudio de StrategyQuant sobre robustez en Forex, publicado en su blog oficial, señala el test Multi-Mercado como el que mejor predice el comportamiento fuera de muestra entre los distintos tests de robustez disponibles, con el Monte Carlo de Randomize OHLC como una de las variantes de retest más consistentes. El Multi-Mercado se desarrolla en la página siguiente de esta serie. Fuente: strategyquant.com/blog/analysis-of-selected-robustness-tests-in-strategyquant-x-on-forex/.

Preguntas frecuentes (FAQs)

¿Qué diferencia práctica hay entre reshuffle de trades y omisión de trades?

El reshuffle comprueba si el orden de las operaciones importa —una estrategia sensible al orden puede estar aprovechando una racha concreta, no una ventaja estructural—. La omisión comprueba si la estrategia depende de un subconjunto muy concreto de operaciones ganadoras; si retirar un porcentaje al azar la hunde, esa dependencia es una señal de fragilidad.

¿En qué orden debo aplicar los Monte Carlo del Tipo 1 y del Tipo 2?

El Tipo 1 primero, porque no requiere retestear y es mucho más rápido: sirve como filtro inicial sobre un número grande de candidatas. El Tipo 2, más lento, se reserva para las estrategias que ya superaron el Tipo 1, siguiendo la misma lógica de embudo descrita en la página anterior de esta serie.

Si una estrategia falla el Randomize Strategy Parameters pero pasa el resto, ¿la descarto?

Es una señal de alerta seria: indica que la estrategia depende de valores muy concretos de sus parámetros, un síntoma clásico de overfitting sobre el proceso de optimización. No es necesariamente descalificatorio si el resto de tests son sólidos, pero merece revisar si los parámetros se eligieron por una lógica real o simplemente porque daban el mejor resultado en el histórico usado.

Sigue leyendo el contenido de esta serie

IS/OOS y Monte Carlo son el primer filtro. Los tests más exigentes —y los reservados para el final del embudo— son el Walk-Forward, el SPP y el test Multi-mercado.