Backtest: La divisione dei dati storici. In Sample e Out of Sample

La divisione dei dati storici in In Sample (IS) e Out of Sample (OOS) è un passaggio cruciale per lo sviluppo e la validazione di strategie efficaci. Questa pratica consente di separare la fase di addestramento e ottimizzazione da quella di test e validazione, riducendo il rischio di overfitting e migliorando la capacità del sistema di adattarsi alle mutevoli condizioni di mercato.

La divisione dei dati storici in IS e OOS rappresenta una suddivisione temporale e metodologica del dataset storico utilizzato nel trading.

• • Dati In Sample (IS).
    Rappresenta l’insieme di dati storici utilizzato per creare, testare e ottimizzare il trading system.

• • Dati Out of Sample (OOS).
    Rappresenta l’insieme dei dati “nuovi”, mai utilizzati nella fase di sviluppo, impiegati solo per valutare la capacità predittiva e la robustezza del sistema.

Il sistema viene sviluppato ed ottimizzato sui dati IS e successivamente testato sui dati OOS per verificare se le performance si confermano anche in condizioni “sconosciute”.

La divisione dei dati storici ha lo scopo principale di limitare l’overfitting, ovvero l’adattamento eccessivo ai dati storici che porta a risultati sovrastimati e poco replicabili. Senza questa divisione, un Expert Advisor ottimizzato su tutto lo storico può mostrare un rendimento estremamente profittevole, ma fallire completamente in futuro. Il test su dati OOS consente quindi di misurare l’adattabilità dell’algoritmo a nuove condizioni di mercato e la sua capacità di mantenere performance coerenti anche su dati nuovi. Rappresenta un vero banco di prova per la validità della strategia.

Le pratiche più comuni prevedono divisioni temporali nette, ad esempio:

• • Utilizzare i primi anni di dati per IS (es. 2000-2010) e gli anni successivi per OOS (es. 2011-2020);

• • Adottare finestre mobili con la tecnica del walk-forward, in cui la finestra IS si sposta progressivamente nel tempo testando più volte la robustezza.

Importante anche la tecnica di cross-validation, più diffusa nel machine learning, che prevede la rotazione tra porzioni di dati per testare la strategia su diversi set OOS in modo sistematico.

Va specificato che il termine “Out of Sample” è usato in modo generico e si può distinguere tra:

• • Dati di validazione (Validation Set).
    Parte dei dati usata per ottimizzare i parametri senza esporre il sistema all’overfitting eccessivo;

• • Test finale (Test Set). 
    Parte dei dati usata per valutare la reale capacità predittiva senza modifiche.

Questa stratificazione aumenta la qualità della validazione e assicura che il sistema sia solido e affidabile.

Nonostante le sue evidenti potenzialità, la suddivisione IS/OOS può generare differenti problematiche:

• • Se i dati non sono sufficientemente lunghi o ricchi, dividere riduce il campione disponibile per addestrare e testare, limitando la validità statistica.

• • La scelta arbitraria dei punti di divisione può falsare i risultati se non si tiene conto della stagionalità o degli eventi macroeconomici.

• • In mercati altamente mutevoli, un sistema può “funzionare” in IS ma deteriorarsi rapidamente in OOS per cambiamenti strutturali.

Per questo motivo, è necessaria una valutazione critica e dinamica della suddivisione.

• • Usare dati sufficientemente lunghi, in modo da avere ampi set IS e OOS.

• • Adottare tecniche di walk-forward analysis, per testare la strategia in serie su finestre temporali mobili, migliorando la probabilità di generalizzazione.

• • Eseguire la cross-validation per ridurre la sensibilità ai punti di taglio arbitrari e aumentare la robustezza statistica.

• • Valutare la persistenza del sistema confrontando le metriche sia nel set di dati IS sia nel set di dati OOS, con metodi statistici validi come il T-Test.

• • Evitare overfitting limitando la complessità del modello e il numero di parametri ottimizzati.

• • Aggiornare regolarmente i test per riflettere l’evoluzione delle condizioni di mercato.

La letteratura suggerisce di utilizzare test statistici per confrontare gli output IS e OOS, come il T-Test, che valuta se le distribuzioni dei rendimenti appartengono alla stessa popolazione. Ciò permette di quantificare il grado di adattamento dell’Expert Advisor e di identificare strategie con reale potenziale. La persistenza del risultato rappresenta la capacità del sistema di mantenere un ordinamento stabile delle performance da IS a OOS, un parametro fondamentale per la selezione di strategie robuste.

• • Equity line comparativa.
    Visualizzare in modo simultaneo le curve di equity IS e OOS.

• • Analisi della distribuzione dei trade.
    Verifiche sulla percentuale di trade vincenti e sul rapporto rischio-rendimento.

• • Analisi Montecarlo.
    Per valutare la robustezza in scenari generati casualmente.

Questi strumenti aiutano a ridurre i rischi operativi e a prendere decisioni più informate.

La divisione tra In Sample e Out of Sample è un pilastro fondamentale per lo sviluppo di Expert Advisor robusti e affidabili. Tale strategia di suddivisione dei dati consente di evitare l’overfitting, di misurare la persistenza dei risultati e di valutare oggettivamente la capacità adattativa delle strategie. Adottare best practice quali il walk-forward, la cross-validation e l’uso di test statistici aiuta a costruire sistemi più duraturi nel tempo. La corretta gestione di questo processo distingue i trader algoritmici di successo da chi si affida a semplici backtest senza validazione solida. La vera sopravvivenza nel trading automatico dipende dalla capacità di strutturare metodi rigorosi di validazione e test, in grado di affrontare mercati incerti e mutevoli con strategie realmente capaci di adattarsi.