Persistenza e validazione nel trading automatico: come si misura se un backtest regge

Il punto di partenza è un numero scomodo: fuori campione le metriche quasi sempre peggiorano. La domanda utile non è se caleranno, ma di quanto, e se il sistema resta accettabile dopo il calo.

Tre misure di quel calo, da studi pubblicati:

• McLean e Pontiff (Journal of Finance, 2016) hanno seguito 97 variabili che nella ricerca accademica prevedevano i rendimenti azionari. Fuori dal campione originale i rendimenti dei portafogli erano più bassi del 26%. Dopo la pubblicazione dello studio, del 58%.
• Suhonen, Lennkh e Perez (Journal of Portfolio Management, 2017) hanno confrontato 215 strategie vendute da banche d’investimento. Lo Sharpe ratio mediano era 1,20 nei backtest e 0,31 dal vivo: un taglio mediano del 73%.
• Harvey e Liu (Journal of Portfolio Management, 2015) partono da una pratica diffusa fra i gestori: dimezzare lo Sharpe di ogni backtest. Il loro lavoro mostra che lo sconto giusto non è fisso. Gli Sharpe molto alti vengono tagliati poco, quelli appena sopra la soglia vengono quasi azzerati.

Dati di studi accademici su portafogli azionari e strategie istituzionali, non su conti retail. I risultati passati non sono indicativi di quelli futuri.

La persistenza si può guardare in due modi. Conviene tenerli separati perché rispondono a domande diverse.

Persistenza del livello. Si confrontano i numeri: lo Sharpe in sample con lo Sharpe out of sample, il drawdown del backtest con quello dal vivo, il profit factor e il win rate prima e dopo. È il confronto che fa chi passa da un backtest a un conto.

Persistenza della classifica. Si prendono tutte le varianti provate in ottimizzazione e si guarda se quelle in cima nel passato restano in cima anche dopo. Luca Giusti di QTLab ha formalizzato questa idea nel 2020 con un indice, il Metric Persistence Index: ogni set di parametri riceve un percentile in sample e uno out of sample, e l’indice misura quanto i punti stanno vicini alla diagonale. Nel suo esempio un sistema a ingressi casuali dava un indice dell’1,25%, un sistema reale l’89,97%.

La seconda forma decide se ha senso ottimizzare. Se la classifica non persiste, scegliere “il set migliore” equivale a sceglierne uno a caso, e il backtest del set scelto mostra un numero che fuori campione non si rivedrà.

L’esempio di questa pagina: 130 varianti su EUR/USD

Per vedere i due tipi di persistenza su dati veri abbiamo costruito un esempio didattico. Il sistema è il più semplice possibile: l’incrocio di due medie mobili semplici sul cambio euro dollaro, sempre a mercato, long quando la veloce sta sopra la lenta e short quando sta sotto.

• Dati: 5.935 chiusure giornaliere di EUR/USD da Yahoo Finance, dal 1° dicembre 2003 al 14 ottobre 2026.
• Varianti: media veloce da 5 a 50 giorni, lenta da 60 a 300. In tutto 130 combinazioni.
• Costi: 0,01% del prezzo per ogni cambio di posizione, un’inversione ne paga due.
• Divisione: in sample 2004-2014, out of sample dal 2015 a oggi.
• Gruppo di controllo: 130 sistemi che girano long e short a caso, con la stessa frequenza media di cambi.

La classifica nel suo insieme non persiste: la correlazione fra le due posizioni è vicina a zero, come nel gruppo casuale. Qualcosa però si salva in cima. Il 10% migliore in sample finisce in media al 61° percentile fuori campione, contro il 47° dei sistemi casuali.

Il livello invece cala molto. La variante migliore del periodo 2004-2014, media a 30 contro media a 120, passa da uno Sharpe di 0,44 a uno di 0,10. Il rendimento annuo composto scende dal 5,2% allo 0,5%. Il drawdown massimo sale dal 19,4% al 21,9%. È un calo del 77%, nella stessa zona di quello misurato da Suhonen e coautori sulle strategie delle banche.

Simulazione su dati storici, non un conto reale. Le condizioni di esecuzione reali (spread, slippage, swap, latenza) possono modificare sensibilmente il risultato. I risultati passati non sono indicativi di quelli futuri.

Le cause sono quattro. Pesano in modo diverso a seconda del sistema.

La selezione. Si provano molte varianti e si tiene la migliore. Una parte del suo vantaggio è rumore che in un altro periodo non si ripete. È il meccanismo dell’overfitting nel trading automatico, e cresce con il numero di prove.

I costi. Il backtest usa uno spread fisso o quello del momento in cui si lancia il test. Dal vivo lo spread si allarga nelle ore sottili e sulle notizie, e lo slippage si aggiunge a ogni ordine. Più il sistema opera spesso, più il calo viene da qui.

Il mercato cambia. Un sistema costruito in anni di trend forti incontra anni laterali. La persistenza allora si interrompe per motivi che nessuna ottimizzazione poteva vedere. Il tema dell’adattabilità degli algoritmi nasce da qui.

L’affollamento. McLean e Pontiff attribuiscono il 32% del calo dopo la pubblicazione agli investitori che hanno letto lo studio e sfruttato l’anomalia. Per un EA venduto a migliaia di copie il dubbio è lo stesso, anche se su mercati liquidi come i future sull’indice americano l’effetto è più un disturbo che una cancellazione.

La fascia di persistenza

Più varianti si provano, più il backtest della variante scelta migliora. Il risultato fuori campione no. Il grafico lo mostra sull’esempio di EUR/USD: per ogni numero di varianti provate abbiamo estratto 3.000 sottoinsiemi a caso dalle 130, preso la migliore in sample e guardato come andava dopo.

Con una sola variante, scelta senza confronti, lo scarto fra in sample e out of sample è 0,12 punti di Sharpe. Con 20 varianti è 0,32, con tutte e 130 è 0,34. Lo Sharpe fuori campione sale un poco nei primi passi, poi si ferma: oltre una certa soglia ogni prova in più gonfia solo il passato.

La fascia di persistenza è quella zona iniziale. È il livello di ricerca e di complessità in cui l’ottimizzazione aggiunge ancora qualcosa di vero. Lo studio di Suhonen e coautori la conferma dall’altro lato: le strategie con più regole, filtri e parametri avevano un taglio dello Sharpe di oltre 30 punti percentuali più alto di quelle semplici.

Esiste un numero di varianti oltre il quale non andare? No, dipende da quanti anni di dati ci sono e da quanto le varianti si somigliano. Il calcolo del numero massimo di prove per una certa lunghezza di storico è spiegato nella pagina sull’overfitting, con la formula di Bailey e coautori.

Tutte seguono lo stesso principio: una parte dei dati non partecipa alle scelte. Cambia quante volte e in che modo si ripete la prova.

La divisione semplice è spiegata nella guida su in sample e out of sample. Qui si guardano le altre sull’esempio di EUR/USD.

Walk forward: rolling e anchored a confronto

Nel walk forward si ottimizza su una finestra, si applica il set migliore all’anno successivo e si sposta tutto avanti di un anno. Le verifiche annuali, messe in fila, formano una curva costruita solo con dati fuori campione. Il procedimento su MetaTrader è descritto nella guida all’ottimizzazione walk forward.

Nella versione rolling la finestra di ottimizzazione ha sempre la stessa lunghezza, qui quattro anni. Nella versione anchored parte sempre dal 2004 e si allunga ogni anno.

Simulazione su dati storici EUR/USD, costo 0,01% per cambio di posizione. Non è un conto reale. I risultati passati non sono indicativi di quelli futuri.

Il rolling cambia set quasi ogni anno, da 35 e 60 giorni a 50 e 220. Ogni scelta insegue il periodo appena passato e l’anno dopo non lo ritrova. L’anchored torna quasi sempre sulla stessa zona, medie a 30 contro 120 o 160, e fa meglio. La variante decisa una volta sola nel 2007 fa meglio di entrambi.

Un indicatore usato spesso è l’efficienza del walk forward: il rendimento annualizzato fuori campione diviso per quello in sample delle stesse scelte. Qui vale 0,06 per il rolling e 0,23 per l’anchored. Fuori campione, quindi, resta fra il 6% e il 23% di quello che l’ottimizzazione prometteva.

Che parametri si usano dal vivo dopo un walk forward? Quelli dell’ultima finestra, se si adotta la procedura così com’è: il walk forward valida il metodo di riottimizzazione, non un set preciso. Quando i set scelti nelle varie finestre stanno tutti in una zona stretta, come nell’anchored, è un segnale di stabilità. Quando saltano da un estremo all’altro, come nel rolling, la procedura sta adattando il sistema al rumore.

Clustered walk forward: la stessa prova con segmentazioni diverse

Un walk forward ha due scelte arbitrarie: quante finestre usare e che quota di ogni finestra tenere per la verifica. Con altre scelte il risultato può cambiare. Il clustered walk forward, chiamato anche matrice di walk forward in alcuni software, ripete la prova su tutte le combinazioni e guarda la mappa che ne esce.

Sui 63 walk forward dell’esempio, 38 chiudono con uno Sharpe fuori campione positivo. Il valore va da -0,46 a +0,23 a seconda di come si tagliano i dati. Chi avesse provato solo la combinazione da 10 finestre con il 35% di verifica avrebbe visto il risultato migliore della mappa e pensato di avere un sistema validato.

Un sistema robusto mostra una mappa uniforme, con poche celle negative e nessuna isola verde circondata dal rosso. Questa mappa dice il contrario: il risultato dipende dalla segmentazione, quindi non è una proprietà del sistema.

La probabilità di overfitting del backtest

David Bailey, Jonathan Borwein, Marcos López de Prado e Qiji Jim Zhu hanno proposto un metodo, la validazione incrociata combinatoria simmetrica (CSCV), che non sceglie una sola divisione dei dati. Lo storico si taglia in 16 blocchi. Si prendono tutte le 12.870 combinazioni di 8 blocchi come periodo di scelta, gli altri 8 come verifica. In ogni combinazione si guarda dove finisce, fuori campione, la variante migliore in sample.

La PBO è la quota di combinazioni in cui la variante scelta finisce nella metà peggiore. Gli autori propongono, in un’impostazione statistica classica, di scartare i modelli con PBO sopra il 5%.

Sull’esempio di EUR/USD la PBO è del 27%. Più di una volta su quattro la scelta “migliore” finisce sotto la mediana delle 130 varianti. Lo Sharpe medio della scelta passa da 0,39 a 0,17, e nel 21% delle combinazioni fuori campione è in perdita.

Il gruppo casuale fa peggio di una moneta, con una PBO del 77%. Non è un errore: con segnali senza logica, la variante che ha guadagnato di più in metà dei dati tende a guadagnare di meno nell’altra metà. Gli autori chiamano questo effetto compensazione.

Simulazione su dati storici EUR/USD 2004-2026. Non è un conto reale. I risultati passati non sono indicativi di quelli futuri.

Il metodo non richiede di scegliere le date, ed è il suo vantaggio. Il limite: misura la qualità della procedura di scelta, non quanto il sistema guadagnerà. Una PBO bassa su un sistema con Sharpe vicino a zero resta un sistema debole. Per stimare quanto può essere profonda una discesa con le stesse operazioni in ordine diverso serve un’altra prova, l’analisi Montecarlo. Se i dati storici sono pochi, alcuni sviluppatori generano serie sintetiche: le tecniche e i loro rischi sono nella pagina sulla data augmentation nel trading automatico.

Le prove storiche finiscono quando il sistema va su un conto. Da lì la persistenza si misura confrontando le operazioni reali con quelle che il backtest avrebbe fatto nello stesso periodo. Il confronto si fa metrica per metrica, non sul profitto totale.

Due regole pratiche rendono il confronto onesto. La prima: il numero di operazioni conta più dei mesi. Sotto le 30 operazioni chiuse quasi ogni metrica è ancora rumore, e un sistema che opera tre volte l’anno non si giudica in un trimestre. La seconda: il confronto si fa sulle discese dal massimo del conto e sulla forma dell’equity line, non solo sul guadagno. Un sistema può guadagnare dal vivo e intanto aver smesso di comportarsi come nel test.

La demo è uno stadio utile per il codice, meno per i costi. Sul forum MQL5 nel 2013 Rogerio Figurelli descriveva un percorso in tre tappe: demo, conto reale con micro lotti, conto reale con la size prevista. La guida al conto demo nel trading spiega cosa una demo misura e cosa no. Per avere uno storico pubblico e confrontabile il conto si collega a Myfxbook.

Quando la persistenza si rompe. Se il drawdown dal vivo esce dalla fascia attesa o le metriche si allontanano per troppe operazioni di fila, la decisione di fermare il sistema va presa con regole scritte prima. È il tema di quando staccare un trading system. La versione automatica, che sospende e riattiva il sistema guardando la sua equity, è l’equity control.

Tre casi dalle schede dei bot

Questa pagina non contiene link di affiliazione. Con alcuni produttori citati Amicobot ha offerte dedicate o rapporti commerciali, dichiarati nella scheda del singolo bot.

Chi compra un expert advisor non vede le fasi di validazione del produttore. Può però guardare quanto il conto pubblico del produttore e i conti di altri utenti si somigliano. Le nostre schede lo registrano.

Persistenza fra due conti. Zone Hunter Robot di LeapFX lavora in mean reversion su più timeframe, con circa 30 operazioni al mese e un conto verificato su Myfxbook. La scheda riporta che i risultati del conto collegato da Amicobot sono rimasti allineati a quelli del programmatore. È una prova di persistenza dell’esecuzione: stesso sistema, broker diversi, numeri simili. Non copre la coda, perché il sistema sembra non usare stop loss tradizionali e un periodo breve non mostra la perdita più ampia.

Persistenza del drawdown. Gold Miner, sempre di LeapFX, fa breakout sull’oro con un moltiplicatore che dopo uno stop loss porta la size successiva a quattro volte. Fra gennaio e marzo 2026 la scheda registra un drawdown fra il 30% e il 40%, dovuto proprio al moltiplicatore. Il dato da confrontare non è il profitto dei mesi precedenti, ma se quella discesa stava dentro la distribuzione che il money management rendeva possibile. Sui propri settaggi Amicobot ha poi tolto il moltiplicatore. Dato riferito al primo trimestre 2026, fonte scheda Amicobot. I risultati passati non sono indicativi di quelli futuri.

Persistenza non ancora misurabile. Per Scipio EA Gold & Silver di Stefano Frisetti la scheda segnala che il conto personale dello sviluppatore non è stato mostrato. Senza uno storico reale da mettere accanto, la persistenza si potrà giudicare solo dopo un periodo di osservazione dal vivo, che la scheda annuncia. Per leggere un conto pubblico con questi criteri c’è la guida su come valutare un track record.

E i modelli di machine learning? Valgono le stesse prove, con più rischio, perché un modello con molti parametri ha più modi di adattarsi al passato. Lo studio di Wiecki e coautori su 888 algoritmi della piattaforma Quantopian, del 2016, ha trovato che lo Sharpe del backtest spiegava meno del 2,5% delle differenze fuori campione. I modelli applicati al trading sono descritti nella pagina su trading automatico e intelligenza artificiale.

Fonti della raccolta, consultate il 16 ottobre 2026: quattro discussioni del forum MQL5 sul divario fra backtest e conto reale (44 messaggi) e tre video YouTube sul walk forward (30 commenti). Fuori dal conteggio i messaggi promozionali dei canali e i ringraziamenti. Restano undici voci con un contenuto, nove delle quali in tabella.

Date YouTube ricavate dall’indicazione relativa della piattaforma. Esperienze dichiarate dagli utenti, non verificate.

Messe accanto all’esempio su EUR/USD, queste voci si leggono meglio. Il racconto di err3vi e quello di Schefe sono il calo del livello visto da vicino: il primo per i costi d’esecuzione, il secondo per un dettaglio del broker che nessun backtest simulava. Il punto di @Yewbzee è esattamente la mappa del clustered walk forward: su EUR/USD la combinazione migliore da sola avrebbe raccontato un sistema che non c’è. La domanda di @remorami8544 ha la sua risposta nel confronto fra rolling e anchored, dove i set che saltano da un anno all’altro sono il primo segnale che la procedura insegue il rumore.

Le stesse prove, viste come caratteristica del singolo sistema, sono raccolte nella pagina sulla robustezza nei trading system. L’ordine in cui inserirle nel lavoro di sviluppo è nella guida a progettare un trading system, e le metriche da tenere sotto controllo dopo il via sono in valutare le performance future di un trading system.

Studi letti il 16 ottobre 2026: McLean, Pontiff, “Does Academic Research Destroy Stock Return Predictability?”, Journal of Finance 71(1), 2016, pp. 5-32; Suhonen, Lennkh, Perez, “Quantifying Backtest Overfitting in Alternative Beta Strategies”, Journal of Portfolio Management 43(2), 2017, pp. 90-104; Harvey, Liu, “Backtesting”, Journal of Portfolio Management, autunno 2015; Bailey, Borwein, López de Prado, Zhu, “The Probability of Backtest Overfitting”, versione del febbraio 2015, poi pubblicata sul Journal of Computational Finance; Wiecki e coautori, “All that glitters is not gold”, 2016; Luca Giusti, “La Persistenza del Risultato delle Metriche di una Strategia (e come Misurarla)”, novembre 2020.

L’esempio su EUR/USD è un calcolo nostro a scopo didattico su chiusure giornaliere di Yahoo Finance: non è un prodotto, non è un conto reale e non indica come operare sul cambio. Il codice che produce numeri e grafici è conservato insieme ai dati grezzi. Le caratteristiche dei bot vengono dalle schede di Amicobot.