Dvě fáze jednoho validačního cyklu
Backtesting a forward-testing jsou komplementární kroky při návrhu a ověřování obchodních strategií. Backtest testuje hypotézu na historických datech s cílem změřit, zda by strategie obstála v minulosti. Forward-test (out-of-sample, paper/live) následně ověřuje chování na „nových“ datech – ideálně v reálném čase – a odhaluje praktické nedostatky exekuce. V kryptoprostoru se do této dvojice promítá specifická mikrostruktura (perpetuály, funding, L2/L3 latence, MEV), nízká standardizace dat a časté režimové zlomy. Tento článek mapuje limity a nástrahy obou fází a nabízí metodiky, jak je systematicky zvládnout.
Backtesting: co měří a co nikdy měřit nebude
- Co měří: robustnost vzoru v historických datech, citlivost na parametry, distribuci výnosů, drawdowny a kapacitní limity při předpokládaných nákladech.
- Co neměří: budoucí stacionaritu vztahů, kvalitu exekuce vůči skutečné orderbook dynamice (front-running, MEV), výpadky infrastruktury a slippage během šoků.
- Závěr: backtest je filtr, nikoliv důkaz. Má vyloučit zjevně nefunkční nápady a zúžit prostor pro další výzkum.
Klasické nástrahy backtestu
- Data snooping & overfitting: čím více parametrů a pokusů, tím vyšší riziko, že trefíte šum. Symptémem je extrémní Sharpe pouze v jedné vzorke.
- Look-ahead bias: použití informace, která nebyla v době rozhodnutí známá (např. denní VWAP při intradenním rozhodnutí).
- Survivorship bias: vynechání zaniklých aktiv/burz vede k nadhodnocení výkonu.
- Selection bias: výběr „hezkých“ trhů/okének; ignorování období s nízkou likviditou nebo odlišnou mikrostrukturou.
- Transaction cost mis-modeling: použití statické provize a slippage, ignorování impact cost a fundingů na perpetual trzích.
- Time-stamp a synchronizace: špatně sladěné burzy/zdroje (spread, funding, on-chain události) generují umělou „alfu“.
Mikrostrukturální specifika krypta v backtestu
- Perpetuály a funding: funding není poplatek; je to tok závislý na pozici a době držení. Backtest musí účtovat akruálně a napříč burzami.
- Likvidita a kapacita: alt trhy mají mělké knihy; simulujte omezení participation-rate (např. <10 % objemu) a limitujte nárazové market příkazy.
- MEV a DEX exekuce: deterministická cesta transakce (mempool → blok) vytváří sandwich riziko; bez anti-MEV se backtest na swapové ceně mýlí.
- Regime shifts: události (ETF zařazení, chain fork, stable depeg, výpadek CEX) mění distribuci výnosů a korelací.
Správná konstrukce backtest enginu
- Event-driven simulace: reakce na tick/orderbook změny a plánované batchi; latence modelujte explicitně (od signálu po fill).
- Fill model: limit/market s částečnými plněními, queue priority (time-price), skokové gapy při šocích.
- Slippage a impact: kombinujte model temporary/permanent impact (např. Almgren–Chriss) s empirickými křivkami podle velikosti příkazu a hloubky knihy.
- Poplatky a funding: maker/taker tiering, dynamické fee, lending borrow rate, funding s intradenní granularitou.
- Corporate actions a anomálie: token spiny, rebrand, delisty, fat-finger svíčky – databázi upravujte s audit trailem, nikoliv ad hoc „čištěním“.
Statistické korekce proti přeoptimalizaci
- Purged & embargoed cross-validation: časové k-fold dělení s „čištěním“ úniků informací na hranách oken.
- White’s Reality Check a SPA test: korigují p-hodnoty při soutěži mnoha modelů/hypotéz.
- Deflated Sharpe Ratio (DSR): upravuje Sharpe o počet pokusů a délku série; snižuje falešné pozitivy.
- Probability of Backtest Overfitting (PBO): odhaduje pravděpodobnost, že „vítěz“ je výsledkem náhody.
- Bootstrapy: stationary/block bootstrap, permutace výnosů, resampling reziduí zachovává autokorelace.
Forward-testing: most mezi papírem a kapitálem
Cílem je ověřit, že signál přežije střet s realitou exekuce a provozu. Postupujte v eskalaci rizika:
- Paper trading (shadow orders): reálné signály, simulovaná pravidla plnění, přesná evidence latencí.
- Sandbox / micro-capital: miniaturní pozice s omezeným downside; verifikace funding, fee a slippage.
- Partial live: A/B rozdělení (např. 10–20 % kapitálu na live, zbytek paper) a porovnání realizované vs. simulované exekuce.
- Plný provoz: s kill switch limity (max denní ztráta, max slippage, max reject rate), monitoringem a alerty.
Co forward-test odhalí, backtest často ne
- Latency & queue dynamics: pořadí v knize a reálná plnění při „hot“ úrovních; paper fill ≠ live fill.
- Market states: zvýšená chybovost API při přetížení, rate limit, čekání na potvrzení na chainu.
- Operativní rizika: restarty nodů, drift hodin, rounding, selhání závislostí (oracly, peněženky, brokeři).
- Behaviorální překvapení: skoky slippage během makro událostí, funding squeezes, likvidační kaskády.
Metodika dělení dat: in-sample, out-of-sample, walk-forward
- Holdout out-of-sample: posledních 20–30 % období nechat nedotčených pro finální ověření.
- Walk-forward optimalizace: trénink v okně, validace v dalším okně; opakovat v klouzavém režimu s fixním/expanzivním oknem.
- Více režimové rozdělení: zohlednit bull, bear, chop, vysokou/nízkou volatilitu; strategie musí fungovat alespoň ve dvou režimech.
Měření výkonu: nejen Sharpe
- Sharpe/Sortino/Calmar: zohledňujte nenormálnost rozdělení (fat tails), používejte Newey–West korekci pro autokorelace.
- Hit-rate & payoff ratio: důležitý je poměr výher k ztrátám a distribuce výnosů (skew/kurtóza).
- Turnover a kapacita: denní obrat, market share, participation rate; výkon při škálování dolů/vzhůru.
- Realizovaný vs. simulovaný P&L: analýza odchylky: slippage, drift poplatků, reject/cancel rate, efekt částečného plnění.
Řízení modelu: verzování, auditovatelnost, reprodukovatelnost
- Data lineage: zdroje, transformace, timestampy, verze symbolů a kontraktů.
- Experiment tracking: parametry, seed, metriky, artefakty; zákaz „mimo systému“ úprav.
- Change control: každá změna strategie přes pull request, peer review, unit/integration testy backtest enginu.
- Risk gates: automatické odmítnutí nasazení při překročení limitů (max DD, VaR, slippage, P&L volatility).
Nákladové modely: od poplatků k impact costu
- Poplatky: maker/taker, objemové tieringy, affiliate slevy – modelujte jako funkci objemu a času.
- Funding & borrow: pro perp/futures a spot margin; účtujte s reálnou frekvencí (8h, 1h, kontinuálně).
- Slippage: odhadujte podle order book snapshotu v čase signálu; při limit exekuci modelujte queue wait a fill ratio.
- Impact: nelineární, roste s podílem na objemu; kalibrujte z live dat, nikoli z teorie.
Stres testy a scénáře
- Replay krizí: opakujte historické šoky (depegy, flash crashes, zařazení ETF) s aktuálními parametry strategie.
- Parametrické stresy: +x bps na slippage, 2× poplatky, 50 % pokles likvidity, dvojnásobný funding.
- Monte Carlo: resampling výnosů/reziduí, blokové bootstrapy zachovávající klastrování volatility.
- Disaster drills: výpadek burzy, zmrazení výběrů, odpojení nodu – ověřte kill switch a degradovaný režim.
Forward-test KPI a rozhodovací pravidla
- Acceptance band: dovolte ±X % odchylku mezi simulovaným a realizovaným P&L; mimo pásmo → root-cause analýza.
- Runbook live incidentů: co dělat při reject rate > N %, při slippage > M bps, při odpojení datového feedu.
- Escalation path: automatický přechod na menší sizingy nebo paper režim po sérii anomálií.
Škálování od nápadu k portfoliu
- Ensemble a ortogonalita: preferujte více slabších, nekorelovaných signálů před jedním „dokonalým“ modelem.
- Capital allocation: Kelly/half-Kelly s omezeními, ERC (equal risk contribution), volatility targeting.
- Režimové přepínače: aktivace/deaktivace strategií dle tržního režimu; zamezí „jezdit na prázdno“.
Specifika on-chain strategií
- Gas a priority fees: dynamické bidování; modelujte jako náhodnou proměnnou vázanou na mempool load.
- Batch/auction settlement: periodicita settlementu mění mark-to-market a exekuční logiku.
- MEV ochrana: private RPC, bundle služby; v backtestu penalizujte volné cesty, které by v praxi byly sandwichovány.
Checklist: kvalitní backtest & forward-test
- Jasná hypotéza a ekonomická intuice (nikoli „parametrická loterie“).
- Čistá data se záznamem úprav, bez look-ahead a survivorship biasu.
- Event-driven simulace s realistickým fill a cost modelem.
- Purged time CV, DSR/SPA/Reality Check proti přeoptimalizaci.
- Out-of-sample + walk-forward napříč tržními režimy.
- Stres testy: šoky, likvidita, poplatky/funding, infra incidenty.
- Forward paper → micro live → partial live s akceptačními pásmy.
- Experiment tracking, verzování, peer review, change control.
- Risk gates: sizing, max DD, VaR, kill switch, participation cap.
- Průběžné porovnávání simulovaného vs. realizovaného výkonu a korektivní zásahy.
Disciplína nad optimismem
Backtest je nezbytný, ale nedostačující; forward-test je realita s bezpečnostními pásy. Skutečná robustnost nevzniká z jednoho krásného equity curve, ale z procesu: poctivá statistika, realistická simulace, přísná kontrola změn a důsledná live měření. V kryptoprostoru – s častými změnami režimů a mikrostruktury – je právě tento proces největší konkurenční výhodou.
Disclaimer
Tento článek je informativní a nepředstavuje investiční, právní ani daňové poradenství. Obchodování s kryptoměnami a deriváty je rizikové; používejte adekvátní řízení rizik a testujte strategie na vlastních datech a infrastruktuře.
