Backtest je způsob, jak zkontrolovat účinnost strategie v minulosti. Opravdu tento nástroj funguje?
Když začínáte ve světě obchodování, jednou z prvních věcí, které se naučíte, je koncept zpětného testování. To znamená, že před použitím strategie je vhodné, ne-li nezbytné, zkontrolovat výsledky některých pravidel v předchozích obdobích. Tato pravidla nazýváme obchodní systém nebo jednoduše systém. Samotný koncept, nebo alespoň myšlenka, je velmi dobrý. I když se nám to nyní zdá zřejmé, vždy tomu tak nebylo. Navíc i dnes existují obchodníci nebo investoři, kteří raději, omylem nebo opomenutím, svěřili svůj kapitál budoucnosti osudu.
Je zřejmé, že každý spekuluje se svým kapitálem, jak uzná za vhodné. Samozřejmě, s prostředky alespoň jedním kliknutím, které se alespoň pokusí ověřit, as relativní lehkostí výnosy, které strategie v minulosti měla, se zdá být přinejmenším absurdní tak neučinit.
Poznámka: Vynecháme ty části analýzy, které nelze kvantifikovat. Něco, co se děje ve všech typech analýz. Vždy nám něco chybí.
Minulé výnosy nezaručují budoucí výnosy
Někteří z těch, kteří se zdráhají kvantifikovat své strategie, mohou tvrdit - a velmi dobře argumentovali - že minulé výnosy nezaručují budoucí výnosy. Ale vzhledem k tomu, že mají pravdu, vždy docházím k následujícímu závěru: pokud nemůžete zajistit, že to, co fungovalo, bude fungovat i nadále, budete si myslet, že to, co nefungovalo, bude fungovat i nyní. Mohlo by to fungovat? Ano, ale vypadá to spíš jako akt víry než cokoli jiného.
Naděje je to poslední, co se má ztratit, protože samozřejmě předtím, než ji ztratíte, o co jistě přijdete, je váš kapitál.
Backtest také nefunguje
S naší myslí nastavenou na myšlenku, že backtest je lepší než spoléhat se na astrologii, musíme pokračovat ve zdokonalování, abychom nedělali stejné chyby, které mnoho obchodníků udělalo, dělá a bohužel bude i nadále dělat.
V tomto okamžiku musíme dát na plátno olej, abychom potvrdili, že backtest je lepší než spoléhat se na náhodnost cíle, ale zdaleka to nestačí.
Proč to nestačí?
Backtest stačí ke kontrole, zda by jsme při použití určitého obchodního systému v minulosti vygenerovali určité výsledky. Tím ale nástroj končí. Samotné slovo to říká „zpět“ (minulost) a „testovat“ (důkaz). Extrapolace bez další analýzy jsou některé výsledky stále - i když v menší míře - dalším aktem víry. Vzhledem k tomu, že by to mohlo pokračovat v práci, a našli jste systém, který funguje, aniž byste věděli, proč nebo že funguje, a nevíte, do kdy. Tento způsob postupu některých kvantitativních analytiků kontrastuje s jejich neustálou kritikou technické analýzy. To znamená, že kritizují něco, co sami nevědomky denně používají.
Co je třeba analyzovat?
Za předpokladu, že systém má pevné parametry, je nutné zkontrolovat jeho platnost v různých tržních prostředích. I v prostředích, která neexistují. Zkontrolujte, jak by systém fungoval v prostředích s vysokou volatilitou a nízkou volatilitou, před a po strukturálních změnách, na býčích, medvědích a bočních trzích. A tak jsme mohli pokračovat téměř na neurčito.
Pokud má systém proměnné parametry, což se obvykle stává ve většině případů, uděláme stejný proces, ale je třeba mít na paměti, že systém je upravitelný, a proto optimalizovatelný. A díky skutečnosti, že je optimalizovatelný, je náchylný k přílišné optimalizaci. Tento bod má zásadní význam pro pokus o získání stabilních výnosů v budoucnu.
Obvyklým krokem po nalezení strategie, která v minulosti fungovala dobře, je pokus o optimalizaci modelu. Velký omyl. Nejprve byste to museli dát do napětí, nebo to, čemu říkám, zdůrazňovat systém. Dejte to do práce v nejhorším možném prostředí známém pro takové systémy. Například pokud máme trendový systém, bude nutné jej uvést do provozu v prodloužených bočních obdobích, abychom zjistili, jak se chová, když neexistuje příznivý scénář pro generování výnosů ze systému. Důvodem pro výše uvedené je to, že nevíme, co se stane v budoucnu, takže uvedení se do nejhoršího možného scénáře nás vede co nejdále od nevyhnutelné (a žádoucí) náhodnosti.
Co kromě toho zdůraznit?
Koncepty, které všechno mění, jsou test vpřed a test mimo vzorek. Ale pokud neznáme budoucnost, jak budeme testovat něco na něčem, co neznáme? Máme dvě možnosti, které brzy uvidíme. Na druhou stranu máme koncept out of sample. Volba tohoto vzorku - který doporučuji, aby jich bylo poměrně málo (ne jen jeden) as pravděpodobnostními distribucemi, které mají rozdílné charakteristiky - je nezbytná pro dosažení fungujícího systému. Myšlenka je, že backtest a optimalizace se provádějí v různých obdobích. Bezplatné vzorky tedy zůstanou. I když je to na vkusu analytika. Lze to udělat jiným způsobem, ale můžeme spadnout do statistických chyb, které nejsou cílem tohoto článku.
- První způsob, jak tento proces provést, budeme nazývat tradiční: Vytvoříme systém, optimalizujeme ho a po prohlédnutí některých metrik jej uvedeme do práce s fiktivními penězi nebo s malými reálnými penězi. Pokud vše půjde dobře, dáme to do praxe.
- Druhý způsob, jak tento proces provést, budeme nazývat „nový“, i když ve skutečnosti má málo nového: Provádíme systém, optimalizujeme jej, kontrolujeme stabilitu parametrů v čase, provádíme z ukázkové testy, umělé dopředné testy a dali jsme to do práce skutečným dopředným testem. Pokud vše půjde dobře, dáme to do praxe.
Druhý způsob postupu, ve srovnání s prvním, je založen na dvou koncepcích: stabilitě parametrů v čase a umělých dopředných testech. Umělé dopředné testy nejsou typem testů mimo vzorek, které se snaží simulovat skutečný dopředný test. Uvažujme o následujícím:
Udělali jsme proces pro systém za poslední rok. Uvedení do provozu od tohoto měsíce (červenec) do konce roku (prosinec) je prakticky stejné jako postup vpřed všech 6 měsíců a simulace dopředného testu od ledna do července. Není to totéž, protože skutečné podmínky nám vždy nabízejí situace, které je těžké vymyslet, ale postupujeme dále a dosahujeme lepších výsledků. A po těchto „vynálezech“, protože se skutečně jedná o vynálezy, jsme provedli dopředný test v reálném čase. To mám na mysli při umělých dopředných testech. Některým se to takto nemusí líbit, ale myšlení jinak je psychicky předpojaté. Pokud byste tuto strategii objevili před 6 měsíci, udělali byste totéž.
Na druhou stranu máme stabilitu parametrů systému v průběhu času. Pro mě je to nejdůležitější metrika a říká nám, zda je systém příliš optimalizovaný. Pokud parametry zůstanou po optimalizaci každých X období stabilní, znamená to, že je méně pravděpodobné, že by parametry byly příliš optimalizovány než jiné, které se více liší. Pokud k tomu dodáme, že pro každou z optimalizací provádíme umělý dopředný test a výsledky jsou také stabilní, čelíme systému s pravděpodobností, že bude skutečně ziskový.
To vše může být mnohem komplikovanější. I když se to zdá složité, není tomu tak. Je to těžké, ale je to jednodušší než mechanismus džbánu. Jako vždy, každý má svůj vlastní způsob, jak dělat věci, to není jediný způsob, ale to, co jsem chtěl vyjasnit, je, že backtest bez společníků na cesty je k ničemu a k ničemu. Přinejmenším samozřejmě ve světě obchodování.