Testowanie wsteczne inwestycyjnych strategii, część 2

Analiza danej metody czy konkretnej strategii na danych historycznych obarczona może być wieloma wadami, ale też przynosi sporo korzyści przy zachowaniu odpowiedniego reżimu testowego.

Spójrzmy w pierwszej kolejności na negatywne czynniki, wady tego procesu, błędy i wypaczenia, wąskie gardła. To właśnie z ich powodu pewna część inwestorów odrzuca tego rodzaju postępowanie jako wystarczająco wiarygodny i pożądany sposób na sprawdzenie skuteczności używanych narzędzi, metod decyzyjnych czy zdefiniowanych strategii.

Wiedza o tych negatywach to wstęp do przyszłych porad odnośnie tego jak sobie z nimi poradzić, jak traktować, jak prawidłowo odbierać cały ten proces weryfikacyjny.

Zebrałem poniżej 10 najważniejszych wg mnie czynników wpływających na negatywną ocenę owego procesu:

1. „Śmieci na wejściu, śmieci na wyjściu”

W oryginale angielskim brzmi to „garbage in, garbage out”. Ta reguła dotyczy bezpośrednio samych danych historycznych, które są podstawą weryfikacji danej metody. Nie chodzi jedynie o błędy w danych, gdyż te zdarzają się dość często i wymagają korekcji, ale o pewne naturalne rozbieżności między nimi a realnym światem.

Przykładem są choćby luki między kolejnymi seriami kontraktów lub CFD, które na różne sposoby się zasypuje w danych, albo o różnice w kwotowaniach i godzinach pracy między brokerami. Te z pozoru drobne rozbieżności powodują, że strategia działająca na danych pobranych od jednego brokera czy dostawcy danych może nie działać w realnej grze u innego brokera.

2. Losowe sprawdzanie na przeszłych danych = wadliwe sprawdzanie

To nagminny grzech wielu inwestorów – dość wyrywkowe sprawdzanie jak działała dana metoda w przeszłości. Np. tylko w wybranym, niewielkim odcinku czasu, albo trochę na tym, trochę na innym instrumencie.

Zwykle podczas tak niefrasobliwego testu widzi się tylko przykłady, które idealnie potwierdzają założenia wybranej strategii, ignorując nie pasujące sytuacje, które kończyły się stratą. Losowość wszelkich działań to jeden z najgorszych WROGÓW inwestora.

3. Dopasowanie reguł do danych

Zwykle mówi się w takim przypadku o przeoptymalizowaniu. W profesjonalnym testowaniu modeli decyzyjnych istnieje wiele fachowych określeń i zjawisk z tym związanych– data mining, data snooping, backtest bias. Nawet bowiem profesjonaliści potrafią wpaść w tę pułapkę.

To dość obszerny temat, ale w skrócie rzecz ujmując: zwykle tak długo dobiera się reguły, narzędzia i parametry, aż uzyska się „działającą” w przeszłości strategię, która często wkrótce potem wykłada się z hukiem w realnym tradingu. Nastąpiło dopasowanie zasad do danych, bardzo częsty wynik w teście inwestycyjnych strategii komputerowych.

Od tego wywodzi się dalej 2 błędy:

Błąd typu I  – oznacza znalezienie przypadkowej strategii, która nie działa w realu

Błąd typu II – oznacza nie odnalezienie na danych strategii, która w realu faktycznie jest skuteczna

Poniższy wykres ilustruje przypadek dopasowania do danych historycznych. Krzywa kapitału w miarę poprawnie pnie się w górę podczas testów, a następnie użyta w czasie rzeczywistym wykłada się na całego:

4. Niestacjonarność, nieliniowość rynków

Rynki finansowe są niezwykle dynamiczne, zmieniają się nieustannie, a przy tym uznawane są za niemal bliskie błądzeniu losowemu. Strategie inwestycyjne to nic innego jak poszukiwanie nieefektywności na tych rynkach, tak by następnie dało się je wykorzystać w systematyczny sposób. Problem w tym, że owe nieefektywności nieustannie się zmieniają – powstają, znikają, zmieniają swą dynamikę. To sprawia, że strategia działająca przez ostatnie 20 lat na danych może przestać działać już w ogóle, albo będzie działać, ale w innych warunkach brzegowych (typu: inny parametr wejścia na pozycję).

Np. przez 20 lat strategia kupna/sprzedaży gdy przecinają się średnia 15 i 50 dniowa mogła przynosić wspaniałe zyski, ale w przeciągu kolejnych 10 lat zacznie przynosić straty, a za to idealnie będzie działać przecięcie się innych średnich 25 i 75 dniowych.

5. Subiektywność narzędzi i metod

Testowanie danych z przeszłości przy użyciu nie dość sprecyzowanych założeń jest obarczone sporym błędem wykrzywienia wyników.

Dotyczy to nie tylko Analizy technicznej, choć tu jest dość często spotykane. Np. tam gdzie jeden widzi jakieś określone co do formalnej nazwy formacje techniczne na wykresie, ktoś inny widzi zupełnie coś innego w tym samym miejscu. Albo po czasie potrafimy zobaczyć dany układ z przeszłości w zupełnie innej perspektywie decyzyjnej (kiedyś widzieliśmy trójkąt tam, gdzie dziś widać formację M).

6. Zignorowane koszty

Nawet poprawnie zbudowane strategie, które sprawdziły się świetnie na danych z przeszłości, potrafią się wyłożyć w realnej grze, nawet pomimo teoretycznego braku utraty skuteczności. Winą są w tym przypadku często nieuwzględnione koszty lub uwzględnione w niedostatecznej wielkości. To produkcja złudzeń.

Te koszty to zwykle prowizje, spready i poślizgi. Nieuwzględnienie ich w analizach wstecznych potrafi wywieść w pole. Coś, co wydaje nam się, że sprawnie działało, nagle traci całkowicie swą wartość gdy trzeba zapłacić brokerom i rynkom za przywilej handlu. Im bardziej krótkoterminowe strategie, tym wpływ kosztów rośnie.

7. Brak realizmu

Po co komu świetnie działająca strategia w przeszłości, która nadal zadziała w przyszłości, jeśli nie będziemy w stanie jej zrealizować? Chodzi przede wszystkim o takie, które są realizowane ręcznie, a nie automatem.

Na przykład: świetny pomysł, który sprawdza się, ale tylko w 5-cio minutowych przedziałach czasowych. Jeśli możemy w rzeczywistości tylko sporadycznie z niego korzystać, to zmienia się całkowicie jego skuteczność. Widywałem już takie sytuacje, gdy ktoś oferował za pieniądze sygnały strategii, które nawet nieźle się sprawdzały, ale odbiorcy nie byli w stanie fizycznie ich w pełni realizować, narażając się w rezultacie na straty.

8. Fałszywa intuicja

Daniel Kahneman, noblista i ojciec ekonomii behawioralnej, stwierdził kiedyś, że inwestorzy ulegają pewnemu urokowi fałszywej umiejętności:

Z faktu, że potrafimy objaśnić jakieś zmiany rynkowe w przeszłości, wydaje nam się, że będziemy potrafić to samo zrobić skutecznie w przyszłości.

Klasyczny błąd interpretacji i ekstrapolacji.

Kiedy więc nieświadomy tego inwestor potrafi połączyć ruchy rynku w przeszłości z jakimiś wydarzeniami (analiza wsteczna), nie zawsze wie, że nie będzie potrafił tego dokonać równie biegle w przyszłości. Mógł choćby odkryć fałszywe korelacje.

9. Błędy emocjonalne i poznawcze

Tu znów kłania się Kahneman i jego długa lista błędów działania nieperfekcyjnej natury ludzkiej. W inwestowaniu zdecydowanie najczęściej mówi się o zgubnych emocjach, choć to tylko wierzchołek góry lodowej. Druga kategoria – błędy poznawcze  – działa po cichu i jest mniej znana.

Np. na chłodno analizując dane z przeszłości nabywamy sporej dozy pewności jakie działania podjęlibyśmy w danej sytuacji rynkowej. Kiedy jednak przychodzi co do czego, inwestora zalewają emocje i dziwi się, że zachował się dokładnie przeciwnie niż zakładał na podstawie swoich analiz tego typu sytuacji z przeszłości. Historia więc na niewiele się przydaje, jeśli nie znamy dobrze siebie.

10. Manipulacja

Analizy wsteczne to dobre narzędzie by manipulować nimi siebie albo innych.

W pierwszym przypadku mamy do czynienia ze świętą naiwnością lub po prostu brakiem wiedzy.

To akurat dość pojemna kategoria, którą spróbowałem wrzucić pod jakiś wspólny szyld. Generalnie obejmuje ona dość niefrasobliwe, nieprofesjonalne, czy wynikające z braku stosownej wiedzy podejście do danych z przeszłości, o charakterze głównie psychologicznym. Robiąc tego typu testy i popełniając błędy wymienione wyżej, stawiamy potem na ich wynik pieniądze w realnej grze, i robimy to z pewnego rodzaju przekonaniem o posiadanej przewadze. Życie natomiast brutalnie weryfikuje owo przekonanie i wartość niepoprawnej strategii. Wielu inwestorów z tego powodu preferuje nie oszukiwać się poszukiwaniem idealnych parametrów w danych wstecznych.

O manipulacji z zewnątrz można z kolei książki całe pisać. Manipulacja za pomocą pięknie wyglądających testów z przeszłości przez sprzedawców w podstępnym celu to tylko część tej opowieści. Z drugiej mamy cele całkiem szlachetne, ale czasem chybione. Na przykład jakieś strategie pokazane w książce czy na stronie internetowej mogą mieć całkiem zasadny edukacyjny charakter, tylko nie wytrzymały próby czasu.

***

To tylko najbardziej popularne, najczęściej w praktyce spotykane negatywne przejawy budowania swojego planu inwestycyjnego i warsztatu na nieperfekcyjnej analizie danych wstecznych. Stąd niechęć wielu inwestorów do opierania na niej swoich strategii, obojętnie czy technicznych, intuicyjnych czy dowolnego innego rodzaju.

W kolejnej części o tym dlaczego mimo wszystko warto z tego procesu korzystać.

—kat–