Podglądanie przyszłości

Podglądanie przyszłości (look-ahead bias) to często popełniany błąd przez inwestorów testujących strategie inwestycyjne. Znalazłem dobry przykład ilustrujący jak łatwo jest popełnić tego typu pomyłkę.

Podglądanie przyszłości przy testowaniu strategii inwestycyjnych polega na zaprojektowaniu testu w taki sposób, że zakłada się dostępność danych, które w rzeczywistości dostępne były dopiero w przyszłości. Na przykład zakłada się zawarcie transakcji w oparciu o sygnał, który wygenerowany został później. Jak to wygląda w praktyce?

W 2015 roku w czasopiśmie International Review of Finance ukazał się artykuł badający skuteczność strategii opartych o średnie kroczące. Nie były to skomplikowane strategie: obejmowały przecięcia ceny i średnich kroczących (z różnych okresów:  od 6 do 60 miesięcy). Badanie objęło amerykański rynek akcyjny w latach 1960 – 2011.

Badanie pokazało wysoką skuteczność strategii opartych na średnich kroczących. Opublikowane wyniki były dużo wyższe niż we wcześniejszych badaniach podobnych strategii. Strategie ze średnimi kroczącymi wyraźnie wygrywały z podejściem kup i trzymaj. Obliczany dla nich wskaźnik Sharpe`a był nawet dwu i trzykrotnie wyższy niż dla strategii kup i trzymaj.

Mniej więcej rok później Valeriy Zakamulin pokazał w badaniu Revisiting the Profitability of Market Timing with Moving Averages, że świetne wyniki pokazane we wspomnianym wyżej badaniu były wynikiem podglądania przyszłości. Autor wadliwego badania używał ceny zamknięcia z następnego miesiąca by wygenerować sygnał transakcyjny (przecięcie ceny ze średnią kroczącą) na koniec bieżącego miesiąca: na przykład jeśli cena zamknięcia z marca wygeneruje sygnał kupna to strategia zakładała zajmowanie w marcu długiej pozycji (otwarcie na zamknięcie lutego).

Zakamulin najpierw replikował badanie z 2015 (z look-ahead bias) i uzyskał zbliżone wyniki. Następnie zrobił poprawne testy strategii, które pokazały, że nie generują one wyników istotnie lepszych niż kup i trzymaj. Zakamulin opublikował zresztą kilka artykułów propagujących sceptycyzm wobec inwestycyjnej skuteczności średnich kroczących.

International Review of Finance jest czasopismem z procedurą peer review. Zakładam, że wielu czytelników ma sceptyczne podejście do wartości badań akademickich w dziedzinie strategii inwestycyjnych. Jednak nawet przy takim podejściu należałoby spodziewać się dążenia do unikania tego typu prostych błędów przez badaczy i wydawców.

Michael Harris z bloga Price Action Lab zrobił prostą symulację (bez kosztów transakcyjnych i poślizgów) strategii z 10-miesięczną średnią kroczącą na indeksie S&P 500 w latach 1960-2015. W pierwszym przypadku wejście i wyjście odbywało się na koniec miesiąca, w którym strategia wygenerowała sygnał. W drugim przypadku wejście odbywało się miesiąc wcześniej. Poniżej widać jaką przewagę generowało w teście podglądanie przyszłości.

Za Michael Harris

Popełnianie błędu podglądania przyszłości może wynikać z błędów w programowaniu strategii. Może być też wynikiem użycia niewłaściwej bazy danych – to może się zdarzyć w przypadku testowania strategii opartych na danych makroekonomicznych albo wskaźnikach fundamentalnych spółek. Niektóre bazy mogą na przykład podawać dane dla danego kwartału choć publikacja tych danych nastąpiła jakiś czas później.

Michael Harris podaje uniwersalną radę ułatwiającą wykrywanie tego typu błędów w testach strategii inwestycyjnych: jeśli wyniki strategii wyglądają zbyt dobrze to należy drastycznie zwiększyć sceptycyzm i rozpocząć intensywne poszukiwania potencjalnych błędów. Myślę, że zbyt dobre wyniki testów będą częściej wynikiem jakiejś formy torturowania danych ale może się zdarzyć, że będą rezultatem podglądania przyszłości, błędu przeżywalności albo słabości bazy danych (na przykład obecności resplitów).

Błędy przy kreowaniu, programowaniu i testowaniu strategii są czymś normalnym. Inwestorzy muszą się liczyć z tym, że będą je popełniać. Dlatego ważne jest krytyczne podejście do generowanych przez testy wyników.

[Głosów:18    Średnia:4.1/5]

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Proszę podać wartość CAPTCHA: *

Klauzula informacyjna

Administratorem Pani/Pana danych osobowych jest Dom Maklerski Banku Ochrony Środowiska S.A. („My” lub „DM BOŚ”) z siedzibą w Warszawie (ul. Marszałkowska 78/80, 00-517 Warszawa). Będziemy przetwarzać, Pani/Pana dane na potrzeby udzielenia odpowiedzi na Pani/Pana zapytanie, możliwości skorzystania z usługi oferowanej przez DM BOŚ, a także realizacji naszych prawnie uzasadnionych interesów, tj. rozpatrywania skarg oraz obrony przed roszczeniami. Ma Pani/Pan prawo dostępu do danych, żądania ich sprostowania, usunięcia, ograniczenia przetwarzania i przenoszenia. W dowolnym momencie może Pani/Pan także wnieść sprzeciw, z przyczyn związanych z Pani/Pana szczególną sytuacją, wobec przetwarzania Pani/Pana danych dla realizacji prawnie uzasadnionych interesów DM BOŚ. Może się Pani/Pan z nami skontaktować wysyłając e-mail na adres: makler@bossa.pl lub list na adres: ul. Marszałkowska 78/80, 00-517 Warszawa, dzwoniąc na infolinię pod numer + 48 225043104 lub odwiedzając jedną z naszych placówek (lista dostępna pod http://bossa.pl/dmbos/oddzialy/). Może Pani/Pan skontaktować z Inspektorem Ochrony Danych m.in. korzystając z e-mail: iod@bossa.pl lub listownie na nasz adres. Więcej informacji o przetwarzaniu Pani/Pana danych, czasie przechowywania, prawach i sposobach kontaktu znajduje się w naszej Polityce Prywatności.