W czerwcu pisałem o wynikach ponownego testu około 447 „odkrytych” w ostatnich dekadach anomalii rynkowych. Rezultaty testu wykazały, że zastosowanie realistycznych kryteriów testu uwzględniających specyfikę mikro-spółek eliminuje od 64% do 85% anomalii. Wyniki badania Hue, Xue i Zhanga przypominają inwestorom by aktywnie unikali torturowania danych historycznych oraz by wybierali kryteria testów, które mają solidne oparcie w rynkowej rzeczywistości.
O zagrożeniach związanych ze zbyt mało sceptycznym podejściem do testów historycznych napisał dziś Financial Times. Attracta Mooney oparł się na badaniu strategii typu alternatywna beta*, które przeprowadzili Antti Suhonen, Matthias Lennkh i Fabrice Perez. Badacze porównali wyniki produktów inwestycyjnych opartych na strategiach typu alternatywna beta w okresie testów historycznych i w okresie działania strategii. Wyniki testów historycznych – to są informacje, które otrzymali inwestorzy przed podjęciem decyzji o zaangażowaniu kapitału. W przypadku tych wehikułów byli to głównie inwestorzy instytucjonalni. Autorzy badania określają wielkość tego segmentu rynku na 100 do 200 miliardów dolarów.
Suhonen, Lennkh i Perez zbadali 215 strategii funkcjonujących w pięciu klasach aktywów, w ramach 9 różnych podgrup strategii, zarządzanych przez 15 różnych firm inwestycyjnych i wprowadzonych na rynek pomiędzy 2005 a 2014 rokiem. Badane strategie powstały na podstawie testów historycznych i mają charakter ściśle zdefiniowanych zasad inwestycyjnych, które nie mogą być zmienianie w czasie funkcjonowania opartych na nich produktów inwestycyjnych. Wyniki uzyskane w testach historycznych są z reguły wykorzystywane w materiałach marketingowych i mają zbudować oczekiwania inwestorów co do potencjalnych wyników w przyszłości. Przeciętny okres testu historycznego w bazie badaczy to 10,7 lat. Przeciętny okres działania strategii w czasie rzeczywistym to 4,6 lat. Warto podkreślić, że badanie obejmuje te strategie typu alternatywna beta, które zostały skomercjalizowane. W tym sensie, że firmy inwestycyjne uznały, że są na tyle atrakcyjne by w oparciu o nie stworzyć produkty inwestycyjne, na przykład fundusze inwestycyjne.
Suhonen, Lennkh i Perez wykorzystują wskaźnik Sharpe’a do mierzenia zachowania strategii w okresie testów historycznych i w okresie rzeczywistym. Okazuje się, że mediana tego wskaźnika dla 215 strategii wynosiła w okresie testów historyczny 1,2. W okresie funkcjonowania strategii „na żywo” mediana wskaźnika Sharpe’a spadła do poziomu 0,3. Poniższy wykres pokazuje zachowanie typowej dla badania strategii, ze wskaźnikiem Sharpe’a 1,42 w testach i 0,36 „na żywo”:
Za Suhonen, Lennkh i Perez
Z 215 strategii tylko 15 (8,4% wszystkich) miało w okresie „na żywo” wskaźnik Sharpe’a lepszy niż w okresie testów historycznych. Z drugiej strony, 65 strategii a więc 30% wszystkich miało negatywny wskaźnik Sharpe’a w okresie rzeczywistego funkcjonowania.
Badanie Suhonena, Lennkha i Pereza pokazuje podobny wzór co badania porównujące wyniki innych produktów inwestycyjnych (na przykład ETF-ów) w okresie testów historycznych i funkcjonowania tych produktów w czasie rzeczywistym. Należy oczekiwać znacznego pogorszenia rezultatów względem tych osiąganych hipotetycznie w czasie testów historycznych.
Suhonen, Lennkh i Perez zwrócili uwagę na pewien istotny szczegół, który powinien zainteresować wszystkich inwestorów: zarówno tych, którzy sami testują strategie jak i tych, którzy są potencjalnymi nabywcami wspomnianych w artykule produktów inwestycyjnych. Poziom złożoności strategii związany był ze spadkiem wyników w czasie rzeczywistego funkcjonowania strategii: najbardziej złożone strategie (z 3 lub więcej sygnałami) notowały spadek wskaźnika Sharpe’a o 30 punktów procentowych większy niż najprostsze strategie (z jednym sygnałem). Krótko mówiąc: im więcej parametrów wprowadza się do testowanej strategii tym większe jest niebezpieczeństwo nadmiernego dopasowania a tym samym znacznego obniżenia wyników w okresie funkcjonowania strategii na żywo.
Hortense Bioy, dyrektor badań nad funduszami pasywnymi w Mornigstar, przypomina o powiedzeniu funkcjonującym w segmentach smart beta i alternatywna beta: nigdy nie widziało się w nich nieudanego testu historycznego i nigdy się go nie zobaczy. Naturalnie, ta sama reguła dotyczy branży sprzedawanych w sieci algorytmów albo sygnałów inwestycyjnych. Seria badań z ostatnich lat powinna przekonać inwestorów do przyjęcia rozsądnej postawy wobec rezultatów testów historycznych – tym bardziej sceptycznej im mniej wiedzą o detalach testowanej strategii.
* Alternatywna beta co do idei przypomina smart beta. Wykorzystuje odkryte empirycznie anomalie rynkowe i premie związane z ekspozycją na takie czynniki jak wartość czy momentum. O ile jednak smart beta to przede wszystkim produkty inwestycyjne oparte na długich pozycjach na rynku akcyjnym to alternatywna beta obejmuje bardziej złożone strategie uwzględniające wiele klas aktywów, wykorzystanie instrumentów pochodnych, krótkich pozycji i dźwigni finansowej.
2 Komentarzy
Dodaj komentarz
Niezależnie, DM BOŚ S.A. zwraca uwagę, że inwestowanie w instrumenty finansowe wiąże się z ryzykiem utraty części lub całości zainwestowanych środków. Podjęcie decyzji inwestycyjnej powinno nastąpić po pełnym zrozumieniu potencjalnych ryzyk i korzyści związanych z danym instrumentem finansowym oraz rodzajem transakcji. Indywidualna stopa zwrotu klienta nie jest tożsama z wynikiem inwestycyjnym danego instrumentu finansowego i jest uzależniona od dnia nabycia i sprzedaży konkretnego instrumentu finansowego oraz od poziomu pobranych opłat i poniesionych kosztów. Opodatkowanie dochodów z inwestycji zależy od indywidualnej sytuacji każdego klienta i może ulec zmianie w przyszłości. W przypadku gdy materiał zawiera wyniki osiągnięte w przeszłości, to nie należy ich traktować jako pewnego wskaźnika na przyszłość. W przypadku gdy materiał zawiera wzmiankę lub odniesienie do symulacji wyników osiągniętych w przeszłości, to nie należy ich traktować jako pewnego wskaźnika przyszłych wyników. Więcej informacji o instrumentach finansowych i ryzyku z nimi związanym znajduje się w serwisie bossa.pl w części MIFID: Materiały informacyjne MiFID -> Ogólny opis istoty instrumentów finansowych oraz ryzyka związanego z inwestowaniem w instrumenty finansowe.
Powyższe wyniki są opracowane w dość krótkim, 5-letnim horyzoncie inwestycyjnym.
Prawdziwie długoterminowe strategie powinny opierać się na kilkudziesięcioletnich okresach testowych, nawet te bardzo skuteczne mogą cechować się nawet 5-10 letnimi okresami wyników gorszych od rynku (np strategia oparta na wartości w USA przez ostatnie 8 lat). Oczywiście na rynek wypuszczane są produkty, dla których testy na dość krótkich danych historycznych wyglądają szczególnie dobrze. Natomiast później można zaobserwować typowy efekt powrotu do średniej (mean reversion). Dlatego tak ważne jest trzymanie się raz przyjętej, dobrze przetestowanej strategii i unikanie "performance chasing".
"All models are wrong, but some are useful." 🙂
-George Box