Fascynującą ilustracją problemów, które stwarza survivorship bias jest decyzja* Sekcji Badań Operacyjnych Dowództwa Bombowego z okresu II wojny światowej. Dowodzona przez zdolnego fizyka, Patricka Blacketta, jednostka miała wydać rekomendacje na podstawie raportu opisującego uszkodzenia samolotów bombowych, które powróciły do angielskich baz z misji bojowych na terytoriach niemieckich.
Sekcja Badań Operacyjnych zdecydowała się rekomendować wzmocnienie pancerza w miejscach, które były kompletnie nieuszkodzone. Badacze, zdawali sobie sprawę, że raport, na podstawie którego podejmują decyzję obejmuje tylko samoloty, które przetrwały misje bojowe i w 100% pomija samoloty, które zostały strącone.
Badacze założyli, że samoloty „odfiltrowane” przez survivorship bias, nie zdołały wrócić do bazy ponieważ uszkodzono kluczowe miejsca tych maszyn – dokładnie te, które były nieuszkodzone w samolotach objętych badaniem Dowództwa Bombowego.
Survivorship bias, czyli błąd selekcji polegający na tym, że w badaniu uwzględnia się tylko podmioty, które przetrwały jakiś proces, stanowi istotny problem w badaniach biznesowych i inwestycyjnych. Badania strategii inwestycyjnych mogą obejmować jedynie rynki, fundusze inwestycyjne i spółki, które przetrwały okres obejmowany przez badanie.
W popularnych bazach danych rynku akcyjnego w Polsce znajdują się spółki, które są obecnie notowane na WGPW. Pomija się spółki, które w jakimś okresie istnienia WGPW były notowane na giełdzie a następnie zostały z niej wycofane – albo na skutek upadłości albo na skutek przejęcia.
Najnowsze wydanie Credit Suisse Global Investment Returns Yearbook pokazuje skutki survivorship bias w badaniach dotyczących stop zwrotu z najważniejszych rynków akcyjnych na świecie. Do tworzonej przez analityków CS bazy danych wprowadzono w ostatnim roku dwie istotne zmiany:
- rozszerzono ważenie rynków akcyjnych kapitalizacją rynkową (a nie kapitalizacją rynkową lub PKB) na cały okres obejmowany przez badanie (1900-2012)
- do listy państw objętych badaniem włączono Austrię, Rosję i Chiny – rynki, które z powodów politycznych (upadek Imperium Habsburskiego, Rewolucji Bolszewickiej, zwycięstwa komunistów w wojnie domowej) w pewnym momencie po prostu przestały istnieć
Znaczenie tej drugiej zmiany pokazuje poniższy wykres przedstawiający udział najważniejszych rynków akcyjnych w globalnej kapitalizacji rynków akcyjnych w latach 1900-2012.
Za Credit Suisse
Zarówno Rosja jak i Austria były relatywnie dużymi rynkami akcyjnymi na początku XX wieku i stanowiły odpowiednio 6% i 5% globalnej kapitalizacji. W drugiej dekadzie XX wieku inwestorzy stracili większość zainwestowanych na tych rynkach pieniędzy.
Poniższy wykres porównuje zysku kapitałowe z rynku amerykańskiego i rosyjskiego w latach 1865-1917.
Za Credit Suisse
Jak widać na rynku rosyjskim miał miejsce bardzo silny rynek byka aż do początków I wojny światowej. W lipcu 1914 roku zawieszono notowania giełdowe. Giełdę w Sankt Petersburgu ponownie otwarto w 1917 roku. Później bolszewicy przejęli władzę.
Analitycy CS obliczyli, że uwzględnienie dwóch opisanych powyżej modyfikacji w metodologii obliczenia rocznych, realnych stóp zwrotu z globalnego rynku akcyjnego odejmie odpowiednio 0,17 i 0,14 punktu procentowego z uzyskanych z lat 1900-2011 5,35%. Te liczby wydają się niewielkie ale ich uwzględnienie w okresie 1900-2011 zmniejszy kwotę kapitału w 2011 roku w przypadku zainwestowania 1 dolara w 1900 roku z około 343 do 246 dolarów.
Tak więc, survivorship bias może istotnie zaburzyć wyniki badań rynkowych stóp zwrotu lub strategii inwestycyjnych. Oczywiście, nie zawsze badacze są w stanie stworzyć odporną na survivorship bias bazę danych. W takich sytuacjach powinni przynajmniej zakomunikować ten problem.
* Nie dotarłem do źródeł historycznych, które potwierdzają tę historię. Nie mogę więc jednoznacznie potwierdzić jej autentyczności.
18 Komentarzy
Dodaj komentarz
Niezależnie, DM BOŚ S.A. zwraca uwagę, że inwestowanie w instrumenty finansowe wiąże się z ryzykiem utraty części lub całości zainwestowanych środków. Podjęcie decyzji inwestycyjnej powinno nastąpić po pełnym zrozumieniu potencjalnych ryzyk i korzyści związanych z danym instrumentem finansowym oraz rodzajem transakcji. Indywidualna stopa zwrotu klienta nie jest tożsama z wynikiem inwestycyjnym danego instrumentu finansowego i jest uzależniona od dnia nabycia i sprzedaży konkretnego instrumentu finansowego oraz od poziomu pobranych opłat i poniesionych kosztów. Opodatkowanie dochodów z inwestycji zależy od indywidualnej sytuacji każdego klienta i może ulec zmianie w przyszłości. W przypadku gdy materiał zawiera wyniki osiągnięte w przeszłości, to nie należy ich traktować jako pewnego wskaźnika na przyszłość. W przypadku gdy materiał zawiera wzmiankę lub odniesienie do symulacji wyników osiągniętych w przeszłości, to nie należy ich traktować jako pewnego wskaźnika przyszłych wyników. Więcej informacji o instrumentach finansowych i ryzyku z nimi związanym znajduje się w serwisie bossa.pl w części MIFID: Materiały informacyjne MiFID -> Ogólny opis istoty instrumentów finansowych oraz ryzyka związanego z inwestowaniem w instrumenty finansowe.
Twój świetny felieton giełdowy Trystero podaje definicję giełdy;
kardiogram przedsiębiorczości na Ziemi.
Wybacz, żem „napisał” tyle co kot napłakał. Wiosenny rynek woła, odrywa przednie łapy od ziemi.
Tak sie zastanawiam na ile z-biasowane są same wartości indexów.
O ile sama bazę spółek można odtworzyć o tyle nikt nie odejmuje tej cześci indexu która „urosła/spadła” dzięki spółce która przestaje istnieć. W indeksie ta część zawsze istnieje.
@ pit65
Przy każdej rewizji udział spółek w indeksie jest ponownie kalkulowany.
Rozumiem, że problem istniałby gdyby spółka stanowiąca 10% indeksu przestała istnieć. Takie sytuacje się nie zdarzają, a gdy się zdarzają (Islandia niedawno) to indeks bardzo mocno traci (w Islandii spadł o kilkadziesiąt procent gdy największe banki poszły pod wodę). Z reguły kurs spółki spada na łeb na szyję co jest uwzględnione w wartości indeksu a w pewnym momencie spółka wypada z indeksu (ale już z dużo mniejszym udziałem), na jej miejsce wchodzi inna spółka a udział spółek w indeksie jest ponownie kalkulowany.
Podobnie jest zresztą na przykład z indeksami surowcowymi gdy ich skład jest modyfikowany (na przykład wtedy gdy jakiś surowiec traci gospodarcze znaczenie).
@ pit65
Niebezpiecznie zbliżasz się do punktu, w którym zaczyna się kwestionowanie istnienia świata, czyli solipsyzm 🙂
@astanczak
Ależ ja niczego nie kwestionuje staram sie akceptować wszystko jakim jest , a to jakim jest, jest niezależne od mojego kwestionowania.
Natomiast zarzut kwestionowania stawiają mi osoby którym zależy by było jak jest niezależnie od tego jak jest byle by było po staremu.
Człowiek lubi poczuć złudę bezpieczeństwa własnego domu nie tylko tego fizycznego zbudowanego z kart, ktore zna lub wydaje mu się ,że zna, a moje tzw. kwestionowanie pewnie porusza nutke niepewności.
Jako,że niepewność to taka niematerialna mara i ciężko sie do tego przyznać bez tracenia w oczach więc kwestionuje sie tego co wypowiedział nieopatrznie słowo.
„Kwestionowanie istnienia świata” w kontekście indeksu rynkowego to dopiero byłoby zakwestionowanie kwestionowania 🙂
„Podobnie jest zresztą na przykład z indeksami surowcowymi gdy ich skład jest modyfikowany (na przykład wtedy gdy jakiś surowiec traci gospodarcze znaczenie).”
A jaki surowiec stracił ostatnio tak na znaczeniu (powiedzmy w ciagu 10 lat), że wypadł z indeksu?
@ lesserwisser
A jaki surowiec stracił ostatnio tak na znaczeniu (powiedzmy w ciagu 10 lat), że wypadł z indeksu?
Mam problem ze znalezieniem zmian w S&P GSCI i DJUBS. Znalazłem historyczne zestawienie zmian w Reuters-CRB (ostatnie wypadnięcia w latach 90′). Natomiast wydaje się mi, że czytałem o wypadnięciu/zamianie w ostatniej dekadzie jakiś soft commodities (chyba zwierzęcych) w czołowych indeksach. Niestety, nie mogę znaleźć tych danych.
Poza wypadnięciami są także zmiany udziałów, między innymi trwające przechodzenie z WTI na Brent. W 2012 roku DJUBS włączył Brent do indeksu kosztem dużej części (1/3) udziałów WTI.
Naturalnie, zmiany w indeksach surowcowych są dużo mniejsze niż w indeksach akcyjnych. Moim celem było pokazanie, że ten mechanizm dotyczy generalnie wielu indeksów, nie tylko akcyjnych.
„Przy każdej rewizji udział spółek w indeksie jest ponownie kalkulowany.”
No nie jestem taki pewien.
Rozumiem ,że jest przekalkulowany , zmieniają sie wagi /jeżeli są/ by zapewnic kontynuację.Ale jak zapewnić kontynuacje wg. ceny???
Dajmy taki przykład zupełnie abstrakcyjny celem wyraźniejszego spojrzenia.
1.Było sobie 5 pierwszych spółek z WIG zaczynającym sie od 1000.
2.Po wzroście do 2000 te 5 spółek zostało wymienionych na inne 5 przkalkulowano indeks .
3. Następnie te 5 spólek zbankrutowało.
4. 5 nowych startuje niejako z podwyższonego pułapu dzięki 5 pierwszym.
5. Gdyby zaczeto liczyć index od 2 „garniturku” wg tego samego przekalkulowania nic nie stoi na przecszkodzie by była to wartość 1000.
Czytam następnie odkrywczą rekomendację znajomego analityka z zastrzeżeniem -„nie stanowi nagonki wg prawa”, że inwestycja w lokate bankową przynosi marne 5% , a alternatywna inwestycja w index spółek /nie ETF i nie FW/ przyniosła 100% zwrotu.
Biegne więc ze swoimi groszami by je ulokować w funduszu i „poznac siłę swych pieniędzy”.
Pytanie: Jak przekalkulowano wzorst z 1000 do 2000 zrobiony cenowo jedynie dzięki 5 pierwszym spółkom, których juz nie ma by uniknąć biasu w indeksie ?
Patrzę sobie na algorytm wyliczania W20 i nadziwic się nie moge, że można, ale ja lichy z matmy byłem 😉
@ pit65
Gdyby rewizje indeksów odbywały się tak jak to opisujesz to rzeczywiście byłby problem.
O ile mi jednak wiadomo rewizji odbywają się inaczej – z indeksu wypada najgorsza pod względem kryteriów indeksowych (z reguły kapitalizacja, struktura akcjonariatu, obrót) i wchodzi najlepsza na liście oczekujących. To nie jest tak, że indeks pompowany jest przez PKO, PEO, KGH, PKN i TPS i po 10 latach te spółki zastępowane są przez jakieś mikro-przedsiębiorstwa a indeks re-kalkulowany ale od poziomu osiągniętego dzięki „wspaniałej 5”. Gdyby tak było to byłby poważny problem.
@Trystero
Wydaje sie mi ,że jednak indexy jako takie nie są wolne od tego biasu choc jest tu szalenie trudno uchwytny.
Stanowia jedynie czysto syntetyczną kontynuacje co samo w sobie nie jest złe, czy żle liczone.
Natomiast trzeba to mieć IMO na względzie porównując z inwestycjami w towary, lokaty , które nie bankrutują po drodze i ich wykres czy stopy zwrotu są bezpośrednim wynikiem ceny , a nie syntetykiem kontynuacyjnym z rankingu debeściaków.
# Trystero
ale pit ma trochę racji. Najlepiej to przesledzic na historii Universalu w WIG20 (niestety na GPW gdzies zaginal link do tabel z historycznymi skladami indeksów) – przez całą hosse 93-94 Universal rosnie zpoiomu kilkudziesieciu groszy do ponad 70 PLN. Pod koniec tych wartosci znajduje sie na pierwszych miejscach w indeksie (nie pamietam juz kiedy zmienily sie zasady ścinania udziału, ale… pod koniec kazdego okresu kiedy WIG20 był korygowany Uni, miał udział o wiele większy niż 10 %, wiec jego udział byl korygowany znów do tego stopnia by było to 10%). Zaczyna się bessa w 1994 i… spadający Uni ma coraz niższy udział w indeksie.
Jeszcze bardziej skrajny przyklad to BIG Bank Gdański, który na fali walki o przejęcie przez Deutsche Bank wzrósł tak mocno, ze o ile pamietam jego udzial w indeksie to bylo grubo ponad 15% (z chyba 6 miejsca awansowal na 1), by w pewnym momencie GPW zawiesila notowania (pomijam polityczne konotacje tego faktu) i .. teraz niestety brakuje mi dostepu do danych zrodlowych (jeszcze tydzien temu byly wszystkie historyczne sklady indeksu na stronie GPW), ale gdy walka o przejęcie się zakończyła i BIG BG został odwieszony kurs zaczął spadac, a ze akurat nalozylo sie to na korekte indeksu to jego udział ścięto (zdaje sie ze ponizej 10%)
Oczywiscie w miare, jak w indeksie przybywalo coraz wiece spolek, wokol których nie bylo tak znaczacych zawirowan, to znaczenie tych pojedynczych zdarzen malało, niemniej jednak….
@ GZalewski, Pit65
Daleki jestem od twierdzenia, że indeksy idealnie odwzorowują rynek.
Najprawdopodobniej jest tak, że w jakiś okresach metodologia tworzenia indeksu zwiększa stopę zwrotu, w innych okresach zmniejsza.
Jest silny argument za tym drugim – trudno spodziewać się, że wszystkie komitety indeksowe będą lepsze od szerokiego rynku. Być może więc komitety indeksowe pomagają sobie zmieniając reguły w trakcie gry na co wskazuje opisany przez Grzegorza przypadek WIG20 w latach 90′.
Mniej istotne jest czy Pit ma tu trochę racji czy jej nie ma, bo cząstka byłych uczestników indeksu istnieje tylko w historycznych zapisach a nie jako odległe echo w bieżącej jego kalkulacji.
Se przeczytałem, do poduszki, materiał CS i zauważyłem, moim zdaniem ważniejszą rzecz, że w dyskusji na temat historycznej wysokości premii za ryzyko (a tu wchodzi właśnie ten s… bias) wciąż pokutuje to samo typowe ułomne podejście. Nie bierze się pod uwagę wpływu
różnic w poziomach stóp procentowych wolnych od ryzyka,
funkcjonujących w różnych okresach.
A to może wypaczyć wnioski z analizy i to istotnie.
Indeksy deformują rzeczywistość, bo dobór do nich jest arbitralny, choć oczywiście (niby) oparty na przesłankach mogących powszechnie uchodzić za racjonalne. Ale w studium obejmującym setki lat i wiele indeksów wpływ deformacji może się poznosić.
Najprostszy przykład to dywidendy. Niektóre indeksy uwzględniają dywidendę, a inne nie. Decyzja twórcy indeksu – uwzględniać czy nie uwzględniać – jest arbitralna.
Jeśli chodzi o uwzględnianie w podobnych rozważaniach stopy „wolnej od ryzyka” (bo jak historia uczy nie zawsze jest wolna) to uważam iż jest ono zbędne. Wysokość stopy wolnej od ryzyka jest, do pewnego stopnia oczywiście, uwzględniona w wartościach indeksów. Gdyby stopa wolna od ryzyka wynosiła 50% rocznie, to nikt nie inwestowałby w akcje i indeksy by spadały. Gdyby wynosiła 0,05% rocznie, to gotowość do inwestowania w akcje byłaby wysoka, tak jak dzisiaj, gdzie każdy (inaczej: większość) przyznaje, że sytuacja ogólnie jest nie najlepsza, ale alternatywy w postaci wysoko oprocentowanych lokat brak.
W kwestii formalnej:
1. „bolszewicy”, tfu, piszemy z małej litery.
@ Bogdan
Indeksy deformują rzeczywistość, bo dobór do nich jest arbitralny, choć oczywiście (niby) oparty na przesłankach mogących powszechnie uchodzić za racjonalne. Ale w studium obejmującym setki lat i wiele indeksów wpływ deformacji może się poznosić.
Bez wątpienia deformują. Pytanie brzmi jaki jest efekt netto w długim terminie.
Moim zdaniem albo deformacje się neutralizują, tak jak piszesz, albo deformacje zaniżają wyniki indeksów (jako całość) względem szerokiego rynku. Trudno mi założyć, że komitety indeksowe będą regularnie pobijać rynek, więc trudno mi przyjąć, że jako całość indeksy zachowują się lepiej od rynku. Z drugiej strony, nie można wykluczyć, że niektóre komitety indeksowe w pewnych okresach czasu będą pobijać rynek – całkiem jak z funduszami.
Poprawiłem „bolszewików”. Dzięki za uwagę.
„Indeksy deformują rzeczywistość”
Bez wątpienia, i warto wiedzieć, w jaki sposób deformują (stąd wartość wpisów jak wyżej). Ale sytuacja jest o tyle niejednoznaczna, że indeksy jednocześnie SĄ rzeczywistością.
Omawiane dziesiątki razy dziennie przy przedstawianiu sytuacji na przeróżnych rynkach („kolejny rekord na S&P500”) żyją jakby własnym życiem; szczególnie przy dominującym „technicznym” podejściu do rynku. Zastanawiam się, ilu inwestorów ma codzienną świadomość niuansów tworzenia indeksu.
Skupiłabym się raczej na uzmysłowienieu sobie bardziej „grubego” braku precyzji, rzeczywiście wypaczającego obraz rynku. Przykład, który mnie najmocniej irytuje: właśnie ogłaszanie rekordowych notowań S&P500 bez wzięcia pod uwagę sprawy podstawowej – wartości pieniądza w czasie. Odczyty z 2000 roku nijak się mają do współczesnych.
Moim zdaniem swiadomość tych najgrubszych nadużyć wystarczy (do wyrobienia sobie w miarę prawdziwego obrazu); ogół inwestorów nie niuansuje.
Problem z obliczeniem deformacji byłby taki, że najpierw trzeba by uzgodnić co byłoby rzeczywistością, w stosunku do której liczymy deformację. Istotnie, _dorota, indeksy są rzeczywistością w większym stopniu, niż to, co uznalibyśmy za rzeczywistość.
Propozycje miar rzeczywistości (nie uznaję ich za doskonałe, to tylko pomysły):
1. Średnia wartość portfeli inwestorów lub uśrednione stopy zwrotu z jakiegoś bardzo starego banku działającego do dziś.
2. Wybrany losowo portfel spółek (spory, np. 300 szt.) z tych kilkunastu indeksów na 1865 r. dla St.PSE NYSE, spółki dla których pierwsza dostępna data jest późniejsza byłyby dokładane później, albo zaczynamy w najwcześniejszym dniu w którym wszystkie spółki są notowane. Przeciętny, „rzeczywisty” inwestor nie buduje portfela wg kapitalizacji.
3. Inne? Na razie kończę, zaraz finał skoków 😉
Indeksy mają też taką zaletę, że, według moich obserwacji, w większości przypadków czyszczą się na czas, tzn. przyszły Not-survivor (bankrut) zostaje z nich na czas usunięty. Mam tu na myśli oczywiście głównie indeksy blue chipów, czyli np. WIG20, takiego WIG-u to nie dotyczy.
Im słabszy indeks, tym łatwiej go pokonać.