Daniel Kahneman o tworzeniu systemu inwestycyjnego

Czytam właśnie nową książkę Daniela Kahnemana napisaną wspólnie z Olivierem Siboinem oraz Cassem Sunstainem i trafiam na rozdziały zgrupowane w części „Szum w osądach prognostycznych”. Mam wrażenie, że cały ten rozdział dotyczy przede wszystkim zachowań inwestorów i traderów, choć przecież cała książka – Szum, próbuje zająć się kwestią rozbieżności w ocenach eksperckich, czyli właśnie tytułowego szumu. Dlaczego ludzie mając podobne kryteria oceny konsekwentnie podejmują bardzo zróżnicowane decyzje, zwłaszcza w sytuacjach i miejscach, gdy to zróżnicowanie jest niepożądane (np. w wydawaniu wyroków sądowych). Ponieważ książkę firmuje Daniel Kahneman, to wiadomo, że odpowiedź będzie prosta – jest to konsekwencja naszych błędów poznawczych.

Więcej o samej książce napiszę na blogu speculatio.pl, bo mam pewne wątpliwości co do niektórych wniosków, teraz jednak zajmijmy się wspomnianą częścią dotyczącą naszych prognoz, przewidywań, czyli tych aspektów, które bardzo mocno wiążą się z inwestowaniem.

W   1954 roku, Paul Meehl, profesor psychologii na Uniwersytecie Minnesoty, opublikował książkę porównującą prognozy kliniczne i   statystyczne z   punktu widzenia teorii oraz dostępnych danych. Meehl przyjrzał się 20 badaniom, w   których porównywano skuteczność osądów klinicznych z   prognozami mechanicznymi dotyczącymi różnych kwestii, takich jak wyniki w   nauce czy ocena psychiatryczna. Na tej podstawie przekonująco wykazał, że proste reguły na ogół sprawdzają się lepiej niż osądy ludzi. Meehl odkrył, że główną słabością lekarzy i   innych ekspertów jest to, co sami uznają za swoją szczególną zaletę: zdolność scalania informacji.

Proszę dokładnie przyjrzeć się temu fragmentowi – proste reguły zwykle są skuteczniejsze niż osądy/intuicje/przypuszczenia. Kahneman wyjaśnia w dalszych częściach dlaczego się tak dzieje – chodzi oczywiście o te wszystkie obciążenia poznawcze, które sprawiają, że nawet jeśli mamy jakiś zestaw zasad mentalnych, to jest on jednak bardzo ogólny i niestety bardzo zależny od naszego nastroju, sytuacji i całej rzeszy innych rozpraszaczy.

Zdecydowanie tak jest również w gronie inwestorów. Proste reguły (sensowne i na podstawie testów) zwykle będą skuteczniejsze, niż nasze intuicyjne przeczucia co do tego, co właśnie należy na rynku zrobić.

Oczywiście takie podejście budzi nasz sprzeciw, bo od razu pojawiają się te wszystkie zastrzeżenia, w rodzaju „model nie uwzględni wszystkich okoliczności”, „model przegra z nietypowymi sytuacjami”. Tak, owszem, ale wciąż mówimy o pewnym średnim podejściu u przeciętnego inwestora.

Modele (proste) mają swoje ograniczenia, ale to już jest zupełnie inne zagadnienie.

Przegląd 136 badań, opublikowany w   2000 roku, potwierdził jednoznacznie, że mechaniczne scalanie danych daje lepsze wyniki niż osąd kliniczny. Opisane badania dotyczyły wielu zagadnień, takich jak diagnozowanie żółtaczki, ocena przydatności do służby wojskowej czy ocena zadowolenia z   życia w   małżeństwie. W   63 badaniach trafniejsze były przewidywania mechaniczne, w   kolejnych 65 był statystyczny remis, a   tylko w   ośmiu przypadkach górą były osądy kliniczne. W   rzeczywistości te wyniki zaniżają przewagę przewidywań mechanicznych, które na ogół są zarazem szybsze i   tańsze niż osądy kliniczne. Wyniki analizy potwierdzają jasny wniosek: proste formuły są lepsze od ludzi.

Zachęcam do czytania dalszych rozważań, w których autorzy opisują doświadczenia dotyczące modelowania naszego rozumowania, z których wynikało, że wyniki takich modeli były lepsze niż osób, których zachowanie miały naśladować. Co oczywiście wiąże się dla nas z wieloma frustracjami.

można sobie wyobrazić, jak załamani bylibyśmy na myśl o   tym, że prymitywny model nas samych – niemalże karykatura naszych osądów – tworzy trafniejsze prognozy od nas. Większość z   nas odbiera formułowanie osądu jako czynność złożoną, bogatą i   interesującą właśnie dlatego, że nie daje się dopasować do prostych reguł. Jesteśmy najbardziej zadowoleni z   siebie i   własnej zdolności do formułowania osądów, kiedy wymyślamy i   stosujemy skomplikowane reguły ewentualnie kiedy mamy intuicyjne poczucie, że jakiś przypadek różni się od pozostałych – krótko mówiąc, kiedy formujemy osądy, których nie da się sprowadzić do prostego wyliczenia średniej ważonej.

Od lat zwracam uwagę, że prostota na rynku ma ogromy sens. Możemy spróbować zrobić zbiór formacji, pokategoryzować je i nadać im mniej lub bardziej barwne nazwy, ale jeśli większość z nich będzie wyglądała jak korekta w trendzie, przyjmująca kształt chorągiewki – na tym najczęściej możemy zakończyć opisywanie tego rodzaju formacji. Nie ma znaczenie, czy jest nachylona o 5 czy o 5,0009 stopnia, żeby uznać ją za chorągiewkę typu A, a nie typu B.

Jak pisze Kahneman – cała nasze subtelność, nie ma większego znaczenia. Choć – jeśli nasze osądy prognostyczne opierają się właśnie na jakichś subtelnościach i model tego nie odzwierciedli to jego wyniki będą znacznie gorsze. Naturalnie przy zastrzeżeniu, ze to właśnie te subtelne parametry wpływają na skuteczność.

Idźmy teraz dalej – złożone reguły prognostyczne zwykle obniżają trafność osądów.

niewiele złożonych reguł wymyślanych przez ludzi rzeczywiście się sprawdza. Ale jest jeszcze jeden problem: nawet jeśli takie złożone reguły są trafne co do zasady, to nie da się uniknąć tego, że dotyczą one okoliczności, które rzadko występują. Na przykład dochodzisz do wniosku, że warto jest zatrudniać wyjątkowo oryginalnych kandydatów, choćby nawet mieli mierne wyniki pod innymi względami. Problem w   tym, że wyjątkowo oryginalnych kandydatów z   samej definicji spotyka się wyjątkowo rzadko.

Nassim Taleb próbował niegdyś zarządzać funduszem, który stawiał na nieoczekiwane wydarzenia. Mając przekonanie, że wówczas zarabia się bardzo dużo kupował nisko wyceniane opcje, które w większości przypadków wygasały bez wartości, by raz na jakiś czas zarabiać. Niestety dla klientów to jest bardzo trudne do zaakceptowania. Tracić – co prawda, niewiele – przez cały czas, żeby od czasu do czasu zarobić mnóstwo. W zrozumiały sposób pojawiają się pytania, czy to ma sens. To w zasadzie rodzaj ruletki. Zwłaszcza, że nie wiemy kiedy pojawi się „zdarzenie”.

A co w takim razie ze złożonymi modelami prognostycznymi? Sięgnijmy ponownie do Szumu

Robyn Dawes również należał do gwiazdorskiej ekipy badaczy zajmujących się osądami w   latach sześćdziesiątych i   siedemdziesiątych w   Eugene w   stanie Oregon. W   1974 roku Dawes dokonał przełomu pozwalającego uprościć zadania prognostyczne. Jego pomysł był zaskakujący, niemal heretycki: zamiast dochodzić do dokładnej wagi dla każdego z   czynników prognostycznych za pomocą regresji wielorakiej, zaproponował, żeby wszystkim czynnikom prognostycznym nadać jednakową wagę.

Jego zaskakujące odkrycie polegało na tym, że pod względem trafności takie modele o   jednakowych wagach czynników wcale nie ustępują zbytnio modelom „właściwym”, czyli opartym na regresji, a   także są znacznie trafniejsze od osądów klinicznych. Nawet zwolennicy modeli niewłaściwych przyznają, że takie stwierdzenie wydaje się nieprawdopodobne i  „ kłóci się ze statystyczną intuicją”.

Przecież to jest zupełnie to samo, czego doświadcza wielu inwestorów. Odrzuca systemy mechaniczne złożone z prostych reguł (przecięcie średniej, wybicia z kanału plus(!) reguły zarządzania kapitałem), szukając wskaźników, filtrów, potwierdzeń. Sam pamiętam, że testując systemy mechaniczne wiele lat temu, próbowałem wykorzystać różne wskaźniki, które miały na celu działać w różnych sytuacjach rynkowych. W rezultacie gubimy się w kryteriach, nie bardzo wiemy, co tak naprawdę jest skuteczne. Jeśli jeszcze dodatkowo zaczniemy grzebać przy parametrach, próbując dobrać, najbardziej optymalne wartości wskaźników, średnich, filtrów to w rezultacie otrzymamy doskonale zoptymalizowany system, pasujący do danych, na których go testowaliśmy i niemal z pewnością wyłoży się w realnym świecie, gdy tylko go postanowimy użyć.

Na to również zwraca uwagę Kahneman z współautorami.

kiedy tę samą [złożoną] formułę zastosujemy poza próbą – czyli spróbujemy za jej pomocą przewidywać wyniki dla innego zbioru danych – wcześniej wyliczone wagi przestaną być optymalne. Losowe zbiegi okoliczności, które znalazły się w   pierwotnej próbie, nie będą obecne w   nowym zbiorze danych właśnie dlatego, że były losowe. Mało tego, do nowej próby zaplączą się inne losowe zbiegi okoliczności, których istniejąca formuła nie zdoła przewidzieć. Właściwą miarą trafności prognostycznej modelu jest to, jak sobie poradzi na nowej próbie, czyli jaką korelację uzyska po tak zwanym sprawdzianie krzyżowym.

i dalej:

Utrata trafności w   wyniku sprawdzianu krzyżowego jest największa, kiedy pierwotna próba jest niewielka, bo losowe zbiegi okoliczności silniej wpływają na małą próbę.

Właśnie dlatego budujemy systemy na podstawie nie danych z całego zbioru, tylko wycinkowo, a później sprawdzamy jak działa na innych historycznych danych różniących się charakterem od tych wcześniejszych.

Podsumowując Daniel Kahneman zdaje się mówić do inwestorów – jeśli budujesz system oparty na średniej, nie dorzucaj tam jeszcze oscylatora, bo oba wskaźniki są pochodną ceny i w gruncie rzeczy nie dadzą przewagi wykorzystane razem.

łączenie dwóch lub więcej skorelowanych ze sobą czynników prognostycznych ma niewiele większą wartość prognostyczną niż sam najlepszy czynnik. A   że czynniki prognostyczne są w   rzeczywistości niemal zawsze skorelowane, na tym fakcie statystycznym opiera się stosowanie podejść oszczędnych, czyli wykorzystujących niewielką liczbę czynników prognostycznych. Proste reguły, które można stosować bez większych wyliczeń (albo wręcz zupełnie bez nich) w   niektórych sytuacjach osiągały imponująco trafne prognozy w   porównaniu z   modelami wykorzystującymi znacznie większą liczbę czynników prognostycznych.

Ten cały rozdział w książce Szum czytany z perspektywy inwestora można podsumować – w większości przypadków prosty system wykorzystujący proste założenia (np. analizy technicznej) będzie znacznie bardziej skuteczny niż twoje własne osądy i intuicje. Choćbyś nie wiem, za jak wyrafinowanego tradera się uważał.

A teraz pytanie, które odmieniło analizę techniczną i zaczęło się stawać czymś znacznie więcej (Data mining nie działa).

Co by się stało, gdybyśmy mogli użyć znacznie większej liczby czynników prognostycznych, zgromadzić znacznie więcej danych na ich temat, wychwycić powiązania i   prawidłowości, których nie zauważy żaden człowiek, a   następnie stworzyć na tej podstawie model tworzący lepsze prognozy? Na tym zasadniczo polega obietnica sztucznej inteligencji.

Witamy w świecie algotradingu! Weźmy dane, mnóstwo danych, o wiele więcej niż mnóstwo i szukajmy zależności. Szukajmy tego czego szukają analitycy techniczni – wzorów, powtarzalności, korelacji, związków, ale szukajmy tam, gdzie oni nie są w stanie  – w ogromnych, czasem nie powiązanych ze sobą zbiorach danych.

To się już dzieje w przypadku machine learning – wyniki są zaskakujące. Człowiek często nie wie dlaczego. No i znów kolejny dylemat, o którym niedawno pisałem w nieco innym kontekście (Co z tym fantem zrobić?) – na ile ufamy regułom i systemowi, a na ile uważamy, że jednak coś należy z tym zrobić. Jedną z reguł w naszym systemie transakcyjnym powinno być to, kiedy odejść od systemu.

Co na ten temat piszą Kahneman, Siboin i Sustain ?

ważny morał dla osób podejmujących decyzje na podstawie prostych modeli: mówi im, kiedy należy mieć ostatnie słowo i   zmienić decyzję modelu, a   kiedy nie. Jeśli masz decydujące informacje, których model nie mógł wziąć pod uwagę […] i   należy zmienić decyzję modelu. Z   drugiej strony, czasami możesz się nie zgadzać z   zaleceniami modelu, choć nie masz żadnych dodatkowych informacji. W   tych przypadkach pokusa zmiany decyzji modelu jest jedynie odbiciem twoich osobistych prawidłowości w   stosowaniu czynników prognostycznych. A   że takie osobiste prawidłowości z   dużym prawdopodobieństwem okażą się nietrafne, lepiej będzie się powstrzymać przed zmianą decyzji modelu; twoja interwencja prawdopodobnie tylko obniży jakość prognozy.

Ale jak mówią dalej autorzy, właśnie tu wkracza uczenie maszynowe wykrywając i zauważając dane i informacje, które człowiekowi nie przyszły by do głowy.

Na sam koniec niesłychanie ważne wnioski dotyczące tego, dlaczego mimo wszystko nie chcemy korzystać z prostych reguł, dlaczego je łamiemy, dlaczego próbujemy być mądrzejsi od modeli, które sami stworzyliśmy.

I tu wchodzimy MY – cali na biało. Z naszym ego, z naszym przekonaniem o eksperckości, wyrafinowaniu, intuicji.

Kluczowe ustalenie wyłaniające się z   najnowszych badań mówi, że ludzie nie odnoszą się podejrzliwie do algorytmów w   sposób konsekwentny. Na przykład kiedy mają wybór pomiędzy przyjęciem rady od człowieka lub algorytmu, często wybierają algorytm. Opór wobec algorytmów, zwany w   literaturze przedmiotu „awersją” do nich, nie zawsze przyjmuje formę kategorycznej odmowy zaakceptowania nowych narzędzi wspierających podejmowanie decyzji. Częściej jest tak, że ludzie są skłonni dać algorytmowi szansę, ale przestają mu ufać w   chwili, kiedy zobaczą, że popełnia błędy.

Proszę przeczytać dokładnie te zdania. Przecież tam, ni mniej ni więcej tylko jest napisane: „jestem człowiekiem i mogę się mylić i dokonywać błędnych transakcji, ale lepsze to niż korzystanie z analizy technicznej, która też prowadzi do błędnych transakcji. Wniosek – AT nie działa”. Myślę, że wielu czytelników zna to wnioskowanie.

Jak pisze Kahneman z współautorami – wydaje się to rozsądne i logiczne. Po co nam algorytm, który się myli. Oczekujemy, że będzie doskonały. Choć wiemy, że działa w przestrzeni probabilistycznej i błędy są tu naturalne.

Jeśli jesteśmy za coś odpowiedzialni miła nam jest wiara, że jesteśmy inteligentni, mamy pewne kompetencje i zdolności, które prowadzą do świetnych wyników. Co prawda czasem zawodzą, ale w takim razie po co korzystać z bezdusznej maszyny, która jeszcze by wykazała, że nie do końca jesteśmy potrzebni. Niech będzie doskonała, albo nie wchodzi nam w drogę!

Zakończę ten tekst pięknym podsumowaniem z książki.

Ludzie, którzy uważają, że potrafią formułować trafne prognozy w   stopniu, który jest zwyczajnie niemożliwy do osiągnięcia, nie są po prostu przesadnie pewni siebie. Nie chodzi tu jedynie o   fakt, że negują ryzyko szumu i   tendencyjności we własnych osądach, ani że uważają się za lepszych od innych śmiertelników. Co ważniejsze, tacy ludzie wierzą zarazem, że w   ogóle da się przewidywać wydarzenia, które w   rzeczywistości są niemożliwe do przewidzenia – a   tym samym negują rzeczywistość, jaką jest stan niepewności. Mówiąc językiem tej książki, ich zachowanie jest negacją niewiedzy.

[Photo by Andrea De Santis on Unsplash ]