Nate Silver o prognozowaniu

Nate Silver, statystyk i analityk, autor książki The Signal and the Noise: Why So Many Predictions Fail-but Some Don’t, który zdobył medialną sławę trafnymi prognozami wyników ostatnich wyborów w USA spotkał się pod koniec 2012 z pracownikami Google w ramach serii Authors at Google.

Uwagi Silvera dotyczyły prognozowania, ale także komunikowania prognoz i interpretowania prognoz, w sensie ogólnym a nie prognozowania rynków finansowych, jednak inwestorzy mogą znaleźć w nich kilka pożytecznych spostrzeżeń, które mogą wykorzystań na rynku finansowym.

Najbardziej zainteresował mnie problem oceny jakości prognoz i warsztatu prognostycznego. Silver zwraca uwagę na fakt, że w dziedzinach gdzie występuje duża liczba obserwacji (na przykład: prognoza pogody) sensowną formą sprawdzenia jakości prognoz jest sprawdzenie jak dobrze są skalibrowane. Prognoza jest dobrze skalibrowana jeśli przy prognozie 80% prawdopodobieństwa deszczu, deszcz pada mniej więcej w 4 na 5 przypadków.

Silver zauważa, że niewiele systemów prognostycznych generuje wystarczającą do statystycznej oceny jakości prognoz liczbę obserwacji. Dotyczy to prognoz politycznych ale także prognoz finansowych. W interesującym projekcie badawczym prowadzonym przez CXO Advisory Group oceniani eksperci rynkowi wygenerowali od kilkudziesięciu do około 300 prognoz. Myślę, że podobny problem występuje w przypadku wszystkich analityków rynku finansowego.

Silver uważa, że w takiej sytuacji większy sens niż ocena sprawdzalności prognoz może mieć ocena procesu prognostycznego. Podobną postawę przyjąłem przy ocenie raportów analitycznych czy komentarzy rynkowych, także tych publikowanych na blogach. Nie interesują mnie prognozy, rekomendacje i ceny docelowe. Zwracam uwagę na proces, w tym przypadku, wartość informacji i ich interpretację, które doprowadziły do sformułowania prognozy czy rekomendacji. Jeśli w raporcie czy komentarzu znajdują się informacje, które wydają się mi istotne, a do których sam wcześniej nie dotarłem lub nie zinterpretowałem w zaproponowany przez autora sposób, to uznaję jego pracę za wartościową dla mnie.

Jednym z zagadnień, które porusza Silver jest kwestia wewnętrznych sondaży sztabu wyborczego Romneya i informacji przekazywanych przez sztab Romneya mediom. Wspomniane sondaże i komunikaty do samego końca wskazywały na zwycięstwo Republikanina w wyborach, w których odniósł raczej dotkliwą porażkę.

Silver podkreśla, że trudno jednoznacznie stwierdzić jak optymistycznie patrzyli na szanse wyborcze kandydat i jego sztab ponieważ to co przekazywano mediom mogło diametralnie różnić się od realnych poglądów. Trudno jest prowadzić kampanię wyborczą z przeświadczeniem, że stoi się na straconej pozycji i przekazywać mediom informacje, które negatywnie wpłyną na zaangażowanie pracowników kampanii. Nie ma polityka, który gdy po zaciętej walce szala zwycięstwa zdecydowanie przychyliła się na korzyść konkurenta, na kilka dni przed wyborami powie mediom coś w rodzaju „dzielnie walczyliśmy ale wiadomo już, że nie mamy szans na wygraną”.

Silver podkreśla, że konsumenci informacji muszą odróżnić prognozy od działań marketingowych i nie mogą mieć pretensji jeśli ich opinia, którą oparli na informacjach marketingowych okazała się błędna. Ta zasada może okazać się przydatna przy interpretowaniu medialnych wystąpień prezesów spółek, w których wypowiadają się o sytuacji spółki czy ewentualnej podwyżce ceny w ogłoszonym wezwaniu. Inwestorzy mogą zadać sobie pytanie: czy prezes mógł w ogóle powiedzieć coś innego?

Autor zauważa także, że wiele prognoz dotyczących przyszłości organizacji, tworzonych przez pracowników organizacji (czy to sztabu wyborczego czy spółki giełdowej) będzie optymistycznie skrzywionych z powodu wewnętrznej presji – nikt nie chce być posłańcem przynoszącym złe wieści bo ludzie nie lubią takich posłańców. Wiele organizacji jest więc niezdolnych do autokrytycyzmu i samo-refleksji i jest to jeden z powodów rozwoju sektora firm doradczych.

Silver dużo uwagi poświęca temu jak media obchodzą się z prognozami i tego jak ich autorzy mogą wziąć to pod uwagę. Zdaniem statystyka media są w stanie operować w dwoch scenariuszach

  • 50/50 a więc nic nie wiadomo, wszystko jest możliwe
  • posprzątane, sprawa jest jasna, nie ma wątpliwości

Dlatego prognozy Silvera, który na krótko przed wyborami dawał Obamie 80% szans na zwycięstwo (prediction markets sugerowały 70%-80% prawdopodobieństwo zwycięstwa Obamy), media przyjęły jak obstawianie w ciemno zwycięstwa Obamy gdy dominującą, choć całkowicie fałszywą, narracją medialną była „walka łeb w łeb”. Tymczasem 80% szans na zwycięstwo oznaczało, że w aż jednej piątek uwzględnianych przez Silvera scenariuszy Obama przegrywał.

Mimo to Nate Silver uważa, że przy ogłaszaniu prognozy bardzo ważne jest komunikowanie niepewności i podawanie, jeśli jest dostępny, marginesu błędu. Zasada ta dotyczy także interpretowania prognoz i podkreślam jej znaczenie przy analizowaniu raportów makroekonomicznych: na przykład raportu z rynku pracy czy raportu o zmianie PKB.

Silver dodaje kontrowersyjne spostrzeżenie: ostrzega, że zbyt intensywne komunikowanie niepewności prognozy może doprowadzić do tego, że jej odbiorcy ją zignorują. Ten problem staje się kwestią życia i śmierci w przypadku komunikowania prognoz o nadejściu huraganu ale przed podobnym dylematem stają analitycy na rynku finansowym. Analitycy z jednej strony muszą komunikować oczywistą niepewność ich prognoz a z drugiej strony zdają sobie sprawę, że nie będą poważnie traktowani jeśli nie będą brzmieli wystarczająco pewni siebie.

[Głosów:0    Średnia:0/5]

7 Komentarzy

  1. deli deli

    Czując się wywołanym do tablicy.
    Wrzucam swoje prognozy do Bossablo od 2008. roku.
    Przekazuję je z różnych poziomów językowych i psychoenergetycznych.
    Pochodzą z dwu źródeł. Pierwsze źródło to metoda ak (analiza kosmobiologiczna). Drugie wypływa z konwencji romantycznego profetyzmu. Dlatego, że dzisiaj wydarzenie rynku kapitałowego jest faktem kulturowym, i dlatego, że jesteśmy w przełomowym momencie dziejów.
    Oba żródła implikują nieprzejrzystość wypowiedzi, a tę niedogodność kompensuję mojemu Czytelnikowi walorem autentyczności. “Ściema” ma wynika z dwu powodów: z przekonania o wartości intelektualnej mojej metody oraz z klasycznej tradycji predykcji.
    Czemu ta “zabawa” służy?
    Przyspiesza proces uczenia się i zdobywania doświadczenia interpretacji i po prostu ma służyć na miarę mych możliwości
    inwestorowi indywidualnemu.
    Będę mógł włączyć się w ewentualną wymianę dopiero po weekendzie.

    A propo. Na ten moment jawi się ma pozycja długa FW40H13 jako obroniona. Wracam do domu z tarczą? Życie jest piękne!

  2. Wojtek S.

    Interesuję się rynkiem finansowym już od dość dawna i zauważyłem, że z czasem wyrobiła mi się jakaś intuicja. Czułem, że zależy omijać szerokim łukiem Petrolinvest, TP SA a ostatnio PGE i widzę potwierdzenie tych obaw. Niestety nie zawsze działa to w drugą stronę i chociaż udało mi się parę razy zarobić na Getinie czy MCI po +100%, to nie potrafiłem przewidzieć takiego Krezusa.
    Czy też tak macie?

    1. trystero (Post autora)

      @ Wojtek S.

      Moim bardzo skromnym zdaniem problem z oceną takiej intuicji polega na tym, że jeśli nie prowadzisz systematycznych rejestrów to w długim okresie czasu skrzywienia poznawcze przejmą kontrolę nad pamięcią i to co myślisz o skuteczności intuicji nie będzie musiało odpowiadać rzeczywistej skuteczności intuicji. Moja pamięć na przykład ma wyraźne skrzywienie na rejestrowanie moich pomysłów, których nie zrealizowałem a okazały się dobre i skłonność do ignorowania moich pomysłów, których nie zrealizowałem, a które okazały się złe.

  3. pit65

    @Wojtek S.

    A nie zauważyłes ,że to jest druga strona tej samej monety , którą omijasz i cieszyssz sie z tego 🙂

  4. lesserwisser

    @WojtekS

    “Interesuję się rynkiem finansowym już od dość dawna i zauważyłem, że z czasem wyrobiła mi się jakaś intuicja. Czułem, że zależy omijać szerokim łukiem … i widzę potwierdzenie tych obaw. Niestety nie zawsze działa to w drugą stronę i chociaż udało mi się parę razy zarobić ….to nie potrafiłem przewidzieć takiego Krezusa.
    Czy też tak macie?”

    Ja, mimo że, nie interesuję się rynkiem finansowym już od dość dawna, mam podobnie, czyli też tak miałem = nie udało mi się przewidziec tego Krezusa (choć nie do końca :)).

    Widocznie umknęła mojej uwadze informacja, że wprowadzony w 2012 r. a mający obowiązywać od 2014 roku zakaz eksportu z Indonezji surowców nieprzetworzonych ( w tym rudy niklu) został zniesiony/anulowany etc.

    A może toruński Krezus dostał od indonezyjskiej administracji specjalne indywidualne zwolnienie, bo podobno krezusi to mają tzw Midas touch, który działa istne cuda. 😉

  5. Wojtek S.

    @Pit65 – nie rozumiem.

    @Trystero – prowadzę systematyczne rejestry, właśnie dlatego uważam, że od codziennego analizowania wykresów wyrabia się dodatkowy zmysł. Potwierdził to kiedyś Jacek Borawski podczas swojego wykładu, wspominając koleżankę, która ocenia wykresy “ten mi się podoba”, “ten mi się nie podoba”, bo widziała ich w swojej praktyce tysiące. U mnie jak na razie wyrobił się tylko “czerwony dzwonek alarmowy”, który ostrzega że spółka śmierdzi, ale do wyłapywania okazji mam przeciętny talent. Miesiąc temu zrobiłem taką analizę spółek WIG20:
    http://www.astrobiznes.pl/a/analizy/prognoza-dla-spolek-wig20/0

    @Lesser – trafienie w Krezusa to 1/356 prawdopodobieństwa, a odrzucając spółki “śmierdzące”, o których wspomniałem to może zostaje 1%. I tak jest to wyższe prawdopodobieństwo niż w Lotto, także wartość oczekiwana jest wyższa.

  6. lesserwisser

    “trafienie w Krezusa to 1/356 prawdopodobieństwa, a odrzucając spółki „śmierdzące”, o których wspomniałem to może zostaje 1%. I tak jest to wyższe prawdopodobieństwo niż w Lotto, także wartość oczekiwana jest wyższa.

    WojtkuS najwyrażniej nie doceniasz sztukmistrza z Kikoła, naszego czarnoksiężnka rynku, który czego nie dotknie to się zamienia w istne
    złoto. Zaiste Midas touch!

    Nawet 355/356 może wcale nie być przesadą!

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Proszę podać wartość CAPTCHA: *