Nate Silver o prognozowaniu

Nate Silver, statystyk i analityk, autor książki The Signal and the Noise: Why So Many Predictions Fail-but Some Don’t, który zdobył medialną sławę trafnymi prognozami wyników ostatnich wyborów w USA spotkał się pod koniec 2012 z pracownikami Google w ramach serii Authors at Google.

Uwagi Silvera dotyczyły prognozowania, ale także komunikowania prognoz i interpretowania prognoz, w sensie ogólnym a nie prognozowania rynków finansowych, jednak inwestorzy mogą znaleźć w nich kilka pożytecznych spostrzeżeń, które mogą wykorzystań na rynku finansowym.

Najbardziej zainteresował mnie problem oceny jakości prognoz i warsztatu prognostycznego. Silver zwraca uwagę na fakt, że w dziedzinach gdzie występuje duża liczba obserwacji (na przykład: prognoza pogody) sensowną formą sprawdzenia jakości prognoz jest sprawdzenie jak dobrze są skalibrowane. Prognoza jest dobrze skalibrowana jeśli przy prognozie 80% prawdopodobieństwa deszczu, deszcz pada mniej więcej w 4 na 5 przypadków.

Silver zauważa, że niewiele systemów prognostycznych generuje wystarczającą do statystycznej oceny jakości prognoz liczbę obserwacji. Dotyczy to prognoz politycznych ale także prognoz finansowych. W interesującym projekcie badawczym prowadzonym przez CXO Advisory Group oceniani eksperci rynkowi wygenerowali od kilkudziesięciu do około 300 prognoz. Myślę, że podobny problem występuje w przypadku wszystkich analityków rynku finansowego.

Silver uważa, że w takiej sytuacji większy sens niż ocena sprawdzalności prognoz może mieć ocena procesu prognostycznego. Podobną postawę przyjąłem przy ocenie raportów analitycznych czy komentarzy rynkowych, także tych publikowanych na blogach. Nie interesują mnie prognozy, rekomendacje i ceny docelowe. Zwracam uwagę na proces, w tym przypadku, wartość informacji i ich interpretację, które doprowadziły do sformułowania prognozy czy rekomendacji. Jeśli w raporcie czy komentarzu znajdują się informacje, które wydają się mi istotne, a do których sam wcześniej nie dotarłem lub nie zinterpretowałem w zaproponowany przez autora sposób, to uznaję jego pracę za wartościową dla mnie.

Jednym z zagadnień, które porusza Silver jest kwestia wewnętrznych sondaży sztabu wyborczego Romneya i informacji przekazywanych przez sztab Romneya mediom. Wspomniane sondaże i komunikaty do samego końca wskazywały na zwycięstwo Republikanina w wyborach, w których odniósł raczej dotkliwą porażkę.

Silver podkreśla, że trudno jednoznacznie stwierdzić jak optymistycznie patrzyli na szanse wyborcze kandydat i jego sztab ponieważ to co przekazywano mediom mogło diametralnie różnić się od realnych poglądów. Trudno jest prowadzić kampanię wyborczą z przeświadczeniem, że stoi się na straconej pozycji i przekazywać mediom informacje, które negatywnie wpłyną na zaangażowanie pracowników kampanii. Nie ma polityka, który gdy po zaciętej walce szala zwycięstwa zdecydowanie przychyliła się na korzyść konkurenta, na kilka dni przed wyborami powie mediom coś w rodzaju „dzielnie walczyliśmy ale wiadomo już, że nie mamy szans na wygraną”.

Silver podkreśla, że konsumenci informacji muszą odróżnić prognozy od działań marketingowych i nie mogą mieć pretensji jeśli ich opinia, którą oparli na informacjach marketingowych okazała się błędna. Ta zasada może okazać się przydatna przy interpretowaniu medialnych wystąpień prezesów spółek, w których wypowiadają się o sytuacji spółki czy ewentualnej podwyżce ceny w ogłoszonym wezwaniu. Inwestorzy mogą zadać sobie pytanie: czy prezes mógł w ogóle powiedzieć coś innego?

Autor zauważa także, że wiele prognoz dotyczących przyszłości organizacji, tworzonych przez pracowników organizacji (czy to sztabu wyborczego czy spółki giełdowej) będzie optymistycznie skrzywionych z powodu wewnętrznej presji – nikt nie chce być posłańcem przynoszącym złe wieści bo ludzie nie lubią takich posłańców. Wiele organizacji jest więc niezdolnych do autokrytycyzmu i samo-refleksji i jest to jeden z powodów rozwoju sektora firm doradczych.

Silver dużo uwagi poświęca temu jak media obchodzą się z prognozami i tego jak ich autorzy mogą wziąć to pod uwagę. Zdaniem statystyka media są w stanie operować w dwoch scenariuszach

• 50/50 a więc nic nie wiadomo, wszystko jest możliwe
• posprzątane, sprawa jest jasna, nie ma wątpliwości

Dlatego prognozy Silvera, który na krótko przed wyborami dawał Obamie 80% szans na zwycięstwo (prediction markets sugerowały 70%-80% prawdopodobieństwo zwycięstwa Obamy), media przyjęły jak obstawianie w ciemno zwycięstwa Obamy gdy dominującą, choć całkowicie fałszywą, narracją medialną była „walka łeb w łeb”. Tymczasem 80% szans na zwycięstwo oznaczało, że w aż jednej piątek uwzględnianych przez Silvera scenariuszy Obama przegrywał.

Mimo to Nate Silver uważa, że przy ogłaszaniu prognozy bardzo ważne jest komunikowanie niepewności i podawanie, jeśli jest dostępny, marginesu błędu. Zasada ta dotyczy także interpretowania prognoz i podkreślam jej znaczenie przy analizowaniu raportów makroekonomicznych: na przykład raportu z rynku pracy czy raportu o zmianie PKB.

Silver dodaje kontrowersyjne spostrzeżenie: ostrzega, że zbyt intensywne komunikowanie niepewności prognozy może doprowadzić do tego, że jej odbiorcy ją zignorują. Ten problem staje się kwestią życia i śmierci w przypadku komunikowania prognoz o nadejściu huraganu ale przed podobnym dylematem stają analitycy na rynku finansowym. Analitycy z jednej strony muszą komunikować oczywistą niepewność ich prognoz a z drugiej strony zdają sobie sprawę, że nie będą poważnie traktowani jeśli nie będą brzmieli wystarczająco pewni siebie.