AI jako analityk finansowy

Z uwagą śledzę progres popularnych modeli AI w dziedzinie finansów i co jakiś czas podrzucam ciekawsze osiągnięcia, jednakże postęp jest tutaj dość mało satysfakcjonujący.

Jak do tej pory świetnie odgadują nastroje giełdowe, gromadzą informacje o spółkach, budują proste modele, podrzucają kody czy analizują treści dokumentów, ale daleko im do tego, co chcieliby zobaczyć inwestorzy.

Najświeższe badanie, które opiszę poniżej, wskazuje czy AI są gotowe w pełni zastąpić dział analityków w BOSSA, szacujących przyszłe wartości i wydających rekomendacje.

Firma Vals AI przeprowadza niezależne testy porównawcze (benchmarki) modeli AI w obrębie wielu branż. Ostatnio wzięli się za finanse. Wyniki ich badania Finance Agent Benchmark znajdziecie na stronie: https://www.vals.ai/benchmarks/finance_agent-04-22-2025

Ja je tutaj opiszę w krótkich i prostych słowach.

Celem było ocenienie zdolności popularnych modeli sztucznej inteligencji (AI) do wykonywania zadań typowych dla początkujących analityków finansowych. Benchmark został opracowany we współpracy z ekspertami branżowymi i skupiał się na praktycznych zastosowaniach AI w analizach giełdowych. Oto kluczowe elementy badania:

    Zakres i struktura badania

Benchmark obejmował 537 pytań do AI dotyczących umiejętności oczekiwanych od analityków finansowych na poziomie podstawowym. Pytania były układane przy współpracy ekspertów branżowych i Uniwersytetu Stanforda.

Pytania te (prompty) podzielono na kategorie. Zaprezentuję je wszystkie, aby dać pojęcie o tym, co robi analityk i spełnienia jakich zadań oczekuje się od AI. Uszeregowane są od najprostszych do bardzo trudnych:

1. Wyszukiwanie ilościowe

Bezpośrednia ekstrakcja informacji numerycznych z jednego lub więcej dokumentów bez żadnych obliczeń lub analiz po pobraniu.

Np. Jakie były kwartalne przychody spółki Salesforce za kwartał zakończony 31 grudnia 2024 r.?

2. Wyszukiwanie jakościowe

Bezpośrednie cytowanie lub streszczanie informacji z jednego lub więcej dokumentów.

Np. Proszę opisać ofertę produktów i model biznesowy firmy Microsoft.

3. Rozumowanie numeryczne

Obliczenia lub agregacja kluczowych liczb w celu uzyskania odpowiedzi.

Np. Jaki jest % przychodów pochodzących z AWS w każdym roku i 3-letni CAGR z lat 2021-2024 Amazona?

4. Wyszukiwanie złożone

Numeryczne lub nienumeryczne wyszukiwanie lub streszczanie treści wymagające syntezy informacji z wielu dokumentów.

Np. Proszę krótko podsumować ostatnie pozyskanie kapitału przeprowadzone przez Viking Therapeutics.

5. Korekty

Ilościowa i jakościowa analiza kontekstu raportowania łączącego wskaźniki finansowe GAAP i Non-GAAP.

Np. Jaka jest skorygowana EBITDA Lemonade Insurance za rok zakończony 31 grudnia 2024 roku?

6. Pokonanie lub chybienie

To porównanie przyszłych wytycznych zarządów z rzeczywistymi wykonaniami.

Np. Jak wypadły przychody Lam Research w porównaniu z prognozami zarządu (na półmetku) w ujęciu kwartalnym w 2024 roku?

7. Trendy

Analiza wzorców pojawiających się raportach

Np. W którym regionie geograficznym Airbnb odnotowało największy wzrost przychodów w latach 2022-2024?

8. Modelowanie finansowe

Złożone obliczenia rozumowania numerycznego, których zdefiniowanie i ocena wymagają dodatkowej wiedzy finansowej.

Np. Jaką siłę w zakresie fuzji i przejęć ma Amazon na koniec roku obrotowego 2024, w tym gotówkę bilansową, gotówkę niepodlegającą ograniczeniom i inne inwestycje krótkoterminowe oraz dźwignię EBITDA do 2x GAAP?

9. Analiza rynku

Zaawansowana analiza jednej lub więcej firm przy użyciu różnych dokumentów, wymagających normalizacji wskaźników porównawczych lub złożonego rozumowania i wykorzystania przyczynowości.

Np. Porównaj kwartalny wzrost przychodów firm z grupy FAANG w latach 2022-2024.

   Dane i narzędzia:

Modele AI miały korzystać z zestawu czterech narzędzi do przeszukiwania: bazy danych EDGAR (zawierającej dokumenty finansowe amerykańskich spółek), Google, ParseHTML i RetrieveInformation.

Ponoć ludzie będący analitykami także korzystają zasadniczo z tych właśnie źródeł.

    Metodologia:

Badanie testowało zdolność modeli AI do wyszukiwania, parsowania i analizowania danych finansowych w realistycznych scenariuszach.

Modele były oceniane pod kątem dokładności odpowiedzi (accuracy), a także kosztu i efektywności (np. koszt na pytanie, czas odpowiedzi).

Pytania były zaprojektowane tak, aby odzwierciedlać rzeczywiste zadania analityczne, wymagające zarówno prostego wyszukiwania informacji, jak i bardziej złożonego rozumowania.

Wyniki?   Cóż, ROZCZAROWANIE!

Żaden z testowanych modeli AI nie przekroczył 50% dokładności odpowiedzi!

Poniższe zestawienie pokazuje ranking modeli od najlepszego:

Najlepiej wypadł model o3 z OpenAI, czyli z najbardziej znanej firmy te branży (od ChataGPT), osiągając dokładność tylko 48,3%! I to przy wysokim koszcie 3,69 USD na pytanie. Czy taka dokładność odpowiedzi satysfakcjonowałaby Was?

Aż 7 z 22 modeli miało wynik 10% i niżej. To wskazuje, że obecne modele AI mają trudności z zadaniami wymagającymi nie tylko głębokiej, ale czasem najprostszej analizy dokumentów finansowych, szczególnie gdy konieczne jest dokładne porównywanie danych, rozumienie ich, synteza i formułowanie spójnych wniosków czy prostych prognoz (np. oszacowanie przychodów na kolejny rok na podstawie przychodów z lat poprzednich).

Od razu też wyjaśnię, że nie było tam zadań, które wymagały bezpośredniego prognozowania kursów akcji lub formalnej wyceny spółki (np. za pomocą metod DCF, mnożników rynkowych), co pewnie najbardziej interesuje inwestorów.

Ciekawostka- nie wzięto do badań modeli AI z Chin. Choć obstawiam, że bez większych strat na średnich wynikach.

Co to wszystko oznacza? Że póki co dział analityczny DM BOŚ nie musi się ani pakować, ani nawet mieć obaw, że AI szybko ich zastąpi. Natomiast inwestorzy powinni się czuć zawiedzeni, że nie szybko dostaną prawidłowe rekomendacje od maszyn, chyba że 50% trafność ich zadowala.

Przy okazji – na podstawie przykładowych pytań w tym badaniu wyobraźcie sobie jaką robotę musi wykonać p. Sylwia i reszta ekipy w DM BOŚ aby zrobić wycenę i rekomendację!

—kat—