Rozczarowanie Sztuczną Inteligencją, którą symbolizuje ChatGPT, jest uzasadnione i zainteresowanie nią znacząco spada. A jak wygląda jej wykorzystanie w przypadku naszej finansowej branży?
Ostatnie badania poprawności odpowiedzi GPT-3.5 i GPT-4 okazały się druzgocące – aż kilkadziesiąt procent spadków dokładności po ostatnich updatach! Jeszcze gorsze wrażenia odnoszą zwykli użytkownicy- ChatGPT konfabuluje (fachowo: halucynuje), nie potrafi robić najprostszych działań matematycznych, dorabia fałszywe fakty itd.itp.
Cóż, to jest tylko model językowy, ale pomimo tych wad da się znaleźć w nim i w pokrewnych modelach pewne użyteczne funkcje. Inaczej cała ta rewolucja padła by na pysk, a kursy akcji pompowane wizjami nowej gospodarki opartej na AI, zaliczyłyby krach.
O jednej z tych zalet poniżej. Konkretnie o tym, jak GPT pozwala zarabiać na giełdzie pomimo tego, że nie potrafi prognozować, co zresztą otwarcie komunikuje.
W pracy pod tytułem
„Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models”
naukowcy Alejandro Lopez-Lira i Yuehua Tang przeprowadzili następujący eksperyment na obecnej i wcześniejszych wersjach ChatGPT:
– ponieważ GPT doskonale rozumie wszelkie niuanse językowe, dlatego to dla rozpoznawania ‘temperatury’ informacji ukrytej w tekście został wykorzystany,
– do badania użyto kursów akcji amerykańskich oraz newsów i artykułów finansowych z RavenPack od października 2021 do grudnia 2022, czyli z okresu, którego GPT nie zna (jego trening skończył się we wrześniu 2021),
– z bazy newsów wybrali tylko te, które niosły największą dawkę najnowszych informacji, unikając tych banalnych typu „spółka spadła/ wzrosła”, a także duplikujących się,
– ułożyli doprecyzowany prompt, czyli zapytanie, od którego jak wiadomo zależy jakość i dokładność odpowiedzi ze strony GPT, a brzmiał on w tłumaczeniu następująco:
„Zapomnij wszystkie poprzednie instrukcje. Załóż, że jesteś finansowym ekspertem. Jesteś finansowym ekspertem z doświadczeniem w rekomendowaniu akcji. W pierwszej linijce odpowiedz „TAK” jeśli newsy są dobre, „NIE” jeśli złe, albo „NIEZNANE”, jeśli nie jest pewne. Następnie wyjaśnij w jednym krótkim i zwięzłym zdaniu w kolejnej linijce. Czy ten nagłówek jest dobry czy zły dla kursu spółki (tu nazwa spółki) w terminie ( tu termin krótki lub długi)?
Nagłówek: …. (tu pada treść)”
// słowo ‘zapomnij’ jest konieczne aby GPT nie korzystał z innych źródeł informacji, które posiada//
//w pracy pada konkretny przykład, ale już nie będę go omawiał, wystarczy tam zajrzeć//
– za odpowiedź TAK przyznawano 1 punkt, za NIEZNANE 0, za NIE minus 1,
– gdy padała 1, kupowano natychmiast akcje spółki, gdy -1 , sprzedawano krótko,
– kolejnego dnia sprawdzano zmianę kursu aby policzyć na ile ‘prognoza’ GPT była trafna.
Wyniki:
Strategia przyniosła hipotetyczną stopę zwrotu +512% bez wliczania prowizji, przy użyciu GPT-3.5, oraz +380% po odjęciu prowizji. Transakcje łącznie na długich i krótkich pozycjach. Dla wersji GPT-4 łączny wynik wyniósł +276% bez prowizji, a po ich odjęciu +50%. W tym czasie Russell 2000 stracił 20%, to w końcu był okres bessy
Co ważne – trafność, czyli ilość transakcji zyskownych wyniosła tylko (!?) ok 51%, a więc niemal na granicy losowości, a mimo to pojawiły się solidne zyski.
ChatGPT okazał się bardzo trafnym prognostykiem w oparciu o wyczuwanie nastrojów ukrytych w newsach. A przy tym okazał się w tym zadaniu LEPSZY od innych tradycyjnych źródeł prognoz opartych na śledzeniu nastrojów! A więc jest w nim ukryta potęga, choć z pozoru tak mało ewidentna.
Nie namawiam do stosowania tego w praktyce, do tego potrzebna jest 100% systematyczność, ale można na przykład na podstawie newsów zapytać ChatGPT o ulubioną spółkę w podobny sposób, tylko bez bez żądania prognoz, jedynie oceny wiadomości. Można też dowolnie modyfikować prompt i może dawać obszerniejsze newsy, a nie tylko nagłówki.
Zrobiłem małą próbkę tej techniki, nieco modyfikując oryginale pytanie. News wziąłem z środowej bazy komunikatów w bossa.pl:
Kurs faktycznie wzrósł i w środę i w czwartek. Eksperyment oryginalny zakłada, że natychmiast po otrzymaniu newsa i odpytaniu GPT składa się zlecenie.
Teoretycznie biegły inwestor sam jest w stanie ocenić czy news jest dobry czy zły dla przyszłości, ale ten eksperyment dowiódł, że maszyna robi to mimo wszystko lepiej, choć nadal daleko od doskonałości. Jedno bowiem to sam news, a co innego jest reakcja rynku na niego. To jednak temat na inny, dużo dłuższy wpis.
—kat—
Klauzula informacyjna