Testy trwałości systemów transakcyjnych, część 3

I ostatni z testów stabilności mechanicznych systemów tradingowych, zaczerpnięty ponownie z artykułu D.Fernandeza, omawianego w poprzednich dwóch wpisach.

TEST 3. ZYSKOWNOŚĆ

Ma odpowiedzieć na pytanie jakiej średniej zyskowności można oczekiwać w teście systemów na różnej długości danych nie widzianych przy ich konstrukcji. Przy czym miarą zyskowności jest średni profit w dolarach w przeliczeniu na dzień.

Szybkie przypomnienie warunków testów:

– generowane i weryfikowane było 5 000 systemów transakcyjnych opartych na zależnościach między cenami,

– użyto dziennych kursów historycznych pary EUR/USD za okres styczeń 1986- sierpień 2012

– zakres danych in-sample (użytych do budowy systemu) obejmował stopniowo od 500 do 5000 dni (co 500)

– zakres danych weryfikacyjnych czyli out-of-sample (nie widzianych przez system przy jego tworzeniu) obejmował stopniowo od 200 do 800 dni

Tradycyjnie zbiorczy rezultat testów w formie wizualizacji graficznej poniżej:

źródło: Currency Trader sierpień 2013

Skala pozioma pokazuje ilość dni użytych w danych in-sample (czyli tych do zbudowania systemu).

Skala pionowa pokazuje ŚREDNI DZIENNY ZYSK/STRATĘ WSZYSTKICH 5000 SYSTEMÓW na danych out-of-sample (nie widzianych wcześniej).

Poszczególnymi kolorami oznaczono dla orientacji zbiory danych out-of-sample.

Dla prawidłowego wnioskowania ważne jest zrozumienie założenia tego testu: poszczególne punkty powyższego wykresu pokazują średni zysk/stratę w sytuacji gdy wchodzimy w transakcje wszystkimi 5000 systemami. Mamy więc jedynie średni, statystyczny wynik całości z nich, ale nawet w grupie pokazującej stratę mogą istnieć systemy posiadające przewagę czyli generujące zyski.

Co widać na wykresie:

W zasadzie niemal wszystkie grupy systemów układane w oparciu o dane z mniej niż 3000 dni generują średnio straty. Im jednak dłuższy okres danych in-sample i out-of-sample tym wyższe zyski, sięgające w najlepszym wypadku średnio 6 USD/dzień.

Ponownie jak poprzednio przewaga statystyczna (pozytywna wartość oczekiwana) systemów daje się poznać dopiero wówczas gdy do obu testów (in-sample i out-of-sample) użyjemy jak najszerszych zakresów danych. Widać to po coraz wyżej położonych kropkach gdy przesuwamy się w prawo po wykresie. Algorytmy mają wówczas bowiem okazję poznać dużo bardziej zróżnicowane środowisko działania pod względem zmienności i trendów. Eliminujemy więc część przypadkowości z całego procesu a szansa przeżycia systemu rośnie.

Biorąc pod uwagę wszystkie 3 przytoczone przez mnie eksperymenty można wysnuć pewien ogólny i dość oczywisty wniosek odnośnie podziału zbioru danych do testów:

Proporcjonalnie jak najdłuższy okres danych użytych przy (a) konstrukcji systemów jak i (b) nie widzianych przy budowie jest pożądany do osiągnięcia jak najbardziej wiarygodnych rezultatów i wydobycia realnej, rzeczywistej przewagi statystycznej.

Wniosek kolejny nie pada już w artykule, ale nie sposób nie zwrócić na niego uwagi:

Bardzo istotną sprawą jest maksymalne wydłużenie danych użytych podczas tzw. Walk Forward Test (test kroczący). Zbyt krótkie przedziały danych zarówno in-sample jak i out-of-sample mogą przynieść mocno mylące wyniki, nie oddające rzeczywistej przewagi tkwiącej w systemach. Wszystkie 3 przywołane wykresy pokazały to nadwyraz dobitnie.

—kat—