I ostatni z testów stabilności mechanicznych systemów tradingowych, zaczerpnięty ponownie z artykułu D.Fernandeza, omawianego w poprzednich dwóch wpisach.
TEST 3. ZYSKOWNOŚĆ
Ma odpowiedzieć na pytanie jakiej średniej zyskowności można oczekiwać w teście systemów na różnej długości danych nie widzianych przy ich konstrukcji. Przy czym miarą zyskowności jest średni profit w dolarach w przeliczeniu na dzień.
Szybkie przypomnienie warunków testów:
– generowane i weryfikowane było 5 000 systemów transakcyjnych opartych na zależnościach między cenami,
– użyto dziennych kursów historycznych pary EUR/USD za okres styczeń 1986- sierpień 2012
– zakres danych in-sample (użytych do budowy systemu) obejmował stopniowo od 500 do 5000 dni (co 500)
– zakres danych weryfikacyjnych czyli out-of-sample (nie widzianych przez system przy jego tworzeniu) obejmował stopniowo od 200 do 800 dni
Tradycyjnie zbiorczy rezultat testów w formie wizualizacji graficznej poniżej:
źródło: Currency Trader sierpień 2013
Skala pozioma pokazuje ilość dni użytych w danych in-sample (czyli tych do zbudowania systemu).
Skala pionowa pokazuje ŚREDNI DZIENNY ZYSK/STRATĘ WSZYSTKICH 5000 SYSTEMÓW na danych out-of-sample (nie widzianych wcześniej).
Poszczególnymi kolorami oznaczono dla orientacji zbiory danych out-of-sample.
Dla prawidłowego wnioskowania ważne jest zrozumienie założenia tego testu: poszczególne punkty powyższego wykresu pokazują średni zysk/stratę w sytuacji gdy wchodzimy w transakcje wszystkimi 5000 systemami. Mamy więc jedynie średni, statystyczny wynik całości z nich, ale nawet w grupie pokazującej stratę mogą istnieć systemy posiadające przewagę czyli generujące zyski.
Co widać na wykresie:
W zasadzie niemal wszystkie grupy systemów układane w oparciu o dane z mniej niż 3000 dni generują średnio straty. Im jednak dłuższy okres danych in-sample i out-of-sample tym wyższe zyski, sięgające w najlepszym wypadku średnio 6 USD/dzień.
Ponownie jak poprzednio przewaga statystyczna (pozytywna wartość oczekiwana) systemów daje się poznać dopiero wówczas gdy do obu testów (in-sample i out-of-sample) użyjemy jak najszerszych zakresów danych. Widać to po coraz wyżej położonych kropkach gdy przesuwamy się w prawo po wykresie. Algorytmy mają wówczas bowiem okazję poznać dużo bardziej zróżnicowane środowisko działania pod względem zmienności i trendów. Eliminujemy więc część przypadkowości z całego procesu a szansa przeżycia systemu rośnie.
Biorąc pod uwagę wszystkie 3 przytoczone przez mnie eksperymenty można wysnuć pewien ogólny i dość oczywisty wniosek odnośnie podziału zbioru danych do testów:
Proporcjonalnie jak najdłuższy okres danych użytych przy (a) konstrukcji systemów jak i (b) nie widzianych przy budowie jest pożądany do osiągnięcia jak najbardziej wiarygodnych rezultatów i wydobycia realnej, rzeczywistej przewagi statystycznej.
Wniosek kolejny nie pada już w artykule, ale nie sposób nie zwrócić na niego uwagi:
Bardzo istotną sprawą jest maksymalne wydłużenie danych użytych podczas tzw. Walk Forward Test (test kroczący). Zbyt krótkie przedziały danych zarówno in-sample jak i out-of-sample mogą przynieść mocno mylące wyniki, nie oddające rzeczywistej przewagi tkwiącej w systemach. Wszystkie 3 przywołane wykresy pokazały to nadwyraz dobitnie.
—kat—
