Backtesting και Forward Testing: Η σημασία της συσχέτισης

Οι έμποροι που είναι πρόθυμοι να δοκιμάσουν μια ιδέα συναλλαγών σε μια ζωντανή αγορά κάνουν συχνά το λάθος να βασίζονται εξ ολοκλήρου σε αποτελέσματα backtesting για να καθορίσουν εάν το σύστημα θα είναι κερδοφόρο. Ενώ η backtesting μπορεί να προσφέρει στους εμπόρους πολύτιμες πληροφορίες, είναι συχνά παραπλανητική και είναι μόνο ένα μέρος της διαδικασίας αξιολόγησης.

Οι δοκιμές εκτός έδρας και οι δοκιμές απόδοσης προσφέρουν περαιτέρω επιβεβαίωση σχετικά με την αποτελεσματικότητα του συστήματος και μπορούν να δείξουν τα αληθινά χρώματα ενός συστήματος πριν τα πραγματικά μετρητά βρίσκονται στη γραμμή. Η σωστή συσχέτιση μεταξύ των αποτελεσμάτων των δοκιμασιών απόδοσης των αποτελεσμάτων δοκιμής, εκτός του δείγματος και των αποτελεσμάτων, είναι ζωτικής σημασίας για τον προσδιορισμό της βιωσιμότητας ενός συστήματος διαπραγμάτευσης. (Προσφέρουμε κάποιες συμβουλές σχετικά με αυτή τη διαδικασία που μπορούν να σας βοηθήσουν να βελτιώσετε τις τρέχουσες στρατηγικές συναλλαγών σας. Για να μάθετε περισσότερα, διαβάστε: Backtesting: Ερμηνεία του παρελθόντος .)

Βασικά στοιχεία δοκιμής

Το Backtesting αναφέρεται στην εφαρμογή ενός συστήματος συναλλαγών στα ιστορικά δεδομένα για να επαληθεύσει τον τρόπο με τον οποίο θα μπορούσε να εκτελέσει ένα σύστημα κατά τη διάρκεια της καθορισμένης χρονικής περιόδου. Πολλές από τις σημερινές πλατφόρμες συναλλαγών υποστηρίζουν το backtesting. Οι έμποροι μπορούν να δοκιμάσουν ιδέες με μερικές πληκτρολογήσεις και να αποκτήσουν εικόνα για την αποτελεσματικότητα μιας ιδέας χωρίς να διακινδυνεύσουν χρήματα σε έναν λογαριασμό συναλλαγών. Το Backtesting μπορεί να αξιολογήσει απλές ιδέες, όπως για παράδειγμα το πώς ένας κινούμενος μέσος όρος crossover θα μπορούσε να αποδίδει σε ιστορικά δεδομένα ή πιο σύνθετα συστήματα με μια ποικιλία εισροών και ωθητών.

Όσο μια ιδέα μπορεί να ποσοτικοποιηθεί, μπορεί να υποστηριχθεί. Ορισμένοι έμποροι και επενδυτές μπορούν να αναζητήσουν την τεχνογνωσία ενός εξειδικευμένου προγραμματιστή για να αναπτύξουν την ιδέα σε δοκιμαστέα μορφή. Συνήθως, αυτό περιλαμβάνει έναν προγραμματιστή που κωδικοποιεί την ιδέα στην ιδιόκτητη γλώσσα που φιλοξενείται από την πλατφόρμα συναλλαγών. Ο προγραμματιστής μπορεί να ενσωματώσει μεταβλητές εισόδου καθορισμένες από το χρήστη που επιτρέπουν στον έμπορο να "τσίμπησε" το σύστημα. Ένα παράδειγμα αυτού θα μπορούσε να είναι το σύστημα διασταύρωσης απλού κινούμενου μέσου που σημειώθηκε παραπάνω: Ο έμπορος θα μπορούσε να εισάγει (ή να αλλάζει) τα μήκη των δύο κινητών μέσων που χρησιμοποιούνται στο σύστημα. Ο έμπορος θα μπορούσε να υποστηρίξει την εκτίμησή του για να προσδιορίσει ποια μήκη κινητών μέσων τιμών θα είχαν επιτύχει το καλύτερο στα ιστορικά δεδομένα.

Μελέτες βελτιστοποίησης

Πολλές πλατφόρμες συναλλαγών επιτρέπουν επίσης μελέτες βελτιστοποίησης. Αυτό συνεπάγεται την εισαγωγή ενός εύρους για την καθορισμένη είσοδο και αφήνοντας τον υπολογιστή να "κάνει τα μαθηματικά" για να καταλάβει ποια εισροή θα είχε εκτελέσει το καλύτερο. Μια βελτιστοποίηση πολλαπλών μεταβλητών μπορεί να κάνει τα μαθηματικά για δύο ή περισσότερες μεταβλητές για να προσδιορίσει ποιοι συνδυασμοί θα είχαν επιτύχει το καλύτερο αποτέλεσμα. Για παράδειγμα, οι έμποροι μπορούν να πει στο πρόγραμμα ποιες εισροές θα ήθελαν να προσθέσουν στη στρατηγική τους. αυτά θα βελτιστοποιηθούν έπειτα με τα ιδανικά βάρη τους, λαμβάνοντας υπόψη τα ελεγμένα ιστορικά δεδομένα.

Το Backtesting μπορεί να είναι συναρπαστικό στο γεγονός ότι ένα ασύμφορο σύστημα μπορεί συχνά να μετατραπεί μαγικά σε μια μηχανή λήψης χρημάτων με λίγες βελτιστοποιήσεις. Δυστυχώς, η ρύθμιση ενός συστήματος για την επίτευξη του μεγαλύτερου επιπέδου κερδοφορίας του παρελθόντος οδηγεί συχνά σε ένα σύστημα που θα αποδώσει ελάχιστα σε πραγματικές συναλλαγές. Αυτή η υπερβολική βελτιστοποίηση δημιουργεί συστήματα που φαίνονται καλά μόνο σε χαρτί.

Η τοποθέτηση σε καμπύλες είναι η χρήση αναλυτικών στοιχείων βελτιστοποίησης για τη δημιουργία του μεγαλύτερου αριθμού κερδοφόρων συναλλαγών στο μεγαλύτερο κέρδος από τα ιστορικά δεδομένα που χρησιμοποιήθηκαν κατά την περίοδο δοκιμών. Παρόλο που φαίνεται εντυπωσιακό σε αποτελέσματα backtesting, η τοποθέτηση καμπύλης οδηγεί σε αναξιόπιστα συστήματα, αφού τα αποτελέσματα είναι ουσιαστικά σχεδιασμένα για συγκεκριμένα δεδομένα και χρονικά διαστήματα.

Ο εκ των προτέρων έλεγχος και η βελτιστοποίηση παρέχουν πολλά οφέλη σε έναν έμπορο, αλλά αυτό είναι μόνο ένα μέρος της διαδικασίας κατά την αξιολόγηση ενός δυνητικού συστήματος συναλλαγών. Το επόμενο βήμα ενός εμπόρου είναι να εφαρμόσει το σύστημα σε ιστορικά δεδομένα που δεν έχουν χρησιμοποιηθεί στην αρχική φάση ανασκόπησης.

Ενδεικτικά δεδομένα εκτός δείγματος

Κατά τη δοκιμή μιας ιδέας σχετικά με τα ιστορικά δεδομένα, είναι χρήσιμο να διατηρήσουμε μια χρονική περίοδο ιστορικών δεδομένων για σκοπούς δοκιμών. Τα αρχικά ιστορικά δεδομένα στα οποία δοκιμάζεται και βελτιστοποιείται η ιδέα αναφέρονται ως δεδομένα στο δείγμα. Το σύνολο δεδομένων που έχει δεσμευτεί είναι γνωστό ως δεδομένα εκτός δείγματος. Αυτή η ρύθμιση αποτελεί σημαντικό μέρος της διαδικασίας αξιολόγησης, διότι παρέχει έναν τρόπο να δοκιμάσει την ιδέα για δεδομένα που δεν αποτελούν συστατικό στοιχείο του μοντέλου βελτιστοποίησης. Ως αποτέλεσμα, η ιδέα δεν θα επηρεαστεί με κανένα τρόπο από τα δεδομένα που δεν έχουν δειγματοληψία και οι έμποροι θα είναι σε θέση να καθορίσουν πόσο καλά θα μπορούσε να λειτουργήσει το σύστημα σε νέα δεδομένα, δηλαδή στην εμπορία πραγματικών ζωών.

Πριν από την έναρξη οποιουδήποτε δοκιμαστικού ελέγχου ή βελτιστοποίησης, οι έμποροι μπορούν να παρακρατήσουν ένα ποσοστό των ιστορικών δεδομένων που θα δεσμευτούν για δοκιμές εκτός δείγματος. Μία μέθοδος είναι να διαιρέσετε τα ιστορικά δεδομένα σε τρίτα και να διαχωρίσετε το ένα τρίτο για χρήση στη δοκιμή εκτός δείγματος. Μόνο τα δεδομένα του δείγματος θα πρέπει να χρησιμοποιούνται για την αρχική δοκιμή και οποιαδήποτε βελτιστοποίηση. Το σχήμα 1 δείχνει μια χρονική γραμμή στην οποία το ένα τρίτο των ιστορικών δεδομένων προορίζεται για δοκιμές εκτός δείγματος και τα δύο τρίτα χρησιμοποιούνται για τη δοκιμή σε δείγμα. Παρόλο που το σχήμα 1 απεικονίζει τα δεδομένα εκτός δείγματος στην αρχή της δοκιμής, οι τυπικές διαδικασίες θα έχουν το τμήμα του δείγματος που προηγείται της πρόωρης απόδοσης.

Σχήμα 1: Χρονική γραμμή που αντιπροσωπεύει το σχετικό μήκος των δεδομένων σε δείγμα και εκτός δείγματος που χρησιμοποιήθηκαν στη διαδικασία αναπροσαρμογής.

Η συσχέτιση αναφέρεται στις ομοιότητες μεταξύ των επιδόσεων και των γενικών τάσεων των δύο συνόλων δεδομένων. Οι μετρήσεις της αντιστοιχίας μπορούν να χρησιμοποιηθούν στην αξιολόγηση των εκθέσεων απόδοσης στρατηγικής που δημιουργήθηκαν κατά την περίοδο δοκιμών (ένα χαρακτηριστικό που παρέχουν οι περισσότερες πλατφόρμες συναλλαγών). Όσο ισχυρότερη είναι η συσχέτιση μεταξύ των δύο, τόσο καλύτερη είναι η πιθανότητα ένα σύστημα να έχει καλές επιδόσεις στον έλεγχο των επιδόσεων και στις συναλλαγές live.

Το σχήμα 2 απεικονίζει δύο διαφορετικά συστήματα τα οποία δοκιμάστηκαν και βελτιστοποιήθηκαν σε δεδομένα σε δείγμα και στη συνέχεια εφαρμόστηκαν σε δεδομένα εκτός δείγματος. Το γράφημα στα αριστερά δείχνει ένα σύστημα που ήταν σαφώς καμπυλωτό για να δουλέψει καλά στα δεδομένα του δείγματος και απέτυχε τελείως στα δεδομένα εκτός δείγματος. Ο πίνακας στα δεξιά δείχνει ένα σύστημα που εκτελείται καλά τόσο σε δεδομένα εντός όσο και εκτός δείγματος. Μόλις δημιουργηθεί ένα σύστημα συναλλαγών χρησιμοποιώντας δεδομένα σε δείγμα, είναι έτοιμο να εφαρμοστεί στα δεδομένα εκτός δείγματος. Οι έμποροι μπορούν να αξιολογήσουν και να συγκρίνουν τα αποτελέσματα απόδοσης μεταξύ των δεδομένων σε δείγμα και εκτός δείγματος.

Σχήμα 2: Δύο καμπύλες μετοχών. Τα δεδομένα συναλλαγής πριν από κάθε κίτρινο βέλος αντιπροσωπεύουν δοκιμές σε δείγμα. Οι συναλλαγές που δημιουργούνται μεταξύ των κίτρινων και των κόκκινων βέλων υποδεικνύουν τη δοκιμή εκτός δείγματος. Οι συναλλαγές μετά τα κόκκινα βέλη προέρχονται από τις φάσεις των δοκιμαστικών επιδόσεων.

Αν υπάρχει μικρή συσχέτιση μεταξύ του δοκιμαστικού δείγματος και του δείγματος εκτός του δείγματος, όπως το αριστερό διάγραμμα στο σχήμα 2, είναι πιθανό το σύστημα να είναι υπερβολικά βελτιστοποιημένο και δεν θα έχει καλές επιδόσεις σε ζωντανές συναλλαγές. Εάν υπάρχει ισχυρή συσχέτιση στην απόδοση, όπως φαίνεται στο σωστό γράφημα στο Σχήμα 2, η επόμενη φάση της αξιολόγησης περιλαμβάνει έναν πρόσθετο τύπο δοκιμής εκτός δείγματος γνωστού ως δοκιμασία απόδοσης προς τα εμπρός. (Για περισσότερες πληροφορίες σχετικά με την πρόβλεψη, ανατρέξτε στο: Οικονομική Πρόβλεψη: Η Bayesian Method .)

Βασικά στοιχεία δοκιμών επιδόσεων προς τα εμπρός

Ο έλεγχος απόδοσης, γνωστός και ως χαρτοφυλάκιο χαρτιών, παρέχει στους εμπόρους μια άλλη σειρά από δεδομένα εκτός του δείγματος για την αξιολόγηση ενός συστήματος. Ο έλεγχος απόδοσης είναι μια προσομοίωση της πραγματικής διαπραγμάτευσης και περιλαμβάνει την παρακολούθηση της λογικής του συστήματος σε μια ζωντανή αγορά. Καλείται επίσης το εμπόριο χαρτιού δεδομένου ότι όλες οι συναλλαγές εκτελούνται μόνο σε χαρτί. δηλαδή οι εμπορικές εγγραφές και οι εξόδους τεκμηριώνονται μαζί με οποιοδήποτε κέρδος ή ζημία για το σύστημα, αλλά δεν εκτελούνται πραγματικές συναλλαγές.

Μια σημαντική πτυχή της εξέτασης των επιδόσεων είναι η σωστή παρακολούθηση της λογικής του συστήματος. διαφορετικά, καθίσταται δύσκολο, αν όχι αδύνατο, να αξιολογηθεί με ακρίβεια αυτό το βήμα της διαδικασίας. Οι έμποροι θα πρέπει να είναι ειλικρινείς σχετικά με τις εμπορικές καταχωρήσεις και τις εξόδους και να αποφεύγουν τη συμπεριφορά τους όπως τις μάρκες κερασιών ή να μην συμπεριλαμβάνουν ένα χαρτί στο λογοτεχνικό λογοτεχνισμό ότι «δεν θα είχα πάρει ποτέ αυτό το εμπόριο». Αν το εμπόριο θα είχε συμβεί ακολουθώντας τη λογική του συστήματος, θα πρέπει να τεκμηριωθεί και να αξιολογηθεί.

Πολλοί μεσίτες προσφέρουν έναν προσομοιωμένο λογαριασμό διαπραγμάτευσης όπου μπορούν να τοποθετηθούν συναλλαγές και να υπολογιστούν τα αντίστοιχα κέρδη και ζημίες. Η χρήση ενός προσομοιωμένου λογαριασμού διαπραγμάτευσης μπορεί να δημιουργήσει ένα ημι-ρεαλιστικό περιβάλλον για την άσκηση συναλλαγών και την περαιτέρω αξιολόγηση του συστήματος.

Το σχήμα 2 δείχνει επίσης τα αποτελέσματα για δοκιμές απόδοσης σε δύο συστήματα. Και πάλι, το σύστημα που αναπαριστάται στο αριστερό γράφημα αποτυγχάνει να κάνει πολύ πέρα ​​από την αρχική δοκιμή στα δεδομένα του δείγματος. Το σύστημα που φαίνεται στο δεξιό διάγραμμα, ωστόσο, συνεχίζει να λειτουργεί καλά σε όλες τις φάσεις, συμπεριλαμβανομένης της δοκιμής απόδοσης προς τα εμπρός. Ένα σύστημα που παρουσιάζει θετικά αποτελέσματα με καλή συσχέτιση μεταξύ δοκιμών επιδόσεων σε δείγμα, εκτός δείγματος και προώθησης είναι έτοιμο να εφαρμοστεί σε μια ζωντανή αγορά. (Δείτε επίσης: Πλεονεκτήματα και μειονεκτήματα της εμπορίας χαρτιού .)

Η κατώτατη γραμμή

Το Backtesting είναι ένα πολύτιμο εργαλείο που διατίθεται στις περισσότερες πλατφόρμες συναλλαγών. Ο διαχωρισμός των ιστορικών δεδομένων σε πολλαπλά σύνολα για την παροχή δειγμάτων σε δειγματοληψία και σε δοκιμές εκτός δείγματος μπορεί να προσφέρει στους εμπόρους ένα πρακτικό και αποτελεσματικό μέσο για την αξιολόγηση μιας ιδέας και ενός συστήματος συναλλαγών. Δεδομένου ότι οι περισσότεροι έμποροι χρησιμοποιούν τεχνικές βελτιστοποίησης για τη δοκιμή εκ των προτέρων, είναι σημαντικό να αξιολογηθεί το σύστημα σε καθαρά δεδομένα για να καθοριστεί η βιωσιμότητά του.

Η συνέχιση των δοκιμών εκτός δειγματοληψίας με δοκιμές απόδοσης προς τα εμπρός παρέχει ένα ακόμα επίπεδο ασφάλειας πριν θέσει σε λειτουργία ένα σύστημα στην αγορά που διακινδυνεύει πραγματικά μετρητά. Τα θετικά αποτελέσματα και η καλή συσχέτιση μεταξύ του δοκιμαστικού εκ των προτέρων δειγματοληψίας και της ανάλυσης του δείγματος και της εξέλιξης του δείγματος αυξάνει την πιθανότητα ότι ένα σύστημα θα αποδώσει καλά στην πραγματική διαπραγμάτευση. (Για μια συνολική εικόνα της τεχνικής ανάλυσης, δείτε: Βασικά στοιχεία της τεχνικής ανάλυσης .)