Ich habe seit einigen Jahrzehnten Programmierung, aber auch Handelswährungen, Aktien und Futures, mit intensiven technischen Analyse-Algorithmen. Ich habe den Fehler vor ein paar Jahren getroffen, um die HTML CSS JAVASCRIPT PHP MySQL Straße und das Programm Internet-Seiten von Grund auf neu, Cookies, etc. BO-RING zu Tode und neue CMS Pop-out jeden Tag, drängen mich schnell aus dem Arbeitsmarkt. Werde nun alt (47), möchte ich die Zukunft durch Schließen der Schleife und lernen C speziell für Hochfrequenz-Handel zu sichern. Würden Sie bitte geben Sie mir Ratschläge, wo ich anfangen sollte, über spezifische Programmierungstechniken innerhalb CI sollte sich auf Danke sehr viel zu beantworten Ihre Fragen youll wollen auf Sockets, RSS-Feeds (doppelt überprüfen, dass ein), Systemsicherheit (IMHO entweder zu konzentrieren Sand-Boxen oder ein ROM-Betriebssystem für so etwas wie dies), Verschlüsselung und Authentifizierung und die Protokolle für den Austausch Ihrer Wahl. Wenn Sie dont mind Ich hatte einige Fragen meiner eigenen. Was macht Sie denken, dass es jedes Geld, was so überhaupt in HFT Dies ist ein Markt-Manipulation-Tool, nicht eine Anlagestrategie. Und um dieses Spiel zu spielen, müssten Sie Milliarden in der Bank haben, um damit zu beginnen. Die Leute scheinen den Eindruck zu haben, dass dies die technologische Entwicklung der kurzen Ausführung einer Aktie ist, aber es ist nicht. Dies ist eine Technik verwendet, um schnell reagieren auf Buyingselling Trends mit einem großen Volumen von Transaktionen, um den Markt in welcher Richtung würde das meiste Geld für den Betreiber. Auch weiß ich nicht, welches Land du bist, aber hier in den USA ist die Netzneutralität wieder auf dem Hackblock. Wenn das stirbt und Sie nicht eine Verbindung zu einer Börse sichern können, die irgendeinen Premiumpreis zu Ihrem Serviceprovider zahlt, dann könnte die Latenzzeit dieses funktionell unmöglich machen. Das kann nur mir paranoid sein, aber seine etwas, das Sie beachten sollten. Zuletzt bearbeitet am 26. Juni 2014 um 17.29 Uhr UTC Vielen Dank VERY MUCH Computergeek, wird Ihre Eingabe sehr geschätzt. Es scheint, dass Sie bereits sehr erfahren in diesem Markt sind. Ich genieße wirklich, den mittleren Mann spielend, Art der Anbindung zwischen Händlern Köpfen und IT-Programmierer Köpfe. Um einen Gott Job machen, muss ich gut sein technisch auf beiden Domains. Ich habe jetzt schon die Handelsseite und die Algorithmus-Welt ganz gut, ich weiss nicht s..t über C, also zwinge ich mich hinein :-) Das habe ich schon für die größten Konzerne in der Schweiz (nicht in HFT) , Also ja, das ist nicht mein Taschengeld, und ja, wir reden über große Handelsbeträge. Ein einfacher Grund ist, dass Sie nicht möchten, dass Ihr Broker der einzige, der Geld, also in der Tat benötigen Sie viel Geld, negociate Spreads und besitzen einen Sitzplatz an der Futures-Börse zum Beispiel. Zuletzt bearbeitet am 26. Juni 2014 um 16.45 Uhr UTC Computergeek01 Ich denke, OP bedeutet, als C-Programmierer arbeiten, nicht starten eine neue Firma philgib Definieren Sie die Zukunft sicher Jedenfalls können Sie mit Blick auf ein paar aktuelle HF-Job-Anzeigen zu sehen, was zu starten Sie interessieren sich für z. B. Ill wählen zwei zufällig Beispiel 1. Erforderliche Fähigkeiten: Bachelor oder Master in Informatik oder verwandter Bereich 10 Jahre Erfahrung in allen Aspekten der Enterprise-Ebene C Anwendungsentwicklung und Management-Know-how in Low-Level-Entwicklung und (VTune, Valgrind, PGO, etc.) und diverse physikalische Architekturen x86-basierte Systeme Beispiel 2. Voraussetzungen: CC-Systeme (Kernel-Tuning-Bypass, Cpu-Pinning, Hardware-Optimierungen, Netzwerk-Transportprotokolle einschließlich TCP und UDP) Entwickler mit 3 Jahren Erfahrung in der Entwicklung von Echtzeit-Trading-Systemen mit geringer Latenz (Unix Linux-Umgebung) Erfahrung mit der Implementierung von Algos und dem Verständnis von CLOB Trading und Exchange Protocols (FIX, ITCH OUCH etc.) Erfahrung mit Multithreading-Anwendungen Expertenwissen in Netzwerken und Betriebssystemen Starke analytische und Problemlösungskompetenz Erfahrung mit FPGA und oder VHDL Programmierung Design ist ein Plus, aber nicht requiredBest Programmiersprache für algorithmische Handelssysteme Eine der häufigsten Fragen, die ich in der QS-Mail-Tasche erhalten ist Was ist die beste Programmiersprache für den algorithmischen Handel. Die kurze Antwort ist, dass es keine beste Sprache. Strategieparameter, Leistung, Modularität, Entwicklung, Resiliency und Kosten müssen berücksichtigt werden. Dieser Artikel wird skizzieren die notwendigen Komponenten einer algorithmischen Handelssystemarchitektur und wie Entscheidungen über die Umsetzung beeinflussen die Wahl der Sprache. Zuerst werden die Hauptkomponenten eines algorithmischen Handelssystems betrachtet, wie die Forschungsinstrumente, der Portfoliooptimierer, der Risikomanager und die Ausführungsmaschine. Anschließend werden verschiedene Handelsstrategien untersucht und auf die Gestaltung des Systems eingegangen. Insbesondere werden die Handelshäufigkeit und das voraussichtliche Handelsvolumen diskutiert. Sobald die Handelsstrategie ausgewählt worden ist, ist es notwendig, das gesamte System zu gestalten. Dies beinhaltet die Wahl der Hardware, des Betriebssystems und der Systemresistenz gegenüber seltenen, potentiell katastrophalen Ereignissen. Während die Architektur in Erwägung gezogen wird, muss auf die Leistung - sowohl auf die Forschungsinstrumente als auch auf die Live-Ausführungsumgebung - geachtet werden. Was ist das Handelssystem zu tun, bevor die Entscheidung über die beste Sprache, mit der ein automatisiertes Handelssystem zu schreiben, ist es notwendig, die Anforderungen zu definieren. Ist das System wird rein Ausführungsbasis Will das System erfordern ein Risikomanagement oder Portfolio-Bau-Modul Wird das System erfordern eine leistungsstarke Backtester Für die meisten Strategien kann das Handelssystem in zwei Kategorien aufgeteilt werden: Forschung und Signal-Generierung. Die Forschung befasst sich mit der Bewertung einer Strategieleistung gegenüber historischen Daten. Der Prozess der Bewertung einer Handelsstrategie gegenüber früheren Marktdaten wird als Backtesting bezeichnet. Die Datengröße und die algorithmische Komplexität werden einen großen Einfluss auf die Rechenintensität des Backtests haben. CPU-Geschwindigkeit und Parallelität sind oft die begrenzenden Faktoren bei der Optimierung der Durchführungsgeschwindigkeit. Die Signalerzeugung betrifft die Erzeugung eines Satzes von Handelssignalen aus einem Algorithmus und das Senden solcher Befehle an den Markt, üblicherweise über eine Vermittlung. Für bestimmte Strategien ist ein hohes Leistungsniveau erforderlich. I O-Probleme wie Netzwerkbandbreite und Latenz sind oft der limitierende Faktor bei der Optimierung von Ausführungssystemen. So kann die Wahl der Sprachen für jede Komponente Ihres gesamten Systems ganz anders sein. Art, Häufigkeit und Umfang der Strategie Die Art der verwendeten algorithmischen Strategie hat erhebliche Auswirkungen auf die Gestaltung des Systems. Es wird notwendig sein, die Märkte zu betrachten, die gehandelt werden, die Konnektivität zu externen Datenanbietern, die Häufigkeit und das Volumen der Strategie, der Kompromiss zwischen der Leichtigkeit der Entwicklung und der Leistungsoptimierung sowie jegliche benutzerdefinierte Hardware einschließlich der gemeinsamen Sitzungen Server, GPUs oder FPGAs, die erforderlich sein könnten. Die Technologieentscheidungen für eine niederfrequente US-Aktienstrategie werden sich weitgehend von denen eines hochfrequenten statistischen Arbitrage-Strategiehandels auf dem Futures-Markt unterscheiden. Vor der Wahl der Sprache müssen viele Datenanbieter ausgewertet werden, die sich auf die vorliegende Strategie beziehen. Es wird notwendig sein, die Konnektivität zu dem Anbieter, die Struktur von beliebigen APIs, die Aktualität der Daten, die Speicheranforderungen und die Ausfallsicherheit in Anbetracht eines Offline-Vendors zu prüfen. Es ist auch ratsam, schnellen Zugriff auf mehrere Anbieter zu haben. Verschiedene Instrumente haben alle ihre eigenen Speicherquirks, wobei Beispiele davon mehrere Tickersymbole für Aktien und Verfallsdaten für Futures (ganz zu schweigen von spezifischen OTC-Daten) umfassen. Dies muss in der Plattform-Design berücksichtigt werden. Häufigkeit der Strategie ist wahrscheinlich einer der größten Treiber, wie der Technologie-Stack definiert werden. Strategien, die Daten häufiger als minutiös oder sekundär verwenden, erfordern eine beträchtliche Betrachtung hinsichtlich der Leistung. Eine Strategie, die zweite Balken überschreitet (d. H. Tick-Daten), führt zu einem leistungsgetriebenen Design als die primäre Anforderung. Für Hochfrequenzstrategien muss eine erhebliche Menge an Marktdaten gespeichert und ausgewertet werden. Software wie HDF5 oder kdb werden häufig für diese Rollen verwendet. Um die umfangreichen Datenmengen für HFT-Anwendungen zu verarbeiten, muss ein ausgereiftes Backtester - und Ausführungssystem eingesetzt werden. C C (möglicherweise mit einigen Assembler) ist wahrscheinlich der stärkste Sprachkandidat. Ultra-Hochfrequenz-Strategien wird fast sicher erfordern benutzerdefinierte Hardware wie FPGAs, Austausch Co-Location und kernal Network Interface Tuning. Forschungssysteme Forschungssysteme umfassen typischerweise eine Mischung aus interaktiver Entwicklung und automatisiertem Scripting. Ersteres findet oft in einer IDE wie Visual Studio, MatLab oder R Studio statt. Letztere umfassen umfangreiche numerische Berechnungen über zahlreiche Parameter und Datenpunkte. Dies führt zu einer Sprachauswahl, die eine einfache Umgebung zum Testen von Code bereitstellt, aber auch eine ausreichende Leistung bietet, um Strategien über mehrere Parameterabmessungen auszuwerten. Typische IDEs in diesem Bereich sind Microsoft Visual C C, das umfangreiche Debugging-Dienstprogramme, Codevervollständigungsfunktionen (über Intellisense) und einfache Übersichten über den gesamten Projektstapel (über die Datenbank ORM, LINQ) MatLab enthält. Die für umfangreiche numerische lineare Algebra und vectorized Operationen, sondern in einer interaktiven Konsole Weise R Studio. Die die statistische Sprachkonsole R in einer vollwertigen IDE-Eclipse-IDE für Linux-Java und C und semi-proprietären IDEs wie Enthought Canopy für Python, die Datenanalyse-Bibliotheken wie NumPy enthalten, umschließt. SciPy Scikit-lernen und Pandas in einer einzigen interaktiven (Konsolen-) Umgebung. Für das numerische Backtesting sind alle obigen Sprachen geeignet, obwohl es nicht notwendig ist, eine GUI-IDE zu verwenden, da der Code im Hintergrund ausgeführt wird. Die Hauptbetrachtung in diesem Stadium ist die der Ausführungsgeschwindigkeit. Eine kompilierte Sprache (wie C) ist oft nützlich, wenn die Dimension des Backtesting-Parameters groß ist. Denken Sie daran, dass es notwendig ist, von solchen Systemen vorsichtig zu sein, wenn dies der Fall ist. Interpretierte Sprachen wie Python verwenden oft Hochleistungsbibliotheken wie NumPy-Pandas für den Backtesting-Schritt, um einen angemessenen Grad an Wettbewerbsfähigkeit mit kompilierten Äquivalenten beizubehalten . Letztlich wird die für das Backtesting gewählte Sprache durch spezifische algorithmische Bedürfnisse sowie die Bandbreite der in der Sprache verfügbaren Bibliotheken bestimmt (weiter unten). Die Sprache, die für die Backtester - und Forschungsumgebungen verwendet wird, kann jedoch vollständig unabhängig von denjenigen sein, die in der Portfolio-Konstruktion, im Risikomanagement und in den Ausführungskomponenten verwendet werden. Portfolio-Konstruktion und Risikomanagement Die Komponenten des Portfoliokonstruktions - und Risikomanagements werden von den Handelspartnern oft übersehen. Das ist fast immer ein Fehler. Diese Instrumente bieten den Mechanismus, durch den das Kapital erhalten bleibt. Sie versuchen nicht nur, die Anzahl der riskanten Wetten zu lindern, sondern auch die Abwanderung der Trades selbst zu minimieren und so die Transaktionskosten zu senken. Ausgefeilte Versionen dieser Komponenten können erhebliche Auswirkungen auf die Qualität und Wirtschaftlichkeit der Rentabilität haben. Es ist unkompliziert, eine stabile Strategie zu schaffen, da der Portfoliokonstruktionsmechanismus und der Risikomanager einfach modifiziert werden können, um mehrere Systeme zu behandeln. Sie sollten daher zu Beginn des Entwurfs eines algorithmischen Handelssystems als wesentliche Komponenten betrachtet werden. Die Aufgabe des Portfolio-Bau-System ist es, eine Reihe von gewünschten Trades zu nehmen und produzieren die Menge der tatsächlichen Trades, minimieren churn, halten Exposures zu verschiedenen Faktoren (wie Sektoren, Asset-Klassen, Volatilität etc.) und optimieren die Zuweisung von Kapital an verschiedene Strategien in einem Portfolio. Portfolio-Konstruktion reduziert oft auf eine lineare Algebra Problem (wie eine Matrix-Faktorisierung) und damit die Leistung ist stark abhängig von der Wirksamkeit der numerischen linearen Algebra-Implementierung zur Verfügung. Gemeinsame Bibliotheken sind uBLAS. LAPACK und NAG für C. MatLab besitzt auch umfangreich optimierte Matrixoperationen. Python nutzt NumPy SciPy für solche Berechnungen. Ein häufig ausgeglichenes Portfolio erfordert eine kompilierte (und gut optimierte) Matrixbibliothek, um diesen Schritt auszuführen, um das Handelssystem nicht zu verkleinern. Das Risikomanagement ist ein weiterer äußerst wichtiger Bestandteil eines algorithmischen Handelssystems. Das Risiko kann in vielen Formen auftreten: Erhöhte Volatilität (obwohl dies für bestimmte Strategien als wünschenswert angesehen werden kann), erhöhte Korrelationen zwischen Assetklassen, Gegenpartei-Standard, Serverausfällen, Black Swan-Ereignissen und unentdeckten Bugs im Handelscode wenige. Risikomanagementkomponenten versuchen, die Effekte einer übermäßigen Volatilität und Korrelation zwischen den Assetklassen und ihren nachfolgenden Auswirkungen auf das Handelskapital vorwegzunehmen. Oft reduziert dies auf eine Reihe von statistischen Berechnungen wie Monte Carlo Stresstests. Dies ist sehr ähnlich zu den rechnerischen Bedürfnissen einer Derivate-Preis-Engine und als solche CPU-gebunden werden. Diese Simulationen sind sehr parallelisierbar (siehe unten) und bis zu einem gewissen Grad ist es möglich, Hardware auf das Problem zu werfen. Ausführungssysteme Die Aufgabe des Ausführungssystems besteht darin, gefilterte Handelssignale von den Portfolio-Bau - und Risikomanagementkomponenten zu empfangen und an eine Brokerage oder andere Mittel des Marktzugangs zu senden. Für die Mehrheit der Einzelhandel algorithmischen Handelsstrategien beinhaltet dies eine API oder FIX-Verbindung zu einem Brokerage wie Interactive Brokers. Die primären Erwägungen bei der Entscheidung über eine Sprache beinhalten die Qualität der API, die Verfügbarkeit der Sprachverpackung für eine API, die Ausführungshäufigkeit und den erwarteten Schlupf. Die Qualität der API bezieht sich darauf, wie gut sie dokumentiert ist, welche Art von Leistung sie bereitstellt, ob sie auf eine eigenständige Software zugreifen muss oder ob ein Gateway kopflos aufgebaut werden kann (d. h. keine GUI). Im Fall von Interactive Brokers muss das Trader WorkStation-Tool in einer GUI-Umgebung ausgeführt werden, um auf deren API zuzugreifen. Ich musste einmal eine Desktop-Ubuntu-Edition auf einem Amazon Cloud-Server installieren, um auf interaktive Broker remote zuzugreifen, rein aus diesem Grund. Die meisten APIs bieten eine C - oder Java-Schnittstelle. In der Regel ist es Aufgabe der Community, sprachspezifische Wrapper für C, Python, R, Excel und MatLab zu entwickeln. Beachten Sie, dass mit jedem zusätzlichen Plugin (vor allem API-Wrapper) gibt es Spielraum für Bugs in das System kriechen. Teste immer Plugins dieser Art und sorge dafür, dass sie aktiv gepflegt werden. Ein lohnendes Maß ist zu sehen, wie viele neue Updates zu einer Codebase in den letzten Monaten gemacht wurden. Die Ausführungshäufigkeit ist für den Ausführungsalgorithmus von größter Bedeutung. Beachten Sie, dass Hunderte von Bestellungen können jede Minute gesendet werden und als solche Leistung ist von entscheidender Bedeutung. Schlupf wird durch eine schlecht durchführende Ausführung System entstehen und dies wird einen dramatischen Einfluss auf die Rentabilität haben. Statisch typisierte Sprachen (siehe unten) wie C Java sind im Allgemeinen für die Ausführung optimal, aber es gibt einen Kompromiss in der Entwicklungszeit, dem Testen und der einfachen Wartung. Dynamisch getippte Sprachen wie Python und Perl sind mittlerweile meist schnell genug. Achten Sie immer darauf, dass die Komponenten modular aufgebaut sind (siehe unten), so dass sie bei der Systemwaage ausgetauscht werden können. Architektonischer Planungs - und Entwicklungsprozess Die Komponenten eines Handelssystems, dessen Frequenz - und Volumenanforderungen wurden bereits diskutiert, die Systeminfrastruktur jedoch noch nicht abgedeckt. Diejenigen, die als Einzelhändler oder arbeiten in einem kleinen Fonds wird wahrscheinlich tragen viele Hüte. Es wird notwendig sein, die Alpha-Modell-, Risikomanagement - und Ausführungsparameter sowie die endgültige Implementierung des Systems abzudecken. Vor dem Einarbeiten in bestimmte Sprachen wird das Design einer optimalen Systemarchitektur erörtert. Trennung von Bedenken Eine der wichtigsten Entscheidungen, die von vornherein getroffen werden müssen, ist die Trennung der Bedenken eines Handelssystems. In der Softwareentwicklung bedeutet dies im Wesentlichen, wie die verschiedenen Aspekte des Handelssystems in separate modulare Komponenten aufgeteilt werden. Durch die Freigabe von Schnittstellen an jedem der Komponenten ist es leicht, Teile des Systems für andere Versionen auszutauschen, die Leistung, Zuverlässigkeit oder Wartung unterstützen, ohne einen externen Abhängigkeitscode zu modifizieren. Dies ist die beste Vorgehensweise für solche Systeme. Für Strategien bei niedrigeren Frequenzen werden solche Praktiken empfohlen. Für Ultra-Hochfrequenz-Handel das Regelbuch muss auf Kosten der Optimierung des Systems für noch mehr Leistung ignoriert werden. Ein dichter gekoppeltes System kann wünschenswert sein. Das Erstellen einer Komponentenkarte eines algorithmischen Handelssystems ist einen Artikel wert. Ein optimaler Ansatz ist jedoch sicherzustellen, dass es separate Komponenten für die historischen und Echtzeit-Marktdateneingaben, Datenspeicherung, Datenzugriffs-API, Backtester, Strategieparameter, Portfolio-Konstruktion, Risikomanagement und automatisierte Ausführungssysteme gibt. Wenn beispielsweise der verwendete Datenspeicher selbst bei signifikanten Optimierungsniveaus noch unterdurchschnittlich ist, kann er mit minimalen Wiederbeschreibungen in die Datenaufnahme - oder Datenzugriffs-API ausgelagert werden. Soweit es die Backtester und nachfolgende Komponenten betrifft, gibt es keinen Unterschied. Ein weiterer Vorteil von getrennten Komponenten ist, dass es eine Vielzahl von Programmiersprachen für das Gesamtsystem verwendet werden kann. Es muss nicht auf eine einzige Sprache beschränkt werden, wenn die Kommunikationsmethode der Komponenten sprachunabhängig ist. Dies ist der Fall, wenn sie über TCP IP, ZeroMQ oder ein anderes sprachunabhängiges Protokoll kommunizieren. Als konkretes Beispiel betrachten wir den Fall eines Backtesting-Systems, das in C für die Anzahl der Crunching-Leistungen geschrieben wird, während der Portfolio-Manager und die Ausführungssysteme in Python unter Verwendung von SciPy und IBPy geschrieben werden. Performance-Überlegungen Performance ist eine wesentliche Überlegung für die meisten Trading-Strategien. Für höhere Frequenzstrategien ist es der wichtigste Faktor. Die Performance umfasst eine breite Palette von Problemen wie algorithmische Ausführungsgeschwindigkeit, Netzwerklatenz, Bandbreite, Daten-IO, Parallelitätsparallelität und Skalierung. Jeder dieser Bereiche werden einzeln durch große Lehrbücher abgedeckt, so dass dieser Artikel nur die Oberfläche jedes Themas kratzen wird. Architektur und Sprachwahl werden nun im Hinblick auf ihre Auswirkungen auf die Leistung diskutiert. Die vorherrschende Weisheit, wie von Donald Knuth angegeben. Einer der Väter der Informatik, ist, dass vorzeitige Optimierung die Wurzel allen Übels ist. Dies ist fast immer der Fall - außer beim Bau eines Hochfrequenz-Handel Algorithmus Für diejenigen, die in niedrigere Frequenz-Strategien interessiert sind, ist ein gemeinsamer Ansatz, ein System auf die einfachste Art und Weise zu bauen und nur so optimieren, wie Engpässe zu erscheinen beginnen. Mit Hilfe von Profilierungswerkzeugen wird ermittelt, wo Engpässe entstehen. Profile können für alle oben aufgeführten Faktoren in einer MS Windows - oder Linux-Umgebung erstellt werden. Es gibt viele Betriebssysteme und Sprach-Tools zur Verfügung, um dies zu tun, sowie Drittanbieter-Dienstprogramme. Die Sprachwahl wird im Rahmen der Performance diskutiert. C, Java, Python, R und MatLab enthalten Hochleistungsbibliotheken (entweder im Standard oder extern) für grundlegende Datenstrukturen und algorithmische Arbeiten. C mit der Standardvorlagenbibliothek, während Python NumPy SciPy enthält. Gemeinsame mathematische Aufgaben sind in diesen Bibliotheken zu finden und es ist selten vorteilhaft, eine neue Implementierung zu schreiben. Eine Ausnahme ist, wenn eine hochgradig angepasste Hardwarearchitektur erforderlich ist und ein Algorithmus umfangreiche Verwendung von proprietären Erweiterungen (z. B. benutzerdefinierte Caches) durchführt. Allerdings, oft Neuerfindung des Rades verschwendet Zeit, die besser verbrachte Entwicklung und Optimierung anderer Teile der Handelsinfrastruktur sein könnte. Entwicklungszeit ist besonders im Zusammenhang mit einzelnen Entwicklern extrem kostbar. Latenz ist oft ein Problem des Ausführungssystems, da die Forschungsinstrumente üblicherweise auf derselben Maschine liegen. Für die ersteren kann Latenz an mehreren Punkten entlang des Ausführungspfades auftreten. Datenbanken müssen konsultiert werden (Platten-Netzwerk-Latenz), Signale müssen erzeugt werden (Betriebssystem, kernale Messaging-Latenz), Handelssignale gesendet (NIC-Latenz) und Aufträge verarbeitet (interne Latenzzeit). Für höhere Frequenzoperationen ist es notwendig, sich mit der Kernoptimierung sowie der Optimierung der Netzübertragung vertraut zu machen. Dies ist ein tiefer Bereich und ist deutlich über den Geltungsbereich des Artikels aber wenn ein UHFT-Algorithmus gewünscht wird dann bewusst sein, die Tiefe des Wissens erforderlich Caching ist sehr nützlich im Toolkit eines quantitativen Trading-Entwickler. Das Caching bezieht sich auf das Konzept der Speicherung von Daten, auf die häufig zugegriffen wird, in einer Weise, die einen leistungsfähigeren Zugriff ermöglicht, auf Kosten einer potentiellen Verzögerung der Daten. Ein häufiger Anwendungsfall tritt bei der Webentwicklung auf, wenn Daten von einer datenträgergestützten relationalen Datenbank übernommen und in den Speicher übertragen werden. Alle nachfolgenden Anforderungen für die Daten müssen nicht auf die Datenbank getroffen werden und so Leistungssteigerungen können erheblich sein. Für Handelssituationen Caching kann sehr vorteilhaft sein. Zum Beispiel kann der gegenwärtige Zustand eines Strategieportfolios in einem Cache gespeichert werden, bis er wieder ausgeglichen wird, so dass die Liste nicht auf jeder Schleife des Handelsalgorithmus regeneriert werden muss. Eine solche Regeneration ist wahrscheinlich eine hohe CPU - oder Festplatten-IO-Operation. Allerdings ist das Caching nicht ohne eigene Probleme. Regeneration von Cache-Daten auf einmal, aufgrund der volatilie Natur der Cache-Speicher, kann eine erhebliche Nachfrage nach Infrastruktur. Ein weiteres Problem ist Hund-Haufen. Wo mehrere Generationen einer neuen Cache-Kopie unter extrem hoher Last durchgeführt werden, was zu einem Kaskadenausfall führt. Die dynamische Speicherzuordnung ist eine teure Operation in der Softwareausführung. Daher ist es für Hochleistungs-Handelsanwendungen unerlässlich, sich bewusst zu sein, wie Speicher während des Programmablaufs zugeteilt und freigegeben wird. Neuere Sprachstandards wie Java, C und Python führen alle automatische Garbage Collection durch. Die auf die Deallokation des dynamisch zugewiesenen Speichers verweist, wenn Objekte außerhalb des Bereichs liegen. Garbage Collection ist äußerst nützlich während der Entwicklung, da es Fehler reduziert und hilft Lesbarkeit. Es ist jedoch oftmals für bestimmte hochfrequente Handelsstrategien suboptimal. Kundenspezifische Garbage Collection ist oft für diese Fälle erwünscht. In Java, zum Beispiel durch Abstimmung der Garbage Collector und Heap-Konfiguration, ist es möglich, hohe Leistung für HFT-Strategien zu erhalten. C stellt keinen nativen Garbage Collector zur Verfügung und so ist es notwendig, alle Speicherzuweisungsfreigabe als Teil einer Objektimplementierung zu behandeln. Während potenziell fehleranfällig (potenziell dazu führen, dass baumelnde Zeiger) ist es äußerst nützlich, feinkörnige Kontrolle, wie Objekte auf dem Heap für bestimmte Anwendungen erscheinen. Bei der Auswahl einer Sprache stellen Sie sicher zu studieren, wie die Garbage Collector arbeitet und ob es geändert werden, um für einen bestimmten Anwendungsfall optimieren. Viele Operationen in algorithmischen Handelssystemen sind parallelisierbar. Dies bezieht sich auf das Konzept, mehrere programmatische Operationen gleichzeitig, d. H. Parallel, auszuführen. So genannte embarassingly parallele Algorithmen beinhalten Schritte, die völlig unabhängig von anderen Schritten berechnet werden können. Bestimmte statistische Operationen, wie Monte Carlo Simulationen, sind ein gutes Beispiel für peinlich parallele Algorithmen, da jede zufällige Zeichnung und nachfolgende Pfadoperation ohne Kenntnis anderer Pfade berechnet werden kann. Andere Algorithmen sind nur teilweise parallelisierbar. Fluiddynamische Simulationen sind ein solches Beispiel, bei dem die Berechnungsdomäne unterteilt werden kann, aber letztlich müssen diese Domänen miteinander kommunizieren und somit sind die Operationen teilweise sequentiell. Parallelisierbare Algorithmen unterliegen dem Amdahls-Gesetz. Was eine theoretische Obergrenze für die Leistungserhöhung eines parallelisierten Algorithmus ergibt, wenn er N-unabhängigen Prozessen unterworfen wird (z. B. auf einem CPU-Kern oder Thread). Die Parallelisierung hat zunehmend an Bedeutung gewonnen, da die Prozessortaktgeschwindigkeiten stagniert haben, da neuere Prozessoren viele Kerne enthalten, mit denen parallele Berechnungen durchgeführt werden können. Der Anstieg der Consumer-Grafikhardware (vorwiegend für Videospiele) hat zur Entwicklung von Graphical Processing Units (GPUs) geführt, die Hunderte von Cores für sehr gleichzeitige Operationen enthalten. Solche GPUs sind jetzt sehr erschwinglich. High-Level-Frameworks, wie Nvidias CUDA haben zu weit verbreiteten Akzeptanz in der Wissenschaft und Finanzen geführt. Solche GPU-Hardware ist im Allgemeinen nur für den Forschungsaspekt der quantitativen Finanzierung geeignet, während für (U) HFT weitere spezialisierte Hardware (einschließlich feldprogrammierbare Gate-Arrays - FPGAs) verwendet werden. Heutzutage unterstützen die meisten modernen Sprachen einen Grad der Parallelität Multithreading. Somit ist es einfach, einen Backtester zu optimieren, da alle Berechnungen im allgemeinen unabhängig von den anderen sind. Die Skalierung von Software-Engineering und - Operationen bezieht sich auf die Fähigkeit des Systems, konsequent ansteigende Lasten in Form größerer Anforderungen, höherer Prozessorauslastung und mehr Speicherzuteilung zu handhaben. Im algorithmischen Handel kann eine Strategie skaliert werden, wenn sie größere Kapitalmengen akzeptieren kann und immer noch konsistente Renditen liefert. Der Handelstechnologie-Stack skaliert, wenn er größere Handelsvolumina und eine erhöhte Latenzzeit ohne Engpassierung aushalten kann. Während Systeme skaliert werden müssen, ist es oft schwer vorherzusagen, wo ein Engpass auftritt. Rigourous Logging, Testing, Profiling und Monitoring wird erheblich dazu beitragen, ein System skalieren. Sprachen selbst werden oft als unskalierbar beschrieben. Dies ist in der Regel das Ergebnis von Fehlinformationen, anstatt harte Tatsache. Es ist die gesamte Technologie-Stack sollte für die Skalierbarkeit, nicht die Sprache ermittelt werden. Offensichtlich haben bestimmte Sprachen eine größere Leistung als andere in bestimmten Anwendungsfällen, aber eine Sprache ist nie besser als eine andere in jeder Hinsicht. Ein Mittel, das Maßstab zu verwalten, besteht darin, Bedenken zu trennen, wie oben ausgeführt. Um die Fähigkeit, Spikes in dem System zu behandeln (d. h. plötzliche Flüchtigkeit, die ein Floß von Trades auslöst) weiter einzuführen, ist es nützlich, eine Nachrichtenwarteschlangenarchitektur zu erzeugen. Dies bedeutet lediglich, dass ein Message Queue-System zwischen Komponenten platziert wird, so dass Aufträge gestapelt werden, wenn eine bestimmte Komponente nicht in der Lage ist, viele Anfragen zu verarbeiten. Anstatt Verluste zu verlieren, werden sie einfach in einem Stapel gehalten, bis die Nachricht behandelt wird. Dies ist besonders nützlich, um Trades an eine Ausführungsmaschine zu senden. Wenn der Motor unter starker Latenz leidet dann wird es Trades zu sichern. Eine Warteschlange zwischen dem Handelssignalgenerator und der Ausführungs-API löst dieses Problem auf Kosten eines potentiellen Handelsrutschens. Ein gut respektierter Open-Source-Message-Queue-Broker ist RabbitMQ. Hardware und Betriebssysteme Die Hardware, die Ihre Strategie ausführt, kann einen erheblichen Einfluss auf die Rentabilität Ihres Algorithmus haben. Dies ist nicht ein Problem beschränkt auf Hochfrequenz-Händler. Eine schlechte Wahl in Hardware und Betriebssystem kann zu einem Maschinencrash oder einem Neustart zum unpassendsten Moment führen. Daher ist zu prüfen, wo sich Ihr Antrag befindet. Die Wahl liegt in der Regel zwischen einem persönlichen Desktop-Rechner, einem entfernten Server, einem Cloud-Provider oder einem Exchange-Co-Server. Desktop-Rechner sind einfach zu installieren und zu verwalten, vor allem mit neueren benutzerfreundlichen Betriebssystemen wie Windows 7 8, Mac OSX und Ubuntu. Desktop-Systeme besitzen jedoch einige erhebliche Nachteile. Der wichtigste ist, dass die Versionen von Betriebssystemen für Desktop-Maschinen entwickelt werden wahrscheinlich zu rebooten Patching (und oft zu den schlechtesten Zeiten) erforderlich. Sie verwenden auch mehr Rechenressourcen durch die Notwendigkeit einer grafischen Benutzeroberfläche (GUI). Das Verwenden von Hardware in einer Heimat (oder einer lokalen Büroumgebung) kann zu Internetkonnektivität und Stromverbrauchsproblemen führen. Der Hauptvorteil eines Desktop-Systems ist, dass erhebliche Rechenleistung für den Bruchteil der Kosten eines Remote-dedizierten Server (oder Cloud-basiertes System) von vergleichbarer Geschwindigkeit erworben werden kann. Eine dedizierte Server - oder Cloud-basierte Maschine, die oftmals teurer als eine Desktop-Option ist, ermöglicht eine größere Redundanzinfrastruktur, wie z. B. automatisierte Datensicherungen, die Möglichkeit, die Verfügbarkeit und Remoteüberwachung einfacher zu gestalten. Sie sind schwerer zu verwalten, da sie die Fähigkeit zur Verwendung von Remote-Login-Funktionen des Betriebssystems erfordern. In Windows ist dies in der Regel über das GUI Remote Desktop Protocol (RDP). In Unix-basierten Systemen wird die Befehlszeile Secure SHell (SSH) verwendet. Unix-basierte Server-Infrastruktur ist fast immer auf Befehlszeile basiert, die sofort GUI-basierte Programmierungstools (wie MatLab oder Excel) unbrauchbar macht. Ein Co-lokalisierter Server, wie der Begriff in den Kapitalmärkten verwendet wird, ist einfach ein dedizierter Server, der sich innerhalb einer Vermittlungsstelle befindet, um die Latenz des Handelsalgorithmus zu reduzieren. Dies ist absolut notwendig für bestimmte hochfrequente Handelsstrategien, die auf geringe Latenz angewiesen sind, um alpha zu erzeugen. Der letzte Aspekt der Hardware-Wahl und der Wahl der Programmiersprache ist plattformunabhängig. Gibt es eine Notwendigkeit für den Code, um über mehrere verschiedene Betriebssysteme laufen Ist der Code entworfen, um auf einem bestimmten Typ von Prozessorarchitektur ausgeführt werden, wie die Intel x86 x64 oder wird es möglich sein, auf RISC-Prozessoren wie die von hergestellt werden ARM Diese Fragen werden in hohem Maße von der Häufigkeit und der Art der implementierten Strategie abhängen. Resilience und Testing Eine der besten Möglichkeiten, eine Menge Geld für algorithmischen Handel zu verlieren ist, ein System ohne Elastizität zu schaffen. Dies bezieht sich auf die Dauerhaftigkeit des Systems bei seltenen Ereignissen wie Maklerkonten, plötzliche Überschussvolatilität, regionale Ausfallzeiten für einen Cloud-Server-Anbieter oder das versehentliche Löschen einer gesamten Handelsdatenbank. Jahre der Gewinne können innerhalb von Sekunden mit einer schlecht entworfenen Architektur beseitigt werden. Es ist absolut notwendig, Themen wie Debuggng, Testen, Logging, Backups, Hochverfügbarkeit und Überwachung als Kernkomponenten Ihres Systems zu berücksichtigen. Es ist wahrscheinlich, dass in jeder vernünftig komplizierten benutzerdefinierten quantitativen Handel Anwendung mindestens 50 Entwicklungszeit für Debugging, Test und Wartung ausgegeben werden. Fast alle Programmiersprachen werden entweder mit einem zugehörigen Debugger ausgeliefert oder besitzen Drittanbieter-Alternativen. Im Wesentlichen ermöglicht ein Debugger die Ausführung eines Programms mit dem Einfügen von willkürlichen Unterbrechungspunkten im Codepfad, die die Ausführung vorübergehend stoppen, um den Zustand des Systems zu untersuchen. Der Hauptvorteil von Debugging ist, dass es möglich ist, das Verhalten von Code vor einem bekannten Crashpunkt zu untersuchen. Das Debuggen ist eine wesentliche Komponente in der Toolbox zur Analyse von Programmierfehlern. Allerdings sind sie weit verbreitet in kompilierten Sprachen wie C oder Java, da interpretierte Sprachen wie Python sind oft einfacher zu debuggen aufgrund weniger LOC und weniger ausführliche Anweisungen verwendet. Trotz dieser Tendenz Python Schiff mit der pdb. Die ein anspruchsvolles Debugging-Tool ist. Die Microsoft Visual C IDE verfügt über umfangreiche GUI-Debugging-Dienstprogramme, während für die Befehlszeile Linux C-Programmierer, der gdb-Debugger vorhanden ist. Testen in der Softwareentwicklung bezieht sich auf den Prozess der Anwendung bekannter Parameter und Ergebnisse auf spezifische Funktionen, Methoden und Objekte in einer Codebasis, um Verhalten zu simulieren und mehrere Codepfade auszuwerten, um sicherzustellen, dass sich ein System so verhält, wie es sollte. Ein aktuelleres Paradigma wird als Test Driven Development (TDD) bezeichnet, wobei Testcode gegen eine spezifizierte Schnittstelle ohne Implementierung entwickelt wird. Vor dem Abschluss der eigentlichen Codebase werden alle Tests fehlschlagen. Als Code geschrieben wird, um die Leerzeichen zu füllen, werden die Tests schließlich alle passieren, an welchem Punkt die Entwicklung aufhören sollte. TDD erfordert umfangreiche upfront Spezifikation Design sowie ein gesundes Maß an Disziplin, um erfolgreich durchzuführen. In C bietet Boost ein Unit-Testing Framework. In Java existiert die JUnit-Bibliothek, um denselben Zweck zu erfüllen. Python hat auch das unittest Modul als Teil der Standardbibliothek. Viele andere Sprachen besitzen Unit-Test-Frameworks und oft gibt es mehrere Optionen. In einer Produktionsumgebung ist anspruchsvolles Logging unbedingt erforderlich. Logging refers to the process of outputting messages, with various degrees of severity, regarding execution behaviour of a system to a flat file or database. Logs are a first line of attack when hunting for unexpected program runtime behaviour. Unfortunately the shortcomings of a logging system tend only to be discovered after the fact As with backups discussed below, a logging system should be given due consideration BEFORE a system is designed. Both Microsoft Windows and Linux come with extensive system logging capability and programming languages tend to ship with standard logging libraries that cover most use cases. It is often wise to centralise logging information in order to analyse it at a later date, since it can often lead to ideas about improving performance or error reduction, which will almost certainly have a positive impact on your trading returns. While logging of a system will provide information about what has transpired in the past, monitoring of an application will provide insight into what is happening right now . All aspects of the system should be considered for monitoring. System level metrics such as disk usage, available memory, network bandwidth and CPU usage provide basic load information. Trading metrics such as abnormal prices volume, sudden rapid drawdowns and account exposure for different sectors markets should also be continuously monitored. Further, a threshold system should be instigated that provides notification when certain metrics are breached, elevating the notification method (email, SMS, automated phone call) depending upon the severity of the metric. System monitoring is often the domain of the system administrator or operations manager. However, as a sole trading developer, these metrics must be established as part of the larger design. Many solutions for monitoring exist: proprietary, hosted and open source, which allow extensive customisation of metrics for a particular use case. Backups and high availability should be prime concerns of a trading system. Consider the following two questions: 1) If an entire production database of market data and trading history was deleted (without backups) how would the research and execution algorithm be affected 2) If the trading system suffers an outage for an extended period (with open positions) how would account equity and ongoing profitability be affected The answers to both of these questions are often sobering It is imperative to put in place a system for backing up data and also for testing the restoration of such data. Many individuals do not test a restore strategy. If recovery from a crash has not been tested in a safe environment, what guarantees exist that restoration will be available at the worst possible moment Similarly, high availability needs to be baked in from the start. Redundant infrastructure (even at additional expense) must always be considered, as the cost of downtime is likely to far outweigh the ongoing maintenance cost of such systems. I wont delve too deeply into this topic as it is a large area, but make sure it is one of the first considerations given to your trading system. Choosing a Language Considerable detail has now been provided on the various factors that arise when developing a custom high-performance algorithmic trading system. The next stage is to discuss how programming languages are generally categorised. Type Systems When choosing a language for a trading stack it is necessary to consider the type system . The languages which are of interest for algorithmic trading are either statically - or dynamically-typed . A statically-typed language performs checks of the types (e. g. integers, floats, custom classes etc) during the compilation process. Such languages include C and Java. A dynamically-typed language performs the majority of its type-checking at runtime. Such languages include Python, Perl and JavaScript. For a highly numerical system such as an algorithmic trading engine, type-checking at compile time can be extremely beneficial, as it can eliminate many bugs that would otherwise lead to numerical errors. However, type-checking doesnt catch everything, and this is where exception handling comes in due to the necessity of having to handle unexpected operations. Dynamic languages (i. e. those that are dynamically-typed) can often lead to run-time errors that would otherwise be caught with a compilation-time type-check. For this reason, the concept of TDD (see above) and unit testing arose which, when carried out correctly, often provides more safety than compile-time checking alone. Another benefit of statically-typed languages is that the compiler is able to make many optimisations that are otherwise unavailable to the dynamically - typed language, simply because the type (and thus memory requirements) are known at compile-time. In fact, part of the inefficiency of many dynamically-typed languages stems from the fact that certain objects must be type-inspected at run-time and this carries a performance hit. Libraries for dynamic languages, such as NumPy SciPy alleviate this issue due to enforcing a type within arrays. Open Source or Proprietary One of the biggest choices available to an algorithmic trading developer is whether to use proprietary (commercial) or open source technologies. There are advantages and disadvantages to both approaches. It is necessary to consider how well a language is supported, the activity of the community surrounding a language, ease of installation and maintenance, quality of the documentation and any licensing maintenance costs. The Microsoft. NET stack (including Visual C, Visual C) and MathWorks MatLab are two of the larger proprietary choices for developing custom algorithmic trading software. Both tools have had significant battle testing in the financial space, with the former making up the predominant software stack for investment banking trading infrastructure and the latter being heavily used for quantitative trading research within investment funds. Microsoft and MathWorks both provide extensive high quality documentation for their products. Further, the communities surrounding each tool are very large with active web forums for both. The. NET software allows cohesive integration with multiple languages such as C, C and VB, as well as easy linkage to other Microsoft products such as the SQL Server database via LINQ. MatLab also has many plugins libraries (some free, some commercial) for nearly any quantitative research domain. There are also drawbacks. With either piece of software the costs are not insignificant for a lone trader (although Microsoft does provide entry-level version of Visual Studio for free). Microsoft tools play well with each other, but integrate less well with external code. Visual Studio must also be executed on Microsoft Windows, which is arguably far less performant than an equivalent Linux server which is optimally tuned. MatLab also lacks a few key plugins such as a good wrapper around the Interactive Brokers API, one of the few brokers amenable to high-performance algorithmic trading. The main issue with proprietary products is the lack of availability of the source code. This means that if ultra performance is truly required, both of these tools will be far less attractive. Open source tools have been industry grade for sometime. Much of the alternative asset space makes extensive use of open-source Linux, MySQL PostgreSQL, Python, R, C and Java in high-performance production roles. However, they are far from restricted to this domain. Python and R, in particular, contain a wealth of extensive numerical libraries for performing nearly any type of data analysis imaginable, often at execution speeds comparable to compiled languages, with certain caveats. The main benefit of using interpreted languages is the speed of development time. Python and R require far fewer lines of code (LOC) to achieve similar functionality, principally due to the extensive libraries. Further, they often allow interactive console based development, rapidly reducing the iterative development process. Given that time as a developer is extremely valuable, and execution speed often less so (unless in the HFT space), it is worth giving extensive consideration to an open source technology stack. Python and R possess significant development communities and are extremely well supported, due to their popularity. Documentation is excellent and bugs (at least for core libraries) remain scarce. Open source tools often suffer from a lack of a dedicated commercial support contract and run optimally on systems with less-forgiving user interfaces. A typical Linux server (such as Ubuntu) will often be fully command-line oriented. In addition, Python and R can be slow for certain execution tasks. There are mechanisms for integrating with C in order to improve execution speeds, but it requires some experience in multi-language programming. While proprietary software is not immune from dependency versioning issues it is far less common to have to deal with incorrect library versions in such environments. Open source operating systems such as Linux can be trickier to administer. I will venture my personal opinion here and state that I build all of my trading tools with open source technologies. In particular I use: Ubuntu, MySQL, Python, C and R. The maturity, community size, ability to dig deep if problems occur and lower total cost ownership (TCO) far outweigh the simplicity of proprietary GUIs and easier installations. Having said that, Microsoft Visual Studio (especially for C) is a fantastic Integrated Development Environment (IDE) which I would also highly recommend. Batteries Included The header of this section refers to the out of the box capabilities of the language - what libraries does it contain and how good are they This is where mature languages have an advantage over newer variants. C, Java and Python all now possess extensive libraries for network programming, HTTP, operating system interaction, GUIs, regular expressions (regex), iteration and basic algorithms. C is famed for its Standard Template Library (STL) which contains a wealth of high performance data structures and algorithms for free. Python is known for being able to communicate with nearly any other type of system protocol (especially the web), mostly through its own standard library. R has a wealth of statistical and econometric tools built in, while MatLab is extremely optimised for any numerical linear algebra code (which can be found in portfolio optimisation and derivatives pricing, for instance). Outside of the standard libraries, C makes use of the Boost library, which fills in the missing parts of the standard library. In fact, many parts of Boost made it into the TR1 standard and subsequently are available in the C11 spec, including native support for lambda expressions and concurrency. Python has the high performance NumPy SciPy Pandas data analysis library combination, which has gained widespread acceptance for algorithmic trading research. Further, high-performance plugins exist for access to the main relational databases, such as MySQL (MySQL C), JDBC (Java MatLab), MySQLdb (MySQL Python) and psychopg2 (PostgreSQL Python). Python can even communicate with R via the RPy plugin An often overlooked aspect of a trading system while in the initial research and design stage is the connectivity to a broker API. Most APIs natively support C and Java, but some also support C and Python, either directly or with community-provided wrapper code to the C APIs. In particular, Interactive Brokers can be connected to via the IBPy plugin. If high-performance is required, brokerages will support the FIX protocol . Conclusion As is now evident, the choice of programming language(s) for an algorithmic trading system is not straightforward and requires deep thought. The main considerations are performance, ease of development, resiliency and testing, separation of concerns, familiarity, maintenance, source code availability, licensing costs and maturity of libraries. The benefit of a separated architecture is that it allows languages to be plugged in for different aspects of a trading stack, as and when requirements change. A trading system is an evolving tool and it is likely that any language choices will evolve along with it.
No comments:
Post a Comment