System architektoniczny wysokiej częstotliwości

Projektowanie i zarządzanie systemem handlu wysokimi częstotliwościami Zarządzanie projektami i procesami w zakresie projektowania systemów wysokiej częstotliwości Doradca: Roy E. Welsch. Katedra: Projekt Systemu Zarządzania i Zarządzania. Wydawca: Massachusetts Institute of Technology Data wydania: 2009 Firmy handlowe są obecnie w dużej mierze zależne od wydobycia danych, modelowania komputerów i rozwoju oprogramowania. Analitycy finansowi wykonują wiele podobnych zadań w sektorze oprogramowania i produkcji. Jednak sektor finansowy jeszcze nie w pełni przyjął ramy inżynierii systemów wysokiej jakości i podejścia do zarządzania procesami, które odniosły sukces w przemyśle oprogramowania i produkcji. W dziedzinie finansów można zastosować wiele tradycyjnych metodologii projektowania produktów, kontroli jakości, innowacji systematycznych i ciągłego doskonalenia, które można znaleźć w dyscyplinach inżynierskich. Niniejsza praca pokazuje, w jaki sposób wiedza zdobyta dzięki dyscyplinom inżynieryjnym może poprawić projektowanie i zarządzanie procesami systemów handlu wysokiej częstotliwości. Systemy handlu wysokimi częstotliwościami są oparte na obliczeniach. Systemy te są automatycznymi lub półautomatycznymi systemami oprogramowania, które są z natury złożone i wymagają dużej precyzji projektowej. Projekt systemu handlu wysokimi częstotliwościami łączy wiele dziedzin, w tym finansów ilościowych, projektowania systemów i inżynierii oprogramowania. W przemyśle finansowym, gdzie teorie matematyczne i modele handlowe są stosunkowo dobrze zbadane, zdolność do wdrażania tych projektów w praktyce handlowej jest jednym z kluczowych elementów konkurencyjności firm inwestycyjnych. Możliwość przekształcania pomysłów inwestycyjnych w wydajne systemy transakcyjne skutecznie i skutecznie może dać przedsiębiorstwu inwestycyjnemu dużą przewagę konkurencyjną (ciąg dalszy) Niniejsza praca dostarcza szczegółowych badań obejmujących projektowanie systemów handlu wysokimi częstotliwościami, modelowanie systemów i zasady oraz zarządzanie procesami dla rozwoju systemu. Szczególny nacisk kładzie się na testy wstępne i optymalizację, które są uważane za najważniejsze elementy budowy systemu handlowego. Te badania budują modele inżynierii systemów, które prowadzą do procesu rozwoju. Wykorzystuje także eksperymentalne systemy handlowe w celu zweryfikowania i zatwierdzania zasad omawianych w tej pracy. Na koniec teza stwierdza, że ​​zasady i ramy inżynierii systemów mogą być kluczem do sukcesu w realizacji handlu wysokonakładowego lub ilościowych systemów inwestycyjnych. Teza (S. M.) - Massachusetts Institute of Technology, Program Projektowania i Zarządzania Systemem, 2009. Zeszyt z teksu. Zawiera odniesienia bibliograficzne (str. 78-79). Słowa kluczowe: Program projektowania i zarządzania systemem. Moje konto W Algo Trading System istnieją tylko trzy duże bloki. 1. Market Data Handler (np. FAST handler) 2. Moduł Strategii (np. Strategia crossOver) 3. Zamów Router (np. Router FIX) możesz dodać Kontrolę Ryzyka w module strategii lub Moduł Routery Zamówień lub obydwie. Tak długo przepływ danych jest poprawny, powinieneś być dobry, aby pójść. Pamiętaj, że projektujesz ATS dla minimalnej latencji, a dodanie większej liczby warstw lub złożoności będzie kosztem latencji. Minimalna architektura ATS A jeśli dodasz dzwonki i gwizdki, wyglądałoby to tak: Jeśli jesteś zainteresowany tym, co ma znaczenie w realizacji powyższej architektury, pamiętaj o następujących rzeczach: Unikaj locksmutexes. Jeśli trzeba go użyć, spróbuj zastąpić je bezkolizyjnymi strukturami za pomocą atomów. Dostępnych jest kilka bibliotek do blokowania struktur danych (np. Libcds, zestaw współbieżności itp.). C-11 obsługuje std :: atom. i powinieneś dążyć do ich wykorzystania. Unikaj tego, co zostało zrobione w programie QuickFIX. Został napisany dla zapewnienia bezpieczeństwa w użyciu jako obiektu (blokady) tworzenia i niszczenia dla każdego wywołania dowolnej wiadomości do routera. Na pewno nie ma sposobu, aby napisać kod wrażliwy na opóźnienia. Brak alokacji pamięci wykonawczej. ścieżka wykonawcza powinna używać niestandardowego i bez blokady zarządzania pamięcią z wstępnie przydzieloną pulą pamięci. Całą inicjalizację można wykonać w konstruktorach. Sprężyste sprzęgło. Model gwintowania, model IO i zarządzanie pamięcią powinny być zaprojektowane tak, aby współpracować ze sobą w celu osiągnięcia najlepszej wydajności. Jest to sprzeczne z koncepcją OOP luźnego sprzęgła, ale konieczne jest uniknięcie kosztownego działania dynamicznego polimorfizmu. Użyj szablonów. W tym samym duchu sugerowałbym również, aby spojrzeć na templatizację C w celu uzyskania elastyczności kodu. Optymalizacja OSHardware: Wreszcie powinieneś poszukać pracy z kartą sieciową Linux RTM Kernel i Solarflare z sterownikiem OpenOnLoad, aby uzyskać minimalne opóźnienie. możesz dalej spojrzeć na izolowanie procesora i uruchom program na danym rdzeniu. I wreszcie publiczne API, które trzeba będzie wystawiać na opracowanie strategii. Chciałbym, aby był to minimalny zestaw, który obejmowałby całą złożoność tej konkretnej wymiany. class OrderRouter public: wirtualny bool sendNewOrd (OrderInfo) 0 wirtualny bool sendRplOrd (OrderInfo) 0 wirtualny bool sendCxlOrd (OrderInfo) 0 virtualBut Oznacza to, że klasa OrderInfo musi mieć WSZYSTKIE szczegóły wymagane przez destinationexchange. Ogólnie rzecz biorąc, wymiana wymaga tego samego rodzaju informacji, ale gdy idziesz dalej i popierasz większą wymianę informacji, możesz dodać więcej zmiennych w tej klasie. Poniżej przedstawiono ważne pytania dotyczące pytań, na które trzeba zadać sobie pytanie: 1. Architektura wieloprocesowa lub architektura wielogałęziowa. czy zbudować jeden monolityczny proces z wieloma wątkami, czy napisać kilka procesów. Kosztem wielu procesów jest opóźnienie przesyłania komunikatów, podczas gdy koszt wielokrotnego gwintowania pojedynczego procesu polega na tym, że awaria może spowodować obniżenie całego systemu. 2. Przekazanie wiadomości: podczas gdy możesz wybierać spośród wielu opcji, ograniczasz się do rozważań o opóźnieniach. Najszybszy IPC byłby wspólną pamięcią, ale jak to zrobiłaby synchronizacja spędzić trochę czasu na tych dwóch pytaniach, ponieważ będą blokiem, na którym stoi architektura. Edycja: FIX i FAST Jeśli chodzi o protokół popularności, FIX służy do wysyłania zamówień, a FAST - dane rynkowe. Mając to na uwadze, większość giełd posiada własny protokół macierzysty, który jest szybszy niż FIX, ponieważ FIX jest na ogół wdrażany na bazie protokołu natywnego. Ale wciąż wspierają FIX zwiększa szybkość wdrażania. Z drugiej strony, podczas gdy FIX jest przyjmowana przez większość giełd, FAST nie cieszy się tak szeroką akceptacją. Jeśli coś, to byłoby tylko garść wymiany przyjąć to. Większość z nich wysyła sam FIX (niska latencja) lub używa własnego natywnego protokołu binarnego. na przykład W Indiach, NSE, BSE i MCXMCXSX, wszystkie trzy wymiany zapewniają protokół FIX oprócz protokołu natywnego, ale tylko BSE daje FAST dane rynkowe. I to także przemieszcza się z FAST na native przy wprowadzaniu EOBI. można ekstrapolować to samo na inne giełdy. 3.9k Views middot Zobacz Upvotes middot Not for Reproduction Jak wspomniano John, OMS jest sednem dowolnej platformy handlowej i powinieneś zacząć od zbadania tego. Musisz poświęcić trochę czasu na określenie cyklu życia, zdarzeń i funkcji, które chcesz osadzić w OMS i tych, które chcesz obsługiwać Algo Engine. Metcetera oferuje open source OMS, nie haven039t go osobiście, ale jest jednym z nielicznych na rynku. Następną rzeczą, którą warto spojrzeć, jest dostarczenie interfejsu do danych źródłowych i wypchnięcie go. To jest dla systemu zamówień klienta, aby rzucić szczegółowe informacje o zamówieniu i silnik Algo, aby go przesłać. Wiele stron sprzedaŜy OMS039s korzysta z kombinacji własnych programów napisanych w języku JavaC przy uŜyciu FIX. Protokół FIX umożliwia komunikację w czasie rzeczywistym między systemami w uproszczonym formacie wstępnie zdefiniowanego formatu wiadomości, ustanowionym przez społeczność protokołu FIX. Przejdź do strony głównej usługi GTIX Organization, aby uzyskać więcej informacji na ten temat. Zobacz także Open Source FIX Engine. implementacja silnika FIX w otwartym źródle. Następny jest interfejs danych rynkowych do informacji rynkowych o zabezpieczeniach w czasie rzeczywistym, danych od HighLowOpenClose do Best BidBest Ask, całkowitej wolumenu transakcji, ostatniej ceny, ostatniej objętości, ofert licytacji, zapytań itp. Informacje, których szukasz naprawdę zależy od typu strategię, którą chcesz wdrożyć. Wierzę, że firma Interactive Broker udostępnia kanał danych w czasie rzeczywistym za pośrednictwem usługi FIX. Połączenie Exchange jest następne, gdy Algo interpretuje sygnały, tworzy zamówienie i trasy do Exchange lub ECN. Rozwój w domu może być trudne, ponieważ trzeba było pracować nad członkostwem w programie Exchange, certyfikować platformę i płacić regularną opłatą członkowską. Tańszym sposobem jest użycie interfejsu API brokera (np. IB) i kierowanie ich przez nie. Dane historyczne są również istotne, ponieważ można porównać obecne zachowanie rynku ze swoimi historycznymi wartościami. Parametry, takie jak średnie rozprzestrzenianie, profile VWAP, przeciętna dzienna wielkość itd. Mogą mieć wpływ na decyzje. Możesz go mieć w bazie danych (preferowane), ale jeśli szybkość istnienia ściągnie ją z pamięci podręcznej serwera podczas uruchamiania programu. Po skonfigurowaniu urządzeń peryferyjnych można rozpocząć program algo w taki sposób, w jaki ma to działać. Ta podstawowa infrastruktura pozwoliłaby na wpisanie algo-matki nadrzędnej, odczytanie danych rynkowych, reagowanie na sygnały, generowanie zleceń podrzędnych i umieszczenie ich w książce zlecenia wymiany oraz danych historycznych w celu wpłynięcia na podejmowanie decyzji. System OMS utrzymuje powiązanie między kolejnym dzieckiem, a ich stanami w czasie rzeczywistym oraz aktualizacjami za pośrednictwem platformy wymiany algo lub wymiany. To, co chcesz wdrożyć wewnątrz Algo, jest całkowicie dla Ciebie. 2.3k Views middot Zobacz Upvotes middot Not for ReproductionInfoReach HiFREQ Oprogramowanie do obsługi wysokich częstotliwości (HFT) dla handlu algorytmicznego HiFREQ to potężny algorytmiczny silnik, który daje przedsiębiorcom możliwość wdrażania strategii HFT dla akcji, kontraktów terminowych, opcji i handlu walutami bez konieczności inwestowania czas i zasoby w budowie i utrzymaniu własnej infrastruktury technologicznej. Zapewnia wszystkie istotne komponenty ułatwiające przepustowość dziesiątków tysięcy zamówień na sekundę w milisekundowej latencji. HiFREQ może być używany niezależnie jako autonomiczne rozwiązanie do handlu czarnymi pudełkami lub jako część platformy handlowej InfoReach TMS dla kompletnego systemu handlu końcowego. Otwarta, neutralna od pośrednika architektura pozwala użytkownikom tworzyć i wdrażać własne, złożone strategie handlowe, a także algorytmy dostępu od pośredników i innych dostawców. Zamówienia mogą być kierowane do dowolnego globalnego miejsca docelowego na rynku za pośrednictwem wewnętrznego wewnętrznego silnika FIX z informacjami o słabym opóźnieniu przez InfoReachs. Wielofunkcyjne Globalne akcje, kontrakty futures, opcje i kontrola ryzyka walutowego HiFREQ zapewnia ocenę ryzyka każdego zamówienia i zapewnia zgodność z wcześniej ustalonymi ograniczeniami dotyczącymi handlu specyficznymi firmami. Broker neutralny HiFREQ łączy Cię z wieloma brokerami, giełdami i ECN. Scentralizowane monitorowanie i kontrola Podczas gdy komponenty HiFREQ mogą być rozmieszczone w różnych lokalizacjach geograficznych, wszystkie funkcje monitorowania i kontroli skuteczności strategii mogą być wykonywane ze scentralizowanej lokalizacji zdalnej. HiFREQ może wykonać 20 000 zamówień na sekundę na pojedyncze połączenie FIX. Użycie dwóch lub więcej połączeń FIX może znacząco zwiększyć przepustowość. Trwałość niskiej czułoś ci Podsometria czałokĘ ... tów pomię dzy milisekundĘ ... mierzona od punktu HiFREQ pobiera raport z wykonania FIX do momentu, w którym HiFREQ wysyła komunikat z zamówieniem FIX. Rozdzielone i skalowalne Aby zwiększyć skuteczność i skuteczność strategii handlowych, ich komponenty można zaprojektować do pracy równolegle. Komponenty strategii mogą być rozmieszczone na wielu serwerach, które można rozmieszczać w różnych miejscach realizacji. Przewodnik programisty języka JavaPamiętaj: Część 1 tego eseju pojawiła się w edycji Contributoria z lutego 2018 r. Jest on publikowany i modyfikowany na licencji Creative Commons. CZĘŚĆ 1 (3500 słów) 900 milionów mikrosekundowych starterów na handlu wysokimi częstotliwościami W czasach, gdy czytasz to zdanie, algorytm handlu hedgingiem (HFT), połączony z giełdą przez 8220lowową infrastrukturę handlową latency8221, mógłby , być może, 1000 transakcji. Mówię to może dlatego, że zależy to od tego, jak długo pauzujesz na tych przecinkach, które umieszczam w zdaniu. Jeśli jesteś osobą z wielkim szacunkiem dla przecinków, możesz dać algorytmowi szansę wrzucić kilkaset kolejnych zamówień. Let8217s po prostu wyjaśnić to. Oznacza to, że komputery będące własnością (lub dzierżawione) przez firmę gdzieś mogą 1) ssać dane z giełdy, 2) przetwarzać je za pomocą zakodowanego systemu reguł (krok po kroku) w celu podjęcia decyzji o tym, czy handlować, czy nie , 3) wysłać wiadomość z powrotem do giełdy z zamówieniem na udziały w spółce 8211 na przykład firmę, która produkuje zabawki dla dzieci 8211 4) wykonuje wykonane zamówienie i potwierdza, 5) powtórzyć to może 250 razy na sekundę . Cóż, to mogłoby być mniej lub bardziej niż to, i szczerze mówiąc, niewiele osób zdaje się w rzeczywistości wiedzieć, jak szybko te algorytmiczne silniki handlu. Ale nawet jeśli sprzedaje się tylko 50 razy na sekundę, a nawet zaledwie 10 razy na sekundę, to nadal jest nieludzko szybko. Pracując na rynkach finansowych 8211, aczkolwiek w znacznie wolniejszych transakcjach na rynku swapowym bez kontrahenta 8211 i pracując nad różnymi kampaniami rzecznictwa związanymi z obrotem finansowym, jest to temat, który fascynuje mnie. Celem tego utworu niekoniecznie jest przekonanie, czy HFT jest dobrem czy złem. Raczej jest dostarczenie pewnych ramek, za pomocą których można przyjrzeć się zjawisku i przez które można zrozumieć debaty i nowości, które niewątpliwie będą pisane w najbliższych latach. 1.1: Wprowadzenie HFT w kontekście CZŁOWIEK: SO SLOOOWWWW Był czas, w odległej przeszłości lat siedemdziesiątych, kiedy transakcje na giełdach były w zasadzie wyłączną domeną ludzkich aktorów. Niezależnie od tego, czy był to rozsądny, długoterminowy inwestor kupujący portfel zapasów na fundusz emerytalny, czy kowbojowski spekulant kupujący i sprzedający w krótkim czasie, proces ten był zawsze ograniczony przez szybkość umysłu ludzkiego, a czas właściwie odebrać telefon i złożyć zamówienie. Nawet najszybszy spekulant nadal zajmował kilka minut, aby zakończyć transakcje. Obecnie nie jest tak. Zbieżność technologii komputerowych, technik kodowania i infrastruktury komunikacyjnej umożliwiły przedsiębiorcom zautomatyzowanie procesów myślenia ludzkiego, przekształcając je w algorytmy, które można wykonać za pomocą wiązki światła w światłowodowych kablach. Czas potrzebny na ukończenie handlu zanurzał się w milisekundach, a nawet mikrosekundach, zaledwie tysięcznych i milionach sekund. To doprowadziło do życia surrealistyczną sferę handlu wysokimi częstotliwościami. To hasn8217t wyłania się z nikąd 8211 it8217s było długo rozwijając, od wczesnych dni 8220program handlu 8221 w latach 80., stopniowo coraz szybciej 8211, ale tylko w ostatnich latach ludzie zaczęli zauważać. W szczególności stało się to na czoło podczas błyskawicznego wypadku z 2017 r., Gdy na giełdzie w USA niewyjaśnio rozbił się, a następnie poprawił się w ciągu kilku krótkich minut, wiele wydarzeń przypisywano algorytmom HFT. 1.2: Jak mam to czuć, nie zakładam, aby wiedzieć, jak powinieneś o tym czuć. Ludzie są rutynowo zaniepokojeni nieszkodliwymi rzeczami, a rutynowo zupełnie nie zwracają uwagi na rzeczy niezwykle szkodliwe. To, co można powiedzieć, jest takie, że dla wielu zwykłych ludzi, którzy zajmują się codzienną pracą związaną z rzeczywistą pracą, pojęcie robota handlującego robota, które wykonuje 100 robót w czasie, gdy potrzebuje im wypić filiżankę herbaty, czują się nieswojo. Praktyka może wydawać się nienaturalna, złożona lub poza kontrolą, lub po prostu dziwna. Nawet jeśli nie wydaje się, aby nie szkodzić, trudno nawet nawet konceptualizować, co to jest. To znaczy, inżynierowie z dziedziny lotnictwa wykonują coś, co jest dość skomplikowane i że nie mogę powiedzieć, jak to technicznie robią, ale mimo to rozumiem, co w zasadzie robią: konstruują latające maszyny, które umożliwiają ludziom podróżowanie długimi dystansami. Projektant algorytmów handlu przy wysokich częstotliwościach, z drugiej strony, robi dokładnie to, co dobrze. Wiemy, że zarabiają pieniądze, ale zwykle ludzie zarabiają pieniądze, czyniąc coś, co ma pewną wartość użytkową dla społeczeństwa, jak dopasowanie rur do toalety czy projektowanie firmy karty lub uboju bydła na hamburgery. Gdybyśmy musieli zapytać, jaki jest cel HFT, z drugiej strony, ludzie prawdopodobnie zatrzymają się na chwilę przed próbą odpowiedzi. Nieokiełznanie techniki i celu naturalnie budzi podejrzenie, że to tylko kolejny program przez rozluźnione finansowe elity, aby wydobyć z społeczeństwa więcej. Lub oczywiście tym profesjonalistom finansowym, którzy pracują w HFT, ludzie, którzy są freaked o to może być postrzegana trochę jak przesądne, ignoranckie chłopów, którzy nie rozumieją rynków. Chcą, aby ludzie prześcignęli to intuicyjne poczucie, że jest coś obcego na temat HFT i po prostu zrelaksować się: 8220Jesteśmy naukowcami, twardo nastawionymi racjonalistami, powstrzymujcie nieuzasadnione marudzenie na ten temat. It8217s doskonale naturalne. Nie chcielibyśmy zarabiać, jeśli nasza usługa nie była 8216demanded82178230 right8221 Znajdą sojuszników z niektórymi ekonomistami rynkowymi i często dodają wyraźnej moralnej granicy oburzenia: 8220 Pomagamy rynkom oferując cenną usługę płynności i odkrycia cen. Jeśli nas powstrzymasz, wszyscy będą cierpieć.8221 1.3: Handel, techniczny handel, obrót, HFT Let8217s cofnąć się i spróbować umieścić tę działalność w kontekście. Rynki finansowe, takie jak rynek akcji, ułatwiają kupno i sprzedaż instrumentów finansowych, które są umowami dającymi prawo do otrzymywania zysków z czasem. Mają tendencję do przyjmowania różnych graczy z różnymi horyzontami czasowymi. Na zewnętrznych pierścieniach dostajesz ogromnych inwestorów instytucjonalnych, takich jak fundusze emerytalne. Pochodzą na rynku od czasu do czasu i podejmują duże inwestycje, kupując dużą liczbę akcji, często w celu ich trzymania przez wiele lat. Potem, w wewnętrznych pierścieniach, dostajesz szybciej, bardziej niestabilności, gracze 8211 nazywamy ich handlarzy 8211, którzy zarabiają, skacząc do iz rynków, jak żłobi rekin pływający między wolniejszymi strąkami wielkich wielorybów. Nie wszystkie transakcje są takie same. Jeśli chcesz konceptualizować drogę do handlu wysokimi częstotliwościami. Zacznij od zrozumienia ogólnej koncepcji handlu. Przedsiębiorcy finansowi kupują i sprzedają instrumenty finansowe, takie jak udziały w spółkach. Mają kupić po niższej cenie, niż sprzedają, co przynosi zyski. Teraz zrozumieć Handel techniczny. Handlowcy mają różne techniki spekulacji. Mogą na przykład spędzać godziny na badaniach rejestrów konkretnej firmy w celu dokonania oceny, praktyki zwanej podstawowym obrotem. Alternatywnie mogą analizować działalność innych podmiotów gospodarczych na rynku w celu podejmowania decyzji. Ta techniczna analiza danych o cenach, zamówieniach i wolumenach generowanych przez innych podmiotów gospodarczych prowadzi do handlu technicznego. Teraz wyobraź sobie, że zautomatyzowany w handlu algorytmicznym. Można zdecydować się zautomatyzować proces handlu technicznego, tak aby algorytm analizował przychodzący strumień danych o cenach, zamówieniach i wolumenach oraz zawierał transakcje w określonych warunkach. Nazywamy ten algorytmiczny handel. (uwaga: możliwe jest rozróżnienie pomiędzy algorytmem a zautomatyzowanym handlem, ale dla łatwości pozwala założyć, że są takie same) Następnie wyobraź sobie, że przyspieszyło to handel w wysokiej częstotliwości. Jeśli przyśpieszasz ten proces zautomatyzowanego handlu algorytmem na ekstremalne prędkości, robisz transakcje o wysokiej częstotliwości. HFT najlepiej jest początkowo uważane za bardzo szybki algorytmiczny handel. który jest automatycznym handlem technicznym, który sam jest podsektorem szerszego handlu. Można to porównać z, na przykład, wolniejszym, podstawowym obrotem, co ludzie jak George Soros robią (on i jego analitycy rzeczywiście siedzą w pokoju i oglądają świat, a potem robią duże zakłady). Wreszcie pamiętaj, że możemy kontrastować ten cały świat handlu z światem długoterminowych inwestycji. co robi duże, powolne fundusze emerytalne. Aby powrócić do wcześniejszej analogii ekosystemów, firmy typu HFT są jak pirania wśród gatunków rekinów wśród wielorybów. UWAGA: Jeśli podobało Ci się to, może podobać się moja książka 1.4: Jak założyć firmę z HFT? BYĆ. Najszybsze różne organizacje handlowe mogą mieć nieco inne powody do zaangażowania się w HFT. Niektóre duże banki, na przykład, wykorzystują je jako narzędzie do podejmowania dużego rozkazu i podzielenia go na wiele małych zamówień, jak użycie dyspersji dyspersyjnej, aby zamontować przewód węża pożarowego w drobną mgłę rynkową, którą ludzie łatwo zauważą. Wielu graczy z HFT jest jednak czysto spekulantami krótkoterminowymi, specjalistycznymi firmami handlowymi i funduszami hedgingowymi. Jeśli chcesz ustawić jeden z nich, oto kilka rzeczy, które zrobiłeś. Po pierwsze, trochę pieniędzy startowych - albo twojej, albo od naprawdę bogatych ludzi. Po drugie, włóż i zaoferuj firmę (być może założysz firmę zarządzającą w Londynie, gdzie faktycznie siedzisz i pracujesz, a następnie tworzysz oddzielną firmę na Kajmanach, która rzeczywiście posiada pieniądze, a następnie przygotuj umowę, która mówi, że Londyn pracuje dla Kajmana). Następnie wynajmujesz ludzi, być może za pośrednictwem wyspecjalizowanej agencji rekrutacyjnej, a może popknij się na LinkedIn w celu wyszukania specjalistów HFT. Może ty chcesz zatrudnić Steve'a. kto wie, jak robić drogie sprzęt HFT dla Ciebie, czy Fabio, który może napisać kod C i zbudować architekturę oprogramowania. Zaznacz tutaj prawie nic nie napisano na jego profilu, co sugeruje, że działa wyłącznie przez headhunterów, typowych dla byłych Cambridge, pracowników z byłego pracownika Goldman Sachs. Zaoferuj tym wspaniałym talentom mnóstwo pieniędzy i poproś ich o zaprojektowanie kilku algorytmów. Zacznij od koncepcyjnego projektu, a następnie uzyskać C guy kod to dla Ciebie. Możesz nawet chcieć opatentować algorytmy. lub zaprojektowanej architekturze systemów. Nie jest to jednak pedantyczny artykuł techniczny o dokładnej naturze technologii HFT. Są ogromne ilości żartobliwych ładunków i geeky dyskusje w internecie, jeśli you8217re naprawdę interesuje tech, ale istotą tego, co musisz zrobić, to: musisz wyciąć jakiś rodzaj umowy z firmą maklerską i zapasów wymiany, aby uzyskać niesamowite algorytm jak najbliżej giełdy, jak to możliwe. Trzeba zminimalizować fizyczną odległość między komputerem, w którym znajduje się algorytm, a komputerem, w którym znajduje się system dopasowywania zamówień exchange8217s, dzięki czemu obie mogą wchodzić w intensywny, szybki dialog ze sobą. Istnieje tak wiele podsektora technicznego na temat takiej niskiej latencji bezpośredniej infrastruktury dostępu do rynku. Zwykle, jeśli ktoś chce kupić lub sprzedać akcje, they8217d muszą przejść przez pośrednika, który jest członkiem giełdy chcą kupić lub sprzedać akcje. To waaaaaaay zbyt długo dla handlarzy HFT. Wkręć to, musisz przejść bezpośrednio do serca wymiany bez przechodzenia przez zwykłe procesy maklerskie. Najlepiej, abyś chciał znaleźć sposób na bezpośrednią współpracę z wymianą, co jest fantazyjne, że musisz dosłownie skonfigurować komputer w pokoju obok swoich komputerów. Aby rozwiązać współpracę, sprawdź usługi oferowane przez firmę NYSE. Nasdaq. Giełda w Londynie. Eurex. CME, a nawet Giełdy Papierów Wartościowych w Johannesburgu. Poniżej znajduje się Giełda Papierów Wartościowych w Toyko, która opisuje różnicę pomiędzy jego lokalizacją i obszarem sąsiedztwa (oba źródła zasilania mają 100-200 V, ale obszar współużytkowania ma większą pojemność chłodzenia 8 kVa, więc może być potrzebna że jeśli twój algorytm prawdopodobnie spowoduje stopienie komputera). Oto film promocyjny, o którym się mówi. Giełdy mają całą traturę 8220 połączeń8221 usług. Może to pociągać za sobą ładne wysokiej klasy systemy kablowe i chłodzące, a także dostosowanie się do kanałów premium. Nie trzeba dodawać, że cała tablica pochodzi z (niestandardową) szarpnięciem żargonu - dużo związanego ze stosem technologii - ale w końcu sprowadza się do dość prostego wzoru: wynajmujesz komputer obok wymiany. Zainstalujesz w nim algorytmy. Wymiana następnie wysyła algorytmy duże kody danych za pośrednictwem kabla, algorytmy przetwarzają je i wykonują zlecenia przez kabel. I starasz się zaprojektować sprzęt tak, aby robił to wszystko szybciej niż ktokolwiek inny. Może będziesz siedzieć w biurze, oddalonym o kilka kilometrów, monitorując to wszystko, budując nową wersję systemu. Jeśli potrzebujesz pomocy w ustawieniu tego wszystkiego, możesz skorzystać z pomocy wsparcia i doradztwa w zakresie infrastruktury handlowej o małym natężeniu, np. Sungard. Cisco. Algospan. Dane interaktywne. i Lato Networks. W przeciwnym razie uczyć się od istniejących mistrzów, rzeczywistych firm z branży HFT, które mają już te rzeczy. Podobnie jak najpotężniejsze, za kulisami instytucje, firmy te często mają niejasne, nierozpoznane nazwy i mało informacyjne, nieco niejasne strony internetowe. Zobacz na przykład Virtu. ATD. KCG. Tradebot. Tradeworx. Kapitał płynny. Handel Chopperem. Citadel8217s Tactical Trading Fund. Tower Research i RGM. 1.5: Doskonała elektroniczna sztuka wojenna PIMP MOJA ALGORYTMA Teraz, nie tak, jak te firmy, wszystkie te same strategie. Niektórzy używają analizy statystycznej i arbitrażu różnego rodzaju, podczas gdy inne działają wyłącznie w 8220 strategiach mikrostrukturalnych8221, które wydają się obejmować wiedzę o intymnych elektronicznych odwagach systemów wymiany io tym, jak mogą one być wykorzystane. Można handlować błyskawicznie. które niektórzy twierdzą, że jest formą zalegalizowanego frontu. Możesz robić zakupy z zamówieniami przez 8221order napełnianie 8243 (co HFT gwizdek Dave Lauer wywołuje finansowy atak DDoS). Możesz zamówić zamówienia na całym rynku, np. Pył wróżki, być może próbuje wywołać wybuch 8221-mententowego zapłonu 8220, który wydaje się być formą subtelnej manipulacji na rynku. Niektórzy mają agresywne strategie handlowe mające na celu proaktywne śledzenie trendów i korzystanie z okazji, a inne mogą być bardziej bierne, jak elektroniczne Aikido-boty przy minimalnym wysiłku. It8217s warto przeczytać ten artykuł przez Irene Aldridge, jeśli jesteś zainteresowany niektórymi strategiami. Wprowadzenie to jest również przydatne. Na uboczu, jeśli chcesz poczuć język i ducha sceny, to zawsze warto przeglądać techie dyskusje na temat profesjonalnych quants finansów w takich miejscach jak Forum Wilmott. Ci ludzie są zanurzeni w drobiazgach codziennego finansowania i generalnie mają dobrą znajomość tego. Jeśli grasz na grę z żargonem, sprawdź użytkownika, takiego jak Quantumar, który lubi położyć kokonkowy kowboj finansowy (nie ma to znaczenia, jeśli nie zrozumiesz, ale to jest przydatne do kopiowania tych rozmów na wskazania): 8220Most of HFT to bardzo prosta gra szybkości arbitrażu. Oni albo arb gotówki, jak i kontraktów terminowych lub akcjami, które trafiają do jednego ECN i sprzedają coś gdzieś indziej, albo większość, albo większość pieniędzy, pochodzi z frakcji rabatów w akcjach na rynku. Kilka firm robi milisekundy obrotów handlowych, zdają sobie sprawę, że ktoś wchodzi do zamówień i przeskakują z wyprzedzeniem z zamówień (bo są szybciej dotrzeć do rynku), które naciskają na rynek jednego centa i sprzedają z powrotem do pierwotnego nabywcy8230 używają także flash nakazuje skakać przed wielkimi zamówieniami. Niektórzy zajmują się również książką i próbują handlować. Jest kilka strategii, które wykorzystują w akcjach. Również niektóre firmy szukają rynków opcji i arb delta hedgers. Większość strategii nie ma charakteru matematycznego, ale jest związana z mikrostrukturą rynków 8230. Sklepy są sklepami o wysokiej częstotliwości, do milionów zamówień dziennie, w zależności od liczby rynków i ich aktywnego handlu. Wymagają one głównie naprawdę dobrych zestawów umiejętności C, znajomości interfejsu API po stronie oprogramowania. Po stronie sprzętu wymagają bardzo niskiej znajomości sprzętu, np. Ominięcie stosu i oszukanie jądra. Poszukują również ludzi w sieci lanwan, którzy szybciej przesyłają dane do sieci o kilka mikrosekund. Używają bardzo kosztownych i specjalistycznych urządzeń. Prosty przełącznik, który jest zdecydowanie szybszy koszt 50K8230 Wszystkie dane, które są dostępne dla grup HF, są dostępne dla wszystkich podmiotów gospodarczych, różnica polega na tym, że sprzedają te informacje, zanim będą mogli nawet otrzymać ją w komputerze. Różnica polega na tym, jak szybko można je uzyskać i reagować na rynku. Mają one do czynienia z jednocyfrowymi opóźnieniami w milisekundach w sieciach i komputerach, a nie milisekundami.8221 1.6: (wąska) debata akademicka Z dala od wszystkich wyjaśnień wideo w YouTube. sprawozdawczości dziennikarskiej i dyskusji na temat forum HFT, jest oczywiście również ciało naukowe. Jeśli szukasz solidnych argumentów, a nie w Quantumar8217s w gunslinging 82208217le powiedz mi, jak to jest 8221 ulicznych inteligencji, badani zorientowani indywidualnie mogą przeglądać czasopisma naukowe. Badania naukowe pochodzą z departamentów finansów i ekonomii, nic dziwnego, ale także z kilku innych dyscyplin. Mój przyjaciel, który uczy finanse na poziomie uniwersyteckim, zauważył, że potencjalnym problemem w badaniach HFT jest to, że naukowcy polegają na firmach z branży HFT, aby dać im dane, a zatem są zawsze narażeni na ryzyko intelektualnego zdobycia przez firmy, na których polegają, być może nawet angażują się formy autocenzury. Aby dodać do tego, badania często wydają się być tak suche i techniczne, jak to możliwe, jak wydaje się, że pojawia się w świecie bez polityki, kultury lub historii, a faktycznie ludzi, czyniąc ją śmiertelnie nudną i trudną do przeczytania . Pytania badawcze są wąskie, z obsesyjnym skoncentrowaniem się na kwestiach, takich jak wpływ HFT8217 na płynność i odkrycie cen. W istocie, płynność odnosi się do tego, jak łatwo jest handlować. Jeśli dojdę na rynek i I8217m od razu można sprzedać lub kupić, jest wysoka płynność. Jeśli z drugiej strony zajmie mi dużo czasu na kupno lub sprzedaż, jest niska płynność. Niektóre debaty dotyczące HFT i płynności dotyczą tego, czy HFT dodaje, czy raczej absorbuje płynność. Innymi słowy, czy firmy HFT działają w sieci, pomagają innym uczestnikom handlować łatwiej, czy też przeszkadzają w debacie Debate zawiera pytania, czy płynność, którą oferują, jest realna czy nie. Na przykład robotnicy mogą ciągle sygnalizować, że chętnie handlują, a potem uciekają. Odkrycie cen jest nieco fetyszyzowanym terminem dla procesu, w którym pozornie poprawna cena za coś jest wyliczana przez grupę uczestników rynku 1) reagowanie na informacje przez 2) wprowadzanie zleceń kupna-sprzedaży, które są 3) pośredniczone za pośrednictwem pewnej infrastruktury rynkowej. Więc jeśli firma 827 ogłosiła, że ​​firma ma zamiar zostać bankrutem, a cena akcji gwałtownie unosi się ku górze, to prawdopodobnie prawdopodobnie coś złego w procesie wyszukiwania cen. The question is, does HFT help reveal the true sentiment in a market, or does it just cause instability and weird anomalies like the Flash Crash There is also an emergent body of research on whether what HFT firms do is legal, or constitutes some form of market manipulation or 8220front-running8221 at the expense of other market participants. And, finally, we are starting to see a trickle of articles about the human dimensions of HFT, the actual people who run these operations, the politics of it all, the anthropology and how it reflects the broader trajectory of the global economy. at a later date I will hopefully update this with a proper database of this research 1.7: Research, and lobbying, informs a regulatory debate PRESENT YOUR IMPARTIAL EVIDENCE Much of the news on HFT is about the political battles and the threats of regulators to clamp down on it. Theoretically, the regulatory debate is supposed to be informed by the academic research, but of course we might also suspect that the regulatory debates are equally informed by lobbying . Lobbying itself often takes the form of groups picking particular academic research pieces to showcase to regulators. The Modern Markets Initiative. for example, has curated a heartwarming selection of friendly research articles to back up its claim that HFT creates a market utopia that 8220saves individual investors8217 money by lowering the cost of trades8221 and that it 8220democratises today8217s marketplace8221. When not getting spammed by such transparently self-serving groups, the regulatory bodies have been putting a fair amount of research into this themselves, churning out papers and briefings. They might also receive submissions from those firms and reforms groups that are on the warpath against HFT. This includes groups like Themis Trading. who, in the words of author Michael Lewis, have 8220done more than anyone to explain and publicise the predation in the new stock market8221 (see their extensive collection of critical HFT research ). Other critics include data provider Nanex and the aforementioned David Lauer. There is also a whole raft of renegade financial pundits from the financial blogosphere who speak out against it. Types of regulations that are being suggested include taxation of HFT (something along the lines of a financial transaction tax), and regulations concerning the speed of trading, the order size, and order-to-trade ratio (how many orders a trader can put in, relative to how many times they actually trade). These debates are at various stages in the US, the EU and Asia. Take a look, for example, at the German High-Frequency Trading Act . Incidentally, it8217s worth looking at the dynamics of similar regulatory battles over commodity market speculation. Commodity exchanges like CME Group pointed to a single study by a dude at the University of Illinois to argue for why speculation didn8217t negatively destabilise commodity prices, despite the fact that many other studies argued it did. HFT firms, like commodity trading firms, take advantage of the complexity of the situation and slowness of regulators. They implicitly take the position that 8220until it8217s proven wrong, it8217s right8221, rather than 8220until it8217s proven right, we should take precautions8221. NOTE: If youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer PART 2 (4500 words) Five frames through which to view HFT WHAT DO YOU WANT TO SEE To some extent, I am indifferent as to whether or not HFT disrupts markets. Partly this is because I don8217t take markets to be some kind of holy construct that obviously serve humankind, and that thus cannot be defiled. I mean markets have long been institutions of systematised abuse, where those with more power can use the apparently apolitical act of exchange to extract advantage. But, let8217s for a moment imagine that market infrastructures do generate some kind of mysterious holy force that always makes society better off. What exactly does HFT do to help this Well, the refrain from the proponents is that HFT facilitates liquidity in markets for financial instruments. This statement comes complemented by wrath-of-god like warnings about what will happen if this liquidity is reduced. If you allow liquidity to go down, your grandmothers pension will suffer Goddamn LIQUIDITY is always trotted out like it8217s the greatest service to humankind since fire was invented. Now, I don8217t like to be (too) judgmental, but in the grand scale of societal injustices, 8216slightly lower liquidity in Microsoft shares8217 barely ranks, and in the grand scale of human achievements, 8216slightly higher liquidity in Microsoft shares8217 barely ranks either. It8217s not like the creator of the algorithm has invented a new way to harvest energy from lightning bolts. And certainly, using your university degree in advanced computing to contribute to microscopically more accurate 8216price discovery8217 doesn8217t mean you get to go down in the grand book of human virtue. But of course, this whole appeal to morality from the lobbyists is obviously completely disingenuous. It8217s not like people are getting jobs in HFT firms because theyre possessed with an evangelical desire to improve liquidity to help pensioners. Creating an epic light-speed infrastructure array to exploit microscopic price discrepancies has got about as much to do with helping pensioners as Formula 1 racing has to do with improving transportation for the elderly. 2.1: The unstoppable progress of rational agents without agency WERE INDEPENDENT AGENTS, RESPONDING RATIONALLY TO INCENTIVES Regardless of appeals to the morality of HFT, there is another more subtle line. Note the name of the aforementioned pro-HFT lobby group 8211 The Modern Markets Initiative . The name is a deliberate attempt to paint anyone who is concerned about HFT as an enemy of modern progress, standing in the way of the inevitable triumph of a more efficient, rational world. The tech-as-progress dogma is widely entrenched in our society, like a hard-to-remove piece of social malware that disarms peoples critical impulses. The luddite impulse is ridiculed, rather than celebrated as a healthy skepticism towards tools of the powerful. But this tech fetishism becomes even more entrenched when it meets with the mainstream economics belief in the virtue and inevitability of rational economic agents pursuing self-interest . It8217s here that the dual utopian visions of tech-as-unstoppable-progress and markets-as-unstoppable-progress merge into one stream. If the technology can be built, and provided that some kind of profit can be made by entrepreneurs taking the short-term opportunity to build it, an inertia sets in, an imagined inability to stop the 8216progress8217, regardless of whether it is actually useful in the long term or not. Attempting to stand in the way of such a stream of individual actions is seen as futile, and even unjust, like trying to stop a river flowing down a hill. Indeed, this is part of the implicit background thinking that leads to terms like 8216arms race8217 being used to describe the development of HFT (and other technologies). If one entrepreneur doesn8217t do it, another will . Ever heard a tech person saying you cannot stop technology There is a deep irony to this vision. Above all, there is a distinct lack of agency projected when people insist that 8216this cannot be stopped8217, but it gets coupled with a vision of thousands of entrepreneurs all individually impelled through 8216agency8217 towards something that will occur regardless of whether they choose to make it occur or not. In other words, a kind of agency towards executing a preordained plan. This vision of the rational-agent-without-agency is something that plagues much mainstream thinking on economics, a strange blend of extolling the virtue of the risk-taking individual whilst simultaneously asserting that they8217re irrelevant, mere puppets acting out the will of 8216the market8217. Here, for example, is big-shot venture capitalist Mark Cuban explaining his take on HFT: 8216If you know the game is rigged and that it is legal to participate in this rigged game, would you do everything possible to participate if you could Of course you would . Its a statement dripping in contradictory ambiguity, a vision of independent agents acting like pre-programmed robots that have to abide by some imagined law of economics. MUST. PARTICIPATE. IN. RIGGED. GAME. In reply Id say: No Mark, I am not a character out of an Econ 101 textbook. I am perfectly capable of overriding the impulse to play the rigged game, and to decide to not play it. In saying it is inevitable, you8217re just trying to justify your own inability to do that. The problem, though, is that provided enough people think like Mark, the inertia continues to be presented as natural . a collective action problem portrayed as a liberator of previously unrealised human potential. 2.2: Automation: People create robots to crunch (big) data GOOD DOG, GO FETCH To be one of the aforementioned economic agents in the HFT space, you need to master three things. Firstly, you need to master the physical hardware: the actual wires, cables and microwave towers. Then, you must be able to master the data streams travelling through those wires, to collect it and arrange it in an efficient manner. Then you must be master of the algorithm that knows what to do based on that data. The algorithm is your automated avatar in the marketplace, 8216thinking8217 and acting on your behalf. Your algos must work with lots of data, but it8217s worth noting that not everyone perceives HFT as a realm of 8216big data8217. The hype around big data, to some extent, concerns the growing capability to do real-time processing of huge dams of data (like modelling of climate on supercomputers), but 8216real-time8217 doesn8217t necessarily mean microsecond-level speed. It makes no difference whether it takes you 5 minutes or 20 microseconds to know a hurricane is forming. Much HFT, on the other hand, is more about brute reaction time to a high pressure hose of data, rather than a dam. That said, being able to react at microsecond speed to colossal dams of data is emerging. The HFT company Tradebot (based in this building in Kansas City), has been known to trade a billion shares in one day, making millions of individual trades. In their own words, 8220Market data changes trigger our system to produce new orders in a few hundred nanoseconds. We collect and analyze billions of data rows to find the edge. Our Hadoop cluster is over two petabytes.8221 A Hadoop cluster is an array for holding massive amounts of data, and two petabytes is 2 million gigabytes. How many gigabytes is your computer Regardless of whether all HFT strategies should be considered a realm of Big Data, HFT is a subset of the broader realm of algorithmic trading, which is on the cutting edge of financial data science more generally. To create financial algorithms often first involves 8216back-testing8217 potential algorithms on huge banks of historical market data, essentially engaging in 8220what if I8217d done this between 1980 and the present8221 time-travel exercises. If you find an algo that seems to work on past data, you can crystalise it, then send it to work on real-time data in the present. John Fawcett of Quantopian notes with a certain amount of joy how automated algorithms 8220remove human emotion and bias from trading decisions8221, opening up a brave new world of emotionless finance. You use statistical back-testing to find the most 8216rational8217 strategy, then lock it in a hard-coded shell that 8220never falls prey to sentimental pitfalls8221. You too can now isolate and strip away your emotion from your rationality, automating your rational self in the form of your very own algorithm that you can keep like a pet, or a slave, to do things for you. 2.3: Automation: Robots create (big) data to crunch people NETWORK, OR SPIDERS WEB We tend to understand the concept of actively using technology to achieve certain ends (exercising agency), but we find it harder to conceptualise the potential loss of agency that technology can bring. It8217s a phenomenon perhaps best demonstrated with email . I can use email to exercise my agency in this world, to send messages that make things happen. At the same time, it8217s not like I truly have the option to not use email. In fact, if I did not have an email account, I would be severely disabled. There is a contradiction at play: The email empowers me, whilst simultaneously threatening me with disempowerment if I refuse to use it. In HFT and algorithmic trading more generally, we have a range of disparate players each individually working on building little pieces of the infrastructure and single algorithms that they control. When we zoom out though, we might see the outlines of something bigger. While individual algorithms appear as isolated, individual slaves to creative masters, the collective array of algos can begin to seem like a spiders web displaying emergent properties that are not under the control of any particular human master. Or, lets put it this way: Traditional sci-fi depictions of artificial intelligence always show an individual mad genius building and unleashing an overlord computer that then kind of behaves like a hyper-powerful human. In reality, if an overlord technological system was to be built, it would not be a single computer, and neither would it be built by a single mad genius, and it wouldnt really look or feel anything like a human. It would be an interwoven mesh of technology, brought to life by individuals who never explicitly designed it, with no obvious human face or interface. In reality we already see these emergent forms all around us, but are not well trained to recognise them. They emerge whenever humans 8216lock themselves in8217 to reliance on a technological infrastructure, and lock themselves in to a point where they cannot pull back out due to the interconnections and dependencies that subsequently emerge. Those infrastructures then, have a certain power over society, even though their individual nodes may be under the control of particular people. I have previously referred to this concept 8211 albeit in a different context 8211 as the Techno-Leviathan. technological infrastructures that seem passive and neutral but that contain a kind of latent organising force over the people who seemingly contract into using them. So, the question to ponder is whether, when viewed collectively . we might begin to imagine the high speed mesh of individual algorithms as resembling one a giant robot, brought to life by hapless human agents-without-agency, all believing themselves to be shit-hot independent gunslingers of the market, but actually just a disconnected workforce for an emergent AI. Or at least that8217s what Stephen Hawking might argue . Even if you dont buy that abstract concept, we might look into the more concrete realm of individual algorithms to see the shifting power dynamics: there is much excitement about 8216machine-learning8217, the creation of self-teaching algorithms that seek constant enlightenment and self-improvement, creating their own personalities. Artificial intelligence is not just being able to process stuff, it8217s the ability to learn. Indeed, the FT8217s Sally Davies notes that 8220GFT, which works with big global investment banks, has partnered with Massive Analytic, a big data start-up, to develop trading software based on 8220artificial precognition8221. Even if it doesnt end up in the realm of Minority Report, it stands to be a total mindfuck for regulators. 2.4: Disconnected boys with dangerous toys NERD CULTURE MEETS JOCK CULTURE Having detoured into the possibilities for an emergent rise of the machines, we might go back down to earth and look into the human world of HFT. Who are the individual people involved, and what are the cultural dynamics Obviously there are many different types of people involved in HFT. Im sure many of them are lovely, but the last algo trader-boy I met was a guy from Ronin Capital who happened to be one of the most condescending assholes I8217ve experienced in a while, coming packaged with one of those heavy-set wrist-watches and a shirt with expensive fibres, both marking out a rising member of the financial elite. He spent a lot of time in the gym, because you dont develop big muscles from sitting behind a computer. This seemed to fit quite well with the pseudo Samurai aesthetic of his firm. If you enter Ronin8217s website, there are gong sounds and pictures of swords, as if the traders behind the interface of the computers want to imagine themselves engaged in hand-to-hand combat with a vicious opponent that could actually kill them. Of course, given that they are probably educated at elite universities, it is unlikely that they8217ve ever had any exposure to actual bodily harm, and probably never will. This is a dynamic in the financial sector more broadly: highly educated people, frequently male, induced into believing they8217re engaged in some kind of mortal combat, despite the fact that they8217re surrounded with abundant opportunities and money, and despite the fact that they8217re sitting in an air-conditioned office at a computer engaged in nothing remotely like combat or physical hardship. This pseudo-battle is perhaps best exemplified by TradeBot, who without a trace of irony state that: The stock market is tough. It owes us nothing. It punishes our mistakes. Others have more money, more power, more connections. We are underdogs. We keep learning. We innovate. Every day is a new fight. Technology is our weapon. We make millions of small trades. We cut losses. We identify opportunities. We focus. The market can be beaten. We love the game. When assessing these banal market-as-mortal-combat statements, I like to use the WWII Grandfather Test . which involves me asking myself what my grandfather would say about it. He was a bomber pilot during WWII and got shot down over Germany, crash-landing a flaming heap of metal on the coastline after probably killing a lot of people with incendiary bombs. Ask your granddad: what do you think about Tradebot8217s battle with the 8216the market8217 I don8217t know about your granddad, but I like to think mine would have said, 8216I have no bloody idea what they are doing, but I know it has no connection to real people living in real places8217 . Seriously Tradebot, if you really think you8217re so tough, go do some shipbreaking in Bangladesh. and you8217ll quickly discover that an actual battle isn8217t a 8216game8217. Indeed, you can always sense something is a realm of cushioned elites when the language is all about 8216players8217 jostling with each other. Sports and games are simulacrums of combat, not actual combat. You only perceive the real world as a 8216game8217 when you8217re in certain types of environments that provide a big cushion to protect you 8211 like an elite, global city, for example. There is a particular urban geography to these infantile computer games. When one is sitting in a nice modern city full of other fairly superficial activities, things like HFT gain a certain legitimacy. They are creatures of urban, tech-centric society, where couches, excel-spreadsheets and lattes abound. It8217s only in such a setting that you can imagine grown adults bickering with each other over the meterage of cable connecting them to a stock exchange. Imagine the furious exec shouting at the co-location manager, 8216Our cable is a metre longer than Tradebot8217s cable, why the fuck did you allow that We8217ve lost a nanosecond8217 It8217s kind of embarrassingly juvenile when you stand back a moment, look through granddad8217s eyes, and watch a serious-faced discussion about whether C or Java will achieve the holy grail of zero latency. We8217re not talking about old-school realpolitik here, where some tycoon is battling another tycoon for control of some vast mining territory. Regardless of whether HFT is damaging or not, its just kind of. um. lame. 2.5: HFT and the financialisation of meaningless noise AS YOU CAN SEE, OUR PRODUCT CAPTURES MEANINGFUL MARKET MOVEMENTS 8216Financialisation8217 is a term laden with various interpretations, but it tends to refer to the increasing importance of the financial sector in overall economic life, the infusion of financial sector norms and morality into everyday culture, and the process by which previously uncommoditised things get turned into financial products that can be traded on financial markets. That8217s a pretty broad description, so I prefer to initially think of financialisation as the end result of things being made 1) ownable 2) investable and 3) tradable. The greater the intensity and extent of these elements, the greater the degree of financialisation of that thing. Ownable means the thing can be claimed by someone, and that they can exclude others from its use. 8216Ownability8217 relies on being able to isolate and separate something off from things around it. For example, the enclosure movement involved turning land into demarcated parcels that could be separated from each other and privately owned Investable means turning the thing owned into an asset that delivers returns over time. While a piece of land might be something that you can own, and have an emotional connection too, you might begin to view it as an asset when it is used to produce yields over time. It might be perceived as a generic investment, rather than a piece of land with a particular history and life Tradable means that asset can be passed on to others Still, moving land from person to person is slow and personal. Land only really gets financialised with it is turned into a generic 8216asset class8217 that disconnected investors can quickly buy into or out of. So, imagine a financialisation process in this sequence: I own a farm. I can use it to make food I own a share in my neighbour8217s farm. I can claim a portion of the produce I own a share in a small private farming company. I get annual monetary dividends and read the reports I own a share in a large publicly traded farming corporation. I get monetary dividends and can sell my shares to others at any point on the stock exchange I own a share in a huge agriculture exchange-traded fund (ETF) that owns shares of farming corporations all over the world I own a share in a hedge fund that rapidly trades a portfolio of such ETFs, and bets on such ETFs via derivatives We might say that financialisation is the creeping process by which new frontiers of ownership are isolated, and turned into investable products that a wide, disconnected range of dispassionate investors can emotionlessly slide into and trade with each other. The more distant you are from the thing you8217re invested in, and the easier it is to trade, and the faster the trading, the more disconnection you can experience. But, there is a point when the speed of trading hits a tipping point, and takes you into a realm that is no longer about the farm, or anything real for that matter, at all . This is where HFT take us. While it ostensibly seems to be about the trading of shares on stock-markets (and other things like currencies), in reality HFT has nothing to do with shares. The 8216thing8217, or object that is being traded is not actually a financial instrument, but rather it is the microscopic tremblings of a financial instrument. This is a subtle point to convey. Much normal speculative trading is done fast, with a trader quickly buying something and then trying to sell it to someone else. Nevertheless, there is always a sense of a thing being manipulated in some way. Just like when you are flipping a hot potato, there is always a brief moment of being invested in the heat of the real world, even if fleeting, and there is always some residual awareness that there is some reality to the thing. In the case of a BP share, for example, the share has a reality based the fact that it is a legal claim upon what BP owns. It is thus directly connected to the real world outlook of those oil fields and pipelines. We call traders who make assessments of that reality fundamental traders: They might say I think OPEC is going to decrease supply and thereby boost the price of oil, and thereby boost BPs profit. I will therefore buy this BP share that allows me to benefit from any perceived increase in the value of BP8217s collective assets. The actions of such fundamental traders give rise to a second-degree reality that is exploited by traders who watch the data they generate. We call this technical trading. Such traders may say Market data suggests that a lot of people are currently buying BP shares. I am going to ride with this sentiment. Both of these techniques rely on a type of sentience, an awareness of some external reality and an ability to reason about it. In the case of fundamental trading, its the awareness about some new development in the world of oil. In the case of technical trading, its the awareness of some new trend that is developing among other traders. For something to contain meaning, in the human sense of the word, it should be something that is open to human experience . There are many things that are not open to human experience - for example, perceiving radio waves - and in a sense that takes them out of the realm of meaning. Sure, we can use instruments to detect radiowaves, and try make meaning out of the resultant observations, but radio waves cannot ever really mean anything to us in their raw state. The key thing about a radiowave though, is that its existence does not depend upon human observation. It exists regardless of whether you can perceive it or not. A share is nothing like this. A share, by definition, is a politically constructed claim on a politically constructed company that is run by humans, doing things that are perceivable by humans. Its value does not exist outside of human assessment of how well that is being done, and there is no hidden reality to a company that operates outside the realm of human experience. We cannot say something like well, we cannot see BP, but we know it exists through experiments at CERN . BP, unlike radio-waves, has no microsecond reality. In other words, nothing can meaningfully change in such a legally constructed entity in the imperceptible space of microseconds. Thus, when you in fact do dip into the realm of microseconds, it is highly implausible that an automated trading algorithm is actually being exposed to external 8216outside information8217 that has anything to do with either BPs operations, or observation of an emergent trend in people trading BP shares. At that level, all youre doing is highly precise arbitrage activities in microscopic inconsistencies in peoples perceptions, or perceptions of perceptions, of reality. The activity going on at the molecular microsecond level is by definition, not about the thing being traded. The sheer emotional disconnection engendered by the technological medium, combined with the sheer speed means that this certainly cannot be thought of as trading in things at all. This is the isolation of, and subsequent trading of microscopic, subconscious instability. It is the financialisation of meaningless noise, something that previously wasnt subjected to commodification. The algos have an internal world, like the internal world we see in those electron microscope pictures where tiny, imperceptible flakes of dust appears as a whole landscape with valleys and hills. From the perspective of an atom, that world means a lot, but from the perspective of humans, the internal contours of a speck of dust are irrelevant and meaningless. Likewise, at microsecond level, you8217re trading meaninglessness. In closing: Parasitic algorithmic surrealism One common problem in thinking about HFT, though, is that people8217s minds run away with them. They feel panicked by how alien it seems, having visions of extreme market meltdown as rogue algorithms run everything in a giant psychedelic orgy of routers. Its worth taking a breath before stressing out too much. While it8217s true that the algorithms might exist in serene, unreal bubbles, at some point they are constrained by the reality of the world. Take, for example, the Flash Crash. It was a momentary breach where rogue algorithms painted a warped picture of reality, but minutes later the real world kicked back in and the algos had their collective wills bent back. If Wallmart goes bankrupt, the value of a Wallmart share will tank, and if an algorithm says otherwise, it will be crushed by the legal reality that the shareholders of Wallmart are going to get blasted out of the water. There are probably limits on how much HFT can proliferate. I mean, a parasite relies upon an ecosystem to survive, and in the end, HFT algos have to feed off something. In this case, it8217s probably the big institutional investors - the whales that make up the baseload order flow of the market - that host the HFT parasite. The question is not so much whether HFTs can 8216take over8217 a market, but rather whether they disrupt it, exert a new cost on it, or otherwise cause a nuisance. (of course, if youre an industry lobbyist, you might alternatively suggest that they 8216offer useful services8217 and improve the ecosystem) To me, though, the really interesting question about HFT is not this banal fixation on whether it disrupts markets or not. Its the cultural and political elements. Its how such a ridiculous thing can be viewed as legitimate . And, its the sheer physicality of it, the fact that it appears ephermeral yet relies upon huge real world infrastructure to engage in the essentially meaningless activity. And, it is the geography. Its a technology set that attempts to eliminate distance and time, but perception of distance and time are two main components of a sense of difference between places. Eliminate the sense of distance and the time it takes to get there, and you can create the homogenising illusion of being in many places at once simultaneously. The computer interface at a global HFT firm, presiding over multiple global markets, is an agent of bland homogenisation. Above all, though, HFT is an agent of financial surrealism. We make electricity by burning real fossil fuels dredged out of the Niger Delta, and then waste that running servers doing something that cannot even be represented. Serious-faced men have serious-faced meetings about it, but they might just as well be wearing pink unicorn outfits in a Neverland dream. Seriously, WTF are you doing Further reading: People to follow for up-to-date HFT info And finally. These pieces take me ages to write, so if youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer. Cheers The funny bit about this statement: quotI mean, aerospace engineers do something that8217s pretty complex and I can8217t tell you how they technically do it, but I nevertheless understand what they do in principlequot Is that computers design the flying machines now, and engineers direct the machines which design them. This is a decent overview: aero. stanford. edureportsvkievolutionarykrooa. pdf I39m sure they do Mason. My point here wasn39t so much whether or not computers are involved in aerospace engineering, but rather the fact that we have an intuitive grasp of the end goal of aerospace engineering (which we often don39t have with HFT) Well written and you make some thought-provoking points at the end. I don39t think your understanding of automated trading is particularly nuanced (I run a trading firm) but it does not necessarily detract from your point. Keep in mind that these trading firms are able to make money because there are eager and willing counterparties looking to trade. If you want to argue that the world would be better off if all this short term trading could be somehow abolished, I could be persuaded to agree. Unfortunately no one involved (the buyers -- or more likely agents thereof -- or the sellers, in this market for instantaneous liquidity) are particularly interested in that scenario. Best Introduction of High Frequency trading I have ever read. Great article. Paul Great piece, thanks Would just question your claim about there being no legal or political reality in the microsecond realm. We can make authority over any social category rest with whatever we like, even if that state of affairs is never observed. Brett Scott I explore economic systems.160I wrote160 The Heretic39s Guide to Global Finance: Hacking the Future of Money 160 (Pluto Press: 2017).160I39ve written for publications like The Guardian . Wired, New Scientist, 160 Aeon Mag160 amp CNN 160and have appeared on shows such as BBC World Update . BBC Newsday . the Keiser Report . and Arte TV . 160I39ve worked as a broker, barman and blues musician, and I39m a Fellow at the160Finance Innovation Lab .160I160tweet as160Suitpossum. View my complete profile