퀀트 트레이딩 ≠ 소프트웨어 회사

소프트웨어는 확장되지만, 알파는 약화된다

2026년 7월 28일 게재

FT 최고의 트레이더가 될 수 있을까?

Sinéad O’Sullivan은 하버드 경영대학원의 전 선임연구원이자 항공우주공학 교수였으며, 현재는 다전략 퀀트 헤지펀드인 CFM의 컨설턴트로 일하고 있다.

평생 포커를 한 번도 해본 적이 없다면, 어떤 패에 얼마를 베팅해야 하는지 정확히 알려주는 훌륭한 공식이 있다.

이를 ‘켈리 기준’이라고 하는데, 이는 베팅 규모를 판돈의 크기나 다른 플레이어의 손목에 찬 Richard Mille 시계, 혹은 혈류를 타고 도는 더티 마티니의 잔 수가 아니라 자신의 우위 크기에 맞춰 정해야 한다는 원칙이다. 따라서 자신의 우위가 뒷받침하는 수준 이상으로 베팅하면 더 부자가 되는 것이 아니다. 전 재산을 날리게 된다.

고(故) Jim Simons는 이를 완벽한 모범 사례로 보여줬다. 그의 헤지펀드 Renaissance Technologies는 — 그는 수학자였으니 당연한 일이지만 — 전설적인 Medallion 펀드의 적정 운용자산 규모가 약 100억 달러, 전 세계 주식시장의 약 1만5,000분의 1이라는 사실을 ‘발견했다’.

투자자들이 Medallion의 수익 일부라도 차지하려고 안간힘을 썼음에도, 이 펀드는 20년 동안 그 수준에서 규모를 제한해 왔다. 펀드가 더 커지는 것을 막기 위해 6개월마다 수익을 지급한 것이다. 2003년에는 더 많은 자금을 운용하는 대신 모든 외부 투자자를 내보냈고, 현재는 직원들만으로 구성돼 있다.

이제 무제한 홀덤을 컴퓨터에게 가르치고, 고빈도 매매회사 Tower Research 및 프라하에 기반을 둔 이들의 AI 연구소를 최근 5억 달러로 평가한 벤처캐피털 회사와 손잡은 전직 DeepMind 연구원 3명 이야기로 넘어가 보자. 그 평가에는 주식시장이 정말, 정말 엄청나게 크다는 점도 일부 근거로 작용했다.

TechCrunch가 지난달 말 보도한 내용은 다음과 같다:

포커와 월스트리트의 공통점은 둘 다 강화학습에 매우 적합하다는 것이다. 강화학습은 보상을 통해 자기학습 모델을 유도하는 AI 훈련 기법이다. EquiLibre의 CEO Martin Schmid는 “트레이딩과 시장의 좋은 점은 점수 산정이 매우 간단하다는 것입니다. 에이전트가 얼마를 벌었는지만 보면 되죠”라고 말했다. 이는 단순한 게임 머니가 아니다. 퀀트 기업 Tower Research Capital과 협력해 EquiLibre의 알고리즘은 S&P 500과 Nasdaq에서 매일 수십억 달러 규모의 거래를 실행해 왔다. 이 스타트업은 자사의 에이전트들이 2025년 암호화폐 시장에 도입된 이후, 그리고 현재 주식거래소에서도 좋은 성과를 내고 있다고 주장한다. 또한 “출범 이후 마이너스 수익률을 기록한 달이 단 한 번도 없는 완벽한 기록”을 보유하고 있다고 밝혔다. 이는 매달 투자금 전체가 증가한 채 마감했다는 의미다. 이 스타트업은 AI를 퀀트 헤지펀드에 적용함으로써 자동화가 보편화된 분야에 진출하고 있으며, 성공할 경우 개선된 성과가 빠르게 현금으로 전환될 수 있다. Creandum에 매력적으로 다가온 이유다. [자사의 부사장 캐머런] 셀러스는 이렇게 말했다. 셀러스는 “금융시장에서 트레이딩이 공략할 수 있는 전체 시장 규모는 지구상에서 가장 큰 시장 중 하나이며, 수년에 걸쳐 대부분의 벤처투자 기업 성공 사례를 초라해 보이게 할 정도로 막대한 이익을 창출한 펀드가 셀 수 없이 많습니다”라고 말했다. 다만 그는 EquiLibre가 스스로를 “금융회사가 아니라 연구소를 우선하는 조직”이라고 명확히 규정하고 있다고 덧붙였다.

그렇다면 이런 질문이 제기된다. AI가 퀀트 펀드를 대체하고 있는가? 벤처캐피털은 그렇게 생각하는지도 모른다. 결국 외부에서 보면 퀀트 펀드는 소프트웨어 회사와 매우 비슷하다. 코드와 데이터가 있고, 명문대 출신 엔지니어와 수학자들이 있으며, 백테스트를 거쳐 실제 운용에 투입되는 알고리즘이 있다.

또 SaaS의 단위경제학과 비슷해 보이는 요소도 있다. 사용자 한 명을 더 서비스하는 데 한계비용이 들지 않는 것처럼, 알고리즘을 1달러에 적용하든 수십억 달러에 적용하든 한계비용이 들지 않는다. 이 모든 요소가 어떤 시리즈 B 창업자라도 부러워할 만한, 오른쪽 위로 꾸준히 상승하는 아름다운 손익계산서 그래프를 만들어낸다.

그렇다면 퀀트 펀드가 테크 기업이 아니라면 무엇인가? 실제로는 그보다 훨씬 복잡하다.

수년에 걸쳐 구축해야 하는 고객 기반과, 환매 통지만으로도 빠져나갈 수 있는 막대한 운용자산이 있다. 그리고 그 모든 것의 기반에는 트레이딩 전략들이 놓여 있는데, 이 전략들은 성공할수록 가치가 비선형적으로, 기괴할 정도로 빠르게 훼손된다.

이는 벤처캐피털이 사고 싶어 하는 것과는 정확히, 대칭적으로, 정반대다.

벤처캐피털 투자자는 비선형적으로 가치가 상승하는 거래를 원한다. 사용자가 늘어날수록 제품이 더 좋아지고, 이는 다시 더 많은 사용자를 끌어들이며, 결국 악명 높은 진입장벽을 만들어낸다. 그리고 진입장벽의 세계에서는 모방 기업이 문제가 되지 않는다. 경쟁자는 당신의 기술은 베낄 수 있어도 네트워크는 베낄 수 없기 때문이다. 이것이 이 자산군의 근본적인 철학이다. 세상이 더 많이 사용할수록 더 좋아지는 무언가를 사는 것이다.

반대로 트레이딩 전략은 세상이 더 많이 사용할수록 약해진다. 트레이딩 전략의 존재는 가격이 잘못 책정돼 있다는 전제에 기반하며, 그 가격을 바로잡는 대가로 수익을 얻는다. 결국 그 가격 왜곡은 사라진다. 더 많은 사람들이 그 우위를 이용할수록, 당신의 아이디어를 더 느린 하드웨어에서 실행하는 다른 멍청한 사람들이 늘어나면서 차익거래 기회는 보편화 속으로 사라진다.

그리고 이를 통해 더 많은 자본을 운용하려 한다면—벤처캐피털이 투자를 확대하는 방식이 정확히 그렇다—상황은 훨씬 더 빠르게 악화된다. 가용 유동성에 비해 포지션 규모가 커지고, 당신이 거래하려던 가격을 자신의 주문이 움직이기 시작하기 때문이다. 아, 정말!

게다가 소프트웨어에는 규모의 경제가 있지만 트레이딩에는 규모의 불경제가 있다. 추가 사용자는 비용이 들지 않는 반면 추가되는 1달러에는 세금이 부과되고, 그 세율은 앞서 투입된 모든 달러가 늘어날 때마다 상승한다고 생각해보라.

그렇다면 왜 크리앤덤(Creandum)은 자체 운용자산(AUM)도, 고객도, 트레이더도 없는 상태에서 퀀트 운용사처럼 운영되는 AI 연구소에 역대 최대 규모의 투자금을 집행하려는 것일까? 알파빌은 이 회사의 부사장인 캐머런 셀러스에게 물었고, 그는 어떤 단일 전략도 장기적인 성공을 보장하지 않는다는 데 동의했다. 그는 크리앤덤이 그런 근거만으로는 투자를 집행하지 않았을 것이라고 말했다. 셀러스는 수십 년에 걸쳐 복리로 성장하는 기업들은 한두 가지 통찰을 지키는 대신 끊임없이 새로운 방법을 만들어내기 때문에 그렇게 성장한다고 주장한다.

맞다. 이는 Creandum이 이 연구소가 마법처럼 영원히 지속되는 전략을 찾아냈다고 주장하는 것이 아니라, 기존의 우위가 약해질 때마다 새로운 우위를 계속 만들어내는 공장에 가까운 무언가를 말하고 있음을 시사한다. 그렇다면 정말 공장일까?

Sellers가 제시하는 근거는 오늘날의 모델이 백테스트에서 지난해 모델을 10배 이상 앞섰다는 것이다. 사실일 수도 있지만, 여기에는 두 가지 중대한 문제가 있다. 첫째, 백테스트와 실제 손익계산서 사이의 간극은 시스템 트레이딩에서 악명 높을 만큼 비용이 많이 드는 격차다. 둘째, Sellers는 동일한 계보의 모델이 그저 계속 개선되고 있다고 말한다. EquiLibre가 보여줘야 하는 것은 우위의 개선이 아니라 우위의 교체를 입증하는 증거다.

EquiLibre의 최고경영자 Martin Schmid는 이 곡선의 문제를 전혀 부정하지 않는다. 사실 그는 이에 동의한다. 그는 Alphaville에 헤지펀드에 벤처캐피털을 투자하는 것은 말이 되지 않는다며 “우리는 헤지펀드나 트레이딩 회사가 아니라 기술·AI 기업”이라고 말했다. 그는 벤처 자금이 컴퓨팅에 쓰여 곡선을 올바른 방향으로 뒤집는 모델을 만드는 데 사용된다고 주장한다.

그렇다면 트레이딩은 첫 번째 사업 분야일 뿐이다. 지속 가능한 지식재산은 현실 세계에서 작동하는 AI를 배치하는 방법을 배우는 데 있다. Schmid의 표현대로라면, 프런티어 연구소들의 모델은 “사람들과 대화만 할 뿐”인 현실 세계다. 그는 YouTube나 Waymo를 만들 것을 예상하지 못했던 Google을 예로 든다. Google은 먼저 엄청난 현금을 창출하는 사업을 구축했고, 그 돈이 선택권을 사줬다는 것이다. 그의 말에 따르면 대부분의 신생 AI 연구소는 순서가 뒤집혀 있다. 먼저 연구하고, 수익은 결코 내지 못한다. EquiLibre는 이를 뒤집으려 한다.

이는 신선할 만큼 솔직하다. 하지만 Google의 비유는 다른 방식으로도 볼 수 있다. Google의 문샷 프로젝트들은 복리로 불어나는 현금 사업이 자금을 댄 반면, EquiLibre는 사용하면 고갈되는 종류의 현금 사업 하나로 연구소의 자금을 조달하려 한다.

그러나 거래 기록은 여전히 마케팅 수단으로 작용하고 있다. EquiLibre는 “출범 이후 마이너스 수익률을 기록한 달이 단 한 번도 없는 완벽한 기록”을 보유하고 있다고 말한다. 하지만 퀀트 펀드는 상황이 급격히 악화될 때 어떤 성과를 내는지로 평가해야 한다. 과밀 거래가 갑자기 청산되거나 자금 조달 시장이 불안정해지는 상황은 진정한 우위와 강한 순풍을 가르는 전형적인 환경이다.

예를 들어, 유명한 2007년 8월의 ‘퀀트 대지진’은 수년간 플러스 수익률을 내던 시스템 트레이더들마저 큰 타격을 입혔다. 일부는 견고하고 적응력 있는 시스템을 구축해 빠르게 회복했지만, 그렇지 못한 이들은 몰락했다.

EquiLibre의 마이너스 수익률이 전혀 없었던 달들은 이 점에 대해 아무것도 말해주지 않는다. EquiLibre는 2025년 암호화폐를 대상으로 출범했으며, 이후 주식으로 영역을 확장했다. 그 기간에는 대부분의 자산이 대체로 상승했다. 상승장 속에서 많지 않을 수도 있는 자금만 운용하며 수익성 있는 달을 한 번도 놓치지 않았다는 사실은 회복탄력성의 증거가 아니라, 어쩌면 제대로 된 검증을 받지 않았다는 의미일 수 있다.

이제 켈리 기준으로 돌아가 보자. 켈리 기준은 얼마를 베팅해야 하는지만 알려주는 것이 아니라, 그 베팅의 가치가 얼마인지도 알려준다.

EquiLibre의 우위는 성과가 저하되기 전에 흡수할 수 있는 자본 규모에, 신호의 통상적으로 짧은 수명 동안 거두는 수익을 곱한 값이다. 여기에 투입되는 자본이 EquiLibre의 것이 아니라 Tower Research의 자본이라는 점을 감안해 할인해야 한다. 이 세 요소를 모두 관대하게 평가하더라도, Creandum의 투자 라운드가 시사한 5억 달러의 가치평가보다 훨씬 낮은 가치를 지닌 우위라는 결론에 이를 가능성이 크다.

혼란은 아마도 EquiLibre에 대한 잘못된 분류에서 비롯됐을 수 있다. AI가 갑자기 트레이딩을 소프트웨어 사업으로 바꿔놓은 것은 아니다. 퀀트들은 머신러닝이라는 이름이 붙기도 전부터, 그리고 현재의 AI 열풍이 일어나기 훨씬 전부터 시장에 머신러닝을 활용해 왔다. 퀀트 펀드에서 AI는 연구자들의 작업 속도를 높이고 연구의 질을 향상시키는 도구다. 더 나은 도구가 연구자를 대체하는 것이 아니라, 뛰어난 연구자의 가치를 높이는 것이다. 퀀트에서 제약은 시간이 아니라 아이디어다.

AI가 할 수 없는 일은 퀀트 연구자들이 만들어내는 모든 전략을 규정하는 수학을 바꾸는 것이다. 즉 베팅을 결정하는 것은 초과수익의 우위이고, 그 우위를 얼마나 확장할 수 있는지가 상한선을 결정한다.

퀀트 펀드는 기술 기업이 아니며, 기술 기업 역시 퀀트 펀드가 아니다. 한쪽은 복리로 늘어나는 것을 기준으로 가치가 매겨지는 반면, 다른 한쪽은 소진되는 알파에 따라 성패가 갈린다. 투자자들은 이 둘을 혼동하지 않도록 주의해야 한다.

위험을 평가하고 시장 변동성에 대응하며 전략 수립에 정보를 제공하기 위해 데이터를 활용하는 것