크립토 트레이딩 전략 백테스트: 자기기만 없이 하는 법

크립토 트레이딩 전략의 백테스팅은 과학처럼 느껴진다. 과거 가격 데이터를 시스템에 입력하고, 우상향하는 자산곡선을 지켜보며, 자신이 엣지를 발견했다고 확신하게 된다. 대부분의 경우, 발견한 것은 과거에 맞아 떨어지는 곡선 하나뿐이다. 진정한 엣지를 발견하는 것과 보기 좋은 백테스트를 만들어내는 것 사이의 구분은 시스템 트레이딩에서 가장 중요한 분기점 중 하나이며, 크립토 시장은 이 판단을 잘못 내릴 경우 그 대가가 유독 크다.

먼저 백테스트가 실제로 무엇인지부터 살펴보자. 백테스트란 고정된 규칙 집합을 과거 데이터에 적용하여, 해당 기간 동안 그 규칙대로 매매했다면 어떤 결과가 나왔을지를 측정하는 작업이다. 백테스트가 알려주는 것은 단 하나다. 특정 데이터셋에서, 그 기간에 존재했던 조건 하에서 해당 규칙들이 어떻게 작동했는가 하는 것이다. 앞으로 무슨 일이 일어날지는 전혀 알 수 없다. 당연한 말처럼 들리지만, 트레이더들은 성과가 좋은 백테스트를 미래 수익성의 증거로 착각하는 실수를 반복한다. 이 두 가지 사이의 간극이 바로 대부분의 시스템 트레이딩 전략이 사라지는 자리다.

인샘플과 아웃오브샘플의 구분은 이 과정에서 규율이 처음으로 드러나는 지점이다. 인샘플 데이터는 규칙을 개발하고 최적화하는 데 사용하는 과거 구간이다. 아웃오브샘플은 완전히 분리하여 보관하다가, 개발이 완료된 후 규칙이 설계된 기간을 넘어서도 일반화되는지를 최종 검증할 때 단 한 번만 사용하는 데이터다. 흔히 저지르는 실수는 가용한 데이터 전체를 대상으로 최적화를 수행하고 그 결과를 백테스트라 부르는 것이다. 실제로 한 일은 과거를 가장 잘 설명하는 파라미터 집합을 찾아낸 것, 즉 예측 엔진이 아닌 기술 엔진을 만든 것이다. 올바른 프로세스는 인샘플로 전략을 구축하고, 과거 데이터의 30~40%를 따로 보관해 두었다가, 모든 파라미터 결정이 확정된 이후에만 해당 구간에서 테스트한다. 아웃오브샘플 성과가 인샘플 대비 급격히 저하된다면, 과적합이 발생한 것이다.

과적합, 즉 커브피팅은 시스템 전략 개발의 핵심 병리다. 모델에 자유도를 충분히 부여할 때, 즉 파라미터, 조건, 필터를 충분히 추가할 때 발생하며, 전략이 구조적인 시장 행동을 학습하는 대신 훈련 데이터를 사실상 암기하게 만든다. 7년치 BTC 시간봉 데이터를 대상으로 12개의 파라미터를 최적화한 전략은, 백테스트 결과가 아무리 훌륭해 보여도 과적합일 가능성이 높다. 과적합 여부를 판단하는 기준은 자산곡선이 아니다. 전략의 논리가 지속될 근거가 있는, 식별 가능하고 반복 가능한 시장 역학에 상응하는지 여부다. 매수자와 매도자가 왜 지속적으로 이런 방식으로 행동해야 하는지를 한 문장으로 설명할 수 없다면, 그 엣지는 최적화 과정에서 생긴 통계적 산물일 가능성이 크다.

샘플 크기 요건은 크립토에서 특히 과소평가되는 요소인데, 트레이더들이 수년치 데이터를 그 자체로 충분하다고 여기기 때문이다. 전략이 드물게 매매한다면 그렇지 않다. 연간 30건의 거래를 3년간 생성하는 전략은 백테스트에 90건의 거래를 확보하게 된다. 엣지 검증에 필요한 통계적 유의성은 결과의 변동성에 따라 다르지만, 최소 200~400건의 거래를 요구한다. 90건의 거래로는 동일한 수익 분포를 몬테카를로 시뮬레이션하면 파국적인 결과에서 탁월한 결과까지, 동일한 기댓값과 일치하는 자산곡선이 광범위하게 도출된다. 90건의 거래에서 확인한 승률과 평균 R은 거의 아무런 신뢰할 만한 정보를 제공하지 못한다. 샘플의 유의미성을 결정하는 것은 시간 단독이 아니라, 매매 빈도에 시간 범위를 곱한 값이다.

크립토에서의 미래 데이터 참조 편향은 주식보다 훨씬 쉽게 무의식적으로 발생할 수 있어 별도의 주의가 필요하다. 전통적인 백테스팅 프레임워크에서 미래 데이터 참조 편향은 주로 미래의 가격이나 지표 값을 사용하여 신호를 생성하는 것을 의미한다. 크립토에서는 더 미묘한 형태로 나타난다. 일봉 종가를 이용하여 당일 진입을 시뮬레이션하는 것은 종가가 확정되기 전에 이미 알고 있었다고 가정하는 것이다. 사후에 집계된 호가창 데이터를 사용하면 실시간으로는 확인할 수 없었던 상태가 개입된다. 많은 크립토 데이터 공급업체들은 거래 데이터로부터 OHLCV 캔들을 재구성하는데, 거래량이 희박한 기간이나 거래소 장애를 처리하는 방법론에서 결과를 체계적으로 왜곡할 수 있는 불일치가 발생한다. 소스 방법론을 꼼꼼히 검증하기 전까지는 데이터에 문제가 있다고 가정하는 것이 맞다.

크립토는 백테스팅을 주식보다 본질적으로 더 어렵게 만드는 구조적 과제를 안고 있다. 대부분의 알트코인의 유동성은 테스트하는 포지션 사이즈에서 실제로 체결이 가능하지 않을 만큼 얕다. 2024년 바이낸스에서 BTC 0.5개를 거래하는 전략은 테스트가 문제없을 수 있다. 동일한 달러 규모로 중소형 알트코인에서 같은 전략을 테스트하면 시장을 자신에게 불리한 방향으로 크게 움직였을 체결을 시뮬레이션하는 것이다. 거래소 장애, 특히 변동성이 극심한 시기의 선물 플랫폼 장애는 어떤 백테스트도 재현할 수 없는 실행 공백을 만들어낸다. 무기한 선물의 펀딩비 체계는 시장 사이클에 따라 급격히 변화하며, 펀딩 비용을 무시한 전략은 백테스트에서는 수익성 있어 보이면서 실제 트레이딩에서는 손실을 볼 수 있다. 수수료 모델링은 세밀하게 이루어져야 한다. 메이커 대 테이커, 단계별 수수료 구조, 명시된 수수료를 넘어서는 실제 슬리피지까지 반영하지 않으면 백테스트는 정의상 낙관적이다.

포워드 테스팅은 과거 검증과 실제 자본 투입 사이를 잇는 다리다. 전략이 인샘플 최적화와 아웃오브샘플 테스트를 통과한 후, 최소 규모로 실제 시장 조건에서 매매하거나, 페이퍼 트레이딩 형태로 진행하되 실제 체결이 더 많은 것을 가르쳐 준다는 점에서 실거래를 권장하며, 라이브 성과가 백테스트가 예측한 통계적 분포와 일치하는지 추적한다. 핵심 질문은 포워드 테스트 기간 동안 전략이 수익을 냈는지 여부가 아니다. 거래별 특성, 즉 평균 수익, 평균 손실, 결과의 분산이 백테스트가 예측한 것과 일치하는지 여부다. 유의미한 괴리는 백테스트에 결함이 있었거나, 엣지를 무효화하는 방식으로 시장 환경이 변화했음을 의미한다.

중요한 지표는 대부분의 트레이더가 보고하는 것들이 아니다. 승률은 손익비가 함께 제시되지 않으면 거의 무의미하다. 평균 수익 3R에 승률 35%인 전략은 평균 수익 0.8R에 승률 65%인 전략보다 나은 엣지다. 기댓값, 즉 위험에 노출된 단위당 평균 수익액으로 (승률 곱하기 평균 수익) 빼기 (패율 곱하기 평균 손실)로 계산되는 값이 가장 중요한 단일 수치다. 샤프 비율 1.0 이상은 변동성 대비 수익률이 적정함을 나타낸다. 최대 낙폭과 회복 팩터, 즉 순이익을 최대 낙폭으로 나눈 값은 전략이 불가피한 연속 손실을 견뎌낼 수 있는지를 보여준다. 기댓값이 높더라도 회복 팩터가 2.0 미만인 전략은 대부분의 트레이더가 실제로 유지하기 어려운 수준의 자금 관리 규율을 요구한다.

실행 가능한 프레임워크는 다음과 같다. 인샘플 데이터로만 구축하고, 모든 파라미터를 확정하고, 아웃오브샘플 데이터에서 단 한 번 실행하고, 결합된 샘플에서 최소 300건의 거래를 확보하고, 데이터 소스의 방법론을 검증하고, 수수료와 슬리피지를 보수적으로 모델링하고, 아웃오브샘플 결과가 수용 가능한 수준이 되기 전까지 포워드 테스팅에 착수하지 않는다. 첫 번째 실행에서 결과가 수용 가능하지 않다면, 통과할 때까지 재최적화하는 것은 올바른 대응이 아니다. 그 재최적화는 인샘플과 아웃오브샘플의 구분을 완전히 붕괴시킨다. 먼저 측정하고, 그 다음 엣지가 실재하는지를 판단하라.