Kripto Strateji Backtesting: Kendinizi Kandırmadan

Bir kripto ticaret stratejisini geriye dönük test etmek bilim gibi hissettirir. Sisteme geçmiş fiyat verilerini besler, öz sermaye eğrisinin yukarı doğru eğimlendiğini izler ve kendinize bir avantaj bulduğunuzu kanıtlarsınız. Çoğu zaman, geçmişe uyan bir eğriden başka hiçbir şey bulmamış olursunuz. Bu ayrım — gerçek bir avantaj keşfetmek ile yaltakçı bir geriye dönük test üretmek arasındaki fark — sistematik ticarette en önemli ayrımlardan biridir ve kripto, bunu yanlış anlamayı alışılmadık ölçüde tehlikeli kılar.

Geriye dönük testin gerçekte ne olduğundan başlayalım. Geçmiş verilere sabit bir kural seti uygulayıp, o kurallara göre o dönem boyunca işlem yapmış olsaydınız ne olurdu diye ölçüyorsunuz. Size yalnızca bir şey söyler: söz konusu kuralların, o pencerede var olan koşullar altında o özgül veri seti üzerindeki performansı. Bundan sonra ne olacağı hakkında hiçbir şey söylemez. Bu kulağa açık gelir, ancak yatırımcılar iyi performans gösteren bir geriye dönük testi düzenli olarak gelecekteki kârlılığın kanıtı olarak yanlış yorumlar. Bu ikisi arasındaki boşluk, sistematik ticaret stratejilerinin büyük çoğunluğunun can verdiği yerdir.

Örneklem içi ile örneklem dışı ayrımı, süreçte disiplinin ilk kendini gösterdiği noktadır. Örneklem içi veriler, kurallarınızı geliştirip optimize etmek için kullandığınız geçmiş penceresidir. Örneklem dışı ise tamamen ayrı tuttuğunuz ve yalnızca bir kez — geliştirme tamamlandıktan sonra — kurallarınızın tasarlandıkları dönemin ötesine genellenip genellenmediğini nihai olarak sınamak amacıyla dokunduğunuz veridir. Tipik hata, mevcut tüm veriler üzerinde optimize edip sonucu geriye dönük test olarak adlandırmaktır. Aslında yaptığınız şey, geçmişi en iyi tanımlayan parametre setini bulmaktır — bu bir tanımlama motorudur, tahmin motoru değil. Doğru bir süreç, inşa için örneklem içini kullanır; geçmiş verilerin yüzde 30 ile 40'ını kilitli tutar ve tüm parametre kararları dondurulduktan sonra yalnızca bu rezerv pencerede test yapar. Örneklem dışı performans örneklem içinden belirgin biçimde bozuluyorsa aşırı uyum sağlamışsınızdır.

Aşırı uyum ya da eğri uydurma, sistematik strateji geliştirmenin temel patolojisidir. Bu durum, modele yeterince serbestlik derecesi eklediğinizde — yeterli parametre, yeterli koşul, yeterli filtre — stratejinin yapısal bir piyasa davranışı öğrenmek yerine özünde eğitim verilerini ezberlemesinden kaynaklanır. Yedi yıllık saatlik Bitcoin verisi üzerinde optimize edilmiş on iki parametreli bir strateji, geriye dönük test görünümü ne kadar mükemmel olursa olsun, neredeyse kesinlikle aşırı uyum sağlamıştır. Aşırı uyumun testi öz sermaye eğrisi değildir. Testin ölçütü, stratejinin mantığının; devam etmesi için bir nedeni olan, tanımlanabilir ve tekrarlanabilir bir piyasa dinamiğine karşılık gelip gelmediğidir. Alıcıların ve satıcıların neden bu şekilde tutarlı davranacağını tek bir cümlede açıklayamıyorsanız, avantaj muhtemelen optimizasyon sürecinizin istatistiksel bir ürünüdür.

Örneklem büyüklüğü gereksinimleri kriptoda yeterince takdir görmez; bunun kısmen nedeni, yatırımcıların yıllarca süren verileri doğası gereği yeterli görmesidir. Eğer strateji seyrek işlem üretiyorsa yeterli değildir. Üç yılda yılda 30 işlem üretен bir strateji geriye dönük testinizde size 90 işlem verir. Avantaj tespiti için istatistiksel anlamlılık, sonuçların ne kadar değişken olduğuna bağlı olarak genellikle minimum 200 ile 400 işlem gerektirir. 90 işlemle, aynı getiri dağılımının Monte Carlo simülasyonu; tamamı aynı temel beklentiyle tutarlı olan, felaket senaryosundan istisnai sonuca uzanan öz sermaye eğrileri üretecektir. 90 işlemde gördüğünüz kazanma oranı ve ortalama R size güvenilir neredeyse hiçbir şey söylemez. Örneğin anlamlı olup olmadığını belirleyen, tek başına zaman değil; işlem frekansı ile zaman ufkunun çarpımıdır.

Kripto'daki ileriye bakış yanlılığı özel bir ilgi hak eder; zira hisse senetlerine kıyasla yanlışlıkla dahil edilmesi daha kolaydır. Geleneksel geriye dönük test çerçevelerinde ileriye bakış yanlılığı tipik olarak bir sinyал üretmek için gelecekteki fiyat ya da gelecekteki gösterge değerinin kullanılması anlamına gelir. Kriptoda bu durum daha ince biçimlerde ortaya çıkar. Gün içi girişleri simüle etmek için günlük kapanış fiyatlarını kullanmak, kapanışı gerçekleşmeden önce bildiğinizi varsayar. Sonradan toplanan emir defteri verilerinin kullanılması, gerçek zamanlı olarak mevcut olmayan bir durumu sisteme dahil eder. Pek çok kripto veri sağlayıcısı, işlem verilerinden OHLCV mumlarını yeniden oluşturur ve seyrek işlem gören dönemleri ya da borsa kesintilerini ele alma yöntemi; sonuçları sistematik biçimde çarpıtabilecek tutarsızlıklar yaratır. Kaynak metodolojisini dikkatle doğrulayana kadar verilerinizde sorunlar olduğunu varsayın.

Kripto, geriye dönük testi hisse senetlerine kıyasla esaslı ölçüde zorlaştıran yapısal güçlükler sunar. Çoğu altcoinde likidite, simüle edilen doldurmalarınızın test ettiğiniz boyutlarda gerçekleştirilebilir olmayacağı kadar zayıftır. 2024 yılında Binance'te işlem başına 0,5 BTC yürüten bir strateji sorunsuz test ediliyor olabilir. Eşdeğer dolar büyüklüğünde orta seviye bir altcoin üzerinde test edilen aynı strateji, piyasayı önemli ölçüde aleyhinize hareket ettirecek doldurmalar simüle etmektedir. Özellikle yüksek volatilite dönemlerinde vadeli işlem platformlarındaki borsa kesintileri, hiçbir geriye dönük testin kopyalayamayacağı icra boşlukları yaratır. Sürekli vadeli işlemlerdeki fonlama oranı rejimleri piyasa döngüleri boyunca büyük ölçüde değişir ve fonlama maliyetlerini göz ardı eden bir strateji, canlı işlemde para kaybederken kârlı görünebilir. Ücret modellemesi ayrıntılı olmalıdır — yapıcı ile alıcı, kademeli yapılar ve belirtilen ücretin ötesindeki gerçekleşen kayma — yoksa geriye dönük test tanım gereği iyimserdir.

İleriye dönük test, geçmiş doğrulama ile canlı sermaye kullanımı arasındaki köprüdür. Bir strateji örneklem içi optimizasyonu ve örneklem dışı testi geçtikten sonra, gerçek piyasa koşullarında minimal boyutta — ya da kağıt üzerinde, ancak gerçek icra daha fazlasını öğretir — işlem yapıp canlı performansın geriye dönük testin öngördüğü istatistiksel dağılımla örtüşüp örtüşmediğini takip edersiniz. Temel soru, stratejinin ileriye dönük test penceresi boyunca para kazanıp kazanmadığı değildir. Temel soru şudur: işlem bazındaki özellikler — ortalama kazanç, ortalama kayıp, sonuçlardaki varyans — geriye dönük testin öngördükleriyle tutarlı mı? Belirgin sapma, ya geriye dönük testin hatalı olduğu ya da piyasa koşullarının avantajı geçersiz kılacak biçimde değiştiği anlamına gelir.

Önemli olan metrikler, çoğu yatırımcının raporladıkları değildir. Kazanma oranı, ödeme oranı eklenmeden neredeyse anlamsızdır. Yüzde 35 kazanma oranı ile 3R ortalama kazanan, yüzde 65 kazanma oranı ile 0,8R ortalama kazanandan daha iyi bir avantajdır. Beklenti — riske edilen birim başına kazanılan ortalama tutar; (kazanma oranı çarpı ortalama kazanç) eksi (kayıp oranı çarpı ortalama kayıp) olarak hesaplanır — tek en önemli sayıdır. 1,0 üzerindeki Sharpe oranı, getirilerin volatiliteye göre yeterli olduğunu gösterir. Maksimum düşüş ve toparlanma faktörü — net kâr bölü maksimum düşüş — stratejinin kaçınılmaz kayıp serilerinden kurtulup kurtulamadığını ortaya koyar. Yüksek beklentili ancak toparlanma faktörü 2,0'ın altında olan bir strateji; pratikte çoğu yatırımcının sürdüremeyeceği sermaye yönetimi disiplini gerektirir.

Uygulanabilir çerçeve şudur: yalnızca örneklem içi verilerle inşa edin, tüm parametreleri dondurun, örneklem dışı veriler üzerinde bir kez çalıştırın, birleşik örneklemde en az 300 işlem şartı arayın, veri kaynağınızın metodolojisini doğrulayın, ücretleri ve kaymayı muhafazakâr biçimde modelleyin ve örneklem dışı sonuç kabul edilebilir olmadığı sürece ileriye dönük teste geçmeyin. İlk çalıştırmada kabul edilebilir değilse, doğru yanıt geçene kadar yeniden optimize etmek değildir. Bu yeniden optimizasyon, örneklem içi ile örneklem dışı arasındaki ayrımı tamamen ortadan kaldırır. Önce ölçün, ardından avantajın gerçek olup olmadığına karar verin.