Бэктест
Бэктест — это своего рода игра в машину времени. Берём правило вроде «покупаю при таком-то условии, продаю при таком-то», возвращаемся к прошлому графику, считаем, что торговали по нему механически, как робот, — и складываем все результаты. Поскольку считаем по данным, а не по памяти и ощущениям, это спасает от ловушки избирательной памяти вроде «эх, купил бы тогда — заработал бы».
Например, проверим правило «покупать, когда RSI опускается ниже 30, и продавать через 24 часа». Если за два года на часовом графике сигнал появился 500 раз и в 260 случаях цена через сутки была выше, винрейт — 52%. Подброшенная монета даёт 50%, значит, это правило лишь чуть-чуть лучше монеты — вот что мы узнали.
Смотреть только на винрейт нельзя. Нужно одновременно считать, сколько правило приносит, когда угадывает, и сколько теряет, когда ошибается. При винрейте 52%, если выигрыш даёт +1%, а проигрыш −2%, счёт будет таять. А если вычесть ещё и комиссии за каждую сделку, тонкое преимущество может исчезнуть целиком.
Есть три классические причины, по которым бэктест «ломается». Первая — утечка будущего: если правило незаметно использует информацию, которой в тот момент ещё не было (например, цену закрытия дня до того, как день закончился), результат фальшиво улучшается. Вторая — забытые комиссии и исполнение: в реальности комиссия платится всегда, а исполнить ордер по нужной цене получается не всегда; без этого цифры выходят слишком оптимистичными. Третья — мало примеров: если сигнал появлялся всего 10 раз, даже винрейт 70% может быть чистой случайностью.
Поэтому честный способ использовать бэктест — не «доказать, что правило приносит деньги», а проверить расхожие убеждения цифрами. Услышали «после перепроданности бывает отскок» — посчитайте, как оно было на самом деле, и посмотрите прошлое распределение. Если помнить, что это запись прошлого, а не прогноз будущего, для новичка это лучший способ научиться отличать мифы от данных.
What the data actually shows
Каталог сетапов Barobara и страницы /odds — это и есть результаты таких бэктестов. Мы честно публикуем, сколько раз популярные сигналы на графике биткоина появлялись в прошлом и в каком проценте случаев цена после них росла. Забегая вперёд: у большинства сигналов рост и падение после срабатывания делятся почти поровну. Например, на странице RSI перепроданность (1ч): результаты видно, насколько убеждение «перепроданность — значит, отскок» расходится с реальными цифрами. А сколько от результата отъедают комиссии — на странице комиссий.Common misconceptions
«Высокий винрейт в бэктесте — значит, правило приносит деньги» — частое заблуждение. Винрейт считает только, сколько раз правило угадало, но молчит о том, сколько вы зарабатываете при выигрыше и теряете при проигрыше. Правило с винрейтом 90% может увести счёт в минус, если один проигрыш из десяти оказывается крупным.
«Работало в прошлом — будет работать и дальше» — тоже опасная мысль. Когда настроение рынка меняется, правила, которые раньше отлично работали, часто перестают работать. Бэктест — это запись прошлого, а не гарантия.
FAQ
Q. Чтобы делать бэктесты, обязательно уметь программировать?
Чтобы считать самому — да, понадобится программирование, но начать можно с чтения готовых результатов. Сначала посмотрите открытую статистику по сигналам, как на страницах /odds у Barobara, а когда начнёте считать сами — особенно внимательно учитывайте комиссии и следите, чтобы примеров было достаточно.
Q. Винрейт бэктеста 52% — это хорошо?
Это почти не отличается от подброса монеты (50%), и такое преимущество может целиком исчезнуть после вычета комиссий. К тому же при малом числе примеров сами эти 2 п.п. могут быть случайностью. Не смотрите на винрейт в одиночку — учитывайте число примеров, размер прибыли и убытка и комиссии.