Размер выборки (N)
Один и тот же «винрейт 70%» может весить совершенно по-разному. Выбросить 7 орлов из 10 подбрасываний монеты — обычное дело: с честной монетой такое случается примерно раз из шести. А вот 700 из 1 000 — практически невозможно. Первые 70% объяснимы случайностью, вторые — доказательство, что монета кривая.
С торговой статистикой то же самое. Винрейт 70% на 10 сделках вполне достижим, даже если реальный «навык» — это подбрасывание монеты (50/50). Куда осмысленнее может быть винрейт 55% на 200 сделках. Сначала важен не размер числа, а то, на скольких случаях оно получено.
У сигналов на графике N особенно мал у редких сигналов. Чем экстремальнее условие (например, RSI проваливается ниже 20), тем меньше случаев даже за несколько лет данных — от силы десятки. Винрейт такого сигнала сильно прыгает от пары новых случаев, и читать его надо осторожнее.
Другая проблема малого N — отбор удачного (черри-пикинг). Перебирая десятки комбинаций условий, чисто случайно наткнёшься на несколько с приличным винрейтом. Показать один удачный результат — выглядит как открытие, но на деле это как хвастаться лучшей из многих серий по 10 подбрасываний монеты.
Поэтому, где бы вы ни встретили винрейт или доходность, рефлекторно спрашивайте: «А N сколько?» Статистику, которая не отвечает на этот вопрос, можно смело отфильтровывать.
What the data actually shows
BaroBara показывает N рядом с каждым винрейтом и ожидаемым результатом, а по комбинациям со слишком малым числом случаев вовсе не делает выводов. На страницы статистики попадают только сигналы, чья частота в прошлом превышает установленный порог. Например, у редкого сигнала вроде глубокой перепроданности RSI (дневной график) случаев мало, и его числа сильно колеблются — обязательно смотрите N на странице. Полный список сигналов — в статистике сигналов.
Common misconceptions
«Угадал 10 раз подряд — значит, мастер?» Если угадывание направления — это 50/50, вероятность 10 попаданий подряд — 1 из 1 024. Кажется мало, но если ставят 1 024 человека, в среднем один угадает всё. В соцсетях виден только этот один, а остальные 1 023 тихо исчезают — это называется ошибкой выжившего. Короткая серия попаданий — слабое доказательство мастерства.
FAQ
Q. Какое N считается достаточным?
Точной границы нет, но на выборках в несколько десятков случаев винрейт обычно гуляет на ±10 п.п. и больше. BaroBara выбрала путь не делать выводов по комбинациям с малым числом случаев. Главное — привычка читать любое число вместе с N.
Q. Если N большое, числу можно верить безоговорочно?
Даже при большом N данные могут быть перекошены в конкретный период (например, бычий рынок), а если характер рынка изменится, статистика разойдётся с реальностью. Большое N — условие необходимое, но не достаточное, и любая прошлая статистика — всего лишь распределение прошлого.