Бэктест должен показать, работает ли стратегия. Слишком часто он показывает то, что вы хотите увидеть. Вот четыре ловушки, которые мы встречаем чаще всего, и простая проверка для каждой.
Все цифры на этой странице вымышлены и приведены только для иллюстрации.
1. Без комиссий, фандинга и проскальзывания
Бэктест, который игнорирует издержки, торгует в мире, которого не существует. На реальном рынке вы платите:
- Комиссии за каждый вход и выход.
- Фандинг по бессрочным фьючерсам — каждые несколько часов, пока позиция открыта.
- Проскальзывание и спред: цена исполнения редко совпадает с ценой на графике, особенно на стопах и на быстром рынке.
Небольшое преимущество — самое хрупкое. Представьте стратегию со средним результатом +0,30R на сделку до издержек. Если издержки съедают 0,25R на сделку, остаётся +0,05R. У такой стратегии почти нет запаса на ошибку.
Проверка: прогоните тот же бэктест с реалистичными комиссиями, фандингом и пессимистичным проскальзыванием. Если результат меняет знак, преимущества у вас никогда не было.
2. Слишком мало сделок
Двадцать сделок не позволяют отличить удачу от преимущества. Несколько крупных прибыльных сделок способны сделать любое правило блестящим на короткой выборке.
Магического числа нет, но порядки величин помогают: 20 сделок могут быть удачей, 100 сделок — первый намёк, несколько сотен сделок в разных фазах рынка (тренды, флэт, спокойные и волатильные периоды) — это уже то, с чем можно начинать работать.
Проверка: разбейте результаты по периодам и по рыночным режимам. Если вся прибыль пришлась на один месяц или одно ралли, перед вами история, а не стратегия.
3. Переобучение
Переобучение (overfitting) происходит, когда вы подкручиваете параметры, пока прошлое не станет выглядеть идеально. В итоге стратегия запоминает историю, вместо того чтобы улавливать что-то повторяющееся.
Классический симптом — хрупкость. Допустим, лучший параметр — окно в 20 свечей. При 18 или 22 результат обваливается в убыток. Это преимущество было подгонкой. Устойчивая стратегия деградирует плавно, когда параметр немного сдвигается.
Проверка: сдвиньте каждый параметр примерно на 10% в обе стороны. Затем протестируйте стратегию на периоде, который вы отложили и ни разу не смотрели при её разработке (вне выборки, out-of-sample), или прокатите тест вперёд во времени (walk-forward).
4. Заглядывание в будущее
Заглядывание в будущее (look-ahead bias) означает, что бэктест использует информацию, которой у вас в тот момент быть не могло. Самый частый случай: правило основано на закрытии свечи, а бэктест входит на открытии этой же свечи. Если сигнал известен только в 15:00, самый ранний реальный вход — в 15:00.
Другие формы: использование данных, которые позже были пересмотрены, или тестирование только на активах, которые существуют до сих пор (ошибка выжившего).
Проверка: для каждого правила запишите точный момент, когда становится доступна нужная ему информация. Ни один ордер не должен появляться раньше этого момента.
Чек-лист из 4 пунктов
- Издержки учтены: комиссии, фандинг, проскальзывание.
- Достаточно сделок в нескольких фазах рынка.
- Стабильность при сдвиге параметров и подтверждение на новых данных.
- Никакой информации из будущего.
Стратегия, прошедшая все четыре проверки, не гарантирует прибыль. Это просто стратегия, которой можно начать доверять.
Подход Sunia
Принцип Sunia — «доказано, или ничего»: комиссии учтены, никакого заглядывания в будущее и валидация на данных, которых стратегия никогда не видела. Результаты показывают просадку, а не только кривую доходности, и каждую смоделированную сделку можно объяснить правилом, которое её вызвало.