G-firstВместе за ГеликомО нас
← Вернуться к ленте
Мой путьОт API до данных для анализа

Где я беру данные для проверки торговых идей

Около 6 мин чтения
Голубой Гелендваген заправляется от колонки с бумажными карточками биржевых графиков и таблиц

Хочется написать алгоритм, нажать кнопку и узнать, сколько он заработал бы. Но перед этой кнопкой есть другая работа: найти историю рынка, которой можно пользоваться без самообмана.

Я начал с Bybit — бессрочных фьючерсов на BTC, ETH и SOL. Данные забираем автоматически через API: программа сообщает бирже, какой инструмент и период ей нужны, а в ответ получает таблицу значений.

Звучит как задача «скачать файл». На практике нужно разобраться, что именно оказалось внутри.

История уже знает будущее

Представим: правило должно купить в 10:03. В архиве есть готовая пятиминутная свеча за 10:00–10:05 — с минимумом, максимумом и ценой закрытия.

Если дать алгоритму эти итоговые значения в 10:03, он получит сведения из следующих двух минут. Тест может стать красивее. Торговать так в реальности не получится.

Поэтому мне нужны не просто цены, а понимание, когда эти цены можно было узнать.

Где брать данные

Есть три основных способа: запросить историю порциями через API, скачать готовый архив или подписаться на поток новых событий. Для накопления большой базы их можно сочетать: архив для прошлого, запросы для дозагрузки, поток для текущих изменений.

Где брать данные
ИсточникКак подключиться автоматическиЧто учитывать
Bybit API — мой нынешний источникПрограмма запрашивает свечи по контракту, интервалу и датам. Публичным рыночным запросам ключ не нужен. Для новых событий есть WebSocket — постоянное соединение с подписками.История приходит порциями. Нужно явно выбрать рынок: покупка самого BTC и бессрочный фьючерс — разные данные.
Архивы Bybit и Binance Data VisionСкрипт скачивает файлы по инструментам и датам, распаковывает и загружает в базу.Удобны для больших периодов, но состав, доступные даты и формат зависят от архива. Это данные соответствующей биржи.
Московская биржа ISSHTTP-запросы к справочникам, свечам и итогам торгов; программа разбирает ответ и сохраняет его.Открытые текущие данные идут с задержкой. Биржа ограничивает открытый доступ ознакомлением; для другого использования нужно согласовать договор.
T‑Invest API — российские акции и другие инструментыБрокерский счёт и токен для чтения; запросы истории, подписки на котировки. Есть годовые архивы минутных свечей.Глубина истории и размер допустимого запроса зависят от инструмента и интервала. Есть лимиты обращений.
Alor API — российский рынокЗапросы истории и подписки на поток. Для авторизованного доступа нужен аккаунт; программа обновляет токен доступа.Часть HTTP-данных доступна без входа с задержкой. Подписки через WebSocket требуют авторизации.
Платные архивы Московской биржиВыбрать нужный набор и период, оформить доступ; настроить импорт получаемых файлов.Подходят, когда нужны отдельные сделки или история заявок. Состав, глубину и условия поставки проверяют до покупки.

Несколько криптобирж можно подключать через библиотеку CCXT. Это переводчик между программой и разными API: уменьшает различия в командах, но не создаёт недоступную историю и не исправляет её качество.

Что ломается по дороге

Что ломается по дороге
СложностьКак с ней работать
Запросили год, получили только частьЗагружать период порциями, сохранять место остановки и продолжать с него после сбоя. Соблюдать лимиты, делать паузы перед повторными запросами.
Между двумя строками пропал часСверять ожидаемую временную сетку, повторно запрашивать доступные данные. Неразрешённый пропуск помечать, а не заполнять придуманными ценами.
Одна площадка показывает одно время, другая — другоеХранить время в UTC. Для российского рынка отдельно учитывать торговые сессии, календарь и режим торгов; отсутствие сделок ночью не считать автоматически поломкой.
Цена акции резко упала после корпоративного событияПроверить дивиденды, дробления и выбранный режим корректировки истории. График цены сам по себе не показывает весь денежный результат владельца акции.

Соединение с потоком тоже может оборваться. После восстановления нужно возобновить подписки и проверить разрыв. Пропущенные свечи иногда можно догрузить через API; все прежние состояния стакана из текущего снимка уже не восстановить.

Что получилось у меня

В одной принятой загрузке по BTC, ETH и SOL за 1 января — 8 октября 2026 года собрано почти 3,9 млн исходных записей. Это цены, открытый интерес и исторические ставки funding. Данные проверены по сохранённым ответам биржи; свежая сверка цен и открытого интереса была выборочной, funding — полной.

Но даже такая проверка не доказывает, что сегодняшняя версия истории была доступна трейдеру в каждый момент прошлого. Это отдельное условие будущего теста, как и комиссии с исполнением сделок.

Мой первый результат здесь — база, к которой можно возвращаться с разными идеями. У данных понятен источник, у пропусков есть отметки, у загрузки — возможность продолжиться после сбоя.

Теперь можно задавать рынку вопросы. И проверять, не подсказали ли мы ему ответ сами.

Дополнение к статье

Наш сервис G1 lab: загрузка, проверка и выгрузка данных — четыре экрана

Наш сервис G1 lab

В проекте «Алготрейдинг 2.0» мы собрали собственный сервис загрузки данных — G1 lab. Сейчас он работает с публичными данными бессрочных USDT-фьючерсов Bybit. Российские источники из основной статьи к нему пока не подключены.

Сервис помогает пройти путь от выбора контрактов до файла для анализа:

  • Собрать историю. Выбрать несколько контрактов, период и наборы данных; создать разовую загрузку или расписание. Очередь учитывает лимиты биржи и сохраняет ход обработки.
  • Проверить результат. Видеть завершение по каждому контракту, найденные пропуски и статус проверки. «Задание завершено» и «полнота подтверждена» — разные характеристики.
  • Посмотреть данные. Отобрать инструмент и период, проверить строки. Из минутной истории сервис рассчитывает и сохраняет свечи от 5 минут до суток.
  • Передать в анализ. Выгрузить нужные наборы и столбцы в CSV или Parquet. В архиве сохраняются описание выборки и контрольные суммы файлов.

Помимо торговых свечей собираются Mark Price и Index Price — расчётные цены биржи, открытый интерес — объём незакрытых контрактов, и фактический funding — ставки периодических расчётов между держателями позиций. Исходные данные хранятся в PostgreSQL, время — в UTC; интерфейс показывает московское время.

Это сервис подготовки данных. Он не размещает заявки и не оценивает прибыльность стратегии. История лучших цен покупки и продажи, ожидаемый funding и комиссии в текущую версию ещё не включены.

Выбор загрузки

Форма создания загрузки

BTCUSDT, ETHUSDT и SOLUSDT: общий период и пять наборов данных. По каждому контракту будет отдельный результат.

Результат по каждому контракту

Завершённая загрузка BTC ETH SOL

Завершённая загрузка BTCUSDT, ETHUSDT и SOLUSDT за 1 января — 8 октября 2026 года включительно по Москве: 3 887 073 записи. В строке каждого контракта можно открыть проверку полноты пяти наборов данных.

Просмотр и фильтры

Экран просмотра данных

Пятиминутные свечи BTCUSDT за первый час 1 января 2026 года по Москве. «5 / 5 мин.» означает, что все исходные минуты свечи на месте. OI и funding здесь не подставлены: история загружена позже, и сервис не подтверждает получение этих сведений к закрытию свечи. Прочерк не означает ноль.

Подготовка выгрузки

Форма настройки выгрузки

Отбор можно перенести в выгрузку и выбрать формат и столбцы. Здесь подготовлена форма для пятиминутных свечей BTCUSDT в Parquet. Файлы выдаются в ZIP вместе с описанием выборки и контрольными суммами.

Рубрика «Мой путь»Вернуться к ленте
О проекте

Вместе за Геликом / G-first

Понимать рынок.
Строить своё.

Помогаем разбираться в устройстве денег и рынка, проверять идеи и принимать решения с пониманием последствий.

Я хочу построить своё дело в алготрейдинге: исследовать стратегии, работать с данными и создавать удобные инструменты. Этот журнал — способ идти длинный путь вместе с читателями. Он не зависит от количества удачных сделок или скорости моего прогресса.

«Гелик» — образ большой цели. У вас она может быть другой. Здесь есть место первому финансовому термину, сложному вопросу и истории о цифрах, которую хочется переслать другу.

Журнал · BLOGАвторский взгляд, обзоры, эксперименты и интерактивные статьи.

Обучение · EDUКурсы с понятной программой, примерами и учебной практикой.

Инструменты · LABМесто, где реальные задачи превращаются в идеи полезных инструментов.

На чём держится доверие

Проверяемые факты связываем с источниками. Отделяем учебную модель от реального опыта. Показываем условия расчёта и границы выводов, не обещаем заработок.

Партнёрские ссылки будем явно маркировать рядом с предложением, чтобы читатель понимал нашу заинтересованность. Открыто объясняем, что получаем мы и какая выгода есть у читателя. Вознаграждение не меняет расчёты и выводы.