ETL для маркетинга: что это такое и зачем оно нужно

Если открыть вакансию дата-инженера, там почти наверняка будет слово ETL. Звучит как что-то далёкое от рекламы и продаж. На деле это ровно та работа, которую маркетолог или аналитик выполняет руками, когда сводит расход Директа и продажи из CRM в одной таблице перед отчётом.

Что означают три буквы

ETL — это сокращение от Extract, Transform, Load («извлечь, преобразовать, загрузить»). Три шага, в таком порядке:

• Extract (извлечь). Забрать данные из источника — рекламного кабинета, счётчика аналитики, CRM. Это может быть выгрузка через API или просто файл, скачанный из личного кабинета.
• Transform (преобразовать). Привести данные к общему виду: одинаковые названия колонок, одинаковые единицы измерения, убрать дубли, посчитать нужные суммы. Именно здесь чаще всего расходятся ожидания и реальность.
• Load (загрузить). Сложить готовые данные туда, откуда их удобно смотреть и строить отчёты, — в таблицу, базу данных или дашборд.

Если вы когда-либо выгружали отчёт по кампаниям из Яндекс.Директа, копировали в него данные из Метрики и подписывали строки вручную — вы уже делали ETL, просто без автоматизации и без этого названия.

Почему ручной ETL со временем перестаёт работать

Пока источник один и клиент один, свести данные руками — задача на полчаса. Проблема начинается на масштабе, привычном для агентства или бизнеса с несколькими каналами продаж.

• Источников становится больше. Директ, Метрика, Ozon, retailCRM — у каждого свой формат выгрузки, свои названия полей, свой личный кабинет.
• Данные меняются задним числом. Директ уточняет расход за прошлые дни, статусы заказов в CRM меняются. Вчерашняя выгрузка сегодня уже неточная — а вручную это никто не перепроверяет.
• Ошибка не видна сразу. Файл скачался, таблица заполнилась — и то, что часть кампаний не попала в выгрузку из-за истёкшего токена доступа, заметят в лучшем случае через месяц.
• Это отнимает время специалиста, который должен анализировать рекламу, а не выравнивать колонки в Excel.

Как выглядит автоматический ETL на практике

Автоматизация не убирает эти три шага — она убирает из них человека:

1. Extract. Планировщик сам, по расписанию, обращается к API Яндекс.Директа, Яндекс.Метрики, Ozon и CRM и забирает свежие данные — без того, чтобы кто-то заходил в кабинет и жал «выгрузить».
2. Transform. Данные приводятся к единой схеме: расход — в одних единицах, даты — в одном формате, кампании — сопоставлены с визитами и заказами по UTM-меткам.
3. Load. Всё складывается в хранилище (в SBN BI это ClickHouse — база данных, заточенная под быстрые отчёты по большим объёмам), откуда строятся дашборды и выгрузки.

Довесок, без которого ETL для рекламы не заслуживает доверия, — ежедневная сверка: система сама сравнивает, сколько денег потрачено по её данным и сколько говорит API Яндекс.Директа. Если писать про то, зачем это отдельно, разговор длинный — мы разобрали его в статье про ежедневную сверку расхода.

Чем ETL отличается от сквозной аналитики

Термины часто путают, а разница простая:

• ETL — это про то, как данные попадают из точки А в точку Б и приводятся к общему виду. Это «водопровод».
• Сквозная аналитика — это про то, что с этими данными делать: строить воронку «показ → клик → визит → цель → заказ» и считать, какая реклама реально приносит деньги. Подробнее — в статье про сквозную аналитику.

Без исправного ETL сквозная аналитика невозможна: нельзя построить воронку из данных, которые не сошлись, задержались или потерялись по дороге. Что конкретно нужно подготовить перед подключением — короткий чек-лист без лишней теории.

Частые вопросы

ETL — это про программирование, мне нужно нанимать разработчика?

Нет, если использовать готовый сервис вроде SBN BI: настройка сводится к тому, чтобы дать доступ к рекламным кабинетам и CRM, а забор и приведение данных к общему виду сервис делает сам. Писать код для этого не нужно.

Как часто должны обновляться данные при автоматическом ETL?

Обычно — раз в сутки, этого достаточно для большинства решений по рекламе. Расход Директа в любом случае уточняется в течение нескольких дней после факта, поэтому даже мгновенное обновление не отменяет необходимости ежедневной сверки задним числом.

Что будет, если один источник данных временно недоступен?

Хороший ETL-процесс не должен молча это скрывать. В SBN BI перерыв в данных виден в проверке качества данных, а не всплывает через месяц в разговоре с клиентом как сюрприз.

Куда это ведёт

ETL — не самоцель, а фундамент. Если данные не собираются автоматически и не сверяются, любой отчёт сверху — это отчёт по неполным или устаревшим цифрам, как бы красиво он ни выглядел. Напишите нам, если хотите, чтобы сбор данных по вашей рекламе и продажам перестал быть ручной работой.