ETL: как извлечение, преобразование и загрузка готовят данные для маркетинга
Из каких этапов состоит ETL
- Extract — извлечение. Система получает нужные сведения из баз данных, файлов, CRM, ERP, приложений, API и других источников. Извлечение бывает полным, когда копируется весь набор, или инкрементальным — только новые и изменённые записи.
- Transform — преобразование. Данные очищают, проверяют, объединяют и приводят к структуре, принятой в целевой системе. На этом этапе применяются технические и бизнес-правила.
- Load — загрузка. Подготовленные записи помещают в хранилище данных, CDP или другую целевую систему. Например, в Altcraft профили можно импортировать и обновлять из файлов, через API или по расписанию из внешних SQL-баз. Полную загрузку часто используют при первом переносе данных, а инкрементальную — для последующего добавления и обновления записей.
Порядок операций важен: в ETL исходные записи сначала проходят преобразование и проверку, а уже затем загружаются в целевую систему.
Какие преобразования выполняются в ETL
Этап Transform не сводится к изменению формата файла. Его задача — получить непротиворечивый набор данных, который соответствует структуре и правилам целевой системы.
В ETL-процесс могут входить:
- Очистка. Исправление или исключение некорректных, пустых и повреждённых значений.
- Нормализация. Приведение дат, телефонов, валют, адресов и других значений к единому формату.
- Сопоставление полей. Например,
client_idиз CRM связывается с полемcustomer_idв хранилище. - Дедупликация. Поиск записей, которые относятся к одному человеку, заказу или организации.
- Объединение. Сведения из нескольких таблиц или систем собираются в одну структуру.
- Вычисление. На основе исходных значений рассчитываются новые: общая сумма покупок, дата последнего заказа, число обращений, категория клиента.
- Фильтрация. В целевую систему передаются только поля и записи, необходимые для выбранной задачи.
- Защита информации. Чувствительные значения могут маскироваться, шифроваться или исключаться до загрузки.
Правила преобразования должны быть однозначными. Например, недостаточно потребовать «удалить дубли». Нужно определить, какие поля указывают на совпадение, какая запись считается основной и как объединяются различающиеся значения.
Чем ETL отличается от ELT
| Понятие | Что означает | Главное отличие |
|---|---|---|
| ETL | Extract, Transform, Load — извлечение, преобразование, загрузка | Данные обрабатываются до попадания в целевую систему |
| ELT | Extract, Load, Transform — извлечение, загрузка, преобразование | Исходные данные сначала загружаются в хранилище и обрабатываются уже внутри него |
ELT чаще выбирают, когда целевое хранилище располагает достаточными вычислительными ресурсами и важно сохранить исходные данные для разных способов обработки. ETL уместен, когда структура результата известна заранее, а необработанные или неразрешённые к хранению сведения не должны попадать в целевую систему.
Зачем ETL маркетингу
Маркетинговые данные часто распределены между системами, каждая из которых использует собственные поля, идентификаторы и частоту обновления. ETL создаёт согласованный поток между источниками и системами, где эти сведения будут использоваться.
Основные задачи:
- Формирование единого профиля клиента. Контакты, заказы, обращения, подписки и действия связываются с конкретным человеком по заданным идентификаторам.
- Подготовка данных для сегментации. Маркетолог получает единые признаки: город, статус клиента, сумму покупок, интерес к категории или дату последней активности.
- Запуск событийных коммуникаций. Сведения о регистрации, покупке, незавершённой оплате или смене статуса передаются в маркетинговую платформу. В Altcraft эти данные можно использовать для формирования аудиторий, запуска рассылок и автоматических сценариев.
- Подготовка аналитики. Данные о расходах, действиях пользователей и продажах приводятся к согласованной структуре для расчёта показателей по каналам и кампаниям.
- Миграция между системами. Перед переносом базы поля, статусы и идентификаторы приводятся к структуре новой платформы.
Что предусмотреть при проектировании ETL
Маркетологу не обязательно разрабатывать процесс самостоятельно, но он должен описать, какой результат нужен бизнесу. До настройки ETL стоит согласовать:
- Целевую задачу. Какие сегменты, отчёты или сценарии будут использовать загруженные сведения.
- Источники. Где хранится каждое поле и какая система считается основной при расхождениях.
- Идентификаторы. По каким значениям записи из разных источников относятся к одному клиенту.
- Структуру данных. Какие поля обязательны, какие типы значений допустимы и как обрабатываются пустые данные.
- Правила преобразования. Как нормализуются контакты, статусы, даты, валюты и категории.
- Частоту обновления. Когда сведения должны появиться в целевой системе и допустима ли задержка. Например, в Altcraft регулярный импорт из внешних SQL-баз можно запускать по расписанию, а данные, которые нужны по мере возникновения, передавать через API.
- Обработку ошибок. Где фиксируются отклонённые записи, кто получает уведомление и как запускается повторная загрузка.
- Контроль качества. Как команда отслеживает дубли, пропуски, неожиданные изменения структуры и расхождения между источником и результатом.
- Правила доступа. Какие сведения разрешено передавать, хранить и использовать в маркетинговых коммуникациях.
Заключение
ETL — последовательность извлечения, преобразования и загрузки данных. Она связывает разрозненные источники с хранилищем, CDP или другой целевой системой и приводит сведения к общей структуре до их использования.
Для маркетинга качество ETL влияет на точность профилей, сегментов, отчётов и событийных коммуникаций. При проектировании процесса важно заранее согласовать источники, идентификаторы, правила преобразования, режим обновления и контроль ошибок.
Читайте по теме
