ELT: как устроена загрузка данных до преобразования
ELT (Extract, Load, Transform) — подход к интеграции данных, при котором информацию сначала извлекают из источников и загружают в целевое хранилище, а затем очищают, объединяют и преобразуют средствами целевой аналитической системы. ELT применяют, когда эта система располагает достаточными вычислительными ресурсами, а бизнесу важно сохранять исходные данные для разных аналитических задач.
Как работает ELT
ELT состоит из трёх последовательных этапов: извлечения, загрузки и преобразования. Главная особенность подхода — данные попадают в целевое хранилище до основной обработки.
- Extract — извлечение. Данные копируют из CRM, сайта, мобильного приложения, рекламных кабинетов, учётных систем, файлов, API и других источников. На этом этапе важно получить информацию без потерь и зафиксировать её происхождение.
- Load — загрузка. Извлечённые данные переносят в хранилище, озеро данных или lakehouse. Обычно сохраняют исходную структуру либо выполняют только минимальную техническую подготовку, необходимую для загрузки.
- Transform — преобразование. После загрузки данные очищают, проверяют, дедуплицируют и приводят к общей структуре с помощью вычислительных инструментов аналитической системы. Затем таблицы объединяют, рассчитывают показатели и формируют наборы для аналитики, отчётности или машинного обучения.
Например, компания загружает в хранилище заказы из CRM, события с сайта, расходы на рекламу и статистику рассылок. После загрузки данные сопоставляют по идентификаторам клиентов, унифицируют даты и валюты, исключают дубли. На этой основе рассчитывают выручку по каналам и повторные покупки, а также формируют маркетинговые сегменты.
При ELT исходные данные сначала загружаются в целевое хранилище и только затем преобразуются для аналитики и других задач
Чем ELT отличается от ETL
ELT и ETL решают одну задачу — переносят данные из нескольких источников в единую систему и готовят их к использованию. Различаются порядок этапов и место обработки.
| Критерий | ELT | ETL |
|---|---|---|
| Последовательность | Извлечение → загрузка → преобразование | Извлечение → преобразование → загрузка |
| Место основной обработки | Целевая аналитическая система | Отдельная система или промежуточная среда |
| Что загружается | Исходные или минимально обработанные данные | Структурированные нужным образом данные |
| Требования к целевой системе | Должна располагать инструментами и ресурсами для преобразований | Может получать готовые наборы данных |
| Повторное использование | При сохранении исходного слоя данные можно обработать заново по другим правилам | Возможности зависят от того, что сохранилось после предварительной обработки |
| Типичный сценарий | Современные облачные хранилища, озёра данных и lakehouse | Системы с фиксированной схемой и предварительной проверкой данных |
Если исходный слой сохраняется, при ELT схему и правила аналитики можно менять без повторного извлечения информации из всех источников: достаточно заново обработать уже загруженные данные. ETL удобнее, когда данные требуется очистить, обезличить или привести к строгому формату ещё до попадания в целевую систему.
На практике компании могут сочетать оба подхода. Например, персональные данные маскируют до загрузки, а расчёты, объединение таблиц и построение витрин выполняют уже в хранилище.
Когда ELT подходит для маркетинговых данных
ELT уместен, если данные поступают из большого количества систем, а способы их анализа регулярно меняются. Маркетинговая команда может сначала использовать историю покупок для RFM-сегментации, затем — для расчёта LTV или анализа оттока. Если исходный слой сохраняется, его не приходится заново собирать под каждую задачу.
Подход стоит рассмотреть в следующих ситуациях:
- Компания использует современную аналитическую систему. Её вычислительных ресурсов достаточно для объединения крупных таблиц и регулярного пересчёта показателей.
- Источники имеют разную структуру. Например, необходимо связать события сайта, заказы, расходы на рекламу и реакции на сообщения.
- Исходные данные нужны для аудита и повторного анализа. При изменении бизнес-правил расчёты можно выполнить заново.
- Аналитические требования быстро меняются. Новые отчёты и сегменты создаются на основе уже загруженной информации.
- Одни данные используются несколькими командами. Аналитики, маркетологи и специалисты по продукту формируют из общего исходного слоя разные представления.
ELT необязательно означает пакетную загрузку раз в сутки. Извлечение и загрузка могут выполняться часто или непрерывно, а преобразования — запускаться по расписанию либо при появлении новых данных. Периодичность зависит от источников, архитектуры и допустимой задержки обновления.
Ограничения ELT
Загрузка исходных данных переносит значительную часть ответственности на целевую аналитическую систему и процессы управления информацией.
- Защита данных. В исходном слое могут находиться контакты, история покупок и другие персональные сведения. Права доступа, шифрование, маскирование и сроки хранения следует определить до запуска конвейера. Google Cloud относит управление доступом, шифрование и маскирование чувствительных данных к ключевым требованиям при реализации ELT.
- Качество данных. Сам факт загрузки не делает информацию пригодной для отчётов. Нужны проверки форматов, полноты, уникальности и связей между таблицами. Без них разные команды могут получить несовпадающие показатели.
- Стоимость обработки. Повторные преобразования крупных наборов расходуют вычислительные ресурсы хранилища. Запросы следует оптимизировать, а промежуточные и итоговые таблицы — обновлять с подходящей периодичностью.
- Каталогизация. Если исходные таблицы не имеют понятных названий, владельцев и описаний, хранилище постепенно превращается в набор данных с неясным происхождением. Поэтому ELT требует документации, контроля версий преобразований и отслеживания движения данных.
- Задержка готовности. Загруженная информация ещё не готова к бизнес-применению. Отчёты и сегменты следует строить только после успешного завершения преобразований и проверок.
При выборе ELT оценивают не только скорость загрузки. Важно заранее определить, где хранятся исходные данные, кто имеет к ним доступ, какие проверки выполняются и через какое время информация становится доступна маркетингу.
ELT и Altcraft Platform
Результаты ELT можно использовать в Altcraft Platform: подготовленные клиентские данные передают в профили для сегментации и коммуникаций.
Например, в хранилище рассчитывают дату последней покупки, сумму заказов за год и категорию клиента. Подготовленные значения передают в поля профиля Altcraft, после чего их можно использовать в условиях сегментации и автоматических сценариях.
Преобразованные данные можно передать в Altcraft несколькими способами:
- загрузить из файла;
- импортировать или обновить через API;
- регулярно импортировать из внешней SQL-базы по расписанию.
При импорте колонки источника сопоставляются с полями базы профилей. Существующие записи можно искать по email, телефону, идентификатору профиля или пользовательскому полю.
Передача преобразованных данных из аналитического хранилища в операционные системы — CRM, платформы автоматизации маркетинга или другие рабочие приложения — называется обратным ETL, или reverse ETL. Его задача состоит в активации подготовленных данных, тогда как обычный ELT направляет информацию из рабочих источников в аналитическую систему.
Изучите работу с профилями, данными, сегментами и сценариями на бесплатном курсе Altcraft.
Заключение
ELT — порядок интеграции данных, при котором исходная информация сначала загружается в целевую аналитическую систему, а затем преобразуется её средствами. При сохранении исходного слоя данные можно повторно использовать для новых отчётов, моделей и маркетинговых задач.
ELT требует производительной аналитической системы, разграничения доступа, контроля качества и прозрачной логики преобразований. Если информация должна пройти строгую очистку или обезличивание до загрузки, разумнее использовать ETL либо комбинировать оба подхода.
Читайте по теме
