Перейти к содержимому

Экспорт данных из Яндекс.Метрики — в ваш ClickHouse

У вас уже есть Метрика. Мы доставляем её raw-данные в ваше хранилище — стабильно, без поддержки коннектора своими силами и без потерь при изменениях API. Два варианта: наш Logs API connector или настройка Data Streaming на стороне Яндекса.

Что доставляем
Raw events

Без агрегации и семплинга

Варианты
Logs API
или Data Streaming

Суточно или близко к real-time

Logs API connector
3 года

Стабильно держим коннектор актуальным

Зачем забирать данные из Метрики в собственное хранилище?

Яндекс.Метрика собирает события сайта внутри своего сервиса. Стандартный UI показывает агрегаты — отчёты по источникам, по поведению. Как только нужно строить собственные модели атрибуции, объединять данные сайта с CRM, считать LTV или ROAS по своим разрезам — данных в UI Метрики становится недостаточно. Нужны сырые события в собственной БД, где их можно объединить со всеми остальными источниками.

DataGo подключается к Метрике двумя способами — через наш Logs API connector или через настройку Data Streaming на стороне Яндекса — и доставляет события в ваш ClickHouse в исходном виде. Дальше эти данные ложатся рядом с расходами из 20+ рекламных систем, заказами из CRM и сессионизацией DataGo — основа для собственного Marketing DWH.

Важно

Опция Data Streaming входит в Метрика.Про или требует отдельной подписки на стороне Яндекса. Если Метрика.Про нет — используем Logs API connector. Он работает на обычной Метрике.

Data Streaming здесь — это опция Яндекс.Метрики. Не путать с продуктом DataGo Streaming — это наш собственный SDK для сайта и приложения.

Метрика.Про можно оформить через нас — мы сертифицированный партнёр Яндекса.

Два способа доставить данные Метрики в ваш ClickHouse

Наш коннектор

DataGo Logs API connector

Собственный коннектор DataGo к Logs API Яндекс.Метрики. Суточная выгрузка raw-данных в ваш ClickHouse. Подходит клиентам без подписки Метрика.Про.

  • Без дополнительных подписок на стороне Яндекса
  • Атомарная суточная выгрузка событий — без частичных загрузок и дублей
  • Все поля Метрики — события, цели, e-commerce object
  • DataGo держит коннектор актуальным при изменениях Logs API
  • Мониторинг доставки и алерты на нашей стороне
Поток Яндекса

Настройка Data Streaming Метрики

Поток событий Метрики в режиме близком к real-time. Сам коннектор существует на стороне Яндекса — мы помогаем с настройкой и приёмкой в ClickHouse.

  • Доставка < 1 минуты — близкий к real-time режим
  • Все события и параметры Метрики
  • DataGo настраивает поток и контур приёмки данных
  • Требует подписку Метрика.Про или Data Streaming на стороне Яндекса
  • Подходит, когда суточной частоты Logs API мало
Сравнение Logs API connector и Data Streaming для экспорта Яндекс.Метрики
Параметр Logs API Data Streaming
Частота 1 раз в сутки Real-time, < 1 мин
Подписка Метрики Бесплатная Метрика Метрика.Про или отдельная подписка
Источник коннектора DataGo (наш коннектор) Яндекс (DataGo помогает с настройкой)
Когда выбирают Суточной частоты хватает Нужен поток в реальном времени

Не уверены, какой вариант ваш — Logs API или Data Streaming? Обсудим на созвоне

Спецификация

Что вы получите в вашем ClickHouse

Сырые события Метрики, без агрегации, в собственной БД клиента. Идентификаторы и параметры — все поля Метрики без обрезок.

Формат данных
Raw events
Без агрегации и семплирования
Идентификаторы
ClientID, UserID, Watch ID
Match с CRM по UserID, web↔app через ClientID
События
Хиты, цели, e-commerce object
Полный объём целей и параметров, без обрезок
Параметры событий
UTM, реферер, гео, девайс
Стандартный набор Метрики
Частота — Logs API
1 раз в сутки
Атомарная выгрузка за прошедший день
Частота — Data Streaming
Real-time, < 1 мин
Доставка на стороне Яндекса
Объём
Без ограничений со стороны DataGo
Ограничения только тарифа Метрики
Хранение
В вашем ClickHouse
Данные принадлежат вам

Logs API connector, который просто работает

Поддерживаем Logs API уже 3 года — для опции 01. У опции 02 (Data Streaming) надёжность — на стороне Яндекса.

01

Устойчивость к изменениям API

API Метрики иногда меняется. Мы держим коннектор актуальным — наблюдаем за изменениями и катим фикс при необходимости.

02

Атомарная выгрузка

Сутки данных всегда выгружаются целиком и за раз. Никаких частичных загрузок и дублей в ClickHouse.

03

Мониторинг доставки

Алерты на нашей стороне при сбое выгрузки. Восстановление пропущенных дней — без дополнительных действий с вашей стороны.

04

Доступ к исторической глубине

При первичном подключении выгружаем историю Метрики за весь доступный период — не только новые события.

Экспорт из Метрики в Marketing DWH DataGo

Fig. 01 · Типовая схема Marketing DWH DataGo

Нажмите, чтобы открыть в полном размере

Экспорт данных из Метрики — часть L1 (Сбор данных). Доставляет события в ClickHouse рядом с DataGo Streaming, расходами и CRM.
Типовая схема архитектуры Marketing DWH DataGo
01

Сбор данных (L1)

Для сбора пользовательских данных с сайта подключается DataGo Streaming или экспорт из Яндекс.Метрики. На этом же слое — импорт расходов из 20+ рекламных систем и данных из CRM.

02

Подготовка (L2)

Поверх raw-данных Метрики рассчитываются сессии и формируются атрибуции — параллельно с другими источниками. Готовые таблицы складываются как витрины данных.

03

Витрины и отчёты (L3)

Над витринами строятся Performance, ROPO, Медийка, SEO и другие отчёты — с разрезами и метриками вашего бизнеса.

Кому подходит экспорт данных из Метрики?

Подходит

Экспорт данных из Метрики имеет смысл для команд, у которых:

  • Уже работает Яндекс.Метрика

    нужны её raw-данные в собственном ClickHouse, а не только UI-отчёты

  • Есть аналитическая команда и SQL-навыки

    хотите строить собственные модели атрибуции и сегментации

  • Нужно объединить Метрику с другими источниками

    расходы из 20+ рекламных систем, заказы из CRM, офлайн-каналы — рядом, в одной БД

  • Готовы соблюсти контур данных

    свой ClickHouse, свои права доступа, своя инфраструктура

Не подходит

Прямо говорим, когда экспорт данных из Метрики не закрывает задачу:

  • Нужны только отчёты в UI Метрики

    экспорт не даст ничего сверху — стандартных отчётов достаточно

  • Нет своей БД и нет планов её разворачивать

    это не SaaS-отчёт, это поток сырых данных в инфраструктуру клиента

Не уверены, ваш ли это случай? Обсудим — подскажем подходящий инструмент, даже если это не экспорт данных из Метрики.

Обсудить проект

Частые вопросы

Шесть вопросов, которые задают чаще всего. Если вашего здесь нет — обсудим на звонке.

Стандартный UI Метрики даёт агрегаты по предзаданным разрезам. Свои модели атрибуции, объединение с CRM, расчёт LTV, кастомные сегменты — на агрегатах не построить.

Нужны события «как они есть», в собственной БД, рядом с другими источниками — расходами рекламы, заказами, офлайн-каналами. Тогда можно строить свои модели и витрины без ограничений UI Метрики.

DataGo Streaming — это наш собственный трекер событий в формате Google Analytics 4, независимый от Метрики и GA. У него своя разметка, свой счётчик, свой SDK для приложений и доставка в близком к real-time режиме.

Экспорт данных из Метрики — это доставка событий, которые уже собирает Метрика, в ваш ClickHouse.

Чаще всего оба источника подключают параллельно: DataGo Streaming — как «свой» поток в формате GA4, экспорт данных из Метрики — для сходимости с её отчётами и для исторических данных.

Для мобильных данных по той же логике у нас есть отдельные коннекторы — экспорт данных из AppMetrica и экспорт данных из AppsFlyer.

Нет. Logs API Яндекс.Метрики доступен в обычной (бесплатной) Метрике. Метрика.Про требуется только для опции Data Streaming — потока в реальном времени.

DataGo держит Logs API connector актуальным. Когда API Метрики меняется — наблюдаем за изменениями и катим фикс при необходимости. Это часть SLA на коннектор — клиенту не нужно нанимать data engineer’а под поддержку Logs API.

Logs API — около 2–3 недель от договора до первых данных в ClickHouse. Параллельно идут юридические и технические шаги: договор, гостевой доступ к Метрике, настройка коннектора, подключение ClickHouse, сверка данных.

Да. Экспорт данных из Метрики может использоваться автономно — без остальной платформы DataGo.

Возможны два сценария:

Команда аналитиков клиента работает с данными напрямую. Мы доставляем raw-данные Метрики в ваш ClickHouse и поддерживаем коннектор. Дальше аналитики на стороне клиента строят витрины, отчёты и модели сами.

Подключаемся по слоям. При необходимости поверх экспорта добавляются Витрины данных, Атрибуция и Отчёты — не обязательно сразу всё.

Подключим экспорт данных из Метрики в ваш ClickHouse

Расскажите про текущий стек — Метрика, ClickHouse, аналитическая команда. Предложим Logs API или Data Streaming и оценим сроки на вашем объёме.

Если сообщите — успеем подготовить первичное предложение к созвону

Текущие основные задачи
Marketing DWH = это