Перейти к содержимому

DataGo Streaming — стриминг событий Web и App в ваш ClickHouse

Стриминг событий в формате Google Analytics 4 — в вашу инфраструктуру. Web и App собираются в единые витрины. Готовый счётчик для Web и SDK для Kotlin, Swift, React Native, Flutter, WebView.

Пропускная способность
50k+ RPS
Доставка до вашей БД
< 10 сек
Uptime за 3 года
99.9 %

Стриминг событий в формате GA4 — в вашу инфраструктуру

DataGo Streaming собирает события с сайта и приложения по структуре Google Analytics 4 и пишет их сразу в ваш ClickHouse. Дополнительно поддерживаем legacy-структуру GA-UA — полезно при миграции с Google-стека.

GA4 — современная структура данных, которая позволяет описать любое событие сайта или приложения без жёстких ограничений Метрики. Поэтому стриминг DataGo построен именно вокруг GA4: больше гибкости в разметке и сразу — единая модель для Web и App.

Важно

Инфраструктура и код — полностью наши. Мы не используем ни код Google Analytics, ни серверы Google. Из GA4 у нас — только схема данных: гибкая, без жёстких ограничений Метрики, и удобная для миграции без переразметки.

Один продукт, две поверхности: Web и App в единой модели данных

Сайт

Web Streaming

  • Привычная структура Google Analytics 4 — без переразметки, если у вас уже стоит GA4
  • Поддержка legacy-формата GA, UA
  • Прозрачный алгоритм расчёта сессий и обогащение ГЕО-информацией по IP
  • Мониторинг и отчёт о полноте и корректности данных
  • Увеличенный размер хита — до 16 КБ (против ~8 КБ у Метрики)
Приложение

App Streaming

Собственное решение для мобильной аналитики с интеграцией через SDK. Структура событий — максимально близкая к GA4, чтобы Web и App склеивались в единые витрины без дополнительных преобразований.

  • Структура данных в формате GA4 — единая модель с Web Streaming
  • Сквозные идентификаторы для авторизованных пользователей в Web и App
  • Единая таблица Web и App сеансов с данными о транзакциях
  • Готовые SDK: Kotlin, Swift, React Native, Flutter, WebView

Инфраструктура, которую доверяют enterprise-командам

01

Три зоны доступности

Сервис работает даже при аварии дата-центра.

02

Kafka с трёхкратной репликацией

События не теряются, стриминг работает стабильно даже при сбоях оборудования.

03

Готовность к нагрузке

Средняя 4 000 RPS с пиками до 10k RPS. Пройдены нагрузочные тесты до 50k RPS.

04

Backup сырых данных на 7 дней

Если ваша база данных временно недоступна, мы храним поток событий и можем повторно загрузить данные после восстановления. Бэкап автоматически очищается через 7 дней.

Что нужно от вашей команды для запуска

Интеграция простая, на большинство задач — 1–2 недели. Разметку событий в коде сайта или приложения делает ваш разработчик — мы как аналитики не правим чужой код.

Мы готовы помочь с формированием системы метрик, чтобы все важные события трекались.

  1. 01

    Разметка событий на сайте через JS

    Web-аналитик / Front-разработчик

    1–2 недели
  2. 02

    Подключение SDK в Android-приложение, разметка, тестирование хитов

    Android-разработчик

    1–2 недели
  3. 03

    Подключение SDK в iOS-приложение, разметка, тестирование хитов

    iOS-разработчик

    1–2 недели
  4. 04

    Отправка информации по заказам

    CRM-команда

    1 день

Также понадобится

Описанная система метрик и доступ к менеджеру тегов для настройки.

Как события превращаются в готовые данные для аналитики

Fig. 01 · Типовая схема Marketing DWH DataGo

Нажмите, чтобы открыть в полном размере

Платформа DataGo — наш контур: разворачиваем и поддерживаем.
ClickHouse и BI — ваш контур: данные у вас.
Типовая схема архитектуры Marketing DWH DataGo
01

Обогащение в нашей платформе

Внутри нашей платформы события проходят через Data Transfer и обогащаются дополнительной информацией — гео по IP, отметки ботов и другая метаразметка. Это происходит до того, как событие приземлится в вашу базу данных.

02

Сессии, атрибуции и витрины

Поверх обогащённых событий мы рассчитываем сессии и формируем атрибуции — параллельно, на той же стадии. Готовые таблицы складываются в ваш ClickHouse как витрины данных — над ними уже строятся BI-дашборды.

03

Коннекторы — отдельным потоком

Отдельно от стриминга работают коннекторы — это ETL-процессы для рекламных расходов, заказов из CRM и других источников. Они тоже приземляют данные в ваш ClickHouse, но идут своим pipeline, не через стриминг событий.

Кому подходит DataGo Streaming?

Подходит

DataGo Streaming сделан для команд, у которых:

  • Много трафика и высокая нагрузка

    пики до 10k RPS, тесты до 50k RPS

  • Исторически много данных в формате GA-UA или GA4

    структура хита привычная, миграция без переучивания команды

  • Нужна независимость от рекламных площадок

    мы не связаны с рекламными системами, поэтому показываем реальную эффективность каждого канала

Не подходит

Прямо говорим, когда мы — не лучший выбор:

  • Меньше 100 000 visits/мес

    бесплатной Метрики хватит

  • Нужен self-service за 2 часа без интеграции

    это не про нас

Сомневаетесь, ваш ли это случай? Обсудим — подскажем подходящий инструмент, даже если это не DataGo.

Обсудить проект

Частые вопросы

Семь вопросов, которые задают чаще всего. Если вашего здесь нет — обсудим на звонке.

Главное отличие — единая модель данных для Web и App. У нас события с сайта и приложения идут в формате Google Analytics 4 (с App-структурой, максимально близкой к GA4) и склеиваются в единые витрины в одной базе данных, без дополнительных преобразований.

В Я.Метрика.Про структура событий Я.Метрики и AppMetrica — это две разные модели, которые потом нужно склеивать между собой отдельно. Это дополнительная работа аналитиков и риск рассогласований.

Дополнительно: DataGo Streaming дешевле, чем Метрика.Про. Сообщите нам количество хитов из Я.Метрики — сделаем для вас персональное предложение.

Если вам требуется именно Метрика.Про — мы являемся официальным партнёром.

Подключение в ваш контур настраиваем согласованно с вашей службой безопасности. Возможные варианты: VPN-туннель, демилитаризованная зона или другой защищённый канал, подходящий под вашу политику. События стриминга попадают в ваш ClickHouse через защищённое подключение.

Вся инфраструктура DataGo находится на серверах в России — в Yandex Cloud. Это полностью соответствует текущим требованиям 152-ФЗ и РКН по нахождению данных на территории Российской Федерации.

Поможем с подбором конфигурации и запустим ClickHouse под ваш профиль нагрузки. Это будет ваш ClickHouse — в вашем облаке (Yandex Cloud, VK Cloud или другом), на вашем биллинге, под вашим контролем. Мы помогаем стартовать и держим связь с вашим IT по операционным вопросам, но владение базой остаётся за вами.

Стриминг идёт через Kafka с трёхкратной репликацией — события не теряются при сбое одной ноды. Платформа развёрнута в трёх зонах доступности Yandex Cloud, сервис работает даже при аварии целого дата-центра.

Если ваша база данных временно недоступна — у нас на стороне есть backup сырых данных на 7 дней. После восстановления вашего ClickHouse мы повторно загрузим события за период недоступности — без участия с вашей стороны. Бэкап автоматически очищается через 7 дней.

> 100+ внутренних метрик и алёртов мониторят инфраструктуру 24/7 — мы реагируем на сбои до того, как клиент их заметит.

Миграция максимально простая. У нас структура событий — GA4, поэтому события переразмечать не нужно, инструменты для переноса исторических данных и параллельной работы со старым стеком — есть. Проходили это с разными клиентами и готовы повторять. Если у вас параллельно стоит Яндекс.Метрика — её raw-данные можно тянуть в ту же базу через экспорт из Метрики для сходимости.

Некоторые наши клиенты используют несколько систем метрик для разных задач. У AppsFlyer сильная система антифрода — для части клиентов это критичный аргумент оставаться на AppsFlyer.

В таких случаях ставим DataGo App Streaming для полноценного сбора событий и склейки с Web в единые витрины. AppsFlyer при этом закрывает вопрос антифрода. Параллельная работа двух систем — рабочий сценарий.

Если хочется не менять существующий стек, а просто доставить raw-данные в свой ClickHouse — у нас отдельные коннекторы: экспорт данных из AppMetrica и экспорт данных из AppsFlyer.

70+

Крупных и средних компаний построили аналитику с DataGo

20% компаний из топ-100 e-commerce работают с нами. Подробные истории клиентов — со схемами архитектуры, реальными метриками и техническими решениями — публикуем в блоге.

Среди клиентов

Поговорим о том, как Streaming впишется в вашу инфраструктуру

Короткий разбор задачи и обсуждение оптимальных путей решения. Что у вас сейчас собирается, какая нагрузка, какие источники, где целевое хранилище — за один звонок проходим основные точки.

Если сообщите — успеем подготовить первичное предложение к созвону

Текущие основные задачи
Marketing DWH = это