Миграция аналитики в Yandex Cloud после отказа от сервисов Google: кейс «Азбуки Вкуса» и DataGo

О том, как настроить сквозную аналитику в обычном e-commerce проекте, написано много кейсов. Но задача сильно усложняется, если у проекта сложная внутренняя инфраструктура: большое количество трафика, источников данных, целевых действий и конверсионных метрик. В этом кейсе совместно с веб-аналитиком «Азбуки Вкуса» Баходиром Сайфуллаевым расскажем, как бесшовно и безопасно провели миграцию аналитического проекта из Google BigQuery в Yandex Managed Service for ClickHouse, сохранив исторические данные и привычную структуру отчётов.

Про «Азбуку Вкуса»

«Азбука Вкуса» — частная российская сеть продовольственных супермаркетов (более 170 точек в Москве, МО и Санкт-Петербурге), развивающая несколько собственных направлений в рамках омниканальной экосистемы: фуд-технологии и фуд-сервисы. Компания работает в формате высококачественной розницы и входит в число лидеров российского рынка по товарообороту на квадратный метр площади магазина.

Причина миграции аналитического проекта

Во второй половине 2022 года стало известно, что продлить лицензию Google Analytics 360 будет невозможно, а использование аналитических сервисов Google грозило существенными рисками:

• потеря доступов российских компаний ко всем аккаунтам Google;
• риск потери текущей архитектуры аналитических проектов;
• несоответствие требованиям безопасности работы с данными.

В случае потери исторических данных и невозможности сбора веб-данных в привычных форматах станет невозможно объективно оценивать эффективность маркетинговых вложений.

Стек «Азбуки Вкуса» до задачи миграции: облачное хранилище Google BigQuery, трекинг web-данных через стриминг OWOX BI, трекинг данных в мобильном приложении через AppsFlyer и импорт расходов из рекламных кабинетов через потоки OWOX BI.

Задачи

• реализовать архитектуру на независимом аналитическом стеке, освободившись от сторонних коробочных сервисов;
• сократить время на переработку отчётов за счёт сохранения структуры данных;
• перенести накопленные исторические данные и обеспечить бесшовность в отчётах;
• учесть требования ИТ-подразделения и службы безопасности о принадлежности всех данных компании без доступа извне.

Решение

Перейти из Google BigQuery на Yandex ClickHouse

Специалисты DataGo выбрали подходящую конфигурацию кластера ClickHouse на основе данных об использовании ресурсов Google BigQuery. Совместно с аналитиками и разработчиками «Азбуки Вкуса» развернули кластер и настроили конфигурацию под бизнес-задачи.

Настроить сбор данных с сайта с помощью DataGo Web Streaming

Задачей было интегрировать безопасный от блокировок веб-трекер, обеспечив максимально схожую структуру данных, привычную аналитикам. Сбор web-данных реализован через клиентский SDK на стороне сайта в связке с собственным backend DataGo. DataGo Streaming собирает хитовые и сессионные данные о поведении пользователей на сайте в Google BigQuery или ClickHouse — это основной продукт DataGo, такие данные лежат в основе любого аналитического проекта.

DataGo Pipelines импортирует данные о рекламных расходах из Яндекс.Директ, ВКонтакте, myTarget, сырые данные по событиям AppsFlyer и из других систем. Объединив данные сайта, мобильного приложения и рекламных кабинетов, маркетолог получает достоверную оценку рекламных усилий.

Проверить качество данных

После интеграции веб-стриминга провели сверку качества: получили сходимость по количеству передаваемых событий, сеансов и уникальных пользователей, а также по распределению трафика между каналами и рекламными кампаниями.

Ограничить доступ к данным

Аналитики реализовали интегрированную архитектуру баз данных внутри одного кластера. Данными первой БД управляли аналитики DataGo, передавая данные во вторую — под управлением аналитиков и архитекторов «Азбуки Вкуса». Такой подход гарантировал безопасное хранение данных компании и исключал доступ контрагентов.

Подключить импорт маркетинговых данных

Для более полного сбора подключили потоки Яндекс.Директ и поток сбора мобильных данных AppsFlyer.

Результат

Миграция аналитического проекта позволила «Азбуке Вкуса»:

• Сохранить исторические данные. DataGo разработал решение для переноса данных из Google BigQuery в Yandex ClickHouse без потерь и с сохранением привычной структуры.
• Использовать безопасный стек, не подверженный санкционным рискам и блокировкам. Технология DataGo Streaming использует независимый трекинг для сбора сырых веб-данных, не подверженный блокировкам.
• Использовать привычную структуру данных. После отключения Google Universal Analytics «Азбука Вкуса» продолжает собирать актуальные данные в первичной структуре Google Analytics 360 с использованием существующей микроразметки Google Tag Manager.

Планы на будущее

• настроить объединённую таблицу сеансов посетителей сайта на событиях до и после миграции, обеспечив бесшовность в отчётах и возможность сравнивать метрики год-к-году;
• интегрировать GA4 и настроить сбор несэмплированных сырых данных с помощью DataGo Web Streaming в формате GA4 — без ограничений и сэмплирования, что повышает качество и точность данных.