Урок 4/13. Извлечение и подготовка данных WooCommerce. Часть 2

В этом уроке: — Планирование алгоритма выгрузки в целом — Конфигурация ноды Case Switch Data, для реализации ветвления логики алгоритма — Настройка ноды Rule Engine Variable — Преобразование строкового значения (количества страниц) в целое число — Убираем из атрибутов чтения все, кроме URL — Добавляем ноду Add Empty Rows, чтобы создать список запросов к REST API, по количеству страниц (в виде таблицы с одинаковыми значениями) — Конфигурируем ноду Math Formula, чтобы задать номер страницы, в виде отдельного поля — Добавляем ноду String Manipulation, чтобы включить номер страницы в текст поля URL — Формируем запрос, с помощью ноды GET Request, выгрузка данных по всем страницам — Просмотр полученных результатов выгрузки — Отбираем необходимые поля выдачи – page и body — Добавляем вторую ветку алгоритма, на случай если ни одной страницы не существует — Добавляем аннотацию по блоку алгоритма, связанному с извлечением данных о заказах из WooCommerce — Обсуждаем, каким образом будем обрабатывать извлеченные данные — Добавляем Chunk Loop Start, для обработки страниц в цикле — Добавляем ноду RowID, чтобы иметь отдельное поле по номеру страницы — Добавляем Column Filter, для выделения только поля Body с необходимыми нам данными — Добавляем ноду JSON to Table, чтобы распарсить Body в набор полей таблицы — Транспонируем таблицу с помощью ноды Transpose, чтобы видеть данные в виде строк таблицы (из двух полей атрибут и его значение) — Изменение типа и названия колонки со значением, с помощью ноды Column Rename — Установка необходимо расширения KNIME Expressions, так как в стандартную поставку это не входит — Добавляем Column Expressions, для замены пустых строк на missing value (аналог null) — Добавляем ноду Cell Splitter, для разделения поля keys — Добавляем ноду Row Filter, для удаления строк с URL — Еще одну ноду Row Filter, для удаления метаданных — Еще одну ноду Cell Splitter, для разбиения keys на 2 поля — Добавляем выход из цикла, нода Loop End — Тестируем запуск всего цикла — Займемся переименованием полей, связанных с номером позиции и номера страницы (Column Rename) — Обработка позиций заказов в рамках заков, нода Row Splitter — Нода Pivoting, пивот заказов – получение «плоской» таблицы — Добавляем ноду Constant Value Column, добавляя адреса сайта в качестве отдельного поля На основе реальной задачи будет построено готовое аналитическое решение, которое: — автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform), — сохраняет полученные и обработанные данные в аналитической СУБД Vertica, — визуализирует данные в виде аналитических отчетов в Tableau. Данное решение будет собрано одним единственным специалистом практически на ваших глазах, что позволит убедиться в реализуемости данной задачи, а также позволит примерно оценить свои собственные силы в создании таких аналитических решений. В состав курса входит солидное домашнее задание, безусловно, с подробным разбором его решения. В качестве реальной задачи выбран интернет-магазин, для которого необходимо построить аналитику по эффективности продаж, а также эффективности рекламных каналов, использующихся для привлечения покупательского трафика. Ни одно из существующих на рынке «коробочных» аналитических решений, таких как встроенные отчеты в «e-commerce движках» или встроенная аналитика по тому или иному маркетинговому каналу (а ведь каждый канал, будь то соцсеть, медийная или контекстная реклама, имеет свой личный кабинет и свой формат встроенной аналитики), не позволяет оценить картину в целом, с возможностью детализации одновременно и до конкретной покупки клиента, и до рекламной кампании. Тем не менее, бизнес зачастую задает вопросы на стыке маркетинга и продаж. Именно поэтому, спрос на подобные аналитические решения существует. И построить их самостоятельно не так и сложно. Оставайтесь с нами до конца, и мы покажем, как это сделать своими собственными руками!