Перейти к основному содержимому
Перейти к основному содержимому

Соедините Airbyte с ClickHouse

Community Maintained
примечание

Обратите внимание, что исходный и целевой интерфейсы Airbyte для ClickHouse в настоящее время находятся на стадии Alpha и не предназначены для переноса больших наборов данных (> 10 миллионов строк).

Airbyte является платформой для интеграции данных с открытым исходным кодом. Она позволяет создавать ELT конвейеры данных и поставляется с более чем 140 готовыми коннекторами. Этот пошаговый учебник показывает, как подключить Airbyte к ClickHouse в качестве назначения и загрузить демонстрационный набор данных.

1. Скачайте и запустите Airbyte​

  1. Airbyte работает на Docker и использует docker-compose. Убедитесь, что вы скачали и установили последние версии Docker.

  2. Разверните Airbyte, склонировав официальный репозиторий на Github и запустив docker-compose up в вашем любимом терминале:

  3. Как только вы увидите баннер Airbyte в вашем терминале, вы сможете подключиться к localhost:8000

    примечание

    В качестве альтернативы вы можете зарегистрироваться и использовать Airbyte Cloud

2. Добавьте ClickHouse в качестве назначения​

В этом разделе мы покажем, как добавить экземпляр ClickHouse в качестве назначения.

  1. Запустите ваш сервер ClickHouse (Airbyte совместим с версией ClickHouse 21.8.10.19 и выше) или войдите в свой облачный аккаунт ClickHouse:

  2. Внутри Airbyte выберите страницу "Destinations" и добавьте новое назначение:

  3. Выберите ClickHouse из выпадающего списка "Destination type", заполните форму "Set up the destination", указав имя хоста ClickHouse, порты, имя базы данных, имя пользователя и пароль, а также выберите, будет ли это соединение SSL (эквивалент флага --secure в clickhouse-client):

  4. Поздравляем! Теперь вы добавили ClickHouse в качестве назначения в Airbyte.

примечание

Для использования ClickHouse в качестве назначения, у пользователя, которого вы будете использовать, должны быть разрешения на создание баз данных, таблиц и вставку строк. Мы рекомендуем создать выделенного пользователя для Airbyte (например, my_airbyte_user) с следующими правами:

3. Добавьте набор данных в качестве источника​

Примером набора данных, который мы будем использовать, являются Данные такси Нью-Йорка (на Github). Для этого учебника мы будем использовать подмножество этого набора данных, соответствующее месяцу января 2022 года.

  1. Внутри Airbyte выберите страницу "Sources" и добавьте новый источник типа файл.

  2. Заполните форму "Set up the source", назвав источник и указав URL файла NYC Taxi за январь 2022 года (см. ниже). Убедитесь, что выбран формат файла parquet, поставщик хранения HTTPS Public Web и имя набора данных nyc_taxi_2022.

  3. Поздравляем! Теперь вы добавили файл источника в Airbyte.

4. Создайте соединение и загрузите набор данных в ClickHouse​

  1. Внутри Airbyte выберите страницу "Connections" и добавьте новое соединение.

  1. Выберите "Use existing source" и выберите Данные такси Нью-Йорка, затем выберите "Use existing destination" и выберите ваш экземпляр ClickHouse.

  2. Заполните форму "Set up the connection", выбрав Частоту репликации (в этом учебнике мы будем использовать manual) и выберите nyc_taxi_2022 в качестве потока, который хотите синхронизировать. Убедитесь, что вы выбрали Normalized Tabular Data в качестве нормализации.

  1. Теперь, когда соединение создано, нажмите "Sync now", чтобы запустить загрузку данных (так как мы выбрали Manual в качестве Частоты репликации).
  1. Ваши данные начнут загружаться, вы можете развернуть вид, чтобы увидеть логи и прогресс Airbyte. Как только операция завершится, вы увидите сообщение Completed successfully в логах:

  1. Подключитесь к вашему экземпляру ClickHouse, используя ваш предпочитаемый SQL-клиент, и проверьте получившуюся таблицу:

    Ответ должен выглядеть следующим образом:

    Ответ будет следующим:

  2. Обратите внимание, что Airbyte автоматически вывел типы данных и добавил 4 столбца в целевую таблицу. Эти столбцы используются Airbyte для управления логикой репликации и записи операций. Более подробную информацию можно найти в официальной документации Airbyte.

    Теперь, когда набор данных загружен в ваш экземпляр ClickHouse, вы можете создать новую таблицу и использовать более подходящие типы данных ClickHouse (подробности).

  3. Поздравляем - вы успешно загрузили данные такси Нью-Йорка в ClickHouse с использованием Airbyte!