Перейти к основному содержимому
Перейти к основному содержимому

Руководство по настройке источника Aurora Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает Aurora PostgreSQL-Compatible Edition версии 12 и выше.

Включите логическую репликацию​

Вы можете пропустить этот раздел, если ваша инстанция Aurora уже имеет настроенные следующие параметры:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти параметры обычно заранее настроены, если вы ранее использовали другой инструмент для репликации данных.

Если они еще не настроены, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Aurora PostgreSQL с требуемыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
  1. Примените новую группу параметров к вашему кластеру Aurora PostgreSQL
  1. Перезагрузите ваш кластер Aurora, чтобы применить изменения

Настройка пользователя базы данных​

Подключитесь к вашему экземпляру записи Aurora PostgreSQL как пользователь с правами администратора и выполните следующие команды:

  1. Создайте отдельного пользователя для ClickPipes:

  2. Предоставьте права на схему. В следующем примере показаны права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте права на репликацию:

  4. Создайте публикацию для репликации:

Настройка сетевого доступа​

Контроль доступа по IP​

Если вы хотите ограничить трафик к вашему кластеру Aurora, добавьте документированные статические IP NAT в Inbound rules вашей группы безопасности Aurora.

Чтобы подключиться к вашему кластеру Aurora через частную сеть, вы можете использовать AWS PrivateLink. Ознакомьтесь с нашим руководством по настройке AWS PrivateLink для ClickPipes, чтобы настроить соединение.

Особые соображения для Aurora​

При настройке ClickPipes с Aurora PostgreSQL учитывайте следующие моменты:

  1. Точка подключения: Всегда подключайтесь к конечной точке записи вашего кластера Aurora, так как логическая репликация требует прав записи для создания слотов репликации и должна подключаться к основному экземпляру.

  2. Обработка отказов: В случае отказа Aurora автоматически повысит уровень чтения до нового уровня записи. ClickPipes обнаружит отключение и попытается переподключиться к конечной точке записи, которая теперь будет указывать на новый основной экземпляр.

  3. Глобальная база данных: Если вы используете Aurora Global Database, вам следует подключаться к конечной точке записи в основном регионе, поскольку репликация между регионами уже обрабатывает перемещение данных между регионами.

  4. Соображения по хранилищу: Слой хранения Aurora разделяется между всеми экземплярами в кластере, что может обеспечить лучшую производительность для логической репликации по сравнению со стандартным RDS.

Работа с динамическими конечными точками кластера​

Хотя Aurora предоставляет стабильные конечные точки, которые автоматически направляют трафик к соответствующему экземпляру, вот несколько дополнительных подходов для обеспечения устойчивого соединения:

  1. Для высокодоступных настроек настройте ваше приложение на использование конечной точки записи Aurora, которая автоматически указывает на текущий основной экземпляр.

  2. Если вы используете межрегиональную репликацию, рассмотрите возможность настройки отдельных ClickPipes для каждого региона, чтобы уменьшить задержки и улучшить отказоустойчивость.

Что дальше?​

Теперь вы можете создать ваш ClickPipe и начать принимать данные из вашего кластера Aurora PostgreSQL в ClickHouse Cloud. Убедитесь, что вы запомнили данные подключения, которые вы использовали при настройке вашего кластера Aurora PostgreSQL, так как они будут нужны во время процесса создания ClickPipe.