on.nemtina/DD.WellWorkover.Cloud

Fork 0

forked from ddrilling/AsbCloudServer

ngfrolov e8bbff2d3c

fix doc

2023-12-01 17:41:39 +05:00

12 KiB

Raw Permalink Blame History

Репликация данных PostgreSQL

1. Требования

Primary и Replica сервера должны принадлежать одной версии postgreSQL
Сервера должны иметь удаленный доступ

2. Настройка Primary-сервера

Открыть postgres.conf на редактирование

cd /etc/postgresql/15/main/

sudo nano postgresql.conf

В postgres.conf найти запись listen_addresses и добавить туда ip standby-сервера

listen_addresses = 'localhost, <ip standby-сервера>'

Открыть клиент для работы с postgres

sudo -u postgres psql

Создать пользователя с атрибутом REPLICATION.
P.S: В данном примере создается пользователь с логином replicator и паролем q

CREATE USER replicator WITH REPLICATION ENCRYPTED PASSWORD 'q';

Открыть на редактирование файл pg_hba.conf

cd /etc/postgresql/15/main/

sudo nano pg_hba.conf

Вставить в pg_hba.conf запись. Запись вставлять после комментария "Allow replication connections from localhost..."
Данные для вставки записи:

replicator - имя пользователя, созданного на предыдущем шаге
<ip подсети>, например, 192.168.0.0/24

host   replication     replicator      192.168.0.0/24      md5

Рестарт сервера

sudo systemctl restart postgresql

3. Настройка replica-сервера

Остановить сервер

sudo systemctl stop postgresql

Важно! Зайти под пользователем postgres

sudo su - postgres

Сделать резервную копию содержимого /var/lib/postgresql/15/main/ в папку main_old

cp -R  /var/lib/postgresql/15/main/ /var/lib/postgresql/15/main_old/

Удалить папку main

rm -rf /var/lib/postgresql/15/main/

Используя утилиту basebackup создать базовую резервную копию с правами владения postgres (либо любого пользователя с соответствующими разрешениями).

pg_basebackup -h <ip primary-сервера> -D /var/lib/postgresql/15/main/ -U replicator -P -v -R -X stream -C -S slaveslot1

где: /var/lib/postgresql/15/main/ - каталог replica-сервера

Убедиться, что в папке main созданы файлы standby.signal и postgresql.auto.conf.

ls -ltrh /var/lib/postgresql/15/main/

Запустить сервер

systemctl start postgresql

4. Проверка настроек

Подсоединиться к primary-серверу

sudo -u postgres psql

На primary-сервере выполнить команду

SELECT * FROM pg_replication_slots;

Убедиться, что в представлении отображается слот репликации с именем slotslave1
На standby-сервере выпонить команду

SELECT * FROM pg_stat_wal_receiver;

Убедиться, что появилась запись с ip primary-сервера
На primary - сервере проверить режим репликации. Он может быть синхронным или асинхронным. Для проверки необходимо выполнить команду

SELECT * FROM pg_stat_replication;

Сделать рестарт primary-сервера.
Внести запись в любую таблицу базы данных primary-сервера
Убедиться, что соответствующая запись появилась в таблице базы данных standby-сервера
Попытаться внести запись в таблицу базы данных standby-сервера.
Убедиться, что операция завершилась с ошибкой

cannot execute OPERATION in a read-only transaction

5. Установка PgPool-II

Установить на primary-сервер pgpool2 и postgresql-14-pgpool2

apt -y install pgpool2 postgresql-15-pgpool2

Установить на standby-сервер только postgresql-14-pgpool2

apt -y install postgresql-15-pgpool2

Далее все настройки выполнить на primary-сервере

Зайти на редактирование в конфигурационный файл pgpool2

sudo nano /etc/pgpool2/pgpool.conf

Задать параметры следующим образом:

backend_clustering_mode = 'streaming_replication'
listen_addresses = '*, <ip standby-сервера>'
port = 9999
___
backend_hostname0 = '<ip primary-сервера>'
backend_port0 = '<порт primary-сервера>'
backend_weight0 = 0
backend_data_directory0 = '/var/lib/postgresql/15/main'
___
backend_hostname1 = '<ip replica-сервера>'
backend_port1 = '<порт replica-сервера>'
backend_weight1 = 1

___
enable_pool_hba = on
log_statement = on
log_per_node_statement = on
pid_file_name = "pgpool.pid"
load_balance_mode = on
statement_level_load_balance = on
sr_check_period = 1
sr_check_user = '<имя пользователя>'
sr_check_password = '<пароль пользователя>'
health_check_period = 10
health_check_user = '<имя пользователя>'
health_check_password = '<пароль пользователя>'

Поскольку enable_pool_hba указан в режиме on, это значит, что Pgpool-II будет использовать pool_hba.conf для аутентификации клиента. Поэтому открываем на редактирование pool_hba.conf

sudo nano /etc/pgpool2/pool_hba.conf

Добавить строку

host      all      all      <ip подсети>     md5

Pgpool-II извлекает пароль пользователя из файла pool_passwd

sudo nano /etc/pgpool2/pool_passwd

Файл паролей представляет собой текстовый файл следующего формата:

пользователь1:пароль1
пользователь2:пароль2

Файл может содержать 3 типа паролей. Pgpool-II идентифицирует тип формата пароля по его префиксу, поэтому каждая запись пароля в pool_passwd должна иметь префикс формата пароля.

Обычный текст : пароль в текстовом формате с использованием префикса TEXT (например, TEXTmypassword ) .
Зашифрованный пароль AES256 : зашифрованный пароль AES256, используя префикс AES (например, AESmzVzywsN1Z5GABhSAhwLSA== ) .
Хешированный пароль MD5 : хешированный пароль MD5, используя префикс md5 (например, md5270e98c3db83dbc0e40f98d9bfe20972 ) .

В примере в качестве пароля используется обычный текст (пароль q)

postgres:TEXTq

Запустить pgpool

sudo pgpool -n

Убедиться, что процесс успешно запущен и подключены 2 ноды с разными индексами. В данном примере для primary node установлен индекс 0, а для standBy ноды установден индекс 1


2023-09-14 06:08:08.339: main pid 3941: LOG:  find_primary_node: primary node is 0
2023-09-14 06:08:08.339: main pid 3941: LOG:  find_primary_node: standby node is 1
2023-09-14 06:08:08.343: pcp_main pid 3977: LOG:  PCP process: 3977 started
2023-09-14 06:08:08.343: sr_check_worker pid 3978: LOG:  process started
2023-09-14 06:08:08.345: health_check pid 3979: LOG:  process started
2023-09-14 06:08:08.349: health_check pid 3980: LOG:  process started
2023-09-14 06:08:08.559: main pid 3941: LOG:  pgpool-II successfully started. version 4.3.5 (tamahomeboshi)
2023-09-14 06:08:08.662: main pid 3941: LOG:  node status[0]: 1
2023-09-14 06:08:08.662: main pid 3941: LOG:  node status[1]: 2

При старте pgpool возможны следующие ошибки:

файл pgpool_status не найден / нет прав
pgpool стартует, но ноды имеют одинаковый индекс и балансировка идет только на первую ноду (как проверить балансировку указано ниже)

Проблема решилась удалением файла pgpool_status, откуда pgpool пытался считывать статусы для нод.

cd /var/log/postgresql
rm -rf pgpool_status
sudo systemctl restart postgresql
sudo pgpool -n

6. Тестирование балансировки PgPool-II

При запущенном pgpool (он должен выводить логи), открыть еще один терминал. Зайти в базу, используя Pgpool-II на 9999-порте, выполнив команду

psql -h <ip сервера, где установлен pgpool> -p 9999 -d postgres -U postgres

Выполнить команду

show pool_nodes;

Убедиться, что обе ноды находятся в статусе up, а балансировка установлена на standBy-сервере (load_balance_node = true)

 node_id |   hostname   | port | status | pg_status | lb_weight |  role   | pg_role | select_cnt | load_balance_node | replication_delay | replication_state | replication_sync_state | last_status_change 
---------+--------------+------+--------+-----------+-----------+---------+---------+------------+-------------------+-------------------+-------------------+------------------------+---------------------
 0       | 192.168.0.71 | 5432 | up     | up        | 0.000000  | primary | primary | 0          | false             | 0                 |                   |                        | 2023-09-14 06:36:16
 1       | 192.168.0.72 | 5432 | up     | up        | 1.000000  | standby | standby | 0          | true              | 0                 |                   |                        | 2023-09-14 06:36:16
(2 rows)

Выполнить команды Insert / Update / Delete (в качесве примера была внесена запись в таблицу public.t_company). Убедиться, что запрос приходит на primary-сервер (нода с индексом 0).

2023-09-14 07:04:31.800: DBeaver 23.1.2 - Main <postgres> pid 4805: LOG:  DB node id: 0 backend pid: 4814 statement: Execute: INSERT INTO public.t_company (id,caption,id_company_type)
                VALUES ($1,$2,$3)

Выполинть команду Select. Убедиться, что запрос приходит на standBy-сервер (нода с индексом 1).


2023-09-14 07:53:19.275: DBeaver 23.1.2 - Main <postgres> pid 5069: LOG:  DB node id: 1 backend pid: 2745 statement: Execute: SELECT x.* FROM public.t_company x

12 KiB Raw Permalink Blame History Unescape Escape