backup

Backup online no MySQL com xtrabackup

Meu último post referente a backups foi a bastante tempo atrás. Embora ainda válido, não é aconselhável para ser utilizado como backup diário, então resolvi mostrar uma outra opção, o XtraBackup.

Com XtraBackup, você pode realizar backups sem interromper leituras e escritas (ele requer lock por um período bem curto de tempo para pegar coordenadas do binlog).
Hoje vou mostrar como realizar backup completos utilizando a ferramenta.

Instalação:

Para realizar a instalação, eu aconselho utilizar os repositórios para Yum / Apt-get:

Centos / Redhat:

sudo yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
sudo yum install percona-xtrabackup-24

Debian / Ubuntu

wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb
sudo dpkg -i percona-release_0.1-4.$(lsb_release -sc)_all.deb
sudo apt-get update
sudo apt-get install percona-xtrabackup-24

Backup:

Para realizar o backup, vamos usar o script innobackupex:

innobackupex --user=root --password='Passw0rd!' /backups/

O script irá produzir várias mensagens, devemos verificar se ele termina com:

...
170429 21:07:12 completed OK!

Paralelismo:

O Xtrabackup permite que você configure múltiplas threads para realizar a cópia das tabelas utilizando a opção –parallel :

innobackupex --user=root --password='Passw0rd!' --parallel=8 /backups/

Podemos observar que cada thread recebe um número que é mostrado entre []:

170429 21:12:27 [05] Copying ./ibdata1 to /backups/2017-04-29_21-12-27/ibdata1
170429 21:12:27 [06] Copying ./mysql/plugin.ibd to /backups/2017-04-29_21-12-27/mysql/plugin.ibd
170429 21:12:27 [06]        ...done
170429 21:12:27 [02] Copying ./mysql/servers.ibd to /backups/2017-04-29_21-12-27/mysql/servers.ibd
170429 21:12:27 [02]        ...done
170429 21:12:27 [03] Copying ./mysql/help_topic.ibd to /backups/2017-04-29_21-12-27/mysql/help_topic.ibd
170429 21:12:27 [07] Copying ./mysql/help_category.ibd to /backups/2017-04-29_21-12-27/mysql/help_category.ibd
170429 21:12:27 [07]        ...done

Compactando:

O Xtrabackup também permite que você compacte o backup utilizando –compress e –compress-threads (normalmente utiliza-se o mesmo numero de threads que –parallel):

innobackupex --user=root --password='Passw0rd!' --parallel=8 --compress --compress-threads=8 /backups/

Por exemplo, um backup que ocupava 702M passa a ocupar 387M compactado:

702M	/backups/2017-04-29_21-12-27
387M	/backups/2017-04-29_21-15-53

Restaurando:

Para restaurar o backup, temos que (1) descompactar com –decompress caso nosso backup seja compactado(você precisa ter o qpress instalado) e (2) aplicar as transações que ocorreram enquanto o backup estava sendo realizado (Basicamente um crash recovery que o InnoDB faz ao iniciar o MySQL):

innobackupex --decompress /backups/2017-04-29_21-18-04/
innobackupex --apply-log --use-memory=4G /backups/2017-04-29_21-18-04

Para agilizar o processo de aplicar os logs, podemos configurar –use-memory que vai se comportar como se fosse o InnoDB Buffer Pool.
Os arquivos .qp vao continuar no diretório, você pode remove-los manualmente executando o comando abaixo:

find /backups/2017-04-29_21-18-04  -name "*.qp" -exec rm -f {} \;

É isso aí. Agora só precisamos copiar os arquivos para o datadir do MySQL e configurar o usuário mysql para ser o owner e group owner da pasta e de todos os arquivos.

Por hoje é só. E lembrem, Backup que não é testado, NÃO É BACKUP!

MySQL 5.6 replicação com GTID – Global Transaction ID

Fala galera, No inicio deste mês, a Oracle lançou a nova versão do MySQL, a versão 5.6, uma das melhorias foi a introdução do GTID (ID de transação Global).

GTID é um identificador único que sera adicionado a cada transação executada no servidor, e vai ter grande utilidade para o slave, garantindo que mais de uma thread nao execute a mesma transação e também auxiliar quanto a posição que o slave busca e executa dados do master (previamente tínhamos que setar MASTER_LOG_FILE e MASTER_LOG_POS quando iniciavamos o slave).

Vamos intender algumas novas configuracoes que teremos que adicionar no nosso arquivo de configuracao:

gtid-mode : vai habilitar GTID, temos que habilitar log-bin e log-slave-updates para esta opcao funcionar
enforce-gtid-consistency : vai garantir que somente comandos que podem ser replicados sejam executados (mais informações aqui)

Basicamente o que precisamos é isso, para este tutorial vou usar 2 maquinas virtuas black(master – 192.168.1.110), white (slave – 192.168.1.111), meu arquivo de configuração segue abaixo:

black.cnf

[mysqld]
...
binlog-format=MIXED
log-bin
log-slave-updates=true
gtid-mode=on 
enforce-gtid-consistency=true 
master-info-repository=TABLE
relay-log-info-repository=TABLE
sync-master-info=1
binlog-checksum=CRC32
master-verify-checksum=1
server-id=1
report-host=black

white.cnf

[mysqld]
...
binlog-format=MIXED
log-slave-updates=true
log-bin
gtid-mode=on 
enforce-gtid-consistency=true 
master-info-repository=TABLE
relay-log-info-repository=TABLE
sync-master-info=1
slave-parallel-workers=2
binlog-checksum=CRC32
master-verify-checksum=1
slave-sql-verify-checksum=1
binlog-rows-query-log_events=1
server-id=2
report-host=white

Próximo passo é criar o usuário de replicação no master (black)

GRANT REPLICATION SLAVE ON *.* TO replication@192.168.1.111 IDENTIFIED BY 'reppwd';
FLUSH PRIVILEGES;

Caso o seu servidor contenha dados, voce pode seguir este post para criar um backup do seu master, note que agora quando rodamos o comando SHOW MASTER STATUS; temos uma coluna chamada Executed_Gtid_Set.

Caso seja o caso, restore o backup no slave.

Vamos então, iniciar a replicação, o bacana é que antes tínhamos que indicar o arquivo binário e a posição, veja como fica simples agora com GTID:

CHANGE MASTER TO MASTER_HOST='192.168.1.110', MASTER_USER='replication', MASTER_PASSWORD='reppwd', MASTER_AUTO_POSITION=1;
START SLAVE;

pronto, neste momento você já deve ter sua replicação com GTID funcionando, vamos conferir com o comando abaixo:

white>show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.110
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: black-bin.000002
          Read_Master_Log_Pos: 936
               Relay_Log_File: white-relay-bin.000003
                Relay_Log_Pos: 1146
        Relay_Master_Log_File: black-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 936
              Relay_Log_Space: 1560
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
                  Master_UUID: 2671c08b-7cf0-11e2-ac39-00163ebee7c2
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 2671c08b-7cf0-11e2-ac39-00163ebee7c2:1-4
            Executed_Gtid_Set: 2671c08b-7cf0-11e2-ac39-00163ebee7c2:1-4
                Auto_Position: 1
1 row in set (0.00 sec)

Os campos Retrieved_Gtid_Set e Executed_Gtid_Set mostram a transação lida do master, e a transação executada no slave.
Para conferir se a replicação esta funcionando, vamos digitar no master:

black> CREATE DATABASE gtid_test;
Query OK, 1 row affected (0.00 sec)

black> use gtid_test;
Database changed
black> CREATE TABLE test (id INT NOT NULL PRIMARY KEY);
Query OK, 0 rows affected (0.00 sec)

black> INSERT INTO test (id) VALUES (1), (2), (3), (4), (5);
Query OK, 5 rows affected (0.00 sec)
Records: 5  Duplicates: 0  Warnings: 0

black> 

e agora, vamos conferir se estes registros estao no slave:

white> USE gtid_test;
Database changed
white> SELECT * FROM test;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
|  4 |
|  5 |
+----+
5 rows in set (0.00 sec)

white>

Isso aew, temos nossa replicacao rodando com Global Transaction ID

Snapshot – backup consistente no MySQL

Hoje vamos falar de como realizar um backup (snapshot) consistente do nosso banco de dados.
Primeiramente, em qual situações podemos utilizar o snapshot?

1. Digamos que seu servidor de produção vai ser partir de hoje replicado em um slave, como você faz essa carga inicial de dados no slave? qual era a posição do bin log quando o backup iniciou, durante o período de backup, sera que alguém enviou alguma query para o banco? e se o bin log esta numa posição diferente da de quando o backup iniciou?

2. Caso você queira implementar uma estrategia de backup incremental, você pode fazer uma copia integra da base uma vez na semana, e caso necessite restaurar a base, aplicar os bin logs a partir da copia.

Dito isso, vamos ao que nos interessa.
Para garantir a integridade vamos precisar trabalhar em 2 sessões, a primeira vai ser responsável por garantir a integridade (vamos dar lock em todos os bancos) e a segunda sera responsável pela copia dos dados.

Então, vamos iniciar:

Sessao 1:

FLUSH TABLES WITH READ LOCK;
SHOW MASTER STATUS;

Você devera receber um retorno igual a este:

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      107 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

IMPORTANTE: DEIXE ESTA SESSÃO ABERTA DURANTE TODO O PROCESSO, SE VOCÊ FECHAR ESTA SESSÃO, O LOCK DO BANCO SERA SOLTO.

para realizar o backup vamos utilizar o mysqldump:
Sessao 2:

mysqldump -u usuario -p --all-databases > all_dbs.sql

feito isso, assegure-se de que o backup tenha terminado e o dump termine com:
— Dump completed on xxxx-xx-xx xx:xx:xx

pronto, podemos liberar o lock da sessão 1:

UNLOCK TABLES;

Pronto, já temos o snapshot do nosso banco de dados.