跳到主要内容

8 篇博文 含有标签「Mysql」

查看所有标签

Mysql 主从复制

· 阅读需 3 分钟

Mysql 主从复制

搭建主从

# Slave 机器执行 change master to

CHANGE MASTER TO
MASTER_HOST='192.168.100.171',
MASTER_USER='test',
MASTER_PASSWORD='passwd123',
MASTER_PORT=3306,
MASTER_LOG_FILE='master-bin.000006',
MASTER_LOG_POS=2556,
MASTER_CONNECT_RETRY=10;

验证

mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

从库复制主库的部分表

思路为:1.master只发送需要的;2.slave只接收想要的

master端:

binlog-do-db 二进制日志记录的数据库(多数据库用逗号```,隔开) binlog-ignore-db 二进制日志中忽略数据库 (多数据库用逗号,隔开)

1、binlog-do-db=YYY 需要同步的数据库,不在内的不同步。(不添加这行表示同步所有)

# 这里主库只同步 test1 ,test2库
[mysqld]
binlog-do-db = test1,test2

2、binlog-ignore-db = mysql 这是不记录binlog,来达到从库不同步mysql库,以确保各自权限 binlog-ignore-db = performance_schema binlog-ignore-db = information_schema

# 这里向从库同步时忽略test1,test2库
[mysqld]
binlog-ignore-db = test1,test2

slave端:

replicate-do-db 设定需要复制的数据库(多数据库使用逗号,隔开) replicate-ignore-db 设定需要忽略的复制数据库 (多数据库使用逗号,隔开) replicate-do-table 设定需要复制的表 replicate-ignore-table 设定需要忽略的复制表 replicate-wild-do-table 同replication-do-table功能一样,但是可以通配符 replicate-wild-ignore-table 同replication-ignore-table功能一样,但是可以加通配符

# 例如:从库忽略复制数据库test3,但是需要说明的是,其实从库的relaylog中是从在关于test3的相关日志,只是从库没有使用罢了。
[mysqld]
replicate-ignore-db = test3

# 增加通配符的两个配置
replicate-wild-do-table=db_name.% 只复制哪个库的哪个表
replicate-wild-ignore-table=mysql.% 忽略哪个库的哪个表

报错解决:

1、报错:Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this does not always make sense; please check the manual before using it).

# 查看主从UUID是否相同
/var/lib/mysql/auto.cnf

# 查看 mysql 配置文件的 server-id 是否一致,例如:
主:server-id=1
从:server-id=2

2、报错:Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file'

从机器:

stop slave;

主机器:

mysq> show master status;
File Position
binlog.000010 157

mysql> flush logs;
因为刷新日志file的位置会+1,即File变成为:binlog.000011

从机器

CHANGE MASTER TO MASTER_LOG_FILE='binlog.000011',MASTER_LOG_POS=157;
start slave;
show slave status\G;

Yearning 平台搭建

· 阅读需 1 分钟

二进制部署:

wget https://github.com/cookieY/Yearning/releases/download/v3.1.4/Yearning-v3.1.4-linux-amd64.zip

填写配置文件

cat conf.toml
[Mysql]
Db = "Yearning"
Host = "127.0.0.1"
Port = "3306"
Password = "xxxx"
User = "root"

[General] #数据库加解密key,只可更改一次。 修改的话,只有16位
SecretKey = "dbcjqheupqjsuwsm"

初始化及安装

./Yearning install

如要再次安装,请先把 yearning 库下所有表删除,否则重复执行无效

启动服务

# 默认启动
./Yearning run

# 参数启动
./Yearning run --push "172.27.80.35" -port "8000"

# 打开浏览器 http://127.0.0.1:8000
# 默认账号/密码:admin/Yearning_admin

容器部署:

编写 docker-compose

version: '3'

services:
yearning:
image: chaiyd/yearning:latest
environment:
MYSQL_USER: yearning
MYSQL_PASSWORD: ukC2ZkcG_ZTeb
MYSQL_ADDR: mysql
MYSQL_DB: yearning
SECRET_KEY: dbcjqheupqjsuwsm
IS_DOCKER: is_docker
ports:
- 8000:8000
# 首次使用请先初始化
# command: /bin/bash -c "./Yearning install && ./Yearning run"
depends_on:
- mysql
restart: always

mysql:
image: mysql:5.7
environment:
MYSQL_ROOT_PASSWORD: ukC2ZkcG_ZTeb
MYSQL_DATABASE: yearning
MYSQL_USER: yearning
MYSQL_PASSWORD: ukC2ZkcG_ZTeb
command:
- --character-set-server=utf8mb4
- --collation-server=utf8mb4_general_ci
volumes:
- ./data/mysql:/var/lib/mysql

# 默认账号:admin,默认密码:Yearning_admin

创建服务

docker-compose up -d

# 浏览器访问
IP:8000

Mysql 备份恢复

· 阅读需 7 分钟

Mysql 备份恢复

Ops 在 数据库备份恢复方面的职责

  • 设计备份策略
全备 、增量、时间、自动
  • 日常备份检查
备份存在性
备份空间够用否
  • 定期恢复演练(测试库)
一季度 或者 半年
  • 故障恢复
通过现有备份,能够将数据库恢复到故障之前的时间点.
  • 迁移
1. 停机时间
2. 回退方案

备份类型

  • 热备
在数据库正常业务时,备份数据,并且能够一致性恢复(只能是innodb)
- 对业务影响非常小
  • 温备
锁表备份,只能查询不能修改(myisam)
- 影响到写入操作
  • 冷备
关闭数据库业务,数据库没有任何变更的情况下,进行备份数据.
- 业务停止

备份方式及工具介绍

  • 逻辑备份工具
# 基于SQL语句进行备份
mysqldump *****
mysqlbinlog *****
  • 物理备份工具
# 基于磁盘数据文件备份
xtrabackup(XBK) :percona 第三方 *****
MySQL Enterprise Backup(MEB)

逻辑备份和物理备份的比较

  • mysqldump(MDP)
优点:
1.不需要下载安装
2.备份出来的是SQL,文本格式,可读性高,便于备份处理
3.压缩比较高,节省备份的磁盘空间

缺点:
4.依赖于数据库引擎,需要从磁盘把数据读出
然后转换成SQL进行转储,比较耗费资源,数据量大的话效率较低
建议:
100G以内的数据量级,可以使用mysqldump
超过TB以上,我们也可能选择的是mysqldump,配合分布式的系统
1EB =1024 PB =1000000 TB
  • xtrabackup(XBK)
优点:
1.类似于直接cp数据文件,不需要管逻辑结构,相对来说性能较高

缺点:
2.可读性差
3.压缩比低,需要更多磁盘空间
建议:
>100G<TB

备份策略

备份方式:
全备:全库备份,备份所有数据
增量:备份变化的数据

逻辑备份=mysqldump+mysqlbinlog
物理备份=xtrabackup_full+xtrabackup_incr+binlog 或者 xtrabackup_full+binlog

备份周期:
根据数据量设计备份周期
比如:周日全备,周1-周6增量

备份工具使用-mysqldump

  • mysqldump (逻辑备份的客户端工具)
  • 客户端通用参数
-u  -p   -S   -h  -P    
本地备份:
mysqldump -uroot -p -S /tmp/mysql.sock

远程备份:
mysqldump -uroot -p -h 10.0.0.51 -P3306
  • 备份专用基本参数
##  -A 全备参数

例子1:
[root@db01 ~]# mkdir -p /data/backup
mysqldump -uroot -p -A >/data/backup/full.sql
Enter password:

mysqldump: [Warning] Using a password on the command line interface can be insecure.
Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events.

# 补充:
# 1.常规备份是要加 --set-gtid-purged=OFF,解决备份时的警告
# [root@db01 ~]# mysqldump -uroot -p123 -A --set-gtid-purged=OFF >/backup/full.sql
# 2.构建主从时,做的备份,不需要加这个参数
# [root@db01 ~]# mysqldump -uroot -p123 -A --set-gtid-purged=ON >/backup/full.sql

--------------------------------------------------------------------------------------
## -B db1 db2 db3 备份多个单库

说明:生产中需要备份,生产相关的库和MySQL库
例子2 :
mysqldump -B mysql gtid --set-gtid-purged=OFF >/data/backup/b.sql

--------------------------------------------------------------------------------------

## 备份单个或多个表

例子3 world数据库下的city,country表
mysqldump -uroot -p world city country >/backup/bak1.sql
以上备份恢复时:必须库事先存在,并且ues才能source恢复
  • 高级参数应用
## 特殊参数1使用(必须要加)
-R 备份存储过程及函数
--triggers 备份触发器
-E 备份事件

例子4:
[root@db01 backup]# mysqldump -uroot -p -A -R -E --triggers >/data/backup/full.sql
(5) 特殊参数2使用

--------------------------------------------------------------------------------------

## -F 在备份开始时,刷新一个新binlog日志
例子5:
mysqldump -uroot -p -A -R --triggers -F >/bak/full.sql

--------------------------------------------------------------------------------------

## --master-data=2
以注释的形式,保存备份开始时间点的binlog的状态信息

mysqldump -uroot -p -A -R --triggers --master-data=2 >/back/world.sql
[root@db01 ~]# grep 'CHANGE' /backup/world.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000035', MASTER_LOG_POS=194;

功能:
(1)在备份时,会自动记录,二进制日志文件名和位置号
0 默认值
1 以change master to命令形式,可以用作主从复制
2 以注释的形式记录,备份时刻的文件名+postion号
(2) 自动锁表
(3)如果配合--single-transaction,只对非InnoDB表进行锁表备份,InnoDB表进行“热“”备,实际上是实现快照备份。

--------------------------------------------------------------------------------------

## --single-transaction

innodb 存储引擎开启热备(快照备份)功能
master-data可以自动加锁
(1)在不加--single-transaction ,启动所有表的温备份,所有表都锁定
(1)加上--single-transaction ,对innodb进行快照备份,对非innodb表可以实现自动锁表功能
例子6: 备份必加参数
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql

--------------------------------------------------------------------------------------

## --set-gtid-purged=auto

auto , on
off
使用场景:
1. --set-gtid-purged=OFF,可以使用在日常备份参数中.
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql
2. auto , on:在构建主从复制环境时需要的参数配置
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=ON >/data/backup/full.sql

--------------------------------------------------------------------------------------

## --max-allowed-packet=#

mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M >/data/backup/full.sql

--max-allowed-packet=#
The maximum packet length to send to or receive from server.

模拟故障案例并恢复

(1)每天全备
(2)binlog日志是完整
(3)模拟白天的数据变化
(4)模拟下午两点误删除数据库

需求: 利用全备+binlog回复数据库误删除之前。
故障模拟及恢复:

1. 模拟周一23:00的全备
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql

2. 模拟白天的数据变化
Master [(none)]>create database day1 charset utf8;
Master [(none)]>use day1
Master [day1]>create table t1(id int);
Master [day1]>insert into t1 values(1),(2),(3);
Master [day1]>commit;
Master [world]>update city set countrycode='CHN';
Master [world]>commit;
模拟磁盘损坏:
[root@db01 data]# \rm -rf /data/mysql/data/*

3. 恢复故障
[root@db01 data]# pkill mysqld
[root@db01 data]# \rm -rf /data/mysql/data/*

4. 恢复思路
1.检查备份可用性
2.从备份中获取二进制日志位置
3.根据日志位置截取需要的二进制日志
4.初始化数据库,并启动
5.恢复全备
6.恢复二进制日志

压缩备份并添加时间戳

# 例子:
mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz
mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F-%T).sql.gz

mysqldump备份的恢复方式(在生产中恢复要谨慎,恢复会删除重复的表)
set sql_log_bin=0;
source /backup/full_2018-06-28.sql

# 注意:
1、mysqldump在备份和恢复时都需要mysql实例启动为前提。
2、一般数据量级100G以内,大约15-45分钟可以恢复,数据量级很大很大的时候(PB、EB)
3、mysqldump是覆盖形式恢复的方法。

# 一般我们认为,在同数据量级,物理备份要比逻辑备份速度快.
逻辑备份的优势:
1、可读性强
2、压缩比很高

备份时优化参数

(1) max_allowed_packet   最大的数据包大小

mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 max_allowed_packet=128M --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

(2) 增加key_buffer_size (临时表有关)
(3) 分库分表并发备份 (作业)
(4) 架构分离,分别备份 (架构拆分,分布式备份)

MySQL物理备份工具-xtrabackup(XBK、Xbackup)


# 待更新