存储总量达 20T 的 MySQL 实例,如何完成迁移?

王亮,腾讯云高级工程师。2010 年加入腾讯,曾负责腾讯社交产品 CDN 图片类业务,动态加速业务的运维工作。现负责数据库产品的解决方案工作。

某国内大型游戏开发商有超过 130 个 IDC 部署 MySQL 实例,存储总量达 20T。因业务需要,将全部实例迁移到 腾讯云 CDB for MySQL。腾讯云数据库团队为保证业务迁移顺利进行,对迁移流程,工具进行了前期的调查研究,并对过程中发现的 4 大问题进行及时解决,以下是实际迁移经验分享:

一. 测试用例/过程

目前开发商上云(外部 MySQL 迁移到 CDB)提供多种方案,其中开发商的 MySQL 实例有外网 IP 的可以直接使用腾讯云数据库迁移工具完成迁移(其他的迁移方法参见 链接 本次迁移任务中该开发商的所有 MySQL 实例均有外网代理 IP 供使用,故直接选用迁移工具完成数据导入。

迁移工具的基本原理:通过待迁移实例提供的高权限帐号获取源实例基本的 MySQL 实例配置,并同步到目标 CDB 实例;通过 mysqldump 直接将源实例导出传输到 CDB 实例后导入;源数据库实例和目标 CDB 建立主从关系同步新数据。其中 CDB 实例与源 IDC 之间通过 NAT 方式以一台带外网的服务器为中转发起通信。

1. 迁移工具基本功能

在 腾讯云数据库控制台页面 根据引导建立迁移任务;在后台管理页面观察迁移任务后台日志等。

任务开始运行后检测代理机器流量变化,CDB 的写入等数据展示

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

知识点:如何为测试数据库产生较大的数据量。这里推荐一个工具 mysql_gen_data。产生测试数据并导入到 MySQL 的过程如下:

#!/bin/bash ./mysql_gen_data -f "%1n,%100s,%100s,%100s,%100s,%100s" \ -n 10000000 >random.dat mysql –uroot –p*********** –e “create database cdbtest;use cdbtest; \ CREATE TABLE cdbtest_tb \ (c1 varchar(100),c2 varchar(100),c3 varchar(100), \ c4 varchar(100),c5 varchar(100),c6 varchar(100)) \ ENGINE=InnoDB DEFAULT CHARSET=utf8;” for i in {1..10}; do echo "$(date '+%T') round $i start" echo "prepare data..." sed -i "s/^/$i/" random.dat echo "insert data..." mysql -uroot –p******** cdbtest -e "LOAD DATA local INFILE '/data/random.dat' into table cdbtest_tb fields terminated by',';" echo "$(date '+%T') round $i end" done

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

后台与腾讯云管理台查看本次测试任务,迁移成功完成。

2. 主从以及从机和 CDB 建立主从的同步

由于本次迁移的开发商将使用他们自建 IDC 的从机向 CDB 迁移数据,简单关系如下图,之前没有使用迁移工具进行过类似操作,故进行本次测试。

存储总量达 20T 的 MySQL 实例,如何完成迁移?

存储总量达 20T 的 MySQL 实例,如何完成迁移?

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。