在不同的云厂商,购买相同规格的 MySQL 实例,获得的性能相同吗?本文使用 Sysybench,对不同云厂商的同样规格“4vCPU-16GB”进行性能测试来尝试回答上述问题。
目录
全球八大云厂商,云数据库RDS MySQL性能趋势图
Sysbench QPS 详细数据
data | aliyun | aws | azure | baidu | huawei | oracle | tencent | |
---|---|---|---|---|---|---|---|---|
4 | 5789 | 2183 | 1517 | 2017 | 1915 | 2476 | 3032 | 5868 |
8 | 8716 | 4335 | 2964 | 3822 | 3415 | 4546 | 5046 | 10518 |
16 | 14373 | 8272 | 5489 | 6975 | 6071 | 8472 | 7839 | 16903 |
32 | 20132 | 15377 | 9111 | 11910 | 8582 | 14384 | 7717 | 23484 |
48 | 23026 | 17862 | 11439 | 15330 | 9641 | 18667 | 7747 | 26802 |
64 | 24990 | 19947 | 12623 | 18316 | 9877 | 21269 | 7889 | 30054 |
96 | 26954 | 22461 | 13578 | 20535 | 10423 | 22137 | 8529 | 35131 |
128 | 26924 | 23200 | 14057 | 21481 | 10682 | 21394 | 8230 | 36199 |
192 | 26586 | 23309 | 14484 | 21427 | 11203 | 22040 | 7958 | 36259 |
256 | 25933 | 23396 | 14640 | 21827 | 11413 | 22847 | 7438 | 35743 |
384 | 27209 | 22924 | 14638 | 21452 | 11552 | 24148 | 7690 | 35747 |
512 | 27662 | 22778 | 14674 | 21405 | 11350 | 24079 | 7196 | 36052 |
Query Latency 详细数据
如下表格分别为:平均延迟 和 95%延迟数据。单位为:毫秒/ms。
data | aliyun | aws | azure | baidu | huawei | oracle | tencent | |
---|---|---|---|---|---|---|---|---|
4 | 12.44 | 32.98 | 47.45 | 35.70 | 37.60 | 29.08 | 23.74 | 12.27 |
8 | 16.52 | 33.22 | 48.58 | 37.68 | 42.16 | 31.67 | 28.54 | 13.69 |
16 | 20.04 | 34.81 | 52.46 | 41.29 | 47.43 | 33.99 | 36.74 | 17.04 |
32 | 28.61 | 37.45 | 63.21 | 48.36 | 67.11 | 40.04 | 74.63 | 24.53 |
48 | 37.52 | 48.37 | 75.52 | 56.35 | 89.61 | 46.28 | 111.52 | 32.23 |
64 | 46.10 | 57.75 | 91.25 | 62.89 | 116.61 | 54.16 | 146.00 | 38.33 |
96 | 64.11 | 76.92 | 127.25 | 84.14 | 165.76 | 78.04 | 202.56 | 49.18 |
128 | 85.57 | 99.30 | 163.88 | 107.25 | 215.61 | 107.68 | 279.90 | 63.64 |
192 | 129.99 | 148.24 | 238.56 | 161.27 | 308.43 | 156.77 | 434.12 | 95.30 |
256 | 177.67 | 196.91 | 314.68 | 211.08 | 403.63 | 201.61 | 619.30 | 128.89 |
384 | 254.00 | 301.39 | 472.05 | 322.16 | 598.09 | 286.09 | 898.19 | 193.28 |
512 | 333.11 | 404.42 | 627.82 | 430.45 | 811.55 | 382.50 | 1279.61 | 255.51 |
data | aliyun | aws | azure | baidu | huawei | oracle | tencent | |
---|---|---|---|---|---|---|---|---|
4 | 18.95 | 36.24 | 55.82 | 41.10 | 47.47 | 37.56 | 36.89 | 14.73 |
8 | 25.74 | 36.24 | 57.87 | 44.98 | 61.08 | 39.65 | 46.63 | 17.01 |
16 | 29.19 | 41.10 | 62.19 | 50.11 | 87.56 | 41.85 | 66.84 | 21.89 |
32 | 44.17 | 45.79 | 78.60 | 62.19 | 147.61 | 49.21 | 121.08 | 31.94 |
48 | 66.84 | 59.99 | 95.81 | 77.19 | 204.11 | 56.84 | 200.47 | 41.85 |
64 | 86.00 | 71.83 | 121.08 | 90.78 | 219.36 | 68.05 | 267.41 | 49.21 |
96 | 116.80 | 101.13 | 183.21 | 125.52 | 272.27 | 123.28 | 325.98 | 62.19 |
128 | 147.61 | 142.39 | 248.83 | 164.45 | 331.91 | 150.29 | 442.73 | 77.19 |
192 | 219.36 | 211.60 | 376.49 | 227.40 | 450.77 | 231.53 | 634.66 | 116.80 |
256 | 282.25 | 272.27 | 511.33 | 292.60 | 569.67 | 320.17 | 1376.60 | 158.63 |
384 | 376.49 | 411.96 | 802.05 | 427.07 | 831.46 | 539.71 | 2449.36 | 253.35 |
512 | 484.44 | 549.52 | 1109.09 | 559.50 | 1129.24 | 549.52 | 3982.86 | 369.77 |
MySQL 参数对比表格
data | aliyun | aws | azure | baidu | huawei | oracle | tencent | |
---|---|---|---|---|---|---|---|---|
have_ssl | DISABLED | YES | YES | DISABLED | YES | DISABLED | YES | DISABLED |
innodb_buffer_pool_size | 9.75GB | 11GB | 12GB | 12GB | 11GB | 9GB | 17GB | 12GB |
innodb_doublewrite | ON | OFF | OFF | ON | ON | ON | ON | ON |
innodb_flush_log_at_trx_commit | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
innodb_flush_method | O_DIRECT | O_DIRECT | fsync | fsync | O_DIRECT | O_DIRECT | O_DIRECT | O_DIRECT |
innodb_io_capacity | 20000 | 200 | 200 | 2000 | 5000 | 12000 | 1250 | 20000 |
innodb_read_io_threads | 4 | 4 | NA | 8 | 4 | 4 | 2 | 4 |
innodb_write_io_threads | 4 | 4 | NA | 8 | 4 | 4 | 4 | 4 |
log_bin | ON | OFF | ON | ON | ON | ON | ON | ON |
performance_schema | OFF | OFF | ON | OFF | ON | OFF | ON | OFF |
rpl_semi_sync_master_enabled | ON | NA | NA | ON | NA | ON | NA | ON |
rpl_semi_sync_master_timeout | 1000 | NA | NA | 10000 | NA | 10000 | NA | 10000 |
sync_binlog | 1 | 1 | 1 | 1000 | 1 | 1 | 1 | 1 |
thread_pool_size | 8 | NA | 4 | NA | NA | NA | 16 | 4 |
version | 8.0.36 | 8.0.39 | 8.0.39-azure | 8.0.32-2.0.0.2 | 8.0.31-google | 8.0.28-231003 | 8.0.40-u3-cloud | 8.0.30-txsql |
cpu_capacity | 100.9 | 106.9 | 72.7 | 73.4 | 49.4 | 163.1 | 101.1 | 118.4 |
2024年09月 性能测试趋势图
2024年05月 性能测试趋势图
关于本次测试更多详细说明:云数据库MySQL性能测试@2024年05月。
关于该测试
当在不同的云厂商之间迁移时,数据库的性能是需要重点关注的点。那么,不同的云厂商之间的相同规格实例是不是就可以直接迁移呢?他们之间差异大吗?经过上述的系列测试,我们发现:
- 不同的云厂商之间性能差距非常大
- 即便同一个云厂商,不同的区域之间相同规格性能也有差距
- 即便同一个云厂商,不同时间阶段,相同规格性能也有差距
上述的差异现象,并不是孤立,几乎每个厂商都有类似的问题。有的云厂商性能管理更好,差异会小一些,性能更加稳定,而有的云厂商性能差异则比较大。
如何重现该测试
重现该测试包含了两个方面,一个是测试工具与主要参数,另一个是测试实例的选择。如下两节分别描述这两部分。
Sysbench 参数的参数与命令
该测试选择了模型简单、易于重现的Sysbench(oltp_read_write),其主要参数包括:
- 测试模型:oltp_read_write
--time=300
--table_size=10000
--tables=10
--skip_trx=on --db-ps-mode=disable
--rand-type=uniform
- 并发线程:
4,8,16,32,48,64,96,128,192,256,384,512
测试参考命令:
sysbench oltp_read_write --threads=$conthread --time=$run_time \
--report-interval=3 --percentile=95 --histogram=on --db-driver=mysql \
$sysb_mysql_conn \
--skip_trx=on --db-ps-mode=disable --rand-type=uniform $ssl_param \
--table_size=$table_size --tables=$tables run >> $run_file 2>&1
实例规格的选择
这里选取了阿里云、华为云、腾讯云、AWS、Azure、Oracle Cloud、Google Cloud的托管MySQL服务(RDS MySQL)作为测试对象。测试实例实例规格满足如下条件:
- 4vCPU16GB内存规格,存储100GB
- 如果需要选择IOPS,选择3000
- 具备跨可用区的高可用
- 非常高的数据可靠性级别,同步复制或半同步复制,或者MGR复制,或者存储层的同步复制
- 具备非常好的性能一致性(独享的计算资源)
具体每个云厂商的标准规格选择,参考:云数据库RDS MySQL性能测试与对比@2024年05月文中对各个云厂商小结部分。
为什么相同规格性能差异这么大
这是一个比较复杂的问题。该问题作者参加的2024年1月的ACMUG(中国MySQL用户组)大会上的做了分享(参考),如下为分享的PDF,供参考:
概要小结如下:
- 不同云厂商相同的4vCPU规格,其计算能力差异很大
- 不同云厂商 RDS 的高可用架构有一定的差异,这对性能影响也大
- 想通的云厂商,不同阶段上线的实例,使用的CPU代际不同,性能相差明显
关于该测试的限制
本节对在测试过程中的一些限制进行补充说明,供参考:
- 在本系列的的测试中,地域选择较为随机,例如阿里云选择了杭州、百度云选择北京、AWS/谷歌云选择了东京、Azure云选择了美东/香港/东京等。这里的一个假设是,各个云厂商在各个区域的RDS MySQL性能应该是相同或者接近的。
- 首先于个人的时间与资源,这里仅对较为常用的4vCPU16GB的规格进行测试,单次并发测试持续时间为300秒。
- 虽然都是用MySQL 8.0版本,但是不同的厂商的数据库小版本也会不同。
- 不同厂商的CPU、磁盘类型、价格等各有不同,所以这不是一个完全对等的测试,也不可能是。
- 不同厂商的RDS实例的默认参数模板也各有不同,甚至同一个厂商在不同阶段的参数也可能会有调整。
- 有的云厂商的磁盘存储有着多种不同的选择,例如阿里云支持ESSD PL1/2/3,AWS也支持gp3/io1类型的存储选择,不同的存储选择也会对应这个不同的性能。
- 关于可用区的选择:在测试中,尽量会将测试的ECS/EC2/VM等与数据库主节点放在同一个可用区。但依旧有一些情况做不到这一点。例如在这次的测试过程中,GCP在东京地区b可用区,虽然可以创建数据库,但是却没有资源创建VM节点(“A n2-highcpu-8 VM instance is currently unavailable in the asia-northeast1-b zone.”)。
如果有更多建议,可以在本文后留下你的建议,以供后续参考与改进。
其他补充说明
关于Sysbench测试
这里使用常用的、易用重现的Sysbench工具进行测试。主要的模型包括oltp_read_write以及部分自定义模型。Sysbench因为其易用使用,可定制性高被业绩广泛使用,包括AWS、Google Cloud、阿里云、腾讯云等。
sysbench的oltp_read_write模型是一个事务压测模型,单个事务中包含了10个点查、4个范围查询(包括了ORDER BY/SUM/DISTINCT等)、影响索引的更新、不影响索引的更新、删除数据、插入数据。关于该测试模型的详细说明可以参考文章:
ARM vs x86 @RDS MySQL 专题
整体上,在不同的平台上ARM-based的RDS MySQL有着不同的表现。具体如下:
Graviton vs x86 on AWS
- 在AWS上,Graviton 3实例RDS性能在高并发时,相对x86有较明显的性价比优势,以128并发为例,m7g vs m6i的对比
- Graviton 3 相比Graviton 2有非常明显的性能优势(参考),这与宣称的27%性价比提升是较为一致的
- Graviton 2实例相比x86几乎没有什么优势,与宣称的52%性价比提升结果相悖
ARM vx x86 on 阿里云
- 经济版(ARM)比标准版(x86)性价比要高出32%
- 具体的:选取16并发,ARM版TPS为2185,x86版TPS为2324。价格上, ARM版价格为1.61元/时, x86版价格为2.52元/时,那么对应每1000个TPS的价格分别为:0.74元与1.08元。从性价比的角度来看,经济版提升了31.5%
鲲鹏 vs x86 on 华为云
- x86和鲲鹏架构实例价格是相同的
鲲鹏版本相比x86约有15~45%的性能差距 - 考虑到自研鲲鹏芯片在中国自主可控芯片中的地位,在国内大量无法使用x86的场景中,这个性能下降通常都是可以接受
其他实用结论
先说些一些基于测试的实用结论吧,可以让更多的开发者参考:
- 不同的云厂商,有着不同的存储架构,不同的安全性/性能考虑,不同的CPU类型/多寡等,看似相同的规格,性能却有着巨大的差异
- 在阿里云上,强烈建议考虑使用经济版(ARM)替换标准版(x86),很容易获得超30%的性价比(参考)
- 总是建议使用最新一代CPU实例,通常都可以获得15%的性价比提升,例如AWS m6i vs m5i,m7g vs m6g(参考)
- 几大云厂商的”企业级”实例的性能有着显著差异,主要原因是主从复制架构、CPU代差、存储架构等不同导致(参考)
- 国内云厂商都提供了“通用型”实例,以非常小的资源共享换取了非常大的性价比提升,非常适合非关键场景使用(参考)
首次测试
第一次做该系列的测试是2023年12月,当时测试结果如。但因为,后续的测试做了比较多的改进,故该数据可以用于参考,但不能与后续数据直接对比。
更多关于本次测试说明参考:点击查看详情
Leave a Reply