简单生活

  • 在不同的云厂商,购买相同规格的MySQL实例(如4vCPU-16GB),获得的性能相同吗?

    threads/qpsaliyun_202409_hangzhou->stdbenchtencent_202409_beijing_exclusive->stdbenchhwcloud_202409_beijing_x86->stdbenchbaiducloud_202409_beijing->stdbenchaws_202409_tokyo_m6i->stdbenchazure_202409_east_asia_4c16g->stdbenchgcp_202409_tokyo_80_enterprise->stdbenchoci_202409_tokyo_8039->mysql_on_4_ecpu
    47102559225572206163920257233551
    897029936467441013313365413415936
    161466016141822972986427654825028054
    3222155223361352012022121571036348578317
    4827905247701784916448165161197367458130
    6432704264952011418187181181276180717838
    9636846290772088321007207821330096758504
    128396972991820128210292244613388106208198
    192389993061020521220912259013478115078043
    256383563105221187216652232312985118727907
    384396793122421729211672190212904121318209
    512403333180522647216272159112930121068386
    have_sslDISABLEDDISABLEDDISABLEDDISABLEDYESYESYESYES
    innodb_buffer_pool_size9.75GB12GB9GB12GB11GB12GB11GB17GB
    innodb_doublewriteONONONONOFFOFFONON
    innodb_flush_log_at_trx_commit11111111
    innodb_flush_methodO_DIRECTO_DIRECTO_DIRECTfsyncO_DIRECTfsyncO_DIRECTO_DIRECT
    innodb_io_capacity200002000012000200020020050001250
    innodb_read_io_threads44484NA42
    innodb_write_io_threads44484NA44
    log_binONONONONOFFONONON
    performance_schemaOFFOFFOFFOFFOFFONONON
    rpl_semi_sync_master_enabledONONONONNANANANA
    rpl_semi_sync_master_timeout1000100001000010000NANANANA
    sync_binlog11110001111
    thread_pool_size84NANANA4NA16
    version8.0.368.0.30-txsql8.0.28-2310038.0.32-2.0.0.28.0.358.0.37-azure8.0.31-google8.0.39-cloud
    cpu_capacity80.493.3163.673.9110.956.349.9114.7

    测试结果概述

    在本次测试中:阿里云RDS MySQL性能表现最好,极限的QPS达到了4万;其次是腾讯云,达到了3.2万;第二梯队是华为云、百度云和AWS,极限的QPS约2.2万;之后是Azure、Google云,极限QPS约1.2万;最后是Oracle云,极限QPS约8500。详细的数据和趋势图,可以参考以上的图、表,这里不再详述。

    (more…)
  • 数据库DevOps这个话题我讲过很多次了,在阿里的数据库环境,已经是成熟的实践经验。现在离开阿里,以独立数据库工具厂商的身份去讲这个话题,还是有一些不一样的思考。

    09年,刚加入淘宝DBA团队的前几年,其实是很痛苦的。最早还没有工具和平台的思维,很多事情都是”手挑肩扛”。不过生产环境的数据库数量增长很快就远超团队人员增长速度。最早,淘宝内部将DBA分为”系统DBA”,负责数据库的安装/部署、监控、备份、性能监控报警、故障诊断等工作;还有一部分是”产品DBA”,负责面向上层业务的数据库支持,包括数据库的设计与发布、架构选型、业务优化、容量规划等。

    当时我在”系统DBA”团队,为了解决人员与系统增长不匹配的问题,当时也在前辈建立的”北斗”数据库管理基础上进行改进,并构建了淘宝数据库环境内首个MySQL数据库管理平台”天机“,取名字也是来自”北斗”七星中的”天玑”,不过取自”天机不可泄露”便取”天机”。而后,这个平台也几经改造与重构,发展为内部一套完整、健壮的DBaaS系统。

    而”产品DBA”也面临着同样的问题,表现上略有不同。主要问题包括:业务/研发爆发式增长,”数据库的设计与发布、架构选型、业务优化(性能管理)、容量规划”这些原本DBA的工作,已经不可能再靠有限的DBA人力完成了。于是,内部的开始尝试通过一些简单的工具尝试解决这个矛盾。最早,先是使用WebSQLPlus解决数据查询的问题、而后是dbtask解决了数据库DDL发布的问题。再之后,对于研发、DBA如何一起共同支撑起业务发展,从而构建出了全新的iDB平台,并且在iDB从3.0升级到4.0版本时候,重新对平台做了定位,由一个面向DBA的工具,转变为面向研发使用数据库的产品,也是在这个时候,正式提出了数据库DevOps的理念。

    在2017年,这套产品也在阿里云上正式商业化发布,开始从一个服务阿里内部的系统正式的以商业化的形式服务云上的更多企业。

    2021年,离开了阿里,一方面是很冲动,另一个很重要的原因是认为,这套系统应该是一个独立于某个云厂商的、第三方的系统,这样可以更好的服务当前企业用户,无论企业用户的数据库是在阿里云、还是在华为云、腾讯云、AWS、百度云,亦或者是在自己筹建的IDC之内,都可以很好的使用这个产品,用这个理念去管理数据库,去解决研发、DBA与数据库的问题。

    记得特别清楚,有一年端午节,在内部p8->p9的晋升答辩上,有一个评委问我:“DMS/DTS”等这些工具产品,交由第三方厂商去做是不是更好?当时回答得很凌乱…,现在可以给评委一个简单的回答了:“是的”。

    关于这次分享的详细内容可以参考,这篇文章:《企业级数据库 DevOps 最佳实践,通过 NineData 实现高效安全的数据库开发》。分享的片子如下:

    orczhou-database-devops-best-practice-dtcc-2024
  • Protected: 不一样的上学

    ·

    This content is password protected. To view it please enter your password below:

  • Protected: 放纵与克制

    ·

    This content is password protected. To view it please enter your password below:

  • This content is password protected. To view it please enter your password below:

  • 标题:OpenAI收购实时数据搜索与分析引擎Rockset; PolarDB-X 列存索引支持Schema多版本;

    重要更新

    6月21日,OpenAI官方发布一则消息:宣布收购实时分析数据库开发商Rockset,以增强大模型在实时数据搜索与分析的能力,其估值约为5~10亿美金;Rockset可以对结构化数据、向量化数据、事件数据、数据湖等数据进行实时的索引构建,以提供开始的搜索与分析能力。[1] 

    PolarDB-X 列存索引全面支持Schema多版本,以实现原表DDL时列存索引查询时的数据实时性、一致性以及高性能。[2] 

    更新详情

    阿里云
    • RDS MySQL大版本升级新增了大版本升级前置检查功能[4]
    • RDS MySQL/PostgreSQL的通用云盘版基准性能得以大幅度提升,IOPS最高提升22400,IO带宽最高提升350 MB/s。[5]
      • RDS SQL Server新增支持更多性能监控项,您可以通过RDS管理控制台查看实例的标准监控数据。[8]
    GCP(谷歌云)
    • Cloud SQL for PostgreSQL支持原地升级到PostgreSQL 16 [16] 
    AWS(亚马逊云)
    • Amazon RDS Oracle 支持r6i内存优化型实例 [25]
    • Amazon RDS 发布5.7.44扩展支持版本5.7.44-RDS.20240529 [26]
    参考链接