Database

  • 云数据库产品能力更新

    • [Azure] MySQL Flexible Server开始支持跨区域的备份能力:参考
    • [AWS] Aurora 发布 2.10.1版本(注:2.x.x是指兼容MySQL 5.7的版本):参考
    • [AWS] Aurora 发布新版本支持PostgreSQL 12.7版本,PostgreSQL社区该版本发布时间为5月13日(参考),Aurora大概在5个月时间完成小版本跟进:参考
    • [AWS] RDS Proxy开始支持MySQL 8.0版本:参考。使用RDS Proxy支持”连接池”(具备更好的扩展性,参考)、切换更加平滑等。
    • [AWS] RDS PostgreSQL支持13.4、12.8等版本。13.4和12.8社区版本发布时间是08月12日
    • [AWS] MemoryDB for Redis新增11个区域支持:参考
    • [GCP] Cloud SQL的优化建议开始支持闲置实例、规格过大、磁盘不足等建议:参考
    • [GCP] Cloud Spanner开始支持PostgreSQL兼容的接口:参考
    • [GCP] Cloud Spanner支持通过对Query打标而进行性能数据统计:参考
    • [阿里云] AnalyticDB PostgreSQL版开始支持”基础版”实例,大幅降低小规格建仓成本:参考
    • [阿里云] 开始支持MongoDB 5.0版本,在所有云厂商的一方产品中率先支持该版本:参考
    • [阿里云] 杭州、深圳地区金融云RDS开始支持云盘加密功能:参考
    • [腾讯云] TDSQL-C(原CynosDB)开始支持MySQL 8.0:参考
    • [腾讯云] 数据传输的订阅功能开始支持TDSQL MySQL版:参考
    • [华为云] GaussDB(for Redis)开始慢日志、公网SSL加密、Lua脚本等功能:参考
    • PostgreSQL 14正式发布:参考,Percona上的相关解读:参考
    • [OceanBase​] 发布3.2版本;开源发布3.1.1版本

    云产品其他重要更新

    • 阿里云计划在2020年新开韩国和泰国区域:参考
    • Percona再AWS上用Sysbench分别测试了EC2上AMD、Intel、Graviton(ARM)的实例性能情况:参考
    • [AWS] EC2的Mac实例新增更多区域支持:参考。AWS EC2竟然支持MacOS的实例…。
    • [AWS] EC2控制台开始支持从全球视角展示所有相关资源:参考。就问你爽不爽!!
    (more…)
  • 一直以来实现数据库的零数据丢失都是非常有挑战,尤其是跨可用区的场景下。很多核心系统为了实现这一点都投入了大量的智慧和金钱。Amazon RDS在文档都明确的写到,数据库在多AZ之间的数据是保持同步的(注:同步是指数据写入两边要同时写成功,即使一边不可用,已经提交的事务在另一边一定是成功的)。一直以来,我也很好奇Amazon RDS在哪个层面实现的同步复制。

    这个问题原本也是没有太大疑问的,可以推测应该是通过EBS层面的块复制来下。依据有两方面,有一些公开的Amazon RDS一些架构图中可以看到有EBS复制的箭头说明。另外,还有一点,只有通过EBS的复制实现跨可用区数据一致性,才可能在RDS支持的多种数据库,如MySQL、SQL Server、Oracle等,上保持架构上一致。否则,不同数据库类型的高可用和复制架构可能相差很大。

    但是,之前很长时间我还是有一个疑问,Amazon RDS复制到底是在数据库逻辑层实现的还是在EBS物理层实现的。

    既然有上面的猜测,那为什么产生了这个疑问呢?是因为,在Aurora很多的对外介绍材料(包括论文、架构介绍的slide)中,会放一个MySQL架构来突出Aurora的架构优势。这个图一直让我误以为Amazon RDS使用了数据库的binlog的复制。在了解Aurora的时候大家经常会看到如下架构图作为反面案例(参考): (more…)

  • PolarDB产品架构与实现

    ·

    这是上周在数据技术嘉年华上分享的内容:PolarDB产品架构与实现。(文件约5MB,下载比较慢,请耐心等待,点击下载(more…)

  • AWS是云计算领域的“领头羊”,产品和技术创新快速且比较踏实。re:Invent是AWS一年最盛大的线下活动(有个同事比喻,相当于阿里云的“杭州云栖大会”),一般产品的重大更新都会在这列做宣传,一直以来,我对AWS的产品都保持着高度的关注,今年,则直接来到了Las Vegas现场,近距离“观察”。

    明天AWS re:Invent大会会有AWS CEO Andy Jassy的Keynote,这里先提前做个“猜测”,猜猜一下数据库方向会发布哪些产品或者重大特性吧:

    1. 宣布Aurora Multi-Master近期GA,Global Replication Preview,Aurora PostgreSQL Serverless Preview。 继续宣传是AWS增长最快的产品,大势宣传AWS Top 100客户有75%使用了Aurora(较大概率)。

    2. 怒怼Oracle(大概率),可能会说Amazon将在2020第一季度完成去O,替代产品分布是redshift、Aurora、DynamoDB(小概率)。

    3. 会继续宣传DMS(Database Migration Service,在阿里云对应的产品是数据传输 DTS)又迁移了多少数据库,可能会重点说一下迁移了多少Oracle(小概率)到Aurora(如果这个数据比较大的话)。

    4. DynamoDB支持事务(大概率)。

    5. 继续强调AWS数据库技术是Open的。

    6. 发布其他的全新产品?(极小概率)

    明天看看结果。

  • 实测Aurora Serverless MySQL

    ·

    前几天Aurora Serverless正式GA, 第一时间体验了一下,看看到底怎样。

    概述

    Lambda的无服务技术是AWS在云产品形态上的一次重大创新,它把云计算最重要的“弹性”能力再向前推了一步。Aurora Serverless MySQL是Serverless技术在数据库上的应用。Aurora Serverless理念非常好,长远来看,对于用户来说,可以根据实际系统压力进行结算,比一次性购买预留实例更加实惠。这是云计算,对于“弹性”概念的又一次升级。

    对于云厂商来说,当云的规模足够大时,相比使用预留实例的方式,通过这种系统控制的自动弹性能力,可以极大提高整体的系统利用率。一个简单、极端但是可以说明效果的例子是这样的:如果有两套系统,一套是服务东半球的用户,一套是服务西半球的用户,那么相比给两套系统都预留最大要求容量的资源,这种全自动的弹性可能只需要使用75%或者更少的资源(最低是50%),就可以服务好这两套系统业务。当你服务的业务的高低峰错峰越明显,资源体量越大,那么这种自动弹性的能力带来的效益可能就越大。

    那么,我们来看看实际使用中,会带来哪些好处,又或者可能会有哪些“坑”需要小心。 (more…)

  • 关于DynamoDB

    ·

    AWS去年的11月份的re:Invent上,AWS发布了DynamoDB Global Table,并且宣称是“first fully-managed multi-master multi-region database in the world”。Global Table可以实现跨多个地区(Region)数据多点写入,多个地区间数据会准实时的同步,用户可以利用这个能力,较为简单的实现全球业务部署和数据访问。一直以来,Dynamo都是Amazon在分布式、数据库领域的重大创新,它曾和Google的BigTable一起开启了一个影响深远的NoSQL时代。在AWS上,Dynamo在和SimpleDB‘合体’(我也不知道用什么词比较合适)后,以产品DynamoDB在云端提供服务。本文将概述AWS上DynamoDB实例的创建、使用、以及一致性问题,具体包括DynamoDB Table、Local/Global Secondary Index、Global Table等。

    体验DynamoDB

    DynamoDB以Table的方式提供服务,用户在控制台新建一个表,然就可以使用相应语言的API访问它所提供的数据读写服务了。

    新建表

    这里新建了一个名字为“zhou”的表,包含分区字段uid和分区内排序字段itemid。 (more…)