Database

  • Azure数据库的Flexible Server

    ·

    一直对云数据库比较关注,在去年9月份的微软“Ignite”大会宣布推出的托管数据库“Flexible Server”(后面简称”FS”),虽然一直处于Preview状态,但是依据看到在过去一年中,该版本一直在非常快速的更新,猜测该版本应该会是未来开源托管数据库的主要形态(如有微软朋友可以帮回复确认一下),这里对比之前的”Single Server”(后面简称”SS”),对“Flexible Server”做一个概要性的介绍,详细的介绍可以直接阅读本文结尾处链接中Azure的官方文档。

    关于”Flexible Server”的”TLDR”版

    • Flexible Server就是Azure上使用了新一代底层架构的托管MySQL、PostgreSQL服务
    • 早期Azure上开源数据库托管是基于Windows(参考),称作”Single Server”,新版本托管平台基于Linux,称作Flexible Server
    • 该版本是Azure OSS开发者组2019年左右开始开发,2020年对外宣布,当前处于Preview状态
    • 该版本让开发者在管理实例时,具备更大的灵活性,包括:更多的参数管理、维护窗口控制等
    • 支持了多可用区的高可用,对于企业的核心应用来说,这应该是必须的能力
    • 是未来Azure上开源托管产品的主要形态(这是一个猜测)
    • 版本选择上的建议:
      • 当前,连续要求不高的业务,建议选择FS,因为这将是未来的主打形态
      • 如果稳定的、重要的业务,当前还是建议选择SS,毕竟是经过很长时间验证的产品形态

    继续阅读,可以了解更多关于Flexible Server的详细说明

    (more…)
  • 云数据库产品能力更新

    • [Azure] MySQL Flexible Server开始支持跨区域的备份能力:参考
    • [AWS] Aurora 发布 2.10.1版本(注:2.x.x是指兼容MySQL 5.7的版本):参考
    • [AWS] Aurora 发布新版本支持PostgreSQL 12.7版本,PostgreSQL社区该版本发布时间为5月13日(参考),Aurora大概在5个月时间完成小版本跟进:参考
    • [AWS] RDS Proxy开始支持MySQL 8.0版本:参考。使用RDS Proxy支持”连接池”(具备更好的扩展性,参考)、切换更加平滑等。
    • [AWS] RDS PostgreSQL支持13.4、12.8等版本。13.4和12.8社区版本发布时间是08月12日
    • [AWS] MemoryDB for Redis新增11个区域支持:参考
    • [GCP] Cloud SQL的优化建议开始支持闲置实例、规格过大、磁盘不足等建议:参考
    • [GCP] Cloud Spanner开始支持PostgreSQL兼容的接口:参考
    • [GCP] Cloud Spanner支持通过对Query打标而进行性能数据统计:参考
    • [阿里云] AnalyticDB PostgreSQL版开始支持”基础版”实例,大幅降低小规格建仓成本:参考
    • [阿里云] 开始支持MongoDB 5.0版本,在所有云厂商的一方产品中率先支持该版本:参考
    • [阿里云] 杭州、深圳地区金融云RDS开始支持云盘加密功能:参考
    • [腾讯云] TDSQL-C(原CynosDB)开始支持MySQL 8.0:参考
    • [腾讯云] 数据传输的订阅功能开始支持TDSQL MySQL版:参考
    • [华为云] GaussDB(for Redis)开始慢日志、公网SSL加密、Lua脚本等功能:参考
    • PostgreSQL 14正式发布:参考,Percona上的相关解读:参考
    • [OceanBase​] 发布3.2版本;开源发布3.1.1版本

    云产品其他重要更新

    • 阿里云计划在2020年新开韩国和泰国区域:参考
    • Percona再AWS上用Sysbench分别测试了EC2上AMD、Intel、Graviton(ARM)的实例性能情况:参考
    • [AWS] EC2的Mac实例新增更多区域支持:参考。AWS EC2竟然支持MacOS的实例…。
    • [AWS] EC2控制台开始支持从全球视角展示所有相关资源:参考。就问你爽不爽!!
    (more…)
  • 一直以来实现数据库的零数据丢失都是非常有挑战,尤其是跨可用区的场景下。很多核心系统为了实现这一点都投入了大量的智慧和金钱。Amazon RDS在文档都明确的写到,数据库在多AZ之间的数据是保持同步的(注:同步是指数据写入两边要同时写成功,即使一边不可用,已经提交的事务在另一边一定是成功的)。一直以来,我也很好奇Amazon RDS在哪个层面实现的同步复制。

    这个问题原本也是没有太大疑问的,可以推测应该是通过EBS层面的块复制来下。依据有两方面,有一些公开的Amazon RDS一些架构图中可以看到有EBS复制的箭头说明。另外,还有一点,只有通过EBS的复制实现跨可用区数据一致性,才可能在RDS支持的多种数据库,如MySQL、SQL Server、Oracle等,上保持架构上一致。否则,不同数据库类型的高可用和复制架构可能相差很大。

    但是,之前很长时间我还是有一个疑问,Amazon RDS复制到底是在数据库逻辑层实现的还是在EBS物理层实现的。

    既然有上面的猜测,那为什么产生了这个疑问呢?是因为,在Aurora很多的对外介绍材料(包括论文、架构介绍的slide)中,会放一个MySQL架构来突出Aurora的架构优势。这个图一直让我误以为Amazon RDS使用了数据库的binlog的复制。在了解Aurora的时候大家经常会看到如下架构图作为反面案例(参考): (more…)

  • PolarDB产品架构与实现

    ·

    这是上周在数据技术嘉年华上分享的内容:PolarDB产品架构与实现。(文件约5MB,下载比较慢,请耐心等待,点击下载(more…)

  • AWS是云计算领域的“领头羊”,产品和技术创新快速且比较踏实。re:Invent是AWS一年最盛大的线下活动(有个同事比喻,相当于阿里云的“杭州云栖大会”),一般产品的重大更新都会在这列做宣传,一直以来,我对AWS的产品都保持着高度的关注,今年,则直接来到了Las Vegas现场,近距离“观察”。

    明天AWS re:Invent大会会有AWS CEO Andy Jassy的Keynote,这里先提前做个“猜测”,猜猜一下数据库方向会发布哪些产品或者重大特性吧:

    1. 宣布Aurora Multi-Master近期GA,Global Replication Preview,Aurora PostgreSQL Serverless Preview。 继续宣传是AWS增长最快的产品,大势宣传AWS Top 100客户有75%使用了Aurora(较大概率)。

    2. 怒怼Oracle(大概率),可能会说Amazon将在2020第一季度完成去O,替代产品分布是redshift、Aurora、DynamoDB(小概率)。

    3. 会继续宣传DMS(Database Migration Service,在阿里云对应的产品是数据传输 DTS)又迁移了多少数据库,可能会重点说一下迁移了多少Oracle(小概率)到Aurora(如果这个数据比较大的话)。

    4. DynamoDB支持事务(大概率)。

    5. 继续强调AWS数据库技术是Open的。

    6. 发布其他的全新产品?(极小概率)

    明天看看结果。

  • 实测Aurora Serverless MySQL

    ·

    前几天Aurora Serverless正式GA, 第一时间体验了一下,看看到底怎样。

    概述

    Lambda的无服务技术是AWS在云产品形态上的一次重大创新,它把云计算最重要的“弹性”能力再向前推了一步。Aurora Serverless MySQL是Serverless技术在数据库上的应用。Aurora Serverless理念非常好,长远来看,对于用户来说,可以根据实际系统压力进行结算,比一次性购买预留实例更加实惠。这是云计算,对于“弹性”概念的又一次升级。

    对于云厂商来说,当云的规模足够大时,相比使用预留实例的方式,通过这种系统控制的自动弹性能力,可以极大提高整体的系统利用率。一个简单、极端但是可以说明效果的例子是这样的:如果有两套系统,一套是服务东半球的用户,一套是服务西半球的用户,那么相比给两套系统都预留最大要求容量的资源,这种全自动的弹性可能只需要使用75%或者更少的资源(最低是50%),就可以服务好这两套系统业务。当你服务的业务的高低峰错峰越明显,资源体量越大,那么这种自动弹性的能力带来的效益可能就越大。

    那么,我们来看看实际使用中,会带来哪些好处,又或者可能会有哪些“坑”需要小心。 (more…)