orczhou.com

Database

  • 云数据库行业动态@2022年3月

    ·

    orczhou

    最近，业余时间都放在《高性能MySQL 第四版》的翻译工作了，以至于这个行业动态已经拖了将近三个月没有更新了。那，今天，我们就一起来看看在2022年的第一个季度，各个厂商的云数据库都有什么新进展吧。

    重点更新

    • Azure Data Studio持续更新，发布了Table Designer、Query Plan Viewer等功能。虽然，SQL Server最权威的管理工具一直是SSMS，不过最近看到MS也在快速更新Azure Data Studio。相比，SSMS，ADS是一个跨平台的产品，可以同时支持Windows、MacOS、Linux，可以看到MS在以云为战略核心之后，开发者、开放、开源都是其核心策略。

    • 火山引擎，自去年12月发布之后，也在快速迭代，最新发布了PostgreSQL的支持，不过，即现在记住火山引擎官网的域名还是有点难度的，不打算改吗？ www.volcengine.com 你们都记得住吗？

    • AWS发布自己的JDBC for MySQL，并推荐客户使用，在全力推Aurora的情况下，又推出自己的JDBC，是在准备随时和Oracle全面脱钩吗？

    • AWS RDS通过类似半同步复制的机制，也推出三节点形态，相比EBS复制，这种逻辑复制可以让Standby有更好的性能，同时可以直接提供读服务：参考

    更新详情

    • [AWS] RDS for PostgreSQL支持了tds_fdw/mysql_fdw
    • [AWS] RDS Multi-AZ Cluster新增更多区域支持 参考
    • [AWS] RDS开始支持 Oracle 21c
    • [AWS] Aurora PostgreSQL支持大版本升级，例如从9.6升级到11.X：参考
    • [AWS] AWS JDBC for MySQL正式GA：参考
    • [AWS] RDS SQL Server 2007标准版支持Always On AG： 参考
    • [AWS] RDS MariaDB开始支持延迟复制：参考
    • [AWS] MemoryDB for Redis开始支持 PrivateLink：参考
    • [AWS] RDS开始支持PostgreSQL 14：参考
    • [MariaDB] 10.9版本发布，将增强JSON支持、异步redo等：参考
    • [Azure] Microsoft Defender支持保护Cosmos DB：参考
    • [Azure] Cosmos DB开始支持MongoDB 4.2 API：参考
    • [Azure] Azure Data Studio发布了Table Designer、Query Plan Viewer：参考
    • [GCP] Memorystore for Redis发布Read Replicas、RDB Snapshots等功能：参考
    • [GCP] Spanner发布了Optimizer v4，提升了二级索引、哈希JOIN等相关功能：参考
    • [GCP] Cloud SQL for MySQL支持了8.0.26，并作为默认版本：参考
    • [GCP] Cloud SQL for SQL Server支持了跨区域的副本：参考；
    • [GCP] Cloud SQL for SQL Server 2019成为默认的SQL Server版本：参考
    • [阿里云] AnalyticDB PostgreSQL发布跨实例数据共享：参考
    • [阿里云] AnalyticDB PostgreSQL发布Serverless实例类型：参考
    • [阿里云] RDS MySQL只读实例支持开启binlog：参考
    • [阿里云] RDS PostgreSQL 14大版本发布：参考
    • [阿里云] Tair（Redis企业版）现已经开放TairTS时序数据结构、TairCpc数据结构：参考
    • [腾讯] TDB for MySQL支持了连接池功能：参考
    • [腾讯] TDB for SQL Server支持了数据库维度多任务并行、备份数据开始商业化计费：参考
    • [腾讯] TDB for PostgreSQL支持了跨可用区容灾、克隆实例、跨可用区创建只读实例等功能
    • [腾讯] TDB for Redis支持了全球复制功能：参考
    • [腾讯] TDSQL-C MySQL 8.0版本增加了只读节点等功能：参考
    • [腾讯] TDSQL PostgreSQL推出Oracle 兼容版的集中式版：参考
    • [腾讯] DTS支持了跨账号实例间数据同步，支持了更多的源/目标的组合：参考
    • [华为云] GaussDB(for Mongo)提供了多种数据迁移方案：参考
    • [华为云] GaussDB(for Redis)包周期（类似于包年包月）实例支持规格变更：参考
    • [华为云] 数据复制服务 DRS 实时同步支持DB2 for LUW 10.5、11.5、PostgreSQL->Kafka等
    • [阿里云] RDS PostgreSQL 支持机器学习MADlib插件：参考
    • [阿里云] 图数据库GDB自动机器学习组件发布：参考
    • [火山引擎] 云数据库 PostgreSQL 版正式发布上线：参考

  • 在Amazon Linux 2上安装PostgreSQL

    ·

    orczhou

    概述

    使用的Amazon Linux 2，相当于是CentOS 7，于是使用了官方的yum repo来进行安装。

    官方文档的参考：Linux downloads (Red Hat family)@postgresql.org

    添加yum仓库

    /etc/yum.repos.d/pgdg.repo
[pgdg13]
name=PostgreSQL 13 for RHEL/CentOS 7 - x86_64
baseurl=https://download.postgresql.org/pub/repos/yum/13/redhat/rhel-7-x86_64
enabled=1
gpgcheck=0

    注意，上述文件中的url需要根据实际情况调整，需要根据主机的发行版本和需要安装的PostgreSQL版本，在仓库中找到对应的目录：目录列表。

    更新yum仓库配置信息，并安装postgresql-server

    sudo yum update

    sudo yum install postgresql13-server

    添加执行文件到PATH路径

    export PATH="${PATH}:/usr/pgsql-13/bin"

    准备数据文件（database cluster）

    参考：Creating a Database Cluster

    root# mkdir /usr/local/pgsql
root# adduser postgres
root# chown postgres /usr/local/pgsql
root# su postgres

postgres$ export PATH="${PATH}:/usr/pgsql-13/bin"

postgres$ pg_ctl -D /usr/local/pgsql/data initdb

    启动/关闭postgresql

    pg_ctl start -l logfile -D/usr/local/pgsql/data
pg_ctl stop -D /usr/local/pgsql/data

    修改配置文件

    vim /usr/local/pgsql/data/postgresql.conf  # 例如修改 shared_buffers = 64MB

    连接数据库

    psql

  • AWS RDS Custom实例，与阿里云数据库的MyBase类似吗？

    ·

    orczhou

    最近，Amazon RDS Custom开始支持了SQL Server。RDS Custom形态一方面提供托管数据库的安装、管理、弹性等能力，另一方面又提供类似自建数据库的OS访问与配置、驱动程序安装等能力。

    这种形态与阿里云数据库提供的MyBase有一些类似，那是不是同类产品呢？我们从一下几方面来看看Amazon RDS Custom。

    面向的场景：Amazon RDS Custom主要是面向一些比较封闭、传统的应用系统，需要对数据库控制、配置都有非常高要求的应用系统，让系统人员可以接触、控制RDS所运行的主机OS，从而完成这类“封闭、传统”的应用系统配置工作。所以，从这个逻辑出发，RDS Custom优先支持的是Oracle，现在又支持了SQL Server，而不是当下最流行的MySQL或者PostgreSQL。

    提供的能力：RDS Custom向用户提供了底层OS的访问权限，可以让用户一定程度上配置和管理数据库的运行环境。普通的RDS是一种全托管的数据库，用户不用关心数据库的安装配置，更不用关心底层的OS运行情况；如果基于EC2/ECS等构建数据库，则需要用户对OS、数据库做完整地管理与配置。可以这样理解，RDS Custom是一种介于这两种形态之间的一种中间形态，一方面RDS Custom提供了托管数据库地安装、管理、弹性等能力，另一方面又提供类似自建数据库地OS访问与配置、驱动程序安装等能力。下图，比较好的概括了相关能力，并给出了对比：

    一些常见的场景：

    • 在安装数据库时需要安装特定的数据库和OS补丁
    • 需要对数据库做一些特殊的配置
    • 应用系统和数据库需要通过文件的方式传输、共享数据

    RDS Custom的一些优势：

    • 安装、备份/恢复、监控/告警等，依旧可以全托管自动化完成
    • 可以在主机上运行自己的软件，例如某些第三方应用程序等
    • 可以按需的自己安装数据库补丁和OS补丁
    • 可以作为从本地环境迁移到全托管环境的一个过渡
    • 可以运行自己的系统脚本，例如监控、诊断、调度等

    与MyBase的异同：

    • 都提供了主机级别的权限，一方面向用户提供了更大自由度定制数据库和运行OS环境，另外也可以在主机上运行一些额外的软件（例如监控agent等）
    • MyBase比较重要的一点是，提供在主机级别超卖率的配置，可以让用户根据自己应用的实际情况去配置，这就可以在一些非性能关键的场景下，获得非常高的性价比。同时，MyBase也基本是全托管的（自动化安装、备份、监控等），使用起来依旧很建档，让客户更加专注于自己的业务系统。
    • 整体上，定位是不同的。RDS Custom核心是解决用户的部分传统应用部署时候对数据库有一些特殊要求的场景，所以，支持的数据库也是Oracle和SQL Server；而MyBase是提供给用户一个更加自主可控的环境，另外，MyBase是以主机为单位购买，也向用户提供更加高性价比的实例选择，基于此，希望通过这种产品形态，让用户放下一些“顾忌”，选择云数据库上云。

    所以，RDS Custom和MyBase这两个形态看起来有些像，但是出发点、形态、使用上差异也都非常大。不过有一点是一样的，都是在一些较为垂直的场景上，帮助用户更加便利、平滑的完成数据库上云。

    参考：

  • 云数据库行业动态@20211217

    ·

    admin

    1、云数据库产品能力更新

    • [TiDB] TiDB Hackathon即将开启，主题为「Explore the Sky」：参考。
    • [阿里云] 云数据库 Redis 版 – Redis/Tair控制台发布概览页：参考。
    • [阿里云] 阿里云表格存储发布支持模糊查询新功能：参考。
    • [阿里云] RDS for PostgreSQL控制台上线”一键上云”功能：参考。
    • [腾讯云] DTS数据订阅功能支持修改位点：参考。
    • [腾讯云] 云数据库 MongoDB支持在控制台对配置参数进行修改：参考。
    • [腾讯云] MySQL托管服务优化了参数模板管理、生产购买流程的优化：参考。
    • [Azure] 数据库备份数据支持了长达10年的存储保持能力：参考
    • [AWS] DMS服务支持了”Time Travel”功能，可以帮助用户更好的进行数据排查：参考。
    • [AWS] DMS提供了新的集成控制台，帮助用户全流程完成上云迁移：参考。
    • [GCP] Autoscaling for Cloud Bigtable正式GA：参考。
    • [GCP] PostgreSQL 14托管服务正式GA：参考。
    • [社区] 3306π 云原生–数据和未来活动在深圳举办：参考。
    • MariaDB更新版本发布策略，诸如10.7、10.8这样较大粒度版本，将以3个月左右为周期来更新版本：参考。在云时代，数据库的分发和使用方式已经被彻底改变，相比之前传统软件的研发周期已经不再能够满足开发者的期望了。

    2、其他

    • 字节跳动云服务-火山引擎正式发布，开放的数据库包括：MySQL、Redis托管服务以及数据库传输服务；分析类产品包括：EMR、ByteHouse（ClickHouse）、数据湖分析等。
    • 腾讯云开通巴西圣保罗地区：参考。

  • 云数据库行业动态@20211108

    ·

    orczhou

    行业头条

    • 开源产品公司ClickHouse, Inc再次融资2.5亿美元，估值达20亿美金。本轮融资距离公司成立时的5000万美元融资，仅仅只有两个月：参考。
    • 数据集成厂商Informatica正式在纽交所上市公司估值85亿美元左右，2020年营收约13亿美金：参考。
    • Yugabyte完成1.88亿美金融资，公司估值13亿美金：参考。

    头条点评：数据领域最近非常“热”，Informatica再次在纽交所上市估值为85亿美金；而ClickHouse,Inc两个月内连续两次融资，估值就达到了20亿美金。开源软件的对立面已经不是商业软件，而是在与”已经很强大的”云厂商们争夺最后的客户价值。

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布（参考）
    • [Azure] SQL Server托管服务（Azure SQL Managed Instance）发布新的Link特性：参考

    头条点评：近期，AWS发布了开源Babelfish，帮助用户从SQL Server迁移到PostgreSQL；微软的Azure SQL托管数据库则发布了新特性”Link”，帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战，是数字化竞争中的关键环节，各个云厂商都在重兵投入。云厂商都发现，水库已经有一定规模，但是引水的渠道好像还不太够。

    重要更新

    • 阿里云重磅发布GanosBase，该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎，也是首个云孪生时空数据库：参考。
    • 2021年数据技术嘉年华推迟一个月到12月23日：参考；袋鼠云/DDIC2021数智行业峰会峰会推迟：参考。（会议推迟大概会是未来比较长时间内的一个常态）
    • 腾讯云数据库”五年6次POC测试，最终拿到农行核心系统项目”：参考。
    (more…)

  • Azure数据库的Flexible Server

    ·

    orczhou

    一直对云数据库比较关注，在去年9月份的微软“Ignite”大会宣布推出的托管数据库“Flexible Server”（后面简称”FS”），虽然一直处于Preview状态，但是依据看到在过去一年中，该版本一直在非常快速的更新，猜测该版本应该会是未来开源托管数据库的主要形态(如有微软朋友可以帮回复确认一下)，这里对比之前的”Single Server”（后面简称”SS”），对“Flexible Server”做一个概要性的介绍，详细的介绍可以直接阅读本文结尾处链接中Azure的官方文档。

    关于”Flexible Server”的”TLDR”版

    • Flexible Server就是Azure上使用了新一代底层架构的托管MySQL、PostgreSQL服务
    • 早期Azure上开源数据库托管是基于Windows（参考），称作”Single Server”，新版本托管平台基于Linux，称作Flexible Server
    • 该版本是Azure OSS开发者组2019年左右开始开发，2020年对外宣布，当前处于Preview状态
    • 该版本让开发者在管理实例时，具备更大的灵活性，包括：更多的参数管理、维护窗口控制等
    • 支持了多可用区的高可用，对于企业的核心应用来说，这应该是必须的能力
    • 是未来Azure上开源托管产品的主要形态（这是一个猜测）
    • 版本选择上的建议：
      • 当前，连续要求不高的业务，建议选择FS，因为这将是未来的主打形态
      • 如果稳定的、重要的业务，当前还是建议选择SS，毕竟是经过很长时间验证的产品形态

    继续阅读，可以了解更多关于Flexible Server的详细说明。

    (more…)