orczhou.com

orczhou

  • 在Amazon Linux 2上安装PostgreSQL

    ·

    orczhou

    概述

    使用的Amazon Linux 2，相当于是CentOS 7，于是使用了官方的yum repo来进行安装。

    官方文档的参考：Linux downloads (Red Hat family)@postgresql.org

    添加yum仓库

    /etc/yum.repos.d/pgdg.repo
[pgdg13]
name=PostgreSQL 13 for RHEL/CentOS 7 - x86_64
baseurl=https://download.postgresql.org/pub/repos/yum/13/redhat/rhel-7-x86_64
enabled=1
gpgcheck=0

    注意，上述文件中的url需要根据实际情况调整，需要根据主机的发行版本和需要安装的PostgreSQL版本，在仓库中找到对应的目录：目录列表。

    更新yum仓库配置信息，并安装postgresql-server

    sudo yum update

    sudo yum install postgresql13-server

    添加执行文件到PATH路径

    export PATH="${PATH}:/usr/pgsql-13/bin"

    准备数据文件（database cluster）

    参考：Creating a Database Cluster

    root# mkdir /usr/local/pgsql
root# adduser postgres
root# chown postgres /usr/local/pgsql
root# su postgres

postgres$ export PATH="${PATH}:/usr/pgsql-13/bin"

postgres$ pg_ctl -D /usr/local/pgsql/data initdb

    启动/关闭postgresql

    pg_ctl start -l logfile -D/usr/local/pgsql/data
pg_ctl stop -D /usr/local/pgsql/data

    修改配置文件

    vim /usr/local/pgsql/data/postgresql.conf  # 例如修改 shared_buffers = 64MB

    连接数据库

    psql

  • 长路漫漫 踏歌而行

    ·

    orczhou

    Canon EOS R5 RF24-70mm F2.8 ISO-100 ƒ5.6 1/200 By Pingping

  • AWS RDS Custom实例，与阿里云数据库的MyBase类似吗？

    ·

    orczhou

    最近，Amazon RDS Custom开始支持了SQL Server。RDS Custom形态一方面提供托管数据库的安装、管理、弹性等能力，另一方面又提供类似自建数据库的OS访问与配置、驱动程序安装等能力。

    这种形态与阿里云数据库提供的MyBase有一些类似，那是不是同类产品呢？我们从一下几方面来看看Amazon RDS Custom。

    面向的场景：Amazon RDS Custom主要是面向一些比较封闭、传统的应用系统，需要对数据库控制、配置都有非常高要求的应用系统，让系统人员可以接触、控制RDS所运行的主机OS，从而完成这类“封闭、传统”的应用系统配置工作。所以，从这个逻辑出发，RDS Custom优先支持的是Oracle，现在又支持了SQL Server，而不是当下最流行的MySQL或者PostgreSQL。

    提供的能力：RDS Custom向用户提供了底层OS的访问权限，可以让用户一定程度上配置和管理数据库的运行环境。普通的RDS是一种全托管的数据库，用户不用关心数据库的安装配置，更不用关心底层的OS运行情况；如果基于EC2/ECS等构建数据库，则需要用户对OS、数据库做完整地管理与配置。可以这样理解，RDS Custom是一种介于这两种形态之间的一种中间形态，一方面RDS Custom提供了托管数据库地安装、管理、弹性等能力，另一方面又提供类似自建数据库地OS访问与配置、驱动程序安装等能力。下图，比较好的概括了相关能力，并给出了对比：

    一些常见的场景：

    • 在安装数据库时需要安装特定的数据库和OS补丁
    • 需要对数据库做一些特殊的配置
    • 应用系统和数据库需要通过文件的方式传输、共享数据

    RDS Custom的一些优势：

    • 安装、备份/恢复、监控/告警等，依旧可以全托管自动化完成
    • 可以在主机上运行自己的软件，例如某些第三方应用程序等
    • 可以按需的自己安装数据库补丁和OS补丁
    • 可以作为从本地环境迁移到全托管环境的一个过渡
    • 可以运行自己的系统脚本，例如监控、诊断、调度等

    与MyBase的异同：

    • 都提供了主机级别的权限，一方面向用户提供了更大自由度定制数据库和运行OS环境，另外也可以在主机上运行一些额外的软件（例如监控agent等）
    • MyBase比较重要的一点是，提供在主机级别超卖率的配置，可以让用户根据自己应用的实际情况去配置，这就可以在一些非性能关键的场景下，获得非常高的性价比。同时，MyBase也基本是全托管的（自动化安装、备份、监控等），使用起来依旧很建档，让客户更加专注于自己的业务系统。
    • 整体上，定位是不同的。RDS Custom核心是解决用户的部分传统应用部署时候对数据库有一些特殊要求的场景，所以，支持的数据库也是Oracle和SQL Server；而MyBase是提供给用户一个更加自主可控的环境，另外，MyBase是以主机为单位购买，也向用户提供更加高性价比的实例选择，基于此，希望通过这种产品形态，让用户放下一些“顾忌”，选择云数据库上云。

    所以，RDS Custom和MyBase这两个形态看起来有些像，但是出发点、形态、使用上差异也都非常大。不过有一点是一样的，都是在一些较为垂直的场景上，帮助用户更加便利、平滑的完成数据库上云。

    参考：

  • Python示例：通过ssh tunnel连接SQL Server

    ·

    orczhou

    这个示例可以结合着之前的连接MySQL一起来看：参考。

    代码如下。当然，运行之前，你需要

    • 已经完成了基本的工具安装，这个并不容易（参考）
    • 已经有一个可以正常运行的与连接的SQL Server
    • 已经有一个网络上到SQL Server联通的主机的ssh账号
    • 下面的实例中，还需要一个t_1表，表中有三个字段

    import pyodbc
import pandas as pd
import logging
import sshtunnel
from sshtunnel import SSHTunnelForwarder

ssh_host = 'x.x.x.x'
ssh_port=22
ssh_username = 'lilei'
ssh_password = 'xxxxxx'


db_server = 'x.x.x.x'
db_port= 1433
database = 'xxx'
db_username = 'xxx'
db_password = 'xx'


tunnel = SSHTunnelForwarder(
    (ssh_host, ssh_port),
    ssh_username = ssh_username,
    ssh_password = ssh_password,
    remote_bind_address = (db_server, db_port),
)
tunnel.start()


cnxn = pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};SERVER=127.0.0.1,'+str(tunnel.local_bind_port)+';DATABASE='+database+';UID='+db_username+';PWD='+ db_password)
cursor = cnxn.cursor()

cursor.execute("SELECT * FROM dbo.t_1;")
row = cursor.fetchone()
while row:
    print('ID: %(id)03s | nick: %(nick)012s | birthdate: %(bd)010s' %
      {'id':row[0],'nick':row[1],'bd':row[2]})
    row = cursor.fetchone()

  • Azure的SQL Server托管实例发布”Link”特性

    ·

    orczhou

    在前段时间微软Ignite前后，Azure的SQL Server托管服务（Azure SQL Managed Instance）发布一个基于”Always On”技术的新的“Link”特性。可以帮助用户在云端实例和其他环境实例建立一条同步链路，将其他环境的数据同步到Azure云端。该功能当前处于邀请测试阶段（limited public preview），支持SQL Server 2019(需要CU13)，长期计划支持2016及其以后的版本。

    从感受上来说，国外三家云厂商，Azure应该是更新最快速的，可以说是最努力的那朵云，相比AWS虽然起步晚，但是跑得非常快。从这个功能来看，微软在尝试通过产品化的方式帮助用户将本地的数据，快速、低成本的迁移到Azure。

    这里简单介绍一下该功能。使用该功能，可以实现如下能力：

    • 将本地或者其他云上的SQL Server数据”近实时”地同步到Azure云的SQL Server
    • 可以实现本地环境SQL Server的读扩展，可以将部分可以接受延迟的读服务切换到Azure上
    • 可以利用Azure上的一些分析产品能力，包括Synapse、MI、PBI等
    • 可以通过多个Link通路，将多个实例数据同步一个Azure实例上用于聚合分析
    • 利用Azure在全球众多区域部署，使用Link同步通路，可以让业务快速具备就近访问的能力
    • 可以帮助用户更加无缝的实现，从其他环境迁移到Azure上，使用Link特性是一个很好地过渡
    • 如果需要建设SQL Server数据库的容灾能力，这也是一个非常简单快速的方式

    参考链接：

    • Managed Instance link – connecting SQL Server to Azure reimagined：链接
    • Link feature for Azure SQL Managed Instance (limited preview)：链接
    • Distributed availability groups：链接

  • Azure数据库的Flexible Server

    ·

    orczhou

    一直对云数据库比较关注，在去年9月份的微软“Ignite”大会宣布推出的托管数据库“Flexible Server”（后面简称”FS”），虽然一直处于Preview状态，但是依据看到在过去一年中，该版本一直在非常快速的更新，猜测该版本应该会是未来开源托管数据库的主要形态(如有微软朋友可以帮回复确认一下)，这里对比之前的”Single Server”（后面简称”SS”），对“Flexible Server”做一个概要性的介绍，详细的介绍可以直接阅读本文结尾处链接中Azure的官方文档。

    关于”Flexible Server”的”TLDR”版

    • Flexible Server就是Azure上使用了新一代底层架构的托管MySQL、PostgreSQL服务
    • 早期Azure上开源数据库托管是基于Windows（参考），称作”Single Server”，新版本托管平台基于Linux，称作Flexible Server
    • 该版本是Azure OSS开发者组2019年左右开始开发，2020年对外宣布，当前处于Preview状态
    • 该版本让开发者在管理实例时，具备更大的灵活性，包括：更多的参数管理、维护窗口控制等
    • 支持了多可用区的高可用，对于企业的核心应用来说，这应该是必须的能力
    • 是未来Azure上开源托管产品的主要形态（这是一个猜测）
    • 版本选择上的建议：
      • 当前，连续要求不高的业务，建议选择FS，因为这将是未来的主打形态
      • 如果稳定的、重要的业务，当前还是建议选择SS，毕竟是经过很长时间验证的产品形态

    继续阅读，可以了解更多关于Flexible Server的详细说明。

    (more…)