华为云数据复制服务DRS对接使用完全指南

1. 数据复制服务DRS概述

数据复制服务（Data Replication Service，简称DRS）是华为云推出的一款专注于数据库实时数据流通的云服务。它旨在解决数据库迁移上云、跨系统数据实时同步、异地灾备建设等场景下的复杂问题。DRS以JDBC方式连接数据库，无需在源端或目标端安装任何代理程序，极大降低了部署和运维的复杂度。用户只需在华为云控制台进行简单的配置，即可启动高效、安全的数据复制任务。

DRS的核心价值体现在三个方面：第一，易用性——通过可视化向导式界面，用户可以在分钟内完成迁移或同步任务的创建；第二，稳定性——服务具备断点续传、自动重试、双AZ高可用等机制，确保数据复制过程不中断；第三，高效性——采用并行抽取和回放技术，充分利用带宽和数据库资源，大幅缩短数据同步时间。

需要先登录华为云控制台，点击：华为云控制台，还没有账号，点击：注册并关联，已有账号点击：登录后关联

2. DRS三大核心能力详解

2.1 实时迁移

实时迁移主要用于将源数据库整体搬迁到目标数据库，常见场景包括本地数据库迁移上云、云间跨区域迁移等。DRS支持全量迁移和全量+增量迁移两种模式。全量迁移适合业务可中断的场景，一次性拷贝所有数据；全量+增量迁移则允许在迁移过程中业务继续写入，DRS会持续同步增量数据，直到追平后自动完成切换，实现平滑迁移。迁移任务完成后，用户可以自由选择是否结束任务，通常迁移是一次性操作。

2.2 实时同步

实时同步与迁移不同，它强调的是持续性的数据流动。同步任务会长期运行，源源不断地将源端的变更（插入、更新、删除）实时复制到目标端。典型应用场景包括：将生产数据库的数据实时同步到分析型数据库（如从MySQL同步到GaussDB(DWS)）用于报表查询；将多个业务系统的数据汇聚到一个中心库；或者将数据同步到Kafka等消息中间件供下游消费。实时同步支持多种拓扑结构，如一对一、一对多、多对一等。

2.3 实时灾备

实时灾备是为保障业务连续性而设计的。当主数据库发生故障时，灾备数据库可以快速接管业务。DRS支持搭建同城或异地灾备，通过持续同步主库数据，使备库始终保持最新状态。一旦主库不可用，用户可以手动或自动切换到备库，大幅降低RTO（恢复时间目标）。灾备任务同样具备断点续传和自动重试能力，确保数据不丢失。

3. 产品架构与工作原理

DRS的后台架构体现了华为云在数据库服务领域的技术积累。所有DRS任务运行在独立的虚拟机（即数据复制实例）上，每个租户的任务实例相互隔离，保障数据安全。DRS通过JDBC驱动与源库和目标库建立连接，因此无需在数据库服务器上部署任何agent。网络通信层面，DRS采用最小IP开放原则——仅在任务执行期间，将数据复制实例的私有IP或弹性IP添加到数据库的白名单中，而非开放整个网段，有效降低安全风险。

对于全量+增量迁移，完整流程包含四个阶段：结构迁移、全量数据迁移、增量数据迁移以及触发器/事件迁移。结构迁移阶段，DRS查询源库中用户选择的库、表、视图、主键、索引等对象定义，并在目标库中创建这些对象。全量迁移阶段，DRS利用并行分片技术，将大表拆分成多个分片，由多个工作线程同时抽取并回放到目标库，极大提高迁移速度。在全量迁移启动前，系统会提前开启增量日志读取，并缓存增量数据，确保全量和增量无缝衔接。增量迁移阶段，DRS持续解析源库的增量日志（如MySQL的binlog、Oracle的redo log），转换为内部格式后回放到目标库。最后，为防止触发器和事件在迁移过程中产生意外数据修改，系统会在任务结束阶段才迁移这些对象。

对于实时同步，其技术路线与增量迁移类似，但同步任务没有“结束”概念，它会持续运行并不断消费增量日志。DRS内部实现了日志读取、解析、过滤、转换、回放等模块。其中过滤模块支持数据加工（如行过滤）、对象名映射（库、表、列重命名）等高级功能。转换模块则负责异构数据库之间的数据类型映射和语法转换，例如将Oracle的NUMBER类型转换为MySQL的DECIMAL，将Oracle的PL/SQL语法改写为兼容目标库的SQL。

4. 支持的数据库与网络类型

4.1 数据库生态

DRS支持广泛的关系型和非关系型数据库。在实时同步链路中，涵盖MySQL到MySQL、MySQL到PostgreSQL、MySQL到GaussDB(for MySQL)、MySQL到GaussDB(DWS)、MySQL到Kafka、MySQL到CSS（Elasticsearch）、PostgreSQL到PostgreSQL、PostgreSQL到GaussDB、Oracle到MySQL、Oracle到GaussDB、DDM到MySQL/GaussDB、MongoDB到DDS、MariaDB到MariaDB、TaurusDB到TaurusDB等数十种组合。出云方向也支持将云上数据库同步到线下或他云，例如MySQL到Oracle、MySQL到Kafka等。具体支持的版本和特性需参考官方文档。

4.2 网络连接方式

DRS提供四种网络类型以适应不同部署场景：

• VPC网络：适用于源库和目标库均部署在华为云同一区域的VPC内。如果处于不同VPC，要求VPC间通过对等连接实现互通，且子网网段不能重叠。
• VPN网络：通过IPSec VPN将用户本地数据中心或他云环境与华为云VPC连接，适用于跨地域或混合云场景。
• 专线网络：通过云专线（Direct Connect）建立稳定的物理专线连接，带宽高、延迟低，适合大规模数据迁移。
• 公网网络：源库或目标库绑定弹性公网IP，通过互联网进行连接。此方式简单快捷，但安全性和带宽受限于公网环境，建议仅用于测试或小规模同步。

选择网络类型时，需综合考虑数据量、安全性、成本等因素。生产环境推荐使用VPN或专线。

5. 控制台创建DRS任务全流程

5.1 创建实时迁移任务（以MySQL到RDS为例）

登录华为云控制台，进入“数据复制服务”页面，点击“实时迁移管理”下的“创建迁移任务”。第一步，填写任务名称（例如“mysql-migrate-to-rds”）、描述信息，选择任务所在区域。第二步，配置源库和目标库信息：选择数据流动方向（入云或出云），分别选择数据库引擎类型（MySQL），然后选择网络类型（如VPC）。填写源数据库的IP地址、端口、数据库用户名和密码；目标库如果选择华为云RDS实例，可直接从下拉列表中选择，系统自动填充连接信息。点击“测试连接”验证连通性。第三步，选择迁移对象：支持库级和表级选择，用户可勾选需要迁移的数据库或特定表。第四步，进行预检查，DRS会自动检测数据库版本兼容性、账号权限、网络连通性、binlog配置等，并给出检查结果。预检查通过后，选择迁移模式（全量或全量+增量），最后单击“启动任务”即可。任务启动后，用户可以在任务详情页查看迁移进度、全量数据行数、增量延迟等指标。

5.2 创建实时同步任务

实时同步任务的创建入口在“实时同步管理”页面。操作步骤与迁移类似，但同步任务需要选择同步模式（全量同步、增量同步或全量+增量）。全量同步只拷贝现有数据，增量同步只持续同步变更，全量+增量则先拷贝存量再持续同步变更。同步任务通常要求源库开启binlog（MySQL）或归档日志（Oracle）。在对象选择阶段，同步任务支持更细粒度的对象映射和过滤配置。启动后，同步任务会持续运行，用户可随时查看同步延迟和状态。

5.3 创建实时灾备任务

灾备任务的创建在“实时灾备管理”页面。灾备需要单独创建专用的数据库账号，并确保该账号具有必要的读写权限。灾备任务配置中，需要指定主库和备库的连接信息，并选择灾备类型（同城或异地）。灾备任务启动后，会持续同步数据，同时DRS会周期性进行数据完整性校验。当主库故障时，用户可手动触发切换操作，将备库提升为主库。

6. 通过API对接DRS

对于希望将DRS能力集成到自有运维平台或实现自动化任务管理的用户，华为云提供了一套完整的RESTful API。调用API前需完成认证鉴权，获取IAM Token。

6.1 获取Token

通过POST请求https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens 获取Token，请求体包含用户名、密码和账号名。返回的响应头X-Subject-Token即为后续API调用所需的认证令牌。

6.2 创建迁移任务API示例

以下POST请求示例创建了一个MySQL入云的全量+增量迁移任务：

POST https://{drs_endpoint}/v3/{project_id}/jobs
Content-Type: application/json
X-Auth-Token: {token}

{
    'bind_eip': true,
    'db_use_type': 'migration',
    'description': '迁移任务示例',
    'engine_type': 'mysql',
    'is_target_readonly': false,
    'job_direction': 'up',
    'name': 'api-migration-task',
    'net_type': 'vpc',
    'node_type': 'high',
    'source_endpoint': {
        'db_type': 'mysql',
        'ip': '192.168.0.100',
        'port': 3306,
        'user': 'drs_user',
        'password': 'your_password'
    },
    'target_endpoint': {
        'db_type': 'mysql',
        'inst_id': 'a1b2c3d4e5f6g7h8i9j0',
        'region': 'cn-north-4'
    },
    'task_type': 'FULL_INCR_TRANS'
}

其中db_use_type取值有migration（迁移）、sync（同步）、cloudDataGuard（灾备）；job_direction为up（入云）或down（出云）；net_type取vpc、vpn、eip；task_type为FULL_TRANS（全量）或FULL_INCR_TRANS（全量+增量）。

6.3 创建连接信息API

用户可提前在连接信息管理中创建数据库连接，方便多次复用。调用CreateConnection接口：

POST /v5/{project_id}/connections
{
    'name': 'source-mysql',
    'db_type': 'mysql',
    'endpoint': {
        'endpoint_name': 'mysql',
        'ip': '192.168.0.100',
        'port': 3306
    },
    'description': '源端MySQL连接'
}

6.4 查询任务进度与数据对比

通过GET /v3/{project_id}/jobs/{job_id} 可获取任务详细状态。启动数据级对比使用POST /v3/{project_id}/jobs/{job_id}/table/compare/{compare_job_id}。更新任务参数或进行批量数据加工也有对应的API。

7. 使用Python SDK操作DRS

华为云官方提供Python SDK（huaweicloudsdkdrs），封装了DRS的API，便于开发者快速集成。

7.1 安装SDK

pip install huaweicloudsdkdrs

7.2 查询任务列表示例

from huaweicloudsdkcore.auth.credentials import BasicCredentials
from huaweicloudsdkdrs.v3.region.drs_region import DrsRegion
from huaweicloudsdkdrs.v3.drs_client import DrsClient
from huaweicloudsdkdrs.v3.model import ListJobsRequest

ak = 'your_ak'
sk = 'your_sk'
credentials = BasicCredentials(ak, sk)

client = DrsClient.new_builder() \
    .with_credentials(credentials) \
    .with_region(DrsRegion.CN_NORTH_4) \
    .build()

request = ListJobsRequest()
request.cur_page = 1
request.per_page = 10
response = client.list_jobs(request)

for job in response.jobs:
    print(f'任务名称: {job.name}, 状态: {job.status}')

7.3 创建任务示例

from huaweicloudsdkdrs.v3.model import CreateJobRequest, JobReq

create_req = CreateJobRequest()
job_req = JobReq()
job_req.name = 'python-sdk-task'
job_req.db_use_type = 'sync'
job_req.net_type = 'vpc'
job_req.task_type = 'FULL_INCR_TRANS'
# 设置更多参数...
create_req.body = job_req
response = client.create_job(create_req)

SDK的请求参数与API文档一一对应，用户可查阅官方API参考进行详细配置。

8. 高级特性与最佳实践

8.1 数据加工（行过滤）

数据加工允许用户为同步的表添加过滤条件，仅同步满足条件的数据行。例如，只同步id大于1000的记录或update_time在某个日期之后的记录。在控制台的“数据加工”页面，选择需要过滤的表，在过滤条件框中填写SQL WHERE子句的内容（不包含WHERE关键字）。注意，过滤表达式必须使用标准SQL语法，不能依赖特定数据库的扩展函数。

8.2 对象名映射

当源库和目标库的库名、表名或列名不一致时，可以使用对象名映射功能。例如，将源库的“prod_db”映射到目标库的“prod_db_backup”。映射支持库级、schema级、表级和列级。通过映射，可以实现同一实例内不同库间的数据同步，或者将多个源表合并到一个目标表。配置映射在“设定同步”页面的已选对象列表中，点击“编辑”图标即可设置。

8.3 权限管理（IAM）

DRS基于IAM进行精细权限控制。默认IAM用户无任何权限，需加入用户组并授予策略。DRS支持系统策略如DRS Administrator（管理员）。若需自定义策略，可参照权限策略语法创建。注意，调用API的IAM用户必须具有相应权限，否则会返回403错误。另外，任务执行过程中，DRS会使用委托（agency）访问其他云服务（如RDS），委托权限不足会导致任务失败，此时需主账号重新创建或授权。

8.4 监控与告警

通过华为云云监控服务CES，可以为DRS实例设置告警规则，例如监控同步延迟、任务状态等指标。在CES中，选择“云服务监控”->“数据复制服务”，即可创建告警。任务日志（包括告警、错误、提示信息）可在任务详情页的“同步日志”页面查看，帮助排查问题。此外，云审计服务CTS会记录所有操作日志，方便安全审计。

8.5 任务生命周期管理

对于未启动或配置中的任务，系统默认保留3天，超时自动删除。按需付费的任务可以设置“任务异常自动结束时间”，避免异常任务持续计费。已删除的任务不再显示在列表中。克隆功能允许基于现有同步任务快速创建新任务，节省配置时间。

9. 注意事项与常见问题

DRS不支持从高版本数据库同步到低版本数据库。在进行正式迁移前，建议先做演练，验证数据完整性和兼容性。对于增量同步，源库必须开启完整的日志记录（如MySQL的binlog格式需为ROW）。公网网络方式下，需将DRS实例的弹性IP加入数据库白名单；VPC方式则需配置安全组规则放通DRS私网IP。修改数据库账号密码后，需及时更新DRS任务中的连接信息，否则重试可能导致账号被锁定。

使用数据过滤时，每张表最多支持一个过滤规则，且一次同步最多支持10000张表。对象名映射时，需保证映射后的名称在目标库中唯一。灾备任务中，备库应设置为只读模式，避免双写冲突。

10. 总结

华为云数据复制服务DRS为企业提供了全方位的数据库数据流通解决方案。无论是首次上云的迁移，还是构建实时分析链路，抑或是搭建异地灾备，DRS都能以低门槛、高可靠的方式满足需求。通过控制台、API和SDK三种使用方式，用户可以根据自身技术水平灵活选择。同时，高级特性如数据加工、对象映射、权限管理等，进一步增强了DRS的灵活性和安全性。掌握本文介绍的对接使用流程，你将能够高效地完成各类数据复制任务，为业务数据流动保驾护航。

11. 常见问答

问：DRS的实时迁移和实时同步核心区别是什么？

答：实时迁移是一次性操作，旨在将数据库整体搬迁到目标端，任务完成后即结束；实时同步是长期运行的任务，持续同步增量变更，用于保持两个系统间的数据实时一致。

问：DRS支持哪些数据库之间的同步？

答：支持MySQL、PostgreSQL、GaussDB系列、Oracle、DDM、MongoDB、MariaDB、TaurusDB等多种数据库之间的同构或异构同步，具体链路可参考官方文档。

问：如何验证同步数据的一致性？

答：DRS提供数据对比功能，支持对象级对比（比对库表结构）和数据级对比（比对行数或内容），用户可在任务详情页发起对比并查看差异报告。

问：网络中断后DRS如何处理？

答：DRS具备断点续传和自动重试机制。连接异常时会记录当前同步位点，待网络恢复后自动从断点续传，保证数据不丢失。

问：源数据库需要开放哪些权限给DRS？

答：通常需要具有查询表数据、读取增量日志（如MySQL的REPLICATION SLAVE权限）以及结构定义查询的权限。预检查阶段会具体提示缺失的权限。

问：DRS任务异常结束后如何恢复？

答：按需任务可设置自动结束时间，超时后自动停止。异常结束后，需查看日志定位原因，修复问题后重新创建任务进行同步，不支持直接恢复已结束的任务。