阿里云DataWorks数据集成（Data Integration）对接配置完全指南

一、数据集成概述：企业级数据同步的基石

在当今企业数字化转型的浪潮中，数据已经成为核心资产。然而，数据往往分散在不同的业务系统、数据库、文件存储和消息队列中，形成了所谓的“数据孤岛”。如何将这些分散的数据高效、稳定、安全地汇聚到一起，是数据开发工程师面临的首要挑战。阿里云DataWorks数据集成（Data Integration）正是为解决这一难题而生的核心产品。

数据集成是一个稳定高效、弹性伸缩的数据同步平台，致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。它支持关系型数据库、数据仓库、非关系型数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。无论你是要将业务数据库（如MySQL、PostgreSQL）的数据同步到MaxCompute进行离线分析，还是要将Kafka中的实时日志流写入Hologres进行实时OLAP查询，数据集成都能提供标准化的解决方案。

DataWorks支持在数据开发（Data Studio）模块中直接创建和管理数据集成任务，旨在为开发者提供统一的工作环境，将数据的抽取、转换和加载（ETL/ELT）全链路整合在同一视图下，无需在不同功能模块间切换。这种一体化的设计极大地提升了数据开发的效率和体验。

需要先登录阿里云控制台，点击：阿里云控制台

二、核心概念与架构解析

在开始配置之前，理解数据集成的核心概念至关重要。这些概念构成了整个产品的设计哲学，也是后续操作的理论基础。

2.1 数据源：数据流动的端点

数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是数据集成同步任务的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：数据来源（Reader）从源数据源读取数据，数据去向（Writer）将处理后的数据写入目标数据源。无论是单表或整库同步，还是离线或实时同步，都需要预先配置好来源和去向数据源。一个配置完整、网络通畅的数据源，是任务能够成功执行的前提。

2.2 同步方式的三维矩阵

DataWorks数据集成提供的数据同步方式可从三个维度进行组合：同步时效、同步范围和数据策略。

同步时效：分为离线与实时。离线同步通过周期性调度任务实现小时或天级的数据迁移；实时同步则捕获源端变更数据（CDC），实现秒级延迟。

同步范围：分为单表、整库和分库分表。支持从单张表的精细化传输，到整个数据库或分库分表的批量迁移与合并。

数据策略：分为全量、增量和全增量。全量迁移所有历史数据，增量仅同步新增或变更的数据。全增量模式结合了两者，并根据数据源特性和时效性要求，提供离线、实时和准实时等多种实现方案。

这三个维度的组合，使得数据集成能够灵活应对几乎所有的数据同步场景。例如，“离线+整库+全量”适用于初次数据入湖，“实时+单表+增量”适用于日志实时同步，“离线+分库分表+全增量”适用于多业务库数据汇聚。

2.3 资源组：数据同步的执行引擎

资源组是数据集成任务实际运行的执行环境。DataWorks提供了Serverless资源组作为推荐方案，它涵盖旧版资源组（独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共资源组）的核心功能，通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。公共数据集成资源组已于2024年9月1日起停止服务，已配置公共资源组的任务将无法执行。因此，新任务应全部使用Serverless资源组或独享数据集成资源组。

三、准备工作：打好地基才能盖高楼

在正式开始配置数据集成任务之前，需要完成三项核心准备工作：数据源配置、资源组购买与绑定、网络连通性保障。

3.1 数据源配置

数据源配置是数据集成的第一步，也是最关键的一步。DataWorks推荐在数据源管理中心进行数据源的统一创建和管理。在此处创建的数据源具有可复用、可管控、支持环境隔离等优点，是企业级数据开发和生产任务的最佳实践。

在管理中心创建数据源，会自动在数据集成侧创建同名数据源，两者共享数据源的生产环境配置。反之，在数据集成创建数据源，也会自动在管理中心创建同名数据源，但该数据源仅具备生产环境信息，开发环境会显示信息缺失，需手动补全。对于标准模式的工作空间，支持数据源环境隔离，同一个名称的数据源可存在开发环境和生产环境两套配置，设置两个不同的数据库实例，使任务在测试和生产调度时操作的数据隔离，确保生产环境数据的安全。

不同类型的数据源配置参数不同，以MySQL数据源为例，需要配置的典型参数包括：数据源名称、数据源描述、数据库地址（IP或域名）、端口号、数据库名称、用户名、密码等。对于VPC内的数据库，还需要选择对应的专有网络、交换机和安全组。

3.2 资源组购买与绑定

完成数据源配置后，需要购买合适规格的资源组并与工作空间绑定。Serverless资源组是当前推荐的选择，它实现了灵活付费与动态扩缩容，提升了隔离性和安全性。资源组的规格直接影响数据同步的性能，需要根据数据量、同步频率和并发度等因素综合评估。

资源组与工作空间的绑定操作在DataWorks控制台中完成。进入工作空间管理页面，在资源组管理选项卡中，可以将已购买的Serverless资源组或独享数据集成资源组绑定到当前工作空间。绑定后，该资源组即可被工作空间内的数据集成任务所使用。

3.3 网络连通：打通数据流通的“最后一公里”

网络连通是数据集成任务能否成功执行的决定性因素。资源组与数据源之间需要完成网络连通配置。根据数据源部署位置的不同，网络连通方案也有所差异：

同账号、同地域场景：推荐使用VPC网络（内网）连接，将DataWorks工作空间的资源组与数据源部署在同一VPC下，即可实现网络互通。

公网数据源场景：如果数据源部署在公网（如自建数据库通过公网暴露），需要在数据源的白名单中添加资源组的公网IP地址。但公网方案存在安全风险和带宽限制，生产环境应尽量避免。

跨账号或跨地域场景：需要借助云企业网（CEN）或VPN等产品实现网络互通，配置相对复杂，但也是企业级数据架构中常见的场景。

网络连通性配置完成后，务必在数据源管理中测试数据源是否连通，或通过冒烟测试等功能验证任务是否正常运行。

四、离线同步任务配置详解

离线同步是数据集成中最基础也最常用的同步方式。它通过周期性调度任务实现小时或天级的数据迁移，适用于对数据实时性要求不高的批量数据处理场景。

4.1 新建离线同步节点

在DataWorks中创建离线同步任务，首先需要新建离线同步节点。操作路径如下：登录DataWorks控制台，切换至目标地域，进入Data Studio（数据开发）。在数据开发界面，可以通过两种方式创建离线同步节点：方式一，在工作流列表右上角选择新建离线同步节点；方式二，将数据集成目录下的离线同步节点直接拖拽至业务流程编辑面板。

创建节点时，需要配置节点基本信息，包括节点名称、存放路径、数据来源类型和数据去向类型。例如，创建一个从MySQL同步到MaxCompute的离线同步节点，数据来源类型选择MySQL，数据去向类型选择MaxCompute（ODPS）。

4.2 向导模式配置

向导模式是DataWorks提供的一种可视化配置方式，通过界面引导逐步完成配置，适合快速上手，操作简单学习成本低。但部分高级功能在向导模式下不可用，需要切换到脚本模式。

向导模式的配置步骤主要包括：选择数据来源、选择数据去向、配置字段映射、设置通道控制参数。在数据来源配置中，需要选择已添加的数据源，并指定要同步的表或通过自定义SQL筛选数据。在数据去向配置中，选择目标数据源和目标表，系统支持自动建表功能。字段映射步骤中，需要建立源端字段与目标端字段的对应关系，并可以配置简单的数据转换规则。通道控制参数包括任务期望最大并发数、同步速率限制、脏数据阈值等。

4.3 脚本模式配置

当需要实现更精细化的离线任务配置时，可以使用脚本模式，通过编写数据同步的JSON脚本并结合DataWorks调度参数，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。脚本模式适用于数据源本身不支持使用向导模式配置任务、或需要精细化控制同步逻辑的场景。

以下是一个典型的MySQL到MaxCompute离线同步的JSON脚本示例：

{\n  \"type\": \"job\",\n  \"version\": \"2.0\",\n  \"steps\": [\n    {\n      \"stepType\": \"mysql\",\n      \"parameter\": {\n        \"connection\": [\n          {\n            \"datasource\": \"mysql_datasource_name\",\n            \"table\": [\n              \"source_table\"\n            ]\n          }\n        ],\n        \"where\": \"create_time >= \\${bizdate}\",\n        \"column\": [\n          \"id\",\n          \"name\",\n          \"create_time\"\n        ],\n        \"splitPk\": \"id\"\n      },\n      \"name\": \"Reader\"\n    },\n    {\n      \"stepType\": \"odps\",\n      \"parameter\": {\n        \"datasource\": \"odps_datasource_name\",\n        \"table\": \"target_table\",\n        \"column\": [\n          \"id\",\n          \"name\",\n          \"create_time\"\n        ],\n        \"partition\": \"ds=\\${bizdate}\"\n      },\n      \"name\": \"Writer\"\n    }\n  ],\n  \"setting\": {\n    \"speed\": {\n      \"channel\": 3,\n      \"mbps\": 10\n    },\n    \"errorLimit\": {\n      \"record\": 0\n    }\n  },\n  \"order\": {\n    \"hops\": [\n      {\n        \"from\": \"Reader\",\n        \"to\": \"Writer\"\n      }\n    ]\n  }\n}

脚本中的关键参数说明：

• stepType：定义数据源类型，如mysql、odps、oss等。
• datasource：引用已配置的数据源名称。
• table：指定要同步的表名。
• column：指定要同步的字段列表。
• where：数据过滤条件，支持使用调度参数实现增量同步。
• splitPk：指定用于数据切分的字段，提升并发读取性能。
• partition：目标表的分区配置。
• channel：并发通道数，影响同步速度。
• mbps：传输速率上限，用于流量控制。

4.4 调度参数的应用

调度参数是DataWorks实现增量同步和自动化调度的核心机制。数据集成任务配置过程中，支持在数据过滤相关参数中使用调度参数，实现增量同步。例如，在上述脚本的where条件中使用了${bizdate}参数，该参数在任务调度时会自动替换为业务日期，从而实现只同步当天新增的数据。

常见的调度参数包括：

• ${bizdate}：业务日期，格式为yyyymmdd。
• ${cyctime}：任务定时时间，格式为yyyymmddhh24miss。
• ${nodeid}：节点ID。
• ${taskid}：任务ID。

调度参数需要在DataWorks的调度配置中定义，并可以在脚本的任意位置引用。合理使用调度参数，可以实现天级、小时级甚至分钟级的增量数据同步。

五、实时同步任务配置详解

实时同步是数据集成中面向低延迟场景的同步方式。它通过流式处理引擎实时捕获源端变更数据（CDC日志），实现秒级延迟的数据同步。实时同步适用于对数据时效性要求较高的场景，如实时数仓、实时风控、实时报表等。

5.1 实时同步的适用条件

并非所有数据源都支持实时同步。使用实时同步前，需要确保数据源支持实时同步能力。部分数据源需要开启日志功能，如Hologres、Oracle等，不同的数据源开启方式不同。实时同步的核心依赖于源端数据库的变更数据捕获（CDC）能力，对于不支持CDC的数据源，无法实现真正的实时同步。

5.2 单表实时同步任务配置

DataWorks数据集成提供了单表实时同步任务，旨在实现不同数据源之间低延迟、高吞吐量的数据复制与流转。该功能基于先进的实时计算引擎，能够捕获源端数据的实时变更（增、删、改），并将其快速应用到目标端。

新建实时同步任务的步骤如下：登录DataWorks控制台，切换至目标地域后，进入数据集成模块。在左侧导航栏单击同步任务，然后在页面顶部单击新建同步任务。以Kafka实时写入MaxCompute为例：数据来源类型选择Kafka，数据去向类型选择MaxCompute，具体类型选择单表实时。

实时同步任务支持以下同步步骤：

• 结构迁移：自动在目标端创建与源端匹配的数据库对象（如表、字段、数据类型等），但不包含数据。
• 全量同步：先将已有数据全量同步至目标表。
• 增量同步：在全量同步完成后，持续地捕获源端发生的变更数据（新增、修改、删除），并将其同步至目标端。

在运行资源区域，选择同步任务所使用的资源组，并为该任务分配资源组CU。支持为全量同步和增量同步分别设置CU，以精确控制资源，避免浪费。

配置数据来源时，选择Kafka数据源中需要同步的Topic。可以通过数据采样功能预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。

5.3 整库实时同步

整库实时同步将源数据库实例内多张表结构及数据一次性迁移至目标端，支持自动建表。相比单表同步，整库同步可以单任务同步多张表，减少任务数量和资源消耗。DataWorks支持多种整库同步场景，如MySQL整库实时同步至SelectDB、PostgreSQL整库实时同步至AnalyticDB for MySQL等。

六、网络连通方案深度剖析

网络连通是数据集成任务配置中最容易出问题的环节，也是排查故障时的首要关注点。本节深入剖析不同场景下的网络连通方案。

6.1 VPC内网连通方案

同账号、同地域场景下，推荐使用VPC网络（内网）连接。具体操作是将DataWorks工作空间的资源组与数据源部署在同一VPC下。对于ECS自建的数据库，将ECS实例与资源组部署在同一VPC下即可实现网络互通。对于云数据库（如RDS、AnalyticDB等），在购买时选择与资源组相同的VPC和交换机。VPC内网连接具有低延迟、高带宽、安全可靠的优势，是生产环境的首选方案。

6.2 公网连通方案

当数据源部署在公网时，需要采用公网连通方案。操作步骤为：登录DataWorks控制台，进入数据集成模块，在数据源列表单击新增数据源，根据实际情况选择数据源并配置相关连接参数。公网方案需要将资源组的公网出口IP添加到数据源的白名单中。但公网方案存在安全风险（数据在公网传输）和性能瓶颈（公网带宽限制），仅建议在测试环境或临时场景中使用。

6.3 跨账号与跨地域连通方案

跨账号场景下，需要通过RAM授权允许DTS任务访问其他账号的云资源。跨地域场景下，需要借助云企业网（CEN）实现不同地域VPC之间的网络互通。这些方案配置相对复杂，但对于大型企业的多账号、多地域数据架构来说是必不可少的。

6.4 连通性测试与故障排查

完成网络配置后，务必进行连通性测试。在数据源管理页面，点击测试连通性按钮，系统会验证资源组与数据源之间的网络是否通畅。如果测试失败，常见原因包括：白名单未正确配置、VPC路由表配置错误、安全组规则拦截、数据源服务未启动等。此时需要逐一排查，直至连通性测试通过。

七、性能优化与最佳实践

数据同步的性能直接影响数据 pipelines 的效率和稳定性。以下是一些经过验证的性能优化策略和最佳实践。

7.1 合理配置并发通道数

在离线同步任务的通道控制中，channel参数控制并发通道数。合理增加通道数可以提升同步吞吐量，但也会增加数据源的压力。需要根据数据源的承受能力、网络带宽和资源组规格来综合设置。一般来说，对于MySQL等关系型数据库，建议channel设置为2-4；对于MaxCompute等大数据平台，可以适当增加到8-16。

7.2 使用splitPk提升读取性能

在脚本模式中，splitPk参数指定用于数据切分的字段。数据集成会根据该字段将数据分成多个区间，由不同通道并发读取。选择合适的分片键（如自增主键）可以显著提升读取性能。需要注意的是，分片键应为数值类型且分布均匀，否则可能导致数据倾斜。

7.3 增量同步代替全量同步

对于数据量较大的表，应优先使用增量同步代替全量同步。通过在where条件中使用调度参数（如create_time >= \${bizdate}），只同步新增或变更的数据，可以大幅减少同步的数据量，提升任务效率。

7.4 资源组规格选型

Serverless资源组支持动态扩缩容，可以根据任务的负载自动调整资源。但对于有稳定同步需求的场景，建议预留足够的资源配额，避免因资源不足导致任务延迟或失败。资源组的CU（计算单元）配置直接影响同步速度，需要根据数据量、同步频率和SLA要求来合理规划。

7.5 数据质量与监控

数据集成同步仅支持至少一次传输保障机制（at least once），暂不支持精确传输（exactly-once），即传输后数据可能出现重复，只能依赖主键和目标端能力来保证。因此，在目标端设计中应考虑去重机制。同时，建议配置任务告警规则，在任务失败或延迟时及时通知运维人员。数据集成提供了丰富的监控指标，包括同步速度、吞吐量、脏数据记录数等，可以帮助快速定位问题。

八、常见错误与排查技巧

在实际使用数据集成过程中，难免会遇到各种错误。本节总结了几类常见错误及其排查方法。

8.1 网络连通性测试失败

错误现象：添加数据源时，网络连通性测试失败。排查步骤：首先检查数据源的白名单配置是否正确，是否已添加资源组的IP地址。其次检查VPC配置，确认资源组与数据源是否在同一VPC下，或路由是否正确。对于使用jdbc连接串的数据源，可以尝试切换到jdbc连接串方式。同时检查安全组规则，确保端口未被拦截。

8.2 调度参数未正确替换

错误现象：数据写入到了错误的分区，如数据写入了ds=\${bizdate}这个字面值分区中，而非实际的业务日期（如ds=20250118）。原因通常是调度参数未在调度配置中正确定义，或脚本中的参数引用格式有误。排查时检查任务的调度配置中是否已定义该参数，以及参数格式是否为\${参数名}。

8.3 字段类型不匹配

错误现象：同步任务报类型转换错误。字段映射定义了同步任务中源端与目标端数据的读写对应关系，配置时需严格检查两端字段类型的兼容性，避免因类型不匹配引发转换错误，产生脏数据或导致任务失败。常见风险包括：源端为字符串类型但目标端为数值类型、源端日期格式与目标端不兼容等。排查时检查字段映射配置，必要时在同步前进行数据转换。

8.4 资源组OOM（内存溢出）

错误现象：任务因资源不足出现OOM现象。此时需要适当调整资源组的CU占用取值。如果使用Serverless资源组，可以尝试增加CU配额或启用自动扩缩容。

8.5 数据重复

错误现象：目标表中出现重复数据。由于数据集成采用at least once传输保障机制，可能出现数据重复。解决方案是在目标表设计中利用主键或唯一约束进行去重，或在同步后进行数据去重处理。

九、总结与展望

阿里云DataWorks数据集成为企业提供了一站式的数据同步解决方案。从数据源配置、资源组绑定、网络连通，到离线同步、实时同步的任务配置，再到性能优化和故障排查，本文系统性地梳理了数据集成的完整对接配置流程。

随着企业数据架构的日益复杂，数据集成的重要性将持续提升。DataWorks数据集成也在不断演进，Serverless资源组的推出使得资源管理更加弹性高效，对更多数据源类型的支持让数据同步的覆盖面越来越广。掌握数据集成技术，已经成为数据开发工程师的核心竞争力之一。

希望通过本文的讲解，读者能够对阿里云DataWorks数据集成有一个全面而深入的理解，并能够独立完成从零到一的数据集成任务配置。

常见问题解答

问1：数据集成向导模式和脚本模式有什么区别？
答：向导模式通过可视化界面逐步引导完成配置，适合快速上手和学习成本较低的场景，但部分高级功能不可用。脚本模式通过编写JSON脚本实现精细化配置，适用于数据源不支持向导模式或需要精细化控制同步逻辑的场景。

问2：如何实现MySQL到MaxCompute的增量同步？
答：在离线同步任务的脚本模式中，在Reader的where条件中使用调度参数，如where: \"create_time >= \\${bizdate}\"，并在调度配置中定义\${bizdate}参数。这样每次调度时只会同步当天新增的数据。

问3：数据集成任务报网络不通怎么办？
答：首先检查数据源的白名单是否已添加资源组的IP地址。其次确认资源组与数据源是否在同一VPC下。对于使用jdbc连接串的数据源，可以尝试切换到jdbc连接串方式。最后检查安全组规则，确保端口未被拦截。

问4：实时同步和离线同步该如何选择？
答：实时同步适用于对数据时效性要求高的场景（秒级延迟），如实时风控、实时报表等，但要求源端支持CDC能力。离线同步适用于对实时性要求不高的批量数据处理场景（小时/天级），如数据仓库的日常ETL。可根据业务对数据延迟的容忍度和源端能力来综合选择。

问5：Serverless资源组和独享数据集成资源组有什么区别？
答：Serverless资源组是DataWorks推荐的最新方案，涵盖旧版资源组（独享调度资源组、独享数据集成资源组等）的核心功能，通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。独享数据集成资源组是旧版方案，DataWorks内不再推荐使用。

问6：数据集成同步后出现数据重复怎么办？
答：数据集成采用at least once传输保障机制，可能出现数据重复。解决方案是在目标表设计中利用主键或唯一约束进行去重，或在同步后通过SQL进行数据去重处理。对于支持upsert的目标端，可以配置写入模式为更新插入来避免重复。