华为云数据治理中心DataArts Studio对接使用完全指南
一、DataArts Studio概述
数据治理中心DataArts Studio是华为云推出的具备数据全生命周期管理和智能数据管理能力的一站式治理运营平台。该平台基于数据湖底座,提供数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准。
DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。
1.1 核心功能组件
DataArts Studio包含以下八大功能组件:
- 管理中心:提供数据连接管理能力,将DataArts Studio与数据底座进行对接,用于数据开发与数据治理等活动。
- 数据集成:提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。
- 数据架构:承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能。
- 数据开发:大数据开发环境,支持数据建模、数据集成、脚本开发、工作流编排等操作,轻松完成整个数据的处理分析流程。
- 数据质量:数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。
- 数据目录:提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。
- 数据服务:定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应。
- 数据安全:提供数据生命周期内统一的数据使用保护能力,通过访问权限管理、敏感数据识别、隐私保护管理等措施,让数据可用不可得和安全合规。
1.2 核心概念
在使用DataArts Studio之前,需要了解以下几个核心概念:
- DataArts Studio实例:数据治理中心提供给用户的最小计算资源单位。用户可以同时创建多个实例,并分别管理和访问每个实例。每个实例包含管理中心、数据架构、数据集成、数据开发、数据质量、数据目录等组件。
- 工作空间:从系统层面为管理者提供对使用DataArts Studio的用户权限、资源、底层计算引擎配置的管理能力。每个团队都可具有独立的工作空间。
- 成员和角色:成员是被授予工作空间访问或使用权限的用户。角色是一组操作权限的集合,不同的角色拥有不同的操作权限。
- 数据集成集群:运行在弹性云服务器之上,用户可以在集群中创建数据迁移作业,在云上和云下的同构/异构数据源之间批量迁移数据。
- 数据连接:定义访问数据实体存储空间所需的信息的集合,包括连接类型、名称和登录信息等。
需要先登录华为云控制台,点击:华为云控制台,还没有账号,点击:注册并关联,已有账号点击:登录后关联
二、DataArts Studio使用流程概览
使用DataArts Studio平台,通常包括以下步骤:
- 流程设计:在使用前,建议通过流程设计提前分析业务情况,明确业务诉求,并结合DataArts Studio服务的能力进行业务流程设计。
- 创建并配置DataArts Studio:完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。
- 授权用户使用:授权其他IAM用户使用DataArts Studio。
- 管理中心:根据业务特点和源数据类型,选取合适的云服务并创建相应的数据连接。
- 数据集成:将源数据上传或者接入到云上。
- 数据目录(元数据采集):对迁移到云上的原始数据层进行元数据采集和监控。
- 数据架构:以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发。
- 数据开发:进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作。
- 数据质量:对业务指标和数据指标进行监控。
- 数据服务:统一管理对内对外的API服务。
三、环境准备与实例创建
3.1 注册华为账号并实名认证
首次使用DataArts Studio,需要先完成注册华为账号并进行实名认证。登录华为云官网,点击注册按钮,按照指引完成账号注册和实名认证流程。
3.2 购买DataArts Studio实例
完成账号注册后,进入华为云控制台,搜索“数据治理中心 DataArts Studio”进入产品页面,点击“购买”按钮创建实例。购买时需要选择实例的规格、区域、可用区等配置。每个DataArts Studio实例具有用户指定的基础计算资源,用户可根据业务需要申请相应规格的实例。
3.3 创建工作空间
实例创建完成后,需要创建工作空间。工作空间是成员管理、角色和权限分配的基本单元。在DataArts Studio控制台首页,点击“创建工作空间”,填写工作空间名称、描述等信息,并选择企业项目。
需要注意的是,当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等)时,必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。
3.4 授权用户使用
如果需要授权其他IAM用户使用DataArts Studio,需要完成创建用户并授权的操作。在IAM控制台中创建用户,然后将用户添加到工作空间中,并分配相应的角色。每位成员至少要拥有一个角色,并且可以同时拥有多种角色。
四、管理中心:数据连接配置
管理中心是DataArts Studio与数据底座对接的桥梁。在开始数据集成和开发之前,必须先创建数据连接。
4.1 前提条件
创建数据连接前,需要确保以下条件:
- 已创建所要连接的数据湖(如DWS集群、MRS集群、RDS实例等)。
- 已具备连接所需的Agent代理(即CDM集群)。CDM集群提供了DataArts Studio与非全托管服务通信的代理。
- 待连接的数据湖与CDM集群之间网络互通。
- 如果数据湖为云下数据库,需要通过公网或者专线打通网络。
- 确保云服务实例与DataArts Studio工作空间所属的企业项目相同。
4.2 创建数据连接操作步骤
以创建DWS数据连接为例:
- 登录DataArts Studio控制台,找到所需要的工作空间。
- 单击工作空间的“管理中心”模块,进入管理中心页面。
- 在管理中心页面,单击“创建数据连接”。
- 选择数据连接类型(如DWS、MRS Hive、RDS等),配置相关参数。
- 配置完成后,单击“保存”完成数据连接创建。
配置DWS连接时,需要填写数据库服务器IP或域名、端口、数据库名称、用户名、密码等信息。同时需要选择一个CDM集群作为连接代理,并确保CDM集群与DWS集群之间的网络已打通。
对于MRS类型的数据连接,需确保MRS集群的Kerberos加密类型为aes256-sha1,aes128-sha1。DataArts Studio不支持Kerberos加密类型为aes256-sha2,aes128-sha2的MRS集群。
五、数据集成:数据迁移与入湖
数据集成是DataArts Studio的入口环节,负责将源数据从各类数据源迁移到数据湖中。数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统、关系数据库、数据仓库、NoSQL、大数据云服务、对象存储等数据源。
5.1 创建CDM集群
数据集成依赖CDM(云数据迁移)集群执行迁移任务。在数据集成页面,点击“创建集群”,选择集群规格、VPC、子网等配置。CDM集群作为网络代理,必须与待连接的数据源网络互通。
5.2 创建数据迁移连接
在CDM集群的作业管理页面,进入“连接管理”页签,点击“新建连接”。选择连接器类型(如MySQL、DWS、MRS Hive、OBS等),配置连接参数。例如创建MySQL连接时,需要配置数据库服务器IP、端口、数据库名称、用户名和密码。如果使用本地API加速,CDM会自动尝试启用MySQL的local_infile系统变量。
5.3 创建数据迁移作业
数据迁移作业支持单表迁移、整库迁移、增量迁移等多种模式。创建作业的步骤如下:
- 在CDM集群的作业管理页面,点击“新建作业”。
- 选择源端连接器和目的端连接器。
- 配置源端作业参数(如表名、查询条件等)和目的端作业参数(如表名、写入模式等)。
- 配置字段映射关系。
- 配置作业任务参数(如并发数、脏数据阈值等)。
- 保存并运行作业。
对于分表迁移场景,可以通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。
5.4 数据集成代码示例
除了通过控制台操作,DataArts Studio也支持通过API方式进行数据集成管理。以下是一个通过Python SDK调用DataArts Studio API的示例:
import requests
import json
# 配置认证信息
url = "https://dataartsstudio.cn-north-4.myhuaweicloud.com/v1/{project_id}/clusters"
headers = {
"X-Auth-Token": "your_token",
"Content-Type": "application/json"
}
# 查询CDM集群列表
response = requests.get(url, headers=headers)
clusters = json.loads(response.text)
print(clusters)
# 创建数据迁移作业的请求体示例
job_body = {
"name": "mysql_to_hive_demo",
"source_type": "MySQL",
"source_connection": "mysql_link",
"source_table": "user_info",
"sink_type": "MRS_Hive",
"sink_connection": "hive_link",
"sink_table": "ods_user_info"
}六、数据架构:模型设计与标准制定
数据架构是数据治理的核心模块,承担数据治理过程中的数据加工并业务化的功能。数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发。
6.1 主题设计
主题设计是通过分层架构表达对数据的分类和定义,帮助厘清数据资产,明确业务领域和业务对象的关联关系。在数据架构页面,单击左侧导航栏中的“主题设计”,进入主题设计页面,点击“新建”创建主题。
6.2 关系建模与维度建模
关系建模采用实体关系模型,遵循第三范式,适用于数据整合场景。维度建模则从事实和维度两个角度进行抽象,适用于数据分析场景。在数据架构模块中,逐步建立模型中的对象,例如维度、事实表、指标、汇总表等。
6.3 制定数据标准
数据标准是数据治理的基础,通过制定统一的数据标准,可以规范数据定义,消除数据歧义。在数据架构中,可以创建码表、制定数据标准,并将标准应用到模型设计中。
七、数据开发:脚本与作业编排
数据开发是DataArts Studio的核心能力之一,提供一站式的大数据开发环境。用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作。
7.1 脚本开发
DataArts Studio支持多种类型的脚本开发,包括SQL脚本(Hive SQL、DWS SQL、DLI SQL等)、Shell脚本、Python脚本等。
SQL脚本开发示例:
-- 创建Hive表
CREATE TABLE IF NOT EXISTS ods_taxi_trip (
trip_id STRING COMMENT '行程ID',
driver_id STRING COMMENT '司机ID',
passenger_id STRING COMMENT '乘客ID',
pickup_time STRING COMMENT '上车时间',
dropoff_time STRING COMMENT '下车时间',
pickup_longitude DOUBLE COMMENT '上车经度',
pickup_latitude DOUBLE COMMENT '上车纬度',
dropoff_longitude DOUBLE COMMENT '下车经度',
dropoff_latitude DOUBLE COMMENT '下车纬度',
fare_amount DOUBLE COMMENT '费用金额'
)
COMMENT '出租车行程原始数据表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”,点击“新建脚本”创建脚本。脚本编写完成后,可以执行调试,确认无误后提交版本。
7.2 作业开发
作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。DataArts Studio支持将多个脚本编排成一个作业,通过可视化方式构建工作流并定义节点依赖关系。
创建作业的步骤:
- 在数据开发页面,选择“数据开发 > 作业开发”。
- 点击“新建作业”,输入作业名称和描述。
- 从节点库中拖拽节点到画布上(如CDM节点、SQL节点、Shell节点、Dummy节点等)。
- 配置每个节点的参数和依赖关系。
- 保存并提交作业。
7.3 调度配置
DataArts Studio支持为作业配置自动化调度计划,支持灵活周期定时执行。在作业画布右侧的“调度配置”页签中,可以配置调度方式。支持以下调度类型:
- 周期调度:按照指定的时间周期(如每天、每小时、每分钟)自动执行。
- 事件驱动调度:根据特定事件触发执行。
- 手动调度:需要人工触发执行。
调度日历配置完成后,在作业开发界面选择周期调度和调度日历,即可按照调度日历所定义的工作日期进行调度。
7.4 补数据
补数据是手工触发周期方式调度的作业任务,生成过去某时间段内的实例。当需要回溯历史数据时,可以使用补数据功能重新运行指定时间段内的作业。
八、数据质量:监控与对账
数据质量模块提供数据全生命周期管控能力,支持数据处理全流程质量监控,异常事件实时通知。用户可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。
8.1 质量规则创建
DataArts Studio系统内置了34种规则模板,分为库级规则、表级规则、字段级规则、跨字段级规则和跨源级规则等类型。用户也可以自定义规则,通过输入完整的SQL语句定义如何对数据对象进行质量监控。
创建规则的步骤:
- 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块。
- 选择“规则模板”或“新建规则”。
- 配置规则的基本信息、规则类型、SQL语句等参数。
- 保存规则。
8.2 质量作业与对账作业
质量作业:将规则模板或自定义规则应用到表中,进行数据质量监控。
对账作业:将创建的规则应用到两张表中进行质量监控,并输出对账结果。对账作业支持跨源数据对账能力,是检验数据迁移或数据加工前后是否一致的关键指标。
创建对账作业的步骤:
- 在DataArts Studio控制台,单击相应工作空间后的“数据质量”。
- 在数据质量模块,选择“数据质量监控 > 对账作业”。
- 单击“新建”,配置对账作业的基本信息。
- 配置规则,选择源表和目标表进行对比。
- 保存并运行对账作业,查看对账结果。
九、数据目录:元数据采集与数据血缘
数据目录提供企业级的元数据管理能力,通过数据地图实现数据血缘和数据全景可视。
9.1 元数据采集
为了对迁移到云上的原始数据层进行管理和监控,需要先对其元数据进行采集。元数据采集任务的配置步骤:
- 进入DataArts Studio控制台首页的数据目录模块。
- 单击左侧导航的“任务管理”,进入任务管理页面。
- 在任务管理页面单击“新建”,新建一个元数据采集任务。
- 配置任务信息,包括数据源类型、采集范围、采集周期等参数。
- 保存并执行采集任务。
元数据采集支持DWS、DLI、MRS HBase、MRS Hive、RDS、Oracle等数据源。技术资产中的库表列等信息来自于元数据采集任务,是否更新和自动删除取决于采集任务的参数配置。
9.2 数据血缘
数据血缘关系展示数据在流转过程中的来龙去脉。DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。
自动血缘解析:由系统自动解析数据开发作业中的数据处理和数据迁移类型节点后自动产生,无需手动配置。支持自动血缘解析的节点类型包括DLI、DWS、MRS Hive等数据源之间的ETL任务。解析SQL节点的血缘时,支持多SQL解析及列级血缘解析。
手动配置血缘:在数据开发作业节点中,自定义血缘关系的输入表和输出表。在节点的“血缘关系”页签配置输入和输出表,支持DLI、DWS、Hive、CSS、OBS和CUSTOM等数据源。注意手动配置血缘时,该节点的自动血缘解析将不生效。
技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。
十、数据服务:API生成与发布
数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务提供快速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理。
10.1 数据服务的价值
使用数据服务进行数据开放具备以下优势:
- 统一接口标准,减少上层应用对接工作量。
- 将数据逻辑沉淀至数据平台,实现应用逻辑与数据逻辑解耦。
- 降低应用侧的资源消耗。
- 减少大量明细、敏感数据在应用侧的暴露,通过API审核发布、鉴权流控、动态脱敏等手段提升数据安全能力。
10.2 创建API
创建API支持两种方式:
- 配置方式生成API:无需编写任何代码,通过产品界面进行勾选配置即可快速生成API,适合对API功能要求不高的用户。
- 脚本/MyBatis方式生成API:通过编写SQL脚本或MyBatis配置文件生成API,适合需要复杂数据逻辑的场景。
创建API的步骤:
- 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块。
- 在左侧导航栏选择服务版本(如专享版)。
- 选择“API开发 > API”,点击“新建API”。
- 选择生成方式(配置方式或脚本方式),配置API的基本信息、请求参数、返回参数等。
- 保存API并进行调试。
10.3 发布API
为了安全起见,在数据服务中生成的API以及注册的API,都需要发布后才能对外提供服务。发布API的步骤:
- 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块。
- 在左侧导航栏选择服务版本(如专享版),进入总览页。
- 在API列表中找到待发布的API,点击“更多 > 发布”。
- 选择发布集群(共享版或专享版)。
- 确认发布。
共享版默认发布到API网关共享版,每天最多访问1000次。专享版发布到数据服务专享版集群上,不存在每天最多访问1000次的限制,可自由调用API。
10.4 调用API
API发布成功后,可以通过RESTful API方式进行调用。数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包,通过调用SDK包提供的代码样例即可进行数据API的调用。
API调用示例(Python):
import requests
import hashlib
import time
# API调用地址
api_url = "https://apig.cn-north-4.huaweicloud.com/api/taxi_trip_stats"
# 认证参数
app_key = "your_app_key"
app_secret = "your_app_secret"
# 生成签名
timestamp = str(int(time.time()))
sign_str = app_key + timestamp + app_secret
signature = hashlib.sha256(sign_str.encode()).hexdigest()
# 请求头
headers = {
"X-Auth-Token": "your_token",
"X-App-Key": app_key,
"X-Timestamp": timestamp,
"X-Signature": signature,
"Content-Type": "application/json"
}
# 请求参数
params = {
"start_date": "2026-01-01",
"end_date": "2026-01-31"
}
# 发送请求
response = requests.get(api_url, headers=headers, params=params)
data = response.json()
print(data)十一、数据安全:敏感数据保护
数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。数据安全模块提供访问权限管理、敏感数据识别、隐私保护管理等操作。
11.1 敏感数据识别
敏感数据识别支持敏感数据的分级分类、自动识别发现,以及基于敏感数据等级的安全管控策略能力。识别流程包括:定义数据密级、定义数据分类、定义识别规则、定义识别规则分组、配置数据入湖检测规则、发现敏感数据、查看敏感数据分布。
创建敏感数据发现任务的步骤:
- 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块。
- 单击左侧导航树中的“敏感数据发现”,进入敏感数据发现页面。
- 配置发现任务参数,选择要扫描的数据源和表。
- 执行发现任务,查看敏感数据分布。
11.2 隐私保护管理
隐私保护管理提供了静态与动态的数据脱敏能力、数据水印能力,满足业务需求同时保证数据安全。通过数据脱敏,可以在保证数据可用性的前提下,隐藏敏感信息,防止数据泄露。
十二、最佳实践与常见场景
12.1 出租车出行数据全流程治理
DataArts Studio官方提供了一个基于某市出租车出行数据的全流程入门教程。该案例选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理,目标是实现数据标准化、模型标准化、统一统计口径、数据质量监控告警、统计每天收入、统计某月收入、统计不同支付类型收入占比等。
12.2 实时告警平台构建
通过使用DataArts Factory的作业编辑和调度功能,结合其他云服务,可以搭建简单的实时告警平台。
12.3 跨源数据对账
以DWS数据迁移到MRS Hive分区表为例,通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。流程包括:创建数据迁移连接、创建并执行数据迁移作业、创建数据连接、创建对账作业。
十三、总结
华为云数据治理中心DataArts Studio是一个功能强大的一站式数据治理平台,涵盖了从数据集成、数据开发、数据架构、数据质量、数据目录到数据服务的全链路能力。通过本文的介绍,读者可以系统了解DataArts Studio的核心概念、功能组件以及完整的对接使用流程。
在实际使用中,建议按照“流程设计→实例创建→数据连接→数据集成→元数据采集→数据架构→数据开发→数据质量→数据服务”的路径循序渐进地推进数据治理工作。同时,充分利用DataArts Studio的自动化调度、质量监控、数据血缘等高级特性,可以大幅提升数据治理的效率和效果。
常见问题解答
问1:DataArts Studio支持哪些数据源作为数据湖底座?
答:DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS、DLI等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。
问2:DataArts Studio中的数据连接是什么?创建数据连接需要哪些前提条件?
答:数据连接是定义访问数据实体存储空间所需的信息的集合,包括连接类型、名称和登录信息等。创建数据连接前需要确保已创建数据湖服务、已具备CDM集群作为Agent代理、待连接数据湖与CDM集群网络互通、企业项目一致。
问3:DataArts Studio的数据血缘关系是如何生成的?
答:DataArts Studio数据血缘解析包含自动分析和手动配置两种方式。自动血缘解析由系统自动解析数据开发作业中的节点后产生;手动配置血缘是在作业节点中自定义输入表和输出表。血缘关系更新依赖于作业调度,基于最新的作业调度实例产生。
问4:DataArts Studio中的数据服务API发布后如何调用?有什么限制?
答:API发布后可通过RESTful API方式调用,数据服务SDK提供了封装好的调用代码样例。共享版发布到API网关共享版,每天最多访问1000次;专享版发布到数据服务专享版集群,无调用次数限制。
问5:DataArts Studio的数据质量模块支持哪些维度的监控?
答:数据质量支持从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。系统内置34种规则模板,涵盖库级、表级、字段级、跨字段级和跨源级等类型。
问6:DataArts Studio中作业的调度配置有哪些类型?
答:DataArts Studio支持周期调度(按指定时间周期自动执行)、事件驱动调度(根据特定事件触发)和手动调度(人工触发)三种类型。周期调度还支持配置调度日历,按照自定义工作日期进行调度。



