华为云智能数据湖AIDataLake对接使用完全指南

apphuang2026年07月06日 20:37:281

1. 智能数据湖AI DataLake概述

华为云智能数据湖（AI DataLake）是华为云构建的企业级多模态智能数据分析与管理平台，为用户提供构建AI时代数据基础设施的完整能力。该平台聚焦多模数据处理与异构算力混合调度，开放湖仓处理能力，构建新一代多模湖仓架构，旨在促进Data+AI的协同创新。

AI DataLake的核心价值在于其独特的三层解耦架构：数据与引擎解耦——所有引擎共享同一份数据，通过多模数据管理平台统一治理数据资产，避免数据孤岛和数据冗余，确保数据一致性；资源与引擎解耦——支持多引擎共用资源池，细粒度管理通算、智算资源，通过资源的灵活配置和调度提升资源利用率；资源与数据解耦——数据跨智算与通算资源流通，灵活支撑交互式分析、多模分析、批处理、实时计算、AI计算等多样化数据业务场景。

平台集成了四大核心计算引擎：多模数据引擎Aura（版本3.3.0）专为分析多模态类型数据而设计；AI计算引擎Ray（版本2.54.0）专注于AI计算处理；批处理引擎Spark（版本4.0.0）用于大规模批量数据处理；流处理引擎Flink在公测期间暂不开放。

AI DataLake以工作空间为载体，每个工作空间绑定一个LakeFormation数据目录实例，实现数据目录管理，同时隔离计算资源，提供轻量级作业开发。在数据治理层，LakeFormation作为统一治理核心，提供元数据管理与权限控制能力，数据资产按层级组织为Catalog、Database、Table、UDF、Dataset、Model等扩展对象。

在资源管理层，平台提供三种灵活的资源使用模式：预留模式通过绑定预留资源池保障业务稳定性；按需弹性模式下可根据负载自动伸缩以提升资源利用率；混合模式结合两者优势，兼具预留资源池的稳定性与按需资源的灵活性。平台同时支持CPU、GPU、NPU类型实例，新增的异构算力满足不同业务场景的差异化需求。

需要先登录华为云控制台，点击：华为云控制台，还没有账号，点击：注册并关联，已有账号点击：登录后关联

2. 准备工作与环境初始化

在正式使用AI DataLake之前，需要完成一系列准备工作。

2.1 账号注册与服务开通

首先需要注册华为云账号并完成实名认证，确保账号不处于欠费或冻结状态。然后依次开通以下服务：AI DataLake服务并完成授权；对象存储服务OBS；湖仓构建LakeFormation服务；数据治理中心DataArts Studio服务。

开通AI DataLake服务时需要进行IAM授权，通过IAM角色或策略授予使用AI DataLake的权限。建议使用主账号或具有足够权限的子账号进行操作。

2.2 创建OBS存储桶

AI DataLake通过OBS服务实现数据存储，需要先在OBS控制台创建桶及文件夹。操作步骤如下：登录华为云管理控制台，在页面左上角选择"存储 > 对象存储服务 OBS"，进入对象存储服务页面。选择"桶列表 > 创建桶"，配置桶名称等参数后点击"立即创建"。在桶列表页面点击已创建的桶名称，在"对象"页签点击"上传对象"，将数据文件或作业脚本上传至OBS桶中。

对于Aura引擎，还需要创建并行文件系统。在并行文件系统页面创建文件系统后，在左侧导航栏选择"文件"，点击"新建文件夹"创建用于存放元数据的路径，例如Catalog存储路径和数据库存储路径。

2.3 创建LakeFormation实例

AI DataLake通过LakeFormation服务管理数据源。操作步骤：登录华为云管理控制台，选择"大数据 > 湖仓构建 LakeFormation"，在"总览"页面点击"购买实例"，配置相关参数完成购买。在页面左上角切换到该实例后，在左侧导航栏选择"元数据 > Catalog"创建Catalog，并创建相应的Database。

LakeFormation实例提供元数据服务和权限管理功能。在工作空间与LakeFormation实例的关系中，工作空间是业务与权限的隔离单元，LakeFormation实例是元数据与权限的数据服务载体。

2.4 创建工作空间

工作空间是AI DataLake的核心管理单元。登录AI DataLake管理控制台，在左侧导航栏点击工作空间区域，在下拉列表中选择"创建工作空间"或选择"工作空间管理 > 创建"。配置工作空间的基本信息后完成创建，并将工作空间与之前创建的LakeFormation实例进行绑定。

3. 计算与存储资源配置

3.1 购买计算资源池

计算资源池为作业运行提供计算能力。操作步骤：登录AI DataLake管理控制台，在左侧导航栏点击"资源管理"，在资源管理页面点击"计算资源池"，单击界面右上角的"购买"，在"购买计算资源池"界面填写具体参数后完成购买。

资源池支持配置最小保障配额（确保业务连续性）和最大配额（防止资源耗尽）。购买预留资源池或按需使用资源，灵活配置端点与资源池的绑定关系，并通过Min、Max控制资源弹性范围。每个计算资源池支持独立配置和管理，一个工作空间可创建多个计算资源池，既提升了资源利用效率，也为大数据分析业务场景提供了资源调配的灵活性。

3.2 购买存储资源

AI DataLake提供存储资源功能，用户可通过单一界面完成存储资源的创建、扩容、挂载及监控，消除跨服务操作依赖。操作步骤：登录AI DataLake管理控制台，在左侧导航栏点击"资源管理"，在资源管理页面点击"存储资源"，单击界面右上角的"购买"，在"购买存储资源"界面填写具体参数后完成购买。

AI DataLake提供的临时存储主要用于作业过程中的临时下盘、临时缓存等用途。当计算任务需要访问或生成大量数据，且这些数据无法完全由计算节点本地存储或共享存储系统承载时，临时存储资源将发挥关键作用。

3.3 配置计算资源池网络

网络配置是确保计算资源池与数据源连通的关键环节。登录AI DataLake管理控制台，在左侧导航栏点击"资源管理"，在资源管理页面点击"资源网络"，点击网络名称后在网络基础信息页面中点击"创建网络连接"完成网络连接创建。

4. 引擎端点创建与配置

引擎端点是AI DataLake中连接计算资源与计算引擎的桥梁。创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时只需选择端点，无需再配置作业与计算引擎和计算资源的映射关系。

4.1 创建Aura引擎端点

多模数据引擎Aura是专为分析多模态类型数据而设计的引擎，支持数据的边读边算能力，避免了传统方式的频繁存盘操作，使得视频解码、向量化等预处理环节能够流水线式执行。

创建Aura端点时：在AI DataLake管理控制台选择Aura引擎，配置端点名称并关联之前创建的计算资源池。Aura支持两种作业模式：基于用户自定义容器镜像的多模处理（Aura Job V1）完全兼容客户已有程序无需改造；基于Aura DataFrame的多模处理（Aura Job V2）基于Aura DataFrame SDK，支持异构算力、流水线执行、并发动态自适应调整等能力。

Aura 3.3.0版本支持的数据格式包括Images、Video、Audio多模格式读写，以及Iceberg V2、Parquet、CSV、TEXT传统湖仓格式读写。生态配套兼容Python 3.10/3.11版本。

4.2 创建Ray引擎端点

AI计算引擎Ray专注于AI计算处理。创建Ray端点时：在AI DataLake管理控制台选择Ray引擎，配置端点名称并关联计算资源池。Ray 2.54.0版本提供预留资源模式，允许用户为关键计算任务预先锁定资源，确保作业调度时资源可用且不被抢占。提供对CPU、GPU、NPU等异构计算资源的统一管理与调度能力。

Ray端点基于Head-Worker架构组建Ray Cluster，通过更新端点实现在线增删Worker groups。Worker数量支持弹性范围配置，集群将根据当前任务队列长度和资源负载情况自动伸缩Worker数量。提供与开源Ray 2.54.0版本完全一致的API接口和行为语义，用户无需修改任何业务代码即可将现有Ray应用无缝迁移至AI DataLake平台。

4.3 创建Spark引擎端点

批处理引擎Spark用于大规模批量数据处理。操作步骤：登录AI DataLake管理控制台，在页面左上角切换至对应的工作空间，在左侧导航栏选择"引擎端点 > 批处理引擎 Spark"进入端点列表页面，单击页面右上角的"创建"配置端点信息。

Spark 4.0.0版本支持通过API提交作业。在AI DataLake的快速入门中提供了基于PySpark的数据处理的完整操作流程。

5. 数据对接与作业开发

AI DataLake支持两种主要的作业开发方式：通过DataArts Studio进行可视化作业开发和通过API进行编程式作业提交。

5.1 使用DataArts Studio开发Aura作业

DataArts Studio是华为云的一站式数据运营治理平台，基于数据湖底座提供数据集成、开发、治理等能力。AI DataLake与DataArts Studio深度集成，用户可以在DataArts Studio中完成作业的编排、开发和调度。

开发流程：

新建作业：在DataArts Studio中新建作业，提供批处理和实时处理两种作业类型。批处理作业支持Pipeline和单节点作业两种模式。

开发作业：基于新建的作业进行编排和配置节点。以Aura Job为例，在DataArts Studio作业开发页面提交一个单任务Shell或Pipeline类型的AI DataLake作业至Aura端点运行。

调度作业：配置作业调度任务。批处理作业支持单次调度、周期调度、事件驱动调度三种调度方式。实时处理作业支持节点级别的独立调度。

提交版本并解锁：作业调度配置完成后提交版本并解锁，才能用于调度运行。

5.2 使用Notebook交互式开发Aura作业

AI DataLake还支持通过DataArts Notebook进行交互式开发。在Notebook页面使用%aura_frame魔法命令建立与多模态数据引擎Aura的连接。技术实现流程包括：环境准备（创建工作空间、计算资源池、端点）、绑定计算资源和数据接入、算子注册、执行作业并查看结果。

Aura DataFrame SDK支持Python UDF（Scalar UDF、向量化UDF、Class UDF）、UDTF、UDAF。UDF支持类似Ray RuntimeEnv的环境隔离能力，执行支持CPU、GPU、NPU异构算力。通过UDF算子化技术支持UDF算子的异构pipeline执行，显著提升性能。

5.3 使用API提交Ray作业

对于Ray引擎，主要通过API提交作业。使用API封装REST请求提交AI DataLake作业至Ray端点运行。

准备工作包括：已注册账号并实名认证；已开通AI DataLake服务并授权；已开通OBS权限并完成委托确认；已构建镜像并上传至SWR并将镜像注册至AI DataLake；已获取IAM Token。

以下是一个使用Python提交Ray作业的示例代码：

import ray
import re
from collections import Counter
import time

ray.init()

def simple_text_preprocessing():
    sample_texts = [
        "Ray is a fast and simple framework for building and running distributed applications.",
        "AI DataLake provides unified data management for AI workloads."
    ]
    word_counts = Counter()
    for text in sample_texts:
        words = re.findall(r'\w+', text.lower())
        word_counts.update(words)
    return dict(word_counts.most_common(10))

result = ray.get(simple_text_preprocessing.remote())
print(result)

上述代码示例展示了Ray Data的基本数据处理流程。实际生产环境中，需要将作业脚本上传至OBS桶，然后通过API提交作业。

5.4 使用API提交Spark作业

Spark作业同样通过API提交。API用于在队列中创建批处理作业。请求示例如下：

POST /v2.0/{project_id}/batches
{
    "name": "myJob",
    "type": "BATCH",
    "schedule": "CRON",
    "path": "/myDir",
    "logPath": "obs://dlf-test-log/"
}

Spark作业支持通过PySpark进行数据处理。在AI DataLake的快速入门中，基于PySpark的数据处理介绍了完整的作业开发流程。

6. 权限管理与安全配置

6.1 IAM权限管理

AI DataLake的权限管理通过IAM（统一身份认证）服务实现。用户可以通过IAM角色或策略授予使用AI DataLake的权限。建议遵循最小权限原则，为不同角色分配适当的权限策略。

通过IAM身份策略可以精细化控制用户对AI DataLake资源的访问权限。对于多工作空间场景，可以通过LakeFormation的权限授权配置实现多工作空间共享同一元数据实例、按需权限隔离与互访。

6.2 委托权限配置

AI DataLake需要配置访问其他云服务的委托权限。委托概述中介绍了创建自定义委托的方法。通过委托配置，AI DataLake可以安全地访问OBS、LakeFormation等关联服务。

6.3 数据保护与审计

AI DataLake提供完善的数据保护技术，包括身份认证与访问控制、数据保护技术、审计与日志、服务韧性、监控安全风险、故障恢复、更新管理等安全能力。

通过云审计服务CTS，用户可以记录与AI DataLake服务相关的操作事件，便于日后的查询、审计和回溯。操作事件包括注册租户协议等。使用LTS（日志服务）可以管理AI DataLake作业日志。

7. 监控与运维

7.1 资源监控

AI DataLake提供全面的资源监控能力。用户可以监控计算资源池的运行状态和存储资源的使用情况。对于Aura端点，可以查看端点的资源及作业监控信息。对于Spark端点，可以查看端点的详细信息和作业历史。

7.2 作业历史管理

用户可以通过AI DataLake查看作业历史。作业历史记录了所有提交的作业执行情况，包括执行状态、耗时、资源使用等关键指标，便于问题排查和性能优化。

对于Aura Job，支持语句级和算子级的性能数据实时观测。这种细粒度的性能监控能力使得用户可以精准定位性能瓶颈，优化数据处理流水线。

8. 计费模式与成本优化

8.1 计费概述

AI DataLake的计费主要包括以下几个方面：弹性资源计费、预留资源池计费、存储资源计费。用户可以根据业务需求选择按需计费或预留资源池模式。

预留资源池适用于有长期资源规划需求的业务场景。按需弹性模式下可根据负载自动伸缩以提升资源利用率。混合模式结合两者优势，兼具预留资源池的稳定性与按需资源的灵活性。

8.2 成本优化策略

合理规划资源使用是控制成本的关键。建议根据业务负载特征选择合适的资源模式：对于稳定的周期性任务，使用预留资源池可以获得更优的单位成本；对于突发性任务，使用按需弹性模式可以避免资源闲置浪费。

存储资源方面，合理利用临时存储与持久化存储的差异，将中间结果存放在临时存储中，将需要长期保存的数据存放在OBS等持久化存储中，可以有效降低存储成本。

9. 应用场景与最佳实践

9.1 智能驾驶数据预处理

AI DataLake在智能驾驶领域有广泛应用。智能驾驶场景需要处理大量的图像、视频、雷达等多模态数据，Aura引擎的多模数据处理能力可以高效完成数据解码、向量化等预处理环节。

9.2 互联网用户行为数据处理

互联网场景下用户行为数据规模庞大且实时性要求高。AI DataLake的Ray引擎可以处理实时流数据，Spark引擎可以完成批量离线分析，形成流批一体的数据处理体系。

9.3 金融交易数据实时分析与风控

金融场景对数据处理的实时性和准确性要求极高。AI DataLake支持实时数据入湖和实时数据存储，配合Flink引擎（公测中）可以实现毫秒级的风控决策。

9.4 游戏数据分析处理

游戏运营需要实时分析玩家行为、游戏日志等数据。AI DataLake的多模数据处理能力可以同时处理结构化日志和非结构化玩家行为数据，为游戏运营提供全面的数据支持。

10. 常见问题解答

问1：AI DataLake与传统的MRS大数据平台有什么区别？

答：AI DataLake是面向AI时代的新一代多模湖仓架构平台，核心差异在于三层解耦架构（数据、资源、引擎解耦）和对多模态数据（图像、视频、音频）的原生支持。传统MRS主要面向结构化数据的批处理，而AI DataLake集成了Aura、Ray、Spark、Flink四大引擎，同时支持Data+AI的协同创新。

问2：AI DataLake支持哪些数据格式？

答：AI DataLake支持多模态数据格式（Images、Video、Audio）和传统湖仓格式（Iceberg V2、Parquet、CSV、TEXT）。不同的引擎对数据格式的支持略有差异，具体可参考各引擎的版本特性说明。

问3：如何将现有的Spark应用迁移到AI DataLake？

答：AI DataLake的Spark引擎与开源Spark 4.0.0保持API兼容。用户只需创建Spark引擎端点，将作业脚本上传至OBS，通过API提交作业即可。无需修改业务代码。

问4：AI DataLake的Ray引擎与开源Ray有什么区别？

答：AI DataLake的Ray引擎提供与开源Ray 2.54.0版本完全一致的API接口和行为语义。在此基础上增加了预留资源模式、异构算力（CPU/GPU/NPU）统一调度、在线扩缩容、Worker自动弹性伸缩等企业级特性。

问5：AI DataLake如何保证数据安全？

答：AI DataLake通过多层安全机制保障数据安全：IAM身份认证与访问控制实现细粒度权限管理；LakeFormation提供元数据授权；数据保护技术保障数据存储和传输安全；CTS云审计服务记录所有操作事件便于审计追溯；LTS日志服务管理作业日志。

问6：AI DataLake公测期间开放了哪些功能？

答：AI DataLake公测期间支持多模数据引擎Aura、AI计算引擎Ray、批处理引擎Spark三大引擎。流处理引擎Flink暂不开放。支持预留资源池和弹性资源两种计费模式。其他功能正在陆续开放中。