华为云DataArts Insight智能数据洞察对接使用完全指南:从开通到深度集成
一、DataArts Insight概述:重新定义企业智能分析
在数字化转型的浪潮中,数据驱动的决策能力已成为企业的核心竞争力。华为云智能数据洞察DataArts Insight应运而生,它是一站式数据可视化与商业智能BI分析平台,旨在帮助企业在任何时候、任何位置,以最自然快捷的方式从任何格式数据中获取业务见解,支撑业务实时高效决策。
DataArts Insight的产品能力涵盖多个核心维度。在实时分析方面,它支持实时数据分析,帮助企业掌握业务动态并快速响应市场变化。在多维分析方面,系统支持从多个维度深入分析数据,管理者通过直观的仪表盘和报表可快速识别问题。在销售趋势分析方面,通过分析历史销售数据,BI工具能够识别销售趋势,辅助企业制定更准确的库存和生产计划。此外,系统还支持客户行为分析、客户画像构建、组织架构分析、人力成本分析、财务实时数据分析等多种场景。
与传统的BI工具相比,DataArts Insight的一大特色是其与华为云服务体系的深度整合。它既可作为独立的数据分析平台使用,也可与云服务器、云数据库等基础设施服务协同运作,构建从数据存储到智能分析的全链路解决方案。当前,DataArts Insight已在多个区域开放使用,包括华北-北京四、华北-乌兰察布一、华东-上海一、华东二、华南-广州、西南-贵阳一、中东-利雅得等。
DataArts Insight的产品架构体现出以下几个关键特性:
- 零门槛自助分析:采用盘古for BI技术,实现全自然语言交互的BI自动分析,真正做到所问即所得。
- 智能数据洞察:支持异常检测、趋势预测等高级数据分析算法,自动生成洞察见解。
- 10亿数据秒级响应:高性能BI引擎支持多种加速模式,提供极致顺滑体验,实现10亿数据秒级响应。
- 嵌入式分析:提供仪表板、智能分析助手等多种嵌入方式,提升业务应用的智能化水平。
- 全链路数据安全:全面的数据安全保护措施,确保SLA达到99.9%。
需要先登录华为云控制台,点击:华为云控制台,还没有账号,点击:注册并关联,已有账号点击:登录后关联
二、准备工作:开通服务与项目空间创建
2.1 账号注册与实名认证
使用DataArts Insight前,首先需要完成华为云账号的注册与实名认证。访问华为云官方网站,点击页面右上角的注册进入注册页面,根据提示完成账号注册。完成注册后,建议尽快完成实名认证——实名认证分为个人账号和企业账号两种类型,认证通过后约40分钟生效。
2.2 开通DataArts Insight服务
登录华为云控制台后,搜索并进入智能数据洞察DataArts Insight产品页面。首次使用需单击开通服务,阅读并勾选服务协议后确定。随后根据业务需求选择套餐规格、通用用户数、数据大屏数量、嵌入报表数及购买时长,确认配置后单击立即购买并完成支付。需要特别注意的是,开通服务及后续的费用管理操作仅支持管理员或拥有管理员权限的用户执行。
2.3 服务授权配置
服务开通后,还需在系统设置 > 委托管理页面对云服务进行授权。授权后DataArts Insight才拥有对所选云服务如RDS、DWS等的使用权限。系统将在统一身份认证服务IAM中为您创建委托,授权成功后可在服务委托列表中查看。DataArts Insight将在IAM中创建名为dataartsinsight_agency的委托,并授予相应的权限,请勿修改和删除该委托。
2.4 创建IAM用户并授权
为了安全起见,建议不要直接使用主账号进行日常操作。您可以在IAM控制台创建用户组,并授予DataArts Insight服务普通用户权限DataArts Insight ReadOnlyAccess。然后创建用户并将其加入该用户组。如果您需要对DataArts Insight服务进行精细的权限管理,可以使用IAM进行更细粒度的授权。
2.5 创建与管理项目
DataArts Insight以项目为单位进行资源管理和权限控制。您可以在DataArts Insight中创建项目,并在项目中连接数据源、创建数据集,然后以项目为单位进行授权,使得IAM用户仅能访问特定项目中的资源,从而使资源的权限控制更加精确。通过项目可以实现不同部门、不同项目或同一项目不同环境开发、测试等的隔离管理。
三、数据源接入:连接你的数据资产
数据源是数据分析的基础,首先要将数据源接入DataArts Insight后再进行数据分析。DataArts Insight提供了安全可靠的数据连接方式,为数据分析人员提供丰富多样的数据源接入方式。
3.1 支持的数据源类型
当前DataArts Insight支持接入以下多种数据源类型:
- 大数据平台:DWS数据源、GaussDB数据源、Doris数据源、ClickHouse数据源、Hive数据源
- 关系型数据库:MySQL数据源、PostgreSQL数据源
- 云原生数据源:DLI数据源
- 动态数据源:API数据源
数据源与DataArts Insight的项目所属的企业项目必须相同。数据源与DataArts Insight的项目所属的区域必须相同,即仅支持连接当前区域的数据源。
3.2 网络连通要求
添加数据源时,DataArts Insight对数据源的网络类型有以下要求:
- 如果数据源为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
- 如果数据源为云上服务如DWS、ClickHouse等,则网络互通需满足如下条件:
- DataArts Insight与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。
- DataArts Insight与云上服务同区域情况下:同虚拟私有云、同子网、同安全组的不同实例默认网络互通。同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则。不同虚拟私有云的数据源接入时,DataArts Insight自动为您创建VPCEP连通VPC网络。
3.3 接入DWS数据源操作步骤
以接入GaussDB(DWS)数据源为例,操作步骤如下:
- 登录智能数据洞察控制台。
- 单击管理控制台左上角的区域选择,单击右上角的企业项目,选择企业项目。
- 在控制台上方单击项目后,单击项目名称,进入项目页面。
- 在数据管理菜单下选择数据源,单击接入数据源。
- 选择DWS数据源类型,填写数据源名称、数据库连接信息包括主机地址、端口、数据库名、用户名、密码等。
- 选择网络连接方式——公网连接方式如果是非当前账号下的云服务资源,建议使用公网连接方式,且数据源需绑定弹性公网IP;VPC网络连通方式适用于同VPC内的云服务资源。
- 单击测试连接,验证网络连通性和认证信息是否正确。
- 测试通过后单击确定,完成数据源接入。
3.4 接入MySQL数据源
DataArts Insight同样支持连接MySQL数据源。DataArts Insight连接MySQL有以下网络方式:公网连接方式适用于非当前账号下的云服务资源;VPC网络连通方式适用于同VPC内的云服务资源。操作步骤与接入DWS数据源类似,在数据源类型中选择MySQL并填写相应的连接参数即可。
3.5 接入API数据源
DataArts Insight支持接入API数据源,满足您对数据实时性、可扩展性的需求。通过API数据源,您可以将任意HTTP API的响应数据作为数据分析的数据来源。操作步骤如下:
- 在控制台上方单击项目后,单击项目名称,进入项目页面。
- 在数据管理菜单下选择数据源,单击接入数据源。
- 选择API数据源类型,填写数据源名称和API请求配置包括请求URL、请求方法GET/POST、请求头、请求体等。
- 配置数据解析规则,指定如何从API响应中提取数据字段。
- 单击测试连接,验证API的可访问性和数据解析是否正确。
- 测试通过后单击确定,完成API数据源接入。
3.6 上传本地文件
除了接入数据库和API数据源外,DataArts Insight还支持直接上传本地文件作为数据来源。您可以将CSV、Excel等格式的本地数据文件上传到DataArts Insight中进行分析,这对于快速验证和临时分析场景非常方便。
四、数据集创建:数据加工与建模
在成功接入数据源之后,您需要从数据源中提取数据表并将其构建成数据集。数据集作为数据源和可视化展示的中间环节,是可视化分析的基础。DataArts Insight提供了两种创建数据集的方式:可视化配置方式和自定义SQL方式。
4.1 通过可视化方式创建数据集
可视化方式创建数据集适合没有SQL基础的业务分析人员。操作步骤如下:
- 在DataArts Insight控制台中进入项目管理页面。
- 在数据管理菜单下选择数据集,单击创建数据集。
- 从已接入的数据源中选择需要分析的数据表。
- 通过拖拽和勾选的方式选择需要分析的字段,包括维度和度量。
- 可以设置字段的显示名称、数据类型、聚合方式等属性。
- 支持多表关联——将需要关联的表格从左侧拖拽至操作面板,通过可视化方式配置表之间的关联关系。
- 保存数据集,完成创建。
- 登录智能数据洞察控制台。
- 单击管理控制台左上角的区域选择,单击右上角的企业项目。
- 进入项目管理页面,在数据管理菜单下选择数据集,单击创建数据集。
- 在数据集创建页面的右上角单击SQL编辑。
- 在SQL编辑页面编写SQL查询语句——支持SELECT、FROM、WHERE、GROUP BY、ORDER BY、SET、LIMIT等语法。
- 单击对自定义数据表命名,如果未对自定义数据表进行命名,则数据表名默认为sql。
- 执行SQL语句,预览查询结果,确认数据正确性。
- 保存数据集,完成创建。
- 多表级联建模:支持多张数据表之间的级联关联,构建复杂的数据模型。
- 新建维度:可以从现有字段中派生新的维度字段,例如从日期字段中提取年、季度、月等层次维度。
- 新建层次结构:将多个维度组织成层次结构,支持钻取分析。
- 设置SET语句:在SQL数据集创建中支持SET语句的配置。
- 列级权限配置:通过列级权限功能设置禁止规则,对某用户或用户组设置可见范围,从而保证数据的安全。
- 行级权限配置:控制不同用户能够看到的数据行范围。
- 在控制台上方单击项目后,单击项目名称,进入项目页面。
- 单击数据分析 > 仪表板,进入仪表板页面。
- 单击新建仪表板,进入仪表板编辑页面。
- 在页面右侧的数据页签选择需要分析的数据集。
- 从组件库中选择需要的可视化控件,拖拽至仪表板画布中。
- 配置字段、样式和交互参数。
- 保存仪表板,完成创建。
- 表格:主要用于对数据进行基于维度的指标数据统计或者明细数据展示,并对同类数据进行合并聚合统计。
- 交叉表:支持行和列两个维度的数据交叉分析。
- 热力图:通过颜色深浅展示数据分布密度。
- 折线图:展示数据随时间或其他连续变量的变化趋势。
- 面积图:展示数据的累计变化趋势。
- 堆积面积图:展示多类别数据的累计构成变化。
- 时间轴:可以清晰地呈现特定时间点发生的事件,并直观地展示行为和状态随时间的演变。
- 页签:在仪表板中创建多页签切换的布局。
- 组合容器:将多个组件组合在一起进行统一管理。
- 富文本:在仪表板中插入富文本内容。
- 智能图表:自动推荐最合适的图表类型。
- 查询控件:提供交互式的数据筛选和查询功能。
- 单击数据分析 > 大屏 > 新建大屏,进入新建数据大屏页面。
- 选择对应的项目,单击确定进入创建数据大屏页面。
- 在页面左侧的组件区域选择需要的组件类型。
- 将组件拖拽至大屏画布中,配置数据源、字段和样式。
- 大屏组件包括线状图、表格、素材等多种类型。
- 保存大屏,完成创建。
- 自然语言问数:通过自然语言的交互,直接获取数据结果,实现数据即问即答。
- 自助生成图表:通过自然语言查询,智能分析助手能够自动创建直观的图表,使数据可视化变得轻松便捷。
- 智能见解生成:自动分析数据并生成洞察见解。
- 异常检测:自动检测数据中的异常点并在图表上标识出来。
- 对话历史追溯:支持查看问答历史,方便回顾和检索过往的对话结果。
- 问答分析过程展示:支持展示问答分析过程,方便追溯问答逻辑。
- 新建智能分析助手:在DataArts Insight控制台中创建智能分析助手实例。
- 配置智能分析助手(可选):根据业务需求进行个性化配置。
- 同步表结构语义配置:将数据集的表结构和语义信息同步到智能分析助手中。
- 智能问答:通过自然语言提问进行数据分析。
- 将可视化图表和智能分析助手嵌入到SaaS应用界面中,使能SaaS应用智能化升级。
- 将仪表板嵌入到企业内部管理系统中,实现一站式数据分析。
- 将数据大屏嵌入到展厅、控制中心等展示场景中。
- 列级权限:通过列级权限功能设置禁止规则,对某用户或用户组设置可见范围,保证数据的安全。
- 行级权限:控制不同用户能够看到的数据行范围。
- 服务委托授权:DataArts Insight在IAM中创建委托,安全地访问其他云服务。
- 数据传输加密:支持HTTPS加密传输,保障数据在传输过程中的安全。
4.2 通过SQL语句创建数据集
对于复杂的数据加工需求,DataArts Insight支持通过自定义SQL语句创建数据集。这种方式适合有一定SQL基础的数据分析师,可以实现更灵活的数据筛选、聚合和转换。操作步骤如下:
以下是一个通过SQL创建数据集的示例代码:
SELECT
DATE_FORMAT(order_date, '%Y-%m') AS month,
product_category,
SUM(order_amount) AS total_sales,
COUNT(DISTINCT customer_id) AS customer_count,
AVG(order_amount) AS avg_order_value
FROM orders o
INNER JOIN products p ON o.product_id = p.product_id
WHERE order_date >= DATE_SUB(CURRENT_DATE, INTERVAL 12 MONTH)
GROUP BY DATE_FORMAT(order_date, '%Y-%m'), product_category
ORDER BY month DESC, total_sales DESC;4.3 数据建模高级功能
DataArts Insight还提供了丰富的数据建模功能:
4.4 创建业务指标
DataArts Insight支持创建业务指标,将常用的业务计算逻辑定义为可复用的指标。指标概述中说明了指标是数据分析的核心元素,创建指标后可以在多个仪表板和大屏中复用。创建指标后还支持分享给其他用户和用户组使用。
五、可视化分析:仪表板与大屏搭建
完成数据集创建后,就可以开始进行数据可视化了。DataArts Insight提供了两种主要的可视化展示形式:仪表板和数据大屏。
5.1 仪表板:日常数据分析与监控
仪表板是一种高效的实时数据可视化工具,允许用户从多个来源收集复杂的数据,并将其转换为易于理解的数据图表。您可以通过点击、过滤等交互操作深入查看和分析数据,适用于个人或团队的日常工作,如业务监控、数据分析、决策支持等。
5.1.1 创建仪表板
创建仪表板的操作步骤如下:
5.1.2 仪表板组件类型
DataArts Insight提供了丰富的仪表板组件:
5.1.3 仪表板预览与分享
仪表板创建完成后,支持PC端和移动端两种方式预览。您还可以将仪表板分享给其他用户或用户组,实现团队协作分析。
5.2 数据大屏:高可视化数据展示
数据大屏是数据可视化的重要展示形式和载体,能够展示企业的关键业务指标,如销售额、库存情况等。数据大屏通过动态图表、实时数字和交互式界面,使得复杂的数据信息变得易于理解和分析,广泛应用于展览中心、控制中心等重要场所。
创建数据大屏的操作步骤如下:
线状图是大屏中常用的图表类型,操作步骤为在大屏页面左侧的组件区域单击线状图,新建线状图组件,然后在页面右侧的数据页签选择需要分析的数据集,最后设置字段、样式、交互相关参数。表格通过行和列的结构化布局组织和呈现数据,帮助用户快速识别和理解数据之间的关系。
六、智能分析助手:自然语言驱动的数据分析
智能分析助手是DataArts Insight提供的一款创新的数据分析工具,它利用自然语言处理技术,将复杂的数据分析任务转化为简单的对话交流。通过自然语言提问,智能分析助手便能自动执行数据分析、生成图表和提供智能见解,极大地简化了从数据获取到决策支持的整个流程。
6.1 智能分析助手的核心能力
6.2 创建与配置智能分析助手
创建智能分析助手分为四个步骤:
6.3 智能分析助手的高级特性
DataArts Insight支持自定义智能分析助手NL2SQL和智能见解所使用的模型,方便您随时对模型进行切换,选择适合业务场景的模型。通过不断优化和调整所使用的模型,可以增强智能分析助手的问答能力,使其更加精准地理解和响应复杂的查询需求。
智能分析助手具备一定的歧义检测能力,主动提示用户确认问题中的歧义。DataArts Insight提供了提前定义多表关联的能力,用户可提前定义好数据关联关系,模型将其视作宽表,专注于宽表的数据查询。
使用示例:在智能分析助手中输入查询某类商品的销售数据,系统会自动识别查询意图,从数据集中检索相关数据并生成图表展示。
七、嵌入式分析:将BI能力集成到业务系统
DataArts Insight支持将项目中的仪表板、大屏、智能分析助手嵌入到其他系统中,以便和其他应用系统集成,更便捷实现业务一体化应用。数据分析人员可以轻松地将数据提供给第三方使用,不仅简化了跨平台的数据共享,还提高了业务协同的效率。
7.1 嵌入分析的应用场景
7.2 API方式集成
如果用户需要将云平台上的DataArts Insight服务集成到第三方系统,用于二次开发,可以使用API方式访问DataArts Insight服务。DataArts Insight提供了完整的REST API,支持获取数据源、准备数据集、数据分析、数据大屏等操作。具体操作请参见DataArts Insight API参考。
API的调用方法遵循华为云API的通用规范。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。
7.3 使用Java SDK调用API示例
DataArts Insight提供了多种语言的SDK,包括Java、Python、Go、C#、JavaScript、PHP、C++、Android等。以下是通过Java SDK调用DataArts Insight API的示例代码:
import com.huaweicloud.sdk.core.auth.BasicCredentials;
import com.huaweicloud.sdk.core.exception.ConnectionException;
import com.huaweicloud.sdk.core.exception.RequestTimeoutException;
import com.huaweicloud.sdk.core.exception.ServiceResponseException;
import com.huaweicloud.sdk.dataartsinsight.v1.DataArtsInsightClient;
import com.huaweicloud.sdk.dataartsinsight.v1.model.*;
public class DataArtsInsightApiExample {
public static void main(String[] args) {
// 配置认证信息
String ak = "your-access-key";
String sk = "your-secret-key";
String region = "cn-north-4";
BasicCredentials auth = new BasicCredentials()
.withAk(ak)
.withSk(sk);
// 创建客户端
DataArtsInsightClient client = DataArtsInsightClient.newBuilder()
.withCredential(auth)
.withRegion(region)
.build();
try {
// 查询数据源列表
ListDataSourcesRequest request = new ListDataSourcesRequest();
request.setProjectId("your-project-id");
ListDataSourcesResponse response = client.listDataSources(request);
System.out.println("数据源列表: " + response.toString());
} catch (ConnectionException | RequestTimeoutException e) {
e.printStackTrace();
} catch (ServiceResponseException e) {
System.err.println("HTTP状态码: " + e.getHttpStatusCode());
System.err.println("错误码: " + e.getErrorCode());
System.err.println("错误信息: " + e.getErrorMsg());
}
}
}使用SDK调用API的步骤为:解压获取的Java SDK包,并在Eclipse或IntelliJ IDEA中导入SDK工程。导入成功后,在main.java文件中配置认证信息和请求参数。编译运行即可调用DataArts Insight的API。
八、权限管理与安全控制
8.1 IAM权限体系
DataArts Insight使用统一身份认证服务IAM进行精细的权限管理。IAM提供用户身份认证和访问控制功能。DataArts Insight支持的系统权限包括多种角色,您可以根据实际需求为用户分配不同的权限。
8.2 项目级权限隔离
您可以在DataArts Insight中创建项目,并在项目中连接数据源、创建数据集,然后以项目为单位进行授权,使得IAM用户仅能访问特定项目中的资源。通过项目实现不同部门、不同项目或同一项目不同环境开发、测试等的隔离管理。
8.3 数据安全保护
DataArts Insight提供了全面的数据安全保护措施:
九、最佳实践与典型应用场景
DataArts Insight服务的常见应用场景涵盖了多个行业和业务领域。以下是一些典型的最佳实践场景:
9.1 零售行业销售分析
通过接入零售业务数据库如MySQL或DWS,创建销售数据集,搭建销售仪表板展示各区域、各品类、各时段的销售趋势。利用智能分析助手进行自然语言查询,快速获取销售数据洞察。配置数据大屏在总部控制中心实时展示销售KPI。
9.2 物流行业运营监控
接入物流系统的订单数据和配送数据,通过多表关联创建综合分析数据集。搭建运营监控仪表板,实时展示订单量、配送时效、异常订单等关键指标。通过智能分析助手进行异常检测,自动发现运营中的问题。
9.3 金融行业风险管控
接入金融业务数据源,通过SQL方式创建复杂的数据集进行数据加工。搭建风险监控大屏,实时展示各类风险指标。利用嵌入式分析将风险仪表板集成到内部管理系统中。
9.4 云原生轻量化BI分析
DataArts Insight走的是云原生轻量化路线,面向需要快速搭建仪表盘和大屏的用户群体,在云端自助分析和固定报表场景中具备较快的上手速度。它提供大屏搭建能力和丰富的固定报表模板,支持自然语言交互式分析。特别适合华为云生态用户快速搭建云端仪表盘和驾驶舱。
十、常见问题解答
问1:DataArts Insight支持哪些数据源类型?
答:DataArts Insight当前支持DWS数据源、GaussDB数据源、MySQL数据源、PostgreSQL数据源、Doris数据源、ClickHouse数据源、API数据源、DLI数据源、Hive数据源等多种类型。同时支持上传本地文件作为数据来源。
问2:DataArts Insight与数据源之间的网络连通有哪些要求?
答:数据源与DataArts Insight的项目所属的企业项目和区域必须相同。如果数据源为云下数据库,需要通过公网或专线打通网络。如果数据源为云上服务,同VPC内默认互通,不同VPC需通过VPCEP连通。
问3:如何通过SQL方式创建数据集?
答:在数据集创建页面的右上角单击SQL编辑,进入SQL编辑页面编写SQL查询语句。支持SELECT、FROM、WHERE、GROUP BY、ORDER BY、SET、LIMIT等语法。编写完成后执行并保存即可。
问4:智能分析助手支持哪些功能?
答:智能分析助手支持自然语言问数、自动生成图表、智能见解生成、异常检测、对话历史追溯、问答分析过程展示等功能。还支持自定义NL2SQL模型。
问5:如何将DataArts Insight的仪表板集成到第三方系统中?
答:DataArts Insight支持两种集成方式:嵌入式分析功能可以直接将仪表板、大屏嵌入到其他系统中;API方式可以通过调用REST API进行二次开发集成。
问6:DataArts Insight的权限管理如何实现?
答:DataArts Insight使用IAM进行权限管理。可以创建IAM用户并授予DataArts Insight ReadOnlyAccess等权限。同时支持项目级别的权限隔离,以项目为单位进行授权。还支持列级权限和行级权限的数据安全控制。



