阿里云云存储网关CSG对接使用完全指南：从部署到高可用架构

1. 云存储网关CSG概述：打通OSS与标准存储协议的桥梁

阿里云云存储网关CSG（Cloud Storage Gateway）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI），使企业可以像操作本地文件夹和磁盘一样操作OSS资源。这一产品定位决定了CSG的核心价值——在不改造现有应用的前提下，将海量、低成本的OSS存储转化为应用熟悉的存储协议。

CSG的出现解决了企业上云过程中的一个典型痛点：许多传统应用基于文件系统或块存储开发，无法直接使用OSS的RESTful API。通过CSG，企业无需修改代码即可将本地应用无缝迁移至云端存储，或在混合云架构中实现数据的统一管理。CSG支持在阿里云上部署（云上网关），也支持在本地数据中心部署（线下网关），两种部署模式可以形成存储网关集群，实现数据在云上和云下的自由流动。

需要先登录阿里云控制台，点击：阿里云控制台

2. 文件网关与块网关：两种形态的架构对比与选型指南

云存储网关CSG提供了文件网关和块网关两种形态，用户需根据实际应用场景选择合适的类型。两种网关在协议支持、数据组织方式和适用场景上存在显著差异。

2.1 文件网关：将OSS Bucket映射为NAS文件系统

文件网关将OSS Bucket的对象结构与NAS文件系统的目录和文件建立映射关系。用户通过标准的NFS协议（适用于Linux客户端）或SMB协议（适用于Windows客户端）即可读写指定OSS Bucket里的对象。文件网关利用本地存储空间作为热数据缓存，在享受OSS Bucket海量存储空间的同时，保障了数据访问的高性能。文件网关还高度兼容POSIX标准和第三方备份软件。

在规格选择方面，如果是小文件的备份和共享读写场景，推荐使用标准型或基础型文件网关；如果对性能有一定要求或者有多个客户端同时访问数据，推荐使用增强型或性能型文件网关。不同规格在缓存盘配置、多Bucket汇总、极速同步、智能归档等高级功能上有所差异。

2.2 块网关：通过iSCSI协议提供块存储服务

块网关在OSS中创建存储卷，并通过Internet小型计算机系统接口（iSCSI）协议提供访问。本地应用程序可将这些卷作为iSCSI目标进行访问。块网关提供两种工作模式：

• 透传模式：将块卷数据切片同步上云，适用于高速链路（如专线）的客户。
• 缓存模式：通过对网关机器本身的本地缓存盘进行读写加速，并将缓存数据异步上云，适用于期望本地快速访问但上云链路较慢的客户。

块网关的典型应用场景包括：通过备份软件将数据备份到云上且备份软件支持iSCSI高效传输，以及将视频流数据通过iSCSI访问方式导入存储卷实现云上存储。

3. 快速入门：在云控制台上创建文件网关

本节以云上文件网关为例，详细演示从开通服务到完成共享设置的全流程。

3.1 前提条件

在创建文件网关之前，需要完成以下准备工作：

• 已完成注册阿里云账号并完成实名认证。
• 已开通云存储网关服务。首次登录云存储网关控制台时，请根据页面提示完成开通。
• 在需要创建文件网关的地域，已有可用的专有网络VPC和虚拟交换机。
• 已有可用的云服务器ECS作为客户端机器，并与已创建的VPC关联。如果本地主机已通过专线和阿里云VPC连通，也可以使用本地主机进行操作。
• 已创建OSS Bucket。文件网关支持标准（Standard）、低频访问（IA）和归档存储类型的OSS Bucket，但不支持具有回源特性的Bucket。

重要提示：不建议网关直接对接归档类型的存储桶。如果文件写入后长时间不会修改，建议使用标准或低频类型的存储桶，然后通过生命周期规则将文件转为归档或冷归档类型，避免不必要的解冻操作。

3.2 创建文件网关

进入云存储网关控制台的网关列表页面，单击"创建"。在配置页面中，需要填写以下关键参数：

• 名称：长度为1至60个字符，必须以大小写字母或中文开头，可包含字母、中文、数字、下划线、短划线和半角句号。
• 位置：选择"阿里云"。
• 类型：选择"文件网关"。
• 地域：选择文件网关的地域。
• 专有网络：选择所需的VPC，必须与ECS实例或本地主机选择相同的VPC。
• 虚拟交换机：选择所需的虚拟交换机，必须与ECS实例或本地主机选择相同的虚拟交换机。
• 型号：根据业务需求选择合适的网关规格。

完成配置后，系统会自动部署网关实例。云上文件网关无需手动下载镜像，通过控制台创建后会自动完成部署。

3.3 配置协议与共享

在网关创建完成后，需要配置协议参数：

• 子目录：如需挂载Bucket的子目录，可选择"子目录"选项并输入子目录名称。
• 协议：选择文件网关协议。NFS适用于Linux客户端，SMB适用于Windows客户端。
• 共享名称：设置挂载Bucket的网络共享名称，最大32个字符。

4. 客户端挂载与访问：将OSS变为本地文件系统

文件网关创建并配置共享后，客户端可以通过标准协议挂载并访问OSS中的数据。

4.1 Linux客户端通过NFS挂载

在Linux客户端上，使用以下命令挂载NFS共享：

sudo mount -t nfs -o vers=4.0 [网关IP]:/[共享名称] /mnt/csg

其中，[网关IP]为文件网关的挂载点IP地址，[共享名称]为配置的共享名称，/mnt/csg为本地挂载目录。

4.2 Windows客户端通过SMB映射

在Windows客户端上，可以通过以下方式访问SMB共享：

• 在文件资源管理器的地址栏中输入：\\[网关IP]\[共享名称]
• 或通过"映射网络驱动器"功能，将共享路径映射为本地盘符。

挂载成功后，用户对挂载目录的读写操作将透明地映射到OSS Bucket中的对象。文件网关支持多个客户端同时挂载访问同一个共享。

5. 缓存机制与性能优化

缓存是云存储网关实现高性能访问的核心机制。理解缓存的工作原理对于合理规划网关规格和优化性能至关重要。

5.1 缓存盘工作原理

文件网关的每个共享目录都对应唯一一个缓存盘，创建多个共享目录则需要创建多个缓存盘。缓存盘的主要功能包括：

• 缓存用户通过挂载点写入的数据。在文件关闭后，网关会将数据一次性上传至后端OSS，因此网关支持顺序写和随机写操作。
• 缓存最近访问的热数据，使后续读取操作可以从本地缓存直接返回，无需从OSS拉取，显著降低访问延迟。

5.2 缓存淘汰策略

当缓存盘使用率达到一定阈值时，网关会自动触发缓存淘汰机制以释放空间：

• 当缓存使用率低于60%时，不触发缓存淘汰策略。
• 当缓存使用率在60%至80%之间时，触发缓存淘汰策略，持续淘汰缓存数据直至使用率降至60%以下。

5.3 缓存容量规划

缓存容量的规划直接影响网关的读写性能。文件共享的缓存区估算公式为：

本地建议缓存容量 = (应用带宽（MB/s）- 网关后端带宽（MB/s）) × 写入时长（s） × 1.2

在实际规划中，建议先预估总的热数据容量，取总的热数据容量和上述公式计算结果的最大值作为本地缓存容量。如果本地缓存容量不足，会导致频繁的缓存淘汰和数据回源，影响读写性能。

缓存盘的配置可以在网关创建后通过控制台进行添加或扩展。

6. 高可用部署：跨可用区文件网关

对于生产环境的关键业务，高可用性是必须考虑的因素。阿里云云存储网关提供了跨可用区高可用文件网关方案。

6.1 架构特点

跨可用区高可用文件网关采用两节点部署方式，将节点分别部署在不同可用区中，节点间通过高效的数据同步确保数据一致性。这种架构具有以下特点：

• 对外提供一个由用户指定的虚拟挂载IP进行挂载访问。
• 通过创建相应的路由表条目指向主节点。
• 当发生故障时，系统自动执行故障切换，将访问流量切换到备用节点。

6.2 适用场景

跨可用区高可用文件网关适用于对业务连续性要求较高的场景，如企业核心文件共享、关键业务数据存储等。它能够有效规避单可用区故障导致的业务中断风险。

7. 安全管理：RAM权限控制

云存储网关的安全管理涉及两个层面：一是对网关管理操作的权限控制，二是对共享数据的访问控制。

7.1 RAM身份管理

推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问云存储网关。RAM用户需要由阿里云账号（主账号）或拥有管理员权限的RAM用户创建，且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。

RAM身份默认没有任何权限，需要由阿里云账号管理员为其授权后才能访问云存储网关资源。云存储网关的RAM代码（RamCode）为 hcs-sgw，支持的授权粒度为操作级。

7.2 细粒度权限策略

通过RAM权限策略，可以精确控制用户对云存储网关的操作权限。权限策略中定义了操作（Action）、资源（Resource）和条件（Condition）三个要素。例如，可以创建策略仅允许某RAM用户创建和管理特定VPC内的网关实例，而不允许其操作其他资源。

7.3 共享级别访问控制

对于SMB共享，CSG提供了Windows权限支持功能。启用后，可以为不同用户或用户组授予不同的访问权限。对于NFS共享，可以通过标准的NFS导出选项控制客户端的访问权限。

8. 自动化管理：API与Terraform

对于需要大规模部署或自动化运维的场景，阿里云提供了API和Terraform两种自动化管理方式。

8.1 API管理

云存储网关提供了完整的API接口，方便用户进行二次开发和自动化管理。核心API包括：

• OpenSgwService：开通云存储网关服务。只有开通服务后才能进行产品使用。
• CreateGateway：创建一个包年包月或按量付费的网关。

通过API，用户可以将网关的创建、配置、监控等操作集成到自己的运维平台中。

8.2 Terraform管理

Terraform是一种开源工具，用于安全高效地创建和管理云资源。阿里云Cloud Shell中预装了Terraform组件并已配置好身份凭证，用户可直接在Cloud Shell中运行Terraform命令。

以下是一个使用Terraform创建文件网关的配置示例：

variable "region" {
  # 资源将要部署的地域
}

resource "alicloud_csg_gateway" "example" {
  gateway_name = "my-file-gateway"
  gateway_class = "standard"
  type = "File"
  vpc_id = alicloud_vpc.example.id
  vswitch_id = alicloud_vswitch.example.id
}

通过Terraform，用户可以实现基础设施即代码（IaC），将云存储网关的配置纳入版本控制体系，实现可重复、可审计的基础设施部署。

9. 计费与成本优化

了解云存储网关的计费模式有助于合理规划预算和控制成本。

9.1 按量付费计费公式

云存储网关支持按量付费和包年包月两种计费方式。按量付费的计费公式为：

每小时网关费用 = 网关规格每小时价格 + 缓存容量(GB) × 1 GB/小时单价 + 公网带宽(Mbps) × 1 Mbps/小时单价

计费项主要包括网关规格费用、缓存盘容量费用和公网带宽费用。

9.2 成本优化建议

• 合理选择网关规格：根据实际的吞吐量和并发连接数选择适当的网关型号，避免过度配置。
• 优化缓存容量：根据热数据容量和写入模式合理规划缓存盘大小，既保证性能又避免浪费。
• 利用内网访问：确保网关与OSS Bucket在同一地域，通过内网访问可免去公网流量费用。
• 生命周期管理：对于冷数据，通过OSS生命周期规则自动将数据转为低频访问或归档存储，降低存储成本。

10. 使用限制与注意事项

在使用云存储网关时，需要注意以下限制和最佳实践：

• 存储类型限制：文件网关仅支持标准、低频访问和归档类型的OSS Bucket，不支持具有回源特性的Bucket。
• 归档数据写入限制：不建议网关直接对接归档类型的存储桶。客户端写入文件时，网关至少记录写入文件及设置文件修改时间两个操作。设置修改时间会被转换成修改OSS对象元数据的操作，通过调用CopyObject API实现。对于归档或冷归档类型的文件，CopyObject会触发耗时的解冻动作，影响上传效率，甚至可能因缓存盘数据来不及上传导致写入失败。建议先将文件写入标准或低频存储桶，再通过生命周期规则转为归档类型。
• 区域支持：CSG仅支持特定区域，需提前确认目标区域是否支持。
• 网络要求：云上网关需要部署在VPC内，且与客户端ECS在同一VPC或通过专线连通。

11. 常见问题解答

问1：云存储网关支持哪些协议？
答：文件网关支持NFS（v3、v4）和SMB协议；块网关支持iSCSI协议。

问2：文件网关中的文件与OSS对象的映射关系是怎样的？
答：文件网关将OSS Bucket的对象结构与NAS文件系统的目录和文件建立1:1的映射关系。用户在文件系统中创建的文件和目录会对应为OSS中的对象，目录结构通过对象Key的前缀来模拟。

问3：云存储网关的缓存淘汰机制是怎样的？
答：当缓存使用率低于60%时不触发淘汰；当使用率在60%至80%之间时触发淘汰，直至使用率降至60%以下。

问4：如何实现云存储网关的高可用？
答：可以使用跨可用区高可用文件网关方案，采用两节点部署在不同可用区，通过虚拟挂载IP对外提供服务，故障时自动切换。

问5：云存储网关的计费项有哪些？
答：按量付费模式下，费用包括网关规格费、缓存容量费和公网带宽费。此外，使用OSS存储和API调用也会产生相应的OSS费用。

问6：为什么建议不要将网关直接对接归档存储桶？
答：因为网关写入文件时会调用CopyObject API设置文件修改时间元数据，对归档或冷归档对象会触发耗时的解冻操作，影响上传效率甚至导致写入失败。建议先写入标准或低频存储桶，再通过生命周期规则转为归档类型。