华为云CPFS并行文件存储：高性能计算存储集群从零搭建完全指南

一、引言：为什么高性能计算需要CPFS

高性能计算场景对存储系统提出了极为苛刻的要求。在基因测序中，一台先进的基因测序仪可在一天内产生数TB的原始数据，后续的拼接、比对、变异分析等环节需要计算集群对这些数据进行高并发的随机读写。在工业仿真领域，CAE/CAD软件在进行大规模有限元分析时，需要计算节点之间进行紧密的通信，要求文件系统具备高带宽和低延迟的特性。在AI大模型训练中，训练数据集往往达到PB级别，GPU集群需要以极高的吞吐量持续读取训练样本，任何一个I/O瓶颈都可能导致昂贵的GPU资源空转等待。

传统的NAS（网络附加存储）和对象存储在这些场景下显得力不从心。通用型NAS虽然支持POSIX协议，但其单节点或小规模集群的架构决定了它在并发能力和扩展性上的天花板。对象存储OSS虽然具备海量扩展能力和极低的成本，但不支持POSIX接口，无法直接对接需要文件系统目录结构的HPC应用。

正是在这样的背景下，华为云CPFS（Cloud Parallel File System，并行文件系统）应运而生。CPFS是华为云对象存储服务OBS提供的一种经过优化的高性能文件语义系统。它在对象存储的底层架构之上，实现了完整的POSIX文件语义，提供毫秒级别的访问延迟、TB/s级别的带宽和百万级别的IOPS。CPFS采用分布式并行架构，将元数据和数据分离存储，并支持数千到数万个计算节点同时读写，单个文件可分块并行处理。

需要先登录华为云控制台，点击：华为云控制台，还没有账号，点击：注册并关联，已有账号点击：登录后关联

二、CPFS的架构原理与核心性能指标

2.1 架构设计理念

CPFS的架构设计围绕一个核心目标：在保持对象存储海量扩展能力的同时，提供与本地文件系统相媲美的性能和POSIX兼容性。为此，CPFS采用了元数据与数据分离的分布式架构。元数据服务器集群负责管理文件系统的目录树、文件属性、权限信息等，而数据服务器集群则负责实际的数据块存储。这种分离设计使得元数据操作和数据读写操作可以并行处理，互不干扰。

文件在CPFS中以条带化（striping）方式存储在集群的多个数据节点上。当客户端读写一个文件时，数据被分散到多个节点并行传输，从而实现了聚合带宽的线性增长。这种设计还带来了另一个重要优势：在线扩容能力。当存储集群需要扩展时，新加入的节点可以立即参与数据分布和负载均衡，性能随容量线性提升。

CPFS同时支持POSIX标准和OBS API两种访问方式。这意味着用户既可以通过标准的文件系统接口（如NFS协议）挂载使用，也可以通过对象存储API进行访问，实现了文件与对象的互通。

2.2 性能指标解析

CPFS的性能指标在同类产品中处于领先水平。根据华为云官方文档，CPFS（在OBS产品中称为并行文件系统PFS）提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS。具体到不同规格，SFS Turbo标准型提供最大150MB/s带宽和5000 IOPS，而高性能规格则可达到10-100GB/s的吞吐量和百万级IOPS。

这些性能数据的实际意义在于：在基因测序场景中，CPFS可以支撑数千个计算节点同时从同一文件系统中读取不同的测序数据片段；在AI训练中，CPFS能够以极高的吞吐量为GPU集群持续供数，确保计算资源不因I/O等待而闲置；在气象模拟中，CPFS支持将大气模型的不同区域分块存储并并行处理。

2.3 CPFS与SFS Turbo的关系

在华为云的存储产品体系中，CPFS与SFS Turbo（高性能弹性文件服务）有着密切但不同的定位。SFS Turbo是华为云提供的可扩展、高性能共享文件存储服务，适用于弹性云服务器ECS、云容器引擎CCE、裸金属服务器BMS等计算资源的共享文件访问。而CPFS则是基于OBS对象存储构建的并行文件系统，在SFS Turbo的基础上进一步强化了并行计算能力。简单来说，SFS Turbo是面向通用高性能共享存储的产品，而CPFS是面向超大规模并行计算场景的专用产品。在实际使用中，用户可以通过SFS Turbo控制台创建和管理CPFS文件系统。

三、搭建前的准备工作

3.1 网络环境规划

CPFS集群的网络规划是搭建过程中最关键的前置步骤之一。CPFS文件系统需要与计算节点部署在同一个虚拟私有云（VPC）内，才能实现内网高速访问。如果计算节点与文件系统位于不同的VPC，则需要通过对等连接或VPC终端节点实现网络互通。

在规划网络时，需要考虑以下几个关键因素。首先是区域选择，CPFS文件系统与计算节点应部署在同一个区域（Region）内，跨区域访问将产生显著的延迟和额外的流量费用。其次是可用区，虽然同一区域的不同可用区之间可以通过内网互通，但为了获得最佳性能，建议将文件系统和计算节点部署在同一个可用区（AZ）内。第三是子网规划，需要为CPFS文件系统预留足够的IP地址空间，特别是在大规模集群场景下，每个挂载点都需要占用一个IP地址。

3.2 计算节点规格选择

计算节点的规格选择直接影响CPFS集群的整体性能。在HPC集群中，通常需要配置管控服务器和计算服务器两类节点。管控服务器负责作业调度和域账号管理，对存储性能要求相对较低；计算服务器负责执行高性能计算作业，其配置决定了集群的总体性能。

对于计算节点，推荐选择至少包含2 vCPU和4 GiB内存的实例规格，以确保CPFS客户端能够正常运行。在高吞吐场景下，建议选择配备高网络带宽的实例类型，如裸金属服务器或高性能计算型ECS。操作系统方面，CPFS客户端支持主流的Linux发行版，包括CentOS 7.x系列以及华为自研的EulerOS。

3.3 账号与权限准备

在开始创建CPFS资源之前，需要确保华为云账号已完成实名认证，并开通了弹性文件服务SFS Turbo。如果使用IAM子账号进行操作，需要确保该子账号被授予了SFS Turbo的管理权限，如"SFS Turbo FullAccess"策略。同时，建议使用RAM子账号进行日常运维操作，避免主账号密钥泄露带来的安全风险。

四、创建CPFS文件系统

4.1 控制台创建流程

创建CPFS文件系统的完整操作步骤如下：

第一步，使用云账号登录华为云管理控制台。第二步，在控制台左上角选择目标区域和项目。第三步，在服务列表中选择"存储 > 弹性文件服务 SFS"，进入SFS管理控制台。第四步，在左侧导航栏中选择"SFS Turbo"，然后在页面右上角单击"创建文件系统"。

在创建文件系统页面，需要配置以下关键参数。首先是计费模式，支持按需计费和包年包月两种模式。按需计费适合短期或波动性业务，包年包月适合长期稳定运行的 production 环境，通常包年包月可获得更优惠的单价。其次是文件系统类型，需要根据业务需求选择标准型、性能型或增强版等不同规格。第三是存储容量，CPFS支持按需扩容，初始容量可以根据当前数据量预估设置。第四是VPC和子网配置，必须选择与计算节点相同的VPC和子网。

配置完成后，单击"立即创建"，系统将开始创建文件系统。创建过程通常需要几分钟时间，完成后文件系统将处于"可用"状态。

4.2 使用API或CLI创建

对于需要自动化部署的场景，华为云提供了API和命令行工具来创建CPFS文件系统。以下是通过华为云CLI（命令行工具）创建文件系统的示例：

# 安装并配置华为云CLI
hcloud configure set --ak=YOUR_ACCESS_KEY --sk=YOUR_SECRET_KEY

# 创建SFS Turbo文件系统
hcloud SFS Turbo CreateFileSystem \
  --region cn-east-3 \
  --name my-cpfs-cluster \
  --vpc-id vpc-xxxxx \
  --subnet-id subnet-xxxxx \
  --security-group-id sg-xxxxx \
  --capacity 1024 \
  --type PERFORMANCE

通过API创建时，可以调用SFS Turbo的创建文件系统接口，传入VPC ID、子网ID、容量、类型等参数。这种方式适合与CI/CD流水线或基础设施即代码工具（如Terraform）集成。

五、挂载CPFS文件系统到计算节点

5.1 Linux系统挂载操作

文件系统创建完成后，需要将其挂载到各个计算节点上才能使用。CPFS支持通过NFS协议进行挂载访问。以下是在Linux系统上挂载CPFS的完整步骤：

首先，在计算节点上安装NFS客户端工具。对于CentOS/RHEL系统，执行：

yum install -y nfs-utils

对于Ubuntu/Debian系统，执行：

apt-get install -y nfs-common

其次，在SFS Turbo控制台获取文件系统的挂载地址。进入文件系统详情页，可以查看到类似"<文件系统域名>:/path"格式的挂载点信息。

第三，在计算节点上创建本地挂载目录：

mkdir -p /mnt/cpfs

第四，执行挂载命令：

mount -t nfs -o vers=4.0,timeo=600,noresvport,nolock <挂载地址> /mnt/cpfs

其中挂载参数的含义为：vers=4.0指定使用NFSv4.0协议；timeo=600设置超时时间为600秒；noresvport在网络重连时使用新端口，提升高可用性；nolock禁用文件锁，在多节点并发读写场景下可提升性能。

为了在系统重启后自动挂载，可以将挂载配置写入/etc/fstab文件：

<挂载地址> /mnt/cpfs nfs vers=4.0,timeo=600,noresvport,nolock 0 0

5.2 多节点批量挂载

在HPC集群中，通常需要将CPFS文件系统挂载到数十甚至数百个计算节点上。手动逐台挂载显然不可行，需要使用自动化工具。常用的方案包括：

使用Ansible进行批量挂载。编写一个Ansible playbook，在所有计算节点上执行挂载操作：

- name: Mount CPFS on all compute nodes
  hosts: compute_nodes
  tasks:
    - name: Install NFS client
      yum:
        name: nfs-utils
        state: present
    - name: Create mount directory
      file:
        path: /mnt/cpfs
        state: directory
    - name: Mount CPFS
      mount:
        path: /mnt/cpfs
        src: <挂载地址>
        fstype: nfs
        opts: vers=4.0,timeo=600,noresvport,nolock
        state: mounted

使用集群部署工具如PBS或Slurm的节点初始化脚本，在计算节点加入集群时自动执行挂载。使用华为云的自定义镜像功能，在制作计算节点镜像时预先配置好挂载参数，新创建的实例启动后自动挂载。

5.3 挂载验证与常见问题

挂载完成后，可以通过以下命令验证挂载是否成功：

df -h | grep cpfs
mount | grep cpfs

如果挂载失败，常见原因包括：网络不通，检查计算节点与文件系统是否在同一VPC内，安全组规则是否放行了NFS端口（2049）；挂载参数错误，检查挂载地址是否正确，NFS版本是否与文件系统支持的版本匹配；权限问题，检查文件系统的访问权限设置，确保计算节点的VPC被允许访问。

六、性能调优实战

6.1 条带化参数配置

CPFS的性能调优中，条带化（striping）配置是最核心的环节。CPFS中的文件以分片方式存储在集群的多个数据服务器上。条带化参数主要包括条带数量（stripe count）和条带大小（stripe size）。

条带数量决定了文件被分散到多少个数据节点上存储。条带数量越多，单个文件的聚合带宽越大，但元数据开销也相应增加。根据实践经验，对于大于1GB的大文件，建议采用stripe count=8；对于200MB到1GB的中等文件，建议采用stripe count=4；对于小于200MB的小文件，使用默认的条带配置即可，过度条带化反而会增加小文件的访问延迟。

条带大小决定了每个数据块的大小。较小的条带大小适合随机读写场景，较大的条带大小适合顺序读写场景。在HPC场景中，通常建议使用1MB左右的条带大小，这是一个在大多数工作负载下表现均衡的取值。

6.2 内核参数优化

Linux内核参数对NFS性能有显著影响。以下是一组经过验证的优化参数：

# 调整NFS客户端RPC队列长度
sysctl -w sunrpc.tcp_slot_table_entries=128

# 调整网络缓冲区大小
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem='4096 87380 16777216'
sysctl -w net.ipv4.tcp_wmem='4096 65536 16777216'

# 调整NFS读/写请求大小（在挂载参数中设置）
# rsize=1048576,wsize=1048576

sunrpc.tcp_slot_table_entries控制NFS客户端同时发送的RPC请求数量，增大该值可以提升并发吞吐能力。网络缓冲区参数的调整可以减少大吞吐量场景下的数据丢包和重传。在挂载参数中加入rsize=1048576,wsize=1048576可以将NFS读写请求大小设为1MB，与条带大小匹配，进一步提升传输效率。

6.3 网络延迟优化

在HPC集群中，网络延迟是影响存储性能的关键因素之一。CPFS的性能高度依赖于计算节点与存储节点之间的网络质量。为了优化网络延迟，建议采取以下措施：确保计算节点与CPFS文件系统部署在同一可用区内，避免跨可用区的网络跳转。选择支持最大网络带宽的实例类型，如裸金属服务器或高网络性能型ECS。对于超大规模集群，考虑使用InfiniBand或RDMA（远程直接内存访问）网络，CPFS支持通过RDMA协议进一步降低访问延迟。

七、数据生命周期管理

7.1 冷热数据分层

CPFS的高性能是有代价的——高性能存储的单价远高于普通存储。在实际业务中，并非所有数据都需要始终驻留在高性能存储层上。合理的做法是根据数据的热度实施分层存储策略。

热数据是指正在被计算集群频繁访问的数据，如当前正在运行的AI训练数据集、正在处理的基因测序中间结果等。这类数据应存放在CPFS的高性能层，以确保计算效率。温数据是指访问频率较低但仍需快速访问的数据，如已完成但可能被再次分析的数据集。这类数据可以迁移到SFS Turbo的标准型或低频访问型存储。冷数据是指已完成处理、仅需长期保存的数据，如已归档的实验结果、历史备份等。这类数据应迁移到OBS对象存储，存储成本可降低至CPFS的几分之一。

华为云支持通过数据流动功能实现CPFS与OBS之间的数据自动迁移。用户可以配置生命周期规则，根据文件的最后访问时间或修改时间自动触发数据迁移。

7.2 生命周期规则配置

在华为云OBS中，可以通过生命周期规则（Lifecycle Rules）来管理数据的自动迁移和过期删除。以下是配置生命周期规则的关键步骤：进入OBS控制台，选择目标存储桶。在"基础配置 > 生命周期"中单击"创建规则"。设置规则适用的对象前缀或标签。配置转换操作，如将30天未访问的数据从标准存储转为低频访问存储，将90天未访问的数据转为归档存储。配置过期删除操作，如将365天前的数据自动删除。

合理的生命周期配置可以将长期存储成本降低30%以上。某基因测序平台通过将冷数据转存至OBS，年度存储支出下降了42%。

八、监控与告警体系搭建

8.1 核心监控指标

CPFS的运维管理离不开完善的监控体系。华为云云监控服务（CES）提供了对CPFS文件系统的全面监控能力。需要重点关注的监控指标包括：文件系统容量使用率，当使用率达到80%时应考虑扩容，达到95%时需立即处理；读写IOPS，监控实际IOPS是否接近规格上限，提前发现性能瓶颈；读写吞吐量（带宽），监控实际吞吐量是否达到购买规格，判断是否需要升级规格；客户端连接数，监控同时挂载的计算节点数量，确保未超过文件系统的连接数限制；操作延迟，监控读写操作的延迟变化，异常升高可能预示着网络问题或存储节点过载。

8.2 告警规则配置

在云监控服务中为CPFS文件系统创建告警规则。登录云监控服务CES控制台。选择"告警 > 告警规则"，单击"创建告警规则"。选择监控目标为对应的CPFS文件系统。设置告警条件，如"容量使用率 > 80%"持续5分钟。配置告警通知方式，支持邮件、短信、HTTP/HTTPS回调等。告警通知对象可以是一个或多个用户组，确保运维团队能够及时收到告警信息。

建议设置的告警规则包括：容量使用率超过80%和95%两个级别的告警；IOPS超过规格80%的预警；吞吐量超过规格80%的预警；文件系统状态异常告警。

九、成本优化策略

9.1 计费模式选择

CPFS的计费通常包含存储容量费和性能资源费两部分。理解计费模式是成本优化的第一步。按需计费按实际使用的存储容量和时长计费，适合短期项目或流量波动较大的业务。包年包月预付费模式通常享有折扣，适合长期稳定运行的production环境。据厂商文档，包年包月1年期可比按量付费节省约50%的成本。资源包抵扣通过预先购买存储资源包来降低单位存储单价。对于有明确容量规划的业务，资源包是进一步降低成本的有效手段。

9.2 内网访问免流量

CPFS与同区域的ECS之间通过内网传输数据是免费的。这是成本优化中容易被忽视但极其重要的一点。在架构设计时，应确保所有访问CPFS的计算节点都与文件系统部署在同一个区域内。如果计算节点与文件系统跨区域，将产生额外的外网流量费用。在数据迁移场景中，如果需要从本地数据中心上传数据到CPFS，建议使用云专线或VPN连接，避免通过公网传输产生高额流量费。

9.3 存储类型降级

根据数据访问频率的变化，及时将数据从高性能存储降级到低成本存储是长期成本控制的关键。CPFS本身支持多种性能规格，从标准型到性能型增强版，价格差异显著。对于不需要极致性能的业务，选择标准型而非性能型可以大幅降低成本。结合生命周期管理，将冷数据自动迁移至OBS。OBS的归档存储成本仅为高性能存储的几分之一。定期审计存储使用情况，删除不再需要的数据和过期备份。

十、高可用与容灾设计

10.1 集群级高可用

CPFS天生具备集群级的高可用能力。CPFS集群由多个元数据服务器和数据服务器组成，所有节点均为高可用设计。集群内实现了秒级别的故障检测，当某个节点发生故障时，CPFS集群调度器会自动将服务切换到其他健康节点。这种设计提供了远高于传统主备模式的高可用性。同时，CPFS还支持负载均衡，确保故障切换后集群的负载能够均匀分布。

10.2 跨可用区容灾

对于关键业务数据，建议实施跨可用区（AZ）的容灾方案。华为云支持在不同可用区之间进行数据异步复制。当主可用区发生故障时，可以快速切换到备用可用区的文件系统实例。跨可用区容灾需要在两个可用区分别创建CPFS文件系统，并通过数据同步工具（如rsync、华为云数据复制服务）保持数据一致性。需要注意的是，跨AZ的数据同步会产生额外的网络延迟和费用，应根据业务的RPO（恢复点目标）和RTO（恢复时间目标）要求来权衡是否实施。

10.3 数据备份策略

除了高可用架构外，定期的数据备份是数据安全的最后一道防线。CPFS本身提供了数据多副本机制，可以防范单个存储节点的硬件故障。但对于逻辑错误（如误删除、数据损坏、勒索病毒攻击），多副本机制无法提供保护。建议制定以下备份策略：定期将CPFS中的关键数据备份到OBS；使用华为云云备份服务（CBR）对文件系统进行定期快照；保留多个历史版本的备份，以便在数据损坏时能够回滚到任意时间点。

十一、典型应用场景实践

11.1 基因测序数据处理

基因测序是CPFS最典型的应用场景之一。一个完整的基因测序分析流程包括数据质控、序列比对、变异检测、注释等步骤，每个步骤都需要大量计算节点协同工作。CPFS为基因测序提供了高吞吐、高并发的共享存储。在华为云的基因测序最佳实践中，用户首先整理好需要上传的基因测序文件，然后登录SFS Turbo管理控制台创建文件系统，接着登录作为头节点和计算节点的云服务器挂载文件系统，通过头节点将测序文件上传到挂载的文件系统，最后计算节点直接从挂载的文件系统中读取测序文件进行计算。这种架构将全基因组测序时间从传统方案的数天缩短至数小时。

11.2 AI大模型训练

AI大模型训练对存储系统的要求极为苛刻。训练数据集通常达到PB级别，包含数百万甚至数千万个小文件（如图片、文本片段）。CPFS的百万级IOPS能力使其能够高效处理海量小文件的随机读取。在AI训练场景中，CPFS通常作为共享存储层，所有训练节点（GPU服务器）同时挂载同一个CPFS文件系统，实现训练数据的统一管理和高效分发。CPFS的高吞吐能力确保GPU资源不会因数据加载而空闲。

11.3 工业仿真与渲染

在工业设计CAE/CAD和图片渲染场景中，CPFS同样发挥着关键作用。这些场景的共同特点是：计算任务涉及大量小文件的频繁读写；计算节点之间需要紧密通信；对存储带宽和延迟有极高要求。CPFS的分布式并行架构正好满足了这些需求。某视频渲染公司切换至华为云CPFS后，渲染效率提升了3倍。

十二、总结与展望

华为云CPFS作为面向高性能计算场景的并行文件存储服务，通过分布式并行架构、元数据与数据分离、条带化存储等核心技术，为用户提供了TB/s级别带宽、百万级IOPS和毫秒级延迟的卓越性能。从集群搭建的角度来看，CPFS的部署流程清晰可控：完成VPC网络规划、创建SFS Turbo文件系统、在各计算节点上通过NFS协议挂载、根据业务负载进行性能调优。在运维层面，通过云监控服务建立完善的监控告警体系，结合生命周期管理实现冷热数据自动分层，利用包年包月和资源包降低长期成本，可以构建一套生产级的高性能计算存储集群。

随着AI大模型、自动驾驶、药物研发等领域的快速发展，高性能计算存储的需求将持续增长。CPFS作为华为云在HPC存储领域的重要产品，其性能和功能也在不断演进。未来，CPFS有望在RDMA网络支持、智能缓存、与AI框架的深度集成等方面进一步突破，为高性能计算用户提供更加强大的存储基础设施。

高频问答

问1：CPFS和SFS Turbo是什么关系？
CPFS（并行文件系统）是华为云基于OBS对象存储打造的高性能并行文件存储服务，而SFS Turbo（高性能弹性文件服务）是华为云提供的高性能共享文件存储服务。在实际使用中，用户通过SFS Turbo控制台创建和管理CPFS文件系统。CPFS可以理解为SFS Turbo产品线中面向极致并行计算场景的高端规格。

问2：CPFS支持哪些操作系统？
CPFS通过NFS协议进行挂载访问，因此支持所有主流Linux发行版，包括CentOS 7.x系列、Ubuntu、Debian、EulerOS等。同时也支持Windows Server系统（通过SMB协议）。在HPC场景中，推荐使用Linux系统以获得最佳性能和兼容性。

问3：CPFS的存储容量可以动态扩展吗？
可以。CPFS支持在线扩容，扩容过程中业务不中断。所有数据以条带化方式存储，扩容后系统自动实现负载平衡，新加入的存储节点立即参与数据分布。扩容操作可以在SFS Turbo控制台中完成，通常只需几分钟即可生效。

问4：如何降低CPFS的长期使用成本？
降低CPFS成本可以从多个维度入手：选择包年包月计费模式而非按量付费；购买存储资源包抵扣容量费用；实施冷热数据分层，将不常访问的数据通过生命周期规则自动迁移到OBS；根据实际性能需求选择合适规格，避免过度配置；确保计算节点与文件系统在同一区域内网访问，避免外网流量费用。

问5：CPFS的监控告警如何配置？
在华为云云监控服务CES中为CPFS文件系统创建告警规则。进入CES控制台，选择"告警 > 告警规则"，单击"创建告警规则"。选择目标CPFS文件系统作为监控对象，设置告警条件（如容量使用率超过80%），配置告警通知方式（邮件、短信、HTTP回调等）。建议至少配置容量使用率、IOPS、吞吐量三个维度的告警。

问6：CPFS支持跨地域访问吗？
CPFS建议在同一区域（Region）内访问以获得最佳性能。跨区域访问会产生较高的网络延迟和额外的外网流量费用，不推荐在生产环境中使用。如果确实需要跨区域访问数据，建议通过OBS作为数据中转层，或使用华为云的数据复制服务在不同区域的CPFS实例之间进行数据同步。