阿里云日志服务SLS全流程对接与深度使用指南

一、SLS核心概念与架构解析

阿里云日志服务SLS是云原生的一站式可观测数据平台，为日志、指标、追踪数据提供大规模、低成本、实时的采集、存储、分析与可视化能力。在正式开始对接之前，理解SLS的核心数据模型至关重要。

1.1 核心概念定义

SLS的核心数据模型包含以下关键概念：

• Project（项目）：SLS的最高层级资源，相当于数据库中的Database，用于隔离不同业务或环境的数据。每个Project对应一个地域，创建后不可修改地域。
• Logstore（日志库）：Project下的核心数据容器，相当于数据库中的Table，用于存储同一类型的日志数据，如Nginx访问日志、应用错误日志等，支持自定义字段与索引。
• Logtail（采集器）：SLS自研的轻量级采集代理，部署在服务器、容器等节点上，负责采集本地日志文件、系统日志等数据，具备断点续传、自动发现新文件等能力。
• Shard（分片）：Logstore的数据存储单元，每个Shard是一个读写分离的分区。数据写入时按Shard分散存储，查询时并行处理，提升吞吐与性能，Shard数量可动态调整。
• 索引（Index）：SLS为日志数据建立的查询索引，支持全文索引与字段索引，可按字段类型（text、long、double、bool）配置，实现秒级检索海量数据。

1.2 整体架构与核心优势

SLS采用云原生分布式架构，底层基于阿里云飞天盘古分布式文件系统，实现数据的高可靠、高可用存储。整体架构分为采集层、存储层、计算层、应用层四层。

• 采集层：支持多样化采集方式，包括Logtail代理采集、SDK/API采集、云产品原生集成（ECS、RDS、SLB等）、WebTracking前端采集、Syslog/Kafka标准协议接入等，覆盖主机、容器、应用、移动端等全场景数据源。
• 存储层：采用多副本机制（默认三副本）保障数据可靠性，支持热存储、冷存储、归档存储三种类型。
• 计算层：内置高性能查询分析引擎，支持SLS DSL、标准SQL92、SPL（数据加工专用语言），提供文本处理、JSON解析、正则提取、字段映射等丰富函数，支持千亿级数据秒级查询分析。
• 应用层：提供可视化报表、告警管理、数据投递（到OSS、MaxCompute等）、AIOps智能分析等功能。

SLS的核心优势可总结为：全托管免运维，无需自建ELK集群；极致性能，近实时写入、秒级查询千亿数据；高性价比，按量计费无资源闲置成本；安全可靠，HTTPS加密传输、多副本存储、细粒度权限控制。

二、SLS服务开通与基础资源创建

需要先登录阿里云控制台，点击：阿里云控制台，在顶部搜索框输入“日志服务SLS”，进入SLS产品控制台，点击“开通服务”，按提示完成开通即可。阿里云日志服务SLS为新用户提供免费额度，可直接开通使用。

2.1 创建Project

创建步骤：在SLS控制台左侧导航栏点击“项目管理”，进入项目列表页面；点击右上角“创建项目”，填写项目名称（仅支持小写字母、数字、连字符、下划线，开头结尾为字母或数字）、选择地域、填写描述信息；点击“确定”完成创建。地域建议选择与业务资源（如ECS、RDS）同地域，以降低网络延迟与成本。

2.2 创建Logstore

进入已创建的Project详情页，点击左侧“日志库”，点击“创建日志库”；填写日志库名称、选择存储类型（热存储/冷存储）、设置数据保留时间（1-3650天）、填写描述。配置Shard数量：默认1个，可根据日志写入量调整，写入量越大Shard数量越多，后续可动态扩容。索引配置：默认开启全文索引，可按需开启字段索引，选择字段类型（text/long/double/bool），配置分词符。

2.3 获取访问密钥

无论是控制台操作、SDK开发还是Logtail配置，都需要使用AccessKey进行身份认证。获取步骤：登录阿里云控制台，点击右上角头像选择“访问控制RAM”；在左侧导航栏点击“用户管理”，创建RAM用户（建议不使用主账号AccessKey）；为RAM用户授权SLS相关权限（如AliyunSLSFullAccess、AliyunSLSWriteOnlyAccess等）；点击RAM用户详情页的“创建AccessKey”，获取AccessKey ID和AccessKey Secret并保存备用。

三、Logtail采集：主机与容器日志接入

Logtail是SLS推荐的采集方式，适用于服务器、容器等节点的本地日志文件采集，支持Linux、Windows、macOS系统，具备轻量、高效、稳定的特点。

3.1 阿里云ECS服务器采集

阿里云ECS服务器默认预装Logtail，可直接通过控制台配置采集规则。配置步骤：进入SLS控制台选择目标Project，点击“Logtail配置”再点击“创建配置”；配置名称自定义；输入配置类型选择“文本日志”，日志路径填写ECS上的日志文件路径（如/data/nginx/logs/*.log），支持通配符**匹配多级目录；日志处理配置中添加日志样例，配置解析规则（如正则解析、JSON解析、分隔符解析）；应用机器组选择ECS所在的机器组，点击确定完成配置。配置生效后，Logtail自动采集指定路径的日志，可在Logstore中查询到数据。

3.2 非阿里云主机采集

对于非阿里云主机，需手动安装Logtail并配置AccessKey。Linux主机安装步骤：登录Linux主机执行以下命令下载安装Logtail：

wget https://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh
chmod +x logtail.sh
./logtail.sh install

配置AccessKey与Endpoint：编辑/etc/ilogtail/conf.json文件，填写AccessKey ID、AccessKey Secret、Endpoint（如cn-hangzhou.log.aliyuncs.com）、Project名称。重启Logtail服务：systemctl restart ilogtail。Windows主机安装步骤类似，下载对应Windows版本的Logtail安装包，安装后配置conf.json文件并启动服务即可。

3.3 容器日志采集

对于K8s集群（阿里云ACK、自建K8s），SLS提供专用的Logtail采集插件，支持容器标准输出、容器内日志文件采集。阿里云ACK集群配置步骤：进入ACK集群控制台，选择目标集群，点击“应用”->“Helm”，点击“应用目录”；搜索“ack-sls-logtail”，点击安装，配置SLS的AccessKey、Endpoint、Project名称；安装完成后Logtail自动部署到集群所有节点采集容器日志。

四、SDK集成：应用程序日志直接写入SLS

SLS提供Java、Python、Go、PHP、Node.js等多语言SDK，支持应用程序直接将日志数据写入SLS，无需中间文件，适用于微服务、后端应用等场景。

4.1 Python SDK使用示例

Python SDK简洁易用，适合快速开发集成。

步骤1：安装Python SDK

pip install aliyun-log-python-sdk

步骤2：日志写入代码示例

from aliyun.log import LogClient, LogItem, PutLogsRequest
import os
import time

endpoint = "cn-hangzhou.log.aliyuncs.com"
access_key_id = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_ID")
access_key_secret = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
project_name = "your-project"
logstore_name = "your-logstore"

client = LogClient(endpoint, access_key_id, access_key_secret)

log_group = []
for i in range(10):
    log_item = LogItem()
    log_item.set_time(int(time.time()))
    contents = [
        ("service_name", "user-service"),
        ("level", "INFO" if i % 2 == 0 else "ERROR"),
        ("message", f"User {i} login successfully"),
        ("ip", f"192.168.1.{i}")
    ]
    log_item.set_contents(contents)
    log_group.append(log_item)

request = PutLogsRequest(project_name, logstore_name, log_group=log_group, compress=False)
try:
    response = client.put_logs(request)
    print("日志写入成功，RequestId:", response.request_id)
except Exception as e:
    print("日志写入失败:", str(e))

步骤3：日志查询代码示例

from aliyun.log import LogClient
import os

endpoint = "cn-hangzhou.log.aliyuncs.com"
access_key_id = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_ID")
access_key_secret = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
project_name = "your-project"
logstore_name = "your-logstore"

client = LogClient(endpoint, access_key_id, access_key_secret)
query = "* | where level='ERROR' | limit 10"

try:
    response = client.get_logs(project_name, logstore_name, query=query)
    print("查询结果:")
    for log in response.logs:
        print(log)
except Exception as e:
    print("查询失败:", str(e))

4.2 Java SDK使用示例

Java SDK适用于Java后端应用。

步骤1：Maven依赖配置

<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>aliyun-log-java-sdk</artifactId>
    <version>0.6.85</version>
</dependency>

步骤2：日志写入代码示例

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.common.LogItem;
import com.aliyun.openservices.log.request.PutLogsRequest;
import com.aliyun.openservices.log.response.PutLogsResponse;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class SlsLogWriter {
    public static void main(String[] args) {
        String endpoint = "cn-hangzhou.log.aliyuncs.com";
        String accessKeyId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKeySecret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        String projectName = "your-project";
        String logstoreName = "your-logstore";

        Client client = new Client(endpoint, accessKeyId, accessKeySecret);

        List<LogItem> logGroup = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            LogItem logItem = new LogItem();
            logItem.SetTime((int) (System.currentTimeMillis() / 1000));
            Map<String, String> contents = new HashMap<>();
            contents.put("service_name", "order-service");
            contents.put("level", "INFO");
            contents.put("message", "Order " + i + " created");
            logItem.SetContents(contents);
            logGroup.add(logItem);
        }

        PutLogsRequest request = new PutLogsRequest(projectName, logstoreName, logGroup);
        try {
            PutLogsResponse response = client.PutLogs(request);
            System.out.println("日志写入成功，RequestId:" + response.GetRequestId());
        } catch (Exception e) {
            System.out.println("日志写入失败:" + e.getMessage());
        }
    }
}

五、日志查询与分析：SPL与SQL实战

SLS支持两种查询分析方式：SPL和标准SQL。SPL语法简洁灵活，适合实时查询；SQL兼容性强，适合复杂分析与报表。

5.1 SPL查询基础语法

SPL采用“查询语句 | 管道命令”的格式，支持过滤、字段提取、聚合、排序、分页等操作。常用命令包括：*（查询所有日志）、where（按条件过滤）、fields（指定返回字段）、stats（聚合统计）、sort（排序）、limit（分页）。

常用SPL查询示例：

# 查询最近1小时ERROR级别的日志，返回前10条
* | where level='ERROR' | sort by time desc | limit 10

# 统计各日志级别的数量
* | stats count(*) as cnt by level

# 统计每个IP的访问次数，按次数降序排列
* | stats count(*) as visit_cnt by ip | sort by visit_cnt desc

# 模糊查询包含"login"的日志
* | where message like '%login%'

5.2 SQL查询基础语法

SLS支持标准SQL92语法，可直接使用SELECT、FROM、WHERE、GROUP BY、ORDER BY等关键字，Logstore对应SQL中的表名。

常用SQL查询示例：

# 查询最近1小时ERROR级别的日志
SELECT * FROM `your-logstore` WHERE level = 'ERROR' LIMIT 10

# 统计各日志级别的数量
SELECT level, COUNT(*) AS cnt FROM `your-logstore` GROUP BY level

# 统计每个IP的访问次数
SELECT ip, COUNT(*) AS visit_cnt FROM `your-logstore` GROUP BY ip ORDER BY visit_cnt DESC

# 模糊查询包含"login"的日志
SELECT * FROM `your-logstore` WHERE message LIKE '%login%'

5.3 日志数据加工与结构化

原始日志多为非结构化文本，SLS支持在采集时、写入时、写入后进行数据加工，将非结构化日志转为结构化数据。常用加工方式包括：正则解析（通过正则表达式提取关键字段）、JSON解析（直接解析JSON格式日志自动提取字段）、字段映射（将原始字段映射为标准字段）、数据脱敏（对敏感数据进行脱敏处理）。

六、可视化与告警：日志价值落地

日志的核心价值在于通过分析发现问题、定位故障、优化业务。

6.1 可视化报表创建

SLS支持多种可视化图表，包括折线图、柱状图、饼图、表格、地图等。创建步骤：进入Logstore详情页，点击“可视化”，点击“创建仪表盘”；填写仪表盘名称，选择图表类型，配置查询语句（SPL/SQL）；设置图表样式，点击确定完成图表创建。

6.2 告警规则配置

告警功能可实时监控日志数据，当满足预设条件时，通过短信、邮件、钉钉、企业微信等方式通知用户。配置步骤：进入Logstore详情页，点击“告警”，点击“创建告警规则”；填写告警名称，配置查询语句（如查询ERROR日志数量大于10）；设置告警条件（如连续3分钟满足条件）、告警级别（紧急/重要/一般）；配置通知方式，填写接收人信息。钉钉告警配置时需将行动策略中的请求地址修改为钉钉群机器人的Webhook地址。

七、安全与权限管理

日志数据常包含敏感信息，SLS提供完善的安全与权限管理机制。

7.1 RAM权限精细化管理

通过阿里云RAM服务，可创建不同权限的子账号，实现最小权限授权。常用权限策略：只读权限（仅允许查询日志）、读写权限（允许写入和查询）、管理员权限（拥有SLS所有操作权限）。建议遵循最小化原则，仅授予必要的权限。

7.2 数据加密与访问控制

SLS支持传输加密（HTTPS）与存储加密（AES-256），保障数据传输与存储安全；支持IP白名单、VPC访问控制，限制访问来源，防止非法访问。

八、成本优化

SLS采用按量计费模式，主要费用包括存储费用、写入流量费用、查询流量费用、外网流量费用。

成本优化技巧：

• 选择合适的存储类型：热存储用于实时日志，冷存储用于低频访问日志，归档存储用于长期归档。
• 合理设置数据保留时间：根据业务需求设置保留时间（1-3650天），避免不必要的存储。
• 内网访问免流量：阿里云ECS、RDS等资源同地域内网访问SLS，免外网流量费用。
• 优化查询语句：避免全表扫描，使用索引字段过滤，减少查询流量。
• 关闭不必要的索引：仅对常用查询字段开启索引，减少索引存储开销。

九、常见问题与解答

Q1：SLS与自建ELK相比有哪些优势？

A1：SLS是全托管服务，无需部署和运维ELK集群，自动扩容；性能更强，支持千亿级数据秒级查询；成本更低，按量计费无闲置资源成本；集成阿里云生态，可无缝对接ECS、RDS、OSS等产品。

Q2：Logtail采集不到日志怎么办？

A2：首先检查Logtail是否正常运行（systemctl status ilogtail）；其次检查日志路径是否正确、文件是否存在；然后检查AccessKey配置是否正确、权限是否足够；最后检查网络是否连通，防火墙是否拦截端口。

Q3：SLS日志可以导出到其他存储吗？

A3：可以。SLS支持数据投递功能，可将日志数据定时导出到阿里云OSS、MaxCompute、DataHub等存储或计算服务，实现数据的长期归档与离线分析。

Q4：SLS支持多语言日志吗？

A4：支持。SLS采用UTF-8编码，支持中文、英文、日文等全球主流语言，可正常解析与检索多语言日志数据。

Q5：SLS的日志数据可以保存多久？

A5：SLS支持自定义数据保留时间，范围1-3650天，同时支持归档存储，可长期保存日志数据，满足合规要求。

Q6：如何避免SLS日志数据泄露？

A6：通过RAM精细化权限管理限制访问权限；开启数据加密（传输加密、存储加密）；配置IP白名单与VPC访问控制；对敏感数据进行脱敏处理，多重保障数据安全。