Sls
Sls source connector
支持的引擎
Spark
Flink
Seatunnel Zeta
主要特性
描述
从阿里云Sls日志服务中读取数据。
支持的数据源信息
为了使用Sls连接器，需要以下依赖关系。 它们可以通过install-plugin.sh或Maven中央存储库下载。
| 数据源 | 支持的版本 | Maven |
|---|---|---|
| Sls | Universal | Download |
Source Options
| Name | Type | Required | Default | Description |
|---|---|---|---|---|
| project | String | Yes | - | 阿里云 Sls 项目 |
| logstore | String | Yes | - | 阿里云 Sls 日志库 |
| endpoint | String | Yes | - | 阿里云访问服务点 |
| access_key_id | String | Yes | - | 阿里云访问用户ID |
| access_key_secret | String | Yes | - | 阿里云访问用户密码 |
| start_mode | StartMode[earliest],[group_cursor],[latest] | No | group_cursor | 消费者的初始消费模式 |
| consumer_group | String | No | SeaTunnel-Consumer-Group | Sls消费者组id，用于区分不同的消费者组 |
| auto_cursor_reset | CursorMode[begin],[end] | No | end | 当消费者组中没有记录读取游标时，初始化读取游标 |
| batch_size | Int | No | 1000 | 每次从SLS中读取的数据量 |
| partition-discovery.interval-millis | Long | No | -1 | 动态发现主题和分区的间隔 |
任务示例
简单示例
此示例读取sls的logstore1的数据并将其打印到客户端。如果您尚未安装和部署SeaTunnel，则需要按照安装SeaTunnel中的说明安装和部署SeaTunnel。然后按照[快速启动SeaTunnel引擎](../../Start-v2/locale/Quick-Start SeaTunnel Engine.md)中的说明运行此作业。
创建RAM用户及授权, 请确认RAM用户有足够的权限来读取及管理数据，参考：RAM自定义授权示例
# Defining the runtime environment
env {
parallelism = 2
job.mode = "STREAMING"
checkpoint.interval = 30000
}
source {
Sls {
endpoint = "cn-hangzhou-intranet.log.aliyuncs.com"
project = "project1"
logstore = "logstore1"
access_key_id = "xxxxxxxxxxxxxxxxxxxxxxxx"
access_key_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
schema = {
fields = {
id = "int"
name = "string"
description = "string"
weight = "string"
}
}
}
}
sink {
Console {
}
}