Sink 常用选项

Sink 连接器常用参数

关于 Sink 写入模式、自动生成 SQL、schema_save_mode、data_save_mode、custom_sql、 enable_upsert 的选择，请先阅读 Sink 写入模式与 Save Mode。

警告

旧的配置名称 source_table_name 已经过时，请尽快迁移到新名称 plugin_input。

名称	类型	是否需要	默认值
plugin_input	list	否	-
metadata_datasource_id	string	否	-

metadata_datasource_id [string]

用于从元数据中心获取连接配置的数据源 ID。当指定此参数时，连接器将从外部元数据服务获取连接详细信息（如 URL、用户名、密码），而不是使用直接配置。详见 元数据 SPI。

plugin_input [list]

当不指定 plugin_input 时，当前插件处理配置文件中上一个插件输出的数据集 dataset。

当指定了 plugin_input 时，当前插件处理该参数对应的数据集。该值可以是单个上游数据集名称（字符串），也可以是名称数组；配置多个名称时，Zeta 引擎会将这些上游数据集合并后写入当前 sink。

Examples

source {
    FakeSource {
      parallelism = 2
      plugin_output = "fake"
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {
    Filter {
      plugin_input = "fake"
      fields = [name]
      plugin_output = "fake_name"
    }
    Filter {
      plugin_input = "fake"
      fields = [age]
      plugin_output = "fake_age"
    }
}

sink {
    Console {
      plugin_input = "fake_name"
    }
    Console {
      plugin_input = "fake_age"
    }
}

如果作业只有一个 source 和一个（或零个）transform 和一个 sink ，则不需要为连接器指定 plugin_input 和 plugin_output。 如果 source 、transform 和 sink 中任意运算符的数量大于 1，则必须为作业中的每个连接器指定 plugin_input 和 plugin_output