🗃️ 通用参数
1 个项目
📄️ 复制
复制转换插件
📄️ 数据验证
DataValidator:按规则校验字段值,并处理不符合要求的数据
📄️ 定义写入字段类型
DefineSinkType:为 sink 建表或写入阶段显式指定字段类型
📄️ 动态编译转换
DynamicCompile:在运行时编译并执行自定义代码,完成灵活的数据处理
📄️ 向量化嵌入
Embedding:将文本、图片或视频等内容转换为向量表示
📄️ 字段映射
字段映射转换插件
📄️ 字段重命名
FieldRename:批量重命名字段名,统一输出字段命名
📄️ 过滤器
过滤器转换插件
📄️ 行类型过滤
FilterRowKind:按插入、更新、删除等行类型筛选数据
📄️ JSON 路径提取
JsonPath:使用 JSONPath 从 JSON 数据中提取字段
📄️ 大语言模型处理
LLM:调用大语言模型完成清洗、标注、推理或数据丰富
📄️ 元数据提取
Metadata:把库名、表名、RowKind 等元数据提取为普通字段
📄️ 正则提取
正则提取转换插件
📄️ 替换
替换转换插件
📄️ 行变更类型提取
RowKindExtractor:将 CDC 的 RowKind 提取为字段,并转换为 Append-Only 输出
📄️ 拆分
拆分转换插件
📄️ SQL
SQL 转换插件
📄️ SQL函数
SQL函数转换插件功能
📄️ SQL用户定义函数
SQL 转换插件的用户定义函数 (UDF)
📄️ 表过滤
TableFilter:按库名、schema 或表名规则筛选需要处理的表
📄️ 多表合并
TableMerge:将分库分表或多张来源表合并为统一输出表
📄️ 表重命名
TableRename:按规则重命名输出表名
📄️ 多表转换
多表转换(Multi-Table Transform)允许你在一个 transform 中为多张来源表分别定义处理规则,适合上游一次输出多表的场景。