跳转到内容


数据集与写入规则

配方决定读取什么;写入规则决定放到哪个数据集、哪几列,以及更新哪一条记录。 数据集是一张持续积累结果的表,每行是一条记录,每列是一个字段。

配置第一条写入规则

  1. 先采集一个页面。 在插件中运行适用的 Extract 配方,核对提取结果,再选择已有数据集或新建数据集。

  2. 检查字段映射。 创建写入规则,将配方字段对应到数据集的已有列或新增列。核对字段含义与类型,例如把“粉丝数”写入数字列。

  3. 选择匹配字段。 需要持续更新同一对象时,优先使用稳定的达人 ID、商品 ID 等标识,不要依赖可能重名或变化的昵称。

  4. 保存并确认写入结果。 保存规则与写入数据是两个动作。按页面提示返回原页面并“按规则写入”,或使用“保存并写入”;看到写入结果后,再到数据集检查记录。

选择新增还是更新

写入方式再次采集时的结果
仅新增每次主动执行新增记录,适合保留多次采集结果。同一次提交的重试不会重复新增。
匹配后更新,否则新增没有匹配记录时新增;匹配一条时更新;匹配多条时停止写入,需先处理冲突。

例如用达人 ID 匹配:第一次采到 creator-01 的粉丝数为 10,000,第二次为 10,500。选择匹配更新后,同一行变为 10,500;选择仅新增则保留两行。

复用与补充数据

保存的规则可以用于单页采集、批量添加和 API 提交。不同来源配方需要各自的写入规则,也可以写入同一数据集。

用另一来源补充同一条记录时,两条规则必须映射到含义一致的稳定标识;不同网站的 ID 不能直接视为同一个 ID。规则或配方版本改变后,重新核对映射,API 配置也应重新导出。

字段为空时,先检查来源是否提供该字段及本次采集状态。部分字段成功不代表整行都已刷新,记录的采集时间也不代表每一列同时更新。