增量数据采集
增量导入在实际业务场景中,往往会选择当天的数据进行同步,通常需要编写 where 条件语句,请先确认表中描述增量字段为哪一个。
一、增量字段为时间戳
实现原理:直接对原表数据做过滤:对源表字段做 where 条件过滤。
格式示例:
该例子为按日期字段每次增量同步昨天的数据。
二、增量字段为自增 id
实现原理:使用 to_db 方法(虎符内置封装)。先拿到 to_db 内的 sql 到目标表查上次同步最大的 id,然后拼到源表的 where 条件里面实现增量同步。
格式示例:注:目标表数据量大慎用此方式,影响同步效率。

(该示例为源和目标数据类型都为 mysql,其他数据库类型以此类推)