【confilter方案】是词典级别全量同步还是词条级别增量同步？

[tigbox]

两种比较极端的情况：

1. 增量小，全量大（比如直播黑名单，一次增量就是1，但是历史上累计数量已经高达十万）
2. 增量大 （比如一次词典的导入，增量数据就高达十万）

• 按照词典级别进行同步，对于1的情况每次都会重复加载全量的数据， 而这确实是不必要的。
• 按照词条级别进行同步， 对于2的情况，一次传输大量的词条id，又比较难保持一致性。

[daleione]

其实只有一种场景：

1. 初始化会同步历史数据
2. 后续一般都是增量小的情况

---

考虑到实际场景，保证增量小的时候的一致性很重要， 所以词条级别同步很有必要。
大批量初始化的情况，可以在后端拆分成单个词条同步，目前数据量可预见只有几十万的规模，因为是前置初始化，对速度也没有很高的要求。