PUFFER：面向持续演化语料的增量模糊去重

Zyphra Research 提出 PUFFER（Provenance-aware Updatable Fuzzy Filtering for Evolving Repositories），一种面向持续演化语料的增量模糊去重系统。它基于 MinHash-LSH 规则，将去重状态持久化在磁盘而非内存表中，增量加入新数据集的结果与全量重跑一致，并在索引中嵌入数据集来源信息以支持定向撤回。