近年来，黑产团伙的网络化运作严重破坏着网络生态和社会治安。为了防范黑产团伙攻击，某公司部署了网络日志记录系统，但日志系统中存在大量重复的日志，因此，目前需要开发一套日志筛选系统用于去除重复的日志记录。