敏感词过滤系统设计：从被封到稳如狗的实战指南

大家好，今天跟大家聊一个看似简单，实则能让你吃尽苦头的系统——敏感词过滤系统。

为什么说它重要？你想想，现在哪个UGC平台（用户生成内容）敢没有敏感词过滤？轻则被警告整改，重则直接封号关站。我见过太多创业公司因为这个系统没做好，刚上线就被请去“喝茶”。

一、敏感词过滤的3大“生死劫”

先别急着写代码，咱们得先搞清楚这个系统的核心挑战。我见过太多团队一开始觉得“不就是匹配几个关键词吗”，最后被现实狠狠教育。

1. 性能要求：不能拖慢用户体验

用户发消息、评论，都是实时操作。如果敏感词过滤太慢，用户体验就完了。

之前遇到过一个团队，用简单的字符串匹配，结果在大流量下，接口响应时间从50ms飙升到500ms+，用户怨声载道。

2. 准确率要求：不能漏也不能错

漏过滤了敏感词，平台要担责任；把正常词误判成敏感词，用户体验也会很差。

这就像走钢丝——太紧会“误伤”，太松会“漏网”。

3. 扩展性要求：敏感词库需要不断更新

敏感词不是一成不变的，新的网络用语、新的敏感词每天都在出现。系统必须能方便地更新词库，而且不能停机。

二、敏感词过滤算法大比拼

设计敏感词过滤系统，选对算法是关键。给大家对比几种常用的算法：

1. 暴力匹配算法：最简单但最没用

最直接的方法就是用String.contains()方法逐个匹配敏感词。这种方法的优点是简单，缺点是性能极差。

假设你有1000个敏感词，每个词平均长度10个字符，那么匹配一条100字符的文本，最多需要1000*100=10万次比较。在高并发场景下，这完全不可行。

2. Trie树算法：工业级应用的基础

Trie树（字典树）是敏感词过滤的主流算法。它的核心思想是将所有敏感词构建成一棵树，然后用一次遍历就能完成匹配。

举个例子，假设我们有敏感词”赌博”、“赌场”、“毒品”，构建的Trie树结构如下：

根节点 -> 赌 -> 博根节点 -> 赌 -> 场根节点 -> 毒 -> 品

匹配时，只需要遍历一次文本，就能找出所有敏感词。这种方法的时间复杂度是O(n)，n是文本长度。

3. AC自动机：Trie树的“超级进化版”

AC自动机是在Trie树的基础上，增加了失败指针，可以在一次遍历中找出所有可能的匹配。

简单来说，当匹配失败时，不需要回溯，而是通过失败指针直接跳转到下一个可能的匹配位置。这对于有大量重叠前缀的敏感词库来说，性能提升非常明显。

4. 正则表达式：慎用！

有些团队图省事，用正则表达式来匹配敏感词。这种方法的优点是灵活，但性能是个大问题。

特别是当敏感词数量很多时，正则表达式会变得非常复杂，匹配效率急剧下降。我建议除非迫不得已，否则不要用正则表达式做敏感词过滤。

三、能抗住100万QPS的敏感词过滤系统架构

说了这么多算法，那到底怎么设计一个能抗住高并发的敏感词过滤系统？我结合自己参与过的社交平台架构改造案例，总结了这套方案。

1. 第一层：本地缓存，扛下90%的压力

敏感词库虽然可能很大，但热点词是有限的。我们可以：

把常用的敏感词缓存在本地内存中使用ConcurrentHashMap存储，保证线程安全设置LRU淘汰策略，定期更新

这样一来，90%的请求都能在本地内存中完成匹配，大大减轻了后续服务的压力。

2. 第二层：分布式缓存，应对冷词

对于本地缓存中没有的敏感词，我们需要查询分布式缓存：

使用Redis存储完整的敏感词库定期从数据库同步更新支持模糊查询和正则匹配

3. 第三层：异步更新，保证实时性

敏感词库需要不断更新，我们采用了异步更新的策略：

管理员在后台更新敏感词后，先写入数据库然后发送MQ消息，通知各个服务节点更新本地缓存最后更新Redis缓存

这样既能保证实时性，又不会影响系统的正常运行。

四、实战案例：某社交平台的敏感词过滤系统改造

光说理论不够，给大家讲个真实案例。我之前参与的某社交平台，敏感词过滤系统从日活100万到1000万的演进过程。

1. 初始阶段：简单字符串匹配

一开始用户量小，直接用String.contains()方法逐个匹配敏感词。代码大概长这样：


public boolean containsSensitiveWord(String text) {
    for (String word : sensitiveWordList) {
        if (text.contains(word)) {
            return true;
        }
    }
    return false;
}

日活100万时还能勉强支撑，但到了300万，系统直接扛不住了，接口响应时间从50ms升到了500ms+。

2. 优化阶段：引入Trie树算法

我们紧急引入了Trie树算法，重构了敏感词过滤系统。重构后的代码核心逻辑如下：


// 构建Trie树
private void buildTrieTree(List<String> sensitiveWords) {
    root = new TrieNode();
    for (String word : sensitiveWords) {
        TrieNode node = root;
        for (char c : word.toCharArray()) {
            if (!node.children.containsKey(c)) {
                node.children.put(c, new TrieNode());
            }
            node = node.children.get(c);
        }
        node.isEnd = true;
    }
}

// 匹配敏感词
public boolean containsSensitiveWord(String text) {
    for (int i = 0; i < text.length(); i++) {
        TrieNode node = root;
        int j = i;
        while (j < text.length() && node.children.containsKey(text.charAt(j))) {
            node = node.children.get(text.charAt(j));
            j++;
            if (node.isEnd) {
                return true;
            }
        }
    }
    return false;
}

改造后，系统性能提升了10倍以上，接口响应时间稳定在50ms左右。