基于敏感詞的風控策略是產品風控體系中最基礎的設計內容，內容簡單但很瑣碎，系統涉及從用戶發布到用戶舉報、命中策略到審核處理、用戶畫像到AI識別等方方面面。
敏感詞系統在產品中，尤其在內容類產品中，是搜索、內容生產等業務模塊的基礎風控設計，包括敏感詞添加、命中方式、影響業務和影響用戶等多個設計維度。在敏感詞防控系統中，敏感詞大致分為以下幾類：
l政治相關和人名
l迷信邪教
l黃賭毒
l槍支彈藥類
l罵人諷刺類
l時事類
l廣告和非法信息
l其他類。
網上有很多敏感詞庫，這里為大家附上兩個在線敏感詞審核工具：
1.敏感詞甄別系統-網易易盾：
dun.163/trial/text
2.文本審核審核系統-百度Ai開放平臺：
ai.baidu/tech/textcensoring?track=cp:ainsem|pf:pc|pp:chanpin-neirongshenhe|pu:neirongshenhe-minganciguolv|ci:|kw:10001876
產品中只要存在數據信息就需要預訪敏感詞的出現，對于有目的性發布涉及敏感詞信息的人或團隊常被稱為“垃圾蟲”。
敏感詞存在的地方十分廣泛：社區、論壇、聊天記錄、評論、上傳信息，甚至用戶頭像、昵稱、簽名這樣的地方，都有可能被灌入敏感詞。
因此，產品開發上線后，通常都會設置敏感詞過濾，這幾乎已經成了一個產品的標配。做為產品經理，最好查看一下所負責產品有沒有做好相應的處理，尤其是做資訊的產品，否則當心相關部門的約談了~
今日頭條整改：下架萬條問題視頻 審核庫增1700條敏感詞
4月6日，今日頭條方面發布通報稱，旗下火山小視頻、西瓜視頻等短視頻平臺共計下架問題視頻10318條，重置封禁問題賬戶4864個，增加視頻審核相關詞庫敏感詞1700余條，目前已經落實多項整改舉措，并在視頻社區大力推薦社會正能量內容。
此前的4月1日，央視曝光火山小視頻、快手等存在未成年孕婦、未成年媽媽和未成年二胎媽媽主播。4月4日，國家廣播電視總局約談了這些短視頻平臺負責人，要求依據《互聯網視聽節目服務管理規定》整改，并要求停止新增視聽節目上傳賬戶，網站節目的上傳總量和上線播出總量應立即調減至與網站審核管理力量相匹配的規模，確保未經審核的節目不得播出。
產品關鍵詞系統中，主要的屏蔽內容包括“廣告過濾、黃賭毒、暴力恐怖、謠言排查”等幾種。對于不同的產品場景，敏感詞屏蔽級別不同。
例如：
微博屏蔽需要基礎、全面，一些時事熱點也要納入屏蔽范圍。
B站為保證彈幕質量，屏蔽了刷屏、內容尷尬的彈幕。彈幕內容并不敏感，只是讓人不喜歡。
B站在彈幕內容的控制設計十分注重用戶體驗：
1.用戶可根據顏色、字體大小、展示方式甚至自定義文本進行彈幕屏蔽
2.視頻界面右邊設計了彈幕窗口，用戶可以在彈幕窗口查看每條彈幕內容。
如圖所示：
敏感詞系統設計
敏感詞系統可以過濾基礎的文本敏感內容；可以結合業務線靈活掌握敏感詞過濾方式，以及觸及敏感詞的用戶。
1.系統涉及概念介紹
詞庫：同一類別的敏感詞所組成的一個大類。本文中有四大詞庫（紅線詞庫、敏感詞庫、危險詞庫），每一個詞庫中有三級分類。
詞過濾：針對搜索業務，對搜索詞直接過濾。
結果過濾：針對命中敏感詞的結果直接過濾。
2.業務分析
原則上來說，敏感詞系統具備匹配詞庫就足夠了，但這種單一敏感詞系統使用在用戶業務場景中常遇到以下問題：
場景一：A產品要小規模內測上線，產品中的評論功能需要接入最基本的敏感詞控制風險，但是面對運營的詞庫找不到哪些屬于“基本”敏感詞；
場景二：B產品被用戶反饋有低俗色情內容，但敏感詞明明已經添加過了，經檢查發現該敏感詞只管控了甲業務，新上的乙業務沒有添加管控而被用戶投訴；
場景三：C產品被老大反饋自己發表的評論消失了，開發查到是命中了敏感詞導致找到了運營，但運營認為這個詞字面上看確實有問題，可說不出添加依據；
場景四：及時手握大量敏感詞，但依舊依靠人工排查來擴充詞庫，費時費力；
因此，無論是用戶還是運營角度，都形成了敏感詞系統的基本需求：
用戶：輸入/發布–>敏感詞檢測–>過濾–>結果展示；
運營：發現敏感詞–>評估–>添加–>處理被過濾內容。
3.敏感詞系統架構
系統設計基礎為詞庫，把敏感詞按重要程度劃分類別，如“紅線類別，敏感類別，危險類別”，不同類別結合用戶維度、地域維度進行匹配，作用在不同業務。
系統界面架構：
4.原型界面
l策略配置
功能說明：詞庫與業務的結合設計。通過配置控制敏感詞過濾功能對業務的影響方式（詞過濾或結果過濾），持續時間，狀態（生效或者是下線），掌握策略召回的數量，并對策略召回的內容進行處理。
設計頁面：策略管理頁
頁面目標：配置管控策略。
操作說明：配置指定業務應適用的防控敏感詞類型，操作如下：
1.配置敏感詞：紅線詞庫中，添加二級類別“低俗色情”，選擇該類別下所有的三級類別；
2.關聯需管控的業務：選擇一級業務“搜索”下所有二級業務，
3.配置影響效果：選擇影響方式和持續時間
效果說明：在搜索下的所有業務被“紅線詞庫-低俗色情“類敏感詞影響，影響方式為用戶搜索該類敏感詞時將被影響，且為永久影響狀態”。
l詞庫管理
功能說明：添加敏感詞，控制該詞所屬詞庫。在添加時可看到召回量，抽樣評估后得到攔截準確率。
設計頁面：詞庫管理頁
頁面目標：新增敏感詞。
包含功能：
1.可批量添加多個敏感詞
2.系統可初步按照字面意義判斷所屬詞庫
3.系統可評估敏感詞召回量及隨機樣本，判斷是否生效敏感詞及所屬詞庫。
l用戶配置
功能說明：關聯用戶與敏感詞、業務、地域三個維度。
設計頁面：用戶管理頁
頁面目標：用戶與敏感詞、業務、地域的關聯配置
包含功能：
1.讀取“策略配置”頁中配置好的所有策略到“用戶管理“模塊，即：命中策略字段。
2.系統統計命中策略中被該策略召回的用戶數。
3.允許用戶跳轉至 “內容處理”頁面對召回案例進行處理
l內容處理
功能說明：對命中策略的業務或用戶做處理。
設計頁面：內容處理頁
頁面目標：用戶與敏感詞、業務、地域的關聯配置
包含功能：
1.可按用戶、內容兩個維度查看每條被命中策略被召回案例
2.系統記錄該策略生效時間
3.用戶可在頁面完成最新、歷史召回案例的處理
5.數據統計
功能說明：從策略維度、詞庫維度、用戶維度、處理維度做出數據統計。
設計頁面：數據統計頁
頁面目標：報表形式統計策略、詞庫、用戶和處理情況的執行情況
