作者 | 石燦
編輯 | Tim
出品 | 刺猬公社
2020年3月，抖音安全中心在后臺審核內容時發現一條可疑的視訊，視訊涉及兒童，多次被攔截，一直沒有被審核通過，
正常情況下，涉及兒童的一條正常視訊不會被攔截，如果內容足夠好，還會被機制推薦，獲得更多流量曝光，
抖音安全團隊經過分析，認定該條視訊有猥褻兒童的嫌疑，經過溯源調查，上傳該視訊的賬號來自四川遂寧，抖音平臺隨即向當地公安機關報案，告知他們知曉的相關資訊，
遂寧市公安局高度重視這一報案線索，立即抽調精干警力組成專案組開展案件偵辦工作。經過一番精密偵查，嫌疑人被鎖定在遂寧市蓬溪縣。3月29日，蓬溪縣公安局網安大隊將嫌疑人抓捕歸案。
據嫌疑人交代，嫌疑人多次以“提供WIFI”等方式，誘惑同村男童到嫌疑人的住所進行猥褻，并拍攝淫穢視訊，同步發送到多個視訊社交平臺。這次，嫌疑人馬失前蹄，被抖音安全團隊和當地公安部門聯合懲治，
抖音安全中心背后是一套隱秘而強大的安全防御系統，時刻都在與抖音平臺上的黑灰產業、色情惡勢力做斗爭，抖音安全中心負責人帥帥介紹說，抖音很早便成立了安全中心團隊，設立產品、技術、運營、審核崗位，共計數千人與公司其他安全團隊一同維系抖音的平臺安全。
類似于假明星、兒童色情等內容均屬違規，一旦觸及安全防御系統的紅線，它便會啟動復雜且精密的預防懲戒機制，咬住獵物，攻防牽扯，甚至一擊致命。在四個月里，抖音安全團隊已經聯合公安機關打擊黑灰產團伙25個，刑事拘留87人，
黑產是整個行業和社會要面對的長久性難題，阿里巴巴、騰訊等超級平臺公司均設立專門的部門機構在做這項工作。這個部門與商業化部門不同，它們通常內部自用，不直接產生經濟效益；它們更像整個內容生態中的警衛員，起基礎保障和安防保衛作用，
抖音安全中心亦如此。在一系列攻防操作背后，它要每天為6億人兜底，抖音平臺的內容安全、用戶維護、商業保護和社會責任都聚焦在這套安全防御系統中，
抓住發布“看片加微，好看不貴”的人
一個抖音賬號不斷上傳一些帶有擦邊色情的小姐姐視訊到抖音內容審核系統，負責審核內容的同事發現這些視訊后會心一笑——這個賬號試圖利用擦邊色情視訊從抖音導流至線下，
“我們比較有經驗，很快把它們攔截，”帥帥說，對方上傳的視訊以女性內衣做背景，他們很快上線了內衣識別模型，審核并攔截該類型視訊。
這個黑產團隊知曉內容被攔截后，開始改變內容策略，背景改為一根黃瓜+兩根手指，食指上寫著微信號，中指寫上寫有文字：“看片加微，好看不貴”。
案件涉及到的圖片
抖音安全團隊馬上針對這種新的性暗示元素訓練識別模型，上線模型，打擊該類型內容。黑產團伙換方案，用“花瓜+手指”，團隊按圖索驥，調查發現了“茄子”等外觀類似的水果，主動上線香蕉類模型，
7月，抖音安全團隊對攔截的數據進行樣本分析，從評論、視訊、導流渠道去向等維度做資訊拆解，經過抽絲剝繭、尋蹤覓源后，他們發現了黑產團隊的一些違法違規線索，
抖音安全團隊聯合公安機關，鎖定了湖南長沙一個色情犯罪團伙的窩點位置。但還不能實施抓捕，需要更多證據，
經過一番討論，他們決定派人做實地勘察，尋找蛛絲馬跡。
一位抖音反黑人員配合公安機關，在窩點位置進行了連續三天的摸排，以多種方式進入公司。潛伏人員在現場發現，他們就是通過抖音發布“黃瓜+文字”誘導性視訊的團隊，正是抖音安全團隊要找的那個團隊，
在獲取他們違法違規的犯罪事實后，公安機關實施了抓捕，現場抓獲嫌疑人11名，行動電話設備2000多個。這些人都被認定為“幫助資訊網路犯罪活動罪”扣押，
抖音安全中心總監周冉說，通過公安機關對嫌疑人的審訊了解到，該團伙在營業期間，每天都通過接碼平臺注冊新的抖音帳號，但并不是每個帳號都能使用，大部分賬號都被抖音攔截封禁了，他們帳號使用率大概的為20%，也就是100個帳號能使用1~2個。這證明線上風控攔截已經發揮了很大的效力。
周冉還透露，根據犯罪嫌疑人交代，這只是他們這一個窩點，過去兩個月，他們被抖音封禁的帳號就高達5000多個，
這類黑產團隊通常配備先進的技術設備提升業務效率。
一個案例顯示，一個黑產團隊的人使用群控軟體發送導流資訊，效率是真人的100倍。如果該黑產團隊通過真人方式發送，不斷在視訊、社交媒體上發送垃圾評論進行導流，
一個人一天工作八小時，發送的垃圾評論大概一萬條，但是運用技術手段的黑產團隊通過群控軟體進行操作，可以控制上百臺乃至幾百臺設備發送垃圾評論，不用休息，24小時不停運行，這樣每天發送的垃圾資訊可以輕松突破百萬級。
“我個人看來，線下打擊是提高作惡成本的最優實踐，這些犯罪團伙有他們自己的溝通圈子，通過對這些作惡人的懲戒，我們可以對整個色情導流的黑灰產行業起到震懾作用。”周冉說，
自2020年1月份以來，抖音安全中心共封禁色情導流和色情招嫖帳號超過100萬，僅9月份期間就封禁305248個帳號，
據刺猬公社（ID：ciweigongshe）調查發現，這并非只是抖音才會遇到的問題，而是整個內容行業都時刻面對黑產產業鏈帶來的困擾。
大陸通信院發布的《移動數字金融與電子商務反欺詐白皮書》顯示，黑產從業人數超過500萬，每年涉及金額達到千億級別，數字金融和電子商務是欺詐行為高發“重災區”，是形形色色的黑產主要攻擊的對象，
平臺經濟是一種新型的復雜經濟現象。《互聯網平臺治理研究報告（2019年）》指出，特別是那些規模很“大”的超級大型平臺企業，甚至已經成為具備準公共產品屬性的基礎設施，
抖音本身是一個超級短視訊平臺，核心功能是匹配雙邊或多邊市場。正是其特殊的多邊或多邊市場結構，決定了平臺具備市場參與者和組織者的多重身份，扮演了資訊壁壘打破者與重構者的雙重角色，
上述報告稱，超大型平臺企業崛起已經在推動經濟社會的資源重組和權力重構，從治理的角度看，那些對市場“具化”程度越高、占據資訊優勢越多、公共產品屬性越強的平臺，應該受到更多的治理關注，并在平臺治理中發揮更加重要的作用。
“我們的安全風控能力目前已經接入了上百個業務線中，”抖音安全風控中心的專家張曦盛介紹說，利用風控模型、風控策略，在平臺上日均攔截違規行為超過10億次。
直播大火，盯住假明星做專項打擊
“假靳東”事件爆發之后，抖音一時間被推上風口浪尖，
帥帥介紹，實際上，抖音從4月份就已經開始針對仿冒名人做專項打擊了。不過那時候，抖音團隊看到的仿冒名人主要集中在熱點名人身上，比如韓紅、鐘南山等，此時主要的問題是犯明星名譽形象，為此，抖音研發、上線明星人臉識別模型。模型上線之后，回掃查殺的違規假冒賬號數量也比較少，最后封禁了不到800個賬號。
7月開始，抖音安全中心從后臺打擊模型的數據上發現，在經過前期的打擊之后，仿冒名人賬號的數據不降反增。他們分析發現，主要是因為明星直播熱潮的出現，以快速漲粉和直播帶貨變現為目的的電商黑產進來了，
這是黑產的一個特點，什么火黑產就跟什么，哪個平臺平臺流量大就盯上哪個平臺，像候鳥一個樣遷移。抖音安全團隊2019年打擊黑產時，他們主要做刷粉刷量，2020年已經盯上直播，
在明星人臉識別模型的基礎上，抖音安全中心又基于黑產的特征，搭建了專門的審核機制、標準和流程，研發、上線了新的風控策略模型進行打擊，效果很明顯，兩個月時間，封禁了超過34000個違規賬號，
這種對抗一直在持續，黑灰產不遺余力地對抖音平臺進行攻擊，
10月份，“假靳東事件”爆發，
針對靳東事件，抖音安全團隊制定應急方案，緊急上線用戶搜索提示，提醒用戶注意區分異常賬號，兩天時間對靳東相關賬號進行速清，清查5000多個疑似靳東仿冒賬號，截止10月底，完成下架話題143個，并處理了195萬個問題存量視訊。
在“假靳東”的背后，是黑灰產團隊不斷繞過平臺策略進行攻擊，也因此，當“靳東”、“王祖藍”這樣的昵稱被專項打擊行動攔截之后，開始出現“勒東”、“王阻藍”一類賬號。
9-10月，只是仿冒名人專項中，抖音封禁了超過56000個違規賬號。
抖音安全中心專門設立安全風險巡查團隊，對色情、低俗、虛假資訊、不良導向及其他違法違規內容以及有作弊、欺詐行為的用戶進行每日站內巡查和清理。
故事并沒有結束，仿冒名人專項打擊也沒有結束，因為迎來了雙十一購物節，在雙十一背景下，明星直播帶貨場次增多，黑產團伙也借此冒充明星客服，進行詐騙。
據抖音安全團隊介紹，黑灰產詐騙團伙作案的基本模式是，從上游購買抖音賬號，在明星直播帶貨的過程中，將賬號昵稱改為“XX客服”“XX助理”類似，然后在直播間內尋找受害者，私信溝通，引流到微信等第三方平臺實施退款類詐騙，
明星陳赫是抖音里知名的帶貨主播。一次，陳赫在直播間賣貨過程中，抖音安全團隊監測到有黑產團伙試圖冒充明星陳赫客服賬號在直播間進行詐騙，
此前，抖音安全團隊上線了多個針對仿冒明星客服的模型策略，對相關黑灰產賬號進行攔截、處理。黑產團伙發現這部分賬號無法使用后，開始注冊一些變種賬號，比如“XX銷后”等具有聯想空間的賬號昵稱，
發現這種情況后，抖音安全中心實時更新模型策略進行對抗，在平臺上與黑產團隊對抗跟線下常見的掃黃打黑形式不一樣，線下打擊行動側重“一次性打擊”，把人抓了就完了，即便下次再次進行打擊，黃賭毒、黑惡勢力的行為特點變化不會太多。
但平臺方與黑灰產團伙之間的對抗是長期持續的，黑產團隊在網路另一端，很難尋蹤蹤跡，安全團隊要實時制定攔截策略，甚至每時每刻都在研究對方下一步棋要怎么走，相互攻防，
這迫使安全團隊要實時在線對抗黑產。
由于是實時對抗，期間還出現一個小插曲，他們曾在一起專項行動中，將陳赫本人的賬號“誤殺”，導致陳赫抖音的資料被重置，當時陳赫正在直播賣貨，評論區有觀眾發言調侃：赫哥，你家賬號都沒了，你怎么還在這里直播？
正因為抖音安全團隊對仿冒明星客服類黑灰產賬號進行實時打擊，尤其是在知名明星直播的過程中，這才有了對明星陳赫賬號的誤傷，事后，抖音安全團隊對陳赫直播團隊做了解釋，也對系統做了優化，
安全團隊的功能和作用在用常規使用抖音時難以被察覺到，在涉及平臺的公序良俗、實時熱點、內容品質格調等方面，他們是前線最敏銳的部隊，也是最后一道防線，
1分鐘內給60個視訊點贊，正常人顯然做不到
一條視訊想要在抖音上展示出來，第一道關卡是機器審核系統，這里面有機器策略與模型，當視訊播放量超過一定閾值后，會進入新的審核環節，
首先是初審，主要判斷內容是否有違規風險，視訊再次進入機器審核，根據策略和模型判斷，進入人工初審環節，
對于超過一定播放量的內容會直接進入人工復審環節，帥帥透露，以此確保內容安全，不給用戶帶來負面影響。如果視訊播放量繼續增加，還有三審、四審環節，整個流程準確高效，
抖音平臺做內容審核時有一個特色機制叫“背對背審核”，面對同一個視訊，安全團隊會安排兩個審核員同時審查，如果結果一致，該視訊會正常出現在抖音平臺；如果不一樣，該視訊進入下一個環節，三、四個審核員同時進行再次審查、判斷，
“每一個審核員都是不一樣的個體，大家對審核標準的理解或多或少有差異。”帥帥說，為了防止風險遺漏，根據內容的重要性，他們會啟動“背對背審核”機制。
內容審核與安全風控像一對雙胞胎一樣共生共處。抖音安全風控的發展也經歷了很多過程和轉變，
對抗初期，風控團隊試用名單頻控策略與黑產對抗。這份名單來自風控團隊每次對抗后，對黑產的名單記錄，以備下次再遇到時做應對，
而頻控指頻率防控，“一個人如果1分鐘內給60個視訊點贊，正常人顯然是做不到的，在這個階段我們對作弊者做了初步的限制。”張曦盛說，
第一階段相對初級，靠人力資源頂上去，在第二階段，風控團隊制定決策引擎和工具平臺，通過平臺化工具幫助安全風控人員提高對抗效率。這一階段也就實現了實施打擊壓制的效果，
與黑產對抗時，風控團隊獲取的資訊往往不對稱，黑產會從各個維度發起攻擊，嘗試繞過安全防線。單一維度的防御很容易被突破。
在第三階段，風控團隊運營一些技術構建起了一個立體的防御體系，全面識別風險，風控團隊處于被動防御和主動出擊的過渡階段。
第四階段時，風控團隊展開安全運營與風控研究工作，主動了解對手是如何攻擊抖音安全系統的，內部組建了相應的攻防團隊，模擬黑產對業務的攻擊，并反復研究黑產作惡路徑。
在于黑產對抗過程中，風控團隊研發了很多智能風控系統用于反欺詐、色情打擊、謠言打擊，如今構建了一個比較全面的防御體系，對各個環節的風險進行判斷，
用戶注冊抖音賬號時，會有系統識別它是不是批量機器注冊，登陸環節檢查是否有賬號盜用的風險，在電商場景分析賬號是否為羊毛黨，社區環境中判斷賬號的頭像和昵稱有沒有內容風險。
這背后是一套模型和策略識別體系做支撐，在抖音安全中心內部叫鯊魚反欺詐系統，每一個賬號注冊請求都會有數據輸入到該系統，系統根據注冊資訊打一個風險分數出來，
如果分數風險值較高被判斷為機器人注冊，該賬號會被直接封禁；如果某賬號有盜用風險，系統會向行動電話號碼主人發一個驗證資訊，提醒號碼持有人的風險存在。
抖音上的黑產團隊早期以文本形式發送廣告，在評論中添加導流資訊，比如美女配料、添加微信號等等。風控團隊使用文本模型和敏感詞打擊。
黑產團隊逐步滲透到賬號頭像、簡介等資料資訊中，近期出現了一個新型的色情導流形式。黑產團隊上傳的視訊畫質正常，沒有性感暴露的地方，但語音說了一些色情和淫穢內容。魔高一尺道高一丈，“我們又引入了一種新技術，通過語音轉文字的技術進行識別打擊。”
這是一項停不下來的工作，
在與黑產對抗過程中，張曦盛發現：“壞人總是相似的，而好人則各有各種各樣的不同”，“這是因為灰黑產團伙在作惡的時候追求規模化效益，他們用許多設備自動化操作，很多時候避免不了相似性，”
張曦盛展示了五個抖音賬號。這五個賬號表面上看起來沒什么問題，但實際上，五個賬號在同一天注冊，系統版本號都是安卓行動電話的某個版本，賬號昵稱數字連號，安裝抖音、注冊抖音賬號的時間是同一天。
“正常用戶很難有如此高的相似度。”張曦盛說，普通用戶肯定會追求各種多樣性，而這也是一個生態所追求的多元生態，
