本文仅分析qq平台内部的平台治理，不涉及任何内部数据。仅用于记录和分享学习；我对qq平台没有兴趣。项目背景
1. qq平台的产品形态更多是与陌生人社交。在同一个群聊中，非好友可以互相发消息，空间里的所有评论都可以看到。该设计反映了平台对陌生人社交行为的开放和鼓励。但同时也为黑灰生产提供了机会。大量黑灰制作的虚假账号在平台被引流甚至欺诈，侵害了平台和用户的利益。
2. qq月活跃用户超过6亿，黑灰账号隐藏在海量用户中。社交账号不同于微博、知乎等内容账号。普通人的关系链是固定的。如果普通用户在打击黑灰账号的过程中被“误封”，将对用户和产品声誉造成极大伤害。
3.社交软件的特点是每时每刻都在产生海量的信息，用户对信息收发的及时性要求很高。因此，仅仅依靠人工审核来识别非法信息是远远不够的。机器学习技术建立快速、大规模的监控策略和模型。
4. 社交软件的特点是可以产生“裂变”。例如，某账号被盗后，会向其所有好友和群聊发送钓鱼链接，引诱好友上当，增加受害者数量。指数级增长，影响极坏。
项目目的
1.快速打击黑灰账号，在平台和用户利益受损前精准封号，增加黑灰制作团队成本，避免对普通用户造成“意外伤害”
2.第一时间截获黑灰产品流向，识别流程和变现方式，完成黑灰产品的犯罪过程（图1），种类繁多的工具和资源（图2）进行攻防对抗，在平台暗中撕下假账号的伪装。
图1黑灰犯罪链（Tiktok平台）
图2 Black Ash出品的丰富工具和资源方案详解
通过拆解qq平台黑灰账号的全生命周期，重点分析注册流程、变现形态、变现方式，针对不同形态设计识别策略和打击方案。需要回顾过去的黑灰色生产案例，洞察和分析风险数据和场景，不断进化机器+人工的决策引擎。
图3 黑灰生产的行为过程及相应的监控计划1.黑灰生产“注册账号”阶段的识别
这个阶段是黑灰制作组违法活动的源头。与普通用户相比，注册时会有更明显的特征。可以通过以下方式进行打击：
1.1 异常登录拦截
用户常用设备的IMEI号、did、IP地址和位置相对固定。获取密码后，小偷必须在新设备和新位置登录。在这种情况下，就需要加强认证强度，在用户体验和安全保护之间取得平衡。
对于新设备，可以通过验证码识别是否为虚拟机、手机验证码/人脸识别/隐私问题/好友关系确认等方式识别是否为账号拥有者，以及对高危行为建立多轮验证。
对于被害方，要尽快对其常用账号进行预警，提醒其“异地登录”等高危可疑盗窃行为，简化冻结流程，冻结号码前的号码被黑灰行业使用，以免造成更大的损失甚至打错号码。
1.2同IP/同地址监控
互联网灰黑产品一般使用群控软件控制一个房间内的大量手机，实现批量回复和诈骗。这些手机和qq账号将拥有相同的IP地址和地理位置。平台可以针对大量具有相似行为的用户拥有相同IP/地址的情况，筛选出高危用户范围进行人工审核。
图4黑灰群控手机
1.3键虚拟号码段监控
卡商一般直接与虚拟运营商签订内部协议，一次批量购买大量手机卡，并实名认证。黑灰产品会与卡商勾结，利用这些虚拟账号批量注册qq账号，从事涉黄、赌博、赌博、网赚等黑灰产品。平台一方面可以与运营商合作，加强对手机卡实名制的审核，另一方面结合以往打击黑灰产品的经验，总结常用于黑灰产品重点监控，在平台内属于高危“假号”。
1.4 创建手机号码黑名单
由于黑灰制作组会批量注册账号，平台可以搜索到同一个手机号的被封禁账号和同期注册的类似qq账号，匹配相似度，关联相似度达到a一定的门槛。禁止并建立手机号码黑名单。
2.黑白制作“实现”阶段识别
这个阶段是违规发生率高的阶段。变现方式包括“群私聊”、“qq群引流”、“qq空间引流”、“子内容平台（如看点、动漫等）社交平台（如语音室、附近、直播等）等）引流”、“群控软件（like）等误操作”；
变现形式包括“网站/应用引流”、“直接欺诈”、“钓鱼网站黑客”、“薅羊毛”、“点赞/海军”等。
对于上述变现方式和形式，我们需要摸清每种方式/形式的具体规律和特点，采用机器学习+人工审核+用户报告相结合的方式，建立快速、大规模的风控战略和模型。
2.1用户异常行为监测预警模型
普通用户的使用和非法灰黑产品的账号一定是有区别的。异常行为的监控是识别黑灰产品的关键环节。例如，大量相同的消息成群发送，大部分发布的内容都有网址，大量的定期点赞等，需要建立异常用户行为的监测预警模型，以及决策引擎定期对用户行为进行评分；建立风险库、风险规则库、风险特征库，利用用户画像和用户关系进行综合判断。高风险账户的预警或冻结或封禁。
2.2 基于文本的敏感词监控
qq平台大多通过文字交流，色情、政治等违反红线的内容必须迅速删除。同时，大部分灰黑产品会批量发出非法网站并添加文字。通过NLP（Natural Language Processing）分析识别海量数据，强化分词等模型，精准识别非法发布者。
同时，黑灰行业的从业者会不断更新副本来规避，比如cp=非法网络彩票，菠菜=非法赌博等，要求我们的模型有能力上下文甚至多模态综合分析，及时手动添加敏感词词库，精准攻击的同时尽量减少对正常内容的影响。
图5 文字型灰黑产排水
2.3 未知 URL 监控
目前，赌博、色情、彩票、盗号等黑产品以网站和APP为主。可配合qq浏览器结合用户举报建立网站黑名单/白名单，识别大量发布非法网站的账号。冻结和禁止。
图6非法网站引流
2.4 基于图像识别的非法二维码/图像监控
目前，由于文字类关键词，尤其是qq号更容易被找到，灰黑产品开始大量使用图片进行引流和欺诈。平台需要结合图像识别技术对发送的图片进行解析，将引流二维码和非法图片拆分出来，并进行屏蔽。前提是更准确的图像识别和OCR（光学字符识别）技术来识别图片中的真实含义。同时，在群组中发布类似违法图片的用户将被识别并封禁。
图7 网赚二维码微信引流
2.5 基于视频识别的违规视频监控
在qq平台上，视频内容既存在于私人社交社区，也存在于公共社区中，视频内容天生具有隐蔽性。它需要依靠建立色情、恐怖和暴力敏感材料库和大量人工审查来识别非法视频。然后警告或禁止违规视频的发布者。
图8视频类的隐蔽违规信息
2.6 薅羊毛灰色账户的画像和监控
qq包括内容平台（看点）、电商平台（京西）等，其中为了推广新活动等会进行很多运营活动，并产生大量虚假灰色账号会骗取电商新手奖励，或者通过点赞的方式增加内容的曝光度，并“顶”文章、空间评论等来吸引广告。对这些行为的监控需要利用现有的用户画像大数据来识别假账号。
同时监控大量常规点赞行为，大量相互邀请拉新行为，达到一定等级后，账号被警告、冻结、封禁。
2.7 简化用户举报流程，优先人工审核举报内容
鼓励用户举报，降低举报成本，在防止滥用的前提下，优先关注被举报较多的用户。举报应尽量人工判断，避免恶意举报造成虚假封禁。
3.分步控制限制及投诉渠道建设
无论风控模型多么精准，都会出现虚假禁令和虚假识别的情况。为了在用户体验和打击黑灰生产之间取得平衡，需要实施阶梯式控制限制。
在后台建立风险等级系统，对政治色情信息、广告引流、点赞等行为进行扣分。达到一定程度后，会给予明确警告，告知其行为违反了规定。如果他们继续违反规则，他们的账户可能会被冻结或禁止。 .
每个阶段都设置了一定的门槛，根据对平台用户的影响程度，封禁不同的时间段（如1天、7天、1年、永久等）。
同时，设置了更加多样化的申诉渠道。用户被封禁后，可以通过“真人认证”、“银行卡绑定”等方式进行申诉，尽可能减少对普通用户的影响。
4.建立高效完善的后台人工审核制度
对于qq等用户量大的平台，黑灰产品的账号每时每刻都在增加，人工审核的效率需要依赖完整的后台系统。例如，对于每个风险警报/报告，审核者需要能够查看详细信息，例如历史内容、使用的帐户和地理位置。
同时，结合机器学习识别系统，模型自动标注疑似违规重点内容，提高人工审核效率。
