如何构建高效的分布式漏洞检测系统？

分布式漏洞检测系统

一、背景与简介

随着互联网的快速发展，各种安全漏洞层出不穷，如JAVA反序列化漏洞、STRUTS命令执行漏洞、ImageMagick命令执行漏洞等高危漏洞频繁爆发，为了在漏洞爆发后快速形成检测能力，同时对网站或主机进行全面快速的安全检测，Tide安全团队开发了一套简单易用的分布式Web漏洞检测系统WDScanner。

二、功能详解

登录界面

用户通过前端服务器进行交互并下发任务，可部署多个扫描节点服务器，以更快速地完成扫描任务。

分布式扫描

技术：前端服务器与用户交互并下发任务，部署多个扫描节点服务器。

工具：使用secscanner和awvs三款工具作为扫描核心库。

特点：多工具可能导致扫描速度有所降低，但误报率也会大大降低，可选择最实用的扫描策略以节省时间。

客户管理

功能：添加客户、添加客户持有系统、设置客户持有系统的扫描策略、周期性扫描等。

优势：根据客户需求定制化扫描和监测方案，定期扫描和网站爬取，检索敏感字、坏链、暗链、信息泄露等威胁，及时提醒并告知客户。

网站信息收集

目标：在添加新任务后，后台主动识别目标banner和操作系统信息、端口开放、敏感文件扫描等。

细节：自动识别开发语言、WAF、CMS和中间件等，并对常见端口进行扫描并判断其服务，子域名的搜集使用暴力枚举和互联网检索两种方式，保证子域名的可用性并缩短检索时间。

网站爬虫

需求：政府类网站对暗链、敏感字和坏链等内容比较敏感。

实现：网站爬虫主要采用宽度优先遍历策略，周期性对目标整站页面进行爬取，进行网页链接搜集、动态URL搜集、网站敏感字检索、暗链检索、坏链检测、存储网页快照等。

专项检测

功能：集成专项漏洞检测功能，在发生高危漏洞时快速部署检测POC，对客户网站进行批量安全性检测。

检索中心

用途：使用关键字对漏洞扫描、信息搜集、网站爬虫等进行检索，如漏洞类型、操作系统类型、开放端口、中间件类型、开发技术等。

示例：网站URL检索，以检索包含.action的URL为例。

代理资源池

功能：内置代理资源池功能，对搜集到的代理地址的可用性进行动态打分排序，可以在扫描探测被封IP时智能切换IP地址。

节点管理

管理：对扫描节点进行管理，不在范围内的节点无法请求平台任务。

报告输出

重要性：报告输出是专业扫描器不可缺少的部分，目前实现了一个常规报告模板，后续还会慢慢完善，每个任务都可以进行报告导出。

三、安装与使用方法

虚拟机环境

步骤1：下载虚拟机镜像并解压。

步骤2：运行桌面上的 Tide-proxy-bat.bat 和 Tide-WDScanner-bat.bat 两个文件。

步骤3：本机访问 http://127.0.0.1 ，用户名密码为 admin/123456，登录即可。

半集成安装

步骤1：下载软件包并解压到 C 盘根目录下。

步骤2：安装 python2.7、ruby、nmap、awvs10.5、pip 等。

步骤3：安装 python 依赖库。

步骤4：分别执行 Tide-proxy-bat.bat 和 Tide-WDScanner-bat.bat 两个文件。

步骤5：本机访问 http://127.0.0.1 ，用户名密码为 admin/123456，登录即可。

手工安装

步骤1：安装 python2.7、ruby、nmap、awvs10.5、pip 等。

步骤2：建议使用 windows 环境，因为 wvs 当时只能运行在 windows 环境下（现在好像有了 linux 版），wvs 建议使用 wvs10.5版本，python 和 pip 安装后配置好环境变量。

步骤3：解压缩 wdscanner.sql.zip，在 mysql 中新建数据库 wdscan，将其中的 wdscanner.sql 导入。

步骤4：在扫描节点上运行 TaskPython 目录下的 taskscan.py、taskspider.py、taskinfo.py 即可分别进行任务扫描、网站爬取关键字分析、信息搜集等。

步骤5：执行 TaskPython/proxy 目录下的 ip_pool.py、assess_quality.py 可进行代理搜集及代理评分。

四、声明与注意事项

本平台只是对目标系统进行信息搜集和端口开放性探测，漏洞扫描调用了 wvs 的扫描核心，主要是为了方便大家对目标系统进行安全检测并出具中文报告，对互联网任何目标的检测均需在取得授权后方可进行，如需测试本平台可用性请自行搭建靶机环境，若使用者因此做出危害网络安全的行为后果自负，与作者无关。

五、相关问题与解答

问题1：WDScanner支持哪些操作系统？

答：WDScanner最初只能运行在Windows环境下，但现在已经有了Linux版本。

问题2：如何获取WDScanner的最新更新和技术支持？

答：可以通过访问Tide安全团队的官方网站（www.tidesec.net）获取最新更新和技术文档，也可以通过社区论坛或GitHub提交问题和反馈。

各位小伙伴们，我刚刚为大家分享了有关“分布式漏洞检测系统”的知识，希望对你们有所帮助。如果您还有其他相关问题需要解决，欢迎随时提出哦！