web渗透爬虫全站扫描工具_web扫描软件

导航：

• 1、比较好的web安全扫描工具有哪些
• 2、如何进行Web渗透测试
• 3、web渗透测试工具

比较好的web安全扫描工具有哪些

随着网站业务所承载内容的日益增多且重要性日益增强，网站本身的价值也越来越大，随之由网站漏洞带来的安全性问题也愈发严峻。新开通网站、新增专栏的准入质量评估，网站系统日常运行状况的检查预防和风险掌控，这些已成为各行业每年安全大检查中的关键要素。作为具体落实定期检查工作的安全人员，也急需选择一款优秀的网站扫描产品进行高效彻底的Web脆弱性评估检查，而如何选择一款真正实用的产品成为一个比较纠结的难题。

常见Web扫描方案的优劣势

目前常见的支持Web扫描解决方案的产品有很多，大家比较熟悉的有集成Web扫描模块的多合一系统扫描器，网上可免费下载的开源扫描器软件以及近几年刚崭露头角的独立Web扫描器产品等，都可以进行一定程度的Web安全扫描和漏洞发现。那么面对如此琳琅满目的选择时，大家如何细致区分辨识其差异，就需严格立足于实际需要，最终做出最佳的判断。

多合一的系统扫描器，通常会集主机扫描、配置核查、Web扫描及弱口令扫描于一身，是一款强大全面的多功能产品。但多合一的高度封装导致其在进行安全扫描时，除不能分配全部计算资源在Web扫描方面，扫描引擎自身还要兼顾到全方位的权衡与调优。反观目标Web应用呈现的种类多样性、规模庞大性和运行特殊性，在面对动辄上万、十万甚至百万级别网页数量的网站时，这种多合一产品就表现得差强人意，使用起来有种牛拉火车的感觉;同时，高效执行扫描评估就必须具备高并发的网页链接爬虫识别和Web插件交互逻辑判断能力，这一现实的冲突导致多合一扫描器在Web扫描及性能体验方面效果平平，优势不突出。

网上开源的Web扫描器软件，尽管完全免费并可以发现一些基本的漏洞信息，但其在第一时间发现新爆Web漏洞和漏洞趋势跟踪分析、修补方面，完全不具备后期支撑能力。而且在人性化设计及低学习门槛方面也存在太多先天的不足，其性能与稳定性更是与商业软件相差甚远。

面对综上同类产品，困惑于Web扫描场景需求种种局限的我们，很欣喜地看到了近几年声名鹊起的Web扫描器产品。它作为一款自动化评估类工具，依据制定的策略对Web应用系统进行URL深度发现并全面扫描，寻找出Web应用真实存在的安全漏洞，如跨站点脚本、SQL注入，命令执行、目录遍历和不安全的服务器配置。Web扫描器产品可以通过主动生成统计分析报告来帮助我们正确了解Web应用漏洞的详细分布、数量和风险优先级，并对发现的安全漏洞提出相应有力的改进意见供后续修补参考，是帮助我们高效彻底地进行Web脆弱性评估检查的坚实利器。

Web扫描器的三个误区

针对现有市面上诸多品牌的Web扫描器，大家在评价它们孰优孰劣时时常过于片面极端，主要表现为三个认识误区。

误区1：多就是好!

认为漏洞库条目多，检查出来的漏洞多就是好。Web扫描器面对庞大繁多、千差万别的应用系统，为提升检测性能，多采用高效率的Web通用插件，以一扫多，其不再局限于某个专门应用系统，深层次聚合归并，尽可能多地发现多种应用系统的同类漏洞。同时，对于扫描出来的非误报漏洞，若同属某一页面不同参数所致的相同漏洞，归纳整理，让最终呈现的漏洞报表简约而不简单，避免数量冗余、杂乱无章。故若以毫无插件归并能力，仅靠大量专门Web系统插件、罗列各类漏洞列表数量多来博取赞许的Web扫描器，其本质存在太多的不专业性。

误区2：快就是好!

认为扫描速度快耗时短的就是好。网站规模日趋复杂，日常检查时我们期待Web扫描器能有更高效率地完成扫描任务，这点无可厚非，但检查的本质是要最大限度地提前发现足够多的漏洞，并第一时间制定后续相应的修补计划。故在面对同一目标站点时，Web扫描器若能在单位时间内检测出来的有效存在漏洞数越多，这个快才是真的好。

误区3：小就是好!

认为扫描过程中对目标业务影响小就是好!这句话本身也没有问题，只要Web扫描器在执行扫描过程中，对目标系统负载响应和网络链路带宽占用，影响足够小，也就是我们常说的“无损扫描”，它就具备了一款优秀Web扫描器应有的先决条件。但是，这必须是在能最大限度发现Web漏洞的前提下才能考虑的关键因素，脱离这个产品本质，就本末倒置了。

五个基本评优标准

那么，评优一款Web扫描器，我们该从何处着手?具体的判断标准有哪些呢?

全——识别种类繁多的Web应用，集成最全的Web通用插件，通过全面识别网站结构和内容，逐一判断每一种漏洞可能性，换句话说，漏洞扫描的检测率一定要高，漏报率务必低，最终才能输出全面详尽的扫描报告。这就要求其在Web应用识别方面，支持各类Web语言类型(php、asp、.net、html)、应用系统类型(门户网站、电子政务、论坛、博客、网上银行)、应用程序类型(IIS、Apache、Tomcat)、第三方组件类型(Struts2、WebLogic、WordPress)等;插件集成方面，支持国际标准漏洞分类OWASP TOP 10和WASC插件分类模板，允许自定义扫描插件模板，第一时间插件更新速度等。

准——较高的漏洞准确性是Web扫描器权威的象征，可视化分析可助用户准确定位漏洞、分析漏洞。而误报是扫描类产品不能回避的话题。Web扫描器通过通用插件与目标站点任一URL页面进行逻辑交互，通过可视化的漏洞跟踪技术，精准判断和定位漏洞，并提供易读易懂的详细整改分析报告。除此之外，一款好的Web扫描器还要更具人性化，在漏洞发现后，允许扫描者进行手工、自动的漏洞批量验证，进而双重保障较高的准确性结果。

快——快速的扫描速度，才能在面对越来越大的网站规模，越发频繁的网站检查时游刃有余，进度保障。一款快速的Web扫描器除了有强劲马力的扫描引擎，高达百万/天的扫描速度，还要具备弹性灵活的集群扫描能力，任意增添扫描节点，轻松应对可能苛刻的扫描周期时间要求。

稳——稳定可靠的运行过程，对目标环境近乎零影响的Web扫描器，才能在诸行业大面积投入使用，特别是一些对业务影响要求苛刻的行业会更受青睐，毕竟没有人能够接受一款评估类产品，会对目标造成额外的损伤。市面上现在已有一些Web扫描器产品，其通过周期探寻目标系统，网络链路，自身性能负载等机制，依据目标环境的负载动态变化而自动调节扫描参数，从而保障扫描过程的足够稳定和几乎零影响。此外，随着网站规模，检查范围的不断扩大，保证持续稳定的扫描执行和统计评估，尽量避免扫描进度的半途而废，也提出了较高的可靠性运行要求。

易——人性化的界面配置，低成本的报表学习和强指导性修补建议。尤其是漏洞分布详情和场景重现方面，市面上大多数Web扫描器的报表都需要专业安全人员的二次解读后，普通的安全运维检查人员才能看懂，才知道长达百页报表给出的重要建议和下一步的具体修补措施，这无疑给使用者造成了较高的技术门槛，那么如何解决此易读、易用问题，就成为评定其优劣与否的一个重要指标。

总之，一款优秀的Web扫描器产品，它需要严格恪守五字核心方针，全、准、快、稳、易，做到全方位均衡，这样才能做到基本优秀。同时，随着网站检查诉求的日益多元化，它若能附带一些差异化特性，满足大家不同场景的网站安全运维扫描要求，如网站基本信息搜集，漏洞全过程时间轴跟踪，逐步可视化的漏洞验证和场景重现，自动修补直通车等，定会大大增加该款扫描器的评优力度。

如何进行Web渗透测试

什么是渗透测试？

渗透测试，是渗透测试工程师完全模拟黑客可能使用的攻击技术和漏洞发现技术，对目标网络、主机、应用的安全作深入的探测，发现系统最脆弱的环节。

如何进行Web渗透测试？

完整web渗透测试框架当需要测试的web应用数以千计，就有必要建立一套完整的安全测试框架，流程的最高目标是要保证交付给客户的安全测试服务质量。

1、立项：项目建立，时间安排，人力分配，目标制定，厂商接口人确定；

系统分析威胁分析：针对具体的web应用，分析系统架构、使用的组件、对外提供的接口等，以STRIDE为威胁模型进行对应的安全威胁分析，输出安全威胁分析表，重点关注top3威胁；

制定测试用例：根据威胁分析的结果制定对应的测试用例，测试用例按照模板输出，具备可执行性；

测试执行漏洞挖掘：测试用例执行发散测试，挖掘对应的安全问题or漏洞；

问题修复回归测试：指导客户应用开发方修复安全问题or漏洞，并进行回归测试，确保安全问题or漏洞得到修复，并且没有引入新的安全问题；

项目总结评审：项目过程总结，输出文档评审，相关文档归档。

2、Web应用的渗透测试流程

主要分为3个阶段，分别是：信息收集→漏洞发现→漏洞利用，下面仔细分析一下各个阶段流程：

一、信息收集

在信息收集阶段，我们需要尽量多的收集关于目标web应用的各种信息，比如：脚本语言的类型、服务器的类型、目录的结构、使用的开源软件、数据库类型、所有链接页面，用到的框架等

脚本语言的类型：常见的脚本语言的类型包括：php、asp、aspx、jsp等

测试方法：

1 爬取网站所有链接，查看后缀

2 直接访问一个不存在页面后面加不同的后缀测试

3 查看robots.txt，查看后缀

服务器的类型：常见的web服务器包括：apache、tomcat、IIS、ngnix等

测试方法：

1 查看header，判断服务器类型

2 根据报错信息判断

3 根据默认页面判断

目录的结构：了解更多的目录，可能发现更多的弱点，如：目录浏览、代码泄漏等。

测试方法

1 使用字典枚举目录

2 使用爬虫爬取整个网站，或者使用google等搜索引擎获取

3 查看robots.txt是否泄漏

使用的开源软件：我们如果知道了目标使用的开源软件，我们可以查找相关的软件的漏洞直接对网站进行测试。

测试方法

指纹识别（网络上有很多开源的指纹识别工具）

数据库类型：对于不同的数据库有不同的测试方法。

测试方法

1 使应用程序报错，查看报错信息

2 扫描服务器的数据库端口（没做NAT且防火墙不过滤时有效）

所有链接页面：这个跟前面的获取目录结构类似，但是这个不只是获取网站的所有功能页面，有时候还可以获取到管理员备份的源码。

测试方法

1 使用字典枚举页面

2 使用爬虫爬取整个网站，或者使用google等搜索引擎获取

3 查看robots.txt是否泄漏

用到的框架：很多网站都利用开源的框架来快速开发网站，所以收集网站的框架信息也是非常关键的。

测试方法

指纹识别（网络上有很多开源的指纹识别工具）

二、漏洞发现

在这个阶段我们在做测试的时候要对症下药，不能盲目的去扫描，首先要确定目标应用是否使用的是公开的开源软件，开源框架等、然后在做深一度的漏洞扫描。

关于开源软件的漏洞发现

开源的软件：常见的开源软件有wordpress、phpbb、dedecms等

开源的框架：常见的开源框架有Struts2、 Spring MVC、ThinkPHP等

中间件服务器：常见的中间件服务器有jboss、tomcat、Weblogic等

数据库服务：常见的数据库服务mssql、mysql、oracle、redis、sybase、MongoDB、DB2等

对于开源软件的测试方法

1 通过指纹识别软件判断开源软件的版本信息，针对不同的版本信息去开放的漏洞数据库查找相应版本的漏洞进行测试

2 对于默认的后台登录页、数据库服务端口认证等入口可以进行简单的暴力破解、默认口令尝试等操作

3 使用开源的漏洞发现工具对其进行漏洞扫描，如：WPScan

关于自主开发的应用

手动测试：这个阶段，我们需要手工测试所有与用户交互的功能，比如：留言、登入、下单、退出、退货、付款等操作

软件扫描：使用免费的软件扫描，如：appscan、wvs、netsparker，burp等

可能存在的漏洞

Owasp关键点

代码安全之上传文件

代码安全之文件包含

代码安全之SSRF

逻辑漏洞之密码重置

逻辑漏洞之支付漏洞

逻辑漏洞之越权访问

平台安全之中间件安全

三、漏洞利用

针对不同的弱点有不同的漏洞利用方式，需要的知识点也比较多。一般这个阶段包括两种方式，一种是手工测试，一种是工具测试

手工测试

手工测试是通过客户端或服务器访问目标服务，手工向目标程序发送特殊的数据，包括有效的和无效的输入，观察目标的状态、对各种输入的反应，根据结果来发现问题的漏洞检测技术。手工测试不需要额外的辅助工具，可由测试者独立完成，实现起来比较简单。但这种方法高度依赖于测试者，需要测试者对目标比较了解。手工测试可用于Web应用程序、浏览器及其他需要用户交互的程序。

这种方式对于有特殊过滤等操作，或者网络上没有成型的利用工具的时候可以使用。

工具测试

网络上有很多好用的免费利用工具，比如针对sql注入的sqlmap、针对软件漏洞的matesploit等。

web渗透测试工具

第一个：NST

NST一套免费的开源应用程序，是一个基于Fedora的Linux发行版，可在32和64位平台上运行。这个可启动的Live

CD是用于监视、分析和维护计算机网络上的安全性;它可以很容易地将X86系统转换为肉机，这有助于入侵检测，网络流量嗅探，网络数据包生成，网络/主机扫描等。

第二个：NMAP

NMAP是发现企业网络中任何类型的弱点或漏洞的绝佳工具，它也是审计的好工具。该工具的作用是获取原始数据包并确定哪些主机在网络的特定段上可用，正在使用什么操作系统，以及识别特定主机的数据包防火墙或过滤器的不同类型和版本正在使用。NMAP对渗透测试过程的任何阶段都很有用并且还是免费的。

第三个：BeEF工具

BeEF工具主要利用移动端的客户，它的作用是用于检查Web浏览器，对抗Web抗击。BeEF用GitHub找漏洞，它探索了Web边界和客户端系统之外的缺陷。很重要的是，它是专门针对Web浏览器的，能够查看单个源上下文中的漏洞。

第四个：Acunetix Scanner

它是一款知名的网络漏洞扫描工具，能审计复杂的管理报告和问题，并且通过网络爬虫测试你的网站安全，检测流行安全漏洞，还能包含带外漏洞。它具有很高的检测率，覆盖超过4500个弱点;此外，这个工具包含了AcuSensor技术，手动渗透工具和内置漏洞测试，可快速抓取数千个网页，大大提升工作效率。

第五个：John the Ripper

它是一个简单可快速的密码破解工具，用于在已知密文的情况下尝试破解出明文的破解密码软件，支持大多数的加密算法，如DES、MD4、MD5等。

标签：web渗透爬虫全站扫描工具