分享一款好用的URL采集工具（Superl-url）

发布时间：2022-07-17 05:38:02 作者：venlove 阅读量：8256

superl-url是一款开源的，并且功能强大的关键词URL采集工具，可以根据关键词，对搜索引擎内容检索结果的网址内容进行采集。

程序主要运用于安全渗透测试项目，以及批量评估各类CMS系统0DAY的影响程度，同时也是批量采集自己获取感兴趣的网站的一个小程序

本来几年前就写好了，没什么技术含量，没想到小伙伴的使用需求还蛮大的，不敢私藏

立了flag，git的star过200就一定抽时间去升级，这个flag已经实现，目前已经是4.0版本~~ 更新后就在这里发出来了。

优势介绍

1.支持多搜索引擎，很方便添加集成。(已内置了百度，搜狗，360),结构模块化，很方便进行扩展，可以无限添加。

2.开源，跨平台，使用python开发；

3.做了兼容性优化，同时支持python2和python3；

4.支持自动过滤重复内容，支持过滤标题中存在指定关键词的内容，支持过滤域名；

5.保存方式同时支持本地txt和mysql数据库；

6.从搜索引擎采集到的地址，是真实网站地址，不是像百度快照那样的三方地址；

7.多进程同时采集。每个搜索引擎都单独一个进程；

8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL，或者只输出域名，或者同时输出标题，搜索引擎名称。

9.可自定义每页采集时间间隔，防止被屏蔽；

运行效果

使用说明

1.安装python2或者python3运行环境；

2.如果提示没有找到库，则需要安装依赖：

如果是python3，则：

pip install ConfigParser

pip install tldextract

如果是Python2，则：

pip install tldextract

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

3.根据自己的需要，修改根目录下的config.cfg配置文件。

如果保存方式为Mysql,还需要执行以下sql创建表：

CREATE TABLE `search_data` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`engine` varchar(20) NOT NULL DEFAULT '',

`keyword` varchar(100) NOT NULL DEFAULT '',

`baseurl` varchar(255) NOT NULL DEFAULT '',

`realurl` varchar(255) NOT NULL DEFAULT '',

`urlparam` varchar(255) NOT NULL DEFAULT '',

`webtitle` varchar(255) NOT NULL DEFAULT '',

`create_time` int(10) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

项目地址：【GitHub传送门】

至于要不要再开发一个JAVA GUI版本的或者php写WEB版本的，先观望观望~~

*本文作者：superl，转载请注明来自FreeBuf.COM

上一篇：CIO时代院长姚乐：新一代信息技术与医疗数字化

下一篇：小旋风asp服务器怎么使用

***本网站图片，文字之类版权申明，因为网站可以由注册用户自行上传图片或文字，本网站无法鉴别所上传图片或文字的知识版权，如果侵犯，请及时通知我们，本网站将在第一时间及时删除。

我要评论

网友评论

评论时间：2023-10-05 06:25:02

四，服务器价格为什么不一样呢？其实原因很简单：第一，服务器的体积较大，而且还必须免费windows云主机永久配备专门的机房有网站建设的虚拟主机管理系统房

评论时间：2023-02-26 15:25:01

自建型软件供应商通常采用“产品+定制化解决方案”的商业模式，根据客户需求，结合多年积累的经验和能力，针对特定行业的特殊需要，开发出符合客户实际需求的解决方服务器cpu 排行案，并向客户交付具有云主机的主要用途采用“产品+定制化解决方案”的商业模式，根据客户需求，结合多年积累的经验和能力，针对特定行业的特殊需要，开发出符合客户实际需求的解决方案，并向客户交付具有自主知识产权的软件产品

评论时间：2023-01-02 18:25:02

6.然后点击下一步中的“网吧服务器安装都需要什么设置格内网服务器搭建详细步骤后点击下一步中的“设置格式”命令

评论时间：2022-12-20 03:25:01

只要能够上网，便可享受虚拟主机购买公益版到这些服务虚拟主机怎么用qq赚钱享受到这些服务

评论时间：2022-10-17 15:25:02

虚拟主机如何浏览网页 5.运虚拟主机网站建设的几个步骤行游戏