分享一款好用的URL采集工具(Superl-url)

发布时间:2022-07-17 05:38:02 作者:venlove 阅读量:8256

superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。  

程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

本来几年前就写好了,没什么技术含量,没想到小伙伴的使用需求还蛮大的,不敢私藏~~  

立了flag,git的star过200就一定抽时间去升级,这个flag已经实现,目前已经是4.0版本~~  更新后就在这里发出来了。

优势介绍

1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

2.开源,跨平台,使用python开发;

3.做了兼容性优化,同时支持python2和python3;

4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

5.保存方式同时支持本地txt和mysql数据库;

6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

7.多进程同时采集。每个搜索引擎都单独一个进程;

8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

9.可自定义每页采集时间间隔,防止被屏蔽;

运行效果

 

 



使用说明

1.安装python2或者python3运行环境;

2.如果提示没有找到库,则需要安装依赖:

如果是python3,则:

 


pip install ConfigParser

pip install tldextract

 

如果是Python2,则:

 


pip install tldextract

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

 

3.根据自己的需要,修改根目录下的config.cfg配置文件。 


如果保存方式为Mysql,还需要执行以下sql创建表:

 


    CREATE TABLE `search_data` (

      `id` int(11) unsigned NOT NULL AUTO_INCREMENT,

      `engine` varchar(20) NOT NULL DEFAULT '',

      `keyword` varchar(100) NOT NULL DEFAULT '',

      `baseurl` varchar(255) NOT NULL DEFAULT '',

      `realurl` varchar(255) NOT NULL DEFAULT '',

      `urlparam` varchar(255) NOT NULL DEFAULT '',

      `webtitle` varchar(255) NOT NULL DEFAULT '',

      `create_time` int(10) NOT NULL,

      PRIMARY KEY (`id`)

    ) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

项目地址:【GitHub传送门】

至于要不要再开发一个JAVA GUI版本的或者php写WEB版本的,先观望观望~~

*本文作者:superl,转载请注明来自FreeBuf.COM

***本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。

我要评论

网友评论


评论时间:2023-10-05 06:25:02

四,服务器价格为什么不一样呢?其实原因很简单:第一,服务器的体积较大,而且还必须免费windows云主机永久 配备专门的机房有网站建设的虚拟主机管理系统 房


评论时间:2023-02-26 15:25:01

自建型软件供应商通常采用“产品+定制化解决方案”的商业模式,根据客户需求,结合多年积累的经验和能力,针对特定行业的特殊需要,开发出符合客户实际需求的解决方服务器cpu 排行 案,并向客户交付具有云主机的主要用途 采用“产品+定制化解决方案”的商业模式,根据客户需求,结合多年积累的经验和能力,针对特定行业的特殊需要,开发出符合客户实际需求的解决方案,并向客户交付具有自主知识产权的软件产品


评论时间:2023-01-02 18:25:02

6.然后点击下一步中的“网吧服务器安装都需要什么 设置格内网服务器搭建详细步骤 后点击下一步中的“设置格式”命令


评论时间:2022-12-20 03:25:01

只要能够上网,便可享受虚拟主机购买公益版 到这些服务虚拟主机怎么用qq赚钱 享受到这些服务


评论时间:2022-10-17 15:25:02

虚拟主机如何浏览网页 5.运虚拟主机网站建设的几个步骤 行游戏

最新文章

 2023-12-25 22:44:35   admin

活动发布区版规

 2023-05-27 22:03:52   御风而行

容器、无服务器、虚拟机:安全性差...

 2023-05-27 19:08:41   小绵羊0123

科技巨头布局云端 服务器 网络硬...

 2023-05-27 18:17:46   姐姐的跟屁虫

钉钉因系统访问流量激增,宕机1小...

热门阅读

 2022-07-23 00:34:02   freeatom

常见ftp命令 FTP命令使用详...

 2022-07-21 02:17:02   ares

双硬盘组建Raid0磁盘阵列图文...

 2022-07-20 06:17:02   mankeung123

用友软件客户端连接不上服务器的解...

 2022-07-23 00:51:02   antonfxb

WebService实例

 2022-07-13 05:38:02   苯小孩

开发、运维不可不看的Linux调...

 2022-07-20 18:51:02   nightstone

如何使用Charles抓取Web...

随机文章

 2022-01-08 05:38:02   asjakj

不同线路、不同U数服务器托管价格...

 2022-02-17 05:38:02   666123

Windows 2003下Web...

 2022-02-19 05:38:03   park

配置正向查找区域的辅助区域

 2022-02-20 05:38:02   tmzz

FTP服务器配置serv-u

 2022-07-11 05:38:02   3dniu

Windows下连接Linux的...

 2022-07-19 01:51:02   zerokong

运维工程师常用的自动化运维工具有...

热评文章

 2022-07-19 20:17:02   dengyu0429

linux vi使用及详细介绍

 2022-07-20 01:00:05   激动的舌头

Linux视频教程:用户管理命令...

 2022-07-21 20:51:02   jessica-an

创建本地FTP站点

 2022-02-07 05:38:03   jasonkidd

WEB服务器配置详解

 2022-07-20 04:51:02   wolfssss

ACL权限-默认与递归(4)

 2022-07-22 15:00:05   淡水珊瑚

Linux下 Samba Ser...
全球云服务器
Catfish(鲶鱼) Blog V 4.7.3