爱吾下载 ● Jsp源码

分类分类

WebMagic（Java爬虫框架）

WebMagic（Java爬虫框架）

v0.7.2

大小：729 KB更新：2026-08-31

类别：其它源码系统：JAVA

立即下载

webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

webmagic的主要特色

1、完全模块化的设计，强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置，但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖，可以灵活的嵌入到项目中去。

WebMagic（Java爬虫框架）页面展示
WebMagic（Java爬虫框架）
相关阅读

同类推荐：站长常用源码

精品推荐
开发者应用
同类推荐
      相关文章
      相关下载
    • ZK Ajax开发框架详情
    • 透明白色花环HTML5特效详情
    • nicEdit Version 编辑器详情
    • 晓风p2p网贷平台详情
    • 云通付网站支付系统(JAVA版)详情
    • Guns后台管理系统详情
    • Apache Lenya详情
    • Ember.js详情
    • 人型显示时间详情
    • Smart-Report报表工具-JAVA详情
    • QQ/旺旺在线客服源码详情
    • 网页右侧QQ在线客服详情
    • AMF-JavaScript 后台管理框架详情
    • Noka tag 软件标签详情
    • Totres Jbook 留言本详情
    • Apache Jena (web 语义化框架)详情
    • Java Web框架Play Framework详情
    • jsp+sql2000库存管理系统详情
    • WebGUI 自助建站 智能建站平台详情
    • Dojo详情
    • SeimiCrawler(Java 爬虫框架)详情
    • ProjectForge详情
    • tinyMCE插件开发之插代码高亮详情
    • web木马终结者详情
      • 猜你喜欢
      说两句网友评论
        我要跟贴
        取消
        推荐专题