crawlee-web-scraper
Skillby bryantegomoh
clawhub⭐ 07/10
基于 Crawlee 库的健壮网页抓取工具，具备机器人检测规避能力。适用于 web_fetch 因速率限制或反爬虫被阻止的情况。支持单个 URL...
基于Crawlee库的智能网页爬虫,内置反爬检测规则库,自动规避速率限制和机器人识别,支持单URL和批量采集,开箱即用。
📊 商业分析
商业模式
freemium
独特价值
内置反爬对抗引擎,无需额外配置即可绕过常见检测机制
竞品
Scrapy(功能全但学习陡峭)、Selenium(浏览器自动化但资源重)、Puppeteer(Node生态但Python生态弱)
🎯 应用场景
目标用户
数据分析师爬虫开发者内容聚合平台市场研究人员
工具信息
- 类型
- Skill
- 平台
- clawhub
- Stars
- ⭐ 0
- 价值评分
- 7/10
- 子分类
- 网页爬虫与数据采集
- 可商业化
- ✅ 是
AI 标签
网页爬虫反爬虫对抗数据采集Crawlee框架自动化脚本
相关工具推荐
chrome-devtoolsMCP
基于Chrome DevTools MCP实现AI驱动的浏览器自动化、网络流量分析、性能剖析及截图捕获，专家级调试能力触手可及
9/10⭐ 24,083
brave-searchSKILL
通过Brave Search API实现网页搜索与内容提取，无需浏览器，轻量接入，适合文档查询、事实核查及任意网页内容获取场景。
8/10⭐ 161
playwright-mcpMCP
基于Playwright MCP服务器实现浏览器自动化，支持网页导航、元素点击、表单填写、数据提取与截图等完整工作流。
8/10⭐ 96
browser-useMCP
通过AI指令自动化浏览器操作，支持网页导航、表单填写、页面截图及结构化数据提取，适合测试与RPA场景
8/10⭐ 70
playwrightMCP
基于Playwright MCP协议实现浏览器自动化，支持网页导航、元素点击、表单填写、截图及数据提取，可调试真实浏览器工作流。
8/10⭐ 56