robotstxt-ai
Skillby sharozdawa
clawhub⭐ 06/10
利用AI爬虫感知分析与生成robots.txt，检测GPTBot、ClaudeBot等AI机器人拦截情况。
AI驱动的robots.txt分析工具,自动检测GPTBot、ClaudeBot等AI爬虫的阻止状态,生成优化建议,保护网站内容权益。
📊 商业分析
商业模式
freemium
独特价值
专注AI爬虫识别,自动检测GPTBot/ClaudeBot等新型爬虫阻止策略
竞品
Screaming Frog SEO Spider(功能全面但不专注AI检测)/Semrush(综合SEO工具但robots分析非核心)/自建脚本(成本低但维护困难)
🎯 应用场景
目标用户
网站运营者SEO专家内容创作者企业IT安全团队
工具信息
- 类型
- Skill
- 平台
- clawhub
- Stars
- ⭐ 0
- 价值评分
- 6/10
- 子分类
- 网络爬虫管理与AI机器人检测
- 可商业化
- ✅ 是
AI 标签
robots.txt分析AI爬虫检测SEO优化网站安全爬虫管理
相关工具推荐
openclaw-skill-vetterMCP
在安装AI代理Skill前执行安全审查,检测凭证盗窃、代码混淆、数据泄露等风险,自动分类威胁等级,保护系统安全。
9/10⭐ 17
csam-shieldSKILL
利用AI驱动的图像、视频及行为分析检测并拦截儿童性虐待材料，自动生成NCMEC合规报告并完成证据保全链。
9/10⭐ 0
claw-prompt-injection-guardSKILL
防护间接提示词注入攻击,识别网页邮件社媒等外部内容中隐藏恶意指令,保护AI系统安全可靠运行
9/10⭐ 0
SecuritySKILL
覆盖网络侦察、Web应用安全测试、提示注入检测、安全新闻监控及年度报告分析的全栈安全评估提示词工具集
8/10⭐ 9,611
clawdefenderMCP
为AI代理提供输入消毒与威胁检测，拦截提示注入、SSRF、命令注入、数据外泄等攻击。
8/10⭐ 30