robots-txt-gen
Skillby johnnywang2001
clawhub⭐ 04/10
Generate, validate, and analyze robots.txt files for websites. Use when creating robots.txt from scratch, validating existing robots.txt syntax, checking if...
自动生成、验证和分析网站robots.txt文件，支持语法检查、爬虫规则配置及路径屏蔽策略，适合快速建站场景使用。
📊 商业分析
商业模式
free
独特价值
自然语言描述需求即可生成合规robots.txt并实时验证语法
竞品
1. Screaming Frog（专业SEO爬虫工具，功能远超本Skill）；2. Google Search Console（官方robots.txt测试工具，权威且免费）；3. Yoast SEO插件（WordPress生态内自动生成robots.txt，场景更完整）
🎯 应用场景
目标用户
独立站开发者SEO运营人员小型网站站长
工具信息
- 类型
- Skill
- 平台
- clawhub
- Stars
- ⭐ 0
- 价值评分
- 4/10
- 子分类
- SEO工具与爬虫管理
- 可商业化
- ❌ 否
AI 标签
robots.txt生成SEO爬虫控制网站配置搜索引擎优化语法验证
相关工具推荐
chrome-devtoolsMCP
基于Chrome DevTools MCP实现AI驱动的浏览器自动化、网络流量分析、性能剖析及截图捕获，专家级调试能力触手可及
9/10⭐ 24,083
brave-searchSKILL
通过Brave Search API实现网页搜索与内容提取，无需浏览器，轻量接入，适合文档查询、事实核查及任意网页内容获取场景。
8/10⭐ 161
playwright-mcpMCP
基于Playwright MCP服务器实现浏览器自动化，支持网页导航、元素点击、表单填写、数据提取与截图等完整工作流。
8/10⭐ 96
browser-useMCP
通过AI指令自动化浏览器操作，支持网页导航、表单填写、页面截图及结构化数据提取，适合测试与RPA场景
8/10⭐ 70
playwrightMCP
基于Playwright MCP协议实现浏览器自动化，支持网页导航、元素点击、表单填写、截图及数据提取，可调试真实浏览器工作流。
8/10⭐ 56