shepherd
Skillby sshoecraft
mcpmarket.cn⭐ 17/10
支持多后端的C++大模型推理框架
Shepherd is a versatile C++ LLM inference system with multi-backend support and intelligent memory management.
📊 商业分析
核心功能
提供智能内存管理的LLM推理能力
商业模式
开源核心+企业版服务
独特价值
C++实现的高性能与多后端兼容性
竞品
["vLLM", "TensorRT-LLM"]
🎯 应用场景
使用场景
本地模型部署边缘计算推理高性能服务构建
适用领域
软件开发人工智能系统架构
目标用户
后端工程师AI研究员系统管理员
📦 安装方式
🔗 安装/下载链接 →工具信息
- 类型
- Skill
- 平台
- mcpmarket.cn
- Stars
- ⭐ 1
- 价值评分
- 7/10
- 子分类
- AI推理系统
- 复杂度
- medium
- 可商业化
- ✅ 是
AI 标签
大模型推理C++框架内存优化多后端支持边缘计算
相关工具推荐
subagent-driven-developmentSKILL
在当前会话中自动识别独立任务并驱动多个子智能体并行执行实现计划，大幅提升复杂项目的开发效率
9/10⭐ 87,265
mcp-builderSKILL
Anthropic官方出品的MCP服务器构建指南，支持Python/FastMCP双路径，帮助开发者快速将外部API与LLM深度集成，构建高质量工具层。
9/10⭐ 86,759
MCPMCP
标准化AI与外部工具数据交互的协议框架
9/10⭐ 0
mcpMCP
9/10⭐ 0
code-reviewerSKILL
由Google Gemini驱动的专业代码审查Skill，支持本地代码与远程Pull Request双模式，提供结构化、专业级的代码质量评估与改进建议。
8/10⭐ 96,838