ClawHub

Llmfit Advisor

Other

基于系统硬件配置和使用场景，智能推荐最适合的本地 LLM 模型及量化方案，支持多运行时环境。

Install

openclaw skills install llmfit-advisor

llmfit-advisor - OpenClaw Agent 技能

基于 LLMfit 的本地 LLM 模型推荐技能 版本: 0.9.8 类型: Experience/Skill

🎯 功能概述

这个技能让 OpenClaw Agent 能够：

  • 智能推荐 - 根据系统硬件配置推荐最适合的 LLM 模型
  • 场景优化 - 支持通用、编码、推理、聊天等多种使用场景
  • 量化建议 - 推荐最佳量化方案（Q8_0, Q2_K, FP8 等）
  • 硬件感知 - 自动检测 CPU、RAM、GPU 配置
  • 多运行时 - 支持 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio

🚀 快速开始

使用 llmfit 推荐模型

Agent 可以调用 llmfit 命令获取模型推荐：

llmfit recommend --json --use-case coding --limit 5
llmfit recommend --json --use-case chat --limit 5
llmfit recommend --json --use-case general --limit 5

获取最佳匹配

llmfit fit --perfect -n 5              # 完美匹配的 5 个模型
llmfit fit --good -n 10                # 良好匹配的 10 个模型

系统信息

llmfit --json system                   # 系统硬件信息

💡 使用场景

场景 1: 用户询问适合的设备

用户: "我有什么设备可以运行什么模型？" Agent 回答:

让我检查一下你的系统配置...
llmfit recommend --json --limit 3

场景 2: 编码助手推荐

用户: "我想找一个适合写代码的大模型" Agent 回答:

让我为你推荐一个适合编码场景的模型...
llmfit recommend --json --use-case coding --limit 5

场景 3: 根据硬件配置优化

用户: "我只有 16GB 内存，有什么推荐吗？" Agent 回答:

根据你的硬件配置，我推荐以下模型...
llmfit --ram=16G recommend --json --limit 5

🔧 命令参数详解

llmfit recommend --json

基本用法:

llmfit recommend --json [选项]

选项:

  • --use-case <type> - 使用场景：general | coding | reasoning | chat | multimodal | embedding
  • --limit <n> - 返回数量（默认 5）
  • --force-runtime <type> - 强制运行时：llamacpp | mlx | vllm
  • --context <n> - 上下文长度：2048 | 4096 | 8192 | 16384 | 32768 | 65536 | 131072
  • --json - JSON 格式输出

llmfit fit

基本用法:

llmfit fit --perfect -n 5
llmfit fit --good -n 10

选项:

  • --perfect - 只返回完美匹配的模型
  • --good - 返回良好匹配的模型
  • --marginal - 返回勉强可用的模型
  • -n <n> - 返回数量

llmfit system --json

基本用法:

llmfit system --json

📊 返回数据格式

推荐模型数据结构

{
  "models": [
    {
      "name": "Qwen/Qwen3-Coder-30B-A3B-Instruct",
      "parameter_count": "30.5B",
      "best_quant": "Q8_0",
      "estimated_tps": 18.4,
      "fit_level": "Marginal",
      "score": 86.5,
      "use_case": "Code generation and completion",
      "run_mode": "CPU",
      "runtime": "llama.cpp"
    }
  ]
}

评分成分

  • quality - 模型质量评分 (0-100)
  • fit - 硬件匹配度 (0-100)
  • speed - 预期速度评分 (0-100)
  • context - 上下文长度评分 (0-100)

🎨 使用技巧

1. 根据场景选择

场景参数说明
通用--use-case general适合日常使用
编码--use-case coding适合代码生成和补全
推理--use-case reasoning适合逻辑推理任务
聊天--use-case chat适合对话交互

2. 硬件优化

# 指定 RAM 容量
llmfit --ram=16G recommend --json

# 指定 GPU VRAM
llmfit --memory=24G recommend --json

# 指定 CPU 核心数
llmfit --cpu-cores=16 recommend --json

3. 上下文长度

# 长上下文推荐
llmfit --context=131072 recommend --json

# 特定模型定制
llmfit plan "Qwen/Qwen2.5-Coder-14B-Instruct" --context=8192

🔍 常见问题

Q: 为什么推荐都是 CPU-only？

A: 你的系统 GPU VRAM 无法被自动检测。如果 GPU 正常，可以尝试手动指定：

llmfit --memory=16G --json system

Q: 如何获取已安装的模型？

A: 使用 llmfit list 命令列出已安装模型

Q: 如何刷新模型数据库？

A: 运行更新脚本：

cd C:/Users/admin/.openclaw/workspace/llmfit
./scripts/update_models.sh

Q: 如何在 Docker 中使用？

A: 使用官方 Docker 镜像：

docker run ghcr.io/alexsjones/llmfit --version

📚 更多资源

作者: AlexsJones (llmfit 原作者)
OpenClaw 集成: 基于官方 skill 包
许可证: MIT