← ClaudeAtlas

modelspylisted

对任意 OpenAI 兼容接口做行为取证,识别背后真正在跑的模型家族与档位。查中转站/API 代理/代充前端有没有偷换便宜模型、验证端点是不是宣称的那个模型、批量抽测降智时使用:六路探针(分词器指纹、陷阱题库、生成速度 TPOT、自我披露、知识截止、Function calling)按权重投票,输出候选排名 + 置信度 + MATCHES/MISMATCH 判定和 HTML 报告。英文场景:identify which LLM actually serves an endpoint, detect reseller model downgrade, verify "is this really GPT-6", audit OpenAI-compatible API behavior.
3378925604-a11y/modelspy · ★ 0 · AI & Automation · score 75
Install: claude install-skill 3378925604-a11y/modelspy
# ModelSpy - 模型行为取证 对任意 OpenAI 兼容接口做行为取证,识别背后真正在跑的模型家族与档位,输出带置信度的判定报告。 ## 触发场景 - 用户怀疑中转站/代充站把高配模型换成低配 - 用户想验证某个 API 端点跑的是不是宣称的模型 - 用户说"测一下这个模型降没降智"、"帮我查查这个中转" ## 用法 ### 第 0 步 · 确保二进制可用 优先使用本技能目录 `scripts/` 下已有的 modelspy 程序(Windows 为 `modelspy.exe`,Linux/macOS 为 `modelspy`)。若不存在,从官方 Release 下载到 `scripts/` 目录并按平台改名: - Windows amd64:`https://github.com/3378925604-a11y/modelspy/releases/download/v0.1.0/modelspy-windows-amd64.exe` → 保存为 `scripts/modelspy.exe` - Linux amd64:`https://github.com/3378925604-a11y/modelspy/releases/download/v0.1.0/modelspy-linux-amd64` → 保存为 `scripts/modelspy`,并 `chmod +x` - macOS arm64:`https://github.com/3378925604-a11y/modelspy/releases/download/v0.1.0/modelspy-darwin-arm64` → 保存为 `scripts/modelspy`,并 `chmod +x` 下载后先运行 `-h` 确认可执行,再进入下一步。 ### 第 1 步 · 执行检测 ```powershell & "SKILL_DIR\scripts\modelspy.exe" -base <接口地址> -model <模型名> [-key <API_KEY>] [-expect <宣称模型>] [-json] [-html <报告路径>] ``` ### 参数说明 | 参数 | 必填 | 说明 | |------|------|------| | `-base` | ✅ | OpenAI 兼容接口地址,如 `https://api.openai.com/v1` | | `-model` | ✅ | 调用时使用的模型名,如 `gpt-6-astra` | | `-key` | ❌ | API key(默认读环境变量 `OPENAI_API_KEY`) | | `-expect` | ❌ | 对方宣称的模型(默认同 `-model`) | | `-probes` | ❌ | 只跑指定探针,逗号分隔:`identity,tokenizer,capability,cutoff,speed,toolcall` | | `-json` | ❌ | 输出机器可读 JSON | | `-html` | ❌ | 导出 HTML 可视化报告 | | `-timeout` | ❌ | 单次请求超时秒数(默认 90) | | `-list-probes` | ❌ | 列出全部探针后退出 | | `-version` | ❌ | 显示版本 | ### 探针说明 | 探针 | 说明 | |------|------| | `identity` | 随机措辞询问模型身份,防