local-llm

Solid

Локальный LLM-стек на Mac (Apple Silicon, MLX) под приватность и запасной режим. NL-вход к установке/запуску/переключению моделей + слой суждения для мониторинга новых моделей. Тонкая обёртка над скриптами РП404, не замена.

AI & Automation 43 stars 125 forks Updated today MIT

Install

View on GitHub

Quality Score: 84/100

Stars 20%
55
Recency 20%
100
Frontmatter 20%
70
Documentation 15%
100
Issue Health 10%
50
License 10%
100
Description 5%
100

Skill Content

# Локальный LLM-стек (local-llm) > **Scope:** NL-вход к локальному LLM-стеку (установка / запуск / статус / переключение модели) + слой суждения для оценки находок монитора новых моделей. > **Not in scope:** механика (установка, состояния, переключение, архив) — она в детерминированных скриптах (различение «Скрипт ≠ Агент»). Скилл их **вызывает**, не дублирует логику. Источник истины статусов моделей — каталог + `model-lifecycle.py`. > **JOB стека:** приватность (задачи с персональными данными, что нельзя слать в облако) + запасной режим (без сети / кончились токены облака). См. `ADR-001-local-llm-stack.md`. ## Расположение бандла Управляющие скрипты — самодостаточный бандл (каждый работает из своей директории). Путь резолвится через env, дефолт — `extensions/local-llm/` внутри IWE-установки: ```bash BUNDLE="${IWE_LOCAL_LLM_DIR:-$HOME/IWE/extensions/local-llm}" ``` - venv стека: `~/.iwe-local-llm/.venv` (ставит установщик). - Активная модель + состояние сервера: `~/.iwe-local-llm/` (`active-model`, `server.pid`, `server.log`). ## When to use - «поставь / установи локальную модель» → установка под железо (Шаг 1). - «покажи модели» / «какие модели есть» → список по состояниям (Шаг 2). - «запусти / останови» / «статус» → управление сервером (Шаг 2). - «переключи модель» / «переключи на 14B» → смена активной модели (Шаг 3). - «какие новые модели вышли» / «проверь новые модели» → мониторинг + суждение об adopt (Шаг 4). ## Algorithm ### Шаг 1 — установка (механика → скрипт...

Details

Author
TserenTserenov
Repository
TserenTserenov/FMT-exocortex-template
Created
5 months ago
Last Updated
today
Language
Shell
License
MIT

Integrates with

Similar Skills

Semantically similar based on skill content — not just same category

AI & Automation Listed

delegating-to-local-llm

Delegates a task to a local LLM running as a Pi coding-agent session in a herdr pane - the subagent is visible in herdr, can be steered mid-session, and costs no cloud tokens. Use when delegating work to a local model, spawning a Pi subagent, offloading a task to omlx (qwen, gemma), or running agent work offline. Not for Claude Code's own Agent tool or subagents inside Pi.

8 Updated 1 weeks ago
isvlasov
AI & Automation Listed

local-offload-setup

Use when setting up the "local-offload" harness on a Windows machine — a free local Gemma-4 cascade that lets a coding agent delegate short-context grunt work (summarize / classify / extract / triage) so those tokens never hit the cloud context. Cross-vendor: NVIDIA (CUDA, ≥8GB), AMD Radeon incl. RDNA3 iGPUs like the 780M/gfx1103 (Vulkan, native Windows), or CPU-only fallback. Builds a pinned llama.cpp + llama-swap stack, pulls the Gemma-4 QAT family (E2B/E4B/26B-A4B) + EmbeddingGemma, builds the Go CLI/MCP + local coding agent, and registers it with Claude Code. Triggers: "set up local offload", "install the local-offload harness", "offload model setup", "give Claude a free local model", "install the AMD/NVIDIA offload stack".

3 Updated today
dmmdea
AI & Automation Listed

ollama-local

Local LLM inference with Ollama. Use when setting up local models for development, CI pipelines, or cost reduction. Covers model selection, LangChain integration, and performance tuning.

6 Updated today
ArieGoldkin