local-llm

Solid

Локальный LLM-стек на Mac (Apple Silicon, MLX) под приватность и запасной режим. NL-вход к установке/запуску/переключению моделей + слой суждения для мониторинга новых моделей. Тонкая обёртка над скриптами РП404, не замена.

AI & Automation 52 stars 148 forks Updated today MIT

Install

View on GitHub

Quality Score: 82/100

Stars 20%
57
Recency 20%
100
Frontmatter 20%
70
Documentation 15%
100
Issue Health 10%
50
License 10%
100
Description 5%
100

Skill Content

# Локальный LLM-стек (local-llm) > **Scope:** NL-вход к локальному LLM-стеку (установка / запуск / статус / переключение модели) + слой суждения для оценки находок монитора новых моделей. > **Not in scope:** механика (установка, состояния, переключение, архив) — она в детерминированных скриптах (различение «Скрипт ≠ Агент»). Скилл их **вызывает**, не дублирует логику. Источник истины статусов моделей — каталог + `model-lifecycle.py`. > **JOB стека:** приватность (задачи с персональными данными, что нельзя слать в облако) + запасной режим (без сети / кончились токены облака). См. `ADR-001-local-llm-stack.md`. ## Расположение бандла Управляющие скрипты — самодостаточный бандл (каждый работает из своей директории). Путь резолвится через env, дефолт — `extensions/local-llm/` внутри IWE-установки: ```bash BUNDLE="${IWE_LOCAL_LLM_DIR:-$HOME/IWE/extensions/local-llm}" ``` - venv стека: `~/.iwe-local-llm/.venv` (ставит установщик). - Активная модель + состояние сервера: `~/.iwe-local-llm/` (`active-model`, `server.pid`, `server.log`). ## When to use - «поставь / установи локальную модель» → установка под железо (Шаг 1). - «покажи модели» / «какие модели есть» → список по состояниям (Шаг 2). - «запусти / останови» / «статус» → управление сервером (Шаг 2). - «переключи модель» / «переключи на 14B» → смена активной модели (Шаг 3). - «какие новые модели вышли» / «проверь новые модели» → мониторинг + суждение об adopt (Шаг 4). ## Algorithm ### Шаг 1 — установка (механика → скрипт...

Details

Author
TserenTserenov
Repository
TserenTserenov/FMT-exocortex-template
Created
7 months ago
Last Updated
today
Language
Shell
License
MIT

Integrates with

Similar Skills

Semantically similar based on skill content — not just same category