vlm-segmentation-engineering

Solid

Экспертный скилл по прикладной инженерии VLM, сегментационных моделей и диффузионных архитектур для GPU-деплоя. Используй ВСЕГДА когда речь идёт о: SAM2, SAM3, Florence-2, LLaVA, Grounding DINO, OWLv2, YOLO-World, EdgeTAM — выбор модели, интеграция, pipeline, код; диффузионных моделях — UNet/DiT/Flow/Flux, schedulers, LoRA, AMP, ZeRO/FSDP, text encoders (CLIP/Qwen), VAE, CFG; GPU-деплое — MIG, MPS, torch.compile, TorchAO, Triton, memory optimization, два инстанса на H100; open-vocab сегментации и phrase grounding; part-level labeling и instance masks из текстового промпта; замене/fusion текст-энкодеров; fine-tune/LoRA/DreamBooth диффузионных моделей. Триггеры: SAM, Florence, LLaVA, Grounding DINO, YOLO-World, diffusion, UNet, DiT, Flux, LoRA, scheduler, guidance_scale, VAE, CLIP embeddings, Qwen embedder, MIG, MPS, TorchAO, Triton inference, сегментация по тексту, instance masks, open-vocab detection, text-conditioned segmentation. Do NOT use for pure diffusion-only work without a VLM/segmentation component —

AI & Automation 138 stars 21 forks Updated yesterday MIT

Install

View on GitHub

Quality Score: 87/100

Stars 20%
71
Recency 20%
100
Frontmatter 20%
70
Documentation 15%
100
Issue Health 10%
50
License 10%
100
Description 5%
100

Skill Content

# VLM + Segmentation + Diffusion Engineering Скилл охватывает три тесно связанных домена. Выбери нужный разде�� и загрузи соответствующий reference-файл. ## Навигация по доменам | Задача | Reference файл | |--------|---------------| | Выбор модели сегментации, pipeline "текст → маски", VLM-стек, part-labeling | `references/vlm-segmentation.md` | | Диффузионные архитектуры, schedulers, обучение, LoRA, text encoder fusion | `references/diffusion-engineering.md` | | Два инстанса SAM3 на H100, MIG/MPS, memory, профилирование | `references/gpu-deployment.md` | **Правило выбора:** если вопрос смешивает темы (например, "как деплоить диффузионную модель на H100") — прочитай оба релевантных файла. --- ## Быстрые ответы без чтения reference-файлов ### Рекомендованный pipeline "фраза → маски" (дефолт) ``` 1. SAM3 PCS (текстовый концепт) → instance masks + boxes + scores ИЛИ Grounding DINO / OWLv2 / YOLO-World → boxes → SAM2.1 → masks 2. Part-labeling: отдельный классификатор по ROI + фиксированный словарь ``` ### Рекомендованный pipeline "диффузия" (дефолт) ``` 1. Backbone: UNet (просто) или DiT/Flow (масштабирование) 2. Latent diffusion (VAE → латенты → денойзер → VAE decode) 3. Text encoder: CLIP (SD), два CLIP (SDXL), Qwen3 (Flux.2 klein 9B) 4. Fine-tune: начинать с LoRA, full fine-tune только если нужно 5. Memory: AMP (BF16) → checkpointing → ZeRO/FSDP при масштабе ``` ### Два инстанса SAM3 на H100 (дефолт) ``` MIG (рекомендовано) → аппаратная изоляция, QoS гарантиров...

Details

Author
AnastasiyaW
Repository
AnastasiyaW/claude-code-config
Created
4 months ago
Last Updated
yesterday
Language
Python
License
MIT

Bundled in these plugins

Similar Skills

Semantically similar based on skill content — not just same category

AI & Automation Solid

diffusion-engineering

Практическая инженерия диффузионных моделей: архитектуры, обучение, инференс, оптимизация памяти. Использовать при любых задачах с диффузионными моделями: проектирование или модификация архитектуры (UNet/DiT/Flow/Flux), выбор и настройка schedulers/samplers, дообучение (LoRA/DreamBooth/full fine-tune), оптимизация памяти (AMP/checkpointing/ZeRO/FSDP/quantization), замена или fusion текст-энкодеров (CLIP/Qwen), работа с Diffusers, отладка диффузионных пайплайнов, оценка качества (FID/CLIPScore/LPIPS), latent diffusion, VAE, guidance/CFG, rectified flow, Stable Diffusion, SDXL, Flux. Также применять при вопросах про GPU-память при обучении генеративных моделей, text-to-image пайплайны, ControlNet, multi-encoder fusion, WebDataset. Do NOT use for writing FLUX.2 Klein generation prompts (use flux2-klein-prompting) или для FLUX.2 Klein / Qwen-Edit LoRA-тренинга и edit-LoRA (use flux2-lora-training); это общая диффузионная инженерия, не специфика FLUX.2 Klein.

138 Updated yesterday
AnastasiyaW
AI & Automation Solid

flux2-lora-training

Comprehensive reference for training LoRAs on FLUX.2 Klein 9B and Qwen Image Edit 2511 models. Use this skill whenever the user asks about: training LoRAs for flux2/flux 2 klein/qwen-image-edit, before/after edit LoRAs (head swap, face swap, image editing), inpainting LoRAs, training at larger resolutions, latent space expansion, VAE fine-tuning, multi-reference training (2 input images → 1 output), dataset preparation for edit models, zero_cond_t, ai-toolkit/SimpleTuner/DiffSynth configs, BFS head swap LoRA methodology, Qwen Edit architecture, consistency mode, dual encoding, FuseAnyPart, ACE++, maximum training resolution, или любые вопросы об обучении диффузионных моделей. ВСЕГДА используй этот скилл. Do NOT use for writing FLUX.2 Klein generation/edit prompts at inference time (use flux2-klein-prompting), nor for general non-training diffusion architecture/inference/memory work (use diffusion-engineering); this skill is about LoRA/VAE training, not prompting or serving.

138 Updated yesterday
AnastasiyaW
AI & Automation Solid

vllm-nvidia-hardware

NVIDIA AI-hardware + vLLM-platform reference covering Hopper (H100/H200), Blackwell (B100/B200/B300) and Blackwell Ultra, Grace-Blackwell superchips and NVL72 racks (GB200, GB300), Vera Rubin (R100/R300) with VR200 NVL144 and Kyber NVL576, Dell PowerEdge XE family and IR5000/IR7000/IR9048 racks. Per-SKU HBM, FP4/FP8/FP16 TFLOPs, NVLink5, TDP, rack power/cooling (135 kW GB300, 180-220 kW NVL144, 600 kW Kyber), DLC vs RDHx, 800 VDC HVDC. Memory-wall roofline, HBM3E→HBM4 supply 2026. vLLM attention-backend × SM matrix, FP4/FP8 paths, KV connectors, Blackwell gotchas (SM103 TRTLLM hang, 270 vs 288 GB B300 bin split).

3 Updated 2 days ago
air-gapped