web-scraper

# Web Scraper > Вежливый скраппинг HTML-страниц в Markdown/JSON на чистом Python 3 stdlib. Загружай этот скилл когда нужно **извлечь д��нные с веб-страницы**: текст, ссылки и таблицы из выбранных секций — для анализа, отчётов или датасетов. ## 🎯 When to use Use this skill when: - Нужно скачать данные с сайта: текст, ссылки, таблицы из выбранных блоков - Просят «скраппинг», «парсинг сайта», «парсер html», «извлечь данные» - Нужен быстрый дамп страницы в Markdown или JSON без установки библиотек - Нужен вежливый сбор данных с учётом robots.txt и rate limit Do NOT use when: - Нужен полноценный CSS/XPath-парсер с вложенными селекторами — это `BeautifulSoup`/`lxml` - Нужен обход JS-рендеринга (SPA) — stdlib не исполняет JavaScript - Нужен массовый сбор тысяч страниц — согласуй с владельцем сайта и ToS - Нужны данные из API — используй прямой HTTP-запрос к API ## 📦 Files - `SKILL.md` — этот файл - `scripts/scrape.py` — скрапер (Python 3 stdlib: `urllib.request`, `html.parser`) ## 🧰 Usage ```bash # Markdown (по умолчанию), селектор по классу: python3 skills/web-scraper/scripts/scrape.py --url https://example.com --selector "div.item" # JSON, селектор по id: python3 skills/web-scraper/scripts/scrape.py --url https://example.com --selector "div#list" --output json # Все абзацы страницы: python3 skills/web-scraper/scripts/scrape.py --url https://example.com --selector "p" # Локальный файл (без сети, для теста): python3 skills/web-scraper/scripts/scrape.py --url file:///t...