Собственный парсер семантики: не коробка, а инструмент, выращенный под свои задачи

Большинство парсеров работают шаблонно: вбили запросы — получили список фраз. Мы пошли другим путём. Разработали инструмент полного цикла: от AI-анализа бизнеса клиента до сгруппированных по товарам ключевых фраз, очищенных от мусора.

Важно: эту программу мы пока используем внутри компании — для своих проектов. Тестируем на реальных задачах, ежедневно дорабатываем логику фильтрации, группировки и AI-проверок. Когда доведём до состояния «поставил и работает без присмотра», будем готовы предлагать как отдельный продукт. А пока — это наш внутренний цех по производству семантики.

Что умеет парсер

1. AI-разведка до старта. Перед сбором фраз система сама изучает сайт клиента: краулит страницы, извлекает текст и отправляет в DeepSeek. На выходе — структурированное описание бизнеса: чем занимается, какие товары и услуги, УТП, целевая аудитория, география. Это позволяет настраивать сбор не по шаблону, а под конкретную нишу.
2. Глубинный обход дерева запросов. Парсер работает как Key Collector: BFS-алгоритм рекурсивно обходит популярные запросы от seed-фраз, уходя на нужную глубину. Стемминг отсекает нерелевантные фразы, но сохраняет разные словоформы — на выходе только то, что действительно ищут.
3. Пофразовый AI-фильтр минус-слов. Каждую собранную фразу проверяет DeepSeek. Если фраза нерелевантна, AI находит слово-триггер и добавляет в минус-слова. Не общий список, а точечная зачистка под конкретный бизнес.
4. Группировка по товарам и услугам, а не по интенту. Стандартные инструменты раскладывают фразы по тегам «цена», «купить», «отзывы». Наш парсер собирает группы вокруг реальных товаров: «Антикошка», «Сетка рабица», «Пластиковые окна». Все модификаторы внутри одной группы — готовая структура для страниц.
5. Поиск семантических дублей. AI находит фразы, которые означают одно и то же, но написаны по-разному: перестановки слов, синонимы, падежные формы. Убираем воду — оставляем чистую семантику.
6. Проектная система. Каждый клиент — отдельный проект со своим AI-анализом, минус-словами, группами и историей. Никакой каши из запросов разных бизнесов.
7. Мастер настройки в 4 шага. Анализ сайта → сбор семантики → минусовка → группировка. Всё в одном интерфейсе, без прыжков между инструментами.
8. Региональная привязка. Полная база городов и регионов России, множественный выбор с автокомплитом. Собираем семантику под конкретную географию.
9. Экспорт без танцев с бубном. CSV с корректной кириллицей, Excel с форматированием и цветными заголовками, сводные листы. Отдаёте менеджеру — и он сразу работает.

Производственная аналогия: Мы не купили готовый станок для нарезки семантики. Мы собрали свой — под свои задачи. Сейчас он работает в нашем цехе, мы его обкатываем, настраиваем и доделываем. Когда убедимся, что он надёжен на 100% — начнём предлагать вам. А пока каждый проект Prom Digital уже получает семантику, собранную этим инструментом.

Технологии

• Python
• XMLRiver / Яндекс.Wordstat API
• DeepSeek API (AI-анализ)
• Стемминг (PyMorphy)
• Flask (веб-интерфейс)
• SQLite / PostgreSQL