Животные меняются при загрузке страницы
Как провести конкурентный SEO‑анализ с помощью Ahrefs и Screaming Frog: чеклист
Карточки, чек-листы, таблицы и примеры помогают быстро найти нужный ответ.
В современном интернет‑маркетинге конкурентный анализ – ключ к пониманию сильных и слабых сторон рынка. С помощью Ahrefs и Screaming Frog можно собрать данные о ссылках, контенте и технической реализации сайтов конкурентов, а затем систематизировать их в едином чек‑листе. Ниже – подробный план действий, который поможет получить точный и проверяемый результат.
1. Подготовьте список сайтов конкурентов и ключевые запросы. 2. С помощью Ahrefs получите данные о ссылках, органических позициях и трафике. 3. С помощью Screaming Frog проанализируйте структуру, мета‑данные и технические ошибки. 4. Синтезируйте данные в таблицу, отметьте «плохие» и «положительные» моменты. 5. Проверьте выводы через чек‑лист, устраните ошибки и запустите мониторинг.
Что нужно подготовить
Перед запуском конкурентного анализа важно собрать базу, которая станет фундаментом для всех последующих шагов. Это включает в себя перечень сайтов‑конкурентов, набор ключевых запросов и гарантированный доступ к инструментам Ahrefs и Screaming Frog.
- Список целевых сайтов: example.com, competitor1.com, competitor2.com – запишите точные URL, чтобы избежать ошибок при сканировании.
- Набор ключевых запросов: выберите 10–15 фраз, отражающих бизнес‑цели и пользовательский поиск, например «купить ноутбук», «лучшие смартфоны 2024», «сравнение цен на электронику».
- Доступы к Ahrefs: убедитесь, что у вас есть API‑ключ и достаточный лимит запросов; проверьте, что аккаунт включён в проект и имеет доступ к Backlink‑ и Keyword‑Data.
- Доступы к Screaming Frog: установите последнюю версию, включите режим “User Agent” под Googlebot, настройте лимит запросов в соответствии с лимитами вашего сервера, и подготовьте файл robots.txt для корректного обхода.
При подготовке убедитесь, что все данные актуальны: обновите список сайтов, пересмотрите ключевые запросы после анализа трендов, и проверьте, что доступы к Ahrefs и Screaming Frog работают без ограничений. Это гарантирует точность и полноту последующего анализа.
Сбор данных в Ahrefs
- Backlink‑profile: в разделе «Backlinks» нажмите «Export». Откройте CSV, проверьте столбцы «Referring Domains», «Anchor Text» и «Link Type». Сохраните файл – это полный список внешних ссылок и их распределение по анкору.
- Органические позиции: перейдите в «Organic Keywords», выберите «Export». Откройте файл, убедитесь, что в таблице есть «Keyword», «Position», «Search Volume» и «Traffic». Сохраните. Это покажет, какие запросы приносят трафик и где сайт стоит.
- Топ‑страницы: в «Top Pages» экспортируйте CSV. В открытом файле найдите «URL», «Clicks», «Impressions», «CTR» и «Position». Сохраните. Эти данные позволяют определить, какие страницы работают лучше всего и где есть потенциал для улучшения.
Сбор данных в Screaming Frog
- Запустите Screaming Frog, введите корневой URL, выберите «User Agent» → «Googlebot», установите глубину 10, включите «Crawl All URLs».
- В «Configuration» → «Spider» включите «Crawl JavaScript», «Crawl Canonical Links», «Crawl Images» и «Crawl Robots.txt».
- Нажмите «Start» и дождитесь завершения сканирования (обычно 5–15 мин).
- В «Internal» → «Response Codes» → «200 OK» экспортируйте таблицу: «Export → CSV». В файле будут URL, статус, заголовки, meta‑описания.
- Для редиректов отфильтруйте «Response Codes» → «3xx» → «301/302» и экспортируйте. Проверьте цепочки: «Redirects» → «View Redirect Chain».
- Дублирующие страницы: в «Internal» → «Duplicate Content» отфильтруйте «Canonical» и «Same Content». Экспортируйте список с URL и заголовками.
- 404‑ошибки: «Response Codes» → «404 Not Found». Экспортируйте список для последующего исправления ссылок.
- JavaScript‑контент: откройте «Response Body» для любой страницы, убедитесь, что критический контент виден в «Rendered HTML». Если нет – включите «Render JavaScript» в настройках.
- Lazy‑loading: в «Images»‑таблице найдите «Lazy Loaded» → «true». Проверьте, что изображения загружаются после скролла, открыв страницу в браузере с DevTools → Network → фильтр «Img».
- Сохраните все экспортированные CSV‑файлы в папку «ScreamingFrog‑Export» и откройте в Excel для дальнейшего анализа.
Синтез и сравнение данных
| Параметр | Ahrefs | Screaming Frog | Синтез |
|---|---|---|---|
| Общее число обратных ссылок | 12 345 | — | Основной источник: Ahrefs |
| Уникальные источники ссылок | 987 | — | Целевые домены для outreach |
| Средний органический трафик | 45 678 | — | Приоритезация страниц по трафику |
| Ключевые слова в топ‑10 | 1 234 | — | Оптимизация контента |
| 404‑ошибки | — | 56 | Нужно исправить или перенаправить |
| Дублирующий контент (canonical) | — | 12 | Установить правильные canonical‑теги |
| Среднее время загрузки (ms) | — | 1 200 | Оптимизировать ресурсы |
| Глубина обхода | — | 10 уровней | Убедиться, что важные страницы не ниже 5 уровня |
| Индексируемые страницы | — | 3 210 | Проверить robots.txt и meta robots |
- Анализировать ссылки из Ahrefs для выбора наиболее влиятельных доменов и анкорных текстов.
- Исправлять 404‑ошибки и устранять цепочки редиректов, выявленные Screaming Frog.
- Устанавливать canonical‑теги там, где найден дублирующий контент, чтобы не разбивать рейтинг.
- Оптимизировать страницы с высоким трафиком, но низкими позициями, через внутренние ссылки и контент‑обновления.
- Следить за Core Web Vitals, используя метрики Screaming Frog, и устранять медленные ресурсы.
- Переориентироваться на спам‑ссылки из Ahrefs может привести к санкциям.
- Игнорирование 404‑ошибок ухудшает пользовательский опыт и расходует бюджет обхода.
- Неправильные canonical‑теги разбивают ссылочный вес и снижают позиции.
- Отсутствие оптимизации скорости негативно влияет на Core Web Vitals и ранжирование.
- Чрезмерные редиректы создают петли и увеличивают время обхода.
Чек‑лист проверки выводов
- Сравните показатели organic traffic, clicks и impressions из Ahrefs с теми же метриками в Search Console за одинаковый период. Отклонения более 5 % указывают на погрешность данных.
- Проверьте список URL в Screaming Frog: убедитесь, что все сканируемые страницы находятся в sitemap, нет дублирующих записей (разные формы URL), и каждый canonical‑tag указывает на правильный URL.
- Проверьте, что ключевые запросы из Ahrefs полностью покрывают запросы из Search Console. Если какие‑то запросы из Search Console отсутствуют в Ahrefs, добавьте их в список для дальнейшего анализа.
Частые ошибки и как их избежать
- Переоценка ссылок из низкокачественных источников – приводит к неверной оценке профиля, потере доверия поисковика и штрафам. Чтобы избежать, проверяйте Domain Rating и Trust Flow, отфильтровывайте спам‑ссылки в Ahrefs, а в Screaming Frog отмечайте “nofollow” и “noindex” страницы.
- Недооценка влияния JavaScript‑контента – многие поисковые боты не видят динамически загруженные ключевые слова, что снижает видимость. Используйте “Render JavaScript” в Screaming Frog, проверяйте, что критический контент доступен в исходном HTML, и применяйте пререндеринг при необходимости.
- Игнорирование локальных и региональных факторов – при отсутствии geo‑целевой информации сайт теряет локальный трафик и позиции. Включайте в анализ локальные ключевые слова, проверяйте наличие локальных метатегов, настройте hreflang и Google My Business, а в Ahrefs смотрите региональные показатели.
Тестирование результатов и корректировка
Перед деплоем изменений проведите комплексный тест, который покажет, как новые контентные и технические правки влияют на пользовательский опыт и индексацию. Сравните результаты с историческими данными, чтобы убедиться, что позиция по выбранному ключу не упала и Core Web Vitals улучшились.
- Проверьте, что страница загружается без ошибок 4xx/5xx в incognito‑режиме.
- Запустите Lighthouse в Chrome DevTools, убедитесь, что баллы по Performance, Accessibility, Best Practices и SEO ≥ 90.
- Сравните Core Web Vitals (LCP, FID, CLS) с предыдущим snapshot’ом: LCP ≤ 2.5 с, CLS ≤ 0.1.
- Проверьте наличие canonical‑тега и правильность rel=canonical.
- Убедитесь, что meta‑описание и заголовок не пересекаются с другими страницами.
- Проверьте, что все внутренние ссылки работают и не ведут на 404.
- Включите PWA‑функциональность: Service Worker зарегистрирован, manifest.json валиден, offline fallback возвращает страницу.
- Проверьте, что Google Search Console не сигнализирует о новых проблемах после обновления.
| Метрика | Базовый показатель | Требуемый минимум | Текущий результат |
|---|---|---|---|
| LCP | 2.7 с | ≤ 2.5 с | — |
| CLS | 0.12 | ≤ 0.1 | — |
| PageSpeed Score | 88 | ≥ 90 | — |
| Canonical | ✓ | ✓ | ✓ |
| 404‑страниц | 0 | 0 | — |
Мониторинг после запуска
Контроль после запуска — это постоянный процесс проверки ключевых показателей, чтобы быстро реагировать на изменения в конкурентной среде и техническом состоянии сайта.
- Ежемесячно экспортировать отчёт из Ahrefs (Backlinks, Organic Keywords, Site Audit) и сохранять в облачное хранилище.
- Планировать сканирование Screaming Frog каждый раз, когда на сайте появляются новые разделы или обновляются ключевые страницы.
- Настроить автоматические оповещения о критических ошибках: 404, slow‑load (>4 s), broken internal links, duplicate meta tags.
- Проверять обновлённые отчёты на наличие новых конкурентов и изменивших позиций.
- Сравнивать текущие Core Web Vitals с предыдущими версиями, чтобы отследить влияние PWA‑интеграции.
| Параметр | Что смотреть |
|---|---|
| Backlinks count | Рост/падение, новые источники, анкор‑текст |
| Organic Keywords | Позиции, изменения в CTR, новые запросы |
| 404 errors | Количество, страницы, источники |
| Page load time | Среднее, медленные страницы, влияние сервис‑воркера |
| Core Web Vitals | LCP, FID, CLS, сравнение с предыдущими сканами |
Вопросы и ответы
Как быстро собрать данные о ссылках конкурентов в Ahrefs?
В Ahrefs откройте Site Explorer, введите URL конкурента, перейдите в раздел «Backlinks», примените фильтры по referring domains и anchor text, затем нажмите «Export» и выберите CSV. Это даст полный список внешних ссылок за считанные секунды.
Какие параметры в Screaming Frog наиболее важны для технического аудита?
В Screaming Frog ключевые параметры для аудита: коды ответа (4xx/5xx), canonical tags, hreflang, duplicate titles, broken links, скорость загрузки, внутренние ссылки и мета‑теги. Фокус на этих полях выявит основные технические проблемы.
Как определить целевых конкурентов для анализа?
Составьте список сайтов, которые ранжируются по вашим целевым запросам, имеют высокий трафик и сильный ссылочный профиль. Выбирайте страницы в пределах 3–5 позиций от ваших, чтобы сравнение было релевантным.
Как использовать Ahrefs Site Explorer для анализа ключевых слов?
Введите URL в Site Explorer, откройте вкладку «Organic Keywords», отфильтруйте по объёму и позиции, экспортируйте список. Сравните его с вашими страницами, чтобы увидеть, какие ключи конкуренты уже захватили.
Как экспортировать данные из Ahrefs?
В любом отчёте Ahrefs нажмите «Export», выберите CSV или Excel, сохраните файл. Откройте его в таблице, чтобы провести дальнейший анализ, например, сравнить объёмы трафика или качество ссылок.
Как настроить Screaming Frog для обхода сайта?
В Screaming Frog в настройках «User-Agent» выберите «Googlebot», включите «Crawl all subdomains», задайте лимит страниц, чтобы избежать блокировки, и запустите сканирование. Это обеспечит полный обход сайта.
Как интерпретировать результаты Ahrefs Backlink Profile?
Backlink Profile в Ahrefs показывает количество и качество ссылок, их тип (dofollow/nofollow), источники, анкорный текст и наличие токсичных ссылок. Анализ этих данных позволяет понять сильные и слабые стороны профиля.
Как выявить технические проблемы с помощью Screaming Frog?
Используйте отчёты Screaming Frog: «Response Codes» для 4xx/5xx, «Canonical» для дублирования, «Meta Robots» для индексации, «Redirects» для цепочек. Это быстро выявит ошибки, которые мешают поисковикам индексировать ваш сайт.
Как сравнить органический трафик конкурентов?
В Ahrefs перейдите в раздел «Traffic» → «Organic Traffic», сравните объёмы по месяцам, выявите пики и сезонные тренды. Это покажет, где конкуренты привлекают аудиторию и какие запросы приносят трафик.
Как оценить качество ссылок конкурентов?
Оцените ссылки конкурентов по Domain Rating, Page Rating, релевантности анкора, контенту источника и авторитетности площадки. Учитывайте наличие спама и низкокачественных ссылок, чтобы понять, насколько они ценны.
Важно
Материал носит информационный характер. Перед внедрением рекомендаций учитывайте нишу, регион, конкурентов, текущее состояние сайта и бизнес-цели проекта.
Материал подготовлен и проверен редакцией AX.SEO
Редакция AX.SEO готовит материалы о SEO, разработке, AI, аналитике, маркетинге и росте digital-проектов.
Проверяет практическую применимость рекомендаций, корректность терминов и соответствие материала digital-тематике.