Первые шаги в Screaming SEO Spider: установка и начало работы 02.12.2015

Вступление

Screaming frog SEO spider – парсер, который умеет парсить весь сайт целиком или отдельно указанные URLстраниц.

В этой статье мы рассмотрим, как пользоваться программой Screaming frog SEO spider, и основные ее настройки, которые необходимы для работы программы, покажем, как можно упростить парсинг сайта, используя Screaming frog SEO spider.

В нашей инструкции использована бесплатная версия программы Screaming frog SEO spider, которую можно скачать с официального сайта по ссылке: http://www.screamingfrog.co.uk/SEO-spider/. Бесплатная версия программы имеет ограничения в настройках. Ее нельзя так гибко настроить, как платную версию. Второе ограничение бесплатной версии Frog SEO spider: максимальное количество проверяемых страниц – 500. Обычно этого достаточно для проверки небольших сайтов.

Установка Screaming frog SEO spider

Чтобы установить программу на компьютер, ее необходимо скачать. Во избежание вирусов рекомендуем скачивать программу только с официального сайта.

Как установить Screaming frog SEO spider:

1. Переходим на официальный сайт программы (http://www.screamingfrog.co.uk)
2. На главной странице переходим в меню «SEO Spider» и нажимаем «Download»
3. На странице загрузки в правой части страницы нажимаем кнопку «DOWNLOAD». На скриншоте ниже красным прямоугольником обведена кнопка загрузки клиента для ОС Windows.

   

4. Запускаем файл, который скачали. У нас появляется окно, в котором нажимаем кнопку «Next»:

   

5. В следующем окне нажимаем кнопку «Install» и ждем некоторое время, пока завершится процесс установки.

   

6. После того, как завершится процесс установки, нажимаем кнопку «Close»

   

Теперь программа Frog SEO Spider установлена на вашем компьютере.

Как работать со Screaming frog SEO spider

Парсинг страниц с помощью Spider SEO не занимает много времени и усилий. После запуска программы ее необходимо совсем немного настроить под ваши требования.

Первое, что нам нужно сделать, – настроить режим парсинга (вкладка «Mode»). В зависимости от ваших потребностей, можно выбрать один из доступных режимов работы программы.

• Spider – парсинг сайта.
• List – парсинг указанных URL адресов.
• SERP – проверка Title и Description страниц. Расчет количества знаков, ширины и длины в пикселях, прежде чем метатеги попадут на сайт.

Режим Spider

В этом режиме происходит парсинг всего сайта полностью, в том числе парсинг изображений. Здесь все просто – вставляем URL сайта в адресную строку и нажимаем кнопку «Start»

Режим List

В этом режиме программа будет парсить только те URL адреса, которые вы зададите.

Список адресов можно добавить в Screaming frog несколькими способами. Для этого делам следующее:

1. Выбираем режим «List»
2. Нажимаем кнопку «Upload List» и в выпадающем меню выбираем способ добавления URL адресов:
   • Загрузить файл со списком URL адресов кнопкой «From a File…»
   • Ввести вручную, выбрав пункт «Enter Manually…»
   • Скопировать URL адреса в буфер обмена и вставить их в программу кнопкой «Past»

После того как Screaming frog SEO spider спарсит ваш сайт или заданные URL адреса, в главном окне программы появится отчет с адресами и информацией о них.

Отчет сформирован так, что каждая строка – это отдельная страница сайта или же просто ссылка, а столбцы – характеристики.

Переходим к основным вкладкам программы, которые расположены в верхней части главного окна нашей программы. В каждой вкладке есть свои таблицы с URL адресами и фильтрами по характеристикам.

Подробнее о вкладках и о том, за что они отвечают:

• Internal – обычно она открыта по умолчанию и отображает основные собранные данные по URL адресам, в том числе ответ сервера. В этой вкладке отображено больше всего параметров.
• External – здесь отображаются исходящие ссылки.
• Response Codes – вкладка, которая отображает заголовки HTTP страниц.
• URL – здесь отображаются проблемные URL адреса. Изначально мы видим все URL, которые программа спарсила; чтобы посмотреть проблемные ссылки, необходимо выбрать тип проблемы в фильтре.
• Page Titles – вкладка, где можно отследить страницы с проблемными заголовками. Аналогично предыдущему пункту, чтобы увидеть адреса страниц с проблемными заголовками, необходимо выбрать тип проблемы в фильтре.
• Meta Description – аналогично Page Titles, только для описания страниц (метатег Description).
• Meta Keywords – отображает результаты по содержанию тега Keywords для каждой страницы. Здесь можно увидеть адреса страниц с дублями ключевых слов или страницы, где метатег Keywords не заполнен.
• Вкладки H1 и H2 соответственно отображают результаты по всем заголовкам H1 и H2, найденные на каждой странице сайта.
• Images – эта вкладка отображает список изображений, их размер и количество ссылающихся на них ссылок.
• Directives – здесь можно увидеть типы URL адресов: follow/nofollow, refresh, canonical и другие.

На каждой вкладке, как мы уже говорили ранее, есть фильтр, кнопка экспорта, кнопка вида таблицы и поисковая строка.

Подробнее:

• Фильтр – таблицы на каждой вкладке можно фильтровать по параметрам, которые в свою очередь зависят от типа вкладки.
• Кнопка экспорта – таблицы (отчеты) можно экспортировать. Экспортируются они с учетом фильтра и сортировки. (Например, если вы указали в фильтре файлы только CSS, и у вас отображается только CSS файл, то и в экспорт попадут исключительно CSS файлы.)
• Вид – здесь есть 2 варианта: древовидный вид и список (второй вид отображен на скриншоте).
• Строка поиска – поиск общий, указанные значения ищутся во всех параметрах отчета активной вкладки.

В нижней части программы Screaming frog SEO spider есть окно с вкладками. В этом окне выводится информация по каждому выбранному URL адресу из основного окна. Подробнее о каждой вкладке:

• URL Info – основная информация о ссылке
• Inlinks – входящие ссылки
• Outlinks – исходящие ссылки
• Image Info – информация об изображениях, связанных с выбранным URL адресом.
• SERP Snippet – информация о сниппете выбранного URL адреса.

И последнее, что мы разберем в этой статье, – правый блок программы, у которого, аналогично остальным блокам, есть вкладки, которые расположены вверху.

Подробнее о каждой из вкладок:

• Overview – здесь можно увидеть количество элементов и его процентную часть от общего количества элементов. Отображается как общее количество, так и количество элементов каждого типа.
• Site Structure – в этой вкладке отображается структура сайта.
• Response Times – эта вкладка отвечает за отображения скорости загрузки элементов сайта. На примере ниже мы видим, что 332 элемента нашего сайта загружается менее чем за 1 секунду и 8 элементов загружается за время менее 2 секунд. В третьем столбце выводится процентная доля каждой группы от общего количества.

Заключение

В этой инструкции мы рассказали об основных пунктах меню Screaming frog SEO spider, которые необходимо знать, чтобы приступить к работе с программой, а также показали основные элементы программы, немного рассказав о каждом.

После прочтения данной инструкции парсинг сайта – уже не проблема для вас. Напоследок добавим, что Screaming frog SEO spider может пригодиться при проверке перелинковки сайта или, например, при проверке ответа сервера.

Screaming frog SEO spider – это универсальная и гибкая программа, которая может пригодиться при проверке сайта на различные параметры в абсолютно разных случаях.

А если вы хотите получить больше информации про подобные сервисы, наши коллеги подготовили небольшой обзор-сравнение Screaming Frog с Comparser.