Радар - автоматическое отслеживание изменений


Радар - это инструмент для автоматического отслеживания изменений на сайтах. В качестве отслеживаемых элементов используются заголовок страницы (тег title), описание страницы (мета-тег description), заголовок документа первого уровня (тег h1) и содержимое страницы (контент). Также автоматически отслеживаются HTTP коды страниц.

Настройка отслеживания


Как указать Роботу, какие участки отслеживать?


Отслеживание изменений тега title, мета-тега description, тега h1 и содержимого страниц сайта происходит автоматически.

Чтобы отслеживать определенные участки содержимого страниц (один или несколько блоков текста или участков html кода страницы), необходимо установить специальные теги в исходный код страниц сайта.

<!--start_content--> - в начало отслеживаемого участка.
<!--end_content--> - в конец отслеживаемого участка.

Разрешающие теги
Регулярное выражение (не рекомендуемый метод)
Для поиска контента, который необходимо отслеживать можно использовать регулярное выражение.

Например:

<div id="content">(.*?)<\/div>

Для корректной работы сервиса, тегу должен быть присовен class, id или другие аттрибуты, по которым Робот сможет отличить этот тег от других, используемых на вашем сайте.

Регулярное выражение
Использовать регулярное выражение можно только для указания того, что необходимо отслеживать. Запретить отслеживать определенные участки таким образом не представляется возможным.

Регулярное выражение установлено
Если вы не знаете как или не хотите использовать регулярное выражение для указания Роботу участков для отслеживания, используйте опцию Специальные теги для поиска контента.


Как указать Роботу, какие участки не отслеживать?


Большинство современных CMS содержат динамический контент, который может меняться при определенных условиях: просмотры страниц, рейтинги, голосования, поиск, сортировка товаров, всевозможные фильтры, статусы (онлайн/оффлайн) и т.п. Как правило, отслеживать изменения перечисленных данных не нужно.

Чтобы запретить Роботу отслеживать динамический контент или любое другое содержимое страницы, которое по тем или иным соображениям отслеживать не требуется, необходимо установить запрещающие теги в исходных код страниц сайта.

<!--start_content_off--> - в начало отслеживаемого участка.
<!--end_content_off--> - в конец отслеживаемого участка.

Запрещающие теги
На одной странице может быть установлено несколько пар тегов:

<!--start_content-->
<!--end_content-->

и

<!--start_content_off-->
<!--end_content_off-->


Для корректной установки тегов рекомендуем обратиться к техническому специалисту.


Страницы для отслеживания


Чтобы настроить отслеживание изменений на страницах сайта выполните следующие действия:

  1. Создайте проект или выберите существующий.
  2. Перейдите на страницу Радар на вкладку Настройки.
  3. Добавьте одну или несколько страниц для отслеживания изменений Страницы для отслеживания изменений или импортируйте страницы из загруженной карты сайта. Импорт страниц из карты сайта по маске Используйте * или / чтобы добавить все страницы из карты сайта. Импорт страниц из карты сайта
  4. Нажмите Применить.


После того как страницы добавлены, нажмите Запуск, чтобы выполнить первую проверку и добавить в базу данных исходные данные.

Запуск Радара

Дождитесь окончания проверки и убедитесь, что данные успешно получены. Обратите внимание, что данные обновились для всех 96 страниц, которые были загружены (96 страниц было загружено для примера. У вас может быть добавлено любое количество страниц для остлеживания изменений).

Данные первой проверки

Теперь, если на одной или нескольких страницах вашего сайта произойдут изменения, Радар обнаружит изменения во время следующей проверки и отобразит измененные данные.

Данные проверки с изменениями
Обратите внимание, что в поле Значение Робот записал текущие данные, а в поле Изменения выделил красным цветом удаленные данные. Таким образом если кто-то случайно или намерено изменит или удалит данные, вы можете быть в курсе этого события.

Отслеживание по расписанию


Чтобы настроить регулярную проверку данных, выполните следующие действия:

  1. Перейдите на вкладку Настройки.
  2. Установите частоту проверок. Частота проверок


Настройка уведомлений


Чтобы настроить уведомление о произошедших изменениях, выполните следующие действия:

  1. Перейдите на вкладку Настройки.
  2. Выберите опцию: уведомлять об изменениях В информере и/или На email. Настройка уведомлений


Email, указанный вами при регистрации в сервисе, будет установлен по умолчанию. При желании, вы можете указать один или несколько электронных адресов других зарегистрированных пользователей сервиса для отправки уведомлений о произошедших изменениях.

Робот Топвизор в логах сервера


При посещении веб-сайта Робот посылает веб-серверу информацию о себе. Это текстовая строка, являющаяся частью HTTP запроса, начинающаяся с User-agent: или User-Agent:.

Робот Топвизор представляется как, User-Agent: Mozilla/5.0 (compatible; TopvisorBot/1.0)