Радар (отслеживание изменений страниц)

Радар - это инструмент для автоматического отслеживания изменений на сайтах. В качестве отслеживаемых элементов используются заголовок страницы (тег title), описание страницы (мета-тег description), заголовок документа первого уровня (тег h1) и содержимое страницы (контент). Также автоматически отслеживаются HTTP коды страниц.

Чтобы перейти на страницу Радар, выполните следующие действия:

  1. Войдите в аккаунт Топвизор.
  2. Создайте проект или выберите существующий.
  3. Нажмите для перехода на страницу Радар.

Радар

Настройка отслеживания

Для настройки сканирования и отслеживания контента необходимо выбрать способ: теги или регулярное выражение. Возможность игнорировать HTML код также поддерживается. Опция может понадобиться, если отслеживать все изменения (в том числе теги html, js) в коде страниц не трубуется.

Опции отслеживания

Как указать Роботу, какие участки отслеживать?


Отслеживание изменений тега title, мета-тега description, тега h1 и содержимого страниц сайта происходит автоматически.

Чтобы отслеживать определенные участки содержимого страниц (один или несколько блоков текста или участков html кода страницы), необходимо установить специальные теги в исходный код страниц сайта.

<!--start_content--> - в начало отслеживаемого участка.
<!--end_content--> - в конец отслеживаемого участка.

Разрешающие теги
Регулярное выражение (не рекомендуемый метод)
Для поиска контента, который необходимо отслеживать можно использовать регулярное выражение.

Например:

<div id="content">(.*?)<\/div>

Для корректной работы сервиса, тегу должен быть присовен class, id или другие аттрибуты, по которым Робот сможет отличить этот тег от других, используемых на вашем сайте.

Регулярное выражение
Использовать регулярное выражение можно только для указания того, что необходимо отслеживать. Запретить отслеживать определенные участки таким образом не представляется возможным.

Если вы не знаете как или не хотите использовать регулярное выражение для указания Роботу участков для отслеживания, используйте опцию Специальные теги для поиска контента.


Как указать Роботу, какие участки не отслеживать?


Большинство современных CMS содержат динамический контент, который может меняться при определенных условиях: просмотры страниц, рейтинги, голосования, поиск, сортировка товаров, всевозможные фильтры, статусы (онлайн/оффлайн) и т.п. Как правило, отслеживать изменения перечисленных данных не нужно.

Чтобы запретить Роботу отслеживать динамический контент или любое другое содержимое страницы, которое по тем или иным соображениям отслеживать не требуется, необходимо установить запрещающие теги в исходных код страниц сайта.

<!--start_content_off--> - в начало отслеживаемого участка.
<!--end_content_off--> - в конец отслеживаемого участка.

Запрещающие теги
На одной странице может быть установлено несколько пар тегов <!--start_content-->, <!--end_content--> и <!--start_content_off-->, <!--end_content_off-->. Для корректной установки тегов рекомендуем обратиться к техническому специалисту.

Страницы для отслеживания

Чтобы настроить отслеживание изменений на страницах сайта выполните следующие действия:

  1. Создайте проект или выберите существующий.
  2. Перейдите на страницу Радар на вкладку Настройки.
  3. Добавьте одну или несколько страниц для отслеживания изменений или импортируйте страницы из загруженной карты сайта. Используйте * или / чтобы добавить все страницы.
  4. Нажмите Применить.

Как добавить страницы (ввод или копирование).
Страницы для отслеживания изменений
Импорт и удаление страниц из карты сайта (по маске).
Импорт страниц из карты сайта по маске
Как добавить все страницы из карты сайта.
Импорт страниц из карты сайта

Запуск и первая проверка

После того как страницы добавлены, нажмите Запуск, чтобы выполнить первую проверку и добавить в базу данных исходные данные.

Запуск Радара
Дождитесь окончания проверки и убедитесь, что данные успешно получены. Обратите внимание, что данные обновились для всех 96 страниц, которые были загружены (96 страниц было загружено для примера. У вас может быть добавлено любое количество страниц для остлеживания изменений).

Данные первой проверки
Теперь, если на одной или нескольких страницах вашего сайта произойдут изменения, Радар обнаружит изменения во время следующей проверки и отобразит измененные данные.

Данные проверки с изменениями
Обратите внимание, что в поле Значение Робот записал текущие данные, а в поле Изменения выделил красным цветом удаленные данные. Таким образом если кто-то случайно или намерено изменит или удалит данные, вы можете быть в курсе этого события.

Отслеживание по расписанию

Чтобы настроить регулярную проверку данных, выполните следующие действия:

  1. Перейдите на вкладку Настройки.
  2. Установите частоту проверок. Частота проверок

Настройка уведомлений

Чтобы настроить уведомление о произошедших изменениях, выполните следующие действия:

  1. Перейдите на вкладку Настройки.
  2. Выберите опцию: уведомлять об изменениях В информере и/или На email. Настройка уведомлений


Email, указанный вами при регистрации в сервисе, будет установлен по умолчанию. При желании, вы можете указать один или несколько электронных адресов других зарегистрированных пользователей сервиса для отправки уведомлений о произошедших изменениях.

Робот Топвизор в логах сервера

При посещении веб-сайта Робот посылает веб-серверу информацию о себе. Это текстовая строка, являющаяся частью HTTP запроса, начинающаяся с User-agent: или User-Agent:.

Робот Топвизор представляется как, User-Agent: Mozilla/5.0 (compatible; TopvisorBot/1.0)