Как мы собираем цены
В разделе «Новая экипировка» работает сервис «Лучшая цена»: он показывает, сколько новая экипировка стоит в фехтовальных магазинах. Цены собирает наш робот BestPriceBot. В журналах сайта он подписан так:
BestPriceBot/1.0 (+https://fencequip.ru/bot; price comparison, respects robots.txt)
Что робот собирает
- Только открытые страницы товаров — те, что видит любой посетитель без входа на сайт.
- Только сведения о товаре: название, цену, наличие, артикул, бренд, раздел каталога, ссылку на страницу товара и адрес его фотографии.
- Не собираем описания, отзывы и персональные данные. Не входим в личные кабинеты, не оформляем заказы, не заполняем формы.
Как робот бережёт сайты магазинов
- Соблюдает
robots.txt: не заходит в закрытые разделы и выдерживает паузуCrawl-delay. Если сайт закрыл от роботов даже самrobots.txt, робот его не обходит. - Не обходит защиту от роботов: если сайт показывает проверку «вы не робот» или отказывает в доступе, робот уходит.
- Запросы к одному сайту идут строго по одному, с паузой не меньше 5 секунд. Страницу товара робот перепроверяет не чаще раза в сутки.
- Спрашивает сервер «изменилась ли страница», чтобы не скачивать её заново без нужды. На ответы «слишком много запросов» (429) и «сервер занят» (503) делает перерыв.
Как мы показываем цены
- Каждая цена — со ссылкой на страницу товара в магазине и датой проверки. Покупка всегда происходит на сайте магазина: мы ничего не продаём и не берём комиссию.
- Цены и наличие носят справочный характер и могут измениться после проверки. Актуальные цену и условия уточняйте на сайте магазина. Информация на fencequip.ru не является публичной офертой.
- Фотографии товаров показываются по ссылке с сервера магазина и принадлежат их правообладателям.
Для магазинов
Если вы не хотите, чтобы робот заходил на ваш сайт, добавьте в robots.txt:
User-agent: BestPriceBot Disallow: /
Или напишите нам на istreamm@yandex.ru — уберём магазин из сравнения или его фотографии, обычно в течение суток. Туда же пишите, если заметили неверную цену, хотите изменить частоту обхода или готовы передавать цены товарным фидом (например, в формате YML) — так данные будут точнее, а робот не понадобится.