Политика краулера TvijoAuditBot
TvijoAuditBot делает пассивный технический аудит публичных страниц, чтобы владелец сайта видел, что читают поисковики и AI-ассистенты. Эта страница существует потому, что краулер, приходящий туда, куда его не звали, обязан объяснить себя простыми словами и дать возможность отказаться.
User agent
TvijoAuditBot/1.0 (+https://tvijo.com/en/crawler-policy)
Что запрашивается
Главная, robots.txt, до двух файлов sitemap, llms.txt, не более двадцати HTML-страниц того же домена и выборка внутренних ссылок. Больше ничего: ни портов, ни перебора поддоменов, ни форм, ни авторизации; найденные эндпоинты не вызываются.
Как заблокировать
Добавьте в robots.txt группу для TvijoAuditBot с Disallow: / — он читается раньше всего, и заблокированный сайт не забирается и не публикуется. Crawl-delay соблюдается в разумных пределах.
Как часто
Проверка по запросу посетителя выполняется один раз, и её результат переиспользуется короткое время. Неподтверждённые домены не перепроверяются чаще раза в 30 дней.
Что хранится
Производные метрики: оценки, находки, счётчики по страницам, хеш содержимого и короткие фрагменты свидетельств. Сами страницы не архивируются, а строки, похожие на секреты, никогда не попадают в публичную карточку.
Исправление и удаление
Любую карточку можно исправить или удалить по запросу. Оспоренная карточка сразу выходит из рейтинга; личные и некоммерческие домены удаляются без обсуждения.
Контакт
Напишите на адрес со страницы контактов, указав домен и ссылку на отчёт. Жалобы на поведение краулера обрабатываются в первую очередь.