Проверьте, что сайт на самом деле отдаёт, прежде чем называть его пустым

👀 Ошибка

9 сентября 2026 мы сделали вывод, что на одном сайте с данными о компаниях «полезных данных нет». Вывод сделан по одной странице — главной. Тот же сайт отдавал рейтинг тысячи лучших с источниками и каталог из 56 138 профилей. Главная страница ни о том, ни о другом не говорила так, чтобы это заметил быстрый взгляд. Вердикт оказался неверным, а прозвучал уверенно.

Ошибка общая. Главная страница — это рассказ сайта о себе. Отдаёт ли он то, что заявляет, выясняется на страницах за ней.

🔬 Что делает проверка поверхности

Мы заменили привычку командой. Для домена она читает sitemap и robots, обходит перечисленные там адреса и записывает для каждой страницы статус и значения, заданные контрактом. Контракт перечисляет именованные величины и выражение, которое читает их из видимого текста страницы с вырезанными скриптами и разметкой. Величиной может быть напечатанное число или число совпадений, например сколько на странице ссылок определённого вида.

Результат пишется в файл этого домена, а команда завершается с кодом ошибки, если какое-то значение нарушает своё правило. У серьёзности три уровня: info попадает в отчёт, warn и error роняют запуск.

Сегодня в репозитории контракты для 7 поверхностей, а тестов проверяющего — 21.

⚖️ Второе правило: 200 — это не данные

Страница со статусом 200 может быть пустой. Мы видели, как все разделы панели отвечали 200 с нулями, потому что снимок под ними был пуст. Приёмка идёт по содержимому, например «число больше нуля», а не по коду статуса. Одна и та же величина на двух страницах имеет одно определение. Если две страницы показывают разные подписи для одной и той же величины без перехода между ними, это дефект, о котором надо сообщить.

🛠️ Практика: напишите первый контракт

1. Выберите один сайт и перечислите пять фактов, которые он заявляет: число товаров, число рейтингов, дата последнего обновления.
2. Для каждого найдите страницу, где факт должен быть, и напишите регулярное выражение, читающее число из видимого текста.
3. Добавьте правило: значение должно существовать и быть выше выбранного порога.
4. Напишите небольшой скрипт: получает sitemap и robots, обходит каждую страницу по разу с вежливой паузой и применяет контракт.
5. Сохраняйте результат со временем запуска. Не перезаписывайте молча. Храните предыдущий запуск для сравнения.
6. Решите, какие сбои предупреждения, а какие ошибки, и пусть скрипт возвращает верный код.

✅ Проверьте себя

• Намеренно нарушьте правило, например указав несуществующую страницу. Скрипт завершается с ошибкой, а в сохранённом файле видно, какое значение не прошло.
• В файле результата перечислены все посещённые адреса и статус каждого.
• Две страницы с одной и той же величиной дают одно число.
• Коллега может воспроизвести ваш вердикт запуском команды, а не доверием к вашему описанию.

🚧 Когда это не работает

• Страницы, которые строит скрипт в браузере. Если числа появляются только после выполнения JavaScript, обычный запрос их не увидит. Нужен шаг рендеринга или конечная точка с данными.
• Закрытые за входом разделы. Проверка не может судить о том, до чего не достаёт. Скажите это в отчёте.
• Меняющиеся макеты. Регулярное выражение ломается при смене формулировки. Пересматривайте контракты при изменении страниц.
• Тяжёлые сайты. Обход десятков тысяч страниц требует бюджета и паузы. Берите выборку и говорите, что это выборка.
• Смысл. Проверка доказывает, что значение есть. Верность она не доказывает. За истиной идите к источнику.

📊 Доказательства

➡️ Дальше

Как мы помечаем источники и даты, читайте в Источниках, датах и значении слова «проверено», а как держать утверждения привязанными к доказательствам — в AI judging.

Источники

• Источники, даты и что значит «проверено»: как мы помечаем доказательства.
• AI judging: почему «он говорит, что готово» — не приёмка: приёмка по проверкам.
• Почему ИИ-агенты выдумывают и как проверить ответ: проверка ответов.
• Связи, обратные ссылки и граф знаний: как страницы связаны.