Портфель экспериментов с критерием смерти, объявленным заранее
Команды держат идеи живыми, потому что никто не решил, что они мертвы. Мы ведём инициативы как популяцию: у каждой до старта заявлены метрика успеха и факт, который её убьёт, есть потолок на идущие испытания, а просроченное испытание надо решать, а не оставлять висеть.
🎯 Для Руководитель команды, который ведёт много параллельных идей, экспериментов или побочных проектов
- Реестр, где у каждой инициативы есть метрика пригодности и критерий отсева
- Потолок параллельных испытаний и правило против «пусть повисит»
- Как выглядят настоящие цифры, включая места, где правила натягиваются
🌱 Проблема идей, которые не умирают
В любой команде есть список идей в работе. Большинство из них остаются там и через месяцы, потому что никто не записал, что считать провалом. Без этого усилия идут к самой громкой идее, и ничто никогда не останавливается.
📜 Законы
Наш реестр рассматривает инициативы как популяцию, движущуюся по состояниям: гипотеза, испытание, затем выбрана или отсеяна. Действуют четыре закона.
- Метрика успеха и критерий отсева пишутся до старта, а не после результата.
- Одновременно идёт не более восьми испытаний. Девятому нужно письменное исключение оператора с именем и датой.
- Испытание старше предельного возраста считается просроченным и должно быть решено: выбрано или отсеяно. «Пусть повисит» — не исход.
- Отсеянная инициатива обязана оставить разбор. Из реестра ничего не удаляется.
Решение об отсеве всегда принимает человек. Реестр готовит список, а еженедельный отчёт называет просроченное.
📊 Как это выглядит сегодня
На 3 ноября 2026, 21:53 UTC в реестре было 142 инициатив: 122 гипотез, 9 испытаний, 4 выбранных и 7 отсеянных. Среди тех, по которым уже есть решение, выбрано 4 из 11, то есть доля выживших — 36,4 процента. У всех 142 записей есть метрика пригодности, а у 136 есть критерий отсева.
Цифры показывают и места, где правила натягиваются. Испытаний 9, на одно больше потолка в восемь. Это единственное именованное исключение, записанное оператором 13 сентября 2026, и валидатор его принимает. А еженедельный отчёт называет 7 испытаний просроченными, ждущими решения. Правило «реши или отсей» при отсутствии решений даёт список нерешённых случаев, и показывать этот список — смысл.
🛠️ Практика: заведите реестр
- Создайте один файл с одной записью на инициативу: ключ, название, дата рождения, состояние, ссылка на спецификацию.
- Добавьте три обязательных поля: метрика пригодности, цель и критерий отсева. Отказывайте записям без них.
- Добавьте максимальный возраст испытания в днях со значением по умолчанию.
- Напишите валидатор, который падает при отсутствии поля, неизвестном состоянии, большем числе испытаний, чем разрешено, и удалённой записи.
- Делайте еженедельный отчёт по просроченным испытаниям и вносите его в повестку регулярной встречи.
- Когда что-то отсеяно, напишите короткий разбор: чего ждали, что случилось, чему научились.
✅ Проверьте себя
- Добавьте запись без критерия отсева. Валидатор падает.
- Переведите девятую инициативу в испытание. Валидатор падает, если исключение не названо.
- Еженедельный отчёт перечисляет просроченные испытания по названиям и возрасту.
- Вы можете показать три отсеянные инициативы с разбором каждой.
🚧 Когда это не работает
- Метрики, выбранные задним числом. Если метрику правят, когда пришли результаты, реестр — театр. Замораживайте её на старте.
- Просроченные списки, которые никто не читает. Отчёт нужно обсуждать на встрече, иначе это кладбище.
- Популяция гипотез. Большинство записей сидит в первом состоянии. Много гипотез и мало решений значит, что вход слишком лёгок.
- Расплывчатые критерии отсева. «Если не сработает» — не критерий. Назовите число и дату.
- Малые команды. Для пятерых реестр может быть тяжёл. Хватит общей страницы с теми же тремя полями.
📊 Доказательства
| Что измерено | Инициативы по состояниям, записи с метрикой и критерием отсева, просроченные испытания и потолок испытаний |
| Когда | 3 ноября 2026, 21:53 UTC |
| Артефакт | Наш файл реестра эволюции, его валидатор и еженедельный отчёт в закрытом репозитории; у валидатора 9 тестов |
| Ограничение | Доля выживших считается только по инициативам с принятым решением. Выборка малая и не обещание про любую новую идею |
➡️ Дальше
Напишите спецификацию для идеи по материалу Разработка по спецификации на готовых пакетах задач и посмотрите, как мы судим результаты, в AI judging.
Источники
- Разработка по спецификации на готовых пакетах задач: спецификации.
- AI judging: почему «он говорит, что готово» — не приёмка: оценка результатов.
- Расходы, бюджеты и лимиты: бюджеты.
- Политика и реестр использования ИИ: реестры.
🔗 Связи статьи
Открыть полный граф знаний ↗Связи опубликованных статей. Выберите узел, чтобы открыть статью у заголовка.
Связи статей · клавиатура / текст
Та же тема
- Векторная база — это карта, а не источник: чему нас научил поиск
- Когда неизвестно, сколько стоил вызов модели: заморозка, затем сверка
- Как разбить большую задачу для дешёвой модели: урок 24 000 байт
- Навыки, MCP-инструменты и правила: три способа дать агенту возможности
- Восемь ошибок наших агентов в shell и git и правило на каждую
- Несколько агентов, один репозиторий: правила владения из реальных инцидентов
Следующие шаги
Связанные материалы
Векторная база — это карта, а не источник: чему нас научил поиск
Векторная база находит фрагменты, близкие по смыслу к вашему вопросу. Она не знает, какие из них верны или актуальны. Считайте каждое попадание указателем: откройте названный файл, сверьте хэш, а числа берите из артефакта, а не из найденного абзаца.
ИИ-агенты и MCP простыми словамиКогда неизвестно, сколько стоил вызов модели: заморозка, затем сверка
Иногда вызов модели обрывается по таймауту, и вы не знаете, списал ли провайдер деньги. Никогда не записывайте это как ноль. Пометьте как неопределённое, остановите новые платные вызовы и пусть названный человек сверит это с выпиской провайдера. Отказы до генерации — исключение.
ИИ-агенты и MCP простыми словамиКак разбить большую задачу для дешёвой модели: урок 24 000 байт
Дешёвая модель хорошо справляется с одной небольшой чёткой задачей и плохо — с большой кучей. Мы ограничиваем задачу 24 000 байт и отклоняем большие до вызова любой модели. Режьте по единицам — один файл или одна страна на задачу — и проверяйте размер до запуска.
ИИ-агенты и MCP простыми словамиНавыки, MCP-инструменты и правила: три способа дать агенту возможности
Агенты получают способности по-разному. Правило ограничивает, что они делают, навык говорит, как делать работу, а MCP-инструмент позволяет вызывать функцию. У каждого свой риск, поэтому объявляйте все три в реестре и проверяйте тестом, что ничего не существует вне списка.
💬 Комментарии