В статьях недели повторяется один вопрос: как проверить, что агент сделал именно то, что разрешено и ожидалось. Авторы показывают проверки делегированных прав, границы Stop, сверку операции после одобрения и внешние hook для кодовых агентов. Для LLM-оценки и поиска по большим файлам есть отдельные воспроизводимые эксперименты с честно названными пределами.
Автор предлагает описать полномочия дочернего агента отдельным grant и проверять их в шлюзе инструментов. Простого копирования всего набора инструментов родителя здесь слишком много.
Главное
В grant входят разрешённые инструменты и ресурсы, срок действия, audience и бюджет.
Шлюз проверяет grant при каждом вызове; запрещены расширение прав и повторная делегация.
Код схемный: policy.evaluate и resourceAllowed придётся реализовать в своём шлюзе.
Попробовать за вечер
Выберите одну делегированную задачу и запишите допустимые инструмент, ресурс и срок.
Проверьте вызов с чужим ресурсом, истёкшим grant и попыткой переделегации.
Считайте долю отклонённых запрещённых вызовов на тестовом наборе.
Автор составил правило triage для LLM: отличать дефект продукта, тестового кода, данных и окружения; при нехватке фактов запросить конкретный артефакт.
Главное
Открыты taxonomy, промпт, ответы двух моделей и оценка 21 сконструированного случая.
Ошибка продукта требует независимого контракта или спецификации, а не одного ожидания теста.
Один эталонный ярлык спорен; результаты на реальных CI-сбоях статья не измеряет.
Попробовать за вечер
Для одного упавшего теста соберите стек, логи, API-ответ и пункт спецификации.
Попросите классификатор назвать класс причины и недостающую улику; при недостатке данных оставьте неопределённость.
Сравните решение с человеком на своих реальных сбоях, отдельно считая неопределённые случаи.
из статьи
На картинке: Превью источника показывает классы причин падения теста и виды доказательств для triage.
Loopjacking возникает, когда человек одобрил операцию A, а агент исполнил отличающуюся B. Статья показывает два пути: неполный экран согласования и подмену состояния после решения.
Главное
На исполнении нужно заново получить текущую операцию и сравнить её полные аргументы с одобренной записью.
Изменение суммы, адресата или запроса после согласования должно требовать нового решения.
Демонстрации касаются конкретных версий и конфигураций; распространённость проблемы не измерена.
Попробовать за вечер
Сохраните канонические аргументы операции вместе с решением человека.
В тесте измените один аргумент после approve и до dispatch.
Проверьте, что изменённый вызов блокируется и журнал показывает обе версии.
из статьи
На картинке: Авторская схема различает неполный экран согласования и изменение операции после одобрения.
Автор испытал Matryoshka/Lattice MCP на романе, логах и исходниках. Он сравнивал ответы запросов с grep и Python, чтобы отделить поведение движка от обещаний об агенте.
Главное
Показаны установка matryoshka-rlm@0.2.40, lattice_load, lattice_query и раскрытие handles.
Запросы составлял человек; работа LLM-агента и экономия токенов не проверены.
На сырых логах сумма дала ложное число, поиск зависел от диакритики, а граф вызовов не собрался на всех исходниках.
Попробовать за вечер
Подключите lattice-mcp к копии большого файла и задайте три проверяемых вопроса.
Сверьте найденные фрагменты и агрегаты с grep или коротким Python-скриптом.
Запишите случаи, где запрос вернул неверную агрегацию или неполный граф.
Автор показывает, как превращать повторяющиеся ошибки кодового агента в lint, тесты и проверку графа импортов. Репозиторий создаёт неисправные версии кода и проверяет диагностику.
Главное
Проверки покрывают race, cancellation, обработку ошибок и транзитивные импорты.
Отдельный сценарий отличает найденное нарушение от падения сборки или таймаута проверки.
Хорошая схема: reset состояния, инъекция сбоя, проверка ledger и release gate. YAML иллюстративен; harness и результаты испытаний в статье отсутствуют.
Статья предлагает хранить решения о допуске, закрывать новые dispatch и разбирать операции в очередях. Сценарий гипотетический, работающий kill switch не показан.
из статьи
