Патч от ассистента с доказательством в виде тестов
Ассистент уверенно предлагает патч — а проверять его вам. Дайте ему сломанный проект с тестами в отдельной песочнице: он воспроизведет ошибку, исправит код и вернет фактический вывод тестов, а не обещание. Ни ключ модели, ни ваш репозиторий туда не попадут.
- Скачайте: проект с ошибкой и тестами
- Вам понадобится: кодинг-ассистент с поддержкой MCP. Отдельный агентный фреймворк не нужен.
Запуск
Распакуйте архив coding-agent в рабочую папку ассистента. Подключите ассистента по руководству для AI-агента.
В аккаунте должна быть квота на создание хотя бы одной песочницы и доступ к шаблону base. Если ассистент подключен по персональному токену, нужен токен с правами Полные. Модель работает через вашего обычного ассистента: ни ключ модели, ни приватный репозиторий в песочницу не попадают.
Отправьте ассистенту такую задачу:
Исправь coding-agent/sla.py через just-run в новой песочнице из base.
Загрузи sla.py и test_sla.py в /workspace; дождись готовности песочницы.
Выполни там python3 -m unittest -v с таймаутом 30 секунд и покажи падение.
Меняй только sla.py. Пропуски времени ответа исключаются; ответ ровно в целевое
время своевременен; отсутствие измерений дает None. Тесты менять нельзя.
Не более трех попыток. Верни патч и фактический вывод тестов.
Сохрани исправленный файл локально, затем удали песочницу, в том числе при неудаче.
Что получится
Первый запуск падает. Последний возвращает exit_code: 0, Ran 3 tests и OK. Просмотрите патч вместе с отчетом: тесты должны остаться неизменными. Если исправление не удалось, ассистент должен вернуть ошибку, а не объявлять задачу завершенной.
Три успешных теста подтверждают этот расчет, а не корректность произвольного сгенерированного кода.
Как адаптировать
Такой же цикл подходит для бага из вашего проекта: приложите минимальное воспроизведение, зафиксируйте тесты, которые агент не может менять, и запросите патч для ревью. Песочница предоставляет файлы и выполнение через MCP. Отдельный агентный фреймворк этот пример не реализует.
Удаление ресурсов
Убедитесь, что выведенного ID нет в разделе Песочницы. Если ассистент прервался, удалите этот ID самостоятельно. Патч и логи сохраните локально: вместе с песочницей исчезнут копии, которые лежали в ней.
Дальше: интерактивный отчет · одноразовое выполнение кода.