Skill Creator: как написать скилл и доказать, что он работает
Написать SKILL.md несложно, труднее понять, стал ли агент работать лучше. Skill Creator ведёт по всему циклу: выясняет задачу, пишет черновик, запускает тестовые запросы со скиллом и без него, собирает оценки и открывает просмотрщик, где автор оставляет замечания для следующей итерации.
Превращает уже проделанную в чате работу в скилл: вытаскивает шаги, инструменты и правки пользователя из истории разговора.
Запускает каждый тестовый запрос дважды, со скиллом и без него, через параллельных субагентов, чтобы было с чем сравнить.
Сводит результаты скриптом aggregate_benchmark: доля пройденных проверок, время и токены со средним и разбросом.
Показывает выводы и цифры в eval-viewer/generate_review.py: вкладки Outputs и Benchmark, поле для отзыва к каждому тесту.
Отдельным скриптом переписывает поле description, чтобы скилл точнее срабатывал на нужные запросы.
Когда пригодится
Вы повторяете одну и ту же инструкцию агенту в каждом чате и хотите закрепить её в виде скилла.
Готовый скилл срабатывает через раз, и его описание нужно переписать под реальные формулировки запросов.
Перед тем как отдать скилл команде, нужно показать, что с ним ответы лучше, чем без него.
Попросите агента
Сделай из нашего разговора скилл для оформления релизных заметок
Прогони мой скилл invoice-check на трёх тестовых запросах и сравни с ответами без него
Улучши description моего скилла: он не включается, когда я пишу «сверь счета»
Вопросы
Как установить Skill Creator?
Командой npx skills add anthropics/skills@skill-creator. В Claude Code можно также подключить репозиторий как маркетплейс плагинов: /plugin marketplace add anthropics/skills.
Нужно ли писать тесты, чтобы пользоваться Skill Creator?
Нет. Для скиллов с проверяемым результатом он предложит тестовые запросы, но для субъективных задач вроде стиля текста их можно пропустить и работать по отзывам.
Где Skill Creator хранит результаты проверок?
В папке <имя-скилла>-workspace рядом со скиллом, по итерациям: iteration-1, iteration-2 и дальше. Сами тестовые запросы лежат в evals/evals.json.
