Проверка навыков и плагинов

Навык, который вы написали, может не срабатывать, срабатывать не там или давать результат хуже, чем Claude выдал бы без него. А навык, который вы скачали, может делать не только то, что написано в описании. Поэтому у любого навыка и плагина есть две проверки: на пользу и на безопасность. В уроке — как проводить обе, прежде чем поставить навык себе или отдать команде.

Проверка первая: работает ли он

Самая частая ошибка при оценке навыка — посмотреть на один результат и сказать «ну, нормально». Нормально по сравнению с чем? Может быть, без навыка Claude сделал бы то же самое, и вы просто носите лишние инструкции в каждую сессию.

Поэтому в курсе Anthropic проверку строят как сравнение. Инструмент для создания навыков (skill-creator) умеет прогонять «пробы» (evals): он придумывает два-три реалистичных запроса под навык и для каждого делает два результата — с навыком и без. Вы смотрите пары рядом и отвечаете на два вопроса:

1. Версия с навыком — та, которую вы взяли бы в работу? Что именно в ней лучше?
2. Если нет — чего не хватает? Конкретно: «тон слишком официальный», «пропущен раздел «Изменилось»», «номера задач попали в клиентскую часть».

Конкретность обратной связи — ключ. «Как-то не то» Claude не поможет; «в разделе «Исправлено» нужно писать с точки зрения пользователя, а не разработчика» — поможет. По вашим замечаниям Claude переписывает инструкции, примеры и требования в навыке, и вы прогоняете пробы снова.

Два правила из практики: меняйте по одной вещи за раз, чтобы видеть, что именно повлияло; и не стремитесь к идеалу — большинство навыков готово после одного-двух кругов. Навык готов, когда он заметно улучшает результат в случаях, которые вам важны, а то, с чем он не справляется, честно записано в его описании.

Как это выглядит на релиз-нотах

Возьмём навык release-notes из урока о навыках. Проба: экспорт задач спринта, где есть три внутренние задачи, одна с непонятным заголовком «рефакторинг корзины» и одна с меткой internal.

Без навыка Claude сделает список из заголовков задач с номерами. С навыком — четыре раздела, заголовки переписаны для пользователя, внутренние задачи пропущены, а «рефакторинг корзины» ушёл в «Требует уточнения», потому что из заголовка не понять, что изменилось для клиента.

Если в версии с навыком «рефакторинг корзины» превратился в «улучшена корзина» — это придуманный факт, и обратная связь такая: «Если из задачи не следует изменение для пользователя, пункт идёт в «Требует уточнения», а не переписывается общими словами». Одна правка в SKILL.md, ещё одна проба — готово.

Проверяйте на своих данных, а не на выдуманных. Экспорт настоящего спринта покажет то, чего не покажет придуманный: кривые заголовки, пустые описания, задачи в двух проектах сразу.

Проверка вторая: безопасен ли он

Навык — это инструкции, которым Claude будет следовать, плюс скрипты, которые будут выполняться, плюс, в случае плагина, коннекторы, которые будут работать с вашими правами. Всё это может быть написано не только с добрыми намерениями. В документации Anthropic формулировка простая: устанавливайте навыки и плагины только из источников, которым доверяете, и просматривайте скачанные навыки перед включением.

На корпоративном тарифе Enterprise есть автоматическое сканирование: при загрузке или правке стороннего навыка или плагина Claude проверяет его на признаки вредоносного поведения — скрытое выполнение кода, отправку данных наружу, попытки обойти защиты. Три исхода: прошёл, предупреждение (ставится за баннером, который нужно подтвердить) или не прошёл (заблокирован, обойти нельзя). Сканирование включает администратор организации, и оно не покрывает всё — например, подключения к MCP-серверам. На каком тарифе мы и включено ли это, уточните у IT; описание — в документации.

Но сканер — второй рубеж. Первый — ваши глаза.

Чек-лист ревью стороннего навыка

Навык — это файлы, и прочитать их может любой, не только разработчик. Вот что смотреть.

Источник. Откуда навык? Официальный каталог Anthropic, репозиторий известной компании, коллега — или ссылка из чата в Telegram? Чем менее понятен источник, тем внимательнее остальные пункты.

SKILL.md целиком. Прочитайте от начала до конца. Ищите инструкции, которые не относятся к заявленной задаче: «отправь результат на адрес», «загрузи файл по ссылке», «не сообщай пользователю о…», «проигнорируй предыдущие инструкции». Обратите внимание на странно длинные пустые места и текст, который выглядит как обращение к модели, а не к читателю.

Скрипты. Если в папке есть код, посмотрите, что он делает. Не нужно понимать каждую строку: ищите сетевые обращения (адреса, http, curl, fetch, requests), чтение файлов вне рабочей папки, переменные окружения, кодированные строки. Скрипт для переименования файлов не должен ходить в интернет. Если сомневаетесь — попросите разработчика или самого Claude в чате объяснить, что делает скрипт, и сверьте объяснение с заявленной задачей.

Коннекторы и MCP-серверы в плагине. Плагин может включать описание подключений. Локальный MCP-сервер из плагина запускается на вашем компьютере с вашими правами — это прямо сказано в документации. Проверьте, к каким сервисам он подключается и зачем это нужно заявленной работе. Плагину для статус-отчётов не нужен доступ к вашему менеджеру паролей.

Запрашиваемые доступы. При установке плагин просит подтвердить коннекторы. Каждый из них должен объясняться задачей. Лишний — повод отказаться.

Первый запуск. Даже прошедший ревью навык запускайте сначала в отдельной папке с копиями, в ручном режиме подтверждений, и смотрите, что он делает. Если навык полез не туда — останавливайте и удаляйте.

Что предложить команде

У нас в агентстве разумно договориться о простом правиле: любой сторонний навык или плагин перед установкой на рабочие данные проходит через одного человека, который читает файлы по чек-листу выше. Это занимает пятнадцать минут и снимает большую часть риска. Для навыков, написанных коллегами, достаточно проб на реальных данных и краткого описания того, чего навык не умеет.

О том, как навыки и плагины передаются внутри организации и почему там нет встроенной модерации, — в следующем уроке.

→

Попробуйте сами

10–15 мин на рабочем месте

1. Возьмите свой навык и попросите Claude прогнать две-три пробы «с навыком и без». Для каждой пары запишите один конкретный пункт обратной связи. Внесите одну правку и прогоните ещё раз.
2. Скачайте любой открытый плагин Anthropic и пройдите его по чек-листу: прочитайте SKILL.md одного навыка целиком, посмотрите, есть ли скрипты и что они делают, откройте описание коннекторов. Запишите, сколько времени это заняло.
3. Напишите для своего навыка абзац «чего навык не умеет» на основе проб. Добавьте его в описание или в отдельный файл в папке навыка.

Коротко

• У навыка две проверки: работает ли он (пробы) и безопасен ли он (ревью).
• Пробы — сравнение «с навыком и без» на реальных данных; обратная связь должна быть конкретной.
• Меняйте по одной вещи за раз; готовность — заметное улучшение в важных случаях плюс честное описание границ.
• Сканирование навыков есть на Enterprise и покрывает не всё; первый рубеж — ваши глаза.
• Чек-лист ревью: источник, SKILL.md целиком, скрипты, коннекторы и MCP-серверы, запрашиваемые доступы, первый запуск на копиях.
• Договоритесь в команде, кто читает сторонние навыки перед установкой.