TL;DR Instálala con
/plugin install skill-creator@anthropic-plugin-directoryy pide «crea una skill que haga X y pruébala con y sin ella». Cuando pida escribir en.claude/, elige Yes, and allow Claude to edit files in this project's .claude folder for this session. Te devuelve la skill, sus casos de prueba y un benchmark de aciertos, tiempo y tokens.
skill-creator es la skill que Anthropic publica para crear skills. No se queda en escribir el SKILL.md: lanza cada caso de prueba dos veces, con la skill y sin ella, en un subagente con el contexto limpio, corrige cada salida contra unas comprobaciones y te dice cuánto mejora el resultado y cuánto te cuesta. Sin esa comparación no sabes si tu skill hace algo que Claude no hiciera ya solo.
Instálala: el comando de la documentación falla
La documentación de Claude Code da este comando. En una instalación limpia de la v2.1.330 responde esto:
❯ claude plugin install skill-creator@claude-plugins-official
Installing plugin "skill-creator@claude-plugins-official"...× Failed to install plugin "skill-creator@claude-plugins-official": Plugin "skill-creator" not found in marketplace "claude-plugins-official". Your local copy may be out of date — try `claude plugin marketplace update claude-plugins-official`.
El update que sugiere tampoco sirve: Marketplace 'claude-plugins-official' not found. Available marketplaces: anthropic-plugin-directory. El marketplace que trae Claude Code de serie se llama anthropic-plugin-directory, y con ese nombre entra a la primera:
❯ claude plugin install skill-creator@anthropic-plugin-directory
Installing plugin "skill-creator@anthropic-plugin-directory"...√ Successfully installed plugin: skill-creator@anthropic-plugin-directory (scope: user)
Dentro de una sesión es lo mismo con /plugin install. Y si entras en Claude Code con tu cuenta de claude.ai, puede que ya la tengas: skill-creator es una de las skills de Anthropic que se sincronizan desde tu cuenta. Búscala en /skills, bajo claude.ai sync, e invócala como /anthropic-skills:skill-creator.
Pídele la skill
1. Dile qué quieres, no cómo escribirla
Usa skill-creator para crear una skill de proyecto commit-msg que escriba un mensaje Conventional Commits a partir del diff en staging. Pruébala con 2 casos, con la skill y sin ella.
Si no se lo das todo, te pregunta: qué debe hacer la skill, cuándo debe activarse, qué formato tiene la salida y si merece casos de prueba. Para salidas comprobables (código, transformaciones, pasos fijos) los recomienda; para estilo o tono, no.
2. Deja que guarde la skill en .claude/
.claude/ es una ruta protegida: en los modos default y acceptEdits cada escritura ahí pregunta, y según la documentación ni una regla Edit(.claude/**) en tus settings lo evita. Responde Yes, and allow Claude to edit files in this project's .claude folder for this session. En claude -p no hay a quién preguntar: en esta prueba, skill-creator dejó la skill en su carpeta de trabajo y devolvió el cp para instalarla a mano.
3. Espera al benchmark
Lanza todas las ejecuciones a la vez, mientras escribe las comprobaciones, y guarda tokens y tiempo de cada una.
Lo que devolvió una ejecución real
Con Opus 5.5 tardó 3 minutos y 40 segundos. Dejó la skill, evals/evals.json con los dos casos y una carpeta por iteración (recortado, sin el segundo caso):
commit-msg-workspace/
├── skill/commit-msg/SKILL.md
├── grade.py
└── iteration-1/
├── benchmark.json
├── benchmark.md
└── eval-0/
├── eval_metadata.json
├── with_skill/run-1/{outputs/commit_msg.txt, grading.json, timing.json}
└── without_skill/run-1/{outputs/commit_msg.txt, grading.json, timing.json}
El resumen de benchmark.md:
| Metric | With Skill | Without Skill | Delta |
|--------|------------|---------------|-------|
| Pass Rate | 100% ± 0% | 81% ± 27% | +0.19 |
| Time | 17.1s ± 0.4s | 12.2s ± 1.1s | +4.9s |
| Tokens | 19556 ± 388 | 17257 ± 454 | +2298 |
Toda la mejora salió de un caso: el prompt «escríbeme un mensaje de commit» sin decir Conventional Commits. Con la skill, la primera línea fue feat: add tax rate and item quantity support to total(); sin ella, Add quantity and optional tax to total(), que suspendió el formato, el tipo y el estilo. En el otro caso el prompt ya pedía Conventional Commits y los dos aprobaron todo. El propio benchmark.md lo avisa: con una ejecución por configuración, es una primera señal, no una prueba.
Lo que te da es justo eso: cuánto aporta la skill y a qué precio, unos 2.300 tokens y 5 segundos más por uso.
Haz que se active cuando debe
Una skill que no se activa no sirve, y lo decide su description. skill-creator la afina con un bucle aparte:
| Paso | Qué hace |
|---|---|
| Consultas | Unas 20, la mitad deberían activarla y la otra mitad son casi aciertos que no |
| Reparto | 60% para ajustar y 40% reservado para validar |
| Medida | Cada consulta se lanza 3 veces para tener una tasa fiable |
| Iteraciones | Hasta 5; se queda con la mejor descripción según la parte reservada |
Usa claude -p por debajo, así que solo corre donde tengas Claude Code. La descripción que escribió aquí ya era insistente a propósito («even if they don't say "Conventional Commits"»), la segunda de las cinco reglas de Anthropic.
skill-creator o claude plugin eval
| skill-creator | claude plugin eval |
|
|---|---|---|
| Para | Una skill, mientras la escribes en una conversación | Un plugin entero, comparado con no cargarlo |
| Casos | evals/evals.json dentro de la skill |
Su propio formato; no son intercambiables |
| Resultado | benchmark.json y un visor HTML para revisar |
Un código de salida para bloquear CI |
Para lo segundo está el tip de plugin evals. Y si no quieres escribir ni el primer borrador, graba la tarea en Cowork y pásale luego la skill a skill-creator para medirla. Si la tarea la acabas de resolver en Claude Code, captúrala en caliente antes de cerrar la sesión.
Documentación oficial: Run evals with skill-creator · Protected paths
Requisitos
- Claude Code con plugins. Sus scripts de benchmark y de descripción usan Python.
- Probado con Claude Code v2.1.330 y Opus 5.5 el 21 de noviembre de 2026.