Cómo aplicar AutoResearch a Marketing y Contenido

De 56% a 92% de aprobación en una noche — el mismo loop que optimiza código ahora optimiza tu contenido.

¿Qué es AutoResearch y por qué aplica a marketing?

AutoResearch es un loop de optimización iterativa: evalúas un skill contra criterios binarios, hacés un cambio, volvés a evaluar, y decidís si guardar o descartar el cambio.

Todo el mundo piensa que esto sirve solo para código. Shann³ demostró lo contrario: aplicó el mismo loop a una landing page y pasó de 56% a 92% de aprobación en una noche. Sin cambiar el copy. Cambiando cómo se optimiza.

"El loop eval → experiment → keep/discard no discrimina entre código y contenido. Discrimina entre lo que funciona y lo que no."

El loop en 4 pasos

Paso 1 — Definir evals binarios

Cada eval es una pregunta SÍ/NO. 3-5 preguntas por skill. Ejemplos para contenido:

• ¿El texto tiene algún claim sin respaldo? (SÍ = malo)
• ¿Se entiende la idea principal en los primeros 3 párrafos? (SÍ = bueno)
• ¿Hay al menos un dato concreto (número, nombre, ejemplo)? (SÍ = bueno)
• ¿Suena a IA o a persona? (SÍ = bueno si suena a persona)

Paso 2 — Correr baseline

Ejecutá el skill 3 veces sin cambios. Cada run produce outputs contra los evals. El baseline es el promedio.

# Ejemplo: evaluar el skill content-writer
hermes -s autoresearch chat -q \
  "Corré 3 runs del skill content-writer con el
   brief en runs/active/{slug}/brief.md
   y evaluá contra los 4 criterios"

Paso 3 — Hacer un cambio, evaluar

Un cambio por experimento. Podés modificar:

• El prompt del skill (reglas, ejemplos, estructura)
• Los archivos de contexto (voice-profile, avoid-slop, proofs)
• La estructura de output esperado

Después del cambio, corré 3 runs más y compará contra el baseline.

Paso 4 — Keep o Discard

Si el score mejora → KEEP (guardar el cambio). Si empeora o se mantiene → DISCARD (volver atrás).

Después de cada keep, repetí desde el Paso 3 con otro cambio. El loop termina cuando no hay mejoras significativas durante 3 experimentos consecutivos.

Qué optimizar en contenido

El loop aplica a cualquier skill que produzca texto. Estos son los candidatos naturales en tu stack:

Ejemplo real: el caso Shann³

Shann³ (@shannholmberg) documentó su experimento con AutoResearch en marketing:

• Baseline: landing page copy — 56% aprobación en 4 evals binarios
• Cambio 1: reestructuró el prompt para priorizar beneficios sobre features — 68%
• Cambio 2: agregó ejemplos específicos al contexto — 81%
• Cambio 3: refinó la rúbrica de evaluación — 92%

"No cambié el copy. Cambié cómo el sistema entiende qué es buen copy."

La lección: el loop no optimiza el output directamente. Optimiza el sistema que produce el output.

Setup rápido para tu stack

1. Elegí un skill para optimizar

Arrancá con content-writer — es el más nuevo y donde más margen de mejora hay.

2. Definí 4 evals binarios

1. ¿El draft tiene al menos un dato concreto? (SÍ=1)
2. ¿El hook atrapa en los primeros 2 tuits? (SÍ=1)
3. ¿Suena a persona, no a IA? (SÍ=1)
4. ¿Tiene un takeaway que el lector pueda usar? (SÍ=1)

3. Corré baseline

3 runs con el draft de "Bookmarks vs Likes" → registrá scores.

4. Iterá

Un cambio por vez. Si el score sube → KEEP. Si no → DISCARD. Repetí hasta que no haya mejora en 3 experimentos.

Antipatrones y pitfalls

Artículo original: @shannholmberg en X

Skill autoresearch: github.com/olelehmann1337/autoresearch-skill

Content-Writer Skill: ~/.hermes/skills/content-writer/