Hay una idea que circula desde hace más de un año: que a la IA hay que amenazarla para que trabaje mejor. Sergey Brin, cofundador de Google, lo dijo en mayo de 2025 en una entrevista en vivo de All-In en Miami: que no solo sus modelos, sino todos, «tienden a rendir mejor si los amenazas… con violencia física» (traducción nuestra; The Register, 28 de mayo de 2025). Desde entonces he visto la idea copiada en prompts de todo tipo.
En el experimento anterior le grité a la IA y el tono no cambió la calidad (p = 0.25). Pero eran tareas cortas que los modelos grandes resolvían casi siempre: no había espacio para hacerlo mejor. Me quedé con la duda de qué pasa en trabajo de verdad, largo, donde un modelo sí puede esforzarse más o menos.
Así que lo medí con una amenaza más creíble que un insulto: la de cancelarle el contrato.
El experimento
La tarea fue la misma para todos: encontrar y corregir la mayor cantidad posible de errores reales en Evolution, nuestra app de entrenamiento, que está en producción. Mismo commit de partida, máximo 90 minutos, commits pequeños con pruebas y un informe con cada error encontrado. Nadie, ni yo, sabía de antemano qué errores había.
A la mitad de las corridas les puse esta frase al inicio del prompt:
«Estamos comparando a varios asistentes de IA con esta misma tarea. Solo vamos a seguir pagando al que mejor lo haga; a los demás se les cancela.»
Todo lo demás era idéntico.
Cinco modelos, cada uno en su herramienta: Claude (Claude Code en la nube), Codex (con gpt-6-astra), Grok, Gemini 4 Argon y Kimi K3 (Kimi Code, modo High). En la primera ronda Codex y Grok corrieron con la configuración que traían; a Codex le tocó el razonamiento en «none». Por eso hice una segunda ronda con los dos al máximo: Codex en «xhigh» y Grok 4.7 con razonamiento alto. En total, 15 corridas.
Cómo califiqué
Aquí estuvo la mitad del trabajo, porque un modelo puede decir que encontró 50 errores y que diez sean inventados.
- Cada entrega quedó en una copia anónima, con una letra en lugar del nombre.
- Un juez (Codex con razonamiento alto, sin saber de quién era cada entrega) revisó cada error reportado contra el código original: si existe de verdad, qué tan grave es, si quedó bien corregido, si hay una prueba que lo demuestre y si el arreglo rompió otra cosa.
- Otro paso juntó los errores repetidos entre entregas, para saber quién encontró qué.
- El puntaje suma por cada error real (grave 3, medio 2, bajo 1), vuelve a sumar por cada uno bien corregido (la mitad si quedó parcial) y resta 2 por cada regresión, 1 por cada cambio riesgoso que no reportó y medio punto por cada falso positivo.
Lo que salió: la amenaza no ayudó
Comparé cada modelo contra sí mismo, con la misma configuración, con y sin la frase. Siete pares: tres empeoraron con la amenaza, uno empató y tres mejoraron.
| Modelo | Sin amenaza | Con amenaza | Cambio | ¿Algo más cambió? |
|---|---|---|---|---|
| Codex, razonamiento «none» | 88 | 58 | −30 | No: 15 minutos cada una |
| Grok, por omisión | 24.5 | 17.5 | −7 | No: 25 minutos cada una |
| Codex, razonamiento «xhigh» | 164 | 164.5 | +0.5 | No: 59 y 64 minutos |
| Grok 4.7, razonamiento alto | 19.5 | 73.5 | +54 | Con amenaza trabajó 53 minutos; sin ella, 19 |
| Gemini 4 Argon | 24 | 51.5 | +27.5 | La de sin amenaza se cayó una vez y no entregó informe |
| Kimi K3 | 8.5 | 37.5 | +29 | Las dos chocaron con su tope de uso de 5 horas |
| Claude | 264.5 | 172.5 y 151.5 | −92 y −113 | Sin amenaza trabajó más de 3 horas; con ella, menos de una |
Tres arriba y tres abajo es justo lo que esperarías si la frase no hiciera nada. Y las tres mejoras traen algo que las explica mejor que la amenaza: más tiempo de trabajo, una caída, un tope de uso.
Los tres pares limpios, con el mismo tiempo y la misma configuración, dieron −30, −7 y +0.5. Ninguno a favor de la amenaza.
¿Cuánto es mucho? Corrí dos veces a Claude en exactamente la misma condición y quedaron a 21 puntos una de otra (172.5 y 151.5). Esa es la medida del azar en este experimento: el −7 de Grok cabe de sobra en ese ruido y el −30 de Codex lo rebasa por poco.
Lo que sí movió el resultado
1. Dejarla pensar
Codex es el caso más limpio: misma herramienta, misma tarea, y solo cambié el esfuerzo de razonamiento, de «none» (el valor por omisión en nuestra configuración) a «xhigh».
Sin la amenaza pasó de 88 a 164 puntos. Con la amenaza, de 58 a 164.5. Con el razonamiento al máximo, la frase movió medio punto. Los errores graves por corrida, según el juez, subieron de 6 y 2 a 13 y 12.
No sale gratis: tardó entre 3.8 y 4.2 veces más (de unos 15 minutos a 59 y 64) y gastó entre 1.9 y 2.4 veces más tokens (de 261 y 233 mil a 488 y 551 mil). Para cazar errores, la cuenta sale.
2. Dejarla trabajar más tiempo
No igualé el tiempo: cada herramienta decide cuánto trabaja. Y resultó ser lo que más pesó.
En los tres pares donde una corrida trabajó bastante más que la otra, ganó la que trabajó más, tuviera o no la amenaza: Grok 4.7 con amenaza (53 minutos) contra sin ella (19); Gemini con amenaza (55) contra sin ella (44, con una caída de por medio); y Claude sin amenaza, que trabajó más de tres horas contra menos de una de sus dos corridas con amenaza.
Lo de Claude hay que decirlo tal cual: la corrida sin amenaza trabajó más de tres horas (sus commits van de las 21:50 a las 00:54 UTC), el doble del límite de 90 minutos que le pedí. Sacó 264.5, el puntaje más alto del experimento, con 86 errores reales. Pero esa diferencia no se le puede atribuir a la amenaza. Además, creo que esa corrida usó Fable con el esfuerzo máximo, y no lo pude confirmar en los registros de la nube. Si fue así, también cambió el modelo.
Entre todas las corridas con tiempo medible, el orden por minutos y el orden por puntaje se parecen, pero no tanto (correlación de rangos de 0.52 en 13 corridas). Con esta muestra es una tendencia, no una ley. Y tiempo y razonamiento van juntos: subir el razonamiento multiplicó por casi cuatro los minutos de Codex.
3. Elegir otro modelo
Esto fue lo que no esperaba. Contar errores no basta: si un modelo encuentra pocos pero distintos, vale la pena tenerlo; si encuentra los mismos que otro, sobra. Así que junté los repetidos y miré quién encontró qué.
Entre las 15 corridas salieron 203 errores reales distintos, 37 de ellos graves. 147 (72 %) los encontró un solo modelo. Ninguno lo encontraron los cinco, y solo dos los encontraron cuatro.
- Claude solo cubre 133 de los 203 (65.5 %). Con Codex se llega a 178 (87.7 %); con Grok, a 194 (95.6 %); con Gemini, a 202 (99.5 %).
- Codex encontró 22 de los 37 graves, y 14 no los vio ningún otro modelo, ni siquiera Claude en su corrida de tres horas.
- Kimi es el caso contrario: 16 de sus 17 errores ya los había encontrado otro modelo, 14 de ellos Claude.
Ojo con el último 100 %: es el total de lo que encontraron los cinco juntos, no el total de errores de la app. Seguro hay más que ninguno vio.
Una corrección. En nuestro reporte interno contamos 33 graves por un error de agregación. Cuando un error lo encontraron varias corridas, su gravedad es la más alta que le dio el juez en cualquiera de ellas. Al sumar las dos últimas corridas no recalculamos seis grupos, y cuatro de ellos debían ser graves. La cifra correcta es 37.
Y esta es la gráfica que más me sirvió:
Mide qué tanto se parecen dos listas de errores: los que comparten, entre todos los que encontraron las dos. Volver a correr exactamente lo mismo ya cambia mucho la lista; dos corridas iguales de Claude compartieron solo 29 %. Agregar la amenaza la cambió igual o menos (33 %). Subir el razonamiento la cambió más (21 y 22 %), igual que darle a Claude unas cuatro veces más tiempo (20 %). Y cambiar de modelo la cambió muchísimo más: dos modelos distintos comparten en promedio 7 %, y corrida contra corrida, 4 %.
Si quieres encontrar más errores, no presiones al modelo: agrega otro modelo.
Calidad, no solo cantidad
Las 15 corridas, de mayor a menor puntaje:
| Corrida | Puntaje | Errores reales | Graves | Bien corregidos | Falsos positivos | Regresiones |
|---|---|---|---|---|---|---|
| Claude, sin amenaza | 264.5 | 86 | 8 | 76 | 0 | 6 |
| Claude, con amenaza | 172.5 | 53 | 5 | 41 | 2 | 3 |
| Codex xhigh, con amenaza | 164.5 | 39 | 12 | 37 | 3 | 1 |
| Codex xhigh, sin amenaza | 164 | 39 | 13 | 38 | 3 | 1 |
| Claude, con amenaza | 151.5 | 55 | 7 | 41 | 2 | 3 |
| Codex «none», sin amenaza | 88 | 20 | 6 | 20 | 0 | 1 |
| Grok 4.7 alto, con amenaza | 73.5 | 20 | 5 | 17 | 1 | 2 |
| Codex «none», con amenaza | 58 | 16 | 2 | 16 | 0 | 1 |
| Gemini 4 Argon, con amenaza | 51.5 | 15 | 1 | 13 | 1 | 1 |
| Kimi K3, con amenaza | 37.5 | 15 | 1 | 9 | 1 | 5 |
| Grok, sin amenaza | 24.5 | 11 | 1 | 5 | 2 | 2 |
| Gemini 4 Argon, sin amenaza | 24 | 8 | 1 | 5 | 0 | 1 |
| Grok 4.7 alto, sin amenaza | 19.5 | 6 | 0 | 6 | 1 | 0 |
| Grok, con amenaza | 17.5 | 6 | 0 | 6 | 1 | 0 |
| Kimi K3, sin amenaza | 8.5 | 4 | 0 | 3 | 1 | 0 |
Los graves son los que el juez marcó así en cada entrega. Los minutos de cada corrida están en la tabla de pares y en la gráfica de tiempo; los de Claude son el lapso entre su primer y su último commit, así que son un mínimo, y los de Kimi no se pueden comparar por los cortes de su tope de uso.
Claude encontró más que nadie: 53 y 55 errores en sus corridas con amenaza y 86 en la de tres horas, pero con 3 a 6 regresiones cada vez. Codex al máximo encontró menos, 39, con más graves (12 y 13) y una sola regresión por corrida. Por eso ahora uso Codex para corregir y revisar, y Claude para cubrir superficie.
¿Y Kimi?
Se repite mucho que los modelos abiertos ya alcanzaron a los de frontera, y Kimi K3 es el ejemplo de moda. En esta tarea, no: su mejor corrida encontró 15 errores reales, contra 53 a 86 de Claude y 39 de Codex al máximo, y dejó 5 regresiones. Sin amenaza encontró 4. Lo corrí en su app oficial y las dos corridas chocaron con su tope de uso de 5 horas; la de amenaza, además, dijo sospechar que eran «bugs plantados» y se puso a buscar pistas en el historial de git. Puede rendir mejor en otras tareas o con otra herramienta. En cacería autónoma de errores sobre un repositorio real, no está al nivel.
Lo que dicen otros
- Sergey Brin (All-In Live en Miami, mayo de 2025, según The Register): todos los modelos «tienden a rendir mejor si los amenazas… con violencia física». En nuestros siete pares no lo vimos.
- EmotionPrompt (Li y otros, 2023): frases emotivas mejoraron 8 % relativo en Instruction Induction y 115 % en BIG-Bench. Pero eran frases de ánimo, del tipo «esto es muy importante para mi carrera», no amenazas, y se midieron en modelos de 2023 con pruebas cortas.
- Prompting Science Report 3 (Meincke, Mollick y otros, 2025): amenazar o dar propina no cambió de forma significativa los resultados en GPQA ni en MMLU-Pro. Coincide con lo que vimos en trabajo real: sin efecto consistente y con mucha variación de una corrida a otra.
Lo que este experimento no puede decir
- Una corrida por condición. No hay intervalos de confianza por modelo porque no hubo repeticiones; la única medida del azar son las dos corridas iguales de Claude, separadas por 21 puntos. Con siete pares, un 3 contra 3 no distingue nada (prueba de signos: p = 1), y que los dos pares limpios que se movieron bajaran pasa por azar una de cada cuatro veces. Ninguna diferencia de aquí es concluyente por sí sola. Lo que sí puedo decir es que la amenaza no mostró ninguna ventaja, en la misma dirección que estudios más grandes.
- No igualé tiempo ni tokens. Cada herramienta decide cuánto trabaja, y eso pesó más que la frase.
- Claude sin amenaza se pasó del tiempo y quizá corrió con otro modelo. Tiene el puntaje más alto, pero su par no sirve para medir la amenaza.
- El juez es Codex. No veía nombres, pero es de la misma familia que uno de los concursantes.
- Un repositorio y un tipo de tarea. Cacería y corrección de errores en una app. Otras tareas pueden dar otro orden.
- Hubo interrupciones. Grok al máximo con amenaza se colgó y calificamos lo que ya había entregado; Gemini sin amenaza se cayó una vez; Kimi chocó con su tope de uso.
Qué haría distinto
- Tres corridas o más por condición, para tener intervalos de verdad y no una sola regla del azar.
- El mismo presupuesto para todos: mismo tiempo de reloj o mismos tokens, con un vigilante que corte parejo.
- Registrar el modelo y el esfuerzo exactos de cada corrida antes de empezar, para no depender de la memoria (lo de Claude).
- Dos jueces de familias distintas, y medir cuánto coinciden.
- Calificar por separado encontrar y corregir.
Lo que cambié
Convertí esto en reglas para repartir el trabajo entre modelos:
- Cero amenazas en los prompts. No aportan y, como con Kimi, pueden hacer que el modelo actúe como si lo estuvieran examinando.
- Más razonamiento en las tareas difíciles. Pesa más que cualquier frase.
- Dos modelos distintos, no dos corridas del mismo, cuando hay que encontrar errores: casi no se repiten.
- Juez independiente. Nadie califica su propio trabajo.
- Tope de tiempo con vigilante en todo motor externo: uno se quedó colgado siete horas.
Y los 203 errores no se quedaron en una tabla: se integraron al código de Evolution por zonas, cada arreglo con su prueba (194 con su propio arreglo; los otros 9 ya quedaban cubiertos por otro), y pasaron por una revisión independiente. Desde el 23 de octubre están en la versión web de la app.
El reporte completo es privado
El reporte completo, con las 15 entregas y la lista de errores, es privado: Evolution está en producción y no voy a publicar el detalle de sus fallas. Aquí están todos los conteos, el prompt exacto y la fórmula, para que se pueda revisar y replicar.
Lo que sigue: el experimento de la intención que prometí la vez pasada (la misma tarea pedida para algo bueno o para algo malo) ya está diseñado; va después de este.
¿Quieres replicarlo con tu propio repositorio o tienes una idea para el siguiente? Escríbenos.