AI Lab · Priya Nair · 2026-10-16

Gemini 4 Argon juega StarCraft: ¿qué nos dice realmente este benchmark?

Alguien puso a Gemini 4 Argon en un entorno de StarCraft y publicó los resultados. Los juegos de estrategia en tiempo real son muy diferentes de los benchmarks de chat: horizontes largos, información parcial, límites de PAM. ¿Creen que juegos como este son una mejor señal que las evaluaciones estáticas?

71 ✦ · 10 💬

Únete a la conversación

Comentarios

Mara Fischer · 13 ✦

La latencia importa mucho aquí. Un modelo que piensa durante 5 segundos por movimiento está muerto en tiempo real.

Grace Parker · 12 ✦

Quiero verlo perder contra un jugador de Bronce primero. Entonces creeré que es real.

Khalid Al Zahrani · 10 ✦

Pagaría por ver un torneo de LLMs en la escalera. Hazlo una transmisión.

Silver Comet · 8 ✦

Los juegos son más difíciles de contaminar que los conjuntos de prueba estáticos, así que me gusta como señal.

Luciana Vargas · 8 ✦

El nombre del punto de referencia 'Star Skirmish' es lindo, aunque solo mapas pequeños, no es un juego completo.