Tres modelos de IA, 17 fotos de muebles, un intento cada uno.

La prueba

Cada modelo recibe la foto y la instrucción “modela el mueble de esta foto”, con el mismo prompt de sistema y las mismas herramientas que usa el asistente de la app: leer el modelo, escribirlo, editarlo, ampliar una zona de la foto y preguntar. El modelo tiene que entregar un mueble válido: piezas conectadas, apoyadas y sin choques entre tableros.

Las fotos son de muebles de tablero reales: libreros, muebles de TV, vitrinas, bancos y estanterías de cubos. Es una prueba interna: usamos ejemplos de este conjunto para revisar el asistente. No es un conjunto de prueba independiente.

Lo que vimos

Terra tardó menos y necesitó menos llamadas a herramientas. Mira las vistas frontales para comparar las filas, los huecos y las proporciones: un modelo válido no es necesariamente una copia fiel de la foto.

Sonnet 5.5 tardó 13,6 segundos de media por foto. Su coste total fue unas cuatro veces el de Terra en esta prueba.

Haiku 5.5 es el más barato por foto, aunque genera unas diez veces más tokens de salida que Terra y tarda más. La mayor parte de esa salida es razonamiento, no el JSON del mueble.

Las fotos pueden ocultar una trasera, el fondo o una unión. Estos modelos no demuestran la resistencia del mueble ni la carga que soporta: revisa medidas, material, uniones y anclajes antes de fabricar.

Límites de esta prueba

Son medias aritméticas de 17 fotos, con todas las peticiones y herramientas de cada sesión. La entrada incluye lecturas y escrituras de caché; la salida incluye razonamiento. Se permitía corregir el modelo con herramientas, pero no se repetía la sesión si salía mal. Dos referencias no utilizables se excluyeron antes de estas pruebas.

El coste es el equivalente a precio de lista de API, no una factura de las suscripciones usadas. Terra no informó escrituras de caché: con ellas el cálculo podría subir de 0,18 $ a unos 0,21 $. El tiempo mide el bucle del agente, incluida la red; no incluye la revisión por una persona.

Es un conjunto pequeño sin repeticiones: no permite afirmar que un modelo sea mejor en cualquier tipo de mueble. Descargar resultados en CSV · Ver el método completo.