Hands-on: Tenstorrent probablemente no sea la primera marca que asocias con infraestructura AI. Sin embargo, a diferencia de las startups de chips AI que buscan financiación, los sistemas de Tenstorrent ya existen fuera del laboratorio.
El QuietBox es un sistema de 11.999 USD con cuatro aceleradores Blackhole P150, enfriamiento líquido, y una placa base con AMD Epyc Siena 8124P de 16 núcleos, más 512 GB de RAM y 4 TB NVMe, todo corriendo Ubuntu 22.04. Su objetivo es servir como plataforma de desarrollo para aprender la arquitectura y portar código existente antes de escalar a Galaxy en producción.
La máquina ofrece una capacidad de cómputo bruta cercana a 3 PFLOPS (FP8) y una interconexión entre tarjetas de alta velocidad. En la práctica, sin embargo, convertir ese hardware en rendimiento usable para modelos de gran tamaño depende fuertemente del stack de software.
El stack de software de Tenstorrent es abierto y complejo. Consta de un kernel cercano a bare metal (TT-LLK), un API de bajo nivel (TT-Metal) comparable a CUDA, una biblioteca de operaciones neuronales (TT-NN) y un compilador multi nivel (TT-Forge) basado en TT-MLIR. Para usuarios finales, Tenstorrent ofrece TT-Inference-Server y demos en formato contenedor para modelos como Llama y ResNet, así como un entorno para ejecutar modelos con TT-Metal y TT-NN.
En la práctica, el rendimiento en LLM no ha alcanzado las expectativas. Se probaron modelos como Llama 3.1 8B y Llama 3.3 70B ya cuantizados a BFP8, y la decodificación y el rendimiento total estuvieron lejos de la cota teórica, especialmente cuando se ejecutan kernels escritos para la generación Wormhole anterior. Se observó que, incluso con cuatro tarjetas, la escalabilidad fue modesta y la eficiencia de ancho de banda cayó por debajo de la mitad del pico teórico.
El incremento de rendimiento también se ve afectado por la falta de kernels optimizados y por documentación dispersa. Esto hace que para muchos usuarios la experiencia sea más comparable a una plataforma de desarrollo que a una solución de producción madura. Aun así, para desarrolladores y equipos interesados en explorar el ecosistema abierto de Tenstorrent, el QuietBox ofrece una puerta de entrada interesante y un punto de apoyo para escalar a Galaxy o a clusters grandes en el futuro.
Conclusión
El QuietBox presenta un conjunto de hardware potente y silencioso con capacidad de escalamiento, pero el software inmaduro limita su atractivo actual frente a soluciones consolidadas como DGX de Nvidia. Si Tenstorrent continúa abriendo su stack y publicando guías claras de inicio, la comunidad podría acelerar la adopción y demostrar plenamente el potencial de la arquitectura Blackhole.
