Lambda aumenta tokens por vatio al ejecutar 19 nodos con el mismo presupuesto energético

Por Redacción Señal IA

Lambda ejecutó 19 nodos con el mismo presupuesto energético que normalmente se asigna a 16 nodos a plena potencia, lo que incrementó el throughput de tokens del clúster en un 24%, pasando de unos 4 millones a 5 millones de tokens por segundo, y mejoró el rendimiento por vatio en un 23%. (NVIDIA Newsroom)

NVIDIA Newsroom escribe: «Lambda ran 19 nodes within the same power budget typically allocated to 16 full-power nodes, increasing cluster-wide token throughput by 24% — from about 4 million to 5 million tokens per second — while improving performance per watt by 23%.» (NVIDIA Newsroom)

Según los datos citados, la configuración permitió subir el rendimiento de tokens del clúster en un 24% y el flujo de tokens por segundo pasó de alrededor de 4 millones a 5 millones, mientras que la eficiencia energética —medida como rendimiento por vatio— mejoró en un 23%. (NVIDIA Newsroom)