Decodificación Especulativa para LLMs

La escalabilidad en tiempo de inferencia, que implica asignar más recursos computacionales durante la ejecución de los LLMs, ha demostrado mejorar sus capacidades de razonamiento. Sin embargo, este proceso genera redundancias y repeticiones, lo que resulta en una sobrecarga computacional. La decodificación especulativa se presenta como una solución a este problema.

Un Nuevo Benchmark para la Decodificación Especulativa

Investigadores han introducido un nuevo benchmark para evaluar la eficacia de la decodificación especulativa en la aceleración del razonamiento de los LLMs. Este benchmark proporciona protocolos experimentales consistentes para paradigmas de escalabilidad como Best-of-N y el pensamiento multi-ronda, permitiendo la comparación de tres métodos de decodificación especulativa: basados en modelos, basados en entrenamiento y basados en n-gramas.

El Potencial de los N-gramas

Los experimentos revelan que los métodos basados en n-gramas, a pesar de su simplicidad, capturan eficazmente los patrones repetitivos en el razonamiento de los LLMs, demostrando un potencial único para acelerar la escalabilidad en tiempo de inferencia. La combinación de métodos basados en n-gramas con enfoques basados en modelos o en entrenamiento podría equilibrar la aceleración tanto para el razonamiento repetitivo como para el diverso.

Este benchmark abre nuevas vías de investigación para optimizar el rendimiento de los LLMs, permitiendo un razonamiento más rápido y eficiente.