Из-за высокой стоимости инференса LLM у многих болит голова, и сейчас наибольшее внимание привлекает методика под названием speculative sampling.

Принцип такой: сначала небольшой модель предсказывает результат, а затем большая целевая модель проверяет его с помощью параллельной обработки на GPU. Это позволяет сократить количество вызовов целевой модели более чем в 5 раз, что резко снижает стоимость инференса.

Можно представить себе, что драфт-модель быстро создает черновик, а основная модель только эффективно проверяет его. Ключевой момент — экономия вычислительных ресурсов при сохранении качества вывода.