Muita gente deve estar com dores de cabeça por causa dos custos de inferência de LLM, mas ultimamente está a receber destaque uma técnica chamada speculative sampling.

O princípio é este: um modelo mais pequeno prevê primeiro o resultado e, em seguida, um grande modelo alvo verifica tudo de uma vez com processamento paralelo em GPU. Como o número de chamadas ao modelo alvo pode ser reduzido em mais de 5 vezes, o custo de inferência cai drasticamente.

Pensa na estrutura como se o modelo de rascunho criasse rapidamente um esboço, e o modelo principal tratasse apenas da verificação de forma eficiente. O ponto principal é que se poupam recursos computacionais mantendo ao mesmo tempo a qualidade da saída.