بسبب تكلفة استدلال نماذج اللغة الكبيرة (LLM)، كثير من الناس يعانون من صداع. في الفترة الأخيرة، هناك تقنية تحظى بالاهتمام تُسمى "speculative sampling".

المبدأ كالتالي: نموذج صغير يتنبأ بالنتيجة أولاً، ثم النموذج الكبير المستهدف يقوم بالتحقق دفعة واحدة باستخدام معالجة متوازية عبر GPU. يمكن تقليل عدد مرات استدعاء النموذج المستهدف حتى 5 مرات أو أكثر، وهذا يؤدي إلى انخفاض كبير في تكلفة الاستدلال.

فكر في الأمر وكأن نموذج المسودة يجهز مسودة بسرعة، بينما النموذج الرئيسي يكتفي بالتحقق بكفاءة. النقطة الأساسية هي إمكانية توفير موارد الحوسبة مع الحفاظ على جودة المخرجات كما هي.