Підсумки оновлення Exa: 500 символів резюме відповідає 8000 символам повного тексту з високою точністю, економія токенів у 16 разів

AIMPACT повідомлення, 24 квітня (UTC+8), згідно з моніторингом Датчі Beating, компанія AI пошукових API Exa випустила значне оновлення функції Highlights. Highlights — це здатність Exa витягати з веб-сторінок концентровані короткі фрагменти з резюме, що відповідають запиту, що генеруються в режимі реального часу для кожного запиту (без кешування), виконуючись за 100 мс.
У базовому тесті SimpleQA точність співпадіння 500-символьних Highlights від Exa з оригінальним текстом довжиною 8000 символів становить, зменшення споживання токенів у 16 разів; ефект від 4k символів Highlights перевищує 32k символів повного тексту.
Особливо помітно покращення у сценаріях роботи з довгими документами, такими як технічна документація, API-специфікації, SDK-документація та наукові статті: при бюджеті у 500 символів точність Highlights досягає 60%, тоді як для повного тексту — лише 6%.
Власні кінцеві точки Exa /answer, Deep і Websets використовують Highlights як базовий механізм пошуку, не зчитуючи вміст оригінальної сторінки.
Highlights — це не нова функція, а вже існуюча опція витягання контенту в API Exa.
Це оновлення відбувається на рівні моделі, і всі запити з параметром enableHighlights автоматично отримують переваги без необхідності змінювати код.
(Джерело: BlockBeats)