Всё-таки скорость генерации токенов у «ДипСика 4.1» оказалась некомфортной. Я попросил «Сола» (ГПТ-5.6) с этим что-то сделать, подробно описав задачу. Нейросеть два часа крутила параметры туда-сюда и, кажется, подобрала удачное сочетание. Скорость генерации выросла более чем втрое — примерно до 327—358 токенов в секунду.
Ниже параметры, которые пришлось поменять:
| Параметр | Было → стало | Для чего |
|---|
swa-prefix-tails | 32 → 128 | Сохранять больше контекстов для повторного использования |
schedule-policy | fcfs → lpm | Раньше обслуживать запросы с уже закэшированным контекстом |
schedule-conservativeness | 1 → 0,7 | Уменьшить резерв памяти при допуске запросов |
Помимо этого
DSPARK4 заменили на
DSPARK5, отключили
mixed-chunk — это сочетание приводило к зацикливанию вывода модели, — и накатили
PR #39086 для фреймворка
sglang. Этот патч пока не протестирован, однако ускоряет обработку входных данных на
H200, поэтому я позволил нейросети его использовать.