MK-61s: ускоряем инференс модели

Я везде по квартире хожу с ноутбуком, к которому прицеплены через ЮСБ «ПикоКалк» и «
Теперь и у «ПикоКалка» появился ребёнок — к нему через пару проводов подключена плата «Sipeed Tang Nano 20K». Она должна помочь «ПикоКалку» быстрее выполнять инференс модели, которую я обучаю писать код в командах калькулятора «Электроника
Лучший результат на самом «ПикоКалке» — 0,225 секунды на токен на моём эталонном коротком тесте. Думаю, тут дальше не продвинуться. Математика уже выверена, ядро разогнано, «Кортекс М3» как сопроцессор использовать не удаётся — шина слишком узкая, а своей памяти у него всего 20 килобайт, не разгуляешься.
Поэтому для интереса приобрёл эту плату с ПЛИСом. Посмотрим что нейросеть сможет выжать из неё. Первый прогон показал скорость 0,3 секунды на токен, что даже хуже, чем на «ПикоКалке», с другой стороны, там скорость на первом прогоне была вообще 28 секунд на токен.