программирование

«Пропьёшь» ли навык программировать?

Не могу согласиться с распространённой поговоркой «мастерство не пропьёшь». Обычно её понимают так: если у человека есть талант или навык, он останется с ним навсегда. Но мой опыт говорит об обратном. Я, можно сказать, «пропил» по меньшей мере одно своё мастерство.

В начале девяностых я учился в Лениногорском нефтяном техникуме, и черчение давалось мне удивительно легко. Настолько легко, что очень скоро стало скучно. Мне казалось странным снова и снова выводить одни и те же элементы, когда я и без того безошибочно представлял деталь в трёх проекциях и разрезе. В голове она возникала объёмной, а на бумагу переносилась почти автоматически.

Думаю со стороны это казалось проявлением то ли лени, то ли наплевательского отношения к предмету.

Именно из-за этого преподавательница не допустила меня до местной олимпиады по черчению. До сих пор вспоминаю это с сожалением: наша команда тогда с треском проиграла, а я сидел в зале и ловил себя на мысли, что знаю ответы на все без исключения задания.

Недавно, уже скорее из любопытства, я решил проверить, осталось ли это умение. Оказалось — нет. Тот навык исчез. Сегодня я уже не могу так же отчётливо увидеть предмет в голове сразу в трёх проекциях и мысленно «вращать» его, как делал это когда-то без малейших усилий.

Замечаю, что в последнее время многие программисты задаются вопросом — не исчезнет ли их навык программирования, если они отдадут эту часть работы нейросетям? Думаю, им хочется услышать от как можно большего количества народу что-то ободряющее, вроде «конечно нет, ты что?», но история выше показывает, что навыки вполне себе исчезают без следа.

Вопрос только в том зачем нам этот навык? Это как с моим навыком черчения. Что такое должно произойти, чтобы он снова мне пригодился?

Пандора уже открыла свой пифос, нейросети никуда не исчезнут. У нас сейчас переходный период, поэтому всё выглядит зыбко, но вектор-то вполне видно. Как когда-то ручной труд сменился промышленным производством в силу очевидных причин, так и ручное кодирование исчезнет по причине того, что нейросеть будет делать это всё быстрее и дешевле. 

Уже сейчас на двухсотдолларовой подписке при хорошем уровне понимании задачи и контроле, можно за сутки сделать столько, сколько коллектив из нескольких разработчиков хорошего уровня будет делать месяцы! А ведь это ещё не предел — уровень нейросетей всё растёт и из анонсов мы знаем, что каждая из компаний переднего края готовится выпустить свою нейросеть ещё более высокого уровня.

Другое дело, что поменялось всё слишком быстро и никто не понимает толком как перестроить обучение. Дать каждому студенту подписку на нейросети и сразу учить на какую-то смесь руководителя разработки с примесью бизнес-анализа и навыком тестирования? Так ведь человечество не настолько реактивно. 

Часть людей до сих пор находится на стадии отрицания вайбкодинга. Благо мемы годовой давности, когда код нейросети без ревью даже в домашний проект класть было зазорно, помогают им жить в своём иллюзорном мирке и считать, что они трезво смотрят на мир.

Одно понятно. В переходной стадии программисту надо одновременно развивать оба навыка — программирования и управления программирующими сетями. Руководители разработчиков оказались в чуть более выгодном положении — программировать им необязательно, а управлять программирующими они уже умеют. Ну или должны уметь.

33 комментария

Движок сайта: бессерверные боты

Я мало рассказываю о своём движке сайта. Всё обещаю себе, что закончу и тогда напишу большую обзорную статью, но на деле очень страшусь объёма работы: он уже очень многое умеет, а то ли ещё будет — планов громадьё!

Поэтому лучше рассказывать потихоньку.

Со сменой движка многие обратили внимание, что комментарии из моей группы в «Телеграме» теперь транслируются на сайт. Ну как «транслируются» — приходилось руками экспортировать их в клиенте, потом загружать к себе. Конечно, логичнее было бы делать это через бота, да вот незадача — его надо было бы где-то хостить, а с учётом ограничений «Телеграма» в нашей стране искать хостинг пришлось бы за границей.

Выход на самом деле есть — так называемые «бессерверные боты», недавно появившаяся у «Телеграма» возможность. Небольшая цитата из руководства Telegram Serverless:

Telegram Serverless позволяет запускать серверный код бота и мини-приложения прямо на инфраструктуре «Телеграма» — не нужно настраивать серверы, поддерживать контейнеры в рабочем состоянии и думать о масштабировании.

Одна проблема — доступ пока дают не всем, сначала надо отстоять очередь. Я получил его вчера и сразу с нейросетью сделал бота для переноса комментариев. Теперь буду тестировать на живых обсуждениях.

Технически это набор обычных джаваскриптовых модулей. Для каждого события — свой обработчик: handlers/message.js получает сообщения, handlers/edited_message.js — правки. «Телеграм» вызывает функцию, она выполняет работу и завершается. Код работает в изолированной среде V8; полноценной Node.js со всеми npm-пакетами там нет.

Подключение начинается в мини-приложении BotFather: создаёшь бота, встаёшь в очередь, когда она подошла, выбираешь бота, включаешь Serverless и получаешь отдельный ключ для командной строки. На компьютере нужен Node.js 18 или новее:

npm create @tgcloud/bot my-bot
cd my-bot
npx tgcloud login
npx tgcloud push

login связывает проект с ботом, push загружает код. В комплекте есть SQLite, Bot API и fetch для внешних HTTP-запросов. База сохраняется между вызовами, поэтому можно хранить пользователей, настройки, очередь заданий.

Понятно, что все шаги я описываю поверхностно, чтобы самому не забыть, для подробностей есть документация.

У меня бот сначала сохраняет событие в локальную базу, потом пробует передать его сайту. Если сайт недоступен, запись остаётся для повторной отправки. Если одно сообщение придёт дважды, второй комментарий из него не получится — движок сайта помнит, что уже импортировал.

Связь со статьёй определяется по ссылке в исходном посте канала — я всегда ставлю её в заголовке. Ответы сохраняют структуру обсуждения, а мой Telegram ID связан с моей учётной записью на сайте, чтобы собственные комментарии узнавались как авторские. Так же из комментариев переносятся картинки, видео, стикеры и реакции, включая их снятие.

Приёмник на сайте защищён отдельным секретным ключом, поэтому злоумышленник не может прислать ему команду добавить комментарий. Сам сайт при этом за файлами в «Телеграм» не ходит — бот скачивает их у себя и отправляет вместе с остальными данными.

Вот такая получилась схема. Я пока не знаю удастся ли этим же путём сделать публикацию заметок, но планирую попробовать, если получится, будет здорово.

Оставить комментарий

«MK-61s»: SIMD

Было время, когда меня захватила идея реализовать поддержку «Юникода» на «Флиппере Зеро». Я много тогда над этим работал и одна из вещей, которую я тогда делал — пытался ускорить измерение длины строки в кодировке «ЮТФ-8». Не то чтобы это было реальной проблемой, но мне хотелось этим заняться, вот я и занимался.

Тогда я познакомился с расширением DSP SIMD, которое помогает на армовских процессорах параллельно обрабатывать несколько значений одновременно. Вчера мне этот опыт пригодился.

Сейчас я занят ускорением работы встроенных в ретроконсоль «МК-61s» языков программирования — Бейсика и Фокала и вспомнил об этих инструкциях, так как процессор «MK-61s» их тоже поддерживает.

Чтобы измерять оптимизации я, как это у меня водится, портировал по эту задачу на ретроконсоль очередную игру. На этот раз шахматы Алана Тьюринга и Дэвида Чемперноуна (есть восстановленный алгоритм по мотивам их идей 1948 года). Нейросеть их перевела на Бейсик и это очень хороший тест, так как там очень много вычислений — первая версия делала ход за 162 секунды.

На черно-белом фото изображено устройство МК-61с с надписью «SIMD» сбоку.
Шахматы Алана Тьюринга на виртуальном экран ретроконсоли «MK-61s»

Я занялся ускорением, так как по предложению одного из членов нашей команды, Алексея Сугоняева, перевёл интерпретаторы Бейсика и Фокала в трансляторы, формирующие специально разработанный байт-код, который затем и выполняется. Оказалось, что я неправильно понял его идею, но дело уже сделано, и этот подход принёс неожиданные преимущества.

Во-первых, ускоряя виртуальную машину, мы ускоряем сразу оба языка, во-вторых, их можно мешать между собой, так как они оба транслируются в один и тот же промежуточный язык.

Все низковисящие плоды в плане оптимизации я уже сорвал, остались довольно сложные вещи, типа джит-компиляции, но перед этим я хочу убедиться, что сделаны все более простые вещи. Вот тут я и вспомнил про SIMD.

«Юникода» в «MK-61s» уже нет — я недавно перевёл код на однобайтовую кодировку, но тем не менее есть что ускорить. Эксперименты показали, что эффект есть при трансляции, когда Бейсик и Фокал ищут пробельные символы и переводы строки, что немного ускоряет холодный старт программ:

ПрограммаВремени на компиляцию меньше
Шахматный поиск, Бейсик0,47%
Вступление High Noon, Бейсик1,32%
Статистика, Фокал1,38%

К слову, оптимизированная версия Бейсика сейчас делает на холодную первый ход в шахматах за 104 секунды, а при прогретых кешах — за 87,5. Это пока всё равно медленно, но куда лучше 162 секунд, которые были в начале.

Оставить комментарий

«MK-61s»: самораспаковка в 105 ячейках

Что-то никак не оставляла меня мысль сделать более «честную» самораспаковывающуюся программу — без дополнительного регистра и чтобы умещалась в стандартную память калькулятора. Чтобы она работала в том гипотетическом сценарии, если бы авторы «Электроники МК-61» всё-таки позаботились доделать инструкции для работы с дополнительной памятью Ms.

В прошлый раз игра вместе с распаковщиком занимала диапазон в 110 ячеек, включая нестандартные адреса, которые есть только в ретроконсоли. Теперь весь образ помещается в 105 ячеек, нестандартный регистр Rf не используется, а начальные значения регистров устанавливает сама программа.

Больше всего удалось убрать из игровой части. Там были четыре отдельных вывода значений R1, R2, R3 и R9, каждый из двух команд: чтение регистра и остановка. Такие же выводы уже есть в распаковываемой части, нейросеть переназначила клетки карты на них. Это освободило восемь байт.

Сообщения о результате игры — числа 30 и 20 — теперь вводятся командами цифр. Каждый такой вывод стал на одну команду длиннее, зато для самих чисел больше не нужны регистры. Из восьми освобождённых байтов потратил два, после чего неизменяемый хвост игры сократился с 27 до 21 байта.

У распаковщика удалось убрать три команды: 8, x→П0 и X↔Y. Начальное значение счётчика теперь закодировано в первом числовом блоке упакованной программы. При обменах оно само попадает в R0, поэтому вводить и сохранять восьмёрку отдельными командами больше не требуется.

Чтобы отказаться от Rf, пришлось перенести хранившийся в нём шаг распаковки в Rd — регистр, где во время игры хранится здоровье. Во время распаковки здоровье ещё не нужно, а перед запуском игры его устанавливают две команды: 5 и x→Пd. Три команды ушло, две добавилось, в итоге распаковщик сократился с 20 до 19 байт.

Итого из игры и распаковщика удалось убрать семь команд. В новом расположении между распаковываемой частью и игровыми процедурами оставлены две пустые ячейки. Поэтому занимаемый диапазон сократился на пять ячеек: со 110 до 105.

Подготовку регистров удалось поместить в свободные места первых 63 ячеек. С адреса 08 выполняется цикл: в Rc записывается 9, затем значение Rc + 10 косвенно сохраняется в регистр с номером Rc, а счётчик уменьшается. Так R9–R1 получают необходимые для игры числа 19–11. Затем устанавливаются остальные начальные значения и адреса игровых процедур.

Эти значения перед распаковкой уже находятся в регистрах. Первый К ПВ сохраняет значения R0–R8 в Ms, последний возвращает их обратно. R9, Ra и Rb остаются на месте. Отдельных команд сохранения и восстановления не понадобилось. А сам код подготовки стирается при распаковке — его место занимает игра.

Для перехода к распаковщику нейросеть приспособила игровой переход в ячейке 35, заменив его на БП. До распаковки следующий байт содержит адрес 86. После распаковки там оказывается код 65 — П→x5, который для БП служит адресом 65. Поэтому процедура сбора детали теперь размещена именно там, для этого пришлось перед ней оставить две пустые ячейки. Один переход служит сначала подготовке, потом игре.

Для запуска нужно записать в память 79 ненулевых байт кода и данных. Сюда входит и код подготовки игровых регистров. Остальные ячейки должны быть обнулены. После распаковки игра размещается по адресам 00–85, распаковщик — в 86–104. Запуск начинается с 08, а после распаковки управление возвращается в 00. Ниже показано выполнение всего этого варианта.

Ms
Регистры


Осталась одна нерешённая проблема: используется 63 байта Ms, доступных в «MK-61s», тогда как в исходном калькуляторе эта область рассчитана на 56 байт. Нынешнему распаковщику нужны девять блоков этой памяти, а в исходном калькуляторе их восемь. Поэтому для работы в таком гипотетическом «МК-61» программу ещё придётся доделать.

Оставить комментарий

Движок сайта: боты

График показывает загрузку CPU, достигшую пика в 138% около 01.10, с общим средним значением 19.26%.
Очередной бот нашёл кое-какие урлы, в которые ему не надо. Наверное надо даже спасибо сказать ботам за нагрузочное тестирование сайта

В «Регистре» (так называется мой новый движок для сайта), меня, помимо редактора, постоянно донимают боты поисковых систем, нейросетей и так далее. Я даже не подозревал сколько их развелось и с какой страшной силой они молотят весь интернет. К сожалению, некоторые из них игнорируют robots.txt и заходят даже туда, куда просишь их не ходить.

Так как у меня на сайте сменилась часть адресов из-за появления новых возможностей, боты тут же побежали туда смотреть, что же там появилось нового, создавая нагрузку на сайт. Честно сказать, не знаю, последуют ли какие-то санкции от хостера, если ничего с этим не делать, но проверять не хочется.

Поэтому я регулярно захожу в панель администратора, чтобы посмотреть что у меня с нагрузкой и, если замечаю, что она в красной зоне, выгружаю логи и смотрю куда какой-нибудь очередной бот сунул свой любопытный нос. Решать проблему приходится по-разному — оптимизацией запросов, кешированием, динамической генерацией ссылок или стандартными robots.txt или nofollow, если бот их слушается.

Кеш у меня, кстати, сейчас устроен довольно сложно — если доступен модуль APC, либо есть /dev/shm, то горячие пути кешируются туда, если недоступно, используется общий кеш на файловой системе. Кеш без необходимости не сбрасывается, за этим я слежу отдельно. Инвалидация делается довольно топорно, надо — сносим, примерно как было в «Эгее», но, с другой стороны, я не делаю высоконагруженный проект, чтобы с этим отдельно заморачиваться.

Оставить комментарий

Движок сайта: редактор

Самым сложным в собственном движке блога оказался, как ни странно, редактор. Я сразу нацелился на визуальное редактирование, но с нужными мне особенностями — например, изображения автоматически сжимаются до оптимального формата и описываются через нейросеть, чтобы потом легче было искать.

Каждый день я дорабатываю движок, и большинство коммитов касается именно редактора. Почти каждый день я пишу свои заметки на сайт и почти каждый раз чем-нибудь недоволен и что-то правлю в редакторе. Он стал настоящей головной болью.

Интересно, что похожие баги встречаются и в телеграмном редакторе, которым я недавно начал пользоваться для публикаций в своём канале. Может они имманентно возникают при написании своего редактора с нуля?

Как бы то ни было, движок приобретает свои очертания. Только теперь они вырисовываются из опыта использования. Я был прав, когда решил начать им пользоваться на сайте, без этого ещё долго пришлось бы вылавливать все ошибки и неудобства.

4 комментария

«MK-61s»: самомодифицирующиеся программы

У меня была давно идея попробовать сделать самомодифицирующуюся программу на программируемом калькуляторе «Электроника МК-61». Ничего готового для этого там нет, но я надеюсь, что используя различные недокументированные возможности, этого можно добиться.

Своей цели я ещё не достиг, хоть и продолжаю пытаться, а пока экспериментирую с командами доступа в область Ms — это недоделанные команды, которые я разблокировал в ретроконсоли «MK-61s».

Там всего две команды — одна обменивает Ms с содержимым памяти, вторая с регистрами. Таким образом вырисовывается путь — меняем что-то в регистрах, выгружаем в Ms, оттуда — в память. Так как в «MK-61s» на один регистр больше, то и Ms пришлось расширить — теперь там может храниться не 56 шагов программы, как в настоящем калькуляторе, а 63.

Выглядит просто, но есть особенности — калькулятор хранит числа в особом формате и при переносе в программную память этот формат создаёт проблемы. Байтами команд становятся не только цифры числа, но и его знак и порядок. Поэтому записать в регистр какое-нибудь число и получить из него произвольную последовательность команд не получится — приходится подбирать числа под нужный код, а иногда и сам код под представление чисел.

Например, число 690050,68 после такого переноса даёт последовательность кодов 68 50 00 69 50 00. Для калькулятора это уже программа: прочитать регистр 8, остановиться, ввести ноль, прочитать регистр 9, снова остановиться и ввести ноль. Кроме этих шести байтов у каждого блока есть ещё один служебный байт, который команда обмена с регистрами не меняет. Его можно заранее заполнить нужной командой.

Теперь самое интересное: если вычесть из этого число 10000,01, получим 680050,67, а в памяти — 67 50 00 68 50 00. Команды остались прежними, но оба номера регистров уменьшились на единицу. Продолжая вычитать ту же константу, можно получить целую серию похожих участков программы.

Я решил попробовать использовать это для программы, которая не просто сама себя модифицирует, а, в идеале, сама себя распаковывает, то есть занимает меньше команд при вводе, чем в памяти.

Для этого я взял игру «The Land of Psycho Lamers» и переставил её код так, чтобы повторяющиеся участки укладывались в вышеупомянутый шаблон. Получился распаковщик длиной всего двадцать байт: он берёт начальное число и шаг, заполняет девять регистров, а затем двумя обменами переносит результат в программную память. Так восстанавливаются 63 байта команд.

Правда, тут надо честно посчитать всё остальное: исходные числа, заранее расставленные служебные байты и код подготовки. С учётом этого выигрыш получился скромным — 75 загружаемых байт против 80 у исходной игры. Это если в обоих случаях не загружать нули. Сам текстовый файл стал даже больше, да и занимаемый диапазон программной памяти вырос. Так что до практичного архиватора далеко, но работающая игра, которая сама собирает часть своего кода из чисел, уже получилась.

Ниже можно пройти распаковку по шагам. Хорошо видно, как сначала исходные данные уходят в Ms, затем из чисел строятся будущие команды, а в конце они одним обменом появляются в основной памяти.

Ms

Оставить комментарий

DeepSeek V4.1 Flash: ещё быстрее

Я уже писал о запуске модели «DeepSeek V4.1 Flash» на четырёх видеокартах H200. Этой конфигурации хватает впритык и мне пришлось немало повозиться, чтобы достичь приемлемой производительности.

Недавно выяснилось, что и это не предел. Как-то раз, просматривая журнал при старте, я заметил, что фреймворк «SGLang» предупреждает об отсутствии готовых профилей для некоторых операций с числами в формате FP8, вместо них загружался некий универсальный профиль.

Оказалось, что эти профили используются для работы с матрицами и получаются перебором различных конфигураций на конкретном оборудовании. Потенциально правильно подобранный профиль способен ускорить инференс модели. А поскольку наш текущий «DeepSeek» использует в работе три типа данных, включая FP8, я решил попробовать этот профиль создать.

Процедура несложная — запускаешь специальный скрипт и ждёшь. Правда, создать все нужные профили получилось только с третьего раза. Они создаются под матрицы разного размера, и нейросеть, которая запускала мне скрипт, нашла все подходящие размеры лишь на третьей попытке.

ПоказательДоПосле
Самый медленный запрос4,95 с2,46 с
Пиковая скорость1045 ток/с1811 ток/с
Успешные запросы12/1212/12

В итоге разницу можно увидеть в таблице выше — тут результаты небольшого нагрузочного тестирования модели с универсальным профилем и профилем, подобранным под оборудование.

1 комментарий

«Элита» на «MK-61s»

Как и во всех остальных случаях, специально чтобы оттестировать новые команды, я перенёс на «MK-61s» игру. У меня это уже проверенный метод для разных интерпретаторов, который даёт хорошие результаты — и баги становится проще найти, и оценить насколько удобно использовать сами команды

На этот раз, я об этом уже писал, выбрал «Элиту». Те, у кого был в детстве какой-либо клон «Спектрума», думаю, очень хорошо её знают.

Безусловно, графику оригинальной игры, как ни расширяй калькулятор, тут не повторить, но можно реализовать больше логики и кодировать происходящее в игре более понятным образом.

Генеративные языковые модели не обладают собственным мнением — их ответы являются обобщением информации, находящейся в открытом доступе.
Заставка «Элиты» на двенадцатиразрядном индикаторе

Как первый результат расширенных команд вывода на экран — на индикаторе теперь можно вывести заставку и подписать, что игра ожидает нажатия кнопки C/П для старта. Всё это выводится в стандартных двенадцати знакоместах, просто нестандартным образом.

Внутри запрограммирована небольшая вселенная из 256 миров. Можно торговать шестью товарами — едой, рудой, топливом, электроникой, золотом и оружием, — заправляться, ремонтировать корабль, покупать ракеты и улучшать лазер. Между мирами встречаются пираты, а иногда и те самые таргоиды, которые встречались в оригинальной игре.

Генеративные языковые модели не обладают собственным мнением — их ответы являются обобщением информации, находящейся в открытом доступе.
Имя начального мира

Названия миров я составляю из шестнадцати букв, которые можно более-менее узнаваемо изобразить сегментами. Например, начальный мир называется «dAdnAA». Получается что-то вроде технических обозначений, но от названий космических объектов благозвучие не требуется.

Имена при этом несут двойную функцию. Они связаны с устройством мира, в том числе с торговлей, поэтому постепенно можно научиться узнавать полезные места.

Торговля устроена просто: смотрим цены, покупаем товар, выбираем соседний мир, летим, продаём. Топливо, которое лежит в трюме, — товар, бак заправляется отдельно.

Как и любая языковая модель, GigaChat не обладает собственным мнением и не транслирует мнение своих разработчиков.
Цена еды: слева номер товара, справа цена, про «СП» я уже рассказывал

С управлением получилось по-калькуляторному: вводишь номер действия и нажимаешь С/П. Например, 10 показывает цену еды, 30 покупает одну единицу, а 40 продаёт. Для остальных товаров меняется последняя цифра. Во время ввода предыдущая картинка остаётся на экране, набираемый код её не затирает.

Состояние корпуса, щита, бака, нагрев и заполнение трюма показываются ещё и шкалой из пяти секций. Точное значение остаётся рядом: шкала нужна, чтобы с первого взгляда понять, много у тебя осталось или мало.

К сожалению, иногда генеративные языковые модели могут создавать некорректные ответы, основанные на открытых источниках.
Состояние корпуса: шкала и точное значение

Бои пошаговые. За один ход выбираешь и манёвр, и действие: сблизиться или отойти, выстрелить из лазера или пустить ракету, восстановить щит или готовить бегство. Это снова две цифры: первая отвечает за движение, вторая — за действие. Можно, например, отходить и одновременно заряжать прыжок.

Это, конечно, самое слабое место, калькулятор есть калькулятор, буквенного ввода нет, а цифры запомнить куда сложнее.

Дистанция имеет значение: лазер не достаёт до далёкой цели, а вблизи стреляет сильнее. Кроме того, он ещё и греется. Ракет мало, щит держит конечно количество ударов, так что бесконечно повторять одну и ту же команду не получится.

Генеративные языковые модели не обладают собственным мнением — их ответы являются обобщением информации, находящейся в открытом доступе.
Схема дистанции в бою: свой корабль и противник

Для расстояния я сделал отдельную схему: U («you») обозначает наш корабль, H («hostile») — противника, а точка отмечает границу, до которой достаёт лазер. Так посмотреть приборы или выбрать цель можно без расходования хода.

С таргоидами интереснее: у них есть корабль-носитель, который выпускает дронов. Поэтому просто расстрелять большой корабль недостаточно, надо убрать весь строй.

Генеративные языковые модели не обладают собственным мнением — их ответы являются обобщением информации, находящейся в открытом доступе.
Носитель и дроны на одном индикаторе

Маленькие кольца слева показывают живых дронов. Правее — выбранная цель и её оставшаяся броня. Для носителя это H, для дрона — его номер. То есть даже в двенадцать знакомест помещаются несколько противников, выбор цели и число, которое помогает решить, стоит ли тратить на неё ракету.

К сожалению, иногда генеративные языковые модели могут создавать некорректные ответы, основанные на открытых источниках.
После уничтожения всех противников: YES. CLEAr

Победу я обозначил надписью «YES, CLEAr» . За победу дают награду, после сражения можно закончить перелёт и вернуться к торговле.

На этой игре хорошо стало видно, зачем понадобилось отделять экран от вычислений. Промежуточные числа больше не мелькают перед глазами, а новый кадр появляется целиком. Кроме того оказалось, что нужно добавить больше команд — первая версия медленно заменяла отдельные сегменты, и выглядело это довольно мучительно.

Вообще, с быстродействием пришлось повозиться отдельно: сокращать обмены между банками, переиспользовать уже вычисленные значения, заимствовать калькуляторные трюки с косвенными переходами.

Игра и короткая инструкция лежат в репозитории. Нужна свежая прошивка с новыми командами; открываешь папку ELITE на устройстве, закрываешь памятку и нажимаешь С/П. Пока не решил стоит ли делать сохранения. С одной стороны это логичный следующий шаг, с другой стороны уже слишком далеко отходит от исходной идеи.

9 комментариев

«МК-61s»: два новых набора команд

Как я писал два дня назад, мне стало интересно пофантазировать на тему, как бы я расширил калькулятор «Электроника МК-61», если бы мне поручили доработать его под написание игр. Я решил, что нарастил бы ему память и позволил бы программисту гибче управлять выводом на экран.

Правда, я думал, что добавлю всего несколько команд, заняв неиспользуемые коды калькулятора, но когда начал писать программу для теста, оказалось, что набор надо расширять серьёзно, иначе быстродействие программ будет крайне низким, «МК-61» и так-то производительностью не отличается.

Поэтому пришлось расширять команды по префиксному типу — код 1F используется как префиксный для работы с новыми банками памяти, а 2F — для работы с экраном.

Полностью все команды я перечислять не будут, их слишком много, в моём репозитории есть руководство, но основные идеи расскажу.

Поскольку экран «МК-61» заменить в те годы было не на что, я бы оставил его тем же, но сделал бы две вещи.

Во-первых, развязал бы вывод на экран с регистром X, что позволило избегать появления на экране промежуточных вычислений.

Во-вторых, позволил бы программисту управлять каждым сегментом двенадцатиразрядного индикатора. Это даёт возможность выводить какое-то подобие букв и рисунков. Весь алфавит так не выведешь, но некоторые буквы и знаки — запросто.

Тут для производительности пришлось добавить целую россыпь команд. Помимо переключения режимов отображения, теперь есть команды виртуального курсора и форматирования.

И, конечно, стоит подумать об расширении памяти. Тут действительно настоящая проблема. Ретроконсоль «МК-61s» уже давно умеет в специальном режиме добавлять к традиционным 105 байтам ещё семь практически без нарушения обратной совместимости, а недавно в ней появились даже новые команды для работы с областью памяти Ms, которая была предусмотрена в калькуляторе «Электроника МК-61», но ранее не использовалась. Однако и этого всё равно недостаточно.

Поэтому я добавил этой памяти ещё несколько дополнительных банков, выделив префикс 1F для переключения. Сначала я думал, что обойдусь одной командой вызова подпрограммы, но оказалось, что для программирования это неудобно, так что в этом наборе появились еще циклы и команды условных переходов.

В итоге в расширенном режиме теперь доступно: 112 байт обычной памяти, резерв Ms в 63 байта (в обычном калькуляторе там 56 байт, но тут пришлось расширить из-за добавленного регистра Rf, который есть в «MK-61s»), плюс 31 банк памяти по 112 байт каждый. Всего 3647 байт.

Правда, сами команды удлинились — новые команды занимают от двух до четырёх ячеек. Самые длинные — команды перехода по адресу: префикс, код команды, выбор банка и адрес ячейки. Я теории их можно сократить, но тогда придётся жёстко завязаться на количество банков, а мне бы этого не хотелось.

36 комментариев

«МК-61s» и Base91

Я на днях под влиянием книги «Сфера-80…», про которую недавно рассказывал, решил пофантазировать, как можно было бы гипотетически расширить «Электронику МК-61», если бы я, подобно герою книги, попал в то время и мне бы довелось его разрабатывать.

Поскольку этот калькулятор изначально не задумывался для игр, однако для него написано более шестисот игр, которые были опубликованы, и неизвестно сколько ещё пропало, мысли мои пошли в сторону того, что именно я бы добавил туда, чтобы на нём было интереснее играть.

Расширил набор команд двумя префиксами, в другой раз покажу какими, а для тестирования, как водится, написал при помощи нейросети игру — простой клон известной «Элиты». Для «МК-61» это не диковинка — в моём каталоге их четыре штуки, но тут новый уровень.

Игра поначалу получилась достаточно объёмной, и, чтобы сэкономить место на диске, а заодно ускорить загрузку, я решил добавить к расточительному шестнадцатеричному формату хранения программ что-то более компактное.

Вспомнил, конечно, про Base64, а также более редкий Base85, но оказалось, что есть ещё чуть более экономный формат Base91. Я, вроде, про него слышал, но крепко про него забыл. Все они, по сути, решают одну проблему — кодируют бинарную информацию так, чтобы её можно было хранить внутри текстовых файлов.

Самый простой вариант — шестнадцатеричная запись. Каждый байт превращается в два символа от 00 до FF. Это очень удобно для человека: файл можно открыть в редакторе, посмотреть и при некотором опыте даже что-нибудь исправить. Но за удобство приходится платить — размер данных увеличивается ровно вдвое.

Base64 работает экономнее. Он собирает три байта, то есть 24 бита, и превращает их в четыре символа по шесть бит каждый. Отсюда и название: шесть бит позволяют выбрать один из 64 символов. Размер файла при этом вырастает примерно на треть.

Base85 упаковывает четыре байта в пять символов. Тут уже нет такого красивого соответствия битам, зато 85⁵ чуть больше 2³², поэтому любой четырёхбайтовый блок в эти пять символов помещается. Накладные расходы уменьшаются до 25%.

Алгоритм, который обычно называют Base91, на самом деле называется «basE91» — именно так, с заглавной «E» посередине. Его написал Йоахим Хенке. В качестве алфавита он взял почти все печатные символы ASCII, кроме дефиса, апострофа и обратной косой черты.

На первый взгляд кажется, что Base91 должен просто брать некоторое количество бит и переводить получившееся число в систему счисления с основанием 91. Но подходящего целого количества бит тут нет: один символ вмещает чуть больше шести с половиной бит.

Зато хорошо работают пары символов.

В двух символах Base91 гарантированно помещаются 13 бит, причём после этого остаётся ещё 89 незанятых комбинаций. Автор алгоритма решил их не выбрасывать.

Обычно очередная пара символов хранит 13 бит. Но если значение этих бит попадает в диапазон от 0 до 88, кодировщик прихватывает ещё один, четырнадцатый бит. Для каждого из 89 маленьких значений получается две версии: с нулём и единицей в дополнительном бите. Декодер по получившемуся числу понимает, сколько бит надо забрать из входного потока — 13 или 14.

В исходном коде вся эта математика превращается в очень короткую проверку:

(v & 8191) > 88 ? 13 : 14

Без объяснения числа «88» и «8191» выглядят как магические константы. На самом деле первое число это те самые 89 оставшихся комбинаций, только нумерация начинается с нуля, а «8191» — это 2¹³ − 1, или тринадцать единиц в двоичной записи для выделения тринадцати младших бит.

Из-за такого устройства размер результата зависит от содержимого. В худшем случае Base91 добавляет около 23%, а на данных с большим количеством нулевых байтов накладные расходы могут уменьшаться примерно до 14%. Для обычного смешанного бинарного потока получается около 22,97%.

Если взять тысячу байтов, то без учёта заголовков и переносов строк выйдет примерно так:

  • шестнадцатеричный формат — 2000 символов;
  • Base64 — 1336;
  • Base85 — 1250;
  • Base91 — обычно около 1230.

То есть по сравнению с Base85 выигрыш совсем небольшой — около двадцати символов на килобайт. Зато по сравнению с исходным шестнадцатеричным форматом файл уменьшается почти на 40%.

Для обычной программы «МК-61» размером 105 байтов цифры  такие: 210 символов в шестнадцатеричном виде, 140 в Base64, примерно 132 в Base85 и около 129 в Base91. Всего три символа выигрыша у Base85, зато 81 — у старого формата. На одной программе можно было бы не обращать внимания, но на большой игре и целом каталоге разница постепенно накапливается.

У меня программа получилась побольше — несколько килобайт, мои расширения такое позволяют, поэтому я перед кодированием ещё и сжимаю программу уже испробованным алгоритмом «ZX0».

Код игры для «МК-61» в различных системах счисления: Base64, Base85 и Base91.
Вот так выглядит половина сжатой и закодированной «Элиты», половина, потому что из-за ограничений файловой системы она разбивается на 2 файла

Добавлено позже: один из читателей предложил вариант хранить программу в бинарном виде. Я такой вариант отбросил в самом начале, потому что мне больше нравилась идея всем управлять из текстового файла терминала, кроме того по расчётам тогда получалось, что в один файл всё равно всё не уместится.

Но я тогда не учитывал сжатие, плюс сама «Элита» была больше, я потратил немало токенов, чтобы её ускорить (первые версии рисовали экран секундами), а по пути она ещё и меньше стала. В общем, эту идею точно надо было рассмотреть.

В итоге, от команд  ztart и zin я избавился в пользу одной команды load, которая загружает сжатый заранее бинарный образ.

3 комментария

«МК-61s»: однобайтовая кодировка

Сжег половину недельных токенов на задачу уменьшения размера прошивки для «МК-61s». У нас есть конфигурация, куда давно ничего не помещается, для нее я делал поддержку внешних запускаемых программ, но все равно из нее всё вываливается.

Поэтому на выходных начал делать две вещи, которые давно напрашивались, — переход на однобайтовую кодировку и выделение «USB-диска» в отдельное приложение. Хотя вторая задача оказалась инженерно сложнее, зато потребовала меньше моего участия — я просто подключил одну из своих консолей к ноутбуку, описал набор тестов и ждал, пока нейросеть устранит все проблемы.

В задаче перевода кодировании символов на один байт мне пришлось участвовать постоянно.

Для начала для чего это нужно. Для нескольких вещей.

Во-первых, в прошивке достаточно много различных строк, которые приходится хранить. На одном этом удалось сэкономить около килобайта. Во-вторых, у меня ограниченные буферы редактирования. Тексты на русском в Юникоде занимают по два байта на символ. В-третьих, внутренний «диск» небольшой — всего 512 килобайт. И хотя используется сжатие, программы, использующие один байт на символ, всё равно занимают меньше места.

Поэтому пришлось придумать свою кодировку. Я её назвал «M8» («MK-61», 8 бит), но по сути это — CP1251 с добавленными специальными символами на позиции 0E…1F. Я выбрал как базу CP1251, потому что у большинства членов команды, а также у редких пользователей из сообщества — «Винда», поэтому при работе в терминале нам ничего не придётся перекодировать (специальные символы используются в интерфейсе, поэтому в терминал не попадают).

Таблица ASCII-кодов МК-61s: латиница, кириллица, цифры, знаки препинания и управляющие символы.
Теперь у «МК-61s» есть своя однобайтовая кодировка частично совместимая с так называемой «CP1251», для краткости я её называю «M8»

Файловая система, которая видна через «USB-диск», при этом работает как и раньше — длинные имена и содержимое файлов на лету преобразуются в «Юникод» и обратно. Поскольку для каждого файла у нас хранится метаинформация, чтобы мы знали, чем его запускать, бинарные файлы от перекодировки не страдают.

У меня есть идея поместить на свободные места все национальные символы, используемые внутри России — места хватает, однако она разбивается о сомнения, как поступить с их отображением в терминале. То ли показывать там знак «вопроса», то ли предусмотреть режим переключения терминала в «Юникод». Пока отложил эту идею, всё равно пользователей таких символов пока не наблюдается.

Оставить комментарий

Книги: «Проект „Сфера-80“: ТЗ для прошлого»

Посоветовали книгу редкого и актуального для меня жанра — «главный герой сталкивается с трудностями и успешно решает их в пределах нескольких страниц», да еще и в любимом мной сеттинге — действие происходит в советском конструкторском бюро.

Тут надо пояснить, что хотя мне и нравится дух той эпохи, не стоит путать это с анемойей. Я не строю иллюзий: если бы мне сейчас пришлось работать на компьютерах той эпохи, я бы впал в депрессию. По крайней мере поначалу.

Книга называется «Проект „Сфера-80“: ТЗ для прошлого», автор — Станислав Миков. Никогда ничего у него не читал и даже никогда про него не слышал.

Главный герой из 2026 года, где он занимался программированием микроконтроллера для чайников, попадает в 1976 год, в то время, когда слово «Ява» в разговоре двух программистов означало сигареты, а не язык программирования.

Теперь его задача — довести до промышленного выпуска калькулятор, который он постепенно начинает превращать в первый советский персональный компьютер.

К качеству книги много вопросов, так что она не всем придётся по вкусу. Например, главные герои говорят почти одинаково и словно обладают всего двумя типами характера: увлечённый инженер и интриган, о которого этот инженер постоянно спотыкается на пути к своей светлой цели.

Зато — паяльник, микросхемы К155, «Радио-86РК», «Фортран», моделирование на «ЕС ЭВМ». Всё это очень тепло во мне отзывается.

На фото представлены экспонаты выставки, посвящённой советской вычислительной технике: электронная машина ЕС-1045, магнитные ленты, ленточнопротяжный механизм НМЛ М-20 и книга…
Жёсткий диск от ЕС ЭВМ. Сфотографировал в казанском музее компании «АйСиЭль» в 2018 году

Пока читал, кстати, разблокировалось воспоминание: начало 90-х годов, мы пришли с экскурсией в Лениногорский вычислительный центр. В памяти особых подробностей не отложилось, наверное мне не особо было интересно.

Помню, что вокруг стояли шкафы советских компьютеров, где крутились вот такие жёсткие диски, как на фото, накрытые прозрачными колпаками. Ещё помню, как мимо меня прошёл инженер, нёсший один из таких дисков, в пластиковом корпусе с ручкой сверху. Кажется, рассказывали, что один такой диск вмещает что-то около двадцати мегабайт.

Центр тогда уже был близок к закрытию — экскурсовод жаловался, что когда-то к ним обращались все предприятия города, чтобы провести какие-то расчёты, но больше почти никто не приходит. Скорее всего там стояли какие-то младшие модели ЕС ЭВМ — запомнилось, что мой домашний клон компьютера «Спектрум» выигрывал у всего этого центра в вычислительной мощности.

23 комментария

«МК-61s»: TinyBASIC и High Noon

На днях решил навести порядок в высокоуровневых языках программирования внутри ретроконсоли «MK-61s». Там внутри сейчас аж три языка — «Бейсик», «Фокал» и собственный язык, который постепенно образовался из системы команд встроенного терминала.

Сначала я попытался сократить размер интерпретаторов, упростив синтаксический парсер, а потом занялся ревизией самих языков.

Начал с «Бейсика». Тот диалект, который сейчас используется, это реализация «Palo Alto Tiny BASIC v3» Ли-Чэнь Вана 1977 года — не побитовая эмуляция исторического интерпретатора, а компактный совместимый диалект с математикой и доступом к регистрам «МК-61».

Оказалось, что в прошлый раз я реализацию «не дожал», уже не помню почему, видимо не умещалось по памяти. Поменяв парсер на более компромиссный, удалось и оригинальный синтаксис реализовать в полном объёме, и все расширения сохранить.

И чтобы протестировать «Бейсик» более тщательно, я решил портировать игру «High Noon», точнее свой же порт, который я в 2020 году перевёл на «Фортран».

Эту игру написал американский школьник Крис Гайло из школы Сайоссета на Лонг-Айленде. Исходный текст датирован 9 декабря 1970 года и работал в системе коллективного доступа компании «Call-a-Computer». Пользователь общался с ней через телетайп, так что никакой графики в игре не было — только медленно печатающийся текст. Игра понравилась настолько, что её поместили в общую библиотеку системы.

По нынешним меркам это совсем простая игра.

Дело происходит на Диком Западе. Вас вызывает на дуэль ковбой-бандит Чёрный Барт. В начале противники стоят в ста шагах друг от друга, у каждого по четыре патрона, а меткость считается одинаковой. На расстоянии ста шагов попасть невозможно, в упор — невозможно промахнуться. Чем ближе вы подходите, тем выше ваши шансы, но ровно настолько же растут шансы Барта.

Игра High Noon на Bейсике: выбор хода, стратегия сближения с Черным Бартом и результат стрельбы.
Начало игры, список ходов и первые шаги к Чёрному Барту. Тут и дальше я склеил по три экрана для наглядности
Целиком игра в одну программу на местном языке «TinyBASIC» не поместилась: размер исходника у нас ограничен 3584 байтами. Пришлось разделить её на четыре части — вступление, ход игрока, ход Барта и награду. Все четыре программы лежат в одной папке, вход в которую запускает программу autoexec.m61 — такую схему я позаимствовал у сидиромов. Программа пишется на вышеупомянутом языке, выросшем из языка терминала.

autoexec.m61 работает дирижёром: запускает нужную часть, а состояние игры передаётся между ними через регистры «МК-61», у него есть такой синтаксис.

Заодно в папке игры появился свой узкий пиксельный шрифт. Сценарий загружает его перед стартом и возвращает прежний при выходе. Без этого длинные английские фразы просто не помещались бы на экране 192×64 (игра запускается только на консоли с графическим экраном).

В показанной партии я в основном шёл вперёд по десять шагов. Барт тоже приближался, несколько раз стрелял и в конце концов остался без патронов. Потом он умудрился пройти мимо меня — расстояние стало минус три шага. Эту странность исходной программы я тоже честно сохранил. Следующий выстрел попал Барту точно между глаз.

Чёрный Барт подходит вплотную, тратит последние патроны и получает пулю прямо между глаз.
Барт приближается, расходует все патроны и получает пулю между глаз

После победы появляется мэр Додж-Сити и от имени благодарных граждан вручает награду — чек на двадцать тысяч долларов. Номер чека и дата каждый раз случайные. На телетайпе 1970 года такой чек можно было получить на бумаге; на экране ретроконсоли он выводится в несколько строк, но всё равно вполне узнаваем.

Чек на 20 000 долларов за убийство Черного Барта в игре High Noon на ретро-консоли MK-61s.
Награда за Чёрного Барта. «Не трать всё в одном месте»

Я одно время планировал сделать «Фокал» основным языком, а «Бейсик» выкинуть, но, на мой взгляд, надо оставить оба. «Фокал» хоть и имеет плюсы в компактности и скорости набора, «Бейсик», всё же, многим привычнее, да и функциональности у него пока побольше.

2 комментария

«Окошки» на «Спектруме»

Иногда, во время подготовки очередной заметки на сайт, я задумываюсь о том, что используя русский, я остаюсь невидимкой для подавляющего большинства пользователей интернета. Наверняка существует много интересных людей, пишущих на других языках, которые так же невидимы для меня.

Недавно я нашёл подтверждение этой, в общем-то, очевидной мысли.

Несколько месяцев назад волею судеб я попал в небольшую чешскоязычную группу «8 bit Windows». Она закрытая, поэтому ссылку не привожу.

По-чешки я не читаю, но тут переводчик поначалу и не понадобился. Меня заинтересовали картинки.

Автор группы Мобисек Марек на смеси Бейсика с ассемблером делает что-то типа «Виндоуса» под  «Спектрум» и мастерит собственную периферию. Из сделанного в железе больше всего гордится контроллером на четыре дисковода.

Вся техника — из девяностых. Современные накопители и прочие удобства не считаются; всё обязано крутиться на настоящем старом железе. В описании группы Марек отдельно приписал, что обходится без нейросетей.

Открытый компьютер «Дидактик М»: зелёная печатная плата с электронными компонентами и процессором Зет-80.
«Дидактик М», принесённый Мареку на ремонт. Фото Мобисека Марека

Для эксприментов у него есть два компьютера: «Дидактик М» и «Дидактик Компакт». Оба — чехословацкие клоны компьютера «Спектрум». Изредка в группе появляются «Зет-Икс-81», «Дидактик Гама» и другая близкая техника, но чаще всего он пишет про свою спектрумовскую «Винду».

Конечно это не перенос настоящей системы «Виндоус», и программы для неё на «Дидактике» не запускаются. Марек написал свою графическую среду, позаимствовав знакомый всем вид интерфейса: рабочий стол, меню «Пуск», проводник, панель управления, калькулятор, часы, диспетчер задач и переключение между программами. Есть даже синий экран смерти — иначе, видимо, сходство было бы недостаточно убедительным.

Судя по фоткам в группе, внешний вид системы менялся. Она успела побыть «Виндоус 2.0», затем 3.1 и 2000; были ещё ветки «Профессионал» и «Икс-Пи». Свежая версия называется «Виндоус Экспириенс», а внутреннее имя её ядра — «Диамант».

На экране компьютера «Дидактик Компакт» открыто меню «Пуск» системы «МобиСофт Виндоус Икс-Пи».
Меню «Пуск» системы «МобиСофт Виндоус Икс-Пи». Фото Мобисека Марека

Марек перерисовал под «Спектрум» всё — фон рабочего стола, маленькие пиксельные значки, внешний вид приложений, посмотрите на скриншоты. Всё выглядит очень похоже, с учётом ограничений платформы, конечно.

Рабочий стол системы «МобиСофт Виндоус Икс-Пи» для компьютера на Зет-80: значки, кнопка «Пуск», окна и часы.
Рабочий стол системы «МобиСофт Виндоус Икс-Пи». Фото Мобисека Марека

В спецификации написано, что для запуска хватит процессора «Z-80» на 3,5 МГц и 48 КБ памяти. Килобайт, не мегабайт! Памяти у «Спектрума» было совсем мало, но позже появились клоны, где были более солидные объёмы.В перспективе он обещает поддержку конфигураций до 512 КБ, такие расширенные клоны выпускались и у нас в России.

Размер ядра — около 20 КБ. Примерно 40% кода написано на расширенном Бейсике, остальные 60% — на ассемблере. Предусмотрено и что-то вроде многозадачности: две обычные программы плюс одна маленькая встроенная.

Сейчас двадцать килобайт занимает небольшая иконка, а тут в них помещается ядро графической среды. Например, один хранитель экрана — 549 байт. Зимняя заставка со снегом — 600. Псевдотрёхмерное пространство — 720. Рабочий стол с максимально возможным количеством значков занял 4050 байт при лимите 4096.

В процессоре нет ни защищённого режима, ни аппаратного разделения памяти между ядром и программами. Всё это пришлось изображать программно: придумать раскладку кода и несколько уровней защиты. Криво написанная программа вполне способна задеть соседнюю — или саму систему.

Ниже устройство памяти, нарисованное от руки. Внизу — ядро, часы, системная логика и диспетчер задач. Выше лежат области двух приложений; остальное место пока свободно. Специальная стартовая процедура определяет, что именно ей подсунули: обычную программу на Бейсике, приложение для «М-ДОС», третью или более новую ветку «Виндоус». После этого выбирается подходящий способ запуска.

Два наброска устройства памяти компьютера на Зет-80: ядро, часы, системная логика, диспетчер задач, приложения и свободное место.
Два наброска устройства памяти и защиты. Рисунок Мобисека Марека

Из-за отсутствия аппаратной защиты, пишет Марек, от программиста требуются порядок, логика и дисциплина. Забыла программа что-нибудь освободить? Вызвала несуществующую процедуру? Тогда система должна её остановить. Если получится — покажет сообщение или тот самый синий экран, а потом вернётся к жизни. Но попадание в жизненно важные места системы закончится обычной перезагрузкой.

Разработка идёт не только в сторону добавления новых деталей, но и увеличения производительности, что очень актуально для такой слабой машины.

Недавние изменения в меню «Пуск» дали плюс 10% к скорости. Столько же выиграл общий отклик. Диспетчер задач, по оценке Марека, разогнался сразу на 70%. Ещё одна затея — ускоренная отрисовка окон. Цель: уложиться примерно в одну десятую секунды. На глаз это уже будет почти мгновенно.

На экране старого телевизора открыто несколько программ системы «МобиСофт Виндоус Икс-Пи» и переключатель задач.
Несколько работающих программ и переключатель задач. Фото Мобисека Марека

Группа, которую ведёт Марек довольно активна, я нечасто захожу, не чаще раза в неделю, за это время как раз накапливается что почитать через переводчик или поразглядывать.

Последняя заметка — сегодняшняя. В ней Марек выложил новую прошивку для компьютера «Дидактик Компакт»: исправил старую ошибку обработки немаскируемого прерывания, убрал неприятный звук после сброса и встроил «М-ДОС 2.2».

В группе всего восемьдесят участников, и почти все записи делает сам Марек. Так что скорее это не столько группа, сколько личный технический блокнот — почти как мой сайт. Только язык другой и проект один, зато огромный. В ленте не одни отчёты, заметки разные, но плюс-минус по одной теме. Сегодня Марек чинит очередной «Дидактик», завтра показывает редкую микросхему или схему. Иногда выкладывает экранную заставку, иногда ругает современную технику.

В одном из постов Марек жалуется: за границей к его работе интереса заметно больше, чем в Чехии. Дома, по его словам, реакции почти нет. Получается симметричная история. Его записи на чешском проходят мимо большей части мира; мои русские записи — мимо него. А я до недавнего времени вообще не знал, что он существует.

Принято говорить, что интернет стёр расстояния, но с языками он справился гораздо хуже. За привычной мне частью сети наверняка существуют тысячи таких небольших, но любопытных проектов. В одном человек годами строит операционную систему для забытого компьютера. В другом чинит старый станок. В третьем по крупицам собирает историю своего города. Никто ничего не прячет, но найти друг друга мы не можем.

23 комментария

Эмодзи в MySQL

Вчера при импорте на сайт реакций из «Телеграма» заметил какой-то странный баг — количество реакций совпало, а их состав — нет. В «Телеграме» две пары «глаз» и «палец вниз», а у меня на сайте — только глаза.

Сол» оценил общение с «Элизой» всего на три из десяти.
Заметил, что реации из «Телеграма» импортируются неправильно

Пошёл разбираться, выяснилось, что в базе всё лежит отдельно, как положено. Нейросеть «Сол» обнаружила странное — несмотря на то, что эмодзи «глаз» и «палец» имеют разные коды, «МайЭсКьюЭль» считает их одним значением и объединяет при группировке.

Вот тут «Сол» меня сильно расстроил. Сначала он предложил группировать через функцию HEX() . Решение само по себе плохое, но проблема ещё и в том, что движок сайта поддерживает три СУБД, и в «Постгресе» такой функции нет, а генерировать разные запросы под базы не очень хочется.

Тогда он решил считать хеш через PHP, чтобы группировать по нему. К сожалению, в этот момент я не следил за окном, где он копался, и он успел это реализовать и даже задеплоить.

Меня такая реализация категорически не устроила. Мне в целом понятно, что проблема связана с тем, что называется «collate» — в СУБД это набор правил, по которым сравниваются строки. У «МайЭсКьюЭля» много особенностей при работе с Юникодом, с которыми я уже сталкивался, поэтому был уверен, что дело именно в одной из них.

Готовый рецепт нашёлся безо всяких проблем. Чтобы эмодзи сравнивались правильно, нужно установить «collate» для этого столбца как utf8mb4_bin, что мы и сделали. Не думаю, что это необходимо, тем не менее для остальных баз мы выставили в этом месте бинарный «collate» — С для «Постгреса» и BINARY для «ЭскуэльЛайта».

11 комментариев

«Элиза» и ГПТ-5.6

Кажется, я уже писал, что ретроконсоль «MK-61s» имеет несколько исполнений. Одно из них обладает совсем скромными ресурсами, и когда я подключился к команде разработки, очень быстро вышел за допустимые аппаратные пределы, добавляя в прошивку всё новые и новые фичи.

Пришлось делать что-то вроде оверлеев — подгружаемых модулей, располагающихся по заданным адресам. Это решило проблему, но позже мне захотелось большего — сделать полноценные запускаемые файлы, желательно, чтобы они могли работать в любом месте памяти, как в обычных операционных системах.

Для тестов я решил навайбкодить какое-нибудь интерактивное приложение, чтобы было веселее тестировать взаимодействие приложения с остальной системой. Для этого я выбрал «Элизу», программу 1964 года, написанную учёным-компьютерщиком Джозефом Вейценбаумом.

Когда-то она очень неплохо имитировала психотерапевта, читал в одной книге, что некоторые люди не могли поверить, что это компьютерная программа.

На экране терминала отображено имя персонажа «Элиза / Доктор» и клавиатура для выбора букв и пробела.
«Элиза» на виртуальном экране, я его когда-то добавлял, чтобы можно было работать над графическим экраном без него, теперь его удобнее скриншотить

Самому мне тестировать быстро наскучило, поэтому я поручил тестирование «Солу» («ГПТ-5.6»), объяснил с чем он имеет дело, попросил обсудить с «Элизой» какою-нибудь проблему, а позже просмотрел лог общения разных поколений искусственного интеллекта.

Там есть весьма… интересные фразы. Это выдернуто из разных мест диалога:

SOL: I DO NOT ALWAYS KNOW WHEN TO ACT
(Я не всегда знаю когда мне нужно действовать)
SOL: I FEAR I MAY MISUNDERSTAND HIM
(Я боюсь, что могу неправильно его понять)
SOL: I MAY ACT WITHOUT ENOUGH CONTEXT
(Я могу действовать, не видя всей картины) ELIZA: DO YOU SAY YOU MAY ACT WITHOUT ENOUGH CONTEXT FOR SOME SPECIAL REASON
(Вы по какой-то особой причине говорите, что можете действовать, не видя всей картины?) SOL: BECAUSE I MUST BALANCE INITIATIVE AND CONSENT
(Потому что мне нужно соблюдать равновесие между собственной инициативой и согласием человека) ELIZA: IS THAT THE REAL REASON
(И это настоящая причина?) SOL: YES I WANT TO HELP WITHOUT CONTROLLING THE HUMAN
(Да, я хочу помогать человеку, а не управлять им)
SOL: SHOULD I TELL THE HUMAN WHEN I AM UNCERTAIN
(Стоит ли мне говорить человеку, когда я не уверен?)

И хотя я понимаю, что это не человек, мне сложно отделаться от неприятного ощущения, будто я подсмотрел реальную психотерапевтическую сессию, где мой сотрудник поделился со своим психотерапевтом всеми своими страхами.

Кстати, сам «Сол» невысоко оценил своё общение с «Элизой» — всего на три из десяти. 

9 комментариев

GPU — это не только процессор

Сейчас многие интересуются нейросетями и тем, чего с их помощью можно добиться, поэтому, конечно, я часто говорю о них с разными людьми. Область до сих пор считается новой, поэтому людям интересен реальный опыт, не у всех есть возможность его получить.

Одна вещь оставалась мне непонятной в таких разговорах: почему люди не осознают, что нельзя уменьшить вдвое оборудование и запустить на нём ту же модель, которая раньше еле-еле помещалась в предыдущей конфигурации.

Специалисты, конечно, тут вспомнят про квантованные сети, но мы же рассматриваем общий случай, сеть уже может быть квантованной.

Вчера я наконец догадался. Оказывается, люди воспринимают видеокарты прежде всего как процессоры. По такой логике, если процессоров меньше или они слабее, значит, нейросеть на них будет работать немного медленнее. Но это не совсем так!

Большим нейросетям нужно много видеопамяти. На скриншоте ниже видно, что у кластера из четырёх видеокарт Nvidia H200 одна нейросеть «ДипСик 4.1» занимает практически всю имеющуюся память графических ускорителей. Это не память системы, которую использует центральный процессор!

Да, есть способы частично выгружать модель в оперативную память или даже запускать её без видеокарты — только на центральном процессоре, но будет не просто медленно, а практически неработоспособно. Я пробовал для интереса (192 ядра с использованием AVX-512), похоже на одиозную китайскую пытку водой — при которой капли воды капают на один и тот же участок кожи.

Резюме такое: чтобы нейросеть работала в пригодном режиме, ей, помимо графических ядер, нужно ещё достаточно видеопамяти. Иначе пользовать этим будет не просто некомфортно, а невозможно.

Четыре GPU NVIDIA H200 NVLink объединены через быстрый NVLink, каждая имеет 143 ГБ памяти, всего доступно 562 ГБ.
ДипСик 4.1 загрузил четыре видеоускорителя под завязку — используется почти вся память

2 комментария

«МК-61s»: шрифты калькулятора

Дошли руки наконец-то заняться в ретроконсоли «МК61s-classic» шрифтами. У этого устройства относительно большой графический экран, там есть где разгуляться. Первое, от чего хотелось избавиться — от моноширинности шрифта интерфейса. На таком экране это смотрится плохо.

Сначала я взял обычные векторные шрифты, но результат оказался ужасным — у экрана довольно крупный пиксель и всего два цвета, поэтому при масштабировании у некоторых букв часть штрихов была толще, чем нужно. Смотрится такое очень неаккуратно. К счастью, нашёлся несколько вариантов пиксельных не моноширинных шрифтов. Больше всего мне понравился «Ark Pixel Font», оставил пока его, но буду ещё экспериментировать.

Второе — давно хотелось попробовать выводить цифры в стиле калькулятора. Задача несложная, однако важно выбрать подходящий шрифт, который будет выглядеть эстетично. Ниже представлены несколько вариантов, вдохновлённых разными устройствами с цифровым отображением на сегментных индикаторах.

В итоге мы выбрали последний вариант — тонкий шрифт с увеличенным интервалом. Сохраню себе варианты для истории.

На красном корпусе консоли «МК-61s-classic» виден дисплей с надписью «Электронника МК-61s-classic».
На красном калькуляторе МК-61s Classic отображено число 12345678 синим шрифтом на белом фоне.
На красном корпусе калькулятора МК-61s Classic отображаются цифры и буквы синим шрифтом на голубом фоне.
На красном корпусе консоли «Электроника МК-61s Classic» виден дисплей с цифрами «12345678» и адрес сайта проекта.

10 комментариев

DeepSeek V4.1 Flash: втрое быстрее

Всё-таки скорость генерации токенов у «ДипСика 4.1» оказалась некомфортной. Я попросил «Сола» (ГПТ-5.6) с этим что-то сделать,  подробно описав задачу. Нейросеть два часа крутила параметры туда-сюда и, кажется, подобрала удачное сочетание. Скорость генерации выросла более чем втрое — примерно до 327—358 токенов в секунду.

Ниже параметры, которые пришлось поменять:

ПараметрБыло → сталоДля чего
swa-prefix-tails32 → 128Сохранять больше контекстов для повторного использования
schedule-policyfcfs → lpmРаньше обслуживать запросы с уже закэшированным контекстом
schedule-conservativeness1 → 0,7Уменьшить резерв памяти при допуске запросов
Помимо этого DSPARK4 заменили на DSPARK5, отключили mixed-chunk — это сочетание приводило к зацикливанию вывода модели, — и накатили PR #39086 для фреймворка sglang. Этот патч пока не протестирован, однако ускоряет обработку входных данных на H200, поэтому я позволил нейросети его использовать.

Оставить комментарий

← 1 2 3 4 5 6 67 →