GPU и охлаждение

Вот проблема хорошего решения которой я не знаю.

Дано: серверный корпус, специально разработанный под установку графических ускорителей. Внутри установлены две карты Nvidia H100, которые греются, как сволочи. Не сказать, что на критических температурах, но как-то слишком горячо.

Проблема, как я её понимаю, в том, что в корпусе есть вентиляторы, есть датчики на материнской плате и процессорах и система корпуса знает обороты какого вентилятора поднять, чтобы всё это не перегрелось. Но у графических ускорителей свои датчики, о которых эта система не имеет ни малейшего понятия.

В теории всем этим мог бы управлять Линукс, который там стоит, но он тоже понятия не имеет какими вентиляторами надо подуть, чтобы картам стало легче. То ли у нас это не настроено, то ли в принципе не настраивается.

Проблему решили, выставив повышенные обороты на вентиляторах корпуса. Теперь всё холодное даже под нагрузкой — на графических ускорителях около 30 градусов. Но как будто должно быть какое-то более изящное решение.

Скриншот вывода nvidia-smi: две GPU NVIDIA H100, драйвер 575.57.08, CUDA 12.9; GPU0: 74°C, 287W/500W, 90448MiB/97871MiB; GPU1: 67°C, 298W/500W, 90447

gpuИИ

Комментарии 6

AnLe № 1
Ну поидее то тулза невидии умеет отдавать температуру.
Обмазываемся скриптами которые регулярно читают оную и если надо подстёгивают вентиляторы.

Не погружался только есть ли ручная команда повелевания поднятия оборотов.
На автоматике lm-sensors и его fancontrol на одном из проблемных неттопов вполне себе подменял работу стандартной системы которая ревела всё время бесконтрольно.
Евгений Степанищев автор № 2
Да, но надо понять насколько интенсивно должно шуметь и программировать петлю, чтобы вырубало не сразу.

Должно же быть что-то готовое.
hsh № 3
По идее ваши кулеры должны быть в `/sys/class/thermal`, можете потыкать echo'м в каждый и попробовать найти
Евгений Степанищев автор № 4
Не помню бренд железки, но у неё API для кулеров закрытое, я гуглил, видно не все кулеры. Думаю, можно расковырять, но это какие-то костыли, наверняка должно быть какое-то более промышленное решение.
al.zatv № 5
Вроде для gpu нормальная температура это под 85. Это не точно: я карточки гонял давно,уже не помню ничего.
Евгений Степанищев автор № 6
Насколько я читал, H100 отключаются примерно при 95, так что 80, до которых у нас разогреваются карты, вроде нормально. Но наши админы считают, и я с ними согласен, что лучше иметь запас по температуре побольше.