Для инференса тебе не надо шлифовать модельки. Тебе просто модельку покрупнее запустить надо. Поэтому так взлетели амд аи максы 395, например. В которых память шарится. Коллега вполне себе вертит локально на ней осс120, ллама70 и прочее подобное. В общем памяти надо побольше для дома, а скорости выдачи токенов и так хватает.х*и
я пробовал катать не эту лабуду, а просто 2х4060, 2х5060. в итоге спарка двух карт у меня проигрывала 4080 и 5090 под ml-задачки, и с кодом я заманался
четыре карты в спарке это специализированная мать, до такого дома пока не дошел
поэтому для домашнего ml у тебя обычно 2 кудахтера: модельки шлифуются 24*7 на компе с 4060/5060, розрободка-прототипы-проверка гениальных мыслей на 5090
параллельно откладываются деньги на проф карту
|
Донат На хостинг |
ISK за переводы до 75kk за 1000зн. |
Хроники EVE Сборник |
Новичкам Полезная информация |
Ali On
Ali On
Регистрация: 21 Jun 2011Не на форуме Активность: Вчера, 18:40

Вход
Регистрация


Публикации
Мужчина
