Для дипсика да, самым дешевым подходящим железом. Для мелочи, что влезет в потребительскую видеокарту, конечно-же нет. Чувак из статьи, что ты линканул, яркий пример - в "Продвинутая сборка" дал ссылку на комп, на котором ДипСик будет хоть и раза в два быстрее, чем на Mac Studio 512, но при этом он стоит 55 тыс долларов. Тогда как Мак Студио стоит 6.5 тыс долларов. И жрет электричества 480 ватт в пике, а та продвинутая сборка - 4 киловатта блоки питания. Однако более мелкие модели, которые тому компу целиком влезут в видеопамять дискретных видюх, будут работать на порядок быстрее, чем на Мак Студио.
В мире относительно больших LLM, если у тебя нет 100тыс долларов, будет набор компромиссов. Три угла: скорость, не конская цена и не конское потребление электричества. Выбери два из них, что тебе больше нравится. И в этом мире маки дают очень классный компромис и для своей скорости, что они выдают на моделях > 100T парамеров, они стоят достаточно дешево.
Ы! И не подумал бы, что можно рассматривать Мак как числодробилку... eve-ru познавательный)
Однако, довольно затратное хобби выходит.
Дурацкий вопрос: а какой-то практический смысл возиться с этим локально - есть?
Или чистое любопытство?

Вход
Регистрация


Публикации
Мужчина



